Quotidien Shaarli

Tous les liens d'un jour sur une page.

January 25, 2021

Contourner les paywall + astuce pour vos scripts · Le hollandais volant
thumbnail

[...]Dites à votre serveur de s’identifier comme Google Bot.

Les sites et blogs veulent que Google détecte leur site y compris le titre. Donc s’ils voient un « Google Bot », ils lui envoient une page simplifiée, sans script à la con.

Si vous utilisez Wget ou cURL, ajoutez une option pour spécifier l’user-agent utilisé et mettez ça :

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
[...]