Yahoo! ha recentemente annunciato che da qualche giorno è attiva la fase di transizione che vedrà lo spostamento dei propri crawler, identificati dalla user agent Yahoo! Slurp, dall’host inktomisearch.com a crawl.yahoo.net.
La user agent del bot continuerà a rimanere la stessa, nessun problema dunque per i file robots.txt attualmente online. Un reverse DNS dell’IP del client fornirà invece la nuova indicazione di host.
In questa fase di transizione, di circa un paio di settimane, non è da escludere che la presenza contemporanea di due crawler possa causare un incremento delle visite di Slurp sul sito.
Ho curiosato un po’ sul sito ufficiale e su quanti hanno riportato la notizia, non sono presenti le informazioni “più succose”. Nello specifico, non è informazione pubblica se oltre a questo cambiamento la novità porti con se altri aggiornamenti al sistema di crawling di Yahoo!.
Ovviamente, se qualcuno sa qualcosa i commenti sono sempre aperti.