Google ha annunciato un nuovo controllo nel suo file di indicizzazione robots.txt che consentirebbe agli editori di decidere se i loro contenuti “aiuteranno o meno a migliorare le API di IA generative Bard e Vertex AI, comprese le future generazioni di modelli che alimentano tali prodotti”.
Il controllo è un crawler chiamato Google-Extended e gli editori possono aggiungerlo al file nella documentazione del proprio sito per dire a Google di non utilizzarlo per quelle due API. Nel suo annuncio, il vicepresidente di “Trust” della società, Danielle Romain, ha affermato che “gli editori web hanno sentito che desiderano una maggiore scelta e controllo sul modo in cui i loro contenuti vengono utilizzati per i casi d’uso emergenti dell’intelligenza artificiale generativa“.
Romain ha aggiunto che Google-Extended “rappresenta un passo importante nel fornire trasparenza e controllo che crediamo tutti i fornitori di modelli di intelligenza artificiale dovrebbero rendere disponibili“. Man mano che i chatbot basati su IA generative crescono in prevalenza e si integrano sempre più profondamente nei risultati di ricerca, il modo in cui i contenuti vengono digeriti da cose come Bard e Bing AI è motivo di preoccupazione per gli editori.
Sebbene questi sistemi possano citare le loro fonti, aggregano informazioni provenienti da diversi siti Web e le presentano agli utenti durante la conversazione. Ciò potrebbe ridurre drasticamente la quantità di traffico diretta ai singoli siti web, con un impatto significativo su aspetti come le entrate pubblicitarie e interi modelli di business.
Google ha affermato che quando si tratta di addestrare i modelli di IA generative, le esclusioni si applicheranno alla prossima generazione di modelli per Bard e Vertex AI. Gli editori che desiderano mantenere i propri contenuti fuori da cose come Search Generative Experience (SGE) dovrebbero continuare a utilizzare lo user agent Googlebot e il meta tag NOINDEX nel documento robots.txt per farlo.
Romain sottolinea che “con l’espansione delle applicazioni IA, gli editori web dovranno affrontare la crescente complessità della gestione di diversi usi su larga scala“. Quest’anno si è assistito a un’esplosione nello sviluppo di strumenti basati sull’intelligenza artificiale generativa e, poiché la ricerca è un modo così importante per scoprire contenuti, lo stato di Internet sembra destinato a subire un enorme cambiamento. L’aggiunta di questo controllo da parte di Google non solo è tempestiva, ma indica che sta pensando al modo in cui i suoi prodotti avranno un impatto sul web.
