Com trien les fonts ChatGPT, Gemini i Copilot
OpenAI té tres bots, i cadascun es decideix per separat al robots.txt. OAI-SearchBot és el que fa sortir les webs a la cerca de ChatGPT: si el bloquegeu, la web no surt a les respostes de cerca, tot i que pot aparèixer com a enllaç de navegació. GPTBot és el de l’entrenament dels models, i bloquejar-lo no us treu de la cerca. ChatGPT-User és el que visita una pàgina quan una persona ho demana en una conversa; OpenAI diu que, com que ho demana una persona, pot ser que el robots.txt no s’hi apliqui. Tots tres tenen la llista d’IP publicada.
Les AI Overviews i l’AI Mode de Google surten de l’índex del cercador, el de Googlebot: per sortir-hi, la pàgina ha d’estar indexada i poder sortir amb un fragment. Des del 31 d’agost de 2026, Search Console té, a més, un control per sortir o no de les funcions d’IA generativa del cercador, activat per defecte. Google-Extended és una altra cosa: decideix si el contingut pot servir per entrenar els models Gemini i per fonamentar les respostes de l’app de Gemini i de Vertex AI, i Google diu que no afecta ni la presència ni el posicionament a Google Search.
A Microsoft, Bing, Copilot i les respostes que fan servir l’API de Bing comparteixen el rastreig i l’índex, els de Bingbot. Una meta etiqueta «noarchive» treu el contingut de les respostes de Copilot, i «nocache» el limita a l’adreça, el títol i el fragment.
La conclusió pràctica: si Google i Bing no us tenen indexats, els assistents difícilment us citaran.
Què hem vist a les nostres webs
Hem mirat els registres d’accés del servidor (Amplify) de set webs pròpies, del 18 d’agost al 18 d’octubre de 2026: sanfeliusoftware.com, joansanfeliu.com, formacio.joansanfeliu.com, social.joansanfeliu.com, cv.joansanfeliu.com, taula.ai i getguestproof.com. Són 62 dies amb dades, sense cookies ni scripts, i cada bot s’ha verificat comprovant si la IP és a la llista que publica la seva empresa.
Poques visites, però molt qualificades. Persones que arriben des d’un assistent, n’hi ha hagut 8 en total: 6 des de ChatGPT, 1 des de Perplexity i 1 des de Gemini. Per web, 4 a taula.ai, 2 a joansanfeliu.com, 1 a getguestproof.com i 1 a sanfeliusoftware.com.
La de Gemini va ser el 18 d’octubre de 2026 a les 13:41, a la portada de sanfeliusoftware.com. Quatre minuts després va arribar una petició de pressupost per a un software a mida. No ens va dir com ens havia trobat, però l’hora coincideix. Que coincideixi no vol dir que en sigui la causa: per això ara ho preguntem a cada persona que ens escriu.
taula.ai, que té pàgines de preus, de ciutat i d’«alternativa a» altres programes, és la web que rep més visites des de ChatGPT: una va entrar directament als preus del software de reserves. A més, una persona dels Estats Units ens va escriure per dir-nos que havia trobat taula.ai a ChatGPT.
A sanfeliusoftware.com, en canvi, OAI-SearchBot, el bot de cerca de ChatGPT, hi va fer 45 peticions en els últims 30 dies (del 19 de setembre al 18 d’octubre de 2026). Les 42 que venien d’IP verificades van ser totes al robots.txt: no va llegir cap pàgina de contingut, tot i que el robots.txt l’hi deixa. En el mateix període, GPTBot (el de l’entrenament) hi va fer 338 peticions, i Googlebot, 967.
Molts «bots» no ho són. A la taula, les peticions que diuen ser un bot però venen d’una IP que no és a la llista oficial de la seva empresa, sobre les peticions que es van poder comprovar:
| Bot | Falses | Comprovades | % |
|---|---|---|---|
| PerplexityBot | 1.200 | 1.260 | 95 % |
| ChatGPT-User | 1.150 | 1.421 | 81 % |
| OAI-SearchBot | 714 | 1.800 | 40 % |
| GPTBot | 749 | 2.604 | 29 % |
| ClaudeBot | 230 | 1.624 | 14 % |
| Googlebot | 486 | 3.659 | 13 % |
| Bingbot | 59 | 1.138 | 5 % |
Les set webs, del 18 d’agost al 18 d’octubre de 2026.
Moltes de les falses no busquen pàgines, sinó fitxers secrets. A les set webs hi va haver 56.923 peticions que buscaven fitxers com .env, .git, claus o credencials, i 4.471 es feien passar per un bot conegut, d’IA o de cercador. Cap no va trobar res exposat.
El «directe» amaga visites
El 86 % de les sessions de sanfeliusoftware.com dels últims 30 dies arriben com a «directes», sense origen. És on van a parar les visites que no diuen d’on venen, com passa sovint amb les apps. O sigui que les visites que veieu des d’un assistent són un mínim: n’hi pot haver més dins del «directe».
Què ajuda, per ordre
- Deixar entrar al robots.txt els bots que compten. Compte amb el parany: un grup amb nom (per exemple, «User-agent: GPTBot») substitueix el grup «*» per a aquell bot, no s’hi suma; si no hi repetiu les regles de «*», aquell bot no les segueix. I bloquejar GPTBot només afecta l’entrenament: no us treu de la cerca de ChatGPT, que depèn d’OAI-SearchBot.
- Revisar la CDN, el tallafocs o el hosting. N’hi ha que bloquegen els bots d’IA sense que el propietari ho sàpiga. Cloudflare els bloquejava per defecte als dominis nous des del juliol del 2025, i des del 15 de setembre de 2026, als dominis nous, bloqueja els d’entrenament i els d’agents a les pàgines amb anuncis i deixa passar els de cerca. Vercel, Fastly i Akamai també tenen opcions per bloquejar-los.
- Tenir el contingut a l’HTML, i no només en JavaScript. Alguns bots llegeixen l’HTML tal com arriba, sense executar JavaScript: si el text el pinta el navegador, no el veuen.
- Fer pàgines que responguin una pregunta concreta amb dades: preus, comparatives, alternatives i zona. És el que tenen les pàgines que hem vist rebre visites des de ChatGPT.
- Tenir les dades de l’empresa iguals a tot arreu: la fitxa de Google, els directoris i LinkedIn, amb el mateix nom, la mateixa adreça i el mateix telèfon.
- Estar indexats: Google Search Console i Bing Webmaster Tools, amb el sitemap enviat, i IndexNow per avisar dels canvis Bing i els altres cercadors que l’accepten (Google no hi és). A Search Console, comproveu també que la web té activades les funcions d’IA generativa.
Què no cal
- llms.txt. En tenim un perquè no costa res, però la guia de Google del 2026 sobre les funcions d’IA generativa diu que no cal cap fitxer especial i que Google Search no el fa servir. Cap gran assistent no ha confirmat que el llegeixi: ni OpenAI, ni Anthropic, ni Perplexity no ho diuen a les pàgines on expliquen els seus bots.
- Content-Signal. És la línia del robots.txt que diu si deixeu fer servir el contingut per a la cerca, per respondre o per entrenar. És una preferència declarada, no un pany: la mateixa Cloudflare, que la va proposar, diu que no impedeix tècnicament res.
- «Trucs GEO» de pagament i pàgines fetes en sèrie amb IA. Segons la mateixa guia de Google, optimitzar per a les funcions d’IA del cercador continua sent SEO, i no cal cap marcatge especial.
Com mesurar-ho
- Mireu els orígens com chatgpt.com, gemini.google.com i perplexity.ai. Als nostres registres, les visites des de ChatGPT solen portar utm_source=chatgpt.com a l’adreça.
- Moltes visites que arriben des d’una app no diuen d’on venen i surten com a «directes».
- Pregunteu a cada persona que us escriu com us ha trobat. És l’única manera de saber-ho del cert.
- Verifiqueu els bots per IP i no pel nom: als nostres registres, el 95 % de les peticions comprovades que deien ser PerplexityBot eren falses.
- Mireu els registres del servidor: els bots no executen el JavaScript de l’analítica, o sigui que l’analítica habitual no els veu.
Comproveu la vostra web
Hem fet una eina gratuïta que diu si els assistents d’IA poden llegir la vostra web: el robots.txt per a tretze bots, la portada tal com la veu un bot que no executa JavaScript, el sitemap i la CDN. No us diu si ChatGPT o Gemini la recomanen, perquè això depèn de moltes més coses i canvia cada dia.