Mennyire olvassa az AI a magyar weboldalakat? 500 domaint mértem
Megnéztem a Tranco-rangsor első 500 .hu domainjének főoldalát: mit enged a robots.txt az AI-robotoknak, mennyi szöveg van a HTML-ben, és ki használ JSON-LD-t vagy llms.txt-t. 409 főoldal adott értékelhető HTML-t. A legtöbbnél a robots.txt nem említ AI-robotot. Akik szabályoznak, azok főleg a tanítórobotokat tiltják, a keresőrobotokat ritkábban. Ez a hozzáférés technikai feltételeit méri: azt nem, hogy egy asszisztens megérti-e az oldalt, vagy hivatkozik-e rá.
A nyers adatot és a mérőszkriptet is kitettem, a cikk végén letöltheted, és megismételheted a mérést.
Röviden
A 409 értékelhető főoldalon ezt találtam:
- 84,6%-nál a robots.txt egyetlen vizsgált AI-robotot sem nevez meg, vagy nem sikerült letölteni a robots.txt-t. Ilyenkor ezekre a robotokra is az általános (
*) szabályok vonatkoznak. - 12,2% (50 oldal) kitilt legalább egy tanítórobotot (GPTBot, ClaudeBot, CCBot, Google-Extended). A három keresőrobot (OAI-SearchBot, Claude-SearchBot, PerplexityBot) közül legalább egyet csak 3,2% (13 oldal) tilt ki.
- 9,8% (40 oldal) letöltött HTML-jében 50 szónál kevesebbet számoltam. A csak JavaScripttel betöltött szöveget a JavaScriptet nem futtató robotok nem kapják meg.
- 43,5% használ JSON-LD-t, és 34,2% HTML-jében szerepel szervezetet leíró típus.
FAQPage-jelölés 2 főoldalon van. - 7,3% (30 oldal) tett ki llms.txt-t.
- 41,3% főoldalán nem találtam
<h1>elemet, 11,7% esetében nem találtam nyelvi jelölést alangattribútumban.
Hogyan mértem?
A mintát a Tranco listából vettem. Több népszerűségi rangsort összesít, és minden változatának saját azonosítója van, így később is ugyanaz a lista tölthető le. A helyezés nem közvetlen látogatottsági adat. A 8P8NV azonosítójú listán 2921 .hu domain szerepel. Az első 500-at mértem meg 2026. november 9-én, 14:04-től (UTC).
A szkript először a főoldalt kérte le HTTPS-en. Ha nem kapott 200-as választ, a www-s címet is megpróbálta. Értékelhető HTML esetén a végső címhez tartozó hoszton a /robots.txt, a /llms.txt és a /sitemap.xml fájlt is lekérte; az átirányításokat követte. A kérésekben a saját nevét adta meg (pappfer-research/1.0), egyik AI-robotnak sem adta ki magát. A robots.txt szabályait az RFC 9309 csoportválasztási elvét követve a főoldal útvonalára (/) értékeltem ki: a robot nevével egyező csoport érvényes, ha nincs ilyen, a * csoport, és azon belül a leghosszabb illeszkedő szabály dönt.
91 domain nem adott értékelhető HTML-t. 46-nál hálózati hiba volt (például nem létező cím vagy tanúsítványhiba), 42 elutasította a kérést 403-as hibával, 3 pedig más hibakódot adott. A 403-as válasz mögött állhat botvédelem, de más hozzáférési korlátozás is. Ebből nem derül ki, hogy a valódi AI-robotokat beengedik-e, ezért ezeket kihagytam a százalékokból.
A minta a Tranco-rangsort követi: hírportálok, webáruházak, állami oldalak, apróhirdetési és felnőtt oldalak is vannak benne. Csak a főoldalt mértem, ezért ami mélyebben van (például egy GYIK-oldal jelölése), kimaradt. A robots.txt szabályait mindig a / útvonalra értékeltem ki, akkor is, ha a főoldal más útvonalra irányított át. A le nem tölthető robots.txt-t a szkript üres szabálykészletként kezeli: a „nincs tiltás” ezért nem minden esetben jelent igazolt engedélyt. A HTML jelöléseit egyszerű szövegmintákkal keresi, így szokatlanul formázott jelöléseket elvéthet.
Robots.txt: a tanítást tiltják, a keresést nem
Az AI-cégek robotjai három csoportba sorolhatók:
- Tanítórobotok: a modellek tanításához gyűjtenek adatot. Ilyen a GPTBot, a ClaudeBot és a CCBot, a Google pedig a Google-Extended jelzéssel kérdezi, felhasználhatja-e a tartalmat. A Google-Extended nem külön robot, hanem egy jelzés a robots.txt-ben: vele szabályozod, hogy a Gemini tanításához és bizonyos, keresési találatokra épülő Gemini-válaszokhoz felhasználhatja-e a Google az oldalad tartalmát.
- Keresőrobotok: a keresési találatokhoz gyűjtenek tartalmat. Ide tartozik az OpenAI OAI-SearchBotja, az Anthropic Claude-SearchBotja és a PerplexityBot. A tiltásuk korlátozza a tartalmad felhasználását a keresésben; a pontos következményt az adott szolgáltató szabályai határozzák meg.
- Felhasználói robotok (ChatGPT-User, Claude-User, Perplexity-User): akkor töltenek le egy oldalt, amikor valaki épp kérdez.
Hány főoldal tiltja ki az egyes robotokat (a letöltött robots.txt alapján):
- GPTBot: 46 (11,2%)
- CCBot: 43 (10,5%)
- ClaudeBot és Google-Extended: egyaránt 36 (8,8%)
- PerplexityBot: 12 (2,9%)
- OAI-SearchBot: 10 (2,4%)
- Claude-SearchBot: 8 (2,0%)
- ChatGPT-User: 13 (3,2%), Claude-User: 7 (1,7%), Perplexity-User: 6 (1,5%)
A felhasználói robotokra a robots.txt kevésbé megbízható. Az OpenAI szerint a ChatGPT-User kéréseit a felhasználó indítja, ezért a robots.txt szabályai nem feltétlenül vonatkoznak rájuk. A Perplexity szerint a Perplexity-User általában figyelmen kívül hagyja a robots.txt-et. Az Anthropic azt írja, hogy minden robotja betartja. Ezért a következő számoknál csak a három keresőrobotot vettem figyelembe.
Az 50 oldalból, amelyik legalább egy tanítórobotot kitilt, 37 mindhárom keresőrobotot beengedi. Ezek az oldalak külön kezelik a tanítást és a keresést. Hogy miért, az a fájlból nem derül ki. Hét oldal mindhárom keresőrobotot tiltja, közülük négy a Googlebotot is. A CSV csak a kiértékelés eredményét tartalmazza, az eredeti robots.txt-fájlokat nem.
19 oldal robots.txt-jében van Content-Signal sor. Ilyen sort a Cloudflare kezelt robots.txt-funkciója is hozzáadhat a fájlhoz, tanítórobotokat tiltó szabályokkal együtt. A tanítórobotokat tiltó 50 oldalból 15-nél szerepel ez a sor. Ez egyezik azzal, ahogy a Cloudflare funkciója működik, de önmagában nem bizonyítja, hogy az üzemeltető azt kapcsolta be.
A tanítás tiltása szerintem teljesen vállalható döntés. A Google-Extended tiltása például a Google-keresőben való megjelenést nem érinti, ezt a Google le is írja. A keresőrobotok tiltását csak akkor hagynám meg, ha ez szándékos. Az OpenAI például azt írja, hogy az OAI-SearchBotot tiltó oldalak nem jelennek meg a ChatGPT keresési válaszaiban, navigációs linkként azonban továbbra is feltűnhetnek.
Főoldalak szöveg nélkül
40 főoldal (9,8%) letöltött HTML-jében 50 szónál kevesebbet számoltam. A többi 369 főoldalon a medián 1031 szó.
A 40-ből 3 a google.com-ra irányít át. A maradék 37 oldal közül 27 legfeljebb 13 kilobájtos HTML-t küld, 10 pedig több tíz vagy száz kilobájtot. A méretből és a szószámból nem derül ki, hogy JavaScript-alkalmazásról, védelmi oldalról, bejelentkezési felületről vagy más okból szövegszegény válaszról van-e szó.
A Googlebot képes JavaScriptet futtatni, de a renderelésre várni kellhet, és nem minden robot tudja ugyanezt. A Vercel és a MERJ 2024. decemberi vizsgálatában az OpenAI vizsgált robotjai és a ClaudeBot nem futtatták a JavaScriptet. Ez akkori megfigyelés, nem bizonyíték az összes mai AI-robot működésére. A saját szkriptem sem futtat JavaScriptet: azt méri, mennyi szöveg szerepel a letöltött HTML-ben.
Ha a céged bemutatkozó oldala is egy Vue- vagy React-alkalmazás, legalább a nyilvános oldalakhoz szerveroldali renderelést vagy előre generált HTML-t használnék. Ez a Google-nek is jobb.
JSON-LD a főoldalak 43,5%-án
178 főoldal (43,5%) használ JSON-LD-t, és csak egynek hibás az egyik blokkja. A leggyakoribb típus az Organization (133 oldal) és a WebSite (117). 140 oldal (34,2%) HTML-jében szerepel szervezetet leíró típus (Organization, LocalBusiness, NewsMediaOrganization vagy rokon típus). A szkript a típusneveket gyűjti ki: azt nem ellenőrzi, hogy ezek valóban az oldal üzemeltetőjét írják-e le, és teljesek vagy pontosak-e az adatok. A microdata és az RDFa tartalmát sem elemzi, így a JSON-LD hiánya nem jelenti a strukturált adatok teljes hiányát.
FAQPage mindössze 2 főoldalon szerepel, LocalBusiness szintén 2-n. Ez azért feltűnő, mert a helyi szolgáltatók oldalain épp a cím, a nyitvatartás és a GYIK az, amire egy asszisztens válaszol. Igaz, a minta nagy forgalmú oldalakból áll, nem helyi kisvállalkozásokból.
llms.txt: 30 oldal
A vizsgált webhelyek 7,3%-án találtam llms.txt-t. Webáruházak, hirdetési oldalak és egy egyetem is van közöttük. A szkript csak a sikeresen letöltött, nem HTML-ként felismert, # jellel kezdődő szöveges fájlokat számolta ide; a tartalmuk megfelelőségét nem vizsgálta. Hogy ezt a fájlt melyik asszisztens és mire használja, arról az előző cikkemben írtam: én kitettem, de nem ettől várnám, hogy idézzenek.
Néhány alap is hiányzik
Ezek nem AI-beállítások, de a robotok is ezekből dolgoznak:
- 71,6%-nál találtam legalább 20 karakteres meta-leírást;
- 41,3% főoldalán nem találtam
<h1>elemet; - 11,7%-nál nem találtam nyelvi jelölést a
<html>elemlangattribútumában; - 66%-nál találtam sitemap-hivatkozást a robots.txt-ben vagy sitemapnak megfelelő XML-t a
/sitemap.xmlcímen. A robots.txt-ben hivatkozott fájlokat külön nem ellenőriztem.
Mit néznék meg a saját oldaladon?
- Nyisd meg a
https://a-te-oldalad.hu/robots.txtcímet. Ha az OAI-SearchBot, a Claude-SearchBot vagy a PerplexityBotDisallow: /szabállyal szerepel benne, döntsd el, szándékos-e. - Ha Cloudflare-t használsz, nézd meg a kezelt robots.txt tartalmát és az AI-robotok blokkolásának beállítását is. A tűzfal akkor is elutasíthat egy robotot, ha a robots.txt engedné.
- Nézd meg, mennyi szöveg van a főoldaladon JavaScript nélkül (lásd lent).
- A cégadataidat (név, cím, elérhetőség, közösségi profilok) tedd JSON-LD-be
OrganizationvagyLocalBusinesstípussal. - Ellenőrizd, hogy a főoldalnak van-e a tartalmat leíró
<h1>címe, és a<html>elemen helyesen szerepel-e alangattribútum.
A harmadik ponthoz ez a parancs követi az átirányításokat, és hozzávetőleg megszámolja a szavakat a letöltött HTML-ben:
curl -fsSL --max-time 30 https://a-te-oldalad.hu/ | perl -0777 -pe 's/<(script|style)\b.*?<\/\1>//gis; s/<[^>]+>/ /g' | wc -wEz csak durva becslés. Ha csak néhány tucat szót mutat, nézd meg a forrást a böngészőben (Ctrl+U): ott van-e a szöveg, vagy csak egy üres <div id="app">.
Az adatok
- results.csv: domainenként egy sor, 500 sor. Az
ok_<robot>oszlop 1, ha a szkript nem talált a robotot tiltó szabályt a/útvonalra, anamed_<robot>1, ha a robots.txt külön csoportban nevezi meg. Awords_no_jsa HTML-ből kinyert szavak becsült száma, ajsonld_typespedig a főoldal JSON-LD-típusait sorolja fel. A szkript a legalább két karakterből álló szavakat számolja, és többek között a szkriptek, stílusok,noscriptéstemplateelemek tartalmát kihagyja. A CSS-sel elrejtett szöveget viszont beleszámolhatja, ezért ez nem a böngészőben látható szavak pontos száma. - measure.py: a mérőszkript, csak a Python szabványos könyvtárát használja. A Tranco 8P8NV listával futtatva ugyanezt a mintát kapod, az eredmény az oldalak azóta történt változásai miatt eltérhet.
Ha hibát találsz a mérésben, írd meg, és javítom.
Segítsek?
Ha kíváncsi vagy, mit lát az oldaladból a ChatGPT, a Claude vagy a Google, átnézem a robots.txt-t, a tűzfalbeállításokat, a strukturált adatokat és azt, hogy mi jut el a robotokhoz JavaScript nélkül, és megmondom, mit javítanék. Írj nekem.
Források
- Tranco: a 8P8NV azonosítójú lista
- RFC 9309: Robots Exclusion Protocol
- OpenAI: a robotok feladatai és hozzáférési szabályai
- Anthropic: a webes robotok működése és letiltása
- Perplexity: a robotok leírása
- Google: a JavaScript feldolgozása a keresőben
- Google: a gyakori robotok, köztük a Google-Extended
- Cloudflare: a Content Signals Policy és a kezelt robots.txt
- Vercel és MERJ: hogyan kezelik az AI-robotok a JavaScriptet