Botovi i crawleri su programi koji automatski pregledaju internet radi indeksiranja sadržaja ili obavljanja specifičnih zadataka poput analize sajta za SEO, provjere kvaliteta oglasa, ili prikupljanja podataka za AI modele. Najpoznatiji su oni koje koriste pretraživači poput Googlea, Binga i Baidua kako bi vaš sadržaj bio dostupan korisnicima kroz rezultate pretrage.
Šta je to User-Agent string ?
User Agent string-ovi predstavljaju nizove tekstualnih informacija koje pretraživači, uređaji, ili botovi koriste za identifikaciju prilikom pristupa web stranicama. Oni omogućavaju vlasnicima web sajtova da razlikuju posjetioce, bilo da su to ljudi, pretraživački botovi ili alati za SEO analitiku. Poznavanje ovih stringova ključno je za optimizaciju web stranica, analizu saobraćaja i zaštitu od neželjenih posjeta.
Google, kao vodeći pretraživač, koristi različite vrste botova poznate kao Google-botovi, za indeksiranje sadržaja i prilagođavanje rezultata pretrage korisnicima. Međutim, i drugi pretraživači i alati za SEO koriste slične mehanizme. Ovaj članak istražuje najvažnije User Agent stringove i njihovu funkciju.
Kako funkcionišu Googlebotovi?
Googlebotovi su crawleri za indeksiranje internetskih stranica. Oni prate linkove između stranica i identifikuju sadržaj koji je relevantan za Google proizvode, kao što su pretraga, vijesti, video platforme, i više. Različiti Googlebotovi imaju specifične uloge, kao što su indeksiranje slika, video sadržaja, ili mobilnih verzija stranica.
Google takođe koristi “Known Bots” tehnologiju, gdje poznati botovi imaju posebna pravila u fajlu robots.txt. Na ovaj način možete ograničiti pristup određenim dijelovima vaše stranice ili omogućiti specifične funkcionalnosti.
Lista najpoznatijih User-agent string-ova za Googlebotove
1. Googlebot za desktop
Indeksira desktop verzije stranica za Google Search.
String-ovi:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Googlebot/2.1 (+http://www.google.com/bot.html)
2. Googlebot za mobilne uređaje
Prilagođen za indeksiranje mobilnih stranica.
String:Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
3. Googlebot-Image
Fokusira se na indeksiranje slika.
String:Googlebot-Image/1.0
4. Googlebot-Video
Indeksira video sadržaj za Google Video i YouTube.
String:Googlebot-Video/1.0
5. Google Favicon
Preuzima favicon ikone povezane s web stranicama.
String:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
6. Google-InspectionTool
Koristi se za Google Search Console alate poput “URL Inspection”.
Stringovi:
- Desktop:
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;) - Mobile:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
7. Google-Extended
Specifičan za pristup sadržaju koji se koristi u alatima poput Google Barda.
String:Mozilla/5.0 (compatible; Google-Extended;)
8. GoogleOther
Generički bot za internu upotrebu.
String:GoogleOther
Ostali poznati User Agent stringovi za pretraživače
Bingbot
Microsoftov bot za Bing pretraživač.
String:Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
YandexBot
Bot za ruski pretraživač Yandex.
String:Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
DuckDuckBot
Bot za pretraživač DuckDuckGo.
String:DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)
BaiduSpider
Kineski pretraživački bot.
String:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
User Agent stringovi za SEO alate
AhrefsBot
Popularan alat za analizu linkova.
String:Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
SEMrushBot
SEO alat za praćenje pozicija i ključnih riječi.
String:Mozilla/5.0 (compatible; SEMrushBot/7~beta; +http://www.semrush.com/bot.html)
MJ12Bot
Majesticov alat za istraživanje linkova.
String:Mozilla/5.0 (compatible; MJ12bot/v1.2.4; http://www.majestic12.co.uk/bot.php?)
ContentKing
SEO alat za analizu i optimizaciju sadržaja u realnom vremenu.
String:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 (+https://whatis.contentkingapp.com)
Kako provjeriti da li je bot autentičan?
Botovi se mogu lažno predstavljati pomoću spoofovanih User Agent stringova. Da biste provjerili autentičnost bota, koristite komandu host na IP adresi iz vaših logova. Takođe, osigurajte da su pravila za pristup sadržaju specifično definirana u fajlu robots.txt.
Evo jednostavnog vodiča kako provjeriti da li je bot validan, koristeći Command Prompt (CMD) na Windowsu ili online alate.
Provjera putem CMD-a (Windows)
- Pokrenite Command Prompt
PritisniteWindows + R, unesitecmd, i pritisniteEnter. - Provjerite IP adresu
U logovima servera (ili hosting panela) pronađite IP adresu bota. Na primjer, neka IP adresa bude:66.249.66.1. - Pokrenite naredbu nslookup
Direktno unesite naredbu za provjeru IP adrese bota:nslookup 66.249.66.1
i dobićete ovakav rezultatcrawl-66-249-66-1.googlebot.com.
Provjerite da li domen završava s odgovarajućim glavnim domenom bota, npr.googlebot.com.
Online alati za provjeru
Ako ne želite koristiti CMD, evo nekoliko jednostavnih online alata:
IPinfo.io
Prikazuje detaljne informacije o IP adresi, uključujući vlasnika i regiju.
MXToolbox
Unesite IP adresu i provjerite rezultat.
WhatIsMyIPAddress
Pogledajte pripadnost IP adrese i domen.
Zaključak
Razumijevanje i pravilno upravljanje User Agent stringovima je ključno za optimizaciju web stranica, zaštitu od nepoželjnih botova i poboljšanje korisničkog iskustva. Korištenjem pravilnih pravila u robots.txt fajlu i analizom logova možete osigurati bolji SEO učinak i povećanu sigurnost vašeg sajta.