SQSEO-Bot

Een beleefde crawler
die de pagina's leest die AI-antwoorden citeren.

Wanneer ChatGPT, Perplexity of Google een pagina citeren in een antwoord dat wij hebben gemeten, leest SQSEO-Bot die pagina één keer, zodat onze klanten kunnen zien wat er staat. Deze pagina legt precies uit wat hij doet en hoe je hem stopt.

Wat hij doet

Eén gedeelde lezing per pagina,
nooit een crawl van je site.

Alleen pagina's die AI-antwoorden citeren
SQSEO-Bot ontdekt nooit pagina's door links te volgen. Hij haalt een URL pas op nadat een AI-antwoord dat wij observeerden die pagina ophaalde of citeerde, en bewaart één momentopname van de leesbare tekst, gedeeld door alle klanten, nooit een kopie per klant.
Eerst robots.txt, elke keer
Voor elke opvraging leest hij je robots.txt en respecteert hij Disallow-regels voor sqseo-bot (of *) en je Crawl-delay. Kan robots.txt niet gelezen worden, dan wordt de hele host overgeslagen.
Zelden, en voorzichtig
Hoogstens één verzoek per host per 10 seconden, een pagina hoogstens wekelijks opnieuw, met If-None-Match en If-Modified-Since, zodat een ongewijzigde pagina je een 304 kost en niets meer. Geen login, geen JavaScript, nooit CAPTCHA's oplossen.
Maakt zich eerlijk bekend
Elk verzoek draagt de onderstaande User-Agent en komt van onze eigen servers. We doen ons nooit voor als browser, wisselen geen identiteiten en gebruiken geen proxy's.
De User-Agent op elk verzoek
SQSEO-Bot/1.0 (+https://sqseo.com/bot)
Blokkeren

Twee regels in robots.txt
en we stoppen binnen een dag.

Zet dit in je robots.txt. We lezen robots.txt minstens elke 24 uur opnieuw, een geblokkeerde pagina wordt nooit meer opgehaald, en opgeslagen momentopnamen van je pagina's verlopen 90 dagen na de opvraging.

User-agent: sqseo-bot
Disallow: /

Liever rechtstreeks vragen? Stuur ons het domein via het contactformulier

Wat we bewaren

De leesbare tekst,
90 dagen lang.

Een momentopname is de zichtbare tekst van de pagina als Markdown: koppen, alinea's, lijsten, links. Geen scripts, geen stijlen, geen cookies, geen formuliergegevens, geen afbeeldingen. Ze bestaat zodat een klant kan zien waarom een AI-antwoord een pagina citeerde, en verloopt 90 dagen na de opvraging.