BlaBlaPriceBot, der Preis-Bot von BlaBlaPrice

BlaBlaPriceBot ist der Bot von BlaBlaPrice, einem Dienst für Preisanfragen der EVERLOGIC LLC (Ukraine). Er liest die Preise von Produkten auf den eigenen Seiten von Onlineshops, damit der Preisindex Käufern aktuelle Preise und Links zu den Shops zeigt.

Was der Bot erfasst

Nur den öffentlichen Preis, die Währung, ob das Produkt verfügbar ist, den Produktnamen und die Adresse der Seite, aus den strukturierten Daten der Seite (schema.org). Der Bot kopiert keine Beschreibungen, Fotos oder Bewertungen und erfasst keine personenbezogenen Daten.

Wie oft und wie schnell

Er arbeitet nachts. Jede Seite wird etwa einmal pro Woche gelesen. Eine Website erhält höchstens eine Anfrage alle 5 Sekunden, seltener, wenn ihre robots.txt ein längeres Crawl-delay verlangt, und insgesamt stellt der Bot höchstens zwei Anfragen gleichzeitig. Er nutzt bedingte Anfragen (ETag, Last-Modified) und Komprimierung und pausiert zwei Wochen bei einer Website, die ihn abweist.

robots.txt

Der Bot befolgt robots.txt: die Regeln für BlaBlaPriceBot, sonst die Regeln für alle Robots (User-agent: *). Er liest robots.txt jeden Tag neu. Er meldet sich so:

BlaBlaPriceBot/1.0 (+https://blablaprice.com/bot)

So wird der Bot gesperrt

Diese Zeilen in robots.txt eintragen, und ab dem nächsten Tag öffnet der Bot die Website nicht mehr:

User-agent: BlaBlaPriceBot
Disallow: /

Kontakt

Fragen zum Bot oder die Bitte, einen Shop zu entfernen: support@blablaprice.com. Ein Unternehmen kann auch mit diesem Formular aus unseren Listen entfernt werden:

Mein Unternehmen aus der Liste entfernen

Über BlaBlaPrice · Marktanalyse

chat-bubble