BlaBlaPriceBot, der Preis-Bot von BlaBlaPrice
BlaBlaPriceBot ist der Bot von BlaBlaPrice, einem Dienst für Preisanfragen der EVERLOGIC LLC (Ukraine). Er liest die Preise von Produkten auf den eigenen Seiten von Onlineshops, damit der Preisindex Käufern aktuelle Preise und Links zu den Shops zeigt.
Was der Bot erfasst
Nur den öffentlichen Preis, die Währung, ob das Produkt verfügbar ist, den Produktnamen und die Adresse der Seite, aus den strukturierten Daten der Seite (schema.org). Der Bot kopiert keine Beschreibungen, Fotos oder Bewertungen und erfasst keine personenbezogenen Daten.
Wie oft und wie schnell
Er arbeitet nachts. Jede Seite wird etwa einmal pro Woche gelesen. Eine Website erhält höchstens eine Anfrage alle 5 Sekunden, seltener, wenn ihre robots.txt ein längeres Crawl-delay verlangt, und insgesamt stellt der Bot höchstens zwei Anfragen gleichzeitig. Er nutzt bedingte Anfragen (ETag, Last-Modified) und Komprimierung und pausiert zwei Wochen bei einer Website, die ihn abweist.
robots.txt
Der Bot befolgt robots.txt: die Regeln für BlaBlaPriceBot, sonst die Regeln für alle Robots (User-agent: *). Er liest robots.txt jeden Tag neu. Er meldet sich so:
BlaBlaPriceBot/1.0 (+https://blablaprice.com/bot)So wird der Bot gesperrt
Diese Zeilen in robots.txt eintragen, und ab dem nächsten Tag öffnet der Bot die Website nicht mehr:
User-agent: BlaBlaPriceBot
Disallow: /Kontakt
Fragen zum Bot oder die Bitte, einen Shop zu entfernen: support@blablaprice.com. Ein Unternehmen kann auch mit diesem Formular aus unseren Listen entfernt werden: