BibRunnerBot

BibRunnerBot mengambil informasi lomba lari dari kalender event publik untuk BibRunner, kalender lari Indonesia. Bot ini hanya mencatat fakta (nama, tanggal, lokasi, jarak, harga, tautan pendaftaran) dan selalu menautkan kembali ke sumbernya.

Identitas

User-agent:

Mozilla/5.0 (compatible; BibRunnerBot/0.1; +https://bibrunner.com/bot)

Token robots.txt: BibRunnerBot

Cara kerja

Mematuhi robots.txt (dibaca ulang tiap 12 jam) termasuk Crawl-delay hingga 30 detik. Bila robots.txt mengembalikan galat server (5xx), seluruh situs dianggap dilarang.
Jeda minimal 2 detik antar-permintaan ke satu host (2,5 detik untuk halaman pendaftaran).
Berjalan sekali sehari pada dini hari WIB dan memakai sitemap serta permintaan bersyarat (If-None-Match / If-Modified-Since), sehingga halaman yang tidak berubah tidak diunduh ulang.
Mundur saat menerima 429 atau 503 dan menghormati Retry-After.
Jawaban 403, 406, atau 451 dianggap penolakan: halaman dilewati dan tidak dicoba ulang lewat jalur lain.
Tidak masuk (login), tidak mengisi formulir, tidak menyelesaikan CAPTCHA atau tantangan anti-bot — halaman seperti itu dilewati.
Hanya membaca halaman HTML/XML (batas 3 MB per halaman); gambar dan media tidak dikumpulkan.

Membatasi atau memblokir

Blokir seluruh situs:

User-agent: BibRunnerBot
Disallow: /

Atau perlambat:

User-agent: BibRunnerBot
Crawl-delay: 10

Perubahan robots.txt berlaku paling lambat pada run harian berikutnya.

Kontak

Pertanyaan, keluhan, atau permintaan penghapusan data: contact@bibrunner.com. Lihat juga koreksi & penghapusan data.