Alat Cek Akses Bot AI & Crawler LLM

Satu halaman masuk; setiap perayap AI yang kami lacak diukur terhadap halaman itu dua kali, lewat dua cara yang saling bebas.

1. 01

   Masukkan halaman yang ingin Anda buka untuk perayap AI

   Satu halaman per proses: perbandingan di sini antar bot, bukan antar URL. Pilih halaman persis yang Anda pedulikan, karena aturan robots.txt dicocokkan dengan path-nya. Aturan yang memblokir /blog/ tidak akan muncul jika Anda menguji beranda, dan aturan CDN yang terikat path berperilaku sama.

   URLexample.com/article

   Normalisasi URLURL lengkap
2. 02

   Jalankan pemeriksaan pada semua 22 bot

   Tidak ada pemilih bot, dan itu disengaja. Kolom Konten mengukur tiap bot terhadap 21 bot lainnya dalam proses yang sama, sehingga proses parsial akan menghilangkan tolok ukur yang membuat kolom itu bermakna. Tiap bot diambil bergiliran, jadi baris yang belum mendapat giliran bisa dicoba lagi sendiri.

   Periksa bot AI

   22/22URL hasil200example.com/article
3. 03

   Baca kedua putusan berdampingan

   robots.txt adalah yang Anda nyatakan; Status HTTP adalah yang benar-benar dilakukan server. Baris yang keduanya sepakat adalah rutin. Baris yang layak diperhatikan adalah yang keduanya berselisih, dan baris itu membawa ikon peringatan: diizinkan file tetapi ditolak server, atau diblokir file namun tetap disajikan utuh.

   Botrobots.txtStatus HTTP

   GPTBotDiizinkan200

   ClaudeBotDiizinkan403

   CCBotDiblokir200

Cara membaca laporan akses perayap AI

Satu baris dibaca dari kiri ke kanan: bot mana, apa kata robots.txt tentangnya, dan apa yang benar-benar dilakukan server. Setiap permintaan adalah milik kami, dikirim dengan string User-Agent bot itu; perayap asli vendor masih bisa berperilaku berbeda.

Kolom tabel hasil

URL hasil

Berada di atas tabel, bukan di dalamnya. Ini alamat yang kami ukur, diambil sekali dengan User-Agent identitas kami sendiri — kelompok pembanding untuk setiap baris bot.

Vendor

Siapa yang menjalankan perayap. Baris dikelompokkan per perusahaan, sehingga satu perusahaan terbaca sebagai satu blok.

Bot

Token yang akan Anda tulis setelah User-agent: di robots.txt. Bot bertanda UA belum terverifikasi tidak punya string User-Agent resmi sama sekali; bot bertanda token sebagai UA hanya punya token ini, dan itulah yang kami kirim.

Tujuan

Untuk apa perayap mengumpulkan data — melatih model, menyusun indeks pencarian, mengambil halaman yang baru saja ditanyakan seseorang, atau memeriksa halaman tujuan iklan.

robots.txt

Lapisan satu, dihitung dari file Anda sendiri: apakah robots.txt Anda mengizinkan token ini pada path ini? Arahkan kursor ke vonis untuk melihat aturan mana yang cocok. Kolom ini hilang saat situs tidak punya robots.txt, dan baris di atas tabel menyebutkannya.

Status HTTP

Lapisan kedua, diukur sungguhan: apa yang server Anda kembalikan untuk permintaan yang membawa User-Agent bot itu. Inilah lapisan yang tidak bisa diberitahu oleh robots.txt.

Konten

Berapa banyak karakter terlihat yang diterima bot itu. Tolok ukurnya adalah bot-bot lain pada pemeriksaan yang sama, jadi angka yang jauh di bawah sisanya berarti halaman dipangkas, bukan perbedaan bahasa.

Hasil

Apakah pengukurannya sendiri selesai. Ini label, bukan tombol: tombol coba lagi untuk baris yang gagal ada di kolom berikutnya.

Tindakan

Satu tombol untuk setiap baris yang membutuhkannya: bot yang kehabisan waktu, atau belum sempat gilirannya, mendapat tombol coba lagi yang mengukur ulang baris itu saja. Baris yang selesai bersih tidak punya apa pun di sini.

Rujukan ikon peringatan

Diizinkan, tapi 4xx atau 5xx

robots.txt Anda mempersilakan bot masuk sementara sesuatu di depan server menolaknya — biasanya aturan bot dari CDN atau WAF yang bukan Anda tulis. Inilah temuan yang menjadi alasan alat ini ada.

Diblokir, tapi 2xx

Celah arah sebaliknya: robots.txt melarang dan halaman tetap disajikan. Tidak ada yang memaksakan robots.txt, jadi perayap yang mengabaikannya tetap membawa pulang halaman utuh.

Konten jauh lebih sedikit

Status terlihat sehat tapi isinya hanya sebagian kecil dari yang diterima bot lain. Biasanya itu halaman tantangan atau versi terpangkas, dan kolom status sendirian tidak pernah menunjukkannya.

UA belum terverifikasi

Vendor tidak menerbitkan string User-Agent apa pun, jadi milik kami berasal dari log akses dan mungkin sudah usang. Baca baris itu dengan keyakinan lebih rendah.

token sebagai UA

Vendor memublikasikan token robots.txt tetapi bukan header User-Agent, jadi permintaan yang kami kirim membawa token itu sendiri. Lalu lintas asli crawler tersebut bisa berbeda, jadi baca baris itu sebagai indikasi, bukan ukuran pasti.

Rujukan kode status

200 OK

Bot mendapatkan halamannya. Periksa kolom Konten dulu sebelum menganggapnya aman.

403 Forbidden

Ditolak. Hampir selalu aturan anti-bot, bukan halaman rusak — URL yang sama biasanya terbuka normal di peramban Anda.

404 Not Found

Tidak ada apa pun di alamat itu untuk pengunjung ini. Kalau bot lain mendapat 200 pada URL yang sama, perbedaan itu dibuat dengan sengaja.

429 Too Many Requests

Dibatasi lajunya. Situs Anda sedang mengerem, bukan memblokir — ulangi baris itu alih-alih membacanya sebagai kebijakan.