Vutral
Cara memakai alat ini

Alat Cek Meta Robots & X-Robots-Tag Massal

Data diperiksaMeta Robots

Cara memakai pemeriksa tag meta robots massal

Kembali ke alat

Setiap URL diambil sekali dan kedua tempat aturan pengindeksan bisa berada dibaca: tag meta robots di head dan header respons X-Robots-Tag.

  1. 01

    Masukkan URL yang akan diperiksa

    Mode tunggal memeriksa satu alamat dan berjalan saat Enter ditekan. Beralih ke Massal untuk menempel daftar, satu URL per baris, hingga 30 per sesi. Halaman yang layak ditempel bersama adalah yang seharusnya berbeda: halaman produk yang harus diindeks di samping halaman pencarian yang tidak boleh, sehingga satu sesi menampilkan kedua jawaban berdampingan.

  2. 02

    Pilih tingkat normalisasi URL

    Normalisasi URL menulis ulang setiap alamat sebelum diambil. URL lengkap mempertahankan path dan query tetapi membuang parameter pelacakan dan fragmen; Tanpa query menghapus query string; Hanya domain hanya menyisakan domain. Aturan pengindeksan ditetapkan per templat, dan query string adalah yang membedakan halaman pencarian dari daftarnya; buang itu dan Anda malah memeriksa daftarnya.

  3. 03

    Baca kolom Robots

    Kolom menampilkan string direktif persis seperti dideklarasikan, satu per baris, tanpa menilai. Direktif yang menyebut satu perayap ditampilkan dengan nama itu di belakangnya, misalnya [googlebot], karena kata yang ditujukan ke satu perayap berarti lebih sedikit. Sel kosong berarti tidak ada yang dideklarasikan, dan itu bukan cacat: halaman seperti itu dapat diindeks dan diikuti.

  4. 04

    Periksa satu baris dan ekspor hasilnya

    Lihat merangkum direktif dan menandai masing-masing dengan sumbernya: [html] untuk tag meta, [header] untuk header. Tag meta ada di templat; header ada di konfigurasi server atau CDN. Tanda kedua menandai direktif yang menyebut satu perayap; vonis hanya menghitungnya ketika User agent diatur ke perayap itu. Salin tabel menyalin baris dipisah tab; Ekspor CSV menulisnya ke file.

Cara membaca laporan noindex dan nofollow

Satu baris dibaca dari kiri ke kanan: alamat yang diperiksa, tempat ia mendarat, dan aturan yang ditetapkan halaman itu untuk perayap.

Kolom tabel hasil

URL
Alamat persis seperti yang diperiksa — setelah normalisasi, tidak selalu sama dengan yang Anda ketik.
URL hasil
Tempat permintaan berakhir dan status akhirnya. Pengalihan diikuti lebih dulu, dan aturan dibaca dari halaman akhir itu.
Robots
Semua untai direktif yang dideklarasikan halaman terakhir, satu per baris, tanpa diubah, masing-masing dengan nama crawler di belakangnya bila ia hanya menyapa satu. — berarti tidak ada yang dideklarasikan.
Hasil
Apakah baris ini selesai, masih berjalan, atau berhenti karena galat. Ia tidak mengatakan apa pun tentang aturannya sendiri.
Tindakan
Lihat membuka panel detail untuk baris itu; Coba lagi muncul sebagai gantinya bila permintaan tidak pernah sampai.

Kesimpulan panel detail

Pengindeksan dan pengikutan tautan diizinkan.
Ada yang dideklarasikan, dan tidak satu pun darinya memblokir apa pun — index yang eksplisit, follow, atau direktif yang hanya membentuk cuplikan. Hasilnya sama dengan tidak mendeklarasikan apa pun, hanya saja diucapkan.
Tidak ada direktif robots — bawaannya index, follow.
Tidak ada yang dideklarasikan, jadi bawaan berlaku: dapat diindeks dan diikuti. Benar untuk kebanyakan halaman.
nofollow — tautan di halaman ini tidak diikuti.
Halaman boleh diindeks tetapi tautannya tidak meneruskan apa pun. Jarang menjadi keinginan halaman publik, dan gampang terwarisi dari template yang dibuat untuk keperluan lain.
noindex — halaman ini tidak akan diindeks.
Halaman ini dijauhkan dari indeks. Tepat untuk halaman pencarian atau halaman terima kasih, dan kesalahan paling mahal pada halaman yang Anda ingin peringkatkan. none juga terhitung di sini: ia singkatan dari noindex plus nofollow.
Kedua sumber berbeda — Google memakai yang lebih ketat.
Satu sumber memblokir pengindeksan dan yang lain tidak. Google mengambil yang lebih ketat, jadi halaman keluar; membaca sumber yang permisif saja memberi tahu sebaliknya.
Tidak ada yang berlaku untuk semua crawler — tiap direktif di atas menyebut satu nama, dan yang begitu tidak diperiksa.
Semua yang dideklarasikan halaman ditujukan ke perayap bernama, jadi tidak ada aturan umum untuk dinilai. Baca sendiri direktif yang tercantum: halaman yang terbuka untuk semua kecuali Googlebot tetaplah halaman yang tidak akan diindeks Google.
Direktif yang menyebut nama crawler ditampilkan tetapi tidak diperiksa — kesimpulan di atas hanya mencakup yang berlaku untuk semua crawler.
Halaman mendeklarasikan kedua jenis. Kesimpulan itu hanya benar untuk aturan umum, sementara yang bernama duduk di atasnya tanpa dinilai — layak dibaca ketika crawler yang disebut justru yang Anda pedulikan.
Tidak ada di sini yang berlaku untuk Googlebot Smartphone — setiap arahan di atas menyebut crawler lain.
Anda menjalankan sebagai perayap bernama, dan setiap baris yang dideklarasikan halaman menyebut perayap lain. Tidak ada yang membatasi perayap pilihan Anda; baris yang tercantum ditujukan untuk yang lain.
Kesimpulan di atas berlaku untuk Googlebot Smartphone: arahan yang menyebutnya ikut dihitung, arahan untuk crawler lain tidak.
Muncul ketika Anda menjalankan sebagai perayap bernama dan halaman menyebut perayap tertentu. Baris yang menyebut perayap pilihan Anda digabung dengan aturan umum dalam vonis; baris untuk perayap lain hanya dicantumkan.
Arahan yang dihitung untuk Googlebot Smartphone saling berbeda — kesimpulan di atas mengikuti yang lebih ketat.
Anda menjalankan sebagai perayap bernama dan baris yang berlaku untuknya saling berbeda: satu memblokir pengindeksan, yang lain tidak. Vonis mengambil yang lebih ketat. Google mendokumentasikan bahwa ia melakukan hal yang sama; perayap lain punya aturan sendiri.

Dari mana sebuah direktif bisa datang

[html]
Sebuah tag <meta name="robots"> di head halaman. Perbaiki di template mana pun yang merender head itu.
[header]
Header respons X-Robots-Tag. Satu-satunya cara memasang aturan pada file tanpa head, seperti PDF atau gambar, dan mudah terlupa karena sumber halaman tak pernah menampilkannya. Perbaiki di konfigurasi server atau CDN.
[googlebot] dan nama crawler lainnya
Direktif yang ditujukan ke satu perayap saja: <meta name="googlebot">, atau baris X-Robots-Tag berawalan nama perayap. Ia dicantumkan dengan nama itu, dan hanya dinilai ketika User agent diatur ke perayap itu. Baca sendiri baris-baris itu: halaman yang hanya diblokir untuk Googlebot tidak akan berperingkat.