Kasus “Diindeks, meski diblokir oleh robots.txt” pada Blogger

Sejak Google merilis Search Console Baru pada awal tahun 2018, banyak yang bertanya di Forum Bantuan Webmaster Google bahwa situsnya menerima pesan di Search Console berbunyi, “Diindeks, meski diblokir oleh robots.txt”.

Bagi pemilik situs, mungkin akan panik mendengar kata “diblokir” dan “dampak negatif” pada pesan tersebut. Terdengar seperti masalah besar. Apa iya?

Ingatlah, bahwa pesan dari Search Console itu sifatnya hanya peringatan atau pemberitahuan. Tidak selalu merupakan hal yang harus diperbaiki. Karena itu di peringatan tersebut tertulis, “Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini.” Jadi perlu ditinjau dan dipertimbangkan. Kalau setelah ditinjau ternyata bukan masalah, ya berarti tidak ada yang perlu diperbaiki.

Untuk kasus ini, pertama-tama yang perlu dicek adalah file robots.txt Anda. Robots.txt adalah file yang berisi perintah/larangan yang ditujukan bagi perayap mesin pencari. Cara mengeceknya, tambahkan /robots.txt di belakang alamat situs Anda. Contoh: https://example.com/robots.txt

Ada dua skenario:

Jika menggunakan default robots.txt

Jika Anda menggunakan pengaturan robots.txt standar dari Blogger (ini jika pengaturan robots.txt dan tag tajuk robots.txt khusus dinonaktifkan), maka file-nya akan seperti ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://example.com/sitemap.xml

Perintah “Disallow: /” dimaksudkan melarang mesin pencari untuk merayapi direktori atau halaman tersebut. Pada file di atas ada perintah Disallow: /search –yang artinya melarang mesin pencari untuk merayapi halaman /search. Contoh URL-nya:

• https://example.com/search?q=kopi+bali
• https://example.com/search/label/menulis?updated-max=2007-11-14T20:40:00-08:00&max-results=20&start=20&by-date=false

Kenapa sengaja dilarang oleh Blogger? Karena memang tidak perlu dirayapi maupun diindeks. Dan halaman-halaman /search bisa menghasilkan hasil pencarian tanpa batas, jadi itu hanya menghabiskan kuota perayapan (setiap situs ada kuota perayapannya), yang harusnya bisa digunakan untuk halaman lain yang lebih penting –seperti halaman pos.

Nah, ketika Googlebot menemukan URL /search di situs Anda, ia tidak akan merayapi. Tapi jika URL tsb ditemukan di situs lain yang menautkan ke URL tsb, maka bisa saja diindeks oleh Google.

Ingat, pengindeksan dan perayapan itu dua hal yang berbeda.

Inilah asal-muasal pesan di Search Console tsb di atas. URL yang ditemukan Google di situs lain itu diindeks, meski diblokir oleh robots.txt situs Anda.

Apakah perlu cemas kalau URL /search diindeks? Tidak. Ini tidak berpengaruh pada performa situs secara umum di hasil pencarian. Dan jarang sekali URL /search mendapat peringkat lebih tinggi dibanding halaman pos.

Jadi kesimpulannya, bagi Anda yang menggunakan robots.txt default, pesan di Search Console tsb bukan masalah. Boleh diabaikan saja.

Jika mengaktifkan custom robots.txt

Bagi Anda yang mengutak-atik pengaturan robots.txt dan tag tajuk robots.txt khusus, maka perlu dicek satu per satu URL yang disebutkan di Search Console.

Apakah Anda ingin URL tsb;

(1) tidak dirayapi tapi boleh diindeks, atau (2) tidak dirayapi dan tidak diindeks?

Kalau opsi nomor (1), berarti semua aman. Beres. Pemberitahuan di Search Console boleh diabaikan karena memang pengaturannya disengaja.

Kalau opsi nomor (2), yaitu Anda tidak ingin URL tsb diindeks dan muncul di hasil pencarian, maka jangan menggunakan perintah robots.txt. Gunakan tag meta ‘noindex’ atau perintah noindex (header HTTP X-Robots-Tag). Atau bisa juga dengan membuat sandi di direktori atau halamannya. Dan di robots.txt justru harus diijinkan perayapan ke URL tsb. Karena kalau tidak, maka Google tidak dapat membaca tag ‘noindex’-nya.

Begitu saja kira-kira penjelasan yang bisa saya bagi, kalau ada pertanyaan atau komentar silahkan di kolom di bawah ini. Atau kalau mau berdiskusi lebih lanjut langsung saja mampir di Komunitas Bantuan Webmaster Google.