Setting Robots.txt Blogger Agar Cepat Terindeks Google

Daftar Isi

Mengatur robots.txt adalah file teks yang ditempatkan pada sebuah situs untuk memberikan perintah kepada mesin pencari tentang bagaimana mereka merayapi blog anda, mana halaman yang boleh dirayapi dan mana halaman yang tidak boleh dirayapi (Crawl).

Robots.txt bisa menjadi cara agar mesin pencari lebih mudah menemukan dan merayapi seluruh ini blog kamu terutama seluruh post dan halaman, sehingga mempercepat blog dan setiap postingan baru terindeks ke Google Search kemudian mendatangkan traffic organik.

1. Robots.txt Otomatis Blogger

Pada dasarnya setiap kamu membuat blog dengan layanan Blogger, secara otomatis maka sudah terdapat file robots.txt dapat diakses melalui domain anda : https://www.namadomain.com/robots.txt

Isi default robots.txt pelalui platform blogger adalah :

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Allow: /

Disallow: /search

Sitemap: https://www.namadomain.com/sitemap.xml

Keterangan :

User-agent adalah nama robot mesin pencari

Disallow adalah direktori halaman yang TIDAK diperbolehkan dirayapi User-agent

Allow adalah direktori halaman yang diperbolehkan dirayapi User-agent

Sitemap adalah alamat peta situs blog kamu

2. Setting Robots.txt Blogger

Robots.txt juga bisa diatur secara manual melalui pengaturan blogger untuk menambahkan perintah lain kepada Google Bot

Buka Blogger -> Masuk Setelan -> Scroll kebawah sampai menemukan Crawler dan pengindeksan -> Aktifkan robots.txt kustom

Isikan secara manual (default yang disarankan) :

User-agent: *

Allow: /

Disallow: /search

Sitemap: https://www.namadomain.com/sitemap.xml

Sitemap: https://www.namadomain.com/sitemap-page.xml

Isi robots.txt seperti diatas menunjukkan bahwa blog anda menijinkan seluruh user agent (tidak hanya Google) untuk dapat merayapi semua direktori, kecuali URL yang berada dalam direktori /search

Kenapa direktori /search dibuat tidak dirayapi ? Contoh :

https://www.hanublog.com/search/label/Blogging?&max-results=6

https://www.hanublog.com/search?q=google+search+console

Contoh URL diatas berasal dari direktori Pencarian dan Label, keduanya memiliki /search setelah nama domain. Apabila perayapan diizinkan untuk /search maka kemungkinan yang terjadi adalah konten duplikat yang dapat berakibat pada Search Console mengalami error.

Untuk sitemap baiknya juga ditambahkan /sitemap-page.xml untuk membanyu mesin pencari merayapi halaman seperti kontak, disclaimer, privacy daftar isi dll yang ada blog kita.

Kamu juga bisa mengeculikan halaman khusus jika tidak ingin dirayapi dengan menambahkan direktori pada perintah Disallow, Contoh :

User-agent: *

Allow: /

Disallow: /search

Disallow: /p/uji coba halaman.html

Disallow: /2025/03/uji coba postingan.html

Sitemap: https://www.namadomain.com/sitemap.xml

3. Setting Robots.txt Blogger Otomatis melalui Tag Header

Sama dengan cara nomor 2 namun lebih mudah hanya tinggal klik tidak perlu menambahkan text lagi, atau kamu bisa mengkombinasikan antara robots.txt kustom dengan tag header robot kustom. 

Buka Blogger -> Masuk Setelan -> Scroll kebawah sampai menemukan Crawler dan pengindeksan -> Aktifkan tag header robot kustom -> kamu akan melihat 3 opsi seperti dibawah ini :

Pada 3 pilihan Tag halaman beranda, arsip dan halaman penelusuran, postingan dan halaman, gunakan pengaturan robots.txt seperti dibawah ini :

Pada bagian Tag robot kustom untuk halaman dan rsip itu sama saja dengan perintah Disallow: /search

Terkhir apabila kamu sudah menerapkan perubahan pada robots.txt, untuk mengetahui apakah perubahan sudah sesuai yang kamu harapkan atau belum, silahkan cek blog kamu dengan memasuk direktori https://www.namadomain.com/robots.txt

Perlu diperhatikan bahwa robots.txt adalah hal yang sangat krusial, ketidak pahaman dan kesalahan yang terjadi bisa membuat blog anda tidak bisa ditemukan dalam mesin penelusuran. Oleh karena itu sebaiknya diperhatikan agar blog kita bisa tetap eksis di pencarian Google.