Robots txt di Blogger adalah cara sederhana untuk mengatur aturan yang memberi arahan ke mesin pencari seperti Google tentang halaman mana yang boleh diakses dan mana yang sebaiknya diabaikan.
Membuat robots txt dapat di mulai dengan membuat aturan bagian mana saja yang boleh di indeks (allow) atau tidak bolehdi indeks (disallow). Ini adalah bagian krusial untuk mengatur bagaimana cara mesin pencari seperti Google dan Bing memahami blogmu.
Dengan begitu, kamu bisa memastikan halaman-halaman penting tetap terlihat dalam hasil pencarian, sementara halaman yang kurang penting seperti arsip atau label bisa disembunyikan saja. Semua ini bisa kamu atur dengan mudah melalui fitur robots. txt kustom di Blogger.
Jangan lupa juga untuk selalu menyesuaikan dengan kebutuhan blogmu agar performa Seo tetap bisa optimal tanpa mengganggu konten utama. Artikel ini akan menjelaskan secara ringkas mengenai apa itu robots. txt, mengapa dia penting, dan bagaimana cara membuatnya dengan benar di Blogger.
Cara Setting Robots.txt di Blogger
Secara sederhana, robots txt adalah sebuah file teks kecil yang ditempatkan di situs web kamu. File ini berfungsi sebagai “pedoman” atau aturan untuk robot pencari seperti Googlebot.
Tugas dari robot ini adalah menjelajahi dan mengumpulkan data situs web untuk dimasukkan ke dalam basis data mesin pencari.
Contoh sederhananya begini: Robots. txt ibarat sebuah papan informasi di sebuah gedung sekolah. Robot pencari adalah pengunjung yang ingin melihat gedung tersebut. Di papan informasi tersebut terdapat aturan yang menjelaskan area mana yang terbuka dan boleh diakses dan mana yang tertutup dan tidak boleh diakses.
Dengan menggunakan robots. txt, maka kamu bisa menentukan:
- Halaman mana saja yang diperbolehkan untuk di crawl atau dijelajahi oleh (robot pencari), misalnya Googlebot
- Halaman mana yang tidak diizinkan untuk dijelajahi
- Lokasi sitemap (peta situs untuk semua post boleh diakses)
Mengapa Cara membuat Robots txt Penting?
Mungkin ada sebagian blogger yang tidak menyadari bahwa robots. txt memiliki peran yang cukup penting pada sebuah blog. Berikut adalah beberapa alasan mengapa kamu perlu memperhatikan file kecil ini.
1. Mempercepat Pengindeksan oleh Google
Apabila robots txt sudah disusun dengan tepat dan benar, maka robot Google akan lebih mudah menemukan dan cepat melakukan indeks terhadap konten artikel baru di blog kamu. Artinya, semua artikelmu yang sudah dipublis bisa segera tampil di pencarian.
2. Mencegah Konten Duplikat
Biasanya, blogger cenderung untuk membuat URL ganda untuk halaman yang sama, misalnya pada versi desktop dan mobile dengan URL yang berbeda. Jadi, robots.txt dapat berfungsi mencegah robot mengindeks versi duplikat tersebut.
3. Memprioritaskan Konten Penting
Ada yang perlu kamu ketahui, bahwa robot mesin pencari membutuhkan waktu untuk menjelajahi semua halaman situs. Dengan begitu, maka robots txt harus difokuskan hanya pada konten yang benar-benar penting, seperti postingan artikel.
4. Melindungi Halaman yang Tidak Perlu Tampil
Terkadang ada halaman yang tidak seharusnya muncul di hasil pencarian. Misalnya halaman arsip lama atau hasil pencarian internal seperti search label atau kategori. Cara setting robots bisa diatur untuk memblokir halaman-halaman ini.
Cara Mengakses Robots txt di Blogger
Sekarang kita akan masuk ke dalam bagian penerapannya. Ikuti beberapa langkah yang akan dijelaskan di bawah ini.
Langkah 1: Masuk ke Blogger
Kunjungi blogger. com dan masuk dengan akun Google yang terkait dengan blog kamu.
Langkah 2: Pilih Blog
Jika kamu sudah memiliki lebih dari satu blog, pilih blog yang akan kamu atur pengaturan robots. txt-nya. Namun, jika belum punya, silahkan lanjut untuk membuatnya.
Langkah 3: Masuk ke Pengaturan
Di dashboard Blogger, klik pada menu Setelan.
Langkah 4: Temukan Bagian Crawlers and Indexing
Gulir ke bawah hingga menemukan bagian yang disebut Perayapan dan pengindeksan.
Langkah 5: Aktifkan Robots.txt Custom
Cari opsi “Enable custom robots. txt” dan aktifkan dengan memilih Ya.
Langkah 6: Edit Robots. txt
Pada bagian ini akan muncul kotak untuk melakukan pengeditan. Klik tombol edit dan masukkan kode robots.txt yang ingin kamu terapkan.
Cara Setting Robots txt yang Tepat untuk Blogger
Berikut adalah beberapa template robots. txt yang bisa kamu buat, sesuaikan dengan kebutuhan blog kamu.
1. Cara pertama
User-agent: Googlebot
Disallow: /search
Allow: /
Sitemap: https://www.namablogkamu.com/sitemap.xml
Robot. txt di atas menggunakan aturan yang sederhana:
User-agent: Googlebot
Artinya, aturan ini hanya berlaku untuk bot Google saja. Jadi yang mengikuti aturan ini adalah Googlebot, bukan semua mesin pencari.
Disallow: /search
Pada bagian ini, aturannya melarang Googlebot mengakses semua URL yang mengandung /search. Di Blogger, biasanya search dipakai untuk halaman label (kategori). Halaman ini sebenarnya duplikat dan tidak terlalu penting, dan sebaiknya memang tidak usah di indeks.
Allow: /
Aturan ini berarti semua halaman selain yang dilarang tetap boleh diakses. Jadi, artikel postingan dan halaman penting diizinkan untuk crawl.
Sitemap: https://www.namablogkamu.com/sitemap.xml
Aturan memberi petunjuk pada mesin Google tentang lokasi sitemap blog kamu. Sitemap ini membantu:
- menemukan semua artikel pada blog lebih cepat
- bisa mempercepat proses indexing
- memastikan tidak ada halaman penting yang terlewat untuk di crawl
2. Cara kedua
User-agent: *
Disallow:
Sitemap: https://namablogkamu.blogspot.com/sitemap.xml
Aturan ini mengizinkan semua halaman bebas untuk di-crawl. Jika semua halaman dan postingan kamu ingin cepat terindeks, maka aturan ini cocok buat blog kamu.
3. Cara pembuatan ketiga
User-agent: Googlebot
Disallow: /search
Allow: /
User-agent: Bingbot
Disallow: /search
Allow: /
Sitemap: https://www.namablogkamu.com/sitemap.xml
Penjelasannya:
User-agent: Googlebot. Aturan ini berfungsi supaya mesin google fokus untuk mengindeks halaman penting dan mengabaikan halaman search.
User-agent: Bingbot. Aturan ini juga sama, yakni mengatur bot dari Bing untuk fokus indeks pada halaman penting.
Disallow: /search. Aturan ini melarang kedua bot mengakses halaman label (kategori) dan arsip
Allow: / Aturan ini mengizinkan semua halaman utama seperti postingan untuk tetap di crawl dan di indeks.
Sitemap: Memberi tahu lokasi sitemap agar Google dan Bing lebih cepat menemukan semua URL postingan di blog kamu.
Cek Apakah setingan Sudah Berfungsi
Setelah menyimpan, kamu dapat memeriksanya dengan beberapa cara:
Cara pertama. Buka Langsung di Browser
Silahkan Ketik di address bar: www.namablogkamu.com/robots.txt (ganti dengan nama blog kamu). Jika aturannya benar, maka Seharusnya muncul isi dari robots. txt yang telah kamu buat.
Cara kedua. Pakai Google Search Console
Silahkan masuk dan daftarkan situs kamu ke Google Search Console. Jika sudah, silahkan masukan sitemap kamu. Di sana kamu bisa melihat apakah setingan robots yang sudah dibuat bisa terbaca dengan baik.
Optimasi Blog Kamu
Perlu kamu tahu juga bahwa robots.txt hanya merupakan salah satu aspek dari optimisasi SEO pada blok. Ini berarti masih ada banyak cara untuk memaksimalkan blog kamu untuk muncul dihasil pencarian google.
Perhatikan langkah-langkah ini:
Aktifkan meta tag deskripsi. Pada pengaturan Blogger, kamu bisa mengaktifkan deskripsi penelusan. Manfaatkan bagian ini untuk membuat deskripsi situs kamu.
Gunakan HTTPS. Blogger kini menyediakan SSL secara gratis. Oleh sebab itu, pastikan blog kamu menggunakan HTTPS, bukan HTTP.
Gunakan google search console. Daftarkan blogmu di Google Search Console agar cepat terindeks dan bisa memantau kinerja situs atau blog kamu.
Konsisten dalam menulis artikel Seo. Konten artikel Seo dapat membantu robot dalam menemukan konten. Konten artikel yang organik (bukan konten Ai) akan lebih mudah terindeks google.
Kapan Harus Mengubah Robots.txt?
Ada kalanya kamu perlu melakukan perubahan atau pembaruan ketika:
- ada masalah dengan konten yang sama yang belum terselesaikan
- blog sudah berkembang dan memerlukan pengaturan yang berbeda
- mengganti nama domain atau subdomain
Kesimpulan: Cara Setting Robot txt di Blogger
Menyusun aturan robots untuk Blogger sangat penting, meskipun caranya sederhana sekali. Oleh karena itu, kamu perlu ingat tiga hal utama:
- Tujuan utama: robot membantu bot mesin pencari dalam menjelajahi blog dengan lebih cepat dan efisien.
- Bagian penting: sitemap yang kamu buat membantu robot dalam menemukan semua konten di dalam situs.
- Batasan yang tepat: untuk memblokir halaman yang memang tidak perlu untuk di indeks.
Gunakan pola yang sudah dijelaskan sebelumnya, jangan lupa juga untuk mengganti nama blognya, lalu selalu periksa setelah menyimpan.
Dengan menerapkan aturan robots yang tepat, blogmu akan lebih mudah terindeks dan peluang tampil pada pencarian Google akan meningkat.
Jika ada masalah atau pertanyaan, maka silakan tulis di kolom komentar. Selamat mencoba dan semoga berhasil!
