Ini Dia 9+ Langkah Cara Setting Robots.txt Blogger, Gampang Kok !

Cara Setting Robots.txt Blogger – Kamu pasti ingin situs webmu tampil maksimal di mesin pencari, kan? Nah, penggunaan robots.txt menjadi salah satu faktor penting dalam strategi SEO.

Meski sering diabaikan, robots.txt sebenarnya memegang peran vital dalam mengarahkan bot crawler untuk menjelajah situsmu.

Mengoptimalkan robots.txt bukan cuma soal membiarkan atau melarang bot mengakses halaman tertentu, tetapi juga memastikan crawler fokus pada konten yang berkualitas dan relevan.

Artikel ini akan membahas best practices dalam menggunakan robots.txt, memberikan panduan praktis yang bisa kamu terapkan langsung.

Dengan pemahaman yang benar, kamu bisa memaksimalkan visibilitas situs webmu di hasil pencarian dan meningkatkan peringkatnya. Jadi, siap meningkatkan permainan SEO-mu?

Cara Mengaktifkan Custom Robots.txt di Blogger

Mengaktifkan custom robots.txt di Blogger sebenarnya cukup mudah. Ikuti langkah-langkah di bawah ini untuk membuat blog Anda lebih ramah SEO:

1. Login ke Dashboard Blogger: Masuk ke akun Blogger Anda dan pilih blog yang ingin Anda atur.
2. Buka Menu “Settings”: Setelah masuk ke dashboard blog, cari dan klik opsi “Settings” atau “Setelan”.
3. Pilih Submenu “Search Preferences”: Di bagian pengaturan, cari dan klik submenu “Search preferences” atau “Preferensi penelusuran”.
4. Scroll ke Bagian “Crawlers and Indexing”: Geser ke bawah sampai menemukan bagian “Crawlers and indexing” atau “Crawler dan pengindeksan”.
5. Aktifkan Custom Robots.txt: Pada opsi “Custom robots.txt”, pilih “Yes” atau “Ya” untuk mengaktifkan fitur ini.
6. Masukkan Kode Robots.txt: Di kolom teks yang muncul, masukkan kode berikut:User-agent: * Allow: / Disallow: /search Sitemap: https://namablog.blogspot.com/sitemap.xml Jangan lupa untuk mengganti “namablog” dengan nama blog Anda.
7. Simpan Perubahan: Setelah memasukkan kode, klik “Save changes” atau “Simpan perubahan” untuk menyimpan pengaturan.
8. Aktifkan “Enable Custom Robots Header Tags”: Tepat di bawah pengaturan custom robots.txt, ada opsi untuk mengaktifkan tag header robot kustom. Aktifkan opsi ini untuk mengontrol meta robots tag pada halaman blog.
9. Simpan Perubahan Sekali Lagi: Terakhir, klik lagi “Save changes” untuk memastikan semua perubahan tersimpan.

Dengan mengikuti langkah-langkah ini, Anda bisa mengontrol halaman mana yang ingin diindeks oleh mesin pencari. Ini membantu mengoptimalkan blog Anda untuk SEO dengan lebih baik.

Mengatur Robots Meta Tags di Blogger

Setelah mengaktifkan custom robots.txt, Anda juga perlu mengatur Robots Meta Tags agar mesin pencari lebih optimal dalam mengindeks blog Anda. Berikut langkah-langkah yang perlu dilakukan:

1. Edit Home Page Tags: Temukan menu “Custom robots header tags” di pengaturan Blogger, lalu klik “Edit” pada bagian “Home page tags”. Di sini, centang opsi “All” dan “noodp”, kemudian klik “Save”. Ini memastikan halaman beranda blog diindeks oleh mesin pencari.
2. Konfigurasi Post and Page Tags: Ulangi langkah di atas untuk bagian “Post and page tags”. Centang opsi “All” dan “noodp”, kemudian klik “Save”. Langkah ini memastikan semua postingan dan halaman statis blog Anda bisa diindeks.
3. Sesuaikan Archive and Search Page Tags: Pada bagian “Archive and search page tags”, centang “noindex” dan “noodp”, lalu klik “Save”. Ini akan mencegah halaman arsip dan hasil pencarian internal diindeks, mencegah masalah duplikasi konten.
4. Mengatur Robots Meta Tags untuk Halaman Attachment: Untuk halaman lampiran, pilih opsi “noindex, follow”. Ini mencegah indeks untuk halaman attachment tapi tetap memungkinkan bot mengikuti link yang ada.
5. Pengaturan untuk Kategori dan Tag: Jika blog Anda memiliki halaman kategori dan tag, sesuaikan Robots Meta Tags sesuai kebutuhan. Pilih “index, follow” jika Anda ingin diindeks, atau “noindex, follow” jika hanya ingin link-nya diikuti.
6. Simpan Perubahan: Setelah selesai mengatur semuanya, klik “Save changes” untuk memastikan perubahan tersimpan.

Dengan mengatur Robots Meta Tags dengan tepat, Anda bisa memastikan mesin pencari hanya mengindeks halaman yang perlu.

Ini membantu mengoptimalkan crawling dan indexing, serta menghindari masalah konten duplikat. Tetap bijak dalam pengaturan agar tidak melarang indeks untuk halaman berkualitas yang penting bagi pengunjung.

Kesalahan Umum dalam Penulisan Robots.txt

Penulisan file robots.txt memerlukan ketelitian agar bot crawler bisa memahami petunjuk Anda. Berikut beberapa kesalahan umum yang perlu dihindari:

1. Meletakkan File Robots.txt Tidak di Root Directory: File robots.txt harus berada di root directory situs web. Jika ditempatkan di folder lain, bot tidak akan menemukannya dan instruksi di dalamnya tidak akan dipatuhi.
2. Penggunaan Wildcard yang Salah: Wildcard (*) sering kali digunakan dengan cara yang tidak tepat. Contohnya, menulis “Disallow: /*folder” seharusnya “Disallow: /folder”. Penggunaan yang salah dapat membingungkan bot dan menyebabkan halaman yang seharusnya diakses malah terblokir.
3. Menyembunyikan Halaman Menggunakan Robots.txt: Robots.txt hanya mencegah bot mengindeks halaman, namun halaman tersebut masih bisa diakses melalui URL langsung. Untuk sepenuhnya menyembunyikan halaman dari hasil pencarian, gunakan meta tag noindex.
4. Memblokir File CSS, JavaScript, dan Gambar: Memblokir file CSS, JavaScript, atau gambar dapat mengakibatkan bot tidak dapat merender halaman dengan benar. Hal ini bisa berdampak negatif pada peringkat situs di hasil pencarian.
5. Tidak Menyertakan Sitemap di File Robots.txt: Menambahkan link sitemap dalam robots.txt memudahkan bot menemukan peta situs Anda, membantu mereka merayapi halaman penting lebih efisien.
6. Memblokir Halaman Berkualitas: Jangan terlalu banyak memblokir halaman di robots.txt. Blokir hanya halaman yang tidak penting, dan pastikan halaman berkualitas yang relevan bagi pengguna tetap diindeks.
7. Menggunakan Robots.txt untuk Mengamankan Halaman Sensitif: Robots.txt tidak efektif untuk mengamankan halaman dengan informasi sensitif. Halaman masih dapat diakses langsung melalui URL, jadi gunakan metode otentikasi seperti login untuk keamanan lebih baik.
8. Menggunakan Robots.txt untuk Mengatasi Duplikasi Konten: Robots.txt bukan solusi untuk masalah duplikasi konten. Gunakan canonical URL atau parameter rel=”canonical” untuk menunjukkan URL utama dari halaman tersebut.

Menghindari kesalahan ini membantu memastikan robots.txt bekerja dengan benar untuk mengarahkan bot mesin pencari dengan efektif dalam mengindeks situs Anda.

Ingat, robots.txt hanya berfungsi sebagai panduan, bukan metode keamanan.

Cara Menguji File Robots.txt

Setelah membuat file robots.txt, langkah penting berikutnya adalah memastikan file tersebut bekerja dengan benar.

Berikut adalah cara menguji robots.txt Anda:

1. Menggunakan Google Search Console:

• Buka Google Search Console dan pilih situs web yang ingin diuji.
• Pergi ke menu “Crawl” dan pilih “robots.txt Tester.”
• Masukkan URL lengkap file robots.txt, seperti https://example.com/robots.txt.
• Klik “Test” untuk memulai proses pengujian.
• Google akan menunjukkan hasil analisis file Anda, mengungkapkan jika ada kesalahan atau peringatan.

2. Menggunakan Alat Online:

• Ada beberapa alat online gratis untuk menguji file robots.txt, seperti:
  • Merkle: technicalseo.com/tools/robots-txt/
  • Ryte: en.ryte.com/free-tools/robots-txt/
  • Screaming Frog: www.screamingfrog.co.uk/robots-txt-tester/
• Masukkan URL lengkap file robots.txt di alat yang dipilih.
• Alat ini akan memeriksa sintaks, aturan yang konflik, dan memberi rekomendasi perbaikan.

3. Mengakses Langsung Melalui Browser:

• Buka browser dan masukkan URL file robots.txt, misalnya https://example.com/robots.txt.
• Jika file tersebut valid dan bisa diakses, isinya akan muncul di browser.
• Jika ada kesalahan, seperti “404 Not Found”, Anda perlu memperbaiki file tersebut.

4. Menguji URL Spesifik dengan Robots.txt:

• Setelah yakin file robots.txt sudah benar, coba uji URL tertentu.
• Gunakan Google Search Console atau alat online, dan masukkan URL yang ingin diuji.
• Hasilnya akan menunjukkan apakah URL tersebut diblokir atau diizinkan oleh robots.txt untuk user-agent tertentu, seperti Googlebot.

Tips Tambahan:

• Lakukan pengujian berkala, terutama setelah membuat perubahan pada file robots.txt.
• Segera perbaiki kesalahan atau peringatan yang ditemukan, agar tidak mengganggu crawling dan indexing mesin pencari.
• Cek dokumentasi resmi mesin pencari seperti Google untuk memastikan sintaks dan aturan sudah benar.

Melakukan pengujian ini memastikan robots.txt berfungsi sesuai harapan, sehingga proses crawling dan indexing oleh mesin pencari bisa optimal.

Best Practices Optimasi Robots.txt untuk SEO

Berikut adalah beberapa tips dan praktik terbaik untuk mengoptimalkan file robots.txt, memastikan situs web Anda dirayapi dengan benar oleh mesin pencari:

1. Izinkan Crawling untuk Halaman Penting:

• Biarkan halaman penting seperti homepage, halaman produk/layanan, dan artikel blog di-crawl oleh mesin pencari.
• Gunakan direktif Allow jika sebelumnya halaman sudah diblokir dengan Disallow.
• Contoh: Allow: /halaman-penting/

2. Gunakan Disallow untuk Halaman Tidak Penting:

• Batasi crawling untuk halaman yang tidak ingin diindeks seperti login, keranjang belanja, atau hasil pencarian internal.
• Cegah juga konten duplikat, misalnya produk dengan URL parameter berbeda.
• Contoh: Disallow: /halaman-privat/

3. Tambahkan Link Sitemap:

• Sertakan lokasi file sitemap di robots.txt agar mesin pencari lebih mudah menemukannya.
• Format: Sitemap: http://example.com/sitemap.xml
• Jika ada beberapa versi sitemap (mobile, video, gambar), masukkan semuanya.

4. Gunakan Crawl-delay dengan Bijak:

• Jika server tidak dapat menangani lalu lintas yang tinggi, atur jeda waktu antar permintaan crawl.
• Format: Crawl-delay: 10
• Lebih baik tingkatkan kapasitas server daripada menggunakan crawl-delay.

5. Hindari Menggunakan Robots.txt untuk Menyembunyikan Halaman:

• Robots.txt hanya mencegah crawling, bukan pengindeksan.
• Untuk menyembunyikan halaman dari hasil pencarian, gunakan meta robots tag dengan noindex.
• Contoh: <meta name="robots" content="noindex">

6. Uji Robots.txt Secara Rutin:

• Gunakan Google Search Console untuk memeriksa konflik antara Allow dan Disallow.
• Pastikan halaman penting tidak diblokir tanpa sengaja.
• Segera perbaiki jika ditemukan kesalahan.

7. Jangan Blokir File Penting:

• Biarkan Googlebot mengakses file CSS, JavaScript, dan gambar yang diperlukan untuk merender halaman dengan benar.
• Memblokir file penting bisa mengganggu performa dan pengindeksan.

8. Hati-hati dengan Wildcard:

• Wildcard (*) bisa secara tidak sengaja memblokir URL yang seharusnya diindeks.
• Gunakan pola yang lebih spesifik, misalnya: Disallow: /privat/

9. Letakkan di Root Directory:

• Pastikan robots.txt berada di root directory, seperti https://example.com/robots.txt
• Jangan tempatkan di subdirectory atau beri nama lain.

10. Gunakan Robots.txt Terpisah untuk Setiap Subdomain:

• Setiap subdomain (misalnya https://blog.example.com, https://shop.example.com) harus memiliki file robots.txt sendiri.
• Aturan robots.txt hanya berlaku untuk domain di mana file tersebut berada.

Mengikuti praktik terbaik ini dapat membantu mesin pencari merayapi situs web Anda secara efisien, memastikan mereka fokus pada halaman yang benar-benar penting.

Ini akan meningkatkan visibilitas dan peringkat situs web Anda di hasil pencarian.

Kesimpulan

Mengoptimalkan robots.txt untuk SEO melibatkan lebih dari sekadar membuat file sederhana. Penting untuk memastikan halaman penting terindeks, sementara konten yang kurang relevan dibatasi dari akses bot.

Dengan mengizinkan bot mengindeks halaman penting, memblokir halaman duplikat, menyertakan sitemap, dan menghindari pemblokiran file penting, kamu memastikan situsmu dirayapi secara optimal.

Jangan lupa untuk menguji dan memantau robots.txt secara berkala, agar tidak mengganggu proses crawling mesin pencari.

Dengan strategi yang tepat, robots.txt bisa membantu meningkatkan visibilitas situs webmu di hasil pencarian.

Untuk lebih banyak tips seputar teknologi dan SEO, cek artikel lainnya di TeknoGPT.com.

Terima kasih sudah membaca!

FAQ

Bagaimana cara memastikan halaman penting tidak terblokir oleh robots.txt?

Gunakan Google Search Console atau alat online untuk menguji file robots.txt dan pastikan halaman penting tidak terblokir. Periksa juga file secara manual.

Apa peran sitemap dalam robots.txt?

Sitemap membantu bot mesin pencari menemukan semua halaman penting di situsmu. Dengan menambahkan link sitemap di robots.txt, bot dapat dengan mudah merayapi situsmu.

Apakah crawl-delay selalu diperlukan dalam robots.txt?

Tidak selalu. Crawl-delay digunakan jika servermu tidak mampu menangani lalu lintas tinggi dari crawler. Jika server kuat, lebih baik hindari penggunaan crawl-delay.

Bagaimana cara mengatur robots.txt untuk halaman login atau hasil pencarian internal?

Gunakan direktif Disallow untuk mencegah crawler mengakses halaman login atau hasil pencarian internal, sehingga mencegah halaman tersebut diindeks.

Apa alternatif yang baik selain menggunakan robots.txt untuk mengatasi konten duplikat?

Alternatif yang baik adalah menggunakan canonical URL atau parameter rel=”canonical” untuk memberi tahu mesin pencari halaman mana yang merupakan versi utama.