Cara Mengaktifkan Robot.txt Dan Setting Robot Header Tags pada blog

Hay Guys, buat para blogger semuanya kali ini saya mau sharing tentang bagaimana cara mengaktifkan Robot.txt dan juga cara men-setting robot header Tags di blog sobat semuanya. Mungkin bagi yang masih newbie sekali, agak bingung ketika buka2 menu setting dan menemukan beberapa istilah yang "baru" atau awam. Ok deh untuk mengawali silahkan disimak dulu

The Robot Exclusion Standard, atau kita lebih mengenalnya sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.

Robot sering kali digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang pernah saya baca, penggunanan robot.txt ini juga sangat berguna untuk mendongkrak SEO blog kita lho. Fungsi lainnya adalah misalnya ada halaman yang tidak ingin kita tampilkan kepada publik dan mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger sudah mendukung fungsi ini dan ini menunjukkan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita.

Kalau masih belum mengerti juga, anda dapat mendaftarkan blog anda di google webmaster Disini. kemudian lihat pada kesalahan perayapan, fungsi pemblokiran akan dilakukan oleh robot.txt ini. bagaimana sudah paham kan? kalo udah lanjut ke caranya berikut ini :

 

Cara Mengaktifkan dan Men-Setting Robot.txt

  1.  Silahkan log in ke blogger dengan akun blogger anda.
  2.  Klik setelan/settings > Preferensi penelusuran / Search preferences.

                          

 

  3.  Pada Tab Perayapan dan Pengindeksan/Crawlers and indexing silahkan pilih robot.txt

 

4.  Masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://amangzone.blogspot.com/feeds/posts/default?orderby=UPDATED

# Ganti url http://amangzone.blogspot.com dengan url blog anda.

Keterangan:

• Pada kelompok baris pertama itu adalah informasi user agent milik google yang menandakan bahwa blog ini adalah partner dari google, ini memudahkan bagi kita yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
• Pada kelompok baris kedua itu adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yag menandakan semua robot mesin pencari tidak boleh mengindeks page label.Hal ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
• Pada kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog kita.
• Tanda "/" adalah tanda home page kita, jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home blog kita.

   5. Klik Save Changes / simpan perubahan.

Cara Men-Setting Robot Header Tags

1. Tetap di menu Setting Search preferences / Preferensi penelusuran, lihat di bagian paling bawah ada menu Custom robots header tags. Klik edit.
2. Pilih yes
3. Akan muncul kotak settingan, samakan settingan seperti gambar dibawah dan save changes

Oh ya untuk menjadi catatan penting, Mohon agar berhati-hati untuk menggunakan fungsi ini karena jika salah-salah malah blog anda yang diabaikan oleh mesin pencari. OK,,good Luck..