Cara setting robot txt di blogspot - Saya dulu sering mendengar tapi tidak memahami istilah apa itu robot txt

Apa fungsi dari robot txt itu? dan perlukah kita setting robot txt?. Dari istilah di atas, saya berusaha mencoba membeljari dan memahami tentang robot txt, kini sekarang saya sudah paham betapa pentingnya setting robot txt. Apakah Anda sama sepertiku?

Setelah kemarin saya posting tentang cara setting header tag untuk blogger, kali ini saya kembali untuk posting cara setting robot.txt khusus blogger. Mungkin Anda terbiasa menggunakan robot.txt bawaan blogger atau memang Anda tidak pernah merubah robot.txt yang lebih SEO friendly?. Dengan mengganti robot.txt bawaan blogger, Anda bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak Anda perbolehkan.

Didalam blogger robot.txt di kenal dengan custom robot.txt, nah pada kesempatan kali ini saya akan membahas kegunaan apa itu robot.txt dan apa manfaat dari robot.txt tersebut. Yang perlu Anda tahu, saya bukanlah Ahli dalam bidang ini, tetapi saya belajar dari sini, dan apa bila Anda ingin tahu tentang kegunaan menyeluruhnya robot.txt, Anda bisa membacanya di Moz.com.

Hal yang perlu Anda perhatikan tentang robot.txt adalah "Gunakan dengan hati hati. Penggunaan yang tidak benar dari fitur ini dapat mengakibatkan blog Anda di abaikan oleh mesin pencari". Nah apa bila Anda takut atau kurang tahu, Anda bisa mengikuti tutorial cara setting robot.txt khusus blogger di bawah ini. Silahkan dilanjutkan membacanya.

Apa Itu Robot.txt?

Robot.txt adalah sebuah ketentuan pengguna blog untuk mencegah dari mesin pencari, yang tidak di izinkan untuk di index. Robot.txt ini juga berguna sebagai mengontrol dari halaman yang tidak boleh di index dari mesin pencari dan situs media sosial seperti: Facebook, Twitter dan lain-lain. Atau Anda ingin lebih jelas dan detailnya Anda bisa membaca dari situs Wikipedia dalam bahasa Indonesia.

Cara Setting Robot.txt di Blogger

Semua plaform Blogger sudah memiliki robot.txt didalamnya. Secara default robot.txt di blogspot seperti dibawah ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://ainunxxx.blogspot.com/feeds/posts/default?orderby=UPDATED

Mari kita bahas satu persatu dari kode di atas.

1.User-agent: Mediapartners-Google: User agent milik google menandakan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog Anda sesuai niche blog Anda.

2.Disallow: Yang tidak di perbolehkan tidak ada.

3. User-agent: Semua robot search engine/mesin pencari.

4. Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, seperti search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. seperti yang saya katakan search/label/seo tidak akan di index.

5. Allow: /: Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita.