Setting Robots.txt Khusus dan Tag Header Robot Khusus

          Blogger yang mengoptimasi blog menjadi SEO friendly sudah mulai mengatur robots.txt khusus dan tag header khusus. Dengan melakukan Setting Robots.txt Khusus dan Tag Header Robot Khusus, bot search engine akan dengan mudah mengetahui hal-hal yang kita inginkan untuk diindex atau dirayapi maupun yang tidak ingin diindex atau dirayapi.

          Tutorial yang saya berikan pada artikel cara Setting Robots.txt Khusus dan Tag Header Robot Khusus cukup mudah untuk anda lakukan. Tapi diharapkan anda dapat mengikuti langkah-langkahnya dengan benar. Karena sedikit saja kesalahan pada saat mengatur robots.txt khusus dan tag header khusus, bot search engine tidak akan mengindex atau merayapi blog anda. Melainkan hanya mengabaikannya.

Robots.txt Khusus
Robots.txt Khusus adalah perintah yang akan berfungsi untuk membatasi dan mengontrol bot search engine dalam mengindex dan merayapi artikel blog. Robots.txt khusus memiliki dua kode utama dalam menjalankan perintah sebagai berikut.

Kode utama yang digunakan dalam robots.txt khusus adalah ALLOW dan DISALLOW
► ALLOW berfungsi sebagai akses robots.txt untuk melakukan index atau perayapan pada artikel blog.
► DISALLOW berfungsi sebagai akses robots.txt untuk tidak melakukan index atau perayapan pada artikel blog.

Perintah umum yang digunakan pada robots.txt khusus sebagai berikut.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Disallow: /Search

Sitemap: http://www.lembuilmu.blogspot.com/feeds/posts/default?orderby=UPDATED 

Cara Setting Robots.txt Khusus
1. Login ke akun blogger anda.
2. Pergi ke Setelan ► Preferensi Penelusuran.
3. Pada Perayap dan Pengindeksan pilih Robots.txt Khusus ► Edit ► Ya.
4. Setting perintah robots.txt khusus anda seperti berikut. Robots.txt yang saya berikan adalah rekomendasi langsung dari saya. Karena saya juga menggunakan robots.txt tersebut. Atau anda bisa menggunakan perintah umum yang telah digunakan oleh sebagaian besar blogger.

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*?showComment=
Allow: /

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.lembuilmu.blogspot.com/feeds/posts/default?orderby=UPDATED 

Penjelasan Kode-kode Diatas
Jika anda masih bingung tentang perintah robots.txt khusus yang saya berikan, berikut Penjelasan Kode-kode Diatas untuk mempermudah pemahaman anda terhadap perintah robots.txt khusus.

• User-agent: Mediapartners-Google Robot Google Adsense merayapi blog
• Disallow: Yang tidak diperbolehkan tidak ada
• User-agent: Googlebot Robot Google merayapi blog
• Disallow: /search Tidak diperbolehkan merayapi folder search dan seterusnya, seperti URL/search/label atau  URL/search/search?updated dan sebagainya.
• Disallow: /?m=1 Tidak diperbolehkan merayapi tampilan homepage pada mobile
• Disallow: /?m=0 Tidak diperbolehkan merayapi tampilan homepage pada smartphone atau tablet.
• Disallow: /*?m=1 Tidak diperbolehkan merayapi tampilan postpage pada mobile.
• Disallow: /*?m=0 Tidak diperbolehkan merayapi tampilan postpage pada smartphone atau tablet.
• Disallow: /*?showComment= Tidak diperbolehkan merayapi link komentar
• User-agent: * Semua robot Search Engine / mesin pencari
• Allow: / Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas.
• Tanda (/) kurang lebih artinya nama blog.
• Sitemap: http://www.lembuilmu.com/feeds/posts/default?orderby=UPDATED sitemap atau alamat feed blog kita. Ganti tulisan berwarna biru di atas dengan alamat blog anda.

5. Klik "SIMPAN PERUBAHAN" setelah anda memasang perintah robots.txt tersebut.

Cara Setting Tag Header Robot Khusus
Selain robots.txt, anda juga harus mengaktifkan tag header robot khusus. Seperti sebelumnya, Cara Setting Tag Header Robot Khusus dapat berakibat sangat buruk apabila salah mengaturnya. Tutorial untuk mengatur tag header robot khusus yang anda harus ketahui sebagai berikut.
1. Login ke akun blogger anda.
2. Pergi ke Setelan ► Preferensi Penelusuran.
3. Pada Perayap dan Pengindeksan pilih Tag Tajuk Robot Khusus ► Edit ► Ya.
4. Setting tag header robot khusus anda sebagai berikut. Tag header robot khusus yang saya berikan adalah rekomendasi langsung dari saya. Karena saya juga menggunakan tag header robot khusus tersebut.

5. Klik "SIMPAN PERUBAHAN" setelah anda selesai centang semua kolom seperti gambar yang telah saya berikan.

Setelah anda mengaktifkan robots.txt khusus dan tag header robot khusus (Tag Tajuk Robot Khusus), akan muncul tulisan [Diaktifkan] yang menandakan bahwa robots.txt khusus dan tag header robot khusus pada blog anda sudah aktif dan sedang menunggu bot search engine untuk mulai merayapi blog anda.

Semoga Bermanfaat ^_^