Cara Setting Robot.Txt Dan Tag Header Robot

Untuk membuat Blog SEO Friendly sekarang tidak perlu cara manual memasukan meta tag di bagian HTML blog temen-temen. Sekarang Blogger.com menambah fitur baru untuk mengatur Robot.txt dan Tag Header Robot Khusus, yang berguna membantu perayapan dan pengindeksan blog di search engine. Selain dari itu, mengatur robot.txt dan tag header robot khusus juga merupakan suatu optimasi search engine atau yang dikenal dengan SEO, halaman blogger yang termasuk dalamnya artikel, arcives dan homepage sehingga artikel dapat terindeks lebih akurat di search engine. untuk penerapannya ke dalam blog langsung saja ikuti penjelasan singkatnya :


1. Cara Setting Robot.txt (Blogger)
Login kedalam Blogger
Pada Dasbhoard Blogger, pilih Setelan ► Preferensi Penelusuran ► Robots.txt ► Edit ► Pilih Ya

Copy paste kode di bawah ini lalu masukkan ke dalam form robot.txt tersebut

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED

Kemudian ganti url yang bewarna hijau dengan url blog anda
Setelah itu, klik Simpan Perubahan.


2. Setting Tag Header Robot Khusus
Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Centang sesuai dengan gambar dibawah ini

Lalu, Simpan Perubahan
Settingan seperti di atas adalah settingan yang saya rekomendasikan, karena bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.

Demikian tutorial optimasi blog dari saya, semoga berguna bagi Anda. Bila kurang dimengeti silahkan komentar ya, Terima Kasih.



Sumber refrensi: http://blog.rizkyramadhani.com/2013/05/Cara.Setting.Robot.txt.dan.Tag.Header.Robot.Khusus.html#ixzz31dQpmpM7