Cara Membuat Meta Tag Robot yang valid dan benar

Setting Meta Robot, Optimasi Robot.txt, Robot Content, "Noindex Nofollow"

A. SETTING ROBOT.TXT

Blogger (Blogspot) sekarang memperbolehkan custom robots.txt, ini sangatlah bermanfaat karena kita bisa mengatur visibility dari artikel-artikel kita di mesin pencari, kita menjadi mungkin mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.

Secara default, setiap blog yang menggunakan platform Blogger akan memiliki robots.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /searchAllow: /
Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated

Dimana mempunyai penjelasan sebagai berikut:

Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah mengubahnya maka iklan yang ditayangkan tidak akan menyesuaikan dengan konten Anda.

Baris berikutnya adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada konfigurasi defaultnya jelas terlihat bahwa label dari blog kita sudah disetting untuk tidak terindeks dengan menulis Disallow: /search.

Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda, jadi misal Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini Disallow: / karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda tapi menjadi seperti contoh di bawah ini:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu (saya ambil contoh halaman About saya) Anda cukup menulis seperti berikut:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /p/about.htmlAllow: /
Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated

Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated

Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi www.namablog.com/robots.txt. Ganti www.namablog.com dengan nama domain Anda.

B. SETTING META TAG ROBOT YANG VALID
Bagaimana suatu search engine atau yang sering diartikan dengan mesin pencari melakukan pencarian pada meta tag? Berikut adalah beberapa jawaban tentang bagaimana "search engine" menangani tag di Google.

1. Tentang Nilai Konten Robot Meta Tag

Kami menyarankan Anda agar menempatkan semua nilai konten dalam satu meta tag. Hal ini akan membuat meta tag mudah dibaca dan akan mengurangi kesempatan untuk terjadinya konflik karena meta tag Anda terlalu komplek hingga membuat robot mesin pencari pusing dibuatnya. Contoh konten meta tag yang benar adalah seperti ini.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Jika suatu halaman berisi beberapa jenis meta tag yang sama, maka search engine akan merayapi nilai-nilai konten meta tag tersebut. Misalnya, Anda menafsirkan meta tag sebagai berikut.

Dengan cara yang sama Anda dapat membuatnya lebih singkat dan jelas seperti ini.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Jika nilainya terjadi konflik, Googlebot akan menggunakan filter mana sekiranya yang paling ketat. Jadi, jika halaman tersebut memiliki tag meta, misalnya:

Googlebot akan mematuhi yang bernilai NOINDEX.

2. Tanpa mengisi nilai apapun pada Robot Meta Tag

Secara default, pada dasarnya Googlebot akan mengindeks semua halaman dan akan mengikuti semua link yang ada. Jadi sebenarnya tidak perlu untuk menggunakan meta tag atau menandai halaman dengan nilai INDEX atau FOLLOW.

3. Mengarahkan robots meta tag khusus pada Googlebot

Untuk memberikan instruksi kepada semua mesin pencari, aturlah nama meta dengan "ROBOTS". Untuk memberikan instruksi hanya kepada Googlebot, tetapkan nama meta untuk "Googlebot". Jika Anda ingin memberikan instruksi yang berbeda untuk mesin pencari yang berbeda (misalnya, jika Anda ingin satu mesin pencari untuk mengindeks halaman, tetapi tidak yang lain), lebih baik untuk menggunakan meta tag khusus pada setiap mesin pencari daripada menggunakan "generic robot meta tag" yang dikombinasikan dengan spesifikasi meta tag tertentu. Anda dapat menemukan daftar bot di robotstxt.org.

4. Casing (uppercase atau lowercase) dan spasi

Googlebot memahami kombinasi huruf kecil dan huruf besar. Jadi masing-masing meta tag ditafsirkan dengan cara yang sama persis:

Jika Anda memiliki beberapa nilai konten, Anda harus menempatkan koma di antara mereka, dan tidak masalah jika Anda juga memberi spasi. Jadi contohn meta tag berikut akan diinterpretasikan dengan cara yang sama:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> (ket: dengan spasi)
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> (ket: tanpa spasi)

5. Menggunakan file robots.txt dan robot meta tag bersamaan

Jika robots.txt dan instruksi meta tag untuk suatu halaman terjadi "konflik" (dikarenakan asal-asalan memasukkan meta tag ke dalam halaman web atau blog, sehingga menjadi terlalu banyak dan kompleks), maka Googlebot akan mengikuti mana yang paling ketat atau menonjol. Untuk lebih jelasnnya :

Jika Anda memblokir halaman dengan robots.txt, Googlebot tidak akan pernah menjelajah halaman dan tidak akan pernah membaca meta tag pada halaman tersebut.
Jika Anda mengizinkan halaman dengan robots.txt tapi memblok atau membatasi untuk diindeks menggunakan meta tag, Googlebot akan mengakses halaman, membaca isi meta tag tersebut, dan kemudian tidak akan mengindeks isi halaman itu.

6. Nilai konten robot meta tag yang "Valid" dan benar

Googlebot hanya akan menafsirkan nilai-nilai robot meta tag berikut ini.

NOINDEX - mencegah halaman untuk masuk dalam indeks search engine.
NOFOLLOW - mencegah Googlebot mengikuti link apapun pada halaman. (Catatan: bahwa yang dimaksud, berbeda dengan atribut link-level NOFOLLOW, yang mencegah Googlebot agar mengikuti link tertentu.)
NOARCHIVE - mencegah salinan cache dari halaman yang mungkin saja tersedia dalam hasil pencarian (indeks).
NOSNIPPET - mencegah deskripsi yang muncul di bawah halaman dalam hasil pencarian, serta mencegah caching halaman.
NOODP - memblok deskripsi halaman Open Directory Project yang digunakan dalam deskripsi, yang muncul di bawah halaman hasil pencarian.
NONE - setara dengan "NOINDEX, NOFOLLOW".

7. Tentang nilai meta tag "NONE"

Seperti yang didefinisikan oleh robotstxt.org, arah dari "NONE" berarti sama dengan NOINDEX, NOFOLLOW.

<META NAME="ROBOTS" CONTENT="NONE"> (robots meta tag ini berarti NOINDEX dan NOFOLLOW)

Namun, beberapa webmaster menggunakan meta tag ini untuk menunjukkan bahwa tidak ada pembatasan robot yang mungkin secara tidak sengaja bisa memblokir semua konten dari indeks mesin pencari .

Jadi, disarankan kepada Anda untuk tetap menggunakan meta tag pada halaman web atau blog Anda. Gunakan nilai meta tag yang valid dan benar berikut cara penulisannya yang tepat. Sebab tanpa meta tag terpasang di halaman web atau blog Anda, kadang-kadang berakibat mesin pencari akan memblokir konten web atau blog Anda dari indeks. Tapi perlu diingat bahwa pembatasan yang berlebihan kepada mesin pencari dalam mengindeks konten web atau blog juga akan berakibat yang sama. ROBOT tidak akan mengindeks konten web atau blog Anda.

C. SETTING TAG HEADER ROBOT KHUSUS

. Log in ke blogger dengan akun blogger anda.
2. Klik setelan > Preferensi penelusuran / Search preferences.

3. Pada tab perayap dan pengindeksan pilih robot.txt.

4. Dan masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.namablog.com/feeds/posts/default?orderby=UPDATED

Ganti url http://www.namablog.com dengan url blog anda.

Keterangan:

Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

5. Klik simpan perubahan.

Robot Khusus menghubungkan dengan indeksi khusus tentang laman yang akan anda tawarkan kepada mesin perayap google. Artinya anda mensetting bagaimana perintah anda kepada mesin perayap untuk indeksi suatu halaman. Hal ini penting untuk mempercepat indeksi dan menghilangkan ketidakperluan perayapan yang memungkinkan penolakan indeks dari perayap itu sendiri terhadap laman blog anda.

Jadi, Tag Header Robots Khusus ini memberikan informasi kepada perayapan google terhadap sebuah halaman di blog kita, adapun cara untuk mengaktifkan serta mensetting Tag Header Robot Khusus silahkan ikuti tutorial dibawah ini :

1. Login ke akun blogger Anda

2. Masuk ke Setelan>Preferensi Penelusuran (jika dashboard Anda menggunakan bahasa Indonesia)

3. Kemudian pada Perayap dan pengindeksan silahkan di aktifkan Tag header robot khusus ,

4. Setelah itu, setting Tag Header Robots Khusus, yang meliputi 3 komponen yakni :

Homepage blog
Halaman Arsip dan Halaman Hasil Pencarian
Halaman Posting dan Halaman Blog

Adapun setting yang saya pergunakan yakni :

Beranda : All dan Noodp
Laman Arsip Dan Penelusuran : Noindex dan Noodp
Default Untuk Post Dan Laman : All dan Noodp

Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus

Direktif	Penjelasan
`all`	Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.
`noindex`	Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.
`nofollow`	Jangan ikuti link di halaman ini.
`none`	Sama dengan tag `noindex, nofollow`
`noarchive`	Tidak menunjukkan "Cached" link dalam hasil pencarian.
`nosnippet`	Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
`noodp`	Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.
`notranslate`	Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.
`noimageindex`	Jangan indeks gambar di halaman ini.
`unavailable_after: [RFC-850 date/time]`	Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

Semoga membantu teman semua dalam mengoptimalkan blognya - See more at: http://www.seowaps.com/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf

6. Masih di menu setting Search preferences / Preferensi penelusuran
7. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
8. Pilih yes
9. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini

5. Save changes

Satu lagi catatan agar berhati-hati untuk menggunakan fungsi ini karena jika salah-salah malah blog anda yang diabaikan oleh mesin pencari.

D. Free Robots.txt Generators

There are some free tools on the web which can help you in creating your own robots.txt file. These tools are given below:-

Seobook robots.txt generator
Advanced robots.txt generator (Software free download)
Yellowpipe robots.txt generator
Seochat robots generator

1. Login ke akun blogger Anda

2. Masuk ke Setelan>Preferensi Penelusuran (jika dashboard Anda menggunakan bahasa Indonesia)

3. Kemudian pada Perayap dan pengindeksan silahkan di aktifkan Tag header robot khusus ,

4. Setelah itu, setting Tag Header Robots Khusus, yang meliputi 3 komponen yakni :

Homepage blog
Halaman Arsip dan Halaman Hasil Pencarian
Halaman Posting dan Halaman Blog

Adapun setting yang saya pergunakan yakni :

Beranda : All dan Noodp
Laman Arsip Dan Penelusuran : Noindex dan Noodp
Default Untuk Post Dan Laman : All dan Noodp

Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus

Direktif	Penjelasan
`all`	Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.
`noindex`	Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.
`nofollow`	Jangan ikuti link di halaman ini.
`none`	Sama dengan tag `noindex, nofollow`
`noarchive`	Tidak menunjukkan "Cached" link dalam hasil pencarian.
`nosnippet`	Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
`noodp`	Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.
`notranslate`	Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.
`noimageindex`	Jangan indeks gambar di halaman ini.
`unavailable_after: [RFC-850 date/time]`	Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

Semoga membantu teman semua dalam mengoptimalkan blognya - See more at: http://www.seowaps.com/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf

1. Login ke akun blogger Anda

2. Masuk ke Setelan>Preferensi Penelusuran (jika dashboard Anda menggunakan bahasa Indonesia)

3. Kemudian pada Perayap dan pengindeksan silahkan di aktifkan Tag header robot khusus ,

4. Setelah itu, setting Tag Header Robots Khusus, yang meliputi 3 komponen yakni :

Homepage blog
Halaman Arsip dan Halaman Hasil Pencarian
Halaman Posting dan Halaman Blog

Adapun setting yang saya pergunakan yakni :

Beranda : All dan Noodp
Laman Arsip Dan Penelusuran : Noindex dan Noodp
Default Untuk Post Dan Laman : All dan Noodp

Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus

Direktif	Penjelasan
`all`	Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.
`noindex`	Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.
`nofollow`	Jangan ikuti link di halaman ini.
`none`	Sama dengan tag `noindex, nofollow`
`noarchive`	Tidak menunjukkan "Cached" link dalam hasil pencarian.
`nosnippet`	Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
`noodp`	Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.
`notranslate`	Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.
`noimageindex`	Jangan indeks gambar di halaman ini.
`unavailable_after: [RFC-850 date/time]`	Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

Semoga membantu teman semua dalam mengoptimalkan blognya - See more at: http://www.seowaps.com/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf

1. Login ke akun blogger Anda

2. Masuk ke Setelan>Preferensi Penelusuran (jika dashboard Anda menggunakan bahasa Indonesia)

3. Kemudian pada Perayap dan pengindeksan silahkan di aktifkan Tag header robot khusus ,

4. Setelah itu, setting Tag Header Robots Khusus, yang meliputi 3 komponen yakni :

Homepage blog
Halaman Arsip dan Halaman Hasil Pencarian
Halaman Posting dan Halaman Blog

Adapun setting yang saya pergunakan yakni :

Beranda : All dan Noodp
Laman Arsip Dan Penelusuran : Noindex dan Noodp
Default Untuk Post Dan Laman : All dan Noodp

Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus

Direktif	Penjelasan
`all`	Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.
`noindex`	Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.
`nofollow`	Jangan ikuti link di halaman ini.
`none`	Sama dengan tag `noindex, nofollow`
`noarchive`	Tidak menunjukkan "Cached" link dalam hasil pencarian.
`nosnippet`	Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
`noodp`	Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.
`notranslate`	Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.
`noimageindex`	Jangan indeks gambar di halaman ini.
`unavailable_after: [RFC-850 date/time]`	Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

Semoga membantu teman semua dalam mengoptimalkan blognya - See more at: http://www.seowaps.com/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf

Cara Membuat Meta Tag Robot yang valid dan benar