Kumpulan Kode Robots.txt Blogger SEO Friendly
Kamis, 17 November 2016
24 Komentar
Kumpulan Kode Robots.txt Blogger SEO Friendly - Kita bahas kembali mengenai penggunaan robots.txt pada blogger, kali ini saya akan memberikan beberapa kode yang bisa digunakan untuk membuat file robots.txt di blogger. Pada kesempatan sebelumnya saya sudah pernah menjelaskan pengertian dari robots.txt untuk mengingatnya kembali Anda bisa baca kembali artikel tersebut.
Baca Juga : Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya
Disini saya akan memberikan contoh sederhana mengenai kumpulan file robots txt yang mungkin bisa Anda coba diterapkan pada situs web Anda khususnya blogger. Tentunya setelah Anda membaca artikel ini mungkin Anda ingin menerapkannya atau mencobanya memasang pada blog Anda, saya sudah pernah menjelaskannya cara menggunakan file robots.txt ini namun file tersebut masih standar, jadi disini Anda akan menemukan beberapa kode alternatif file robots.txt yang bisa Anda gunakan untuk blog Anda, untuk cara memasangnya Anda bisa baca artikel sebelumnya.
Baca Juga : Cara Setting Robots.txt Khusus di Blogspot
Seletah paham pengertian dari robots.txt dan tahu cara menggunakannya kini kita coba untuk menggunakan file robots.txt yang berbeda dari bawaannya. Saya ingatkan kembali bahwa file robots.txt ini berfungsi untuk mengontrol situs web kita dalam mesin penelusuran, jika situs web Anda memiliki data yang penting dan tidak ingin dirayapi dan diindeks mesin telusur salah satu solusinya yaitu dengan menggunakan robots.txt ini. Langsung saja kita simak kumpulan kode robots.txt seo friendly untuk blogger dibawah ini.
Kode robots.txt diatas merupakan kode standar atau default yang biasanya banyak digunakan oleh blogger, file robots.txt tersebut memberitahukan kepada semua mesin telusur yang ditandai dengan tanda * (asterisk) dan memberikan perintah disallow /search yang berarti semua mesin telusur tidak boleh merayapi dan mengindeks folder /search contohnya /search/label/ dan seterusnya.
Apa bedanya kode diatas dengan file robots.txt yang pertama ? Tentu saja beda, kode ini menunjukan bahwa semua mesin telusur boleh merayapi dan melakukan indeks kepada seluruh laman yang ada pada sebuah web karena perintah disallow semuanya kosong, sehingga robots tidak dilarang untuk merayapi seluruh laman web.
Kode diatas hampir sama dengan robots.txt yang pertama, namun kode ini tidak melarang seluruh folder /search untuk tidak dirayapi dan diindeks karena kode ini memberikan larangan yang lebih spesifik lagi seperti pada file robots.txt diatas dan folder .../search/label/... masih bisa dirayapi dan diindeks oleh web crawler.
Kode robots.txt ini berfungsi untuk memblokir halaman tertentu di mesin telusur. Diatas merupakan contoh jika kita ingin memblokir laman .../p/about.html pada hasil penelusuran mesin pencari.
Kode robots.txt ini memberikan perintah kepada robot yang dimiliki Google yaitu googlebot untuk tidak merayapi folder /search folder /?m=1 dan /?m=0 dimana kode m=1 dan m=0 berlaku untuk penelusuran dengan menggunakan perangkat mobile. Jadi, blog Anda tidak akan tampil dengan versi mobile jika menggunakan kode robots.txt ini. Namun, saya sarankan jika Anda memiliki blog dengan menggunakan template yang sudah resposive dan memiliki tampilan khusus mobile, Anda tidak perlu menggunakan file robots.txt ini. Tetapi, file robots.txt ini dapat mengatasi duplikat konten khususnya konten versi mobile dan konten versi desktop.
*Update: 04/05/2018
Untuk saat ini saya menggunakan file robots.txt ini, kode robots.txt ini tidak jauh beda dengan kode yang pertama hanya sedikit saya modifikasi sesuai kebutuhan saya sendiri, untuk penggunaannya bisa disesuaikan tergantung pada kebutuhan Anda sendiri.
Catatan:
Jangan lupa di bagian sitemap, apakah blog Anda menggunakan HTTP atau HTTPS.
Nah, kode diatas merupakan kumpulan file robots.txt yang seo friendly, dari beberapa kode di atas Anda masih bisa mengkreasikannya supaya lebih baik, misalnya kode pertama dan kedua Anda gabungkan mungkin hasilnya akan bagus untuk blog Anda, tapi hal tersebut harus disesuaikan dengan kebutuhan Anda sendiri.
Baca Juga : Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya
Disini saya akan memberikan contoh sederhana mengenai kumpulan file robots txt yang mungkin bisa Anda coba diterapkan pada situs web Anda khususnya blogger. Tentunya setelah Anda membaca artikel ini mungkin Anda ingin menerapkannya atau mencobanya memasang pada blog Anda, saya sudah pernah menjelaskannya cara menggunakan file robots.txt ini namun file tersebut masih standar, jadi disini Anda akan menemukan beberapa kode alternatif file robots.txt yang bisa Anda gunakan untuk blog Anda, untuk cara memasangnya Anda bisa baca artikel sebelumnya.
Baca Juga : Cara Setting Robots.txt Khusus di Blogspot
Seletah paham pengertian dari robots.txt dan tahu cara menggunakannya kini kita coba untuk menggunakan file robots.txt yang berbeda dari bawaannya. Saya ingatkan kembali bahwa file robots.txt ini berfungsi untuk mengontrol situs web kita dalam mesin penelusuran, jika situs web Anda memiliki data yang penting dan tidak ingin dirayapi dan diindeks mesin telusur salah satu solusinya yaitu dengan menggunakan robots.txt ini. Langsung saja kita simak kumpulan kode robots.txt seo friendly untuk blogger dibawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATEDKode robots.txt diatas merupakan kode standar atau default yang biasanya banyak digunakan oleh blogger, file robots.txt tersebut memberitahukan kepada semua mesin telusur yang ditandai dengan tanda * (asterisk) dan memberikan perintah disallow /search yang berarti semua mesin telusur tidak boleh merayapi dan mengindeks folder /search contohnya /search/label/ dan seterusnya.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATEDApa bedanya kode diatas dengan file robots.txt yang pertama ? Tentu saja beda, kode ini menunjukan bahwa semua mesin telusur boleh merayapi dan melakukan indeks kepada seluruh laman yang ada pada sebuah web karena perintah disallow semuanya kosong, sehingga robots tidak dilarang untuk merayapi seluruh laman web.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATEDKode diatas hampir sama dengan robots.txt yang pertama, namun kode ini tidak melarang seluruh folder /search untuk tidak dirayapi dan diindeks karena kode ini memberikan larangan yang lebih spesifik lagi seperti pada file robots.txt diatas dan folder .../search/label/... masih bisa dirayapi dan diindeks oleh web crawler.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATEDKode robots.txt ini berfungsi untuk memblokir halaman tertentu di mesin telusur. Diatas merupakan contoh jika kita ingin memblokir laman .../p/about.html pada hasil penelusuran mesin pencari.
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATEDKode robots.txt ini memberikan perintah kepada robot yang dimiliki Google yaitu googlebot untuk tidak merayapi folder /search folder /?m=1 dan /?m=0 dimana kode m=1 dan m=0 berlaku untuk penelusuran dengan menggunakan perangkat mobile. Jadi, blog Anda tidak akan tampil dengan versi mobile jika menggunakan kode robots.txt ini. Namun, saya sarankan jika Anda memiliki blog dengan menggunakan template yang sudah resposive dan memiliki tampilan khusus mobile, Anda tidak perlu menggunakan file robots.txt ini. Tetapi, file robots.txt ini dapat mengatasi duplikat konten khususnya konten versi mobile dan konten versi desktop.
*Update: 04/05/2018
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.caramanual.com/sitemap.xmlUntuk saat ini saya menggunakan file robots.txt ini, kode robots.txt ini tidak jauh beda dengan kode yang pertama hanya sedikit saya modifikasi sesuai kebutuhan saya sendiri, untuk penggunaannya bisa disesuaikan tergantung pada kebutuhan Anda sendiri.
Catatan:
Jangan lupa di bagian sitemap, apakah blog Anda menggunakan HTTP atau HTTPS.
Nah, kode diatas merupakan kumpulan file robots.txt yang seo friendly, dari beberapa kode di atas Anda masih bisa mengkreasikannya supaya lebih baik, misalnya kode pertama dan kedua Anda gabungkan mungkin hasilnya akan bagus untuk blog Anda, tapi hal tersebut harus disesuaikan dengan kebutuhan Anda sendiri.
saya pake cara yang kedua mas, ternyata ga tepat ya..
BalasHapustergantung kebutuhan juga mba, kalau yang kedua itukan mengizinkan semua robot untuk mengindeks seluruh laman web kita, kalau memang itu diperlukan ya tidak masalah, hehe...
HapusNahh asyiik saya coba ya Mas..hehe
BalasHapussilahkan mba, hati-hati dalam menggunakannya ya...
Hapusyuk di coba sama saya
Hapussaya kurang begitu mengerti mas kalau masalah beginian hehee tapi mau coba juga sih :D
BalasHapuskalau mau coba harus ngerti dulu mas :)
Hapusnah iya tuh bener mang Yono, hehe
Hapustak kenal maka tak sayang
kalau saya pakai cara yang paling atas.. standard ya :)
BalasHapusiya mang, yang paling atas kode standar robots.txt yang banyak di pakai blogger
HapusKalau gitumah mendingan saya comot dulu script kumpulan kode robots nya mang,, biar tak terapin ke blogku...
BalasHapusgondolen kabeh
Hapussilahkan mang, di kreasikan kode robots.txt nya
Hapussayaa pake robots.txt yg standar, tapi kok banyak duplikat kontennya di webmaster. gimana itu mas?
BalasHapusduplikat konten biasanya terjadi akibat banyaknya konten yang di telusuri oleh mobile dan desktop, nah Kang Ucup bisa coba robots.txt yang terakhir, tapi tidak saya sarankan kang. Coba tambahkan kode ini dibagian meta tag
Hapus<link expr:href='data:blog.url' rel='canonical'/>
Wih Mantep gan makasih ya gan
BalasHapushadeh...
HapusAdmin sendiri pake yang mana ni...?
BalasHapusKonten sudah saya update kembali dan disana terdapat file robots.txt yang saya gunakan saat ini.
HapusSekedar informasi, untuk mengetahui file robots.txt yang digunakan oleh blog lain cukup tambahkan /robots.txt pada url atau domain blog tersebut.
Kenapa update terbarunya Mediapartners-Google dihilangkan...?
HapusMediapartners-Google disana isi disallownya kosong jadi sama saja tanpa ada perintah, kalau di isi dengan tanda slash atau / maka perayap google tidak akan menampilkan iklan di situs tersebut.
HapusBerhubungan saya menggunakan iklan adsense dari google, jadi saya menghilangkan kode tersebut atau jika ingin tetap menggunakan Mediapartners-Google supaya iklan tampil maka hilangkan perintah / pada bagian disallow.
wah... saya memakai yg yg bawaan blogger, pantasan iklan jarang nongol.terimakasih banyak atas info nya, semmoga sll sukses gan
BalasHapusMisalnya mas , saya kosongkan semuanya itu sama kembali ke default nya tidak, soalnya saya isi dari berbagai postingan lalu saya pastekan sekarang pengunjung jadi (0) 🙄😪
BalasHapusHati-hati dalam penggunaan file robots.txt ini karena kalau salah akibatnya bisa fatal. Untuk saat ini solusinya mungkin dengan menghapus seluruh settingan yang pernah dibuat dan benar itu akan kembali ke default.
Hapus