Cara Setting Robots.txt Khusus di Blogspot
Selasa, 15 November 2016
22 Komentar
Cara Setting Robots.txt Khusus di Blogspot - Sebagai blogger setidaknya kita mengetahui apa yang dimaksud dengan robots.txt khusus ? File robots.txt merupakan cara terbaik bagi para webmaster untuk mengontrol setiap halaman web pada mesin telusur. Secara singkat robots.txt dapat memabantu kita untuk mengontrol setiap konten yang ada pada web kita apakah konten tersebut boleh di rayapi oleh web crawler dan diindeks oleh mesin telusur atau sebaliknya. Untuk dapat lebih jelas memahami pengertian dari file robots.txt ini Anda dapat membaca artikelnya dibawah ini.
Baca Juga : Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya
Setelah kita paham mengenai pengertian dan fungsi utama dari robots.txt maka selanjutnya kita dapat mencoba mempraktekan atau menerapkannya kedalam blog kita. Tujuan utama mengaktifkan robots.txt ini adalah untuk mengontrol setiap konten atau halaman yang boleh dirayapi dan diindeks oleh mesin telusur, misalnya saja laman archive dan label kedua laman ini memang tidak seharusnya kita tampilkan pada mesin telusur karena tidak mengarah pada konten seseungguhnya. Namun, bagi yang tetap ingin mengindeks halaman archive dan label maka Anda bisa mengaturnya sendiri sesuai kebutuhan.
1. Masuk ke Blogger.com
2. Lalu klik pada bagian Setelan > Preferensi Penelusuran
3. Kemudian masukkan file robots.txt dibawah ini
Catatan :
- http://www.caramanual.com ganti dengan URL blog Anda.
File robots.txt diatas merupakan robots.txt yang standar dan paling banyak digunakan oleh para blogger. Untuk mengetahui mengetahui jenis-jenis file robots.txt lainnya Anda bisa membacanya pada artikel selanjutnya.
Baca Juga : Kumpulan File Robots.txt SEO Friendly
Setelah mengaktifkan fitur robots.txt pada blogspot, kita juga perlu mengatur pada bagian tag tajuk robot khusus fitur ini juga sama fungsinya hanya saja yang ini untuk mengontrol pada bagian laman konten di blogspot, nah dalam mengaktifkannya Anda perlu berhati-hati kalau salah bisa-bisa konten yang kita tulis malah tidak terindex. Lalu bagaimana cara setting tag tajuk robot khusus ini, akan kita bahas pada artikel selanjutnya.
Baca Juga : Cara Setting Tag Tajuk Robot Khusus di Blogspot
Semoga dengan mengaktifkan file robots.txt pada blogger dapat memaksimalkan lagi hasil penelusuran konten kita pada mesin pencari sehingga blog kita bisa rampai di penuhi pengunjung. Jadi cobalah untuk mengaktifkannya tapi jika Anda masih ragu silahkan untuk tidak mengaktifkannya. Tetapi jika Anda berani dengan resikonya bisa Anda coba dengan mengaktifkan file robots.txt ini karena hasilnya juga akan memuaskan asalkan kita benar dalam memberikan perintah pada file robots.txt tersebut.
Baca Juga : Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya
Setelah kita paham mengenai pengertian dan fungsi utama dari robots.txt maka selanjutnya kita dapat mencoba mempraktekan atau menerapkannya kedalam blog kita. Tujuan utama mengaktifkan robots.txt ini adalah untuk mengontrol setiap konten atau halaman yang boleh dirayapi dan diindeks oleh mesin telusur, misalnya saja laman archive dan label kedua laman ini memang tidak seharusnya kita tampilkan pada mesin telusur karena tidak mengarah pada konten seseungguhnya. Namun, bagi yang tetap ingin mengindeks halaman archive dan label maka Anda bisa mengaturnya sendiri sesuai kebutuhan.
Bagaimana Cara Mengaktifkan Robots.txt di Blogger ?
Secara default robots.txt pada blogger nonaktif, oleh karena itu kita perlu mengaktifkannya dan mengatur laman mana saja yang perlu diindeks mesin telusur. Berikut cara setting robots.txt khusus di blogspot :
2. Lalu klik pada bagian Setelan > Preferensi Penelusuran
3. Kemudian masukkan file robots.txt dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATEDCatatan :
- http://www.caramanual.com ganti dengan URL blog Anda.
File robots.txt diatas merupakan robots.txt yang standar dan paling banyak digunakan oleh para blogger. Untuk mengetahui mengetahui jenis-jenis file robots.txt lainnya Anda bisa membacanya pada artikel selanjutnya.
Baca Juga : Kumpulan File Robots.txt SEO Friendly
Setelah mengaktifkan fitur robots.txt pada blogspot, kita juga perlu mengatur pada bagian tag tajuk robot khusus fitur ini juga sama fungsinya hanya saja yang ini untuk mengontrol pada bagian laman konten di blogspot, nah dalam mengaktifkannya Anda perlu berhati-hati kalau salah bisa-bisa konten yang kita tulis malah tidak terindex. Lalu bagaimana cara setting tag tajuk robot khusus ini, akan kita bahas pada artikel selanjutnya.
Baca Juga : Cara Setting Tag Tajuk Robot Khusus di Blogspot
Semoga dengan mengaktifkan file robots.txt pada blogger dapat memaksimalkan lagi hasil penelusuran konten kita pada mesin pencari sehingga blog kita bisa rampai di penuhi pengunjung. Jadi cobalah untuk mengaktifkannya tapi jika Anda masih ragu silahkan untuk tidak mengaktifkannya. Tetapi jika Anda berani dengan resikonya bisa Anda coba dengan mengaktifkan file robots.txt ini karena hasilnya juga akan memuaskan asalkan kita benar dalam memberikan perintah pada file robots.txt tersebut.
pernah robot txt ini saya pasang mas, tapi masalahnya laporan url terindeks yang ada di search console justru malah banyak sekali yang gak diindeks. takut artikel-artikel saya gak ada yang nongol akhirnya saya copot lagi. itu gimana ya mas, gak apa-apa? atau gimana?
BalasHapusitu mungkin ada perintah yang salah mas, jadi di blokir semua sama robot nya, memang perlu hati-hati kalau mau mengaktifkan fitur robots.txt ini dan kalau blog sudah berumur lama dan artikel banyak pas fitur robots di aktifkan pasti banyak yang error
Hapustapi robot txt yang saya pasang udah seperti yang di atas itu to mas. terus kira kira kalau robot txt gak diaktifkan efeknya gimana ya mas?
Hapussecara default robots.txt akan merayapi setiap laman web, jadi kebanyakan robots.txt digunakan untuk memblokir laman supaya di indeks aja
HapusJujur kang baru tahu kali ini deh kalau secara detailnya begini mah, ahi hi hi jadi malu ( kudet ), tapi sekarang mah kayaknya sudah tahu full movie...eh
BalasHapusya kang gpp lah kita belajar sama-sama disini hehe...
Hapussaya kurang begitu mengerti mas, udah baca 2 kali juga masih kurang hehehee
BalasHapusdan untuk masalah resikonya itu apakah akan sangat fatal mas?
coba lah baca 3 kali, hehe
Hapuspaling artikel gak ke indeks itu saja, hihi...
Asal jangan salah pengaturannya ya kang, robot txt ini agar bisa bekerja denagn baik..
BalasHapusiya kang, kalau settingnya bener pasti bekerja dengan baik...
HapusBiasanya kalau kagak salahmah itu juga sering dipake supaya blog kita ndak dirayapi oleh auto visitor,,, tapi kurang tahu sihhh,,, XD
BalasHapushmmm, bisa jadi ya kang, kalau tidak mau dirayapi bot sih mending pakai user-agent googlebot jadi artikel cuman bisa di indeks google saja
HapusKalau saya jujur dulu pernah juga sih mempergunakan robots txt.Dan sekarang saya lepas semua karena saya lebih suka di Webmaster Tool aja settingnya Kang..dan kayanya lebih enak..hhehee
BalasHapusweee biasa g jujur ya...?
Hapussaya berpendapat.... hampir semua design template sudah di desain secara keseluruan dari pembuatnya terkait entah itu seo atau pun tag h1 sampai h5 serta elemen Robots.txt gitu Mas...
BalasHapusiya betul mas, sekarang template blog rata-rata sudah pakai meta tag robots
Hapuspenerapan robot.txt yang benar akan membantu optimasi seo blog kita, saya pernah salah pasang robot.txt, walhasil blog saya banyak kerusakan link T_T
BalasHapusnah kalau mau pasang robots txt sih bagusnya pas awal-awal bikin blog atau kalau masih kontennya sedikit, karena kalau sudah banyak bisa-bisa yang keblokir linknya banyak juga.
HapusSaya belum pernah mncobanya gan, lain waktu ane coba lah robot ini
BalasHapussilahkan sob, semoga bermanfaat...
HapusOHW...default blogger dimatikan robot txtnya...saya sih gak pernah utak atik ini mas takut salah malah trafik turun deh soalnya dengan default saja trafik dah lumayan
BalasHapusiya mas, robots txt secara default dalam posisi tidur, kalau sampai di bangunkan hemm... wkwk
Hapus