Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya

Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya - Anda mungkin pernah mendengar kata robots.txt sebenarnya ini merupakan file penting yang ada pada sebuah halaman web. File robots.txt akan memfilter web kita di mesin penelusuran. Kita dapat menampilkan dan menyembunyikan halaman, file, dokumen dan lainnya yanga da pada web kita dengan menggunakan file robots.txt ini.

Untuk pengguna wordpress misalnya, Anda perlu membuat sebuah file dengan nama robots.txt dan upload pada bagian root atau akar web Anda contoh : https://www.caramanual.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menggunakan sesuai dengan kebutuhan Anda.

Baca Juga : Kumpulan File Robots.txt SEO Friendly

Sedangkan untuk pengguna blogspot Anda mungkin tidak bisa membuat sebuah file dan mengupload ke dalam server privadi layaknya wordpress, tetapi tenang saja blogger telah memberikan fitur khusus untuk membuat file robots.txt pada blogspot. Anda bisa mencobanya pada bagian setelan di blogger. Untuk mengetahui file robots.txt di blog sudah terpasang Anda bisa mengeceknya seperti ini, contoh : https://manualcara.blogspot.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menyesuaikannya dengan kebutuhan Anda.

Baca Juga : Cara Setting File Robot.txt di Blogspot

Apa Itu Robot.txt ?

File robots.txt adalah sebuah ketentuan untuk mencegah robot mesin telusur mengakses seluruh atau sebagian situs web. Robot ini biasanya digunakan untuk mengontrol halaman-halaman tertentu agar tidak di index oleh spider mesin pencari, sehingga halaman tersebut tidak akan muncul pada hasil penelusuran.

File robots.txt berisi sebagian kecil perintah yang dapat menunjukan akses ke situs berdasarkan bagian dan berdasarkan jenis perayapnya misalnya perayap seluler dan perayap desktop. Robots.txt ditemukan oleh Martijn Koster pada tahun 1994 saat bekerja di WebCrawler. Dengan adanya robots.txt ini tentunya dapat membantu kita dalam memaksimalkan web asalhkan kita paham dalam penggunaan file robots.txt ini.

Apa Fungsi File Robots.txt ?

Fungsi file robots.txt adalah untuk mengontrol robot mesin telusur dalam melakukan perayapan dan indeksing sebuah halaman web. Dengan file robots.txt kita bisa mengontrol apakah suatu halaman web itu akan di indeks oleh robot mesin telusur dan tampil pada hasil penelusuran ataukah sebaliknya. Nah, jadi kita harus berhati-hati dalam penggunaan robots.txt kalau sampai salah bisa-bisa halaman yang ingin kita indeks malah tidak diindeks ataupun sebaliknya.

Isi File Robot.txt Standar (Untuk Blogger)

Untuk memasang robots.txt di blogger Anda tinggal masuk pada bagian Setelan > Preferensi Penelusuran. Berikut saya berikan contoh file robots.txt default yang standar dan banyak di gunakan oleh blogger.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.caramanual.com/feeds/posts/default?orderby=UPDATED

Catatan :
- https://www.caramanual.com silahkan ganti dengan URL blog Anda

Isi File Robot.txt Standar (Untuk WordPress)

Untuk robots.txt wordpress Anda bisa menginstal plugin yang ada, tetapi jika Anda ingin menggunakan file robots.txt manual Anda bisa mencobanya dengan menggunakan file robots.txt dibawah ini. Untuk memasang file robots.txt ini di wordpress Anda perlu memasukkan file robot.txt ini kedalam notepad lalu simpan dengan nama robot.txt setelah itu upload ke cPanel dibagian root atau di Manager File.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: https://www.caramanual.com/sitemap.xml

Catatan :
- https://www.caramanual.com/ silahkan ganti dengan URL web Anda

Penjelasan Bagian-bagian File Robots.txt

Dari beberapa file robots.txt yang ada mungkin Anda masih belum paham mengenai bagian-bagian yang Ada pada file robots.txt oleh karena itu dibawah ini akan saya jelaskan beberapa bagian atau kode yang ada pada file robots.txt.

User-agent: Mediapartners-Google ini berarti bahwa kode yang berada dibawahnya hanya berlaku untuk robot crawler Mediapartners-Google saja. Mediapartners-Google adalah robot crawler untuk google adsense.

Disallow : ini berarti tidak diperbolehkan untuk merayapi halaman tersebut. Tetapi Disallow tersebut tidak memiliki nilai sehingga tidak ada yang di cekal oleh robot crawler.

User-agnet : * ini berarti bahwa kode yang berada dibawahnya berlaku untuk semua robot crawler. Tanda * yang berarti berlaku untuk semua robot mesin telusur.

Disallow : /search ini berarti semua halaman yang memiliki URL /search tidak diperbolehkan untuk di rayapi oleh robot crawler.

Allow : / ini berarti bahwa semua URL boleh di rayapi robot crawler, kecuali yang berada pada perintah Disallow. Tanda / dapat diartikan sebagai URL beranda sebuah situs web.

Sitemap : https://www.caramanual.com/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog. Sitemap ini akan membantu robot crawler dalam merayapi dan mengindeks setiap konten yang di terbitkan.

Itulah penjelasan dari apa itu robots.txt dan bagaimana fungsinya. Semoga dengan artikel ini dapat membantu Anda dalam mengenal file robots.txt yang ada pada web blog Anda sehingga kita dapat memaksimalkan lagi situs web yang kita miliki. Jadi, file robots.txt ini sangat peting sekali untuk mengontrol atau melakukan filtrasi/penyaringan situs web kita pada mesin penelusuran.

Cara Manual

Cuman hobi nulis tentang tutorial blog jadi deh blog cara manual.

Bagikan Artikel ini