Fungsi Robot.txt Pada Blogger Perlu Kamu Ketahui

Robot txt pada blogger itu sangat penting yang dimana bisa membatu blog kamu dalam perayapan di mesin pencari google atau pengindex dalam sebuah blog. 

Apabila kamu salah setting robot txt tentu akan membuat blog kamu susah untuk dirayapi atau di crawl di mesin pencari. 

Misalnya Anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita bisa memanfaatkan fungsi dari robot.txt agar dapat memblokir halaman tersebut.

Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara default robot.txt seperti dibawah ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.arlinacode.com/sitemap.xml

Pastinya Anda akan bingung, apa sebenarnya arti-arti dari kode diatas, baiklah Saya akan menjelaskannya satu-persatu.

Keterangan
User-agent: Mediapartners-Google	User agent milik Google menandakan bahwa blog ini adalah milik Google
Disallow	Tidak diperbolehkan tidak ada
User-agent: *	Semua Robot Search Engine
Disallow: /search	Tidak diperbolehkan merayapi folder search dan seterusnya
Allow: /	Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow.
Sitemap: http://www.sudarcode.com/sitemap.xml	Alamat feed blog/sitemap blog Anda

Mungkin itu saja sedikit penjelasan tentang fungsi dari Robot.txt semoga artikel ini bisa bermanfaat.