Apabila kamu salah setting robot txt tentu akan membuat blog kamu susah untuk dirayapi atau di crawl di mesin pencari.
Misalnya Anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita bisa memanfaatkan fungsi dari robot.txt agar dapat memblokir halaman tersebut.
Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara default robot.txt seperti dibawah ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.arlinacode.com/sitemap.xml
Pastinya Anda akan bingung, apa sebenarnya arti-arti dari kode diatas, baiklah Saya akan menjelaskannya satu-persatu.
Keterangan | |||
---|---|---|---|
User-agent: Mediapartners-Google | User agent milik Google menandakan bahwa blog ini adalah milik Google | ||
Disallow | Tidak diperbolehkan tidak ada | ||
User-agent: * | Semua Robot Search Engine | ||
Disallow: /search | Tidak diperbolehkan merayapi folder search dan seterusnya | ||
Allow: / | Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow. | ||
Sitemap: http://www.sudarcode.com/sitemap.xml | Alamat feed blog/sitemap blog Anda |
Mungkin itu saja sedikit penjelasan tentang fungsi dari Robot.txt semoga artikel ini bisa bermanfaat.