SILVER DAVELY

File robots.txt adalah file teks yang sederhana yang biasanya ditempatkan dalam root directory. File robots.txt ini dapat digunakan untuk memberitahukan pada robotnya mesin pencari agar mengunjungi/melihat dan mengindex area seperti yang kita inginkan untuk dikonsumsi oleh publik dan mencegah robot nya mesin pencari untuk masuk kedalam area yang tidak untuk konsumsi publik. Tentunya tidak semua directory dari website kita untuk konsumsi publik bukan???

Kegunaan File robots.txt

• Menghemat bandwith webserver kita : Robotnya mesin pencari tidak ingin mengunjungi area dimana disitu tidak tersimpan informasi (misalnya: cgi-bin, images, wilayah administrator, dll). Jika kita tidak membatasinya, robot mesin pencari akan melihat wilayah yang tidak ada informasinya dan tentu saja bandwith dari webserver yang kita gunakan akan meningkat. Selain itu robot dari mesin pencari biasanya tidak ingin berlama-lama dan beberapa diantaranya memiliki batasan waktu untuk mengunjungi suatu website. Jangan-jangan jika kita tidak menggunakan robots.txt isi yang perlu dipublikasikan belum dilihat oleh robot tapi waktu yang dimiliki robot untuk mengunjungi suatu website sudah habis, ini mungkin dapat juga digunakan sebagai alasan mengapa mesin pencari lebih menyukai website yang sederhana.

• Dapat digunakan sebagai proteksi awal : Saya sudah jelaskan diatas. Dengan adanya robots.txt dapat dijadikan proteksi awal agar halaman yang menjadi privasi buat kita tidak di konsumsi oleh publik.