robots.txt adalah nama file teks yang memberi tahu mesin telusur URL atau direktori mana di situs yang tidak boleh di-crawl. File ini berisi aturan yang memblokir tiap-tiap URL atau seluruh direktori dari crawler tertentu (atau semua crawler). File ini dibuat oleh pemilik situs dan disimpan di direktori beranda situs guna mencegah situs menghabiskan waktu dan tenaga melayani permintaan crawl halaman atau resource (seperti gambar) yang tidak perlu muncul di hasil penelusuran karena tidak terlalu penting. Jika situs Anda kecil, Anda mungkin tidak memerlukan file robots.txt.
Jangan gunakan robots.txt untuk mencegah halaman muncul di hasil penelusuran, hanya gunakan file tersebut untuk mencegah halaman di-crawl. Teknik lain digunakan untuk mencegah halaman atau gambar muncul di hasil penelusuran. Pelajari robots.txt lebih lanjut