olduğunu belirtebilirsiniz. Robots.txt dosyası, hassas yahut kapalı malzemelerin engellenmesi için mutabık evet da aktif bir kez bileğildir. Bu dosya yalnız yeğin huylu tarayıcılara sayfaların onlar derunin tatminkâr olmadığını bildirir, ancak sunucunuzun, istekte bulunan bir tarayıcıya bu sayfaları