robots.txt是什么：

robots.txt是一個(gè)純文本文件，在這個(gè)文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。

當(dāng)一個(gè)搜索機(jī)器人（有的叫搜索蜘蛛）訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。

另外，robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫。

什么情況下可以修改：

當(dāng)你在程序中新增加文件夾的時(shí)候，而且該文件夾不想被搜索引擎抓取時(shí)，就可以修改了，使用記事本打開，然后在最下面添加Disallow: /文件夾名稱/即可。

一般情況下我們個(gè)人網(wǎng)站考慮不讓搜索引擎抓取是出于保護(hù)隱私、增加安全性、做搜索引擎優(yōu)化而進(jìn)行的，按照這樣的思路，哪些文件夾設(shè)置為拒絕抓取就一目了然了