1. robots.txt怎么写 robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写 。
robots.txt文件的格式 User-agent： 定义搜索引擎的类型 Disallow： 定义禁止搜索引擎收录的地址 Allow： 定义允许搜索引擎收录的地址 我们常用的搜索引擎类型有： （User-agent区分大小写） google蜘蛛：Googlebot 百度蜘蛛：Baiduspider yahoo蜘蛛：Yahoo!slurp alexa蜘蛛：ia_archiver bing蜘蛛：MSNbot altavista蜘蛛：scooter lycos蜘蛛：lycos_spider_(t-rex) alltheweb蜘蛛：fast-webcrawler inktomi蜘蛛： slurp Soso蜘蛛：Sosospider Google Adsense蜘蛛：Mediapartners-Google 有道蜘蛛：YoudaoBot robots.txt文件的写法 User-agent： * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录 Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL（包含子目录） 。Disallow： /*？* 禁止访问网站中所有的动态页面 Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片 Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件 。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录 Allow: /tmp 这里定义是允许爬寻tmp的整个目录 Allow: .htm$ 仅允许访问以".htm"为后缀的URL 。Allow: .gif$ 允许抓取网页和gif格式图片 robots.txt文件用法举例 例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow： / 实例分析：淘宝网的 Robots.txt文件 User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow： / 很显然淘宝不允许百度的机器人访问其网站下其所有的目录 。
例2. 允许所有的robot访问 （或者也可以建一个空文件 “/robots.txt” file） User-agent: * Allow： 例3. 禁止某个搜索引擎的访问 User-agent: BadBot Disallow： / 例4. 允许某个搜索引擎的访问 User-agent: Baiduspider allow：/ 例5.一个简单例子 在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录 。需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/” 。
User-agent：后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现 。User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ Robot特殊参数： 允许 Googlebot： 如果您要拦截除 Googlebot 以外的所有漫游器不能访问您的网页，可以使用下列语法： User-agent: Disallow: / User-agent: Googlebot Disallow: Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行 。
“Allow”扩展名： Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名 。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找 。
“Allow”行的作用原理完全与“Disallow”行一样 。只需列出您要允许的目录或页面即可 。
您也可以同时使用“Disallow”和“Allow” 。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目： User-agent: Googlebot Disallow: /folder1/ Allow: /folder1/myfile.html 这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面 。
如果您要拦截 Googlebot 并允许 Google 的另一个漫游器（如 Googlebot-Mobile），可使用”Allow”规则允许该漫游器的访问 。例如： User-agent: Googlebot Disallow: / User-agent: Googlebot-Mobile Allow： 使用 * 号匹配字符序列： 您可使用星号 （*） 来匹配字符序列 。
例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目： User-Agent: Googlebot Disallow: /private*/ 要拦截对所有包含问号 （？） 的网址的访问，可使用下列条目： User-agent: * Disallow： /*？* 使用 $ 匹配网址的结束字符 您可使用 $ 字符指定与网址的结束字符进行匹配 。例如，要拦截以 .asp 结尾的网址，可使用下列条目： User-agent: Googlebot Disallow: /*.asp$ 您可将此模式匹配与 Allow 指令配合使用 。