5. robots.txt怎么写 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可 。robots.txt写法如下：User-agent: *Disallow：或者User-agent: *Allow: /
如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话robots.txt写法如下：User-agent: BaiduspiderDisallow: /
如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent：头文件的蜘蛛名字改成谷歌的Googlebot即可robots.txt写法如下：User-agent: GooglebotDisallow: /
如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话robots.txt写法如下：User-agent: *Disallow: /css/Disallow: /admin/Disallow: /images/
如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话robots.txt写法如下：User-agent: *Allow: /css/myAllow: /admin/htmlAllow: /images/indexDisallow: /css/Disallow: /admin/Disallow: /images/
我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL（包含子目录） 。robots.txt写法如下：User-agent: *Disallow: /html/*.htm
如果我们使用“$”的话是仅允许访问某目录下某个后缀的文件robots.txt写法如下：User-agent: *Allow: .asp$Disallow: /
如果我们禁止Google搜索引擎抓取我们网站上的所有图片（如果你的网站使用其他后缀的图片名称，在这里也可以直接添加）robots.txt写法如下：User-agent: GooglebotDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$
6. 如何写网站robots.txt robots.txt撰写方法：（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt 。
User-agent:*Disallow：或者User-agent:*Allow:/(2)，禁止所有搜索引擎访问网站的所有部分 。User-agent:*Disallow:/(3)，禁止百度索引你的网站 。
User-agent:BaiduspiderDisallow:/(4)，禁止Google索引你的网站 。User-agent:GooglebotDisallow:/(5)，禁止除百度以外的一切搜索引擎索引你的网站 。
User-agent:BaiduspiderDisallow:User-agent:*Disallow:/(6)，禁止除Google以外的一切搜索引擎索引你的网站 。User-agent:GooglebotDisallow:User-agent:*Disallow:/(7)，禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录 。
User-agent:*Disallow:/admin/Allow:/images/(8)，禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件 。User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$(9)，禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8） 。
User-agent:*Disallow:/*?* 。
7. robots.txt这样写是什么意思 武汉seo发现很多企业网站没有robots.txt这个文件，也不知道robots.txt是什么，这个文件有什么作用 。
今天我就和大家详细说下这个文件吃及他的作用 。1.什么是robots.txt Baidu作出的回答，robots.txt是一个必须放在根目录底下的纯文本文件，文件名必须全部是小写的字母即“robots.txt”，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容 。
2.robots.txt有什么作用 1.SEO中引导搜索蜘蛛抓取网站地图，更好地收录网站页面 。2.禁止所有搜索蜘蛛抓取你网站的所有内容或者是指定目录 。
3.robots.txt用法举例 1. 允许所有搜索引擎收录本站：robots.txt为空就可以，什么都不要写 。2.禁止某个搜索引擎收录本站，例如禁止百度： User-agent: Baiduspider Disallow: / 3.禁止所有搜索引擎收录本站 User-agent: * Disallow: / 4.禁止所有搜索引擎收录网站的某些目录： User-agent: * Disallow： /目录名1/ Disallow： /目录名2/ Disallow： /目录名3/ 参考资料：常见搜索引擎机器人Robots名字 名称 搜索引擎 Baiduspider。