黑帽seo程序：robots.txt怎么写？

SEO管理员

黑帽seo程序robots文件是用来告诉搜索引擎：这个网站上哪些部分可以被访问、哪些不可以，robots文件是存放在网站根目录下的一个纯文本文件。当搜索引擎访问一个网站时，它首先会检查该网站根目录下是否存在robots文件。robots文件必须放置在一个网站的根目录下，而且文件名必须全部小写。

我们做的网站肯定希望被收录，因为网站流量的一部分或者是大部分都是来自搜索，所以对网站来说是很重要的。问题是：我们有的网站内容不希望杯搜索到，那么怎么办呢?在这种情况下，我们就有必要会用到robots文件，来与搜索引擎沟通。所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，所以你只需创建它并上传，然后等待蜘蛛来阅读。

1、允许所有搜索引擎访问

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

在这里大家要注意下，可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。

2、禁止所有搜索引擎访问

User-agent: *

Disallow: /

或者

User-agent: *

allow:

3、禁止所有搜索引擎访问网站中的几个部分，在这里我用a、b、c目录来代替

黑帽seo程序

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

如果是允许，则是

Allow: /a/

Allow: /b/

Allow: /c/

4、禁止某个搜索引擎的访问，我用w来代替

User-agent: w

Disallow: /

或

User-agent: w

Disallow: /d/*.htm

在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL，包含子目录。

5、只允许某个搜索引擎的访问，我用e来代替

User-agent: e

Disallow:

黑帽SEO程序在Disallow：后面不加任何东西，意思是仅允许e访问该网站。

6、使用”$”限制访问url

User-agent: *

Allow: .htm$

Disallow: /

意思是仅允许访问以”.htm”为后缀的URL

7、禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

8、禁止搜索引擎F抓取网站上所有图片

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

意思是只允许引擎抓取网页，禁止抓取任何图片(严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)

9、只允许搜索引擎E抓取网页和.gif格式图片

User-agent: E

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片

END

注意事项

黑帽SEO程序绝大多数的搜索引擎机器人都遵守robots文件的规则，关于怎么写robots文件的方法，大致就是这些了。要提醒大家的是：robots.txt文件一定要写对，如果不太会写，还是要先了解再写，以免给网站的收录带来麻烦。

标签： 黑帽seo程序 robots.txt
相关文章
黑帽seo案例：利用CSS sprite为网站加速！ 黑帽seo博客：网站如何留住用户？ 黑帽seo服务：ASP.NET概述 黑帽真假：搜索引擎如何走出营销之路？ 黑帽seo程序：robots.txt怎么写？ 零基础黑帽seo培训：关键词排名的小策略 黑帽seo缑阳建：人民币在升值，SEO同样在升值！ 黑帽seo工作流程：海量关键词挖掘的技巧

黑帽SEO实战知识
黑帽seo算法培训：面对百度新算法我们SEOer应该如何面对！
黑帽seo算法培训：面对百度新算法我们SEOer应该如何面对！