首先要了解什么是 robots文件,比如,在万相网的首页网址后面加入“ /robots. txt”,即可打开该网站的 robots文件,文件里显示的内容是要告诉搜索引擎哪些网页希望被抓取,哪些不希望被抓取。因为网站中有一些无关紧要的网页,如“给我留言”或“联系方式”等网页,它们并不参与SEO排名,只是为了给用户看,此时可以利用 robots文件把它们屏蔽,即告诉搜索引擎不要抓取该页面。

蜘蛛抓取网页的精力是有限的,即它每次来抓取网站,不会把网站所有文章所有页面一次性全部抓取,尤其是当网站的内容越来越多时,它每次只能抓取一部分。那么怎样让它在有限的时间和精力下每次抓取更多希望被抓取的内容,从而提高效率呢?此时可以利用 robots文件。小型网站没有该文件无所谓,但对于中大型网站来说,robots文件尤为重要。因为这些网站数据库非常庞大,蜘蛛来时,要像对待好朋友一样要给它看最重要的东西,因为这个朋友时间精力有限,每次来都不能把所有的东西看一遍,所以就需要 robots文件屏蔽一些无关紧要的东西。由于种种原因,某些文件不想被搜索引擎抓取,如出于隐私保护的内容,也可以用 robots文件把搜索引擎屏蔽。

“百度百科”中提到“有些人会问,既然 robots文件没弄好或出错了,会影响整个网站的收录,那为什么还要这个文件呢?”这句话中的“出错了”是指将不该屏蔽的网址屏蔽了,导致蜘蛛不能抓取这些页面,这样搜索引擎就不会收录它们,那何谈排名呢?所以 robots文件的格式一定要正确。

再回到上面的问题,“百度百科”给出的回答是“其实 robots文件是为特定需要的站长准备的,因为有些网站,有一些页面是站长不想被SE收录的,所以才有了这个robots文件。”“百度百科”还给出了“ robots:txt文件用法举例”：

(1)“ User-agent:* Disallow:/”表示“禁止所有搜索引擎访问网站的任何部分”,这相当于该网站在搜索引擎里没有记录,也就根本谈不上排名。

(2)“User- agent:* Disallow:”表示“允许所有的 robots访问”,即允许蜘蛛任意抓取并收录该网站。这里需要注意,前两条语法之间只相差一个“”。

(3)“User- agent: BadBot disallow:/”表示“禁止某个搜索引擎的访问”。

(4)“ User-agent: Baiduspider Disallow: User-agent:* Disallow:!”表示“允许某个搜索引擎的访问”。前面已经讲过“ Baiduspider”是百度蜘蛛的名称,这条语法即是允许百度抓取该网站,而不允许其他搜索引擎抓取。“百度百科”还举了一个简单的例子,两个“/”之间是网站具体的文件夹。像“百度百科”这样共享的 robots文件写法已经比较全面,这里就不再一介绍了。

网站很多死链接,而这些链接以前已经被百度收录,但网站更换后蜘蛛再过来发现这些页面都不存在了,这就会留下很不好的印象。此时可以利用 robots文件把

死链接全部屏蔽,不让百度访问这些已不存在的页面即可。使用 robots文件应该注意什么呢?首先,在不确定文件格式怎么写之前,可以先新建一个文本文档,注意 robots文件名必须是“ robots. txt”,其后缀是“txt”且是小写,不可随意更改,否则搜索引擎识别不了。然后打开该文件,可以直接复制粘贴他人的格式,robots文件格式是一条命令一行,下一条命令必须换行。还有“ Disallow:”后面必须有一个空格,这是规范写法。所有命令都表示不允许搜索引擎抓取这些页面。