网站的优化中要学会用好robots文件
搜索引擎蜘蛛在访问网站之前，都会先访问网站根目录下的robots.txt文件。搜索引擎蜘蛛不会去抓取robots.txt文件中禁止爬行的文件或目录。

robots.txt是搜索引擎爬取协议，也就是说你可以通过这个文件告诉搜索引擎，哪些目录不要爬去，一个友情链接出售网站的源码中包含了很多系统文件，而这些文件是不需要展示给用户看的，自然也不需要展示给搜索引擎看，如果你不进行引导，会让搜索引擎的蜘蛛把精力浪费在那些系统文件上，造成资源浪费。

当网站有些页面不希望被引擎抓取到，避免不必要的流量浪费，就可以通过robot.txt文件来完成。只要在该文件下输入相关代码，便可以指定哪些页面可以抓取哪些页面不可以抓取。这也是一种优化URL结果的方法。

只针对于用户的页面，对于搜索引擎来说没有价值的页面，比如一些咨询的页面，注册的页面网站推广外链等等，这些页面收不收录对于排名没有任何影响，我们可以用robots.txt文件进行屏蔽。

有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。

死链过多，对查找引擎优化来说，是丧命的。不能不导致站长的高度注重。在网站的开展过程中，目录的删去和调整是不可避免的，若是你的网站当时目录不存在了，那有必要对此目录进行robots屏蔽，并回来正确的404过错页面。

写robots.txt要注意的地方：
1. 第一个英文要大写，冒号是英文状态下，冒号后面有一个空格，这几点一定不能写错。
2. 斜杠：/ 代表整个网站
3. 如果“/”后面多了一个空格，则屏蔽整个网站
4. 不要禁止正常的内容
5. 生效时间是几天到两个月

有一个误解是：你必须制定一个robots标签。实际上：robots指定了索引与跟踪链接两项权限，如果你不写robots标签，那么就会默认为，允许搜索引擎索引该页面与跟踪该页面链接。只有当你需要改变两项权限其中的一项时，才十分有必要去添加。

文章来源  http://yun.gufengnet.com/Home/Rank/detail/id/98.html