robots.txt在网站优化过程是比较容易忽视的一个方面！追风今天就烦了一个这样的错误！因为没有及时的添加这个文档，导致新站在五天之内GG还是没有收录！所以友情提请下大家robots.txt文档的重要性！

     不过这个文档其实很重要！robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。     

     语法：最简单的 robots.txt 文件使用两条规则：  User-Agent: 适用下列规则的漫游器 Disallow: 要拦截的网页

    为什么要添加robots.txt 文档，因为每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。
   懒人seo就是因为发现GG不收录蜘蛛也天天来就是没有收录，在需要问题的时候发现我忘记写robots.txt文档了，犯了一个这么大的错误！

   所以追风提请各位一定要记得robots.txt在网站优化过程中的重要性！不然蜘蛛会在你的网站里面乱逛，找不到地图！

以下几个是关于ROBOTs.txt的说明文档

百度搜索帮助－禁止搜索引擎收录的方法：http://www.baidu.com/search/robots.html

使用 robots.txt 文件拦截或删除网页　http://www.google.com/support/webmasters/bin/answer.py?hl=cn&answer=156449

光年论坛Robots.txt书写教程：http://www.gnbase.com/thread-3699-1.html

搜索引擎不会告诉你的关于robots的潜规则　http://www.gnbase.com/thread-1968-1.html