使用 robots.txt 文件控制搜索引擎对网站的访问和收录

robots.txt是一种存放于网站根目录下的编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些 内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。 因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。

Robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有和没有斜杠“/”这两种表示是不同的URL,也不能用”Disallow: *.gif”这样的通配符。

robots.txt 文件必须位于域名的根目录中并命名为”robots.txt”。位于子目录中的 robots.txt 文件无效,因为漫游器只在域名的根目录中查找此文件。

最简单的 robots.txt 文件使用两条规则:

  • User-agent:应用下列规则的漫游器
  • Disallow:要拦截的网址

这两行会视为文件中的一个条目。 您可根据需要包含任意多个条目。 您可在一个条目中包含多个 Disallow 行和多个 User-agent。

User-agent用来指定你要控制的搜索引擎漫游器。例如Google的漫游器叫做Googlebot,百度的漫游器叫做baiduspider,等等。

User-agent: *  则可以指定所有的搜索引擎漫游器都受本条目的控制。

Disallow 行列出的是您要拦截的网页。 您可以列出某一具体网址或网址模式。 条目应以正斜杠 (/) 开头。

  • 要拦截整个网站,请使用正斜扛。
    Disallow: /
  • 要拦截目录及其中的所有内容,请在目录名后添加正斜杠。
    Disallow: /junk-directory/
  • 要拦截某个网页,请列出该网页。
    Disallow: /private_file.html
  • 要从 Google 图片搜索中删除特定图片,请添加如下内容:
    User-agent: Googlebot-Image
    Disallow: /images/狗.jpg
  • 要从 Google 图片搜索中删除网站上的所有图片
    User-agent: Googlebot-Image
    Disallow: /
  • 要拦截某一特定文件类型的文件(例如 .gif),请使用以下内容:
    User-agent: Googlebot
    Disallow: /*.gif$
  • 要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告, 请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。 例如:
    User-agent: *
    Disallow: /folder1/
    
    User-agent: Mediapartners-Google
    Allow: /folder1/
一般来说,存放图片、私密文档、上传文件的目录最好设置Disallow以阻挡搜索引擎。
Google的网站管理员工具提供了robots.txt生成工具。

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注

*

您可以使用这些 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>