西安智狐seo栏目头部广告

Seo推广技术:robots.txt文件的编写方法

Seo推广技术:robots.txt文件的编写方法

 

  最近,西安市的许多朋友问我,网站是否想禁止蜘蛛获取一些专栏信息,那么机器人应该在网站上写些什么呢?

  robots   //蜘蛛机器人

  robots.txt文件的编写方法示例

  Robots.txt文件使用示例:

  1.允许所有机器人进入

  User-agent:*Allow:/或者User-agent:*Disallow:

  2,禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

  //"用户代理:*

  不允许:/

  3.只禁止Baiduspider进入你的网站

  User-agent: Baiduspider

  Disallow: /

  //用户代理:百度蜘蛛

  不允许:/

  4.只允许Baiduspider进入你的网站

  User-agent: Baiduspider

  Disallow:

  //用户代理:百度蜘蛛

  不允许:

robots.txt文件的编写方法

  5.防止蜘蛛访问特定目录

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  //User-agent:*

  不允许:/CGI-bin/

  不允许:文件夹/tmp/

  不允许:文件夹/~Joe/

  6.允许访问特定目录中的url部分

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  //"用户代理:*

  允许:/cgi-bin/see

  允许:/tmp/hi

  允许:/~joe/look

  不允许:/CGI-bin/

  不允许:/tmp/

  不允许:/~Joe/

  7.受限制的访问网址

  访问所有带有后缀的URL(包括子目录)"。禁止在/cgi-bin/目录中使用HTM"。

  User-agent: *

  Disallow: /cgi-bin/*.htm

  //"用户代理:*

  Disallow:/cgi-bin/*.htm

  8.使用"$"限制对url的访问

  只有带有后缀的URL"。"允许使用HTM"。

  //"用户代理:*

  允许:.htm$

  不允许:/

  9. 禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  10. 禁止Baiduspider抓取网站上所有图片

  仅允许抓取网页,禁止抓取任何图片。

  User-agent: Baiduspider

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  11. 仅允许Baiduspider抓取网页和.gif格式图片允许抓取网页和gif格式图片,不允许抓取其他格式图片User-agent: Baiduspider

  Allow: .gif$

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .png$

  Disallow: .bmp$

  12. 仅禁止Baiduspider抓取.jpg格式图片

  User-agent: Baiduspider

  Disallow: .jpg$

       13.禁止抓取站内搜索结果

       Disallow: /*&uiset=off*
       Disallow: /*&uiset=on*

       //Disallow: /*  屏蔽捉取站内搜索结果


西安智狐seo文章详情页广告

随便看看

西安智狐seo底部广告
版权免责声明

① 本站VIP源码资源永久免费下载 www.zhihuseo.com
② 本网站资源来源于网络收集,如有侵权,请联系站长进行删除处理。
③ 分享目的仅供大家学习和交流,请不要用于商业用途,否则后果自负。
④ 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解。
⑤ 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需。
⑥ 在您的能力范围内,为了大环境的良性发展,请尽可能的选择正版资源。
⑦ 网站资源不做任何二次加密和授权后门(原版加密除外)