如何建立一个符合搜索蜘蛛爬行习惯的网站

如何建立一个符合搜索蜘蛛爬行习惯的网站

在过去的两周里，我简要介绍了搜索爬行系统的工作原理。根据这个工作原理，我简要介绍了今天如何建立符合搜索引擎爬行系统习惯的网站。

如何建立一个符合搜索和爬行习惯的网站

1.简单明了的网站结构

蜘蛛爬行相当于遍历网页的有向图，所以一个简单而结构化的网站必须是它所喜欢的，并试图确保蜘蛛的可读性。

（1）树结构的最佳结构是"主页-通道-详细信息页"。

（2）从平面主页到细节页的级别尽可能少，这不仅便于掌握，而且可以很好地传递重量。

（3）网格确保每个页面至少有一个文本链接指向，使网站尽可能全面地被捕获和包含，内部链的构建也能对排序产生积极的影响。

（4）导航为每个页面添加一个导航，以便于用户了解路径。

（5）认为许多网站管理员对子域和目录的选择有疑问，我们认为，当内容较少，内容相关性较高时，建议以目录的形式实现，这有利于权重的继承和收敛；当内部容量较大，与主站的关联度略有不同时，建议以子域的形式实现。

2.简单而美丽的网址规则

（1）唯一性站点中相同的内容页只对应于唯一的url，太多形式的url将分散页面的权重，目标url可能在系统中被过滤。

（2）动态参数的简单性尽可能少，并且保证url尽可能短。

（3）美使用户和机器能够通过网址判断网页内容的主要目的。

我们建议以下形式的url：URL应尽可能短且可读，以便用户能够快速理解，例如使用拼音作为目录名称；相同内容只生成系统中与其对应的唯一url，删除无意义的参数；如果无法保证url的唯一性，请尝试将不同形式的url 301发送到目标url；防止用户将错误的备用域名301键入到主域名。

3.其他考虑

（1）不要忽视不吉利的机器人文件，默认情况下，部分系统机器人被搜索引擎屏蔽，当网站建立及时查看和编写相应的机器人文件时，网站的日常维护过程也应注意定期检查。

（2）建立网站站点地图文件和死链文件，并通过百度网站管理员平台及时提交。

（3）一些电子商务网站存在区域性跳转问题，将商品和商品的建议统一为一个页面，识别页面中是否有商品，如果该地区没有商品，则不返回无效页面，由于蜘蛛的出口有限，无法包含正常页面。

（4）合理利用网站管理员平台提供的机器人、站点地图、索引数量、抓取频次、死链提交、网站修改等工具。