Seo推广技术：robots.txt文件的编写方法.最近，西安市的许多朋友问我，网站是否想禁止蜘蛛获取一些专栏信息，那么机器人应该在网站上写些什么呢？　　robots //蜘蛛机器人　　robots.txt文件常用编写方法示例　　Robots.t