聚搜营销 网站建设robots的书写规范

聚搜营销 网站建设robots的书写规范

1、Sitemap: http://www.***.com/sitemap.xml
(此处请填写XML地图的***路径，即完整URL，如果按习惯填写Sitemap: /sitemap.xml，提交后会提示：检测到无效的 Sitemap 网址；语法错误。

2. 如果你的网站是***页，并且你为这些***页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免***页被蜘蛛索引，以保证这些网页不会被视为含重复内容。

3，"User-agent:*"这样的记录只能有一条
Disallow: 　　该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非***缀，以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。


4、一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据***个匹配成功的Allow或Disallow行确定是否访问某个URL。

　"$" 匹配行结束符。 　　"*" 匹配0或多个任意字符。

总结：经过上面聚搜营销的介绍大家可以在西安虚拟主机购买，聚搜营销将提供技术支持。