相关阅读:robots协议
【百度百科】Sitemap 可方便网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页。最简单的 Sitemap 形式,就是XML 文件,在其中列出网站中的网址以及关于每个网址的其他元数据(上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等),以便搜索引擎可以更加智能地抓取网站。
百度sitemap
百度sitemap的作用是通过Sitemap告诉百度蜘蛛全面的站点链接,优化自己的网站。百度Sitemap分为三种格式:txt文本格式、xml格式、Sitemap索引格式。
sitemap的创建是为了更有利于搜索引擎的的抓取策略,从而提高工作效率。生成sitemap.xml后将其链接放入robort.txt内 .
Disallow:http://网站域名/sitemap.xml
Sitemap三种格式
Sitemap三种格式分别是:
一、HTML格式:
Sitemap.html格式的网站地图主要用来方便用户的浏览使用,并不能起到 XML Sitemap 所起的作用。所以最好是两者都要有()。
二、XML格式:
sitemap.xml的创建是为了更有利于搜索引擎的的抓取策略,从而提高工作效率。生成sitemap.xml后将其链接放入robort.txt内 :Disallow:http://网站域名/sitemap.xml
提示:
1.良好的robort.txt协议可以指导搜索引擎抓取方向,节省“蜘蛛”抓取时间,所以无 形中提升了“蜘蛛”的工作效率,也就提高了页面被抓取的可能性了。
2.将sitemap.xml和robort.txt放在网站的根目录下。
TXT格式(文本格式)
可以根据自己情况来选择任意一种格式组织sitemap。具体格式说明及示例如下:
完整单个xml数据格式如下:
第一位置:XML文件需以utf-8编码
第二位置:必填标签,语法标准
第三位置:URL链接地址,长度不得超过256字节
第四位置:选填,指定该链接的最后更新时间 告诉此链接可能会出现的更新频率
第五位置:选填,URL链接优先权比值
txt文本格式
1. 新建一个记事本文件,命名为sitemap.txt;
2.打开Sitemap.txt文件,在里面输入你网站的网址,要求是每行一个完整的网址(如http://seo.aizhan.com/term/147.html),并且除了网址,不能包含其他一切字符;
3.每个Sitemap.txt文件可以添加的最多网址数目是50000个,如果多于这个数目的,可以再新开一个文件;
4 .把这个记事本通过上传到网站的根目录;
5. 通过搜索引擎提交入口把该记事本存在的地址提供给搜索引擎。
Html网页格式
一般现在使用一些sitemap的生成工具,或者有些CMS自带有的功能,大家可以在百度搜索一下。
常见问题答复:FAQ
网站地图,html 、 xml 、txt,全部都需要添加吗?
Q:网站地图,html 、 xml 、txt,全部都需要添加吗?
还有就是网站的底部要不要添加网站地图
Q:我需要网站地图(sitemap)吗?
A:如果您网站上的网页链接得当,那么我们的网页抓取工具通常便能够发现其中的大多数网页。即便如此,站点地图仍更加有效地抓取网站,尤其是当网站符合以下某个条件时:
- 网站规模很大。在这种情况下,搜索引擎网页抓取工具可能会在抓取时漏掉部分新网页或最近更新的网页。
- 网站有大量内容页归档,这些内容页之间互不关联或缺少有效链接。 、如果您的网站网页没有自然地相互引用,那么您可以在站点地图中列出这些网页,以确保搜索引擎不会漏掉您的网页。
- 网站为新网站且指向该网站的外部链接不多。 网页抓取工具是通过跟踪网页之间的链接来抓取网页的。因此,如果没有其他网站链接到您的网页,搜索引擎可能不会发现您的网页。
- 您的网站使用富媒体内容(在搜索引擎新闻中显示),或使用其他与站点地图兼容的注释。在适当情况下,搜索引擎能将站点地图中的其他信息纳入搜索范围。
Q:百度实时推送有什么用?
百度 移动专区(熊掌号)的天级数据推送可以加速网站内容的收录。
robots协议里面可以写入三个sitemap地址吗?xml,html,txt
User-agent: *
Sitemap: (前面网址bai被和谐duzhi)/sitemap.txt
Sitemap: (前面网址被和谐)/sitemap.xml
Sitemap: (前面网址被和谐)/sitemap.html
网站地图生成工具
【1】https://sitemap.helay.net/
【2】https://vsmvc.com/products.webmastertools.sitemap#service