相關閱讀:robots協議
【百度百科】Sitemap 可方便網站管理員通知搜索引擎他們網站上有哪些可供抓取的網頁。最簡單的 Sitemap 形式,就是XML 文件,在其中列出網站中的網址以及關於每個網址的其他元數據(上次更新的時間、更改的頻率以及相對於網站上其他網址的重要程度為何等),以便搜索引擎可以更加智能地抓取網站。
百度sitemap
百度sitemap的作用是通過Sitemap告訴百度蜘蛛全面的站點鏈接,優化自己的網站。百度Sitemap分為三種格式:txt文本格式、xml格式、Sitemap索引格式。
sitemap的創建是為了更有利於搜索引擎的的抓取策略,從而提高工作效率。生成sitemap.xml後將其鏈接放入robort.txt內 .
Disallow:http://網站域名/sitemap.xml
Sitemap三種格式
Sitemap三種格式分別是:
一、HTML格式:
Sitemap.html格式的網站地圖主要用來方便用戶的瀏覽使用,並不能起到 XML Sitemap 所起的作用。所以最好是兩者都要有()。
二、XML格式:
sitemap.xml的創建是為了更有利於搜索引擎的的抓取策略,從而提高工作效率。生成sitemap.xml後將其鏈接放入robort.txt內 :Disallow:http://網站域名/sitemap.xml
提示:
1.良好的robort.txt協議可以指導搜索引擎抓取方向,節省「蜘蛛」抓取時間,所以無 形中提升了「蜘蛛」的工作效率,也就提高了頁面被抓取的可能性了。
2.將sitemap.xml和robort.txt放在網站的根目錄下。
TXT格式(文本格式)
可以根據自己情況來選擇任意一種格式組織sitemap。具體格式說明及示例如下:
完整單個xml數據格式如下:
第一位置:XML文件需以utf-8編碼
第二位置:必填標籤,語法標準
第三位置:URL鏈接地址,長度不得超過256位元組
第四位置:選填,指定該鏈接的最後更新時間 告訴此鏈接可能會出現的更新頻率
第五位置:選填,URL鏈接優先權比值
txt文本格式
1. 新建一個記事本文件,命名為sitemap.txt;
2.打開Sitemap.txt文件,在裏面輸入你網站的網址,要求是每行一個完整的網址(如http://seo.aizhan.com/term/147.html),並且除了網址,不能包含其他一切字符;
3.每個Sitemap.txt文件可以添加的最多網址數目是50000個,如果多於這個數目的,可以再新開一個文件;
4 .把這個記事本通過上傳到網站的根目錄;
5. 通過搜索引擎提交入口把該記事本存在的地址提供給搜索引擎。
Html網頁格式
一般現在使用一些sitemap的生成工具,或者有些CMS自帶有的功能,大家可以在百度搜索一下。
常見問題答覆:FAQ
網站地圖,html 、 xml 、txt,全部都需要添加嗎?
Q:網站地圖,html 、 xml 、txt,全部都需要添加嗎?
還有就是網站的底部要不要添加網站地圖
Q:我需要網站地圖(sitemap)嗎?
A:如果您網站上的網頁鏈接得當,那麼我們的網頁抓取工具通常便能夠發現其中的大多數網頁。即便如此,站點地圖仍更加有效地抓取網站,尤其是當網站符合以下某個條件時:
- 網站規模很大。在這種情況下,搜索引擎網頁抓取工具可能會在抓取時漏掉部分新網頁或最近更新的網頁。
- 網站有大量內容頁歸檔,這些內容頁之間互不關聯或缺少有效鏈接。 、如果您的網站網頁沒有自然地相互引用,那麼您可以在站點地圖中列出這些網頁,以確保搜索引擎不會漏掉您的網頁。
- 網站為新網站且指向該網站的外部鏈接不多。 網頁抓取工具是通過跟蹤網頁之間的鏈接來抓取網頁的。因此,如果沒有其他網站鏈接到您的網頁,搜索引擎可能不會發現您的網頁。
- 您的網站使用富媒體內容(在搜索引擎新聞中顯示),或使用其他與站點地圖兼容的注釋。在適當情況下,搜索引擎能將站點地圖中的其他信息納入搜索範圍。
Q:百度實時推送有什麼用?
百度 移動專區(熊掌號)的天級數據推送可以加速網站內容的收錄。
robots協議裏面可以寫入三個sitemap地址嗎?xml,html,txt
User-agent: *
Sitemap: (前面網址bai被和諧duzhi)/sitemap.txt
Sitemap: (前面網址被和諧)/sitemap.xml
Sitemap: (前面網址被和諧)/sitemap.html
網站地圖生成工具
【1】https://sitemap.helay.net/
【2】https://vsmvc.com/products.webmastertools.sitemap#service