robots協議是什么？robots協議的含義闡釋。
robots協議（也稱爬蟲協議、機器人協議等），“全稱是網絡爬蟲掃除規范“（RobotsExclusionProtocol），robots是網站跟爬蟲間的協議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
robots.txt文件是一個文本文件，robots.txt是一個協議，而不是一個命令。robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。百度官方建議，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。
Robot.txt的效果？
能夠讓蜘蛛更高效的匍匐網站
能夠阻撓蜘蛛匍匐動態頁面，從而處理重復錄入的問題
能夠削減蜘蛛匍匐無效頁面，節約服務器帶寬
能夠屏蔽搜索引擎屏蔽一些隱私頁面或許臨時頁面
閱讀"robots協議是什么？robots協議的含義闡釋。"的人還閱讀
