前些年，网站建设行业的程序猿们肯定有听说过robots协议，而且360与百度两大搜索引擎关于“robots”协议也一直存在争议，百度这边呢，指责360违反商业道德，不遵守“robots协议”，而360又认为百度利用该协议作为不正当竞争的工具，想要垄断整个搜索引擎市场。那么究竟robots协议功能是什么？有什么功能？那就跟随上海君君营销网站建设公司一起来了解下吧！
，robots协议全称是Robots Exclusion Protocol，翻译过来是机器人排除协议，又称为爬虫协议、机器人协议，是指网站所有者通过一个置于网站根目录下的文本文件，即robots.txt，提示搜索引擎的网络机器人哪些网页不应被抓取，哪些网页可以抓取。从本质上来说，robots协议是受访网站与搜索引擎之间的一种交互方式。
如果把网站比作一个对公众开放的博物馆，robots协议就相当于在博物馆入口处悬挂的提示牌，告知游客哪些区域不对游客开放，如：“本馆三楼301-302室为展品储藏室、四楼为办公区，谢绝参观”。通常情况下，游客会根据提示牌的内容，进行参观游览。提示牌本身没有强制力，如果要防止游客擅自闯入不开放区域，最好的办法是采取一些“技术措施”，如在办公区外设置栏杆，在储藏室门上加锁等。博物馆设置提示牌的目的是为了便于游客更好的参观，提示牌的内容对所有游客应一视同仁。如果提示牌规定禁止某一类人参观，则需要有合理、正当的理由，在缺乏合理、正当理由的情况下，禁止某一类人进入一个对公众开放的博物馆参观显然是不合理的。
从《互联网搜索引擎自律公约》第七条、第八条的规定来看，其包含两个层次的含义，一方面从搜索引擎的角度来说，必须遵守受访网站的robots协议，不得随意抓取，另一方面从受访网站的角度来说，其设置robots协议的行为本身应当具有行业公认合理的正当理由，不得利用robots协议进行不正当竞争行为。
而robots协议设置的初衷也正是如此，为了提示搜索引擎的网络机器人更有效的抓取对网络用户有用的信息，从而更好的促进信息共享。但是对于robots协议存在的不正当竞争行为应该加以限制，也只有这样才可以维护市场环境的公平竞争，从而促进互联网行业的发展。
