SEO优化人员在建站的时候会跟robots文件打交道，这个文件是什么?能够对网站起到什么作用?今天跟着君君营销SEO来一起了解一下具体内容，帮助你更好的开展搜索优化工作。
通俗的来讲robots.txt文件是一个纯文本文件，是我们网站和搜索引擎蜘蛛的协议文件，就和合同一样，在搜索引擎抓取我们网站的时候，会第一个访问我们网站的robots.txt协议文件，查看我们网站的制定的协议，再进行网站的抓取。
我们怎么查看一个网站是否制作了robots.txt文件呢?
其实很简单，只要在域名后加上/robots.txt就可以访问和查看这个网站的robots.txt文件了。如果显示的是404那么说明这个网站还没有设置robots.txt协议。
robots.txt文件的作用有哪些呢?
1、robots是搜索引擎蜘蛛抓取网站时，所抓取的第一个文件
2、robots可以屏蔽网站的垃圾和重复页面
3、robots可以保护网站的隐私防止隐私泄露
4、robots可以让一些不想要上排名的页面，使其不参与排名
5、robots可以屏蔽不需要搜索引擎蜘蛛抓取的模版插件等
如何制作编写我们网站的robots文件呢?
我们要了解robots文件的编写语法，和注意事项。
(User-agent代表选择蜘蛛) User-agent: Baiduspider (Baiduspider代表百度蜘蛛)
* 选择代表所有相关 User-agent: * 所有蜘蛛
Disallow: /(在语句下加上Disallow: /代表禁止抓取)如果要禁止网站根目录里的一个文件比如a/12/l这个文件那么Disallow: /a/12/l即可。
禁止一个文件夹比如c文件夹里所有的文件Disallow: /a 这样即可。
不想让蜘蛛禁止a文件夹里的全部文件，想让蜘蛛抓取a文件夹里的cl66这个文件Disallow: /aAllow: /a/cl66 这样即可。
(Allow:代表应许抓取)我们要禁止网站里的图片，那么如果网站里面有很多图片，有几万个图片难道我们要一个一个选择几万个图片禁止吗?
比如是jpg格式的图片，Disallow: /*.jpg$ $代表结束符 *代表所有。
如果要屏蔽所有js文件的话Disallow: /*.js$ 这样即可。
怎么屏蔽网站的动态路径呢? 如果路径是 /sadada?sdasdadaid=123Disallow: /*?* (禁止抓取路径?前面和后面的所有) 。
Disallow: /a 这个是屏蔽以a字母开始的文件及文件夹。
Disallow: /a/ 这个是只屏蔽a文件夹下的所有文件
robots协议文件编写的注意事项：
1、如果我们网站没有设置robots.txt协议文件，那么搜索引擎蜘蛛会默认抓取我们网站的所有页面文件的。
2、robots.txt协议文件的第一个字母要大写，所有内容要在英文状态下编写。
3、robots.txt协议文件放置在我们网站的根目录中，文件名不能错，不然搜索引擎蜘蛛抓取不到我们的robots.txt协议文件的，字母的大小也是有限制的，robots.txt的文件名必须为小写字母。所有的命令第一个字母需大写，其余的小写。所有的命令之后要有一个英文字符空格。
如果实在嫌robots.txt协议文件编写比较麻烦，也可以找同行业，查看他们的robots.txt协议文件，进行复制略作修改后，传输到网站的更目录即可。
以上就是robots.txt文件的相关介绍以及编写教程，这个文件能够对网站的隐私起到一定的保护作用，对于优化而言是比较必须的一项工作。
