文件目录大小写问题
robots文件名到底对大小写是否区分，相信很多站长也没有一个标准的答案。虽然res标准忽略大小写，但对于目录与文件名而言，却是大小写敏感的。“user-agent”和“Disallow”指令本身用大小写都可以，但对于其声明的目录或文件名却一定要注意大小写的问题。因为如果屏蔽了大写，蜘蛛有可能会抓小写，对网站的收录造成影响，例如：
Disallow: /abc.htm
会拦截http://www.abc.com/abc.htm
却允许http://www.abc.com/Abc.htm
所以在一些IIS服务器可能出现大小写目录的问题时，可以通过此方法得到圆满解决。
包含同类meta问题
一个正常的页面如果包含了多个同类型meta标签，搜索引擎蜘蛛会累加meta的内容进行取值。举个简单的例子，对下面两条语句来说：
搜索引擎将会把两者合并，最终理解成：
取最强参数的问题
有时候meta标签里边的值出现冲突，那么对于搜索引擎来说就会采纳限制性较强的参数为最终值，很多时候这个问题可以避免，但是有时候不小心写多了meta标签，特别对于一些大网站，更要注意。举个例子，例如下边的两个标签：
那么搜索引擎最终会会选择noindex的取值，因为它的限制性要比第二个高，这个类似优先级问题。
即有robots又有meta问题
如果一个网站里边既存在robots.txt文件，同时页面头部又写了meta标签，而当二者存在冲突，那么对于Googel来说会服从限制较严的规则，即在robots.txt中阻止了对一个页面的检索，那么Google就不会爬到这个页面，所以也就不会读到这个页面上的meta标签。而如果robots.txt里允许检索，meta中禁止，那么Goolge会到达这个页面，并在读到meta后停止爬行。
好了，本文就到这里吧，有一些是自己实实在在碰到的问题，而另外一些则是查阅网上的资料进行的总结，总之，能把robots里边的小细节和大家总结并分享完，感觉很有意义。SEO虽然是个漫长的过程，但是认真去体会里边涉及到的东西，同样也是一种很高的收获。
相关文章
