淘宝部分解禁百度蜘蛛_最新动态_新闻资讯_程序员俱乐部

　　据国内相关媒体报道，今天收到一个重磅消息，淘宝对百度蜘蛛开放部分目录了，于是赶紧打开淘宝 robots 协议看看，果不其然，淘宝对百度开放了 7 个目录，如下图：

　　我们来看看，这次淘宝给百度开放的目录都有些什么?

　　1 、/article 目录下，都是位于网站地图下的列表页面;

　　2 、/oshtml 目录下，也是位于网站地图下的全球购，爱逛街等列表页面，开放给百度

　　3 、/product 目录下，很不幸，都是 403Fobidden 页面(怀疑是操作错误，因为没有理由对搜索引擎开放一个已经 403 的页面，还专门写一个 Robots 协议);

　　4 、/Spu 目录下，很遗憾没找到相应页面;

　　5、/dianpu 目录下，空欢喜一场，这不是店铺首页，而是繁体的台湾店铺列表页;

　　6、/wenzhang 目录下，全是淘宝头条下的文章，内容大部分都是分享资讯类页面;

　　7、/oversea 目录下，没有这个目录。

　　Robots 协议，是国际上搜索引擎对所有网站内容抓取的一个内容协议，通常来说，搜索引擎都必须遵守这个协议。

　　2008 年马云做了一个异常霸气的决定，那就是淘宝在 robots.txt 协议中屏蔽百度蜘蛛的抓取，这也就是为什么淘宝店铺无法通过百度搜索引起获得流量的原因，马云说百度搜索引擎带来的流量是垃圾量，没多少转化率。

　　淘宝今天对百度蜘蛛开放目录，显然不会是因为技术出错的原因，从上面的目录架构中可以看出，此次淘宝开放的目录大多是和文章资讯相关，而淘宝店铺之类的目录依然是屏蔽状态。