更新时间：2024-09-26 05:21:27
网站建设
445大家都知道，大概在“百度是”上线之前，淘宝网为了避免百度恶意爬取，直接屏蔽了百度蜘蛛，也就是当时闹得沸沸扬扬的robots.txt协议。
即使你现在打开淘宝的robots.txt协议，你也能看到淘宝还在屏蔽百度的蜘蛛。
但真的如此吗？
事实证明，淘宝的robots.txt文件对百度蜘蛛根本没有作用。
小弟推测，百度之所以这样做，是因为百度考虑了战略方向，因为搜索了一下，发现一些知名的店铺在百度上的排名非常好。足以证明百度对于淘宝这样的店铺的重要性。更戏剧化的是，天猫（淘宝商城）也使用了robots.txt协议。百度蜘蛛也被屏蔽了。
另一种可能是淘宝网和天猫网的权重过高，导致百度蜘蛛不按照搜索引擎协议进行爬取。不过，对于这种事情，大家可以想一想前几天一淘网恶意抓取京东和新蛋网的商品数据，而且不遵守搜索引擎的规则。
直到现在，京东商城等也在对一淘网的蜘蛛进行封锁。
小编想说的是，现在的搜索引擎为了自己的利益，不遵守互联网协议的规则，这是值得反思的。我呼吁这样的大型互联网公司在整个IT行业树立一个好榜样。
我们专注高端建站，小程序开发、软件系统定制开发、BUG修复、物联网开发、各类API接口对接开发等。十余年开发经验，每一个项目承诺做到满意为止，多一次对比，一定让您多一份收获！
