看淘宝如何屏蔽百度爬虫而允许谷歌爬虫？

  周末看的消息，搜狐博客和淘宝相继封了百度的爬虫，搜狐还封了google的蜘蛛，搜狐的目的，搜狐编辑博客已经说清了，就是要向facebook学习，不为别人做嫁衣，当然也是不让别人哪天封了自己，先下手为强，到时候让百度google被别人笑话，至于到时候是谁被笑话，现在还说不清楚，暂时不说这个爬虫工具。

昨天在新浪看到洪波先生的文章：淘宝封百度爬虫赌什么，洪波先生一向是我敬重的前辈，因此相当仔细看完了整篇文章，有一些想法想和洪波先生商榷爬虫工具。

我个人的看法，淘宝这次之所以屏蔽百度的爬虫，原因恐怕最主要的不见得是因为业务冲突爬虫工具。如果真的是因为业务冲突的话，那么要屏蔽百度的恐怕就不只是淘宝一家了，按照这个思路，几乎所有的知名网站都有屏蔽百度的可能，比如腾讯会因为百度hi，新浪会因为百度新闻，呵呵。

这里面有这样几个好玩的事情可以说说爬虫工具。

淘宝为啥只屏蔽百度的爬虫，而不是像搜狐一样把google一起屏蔽了？当然可能是洪波先生所说的原因，但更可能是因为百度的搜索竞价排名的原因爬虫工具。大家在网上购物都知道，最怕的是网络欺诈，最担心的是网络诚信问题，这几个c2c网站都相继搞了自己的诚信系统，比如淘宝就有支付宝的方式，有先行赔付等等，有过在淘宝购物经验的人都知道，一般我们在搜索到想要的商品之后，都会看看有这个店铺有没有参与消费者保障计划，有的话我们选择的可能大得多，这些类似的举措在易趣和拍拍也在实行。

但是百度的竞价排名却是只要花钱就可以做的广告推广模式，这样一来，任何一个厂家都可以花钱排在 搜索结果页面的前面，这给网络购物带来的风险可想而知，前段时间不久爆出了大众搬场的李鬼事件吗？想一下，如果在百度搜索某个品牌的衣服，而某些不法商贩利用竞价排名将自己的网站排在了前面，最终受害的还不是消费者爬虫工具。

竞价排名原本是百度创新的一种广告模式，但是由于审核制度的不健全，造成一直以来非议不断，也使得百度搜索结果的可信程度大打折扣，个人觉得，百度做竞价排名，实在是一件不划算的事情，因为搜索引擎的本质，就是要将最好的网站返回给搜索者，而百度的竞价排名明显违反了这一原则，给自己声誉造成的负面口碑影响，恐怕不是那些收入可以买回来的爬虫工具。

洪波先生说百度给淘宝带去了大量的流量和用户，说实话，我是不怎么相信的，因为我就是一个不怎么在网上购物的人，偶尔给老婆买件衣服，我都知道直接去淘宝，如果我要买书，我就会去当当看看，也就是说，这些网站已经在网民心中有了品牌的价值，而搜索引擎能做的，实际上是在网站还没有在其用户群中产生深刻和固定的品牌影响力之前，给用户引导，一旦真的形成了品牌，再使用搜索引擎去的人恐怕会少很多爬虫工具。

  举个比方爬虫工具，看新闻上新浪，还有多少人在搜索引擎搜索新浪或者新闻之类的词呢？

找点数据来证实自己的想法：

北京正望咨询分析师周洪美称爬虫工具。“目前多数网上购物者有特定的购物习惯，很少借助搜索引擎进行购物网站的选择。” 在其专门针对网购行为的调查显示：有近八成网购人群在网购中很少或从不使用搜索擎。

  仅有11爬虫工具。4%的网购人群表示“我几乎每次购物都会用到专业搜索引擎”。这个结果和我自己的使用习惯是吻合的。

洪波先生最后说，淘宝封掉百度的爬虫，会影响淘宝店主的顾客量，我觉得在一段时间可能会发生，这个要看淘宝怎么样宣传，因为搜索引擎不止是百度一家，如果网民们都知道淘宝封掉了百度的爬虫的话，想在网上购物又还不知道淘宝的这些潜在买家，会不会放弃使用百度，而使用google等其他搜索引擎呢？如果是这样，那么就是淘宝会损失一些来自与百度的流量，但是百度恐怕也会损失来自于网购人群的搜索爬虫工具。

  而且本质上，如果百度不改变其竞价排名的操作方式，恐怕慢慢地有很多搜索用户都会选择离开百度爬虫工具。这个对于百度而言，恐怕才是比关注被某某网站封掉爬虫更为重要的事情。

在百度没有改变自己的竞价排名规则之前，我看淘宝封掉百度爬虫倒不失一件明智之举，少一些流量和少很多诚信风险相比较，是我，也会选择后者爬虫工具。

现在我感兴趣的是，会不会有更多的成名网站跟风淘宝呢？、帮到你的话请给个好评~欢迎追问~不要轻易给差评哈~爬虫工具。