搜索引擎发展到这个阶段

 百度处理     |      2021-09-29 16:17

  索引擎技术马上遇到了一个传统的情报检索、信息检索从没遇到过的问题——作弊。某个网页的拥有者或这个网站的站长,都希望自己的网页、网站在搜索结果里排在最前面,让人家最先看到。由于当时的搜索引擎技术主要是基于词频统计原理设计的,知道了这个原理,网站拥有者就很容易作弊了——比如说,对于IBM这个词汇,虽然我不是IBM公司的,但是我做的业务与其有关,我就在自己的网页上输入IBM这个词,重复100遍,或者在自己的网页题目中多写几遍,就很容易排在以IBM为关键词的搜索结果首页的最前面了。这给搜索结果的客观性带来了巨大挑战。

  1996年,李彦宏负责《华尔街日报》网络版实时金融信息系统的设计。李彦宏很喜欢用当时的搜索引擎,但他也发现了搜索引擎作弊的问题很严重。

  1996年4月,李彦宏最先创建了超链分析(ESP)技术,并将它成功地应用到Infoseek的Go.com的搜索引擎中,这个技术率先解决了如何将基于网页质量的排序与基于相关性的排序完美结合的问题,并获得了美国专利。Go.com图像搜索引擎是他的另一项极具应用价值的技术创新。

  超链分析技术的实质是,通过别人引用你的网站内容的次数,来确定你在搜索引擎里的排序,被引用的次数越多,排名就越靠前。这有点类似判断一篇学术论文价值的方法,发表的论文质量高不高,不是作者说了算,而是看你的论文被引用了多少次、有多少人引用,被引用的次数越多,论文质量就较高,影响力就较大。

  超链分析标志着世界互联网搜索引擎进入了第二个技术时代。

  1999年底,全世界主流的搜索引擎基本上都使用了超链分析技术。但是,搜索引擎发展到这个阶段,并没有解决搜索引擎公司的发展动力,也就是商业模式问题。拥有一项技术,无论多么先进,如果不能够产生相应的经济回报,还是不能生存下去。

  早期的网民或许会记得一些曾经知名的搜索引擎公司,如Infoseek、LookSmart、Inktomi,但后来这些公司先后都消失了。是它们的搜索引擎技术做得不好吗?不是!而是因为第一代和第二代技术都没有解决搜索引擎的商业模式问题。

  转机出现在20世纪90年代末。

  此时,美国有一家名叫Goto.com的搜索引擎公司,它发明了付费排名的商业模式:对于商业类词汇,以关键词竞价,按竞价网站的出价多少,决定搜索结果的排列顺序;在搜索结果被点击时支付竞价费用,也称PPC(pay per click)。这实质上是一种按效果付费的网络推广方式,用少量的投入就可以给企业带来大量的潜在客户,有效地提升企业的销售额和品牌知名度。

  比如,当有人输入一个“鲜花速递”检索请求的时候,那些愿意为鲜花速递付费的网站,理论上讲就是跟鲜花速递相关的网站,而这些网站有可能通过被检索而获得商业回报。

  报纸、电视等传统媒体,固定成本和制作成本很高,因此投放广告的门槛也很高。Goto.com发明的这种网络推广模式,大大降低了企业的推广成本,让中小企业也能负担得起。在任何社会中,大企业总是少数,中小企业群非常庞大,虽然它们的推广投放额度不高,但由于数量庞大,而互联网又能以很低的成本支持这种小额消费,因此这种商业模式产生的商业回报非常惊人。

  这种针对中小企业的商业模式,其实暗合了一个美国人的理论。

  美国《连线》杂志主编克里斯·安德森是一个喜欢从数字中发现趋势的人。一天,他和朋友,eCast首席执行官范·阿迪布会面,范·阿迪布说他从数字音乐点唱统计数字中发现了一个秘密:听众对98%的非热门音乐有着无限的需求,非热门音乐的集合市场无比巨大。他把这称为“98法则”。

  这个有悖常识的“98法则”改变了安德森的研究方向,他开始系统研究亚马逊、狂想曲公司、Blog、Google、eBay、Netflix等互联网零售商的销售数据,并与沃尔玛等传统零售商的销售数据进行对比,最后他观察到一种符合统计规律的现象——大数定律。

  这并不稀奇,因为许多现象都符合大数定律,即呈山峰状中间高两端低的概率分布模式。安德森的新发现是:从前那些因概率低或需求少而不被关注的尾巴部分,却成了新兴互联网产业的商机。

  这就是后来风靡全球的著名的“长尾理论”:由于成本和效率的因素,过去人们只关注重要的人或重要的事,如果用正态分布曲线来描绘这些人或事,人们只关注曲线的“头部”,而将曲线“尾部”忽略。在网络时代,由于关注的成本大大降低,人们有可能关注“尾部”,关注“尾部”产生的总体效益甚至会超过“头部”。

  传统的营销理论认为,80%的利润是由20%的客户提供的,即所谓的“二八定律”。在此指导下,企业的服务资源主要放在20%的VIP客户上。而长尾理论是对传统“二八定律”的彻底颠覆,被硅谷奉为圭臬。

  1998年2月,Goto.com首推付费排名获得巨大成功。1999年,Goto.com在纳斯达克上市,因比其他搜索引擎公司收入高,股价曾达30多美元。2001年,Goto.com更名为Overture。

  付费排名模式扭转了搜索引擎的败局,也使搜索引擎独立出来、以专门的商业机构进行运作成为可能。

  这给了李彦宏启示,百度要想做独立的搜索引擎网站,其商业模式可以借鉴Goto.com的付费排名模式。经过缜密思考,结合中国市场的实际,李彦