雅虎搜索技术

4.4.1　雅虎搜索技术简介

Yahoo!全球性搜索技术是一个涵盖全球120多亿网页(其中雅虎中国为12亿)的数据库，拥有数十项技术专利、精准运算能力，支持38种语言，近10 000台服务器，服务全球50%以上互联网用户的搜索需求。

图4-2　雅虎英文搜索首页

随着网页数量的增长和用户对关键词查询的需要，从1996年到2004年，雅虎先后选用AltaVista、Inktomi等第三方的搜索引擎作为自己网页搜索的后台服务提供商。为给用户提供更好的搜索体验，雅虎先后收购了Inktomi和Overture等著名的搜索引擎公司，并结合自己多年的搜索技术，重新整合打造出YST搜索技术平台。

2005年后，雅虎搜索逐步确立了社区化搜索(Social Search)的策略，将积极发挥全球庞大的注册用户群来积累大批高质量内容和元数据(Meta Data)，从而改善用户的搜索体验。在这种策略下，雅虎不断推出新的社区化搜索服务，例如:知识堂、收藏+等，并收购了著名的照片共享网站Flickr和社会书签网站Del.icio.us，进行产品上的优势互补。雅虎搜索以人为本的理念(Better Search Through People)开始引领新的潮流。

雅虎网页搜索引擎的基本技术原理如下:

首先，搜索引擎会建立一个网页地图(Webmap)，记录互联网的链接结构，再使用网页抓取的蜘蛛程序(Robot)根据网页地图来抓取(Crawl)质量好的网页，存储到网页快照数据库中。接下来，索引程序(Indexer)会将快照数据库中的网页编号存储到网页索引数据库中，在这个过程中会利用相关技术去掉作弊网页(Spam)。

当用户输入一个查询词搜索时，查询程序会使用这个查询词到索引数据库中比较，并经过相关性计算后，按照相关的程度对网页进行排序，相关性越高的排的越靠前。相关性的计算是包括各种因素的综合结果，相关度的运算，除了判别网站名称或叙述内容中有符合搜索词的搜索结果，运算程序还会根据该网页被连结的次数等相关分数来计算，相关程度的高低是由搜索引擎程序运算，根据各种因素复合计算出来，并非绝对的单一因素。例如:网站标题或网页内容对查询词的匹配，网页被链接的次数等。

图4-3　雅虎搜索过程图示

网页数据库每天都会进行部分数据的更新，由于数据库庞大，所有数据完全更新大约需要2到3个月的时间。

依据雅虎微软交易，雅虎搜索最终将被Bing所替代，但雅虎搜索团队仍然推出了许多新的改进，为用户提供修改化的搜索体验。

4.4.2　雅虎搜索的功能发展

2007年7月，雅虎推出雅虎全能搜索功能。雅虎全能搜索是基于Omni-Search技术架构对搜索体验的创新实践，通过对用户查询意图的智能分析，利用通用排序技术，在一个结果页中整合网页、图片、音频、视频、新闻等各种搜索产品，从而最大简化用户的搜索过程。雅虎全能搜索的Omni-Search技术架构，旨在打造跨平台(PC、手机和电视等)的智能型通用搜索引擎。

雅虎全能搜索采用了创新性的Omni-Search技术架构。用户无需了解各种垂直搜索产品，只要输入查询词，雅虎全能搜索就可以通过智能分析，返回各种相关结果(网页、图片、音频、博客等)，并进行综合排序。Omni-Search架构的理念在于简化搜索过程，将最相关的各种信息快速返回给用户，打造智能型通用搜索引擎。

雅虎全能搜索不同于综合搜索和网页搜索。综合搜索(Combo Search)是基于固定的模板，整合了各种垂直搜索的结果，每种垂直搜索的位置基本上是不变化的。网页搜索是基于文本信息的全网搜索形式，而雅虎全能搜索则是包括了网页搜索在内的多种信息形式(如图片、音频等)的搜索引擎。

雅虎最新功能的发展:

(1)结构化网络自推出Yahoo!SearchMonkey后，继续加快网络上采用结构化数据，并授权开发创新的搜索。雅虎增强多种结构化对象模式，包括视频、文件、游戏、产品、本地企业、事件、讨论和新闻。

(2)全新的雅虎搜索在世界各地多个市场推出了全新设计的雅虎搜索。除了全新的页面设计，更快的搜索页，还提供许多新功能，如SearchMonkey结构化数据、搜索扫描、安全搜索和Search Pad，查询建议、图像和视频搜索精选。

(3)雅虎发布增强型搜索提示功能，扩大到几乎所有雅虎资产的顶部搜索框。可以便捷地得到用户所需要的信息，无论是实时股票报价或电影预告片。

(4)雅虎搜索推出最新新闻捷径，不仅包含雅虎新闻、照片和影片，还集成了Twitter上的最新消息，让用户搜索到更多突发性的、最新的新闻。

(5)更轻松的搜索本地企业在雅虎上面搜索本地商铺时，雅虎会显示一个非常不错的界面，其中包括了评论，概况，照片和行车路线，这些信息都会显示在一个下拉式的方框中，用户不用离开当前页面就可以访问这些信息。

网页搜索中集成Twitter除了新闻捷径中集成Twitter消息，雅虎还在网页搜索结果中集成更多Twitter内容。即使你的Twitter不是新闻标题，也能很容易地搜索到。

增强的媒体搜索雅虎将精选图像和视频搜索的经验，应用于提炼娱乐搜索。改进了音乐视频搜索功能，让你可以轻松地搜索到用户喜欢的音乐家的最流行专辑和歌曲的视频文件及在用户搜索电视连续剧或当红电影演员时，为用户提炼更多相关视频，可按来源网站、受欢迎程度、时间顺序查看。