搜索引擎的形成和发展

一、搜索引擎的形成和发展

搜索引擎的鼻祖，是1990年由就读于加拿大蒙特利尔的麦克奇尔大学（University of McGill）计算机学院的三名学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie。虽然当时万维网（World Wide Web）还未出现，但网络中文件传输相当频繁，由于大量的文件散布在各个分散的FTP（File Transfer Protocol文件传输协议）主机中，查询起来非常不便，因此，Alan Emtage想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供用户以一定的表达式查询。

随后，1991年美国明尼苏达大学（University of Minnesota）创建出Gopher，作为师生存取校园网络信息的一种工具。Gopher是一种综合的网上文件查询系统，也是一种基于菜单的检索工具。用户只要在构成树型结构的多层菜单中选择特定的项目，即可找到所需信息。正是由于它的客户端界面友好，功能较强，很快成为当时Internet的主要信息传播工具。

1993年，内华达大学（Nevada System Computing Services）开发出一个类似Archie的Gopher搜索工具Veronica，用以提供Gopher的节点地址，可以帮助用户查找Gopher系统上大量的一手资料。此时的搜索工具已能检索网页。

当时，“机器人”一词在编程者中十分流行。电脑“机器人”（Computer Robot）是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的“机器人”程序像蜘蛛一样在网络间爬来爬去，因此，搜索引擎的“机器人”程序就被称为Spider程序。世界上第一个Spider程序，是麻省理工学院（Massachusetts Institute of Technology）教授Matthew Gray开发的World Wide Web Wanderer（网络漫游者），用于追踪互联网发展规模。刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL）。

与Wanderer相对应，英国软件工程师Martijn Koster于1993年10月创建了ALIWeb（Archie-Like Indexing for the Web），它是Archie的HTTP版本。ALIWeb不使用“机器人”程序，而是靠网站主动提交信息来建立自己的链接索引，类似于现在我们熟知的Yahoo。

到1993年底，一些基于跟踪链接搜索原理和超链分析技术的搜索引擎开始纷纷涌现，其中以JumpStation、The World Wide Web Worm（Goto的前身，也就是今天的Overture）和Repository-Based Software Engineering（RBSE）spider最负盛名。这三个引擎之中RBSE是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。

最早现代意义上的搜索引擎出现于1994年7月，卡内基梅隆大学（Carnegie Mellon University）的Michael Loren Mauldin将John Leavitt的spider程序接入到其索引程序中，创建了Lycos。除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycos第一个在搜索结果中使用了网页自动摘要。同年4月，斯坦福大学（Stanford University）电机工程系的两名年轻博士生David Filo和美籍华人杨致远（Gerry Yang）共同创办了超级目录索引Yahoo，并成功地使搜索引擎的概念深入人心。从此搜索引擎进入了高速发展时期。