随着Internet的快速发展，Internet上庞大而无序的信息越来越难被网络用户所利用，用户查找所需信息如同大海捞针，常常无功而返。基于此，搜索引擎应运而生，以帮助网络用户在“信息的海洋”里找到所需信息，解决“迷航”问题。搜索引擎是指通过网络搜索软件或网站登录等方式，以一定的策略在Internet上搜集和发现信息，并将Web上大量网站的页面收集到本地，经过加工处理和组织，从而能够对用户提出的各种查询作出响应，提供用户所需的信息。
现代意义上的搜索引擎的先驱应是1990年在蒙特利尔大学开发的基于FTP的文件查询系统Archie。Archie是第一个自动索引Internet上匿名FTP网站文件的程序，但并不是真正的搜索引擎。
1993年Matthew Gray开发了世界上第一个利用HTML网页之间的链接关系来监测Web发展规模的“机器人”程序——World Wide Web Wanderer，现代搜索引擎的思路正源于此。
到1993年底，NASA开发的Repository-BasedSoftware Engineering(RBSE)Spider是第一个索引HTML文件正文的搜索引擎，也是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。
1994年，Michael Mauldin创建了第一个现代意义上的搜索引擎——Lycos。同年，斯坦福大学的两位博士David Filo和杨致远共同创办了Yahoo!门户网站，并成功地使网络信息搜索的概念深入人心，由此揭开了搜索引擎大发展的序幕。
以Lycos为代表的这一批搜索引擎被称为第一代搜索引擎。这类搜索引擎的索引量都少于100万个网页，极少重新搜集网页并去刷新索引，而且其检索速度非常慢;在实现技术上也基本沿用较为成熟的信息检索、网络、数据库等技术，相当于利用已有技术实现的一个WWW上的应用。
自1998年起，搜索引擎的发展出现了空前繁荣的时期，一般称这一时期的搜索引擎为第二代搜索引擎，如Google、百度等。这一阶段，搜索引擎的索引数据库规模有所扩大;开始出现主体搜索和地域搜索等搜索方式;对检索结果展开相关度评价;开始使用自动分类技术;极大提高了搜索的质量和效率。这一阶段为搜索引擎的后续发展拓展了空间，同时极大提高了搜索的质量和效率。
随着搜索引擎的增加，1995年出现了一种新的搜索引擎形式——元搜索引擎(或称为集成搜索引擎)。这类搜索引擎将用户的查询请求同时向多个独立搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后作为检索结果返回给用户。元搜索引擎在一定程度上解决了独立搜索引擎对于某些检索请求的查询结果不够全面、准确的现状，能够返回信息量更大、更全的检索结果，但不能从本质上克服目录式搜索引擎和基于全文检索技术的搜索引擎所固有的弊端。目录式搜索引擎依靠专业人员对信息进行甄别和分类，信息准确、导航质量高，但由于不能深入网站的内部细节，容易导致信息丢失，并且由于人工编辑能力有限，常导致网站信息陈旧、数据库更新不及时等问题。而采用全文检索技术的搜索引擎信息量大，更新及时，毋需人工干预，但由于不能区分同形异义以及不能联想到关键字，容易导致返回大量夹杂冗余信息的检索结果，且检准率低，用户必须从结果中进行筛选。
搜索引擎为人们获取网络信息提供了一种可能，在一定程度上满足了人们信息获取的基本需求，但是其固有缺陷也在一定程度上影响了人们获取信息的效率和深度。据RoperStarch的调查指出，36%的网络用户一个星期有多于两个小时的时间在网上搜索;71%的用户在使用搜索引擎时遇到过麻烦;平均搜索12分钟后发现搜索受挫;搜索受挫中46%都是因为链接错误;86%的用户感到应当出现更有效的、准确的信息搜索技术。而另一项由Keen所做的调查显示，人们每天有4个问题需要从外界获取答案;其中31%的人使用搜索引擎寻找答案;平均每周花费8.75个小时寻找答案; 53.3%的时间花在从旁人那里获得答案，29%的时间花在亲戚朋友身上，24.3%的时间花在销售商那里;从网上查找答案的，半数以上都不成功;他们每周将花费14.5美元以上，以获取正确的信息［1］。这些调查数据表明目前的搜索引擎确实存在不少的实际应用问题。
面对传统搜索引擎的局限，如何让网民在浩瀚无边的“信息海洋”里“搜”有所获，真正解决“找信息难”的问题，是搜索引擎的发展方向所在。随着人工智能、自然语言处理、信息组织与检索等技术的发展，开发智能搜索引擎已受到广泛关注，并将作为第三代搜索引擎登上舞台。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
