搜索引擎發(fā)展歷史
現(xiàn)實意義上的搜索是1990年由特利爾大學學生Alan Emtage開發(fā)的Archie。雖然當時World Wide Web還未出現(xiàn)，但網(wǎng)絡中文件傳輸已經(jīng)相當頻繁，而且由于大量的文件散布在各個不同的FTP服務器中，形成了巨量的信息源。Alan的Archie依靠腳本程序搜索網(wǎng)絡上的文件，公分母對其進行索引，供使用者查詢。由于Archie深受用戶歡迎，受其啟發(fā)，美國內(nèi)華達高教系統(tǒng)計算服務中心于1993年開發(fā)了另一個類似的搜索工具，不過該搜索工具除了能索引文件外，還能檢索網(wǎng)頁。(北京網(wǎng)站制作)當時，“機器人”一詞十分流行，它是指快速不間斷地執(zhí)行某項任務的程序。由于專門用于檢索信息的“機器人”程序像蜘蛛一樣在網(wǎng)絡間爬來爬去，因此，搜索引擎“機器人”程序也被稱為“蜘蛛”程序。世界上第一個監(jiān)測互聯(lián)網(wǎng)發(fā)展規(guī)模的“機器人”程序是Matthew Gray開發(fā)的World Wide Web Wanderer。剛開始它只用于統(tǒng)計互聯(lián)網(wǎng)上服務器的數(shù)量，后來則發(fā)展到能夠檢索網(wǎng)站域名。與Wanderer相對應，Martin Koster于1993年10月創(chuàng)建了ALIWEB，它是Archie的HTTP版本。ALIWEB不使用“機器人”程序，而是靠網(wǎng)站主動提交信息來建立自己的鏈接索引，類似雅虎分類目錄。(高端網(wǎng)站建設)
隨著互聯(lián)網(wǎng)的快速發(fā)展，檢索新出現(xiàn)的網(wǎng)頁變得越來越困難，因此，在Matthew Gray的Wanderer基礎上，將傳統(tǒng)的“蜘蛛”程序作了改進。其設想是，既然所有網(wǎng)頁都可能存在指向其他網(wǎng)站的鏈接，那么從跟蹤一個網(wǎng)站的鏈接開始，就有可能檢索整個互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開始紛紛涌現(xiàn)，其中以JumpStation、The World Wide Web Worm（Goto的前身，也就是今天的Overture，已被雅虎收購）和Repository-Based Software Engineering（RBSE）spider最負盛名。然而JumpStation和WWW Worm只是以搜索工具在數(shù)據(jù)庫中找到匹配信息的先后次序排列搜索結(jié)果，因此毫無信息關聯(lián)度可言。而RBSE是第一個在搜索結(jié)果排列中引入關鍵字串匹配程度概念的搜索引擎。最早現(xiàn)代意義上的搜索引擎出現(xiàn)于1994年7月。當時Micheal Mauldin將John Leavitt的蜘蛛程序接入到其索引程序中，創(chuàng)建了大家現(xiàn)在熟知的Lycos。同年4月，斯坦福大學的兩名博士生，David Filo和美籍華人楊致遠（Jerry Yang）共同創(chuàng)辦了超級目錄索引雅虎，并成功地使搜索引擎的概念深入人心。從此搜索引擎進入了調(diào)整發(fā)展時期。目前，互聯(lián)網(wǎng)上有名有姓的搜索引擎已達數(shù)百家，其檢索的信息量也今非昔比。例如，Google號稱數(shù)據(jù)庫中存放的網(wǎng)頁已達40億。