搜索引擎的工作原理

1.計(jì)算機(jī)自動(dòng)搜索型

計(jì)算機(jī)自動(dòng)搜索型的“網(wǎng)絡(luò)機(jī)器人”多或“網(wǎng)絡(luò)蜘蛛”是一種網(wǎng)絡(luò)上的軟件，它遍歷Web空間，能夠掃描一定lP地址范圍內(nèi)的網(wǎng)站，并沿著網(wǎng)絡(luò)上的鏈接從一個(gè)網(wǎng)頁(yè)到另一個(gè)網(wǎng)頁(yè)，從一個(gè)網(wǎng)站到另一個(gè)網(wǎng)站采集網(wǎng)頁(yè)資料。為保證采集的資料最新，它還會(huì)回訪已抓取過(guò)的網(wǎng)頁(yè)。網(wǎng)絡(luò)機(jī)器人或網(wǎng)絡(luò)蜘蛛采集的網(wǎng)頁(yè)，還要有其他程序進(jìn)行分析，根據(jù)一定的相關(guān)度算法進(jìn)行大量的計(jì)算建立網(wǎng)頁(yè)索引，才能添加到索引數(shù)據(jù)庫(kù)中。我們平時(shí)看到的計(jì)算機(jī)自動(dòng)搜索型，實(shí)際上只是一個(gè)搜索引擎系統(tǒng)的檢索界面，當(dāng)輸入關(guān)鍵詞進(jìn)行查詢(xún)時(shí)，搜索引擎會(huì)從龐大的數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)的索引，并按一定的排名規(guī)則呈現(xiàn)出來(lái)。不同的搜索引擎，網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)不同，排名規(guī)則也不盡相同，所以，當(dāng)以同一關(guān)鍵詞用不同的搜索引擎查詢(xún)時(shí)，搜索結(jié)果也就不相同。

2.人工分類(lèi)目錄型

和計(jì)算機(jī)自動(dòng)搜索型一樣，人工分類(lèi)目錄型的整個(gè)工作過(guò)程也同樣分為收集信息、分折信息和查詢(xún)信息三部分，只不過(guò)人工分類(lèi)目錄型的收集，分析信息兩部分主要依靠人工完成。人工分類(lèi)目錄型一般都有專(zhuān)門(mén)的編輯人員，負(fù)責(zé)收集網(wǎng)站的信息。隨著收錄站點(diǎn)的增多，現(xiàn)在一般都是由站點(diǎn)管理者向人工分類(lèi)日錄型遞交自己的網(wǎng)站信息，然后由人工分類(lèi)目錄型的編輯人員審核遞交的網(wǎng)站，以決定是否收錄該站點(diǎn)。如果該站點(diǎn)審核通過(guò),人工分類(lèi)目錄型的編輯人員還需要分析該站點(diǎn)的內(nèi)容，并將該站點(diǎn)放在相應(yīng)的類(lèi)別和目錄中。所有這些收錄的站點(diǎn)同樣被存放在一個(gè)“索引數(shù)據(jù)庫(kù)”中，。用戶(hù)在查詢(xún)信息時(shí)，可以選擇按照關(guān)鍵詞搜索，也可按人工分類(lèi)目錄型逐層查找。如以關(guān)鍵詞搜索，返回的結(jié)果與計(jì)算機(jī)自動(dòng)搜索型一樣,也是根據(jù)信息關(guān)聯(lián)程度排列網(wǎng)站。需要注意的是：人工分類(lèi)目錄型的關(guān)鍵詞查詢(xún)只能在網(wǎng)站的名稱(chēng)、網(wǎng)址、簡(jiǎn)介等內(nèi)容中進(jìn)行，它的查詢(xún)結(jié)果也只是被收錄網(wǎng)站首頁(yè)的URL地址，而不是具體的頁(yè)面。人工分類(lèi)目錄型就像一個(gè)電話號(hào)碼簿，按照各個(gè)網(wǎng)站的性質(zhì)，把其網(wǎng)址分門(mén)別類(lèi)排在一起，大類(lèi)下面套著小類(lèi)，一直到各個(gè)網(wǎng)站的詳細(xì)地址，一般還會(huì)提供各個(gè)網(wǎng)站的內(nèi)容簡(jiǎn)介，用戶(hù)不使用關(guān)鍵詞也可進(jìn)行查詢(xún)，只要找到相關(guān)目錄，就完全可以找到相關(guān)的兩站(注意：是相關(guān)的網(wǎng)站，而不是這個(gè)網(wǎng)站上某個(gè)網(wǎng)頁(yè)的內(nèi)容，某一目錄中網(wǎng)站的排名一般是按照標(biāo)題字母的先后順序收錄的時(shí)間順序決定的)。

3.主要工作步驟

不管是計(jì)算機(jī)自動(dòng)搜索型，還是人工分類(lèi)目錄型，其搜索引擎的主要工作步驟如下。

1)從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)

通過(guò)“網(wǎng)絡(luò)蜘蛛”或人工收集的方法，從互聯(lián)網(wǎng)抓取網(wǎng)頁(yè)，存放到數(shù)據(jù)庫(kù)中。

2)建立索引數(shù)據(jù)庫(kù)

由分析索引系統(tǒng)程序?qū)κ占貋?lái)的網(wǎng)頁(yè)進(jìn)行分析，提取相關(guān)網(wǎng)頁(yè)信息(括網(wǎng)頁(yè)所在URL、編碼類(lèi)型、頁(yè)面內(nèi)容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大小、與其他網(wǎng)頁(yè)的鏈接關(guān)系等)，根據(jù)一定的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算，得到每一個(gè)網(wǎng)頁(yè)針對(duì)頁(yè)面內(nèi)容中及超鏈中每一個(gè)關(guān)鍵詞的相關(guān)度(或重要性)，然后用這些相關(guān)信息建立網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。

3)在索引數(shù)據(jù)庫(kù)中搜索排序

當(dāng)用戶(hù)輸人關(guān)鍵詞搜索后，由搜索系統(tǒng)程序從網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)。因?yàn)樗邢嚓P(guān)網(wǎng)頁(yè)針對(duì)該關(guān)鍵詞的相關(guān)度早已算好，所以只需按照現(xiàn)成的相關(guān)度數(shù)值排序，相關(guān)度越高，排名越靠前。最后，由頁(yè)面生成系統(tǒng)將搜索結(jié)果的鏈接地址和頁(yè)面內(nèi)容摘要等內(nèi)容組織起來(lái)返回給用戶(hù)。