從中國人網(wǎng)站看搜索引擎的ASP服務(wù)
根據(jù)中國互聯(lián)網(wǎng)信息中心的第六次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告， 搜索引擎是僅次于電子郵件的第二大互聯(lián)網(wǎng)應(yīng)用。我國55.91 %的網(wǎng)民都使用搜索引擎提供的互聯(lián)網(wǎng)搜索服務(wù)。一個(gè)優(yōu)秀的搜索引擎對(duì)于吸引用戶、增加網(wǎng)站的粘性是至關(guān)重要的。但是搜索引擎是一個(gè)技術(shù)含量非常高的互聯(lián)網(wǎng)應(yīng)用，開發(fā)和運(yùn)行需要花費(fèi)大量的人力和物力，代價(jià)極高。
中國人網(wǎng)站（www.chinaren.com）是一個(gè)面向全球華人新生代的門戶網(wǎng)站。在中國互聯(lián)網(wǎng)信息中心2000年7月份進(jìn)行的第六次中國互聯(lián)網(wǎng)影響力調(diào)查中，中國人網(wǎng)站成功進(jìn)入前10名。作為一個(gè)門戶網(wǎng)站，其最主要的目標(biāo)是建立品牌和吸引客戶。而要吸引用戶，最主要的手段就是為網(wǎng)民提供最好的服務(wù)。 中國人網(wǎng)站從一開始就很明白，門戶網(wǎng)站的優(yōu)勢(shì)并不在于做搜索引擎的開發(fā)，他們一直在尋找合作伙伴進(jìn)行搜索引擎方面的合作。
百度公司是一家專門從事搜索引擎及其相關(guān)軟件開發(fā)的互聯(lián)網(wǎng)公司，它以ASP的方式向門戶網(wǎng)站提供技術(shù)服務(wù)。當(dāng)百度公司在今年5月份推出百度搜索引擎之后，中國人網(wǎng)站決定和百度合作。在雙方共同努力下，僅用了短短的兩個(gè)星期，就推出了中國第一個(gè)提問式搜索引擎--"孫悟空搜索引擎"，為用戶提供了很好的互聯(lián)網(wǎng)搜索服務(wù)。
■高可靠的服務(wù)
互聯(lián)網(wǎng)搜索服務(wù)要求能提供每天24小時(shí)、每周7天的不間斷服務(wù)。中國人網(wǎng)站要求系統(tǒng)在99.9%的時(shí)間內(nèi)提供搜索服務(wù)。百度公司作為提供搜索引擎服務(wù)的ASP，采用了一些技術(shù)手段，確保了中國人網(wǎng)站搜索服務(wù)的高穩(wěn)定性和可靠性。
1、高可用性的體系結(jié)構(gòu)
系統(tǒng)每個(gè)部分均采用N+1的冗余設(shè)計(jì)。當(dāng)在某個(gè)工作模塊發(fā)生異常時(shí)，冗余模塊可立即啟動(dòng)使用。系統(tǒng)能夠自動(dòng)檢測(cè)模塊的異常，并自動(dòng)進(jìn)行切換。冗余模塊有兩種配置形式：
備用冗余（Standby Redundancy） 冗余模塊在工作模塊正常工作時(shí)不投入使用，只有在工作模塊異常時(shí)才被啟用，一旦原來的工作模塊恢復(fù)正常，系統(tǒng)便會(huì)自動(dòng)切回到工作模塊，而冗余模塊重新回到備用狀態(tài)。 活躍冗余（Active Redundancy） 冗余模塊和工作模塊同時(shí)工作，互為備份。在正常情況下，冗余模塊和工作模塊共同分擔(dān)系統(tǒng)負(fù)載，在一個(gè)模塊發(fā)生異常時(shí)，該模塊承擔(dān)的工作便被分配給其它模塊，當(dāng)異常模塊恢復(fù)正常后，會(huì)自動(dòng)投入工作。
高可用性體系結(jié)構(gòu)保證了系統(tǒng)的高可靠性服務(wù)。
2、系統(tǒng)異常報(bào)警系統(tǒng)
當(dāng)系統(tǒng)模塊發(fā)生異常時(shí)，除了冗余模塊立即投入使用外，還必須向工程師報(bào)警，從而通過人工干預(yù)，盡快修復(fù)異常系統(tǒng)。為此，百度公司開發(fā)了系統(tǒng)異常報(bào)警系統(tǒng)。
系統(tǒng)異常報(bào)警系統(tǒng)的工作原理是：系統(tǒng)監(jiān)視程序定期檢測(cè)被監(jiān)視對(duì)象的工作狀態(tài)，如果檢測(cè)到任何不正常狀態(tài)，立即向系統(tǒng)工程師和相關(guān)人員的手機(jī)發(fā)送短消息、或向?qū)ず魴C(jī)發(fā)送消息進(jìn)行報(bào)警。
系統(tǒng)異常報(bào)警系統(tǒng)運(yùn)行在與被監(jiān)視對(duì)象不同的機(jī)器上，以進(jìn)行遠(yuǎn)程監(jiān)測(cè)。系統(tǒng)可以在半分鐘之內(nèi)檢測(cè)到系統(tǒng)異常。
3、系統(tǒng)異常干預(yù)
系統(tǒng)工程師在接到系統(tǒng)異常報(bào)警后，要立即進(jìn)行干預(yù)，在最短的時(shí)間內(nèi)恢復(fù)系統(tǒng)的正常工作。百度把提供ASP服務(wù)的機(jī)器托管在中國電信。在正常的上班時(shí)間，百度通過公司的局域網(wǎng)上網(wǎng)；在下班時(shí)間和節(jié)假日，百度通過電話撥號(hào)上網(wǎng)。電話撥號(hào)上網(wǎng)可以通過ISP，但是在高峰時(shí)間ISP的電話非常繁忙，有可能不成功，為此，百度在服務(wù)器的托管地申請(qǐng)了專用電話，專門用于撥號(hào)上網(wǎng)。另外，如果公司的局域網(wǎng)不能連到互聯(lián)網(wǎng)，這部電話也可以作為上網(wǎng)備份。
■靈活的客戶化策略
客戶化是ASP面臨的一個(gè)課題。門戶網(wǎng)站都有高質(zhì)量的互聯(lián)網(wǎng)搜索服務(wù)的需求，但是不同的客戶又有自己不同的特色需求。對(duì)于中國人網(wǎng)站來說，因?yàn)槭敲嫦蚰贻p人的目標(biāo)網(wǎng)站，因此追求新、奇、酷。針對(duì)這種要求，百度設(shè)計(jì)了一整套靈活的客戶化策略。
百度提"內(nèi)容類聚"和"站點(diǎn)類聚"等豐富的特性供用戶選擇。用戶能夠控制搜索結(jié)果頁面的顯示風(fēng)格和顯示內(nèi)容。在顯示內(nèi)容上，除了從百度搜索引擎返回的搜索結(jié)果由百度控制外，其它所有內(nèi)容（包括廣告、到其它頁面的鏈接等）都由客戶控制。搜索結(jié)果的顯示方式和內(nèi)容也可以定制，如網(wǎng)頁的屬性（標(biāo)題、摘要、編碼類型、日期、長度、URL）、匹配關(guān)鍵字的顏色、不同頁之間的鏈接方式都可以根據(jù)客戶的喜好決定。
百度從技術(shù)上緊密配合實(shí)現(xiàn)客戶的定制要求。目前百度有三種模式與客戶交換搜索結(jié)果：
服務(wù)應(yīng)用協(xié)議模式（Protocol Model） 該模式采用客戶/服務(wù)員模式。客戶的程序與百度的搜索服務(wù)器進(jìn)行通信，通信協(xié)議采用百度定義的BSP（Baidu Search Protocol）。這種方式完全由客戶控制結(jié)果頁面的顯示方式，百度只返回檢索得到的URL及其屬性。這種模式最靈活、客戶控制度最高，缺點(diǎn)是實(shí)現(xiàn)較為復(fù)雜，客戶需要一定的編程能力。
服務(wù)應(yīng)用模板模式（Template Model） 用戶事先定義好結(jié)果頁面的顯示內(nèi)容和顯示方式，結(jié)果頁面完全由百度的搜索引擎構(gòu)造。用戶除了處理與用戶的Web接口之外，不做任何工作。這種模式的優(yōu)點(diǎn)是簡單、易于實(shí)現(xiàn)，缺點(diǎn)是客戶可控制度低，模板的變化頻率快，靈活性也很差。
服務(wù)應(yīng)用協(xié)議模板模式（Protocol Template Model） 這種模式是上述兩種模式的結(jié)合。客戶用顯示模板定義結(jié)果頁面部分內(nèi)容（往往是檢索結(jié)果）的顯示方式，其余的部分由客戶自行決定，整個(gè)結(jié)果頁面的構(gòu)造由客戶完成。檢索情況（如有無結(jié)果，有無"相關(guān)檢索"等特性，結(jié)果有多少，服務(wù)是否正常）的返回遵循百度和客戶事先定義好的協(xié)議。這種模式既易于實(shí)現(xiàn)，又為用戶提供了很好的靈活性。
中國人網(wǎng)站采用的是服務(wù)應(yīng)用協(xié)議模板模式。中國人網(wǎng)站希望提供一種能夠理解自然問句的中文搜索引擎，所以網(wǎng)站需要知道每個(gè)查詢的檢索情況，并做相應(yīng)處理。如果一個(gè)檢索有結(jié)果，網(wǎng)站便將百度搜索引擎返回的URL和自己的廣告整合在一起，顯示給用戶。如果該查詢沒有結(jié)果，網(wǎng)站便進(jìn)行切詞處理，用處理得到的詞構(gòu)造查詢串，再次向百度搜索引擎提交，獲得檢索結(jié)果。
■百度搜索引擎的技術(shù)特點(diǎn)
百度搜索引擎具有響應(yīng)速度快、查找結(jié)果準(zhǔn)確全面、時(shí)效性強(qiáng)、無效鏈接少、符合中文語言特點(diǎn)和中國人使用習(xí)慣等優(yōu)點(diǎn)。
1、使用智能化的中文語言處理技術(shù)
百度搜索引擎使用獨(dú)特的中文語言處理技術(shù)巧妙地解決了中文信息的理解問題，信息索引基于字和詞，較好地解決了單純基于字或單純基于詞的缺點(diǎn)，結(jié)合了兩者的優(yōu)點(diǎn)，更加符合中文用戶的搜索習(xí)慣。百度搜索引擎支持主流的中文編碼標(biāo)準(zhǔn)（包括GBK、GB2312、BIG5），并且能夠在不同的編碼之間轉(zhuǎn)換。
2、使用可擴(kuò)展的搜索技術(shù)
百度搜索使用具有智能性的網(wǎng)絡(luò)蜘蛛（Spider）自動(dòng)地在互聯(lián)網(wǎng)中搜索信息，可定制、高擴(kuò)展性的調(diào)度算法，使得搜索器可在極短的時(shí)間內(nèi)搜集到最大數(shù)量的互聯(lián)網(wǎng)信息，搜集范圍涵蓋了大部分華語地區(qū)和北美、歐洲的部分站點(diǎn)。
3、使用智能的相關(guān)度評(píng)價(jià)算法
百度搜索引擎采用了基于內(nèi)容和基于鏈接分析的方法進(jìn)行相關(guān)度評(píng)價(jià)，能夠客觀地分析網(wǎng)頁所包含的信息，從而最大限度保證檢索出的結(jié)果與用戶查詢串有很高的相關(guān)性。
4、使用高效的搜索算法
運(yùn)用多線程等先進(jìn)技術(shù)，高效的搜索算法和穩(wěn)定的Unix平臺(tái)，使每個(gè)檢索的平均響應(yīng)時(shí)間小于1秒。
中國人網(wǎng)站（www.chinaren.com）是一個(gè)面向全球華人新生代的門戶網(wǎng)站。在中國互聯(lián)網(wǎng)信息中心2000年7月份進(jìn)行的第六次中國互聯(lián)網(wǎng)影響力調(diào)查中，中國人網(wǎng)站成功進(jìn)入前10名。作為一個(gè)門戶網(wǎng)站，其最主要的目標(biāo)是建立品牌和吸引客戶。而要吸引用戶，最主要的手段就是為網(wǎng)民提供最好的服務(wù)。 中國人網(wǎng)站從一開始就很明白，門戶網(wǎng)站的優(yōu)勢(shì)并不在于做搜索引擎的開發(fā)，他們一直在尋找合作伙伴進(jìn)行搜索引擎方面的合作。
百度公司是一家專門從事搜索引擎及其相關(guān)軟件開發(fā)的互聯(lián)網(wǎng)公司，它以ASP的方式向門戶網(wǎng)站提供技術(shù)服務(wù)。當(dāng)百度公司在今年5月份推出百度搜索引擎之后，中國人網(wǎng)站決定和百度合作。在雙方共同努力下，僅用了短短的兩個(gè)星期，就推出了中國第一個(gè)提問式搜索引擎--"孫悟空搜索引擎"，為用戶提供了很好的互聯(lián)網(wǎng)搜索服務(wù)。
■高可靠的服務(wù)
互聯(lián)網(wǎng)搜索服務(wù)要求能提供每天24小時(shí)、每周7天的不間斷服務(wù)。中國人網(wǎng)站要求系統(tǒng)在99.9%的時(shí)間內(nèi)提供搜索服務(wù)。百度公司作為提供搜索引擎服務(wù)的ASP，采用了一些技術(shù)手段，確保了中國人網(wǎng)站搜索服務(wù)的高穩(wěn)定性和可靠性。
1、高可用性的體系結(jié)構(gòu)
系統(tǒng)每個(gè)部分均采用N+1的冗余設(shè)計(jì)。當(dāng)在某個(gè)工作模塊發(fā)生異常時(shí)，冗余模塊可立即啟動(dòng)使用。系統(tǒng)能夠自動(dòng)檢測(cè)模塊的異常，并自動(dòng)進(jìn)行切換。冗余模塊有兩種配置形式：
備用冗余（Standby Redundancy） 冗余模塊在工作模塊正常工作時(shí)不投入使用，只有在工作模塊異常時(shí)才被啟用，一旦原來的工作模塊恢復(fù)正常，系統(tǒng)便會(huì)自動(dòng)切回到工作模塊，而冗余模塊重新回到備用狀態(tài)。 活躍冗余（Active Redundancy） 冗余模塊和工作模塊同時(shí)工作，互為備份。在正常情況下，冗余模塊和工作模塊共同分擔(dān)系統(tǒng)負(fù)載，在一個(gè)模塊發(fā)生異常時(shí)，該模塊承擔(dān)的工作便被分配給其它模塊，當(dāng)異常模塊恢復(fù)正常后，會(huì)自動(dòng)投入工作。
高可用性體系結(jié)構(gòu)保證了系統(tǒng)的高可靠性服務(wù)。
2、系統(tǒng)異常報(bào)警系統(tǒng)
當(dāng)系統(tǒng)模塊發(fā)生異常時(shí)，除了冗余模塊立即投入使用外，還必須向工程師報(bào)警，從而通過人工干預(yù)，盡快修復(fù)異常系統(tǒng)。為此，百度公司開發(fā)了系統(tǒng)異常報(bào)警系統(tǒng)。
系統(tǒng)異常報(bào)警系統(tǒng)的工作原理是：系統(tǒng)監(jiān)視程序定期檢測(cè)被監(jiān)視對(duì)象的工作狀態(tài)，如果檢測(cè)到任何不正常狀態(tài)，立即向系統(tǒng)工程師和相關(guān)人員的手機(jī)發(fā)送短消息、或向?qū)ず魴C(jī)發(fā)送消息進(jìn)行報(bào)警。
系統(tǒng)異常報(bào)警系統(tǒng)運(yùn)行在與被監(jiān)視對(duì)象不同的機(jī)器上，以進(jìn)行遠(yuǎn)程監(jiān)測(cè)。系統(tǒng)可以在半分鐘之內(nèi)檢測(cè)到系統(tǒng)異常。
3、系統(tǒng)異常干預(yù)
系統(tǒng)工程師在接到系統(tǒng)異常報(bào)警后，要立即進(jìn)行干預(yù)，在最短的時(shí)間內(nèi)恢復(fù)系統(tǒng)的正常工作。百度把提供ASP服務(wù)的機(jī)器托管在中國電信。在正常的上班時(shí)間，百度通過公司的局域網(wǎng)上網(wǎng)；在下班時(shí)間和節(jié)假日，百度通過電話撥號(hào)上網(wǎng)。電話撥號(hào)上網(wǎng)可以通過ISP，但是在高峰時(shí)間ISP的電話非常繁忙，有可能不成功，為此，百度在服務(wù)器的托管地申請(qǐng)了專用電話，專門用于撥號(hào)上網(wǎng)。另外，如果公司的局域網(wǎng)不能連到互聯(lián)網(wǎng)，這部電話也可以作為上網(wǎng)備份。
■靈活的客戶化策略
客戶化是ASP面臨的一個(gè)課題。門戶網(wǎng)站都有高質(zhì)量的互聯(lián)網(wǎng)搜索服務(wù)的需求，但是不同的客戶又有自己不同的特色需求。對(duì)于中國人網(wǎng)站來說，因?yàn)槭敲嫦蚰贻p人的目標(biāo)網(wǎng)站，因此追求新、奇、酷。針對(duì)這種要求，百度設(shè)計(jì)了一整套靈活的客戶化策略。
百度提"內(nèi)容類聚"和"站點(diǎn)類聚"等豐富的特性供用戶選擇。用戶能夠控制搜索結(jié)果頁面的顯示風(fēng)格和顯示內(nèi)容。在顯示內(nèi)容上，除了從百度搜索引擎返回的搜索結(jié)果由百度控制外，其它所有內(nèi)容（包括廣告、到其它頁面的鏈接等）都由客戶控制。搜索結(jié)果的顯示方式和內(nèi)容也可以定制，如網(wǎng)頁的屬性（標(biāo)題、摘要、編碼類型、日期、長度、URL）、匹配關(guān)鍵字的顏色、不同頁之間的鏈接方式都可以根據(jù)客戶的喜好決定。
百度從技術(shù)上緊密配合實(shí)現(xiàn)客戶的定制要求。目前百度有三種模式與客戶交換搜索結(jié)果：
服務(wù)應(yīng)用協(xié)議模式（Protocol Model） 該模式采用客戶/服務(wù)員模式。客戶的程序與百度的搜索服務(wù)器進(jìn)行通信，通信協(xié)議采用百度定義的BSP（Baidu Search Protocol）。這種方式完全由客戶控制結(jié)果頁面的顯示方式，百度只返回檢索得到的URL及其屬性。這種模式最靈活、客戶控制度最高，缺點(diǎn)是實(shí)現(xiàn)較為復(fù)雜，客戶需要一定的編程能力。
服務(wù)應(yīng)用模板模式（Template Model） 用戶事先定義好結(jié)果頁面的顯示內(nèi)容和顯示方式，結(jié)果頁面完全由百度的搜索引擎構(gòu)造。用戶除了處理與用戶的Web接口之外，不做任何工作。這種模式的優(yōu)點(diǎn)是簡單、易于實(shí)現(xiàn)，缺點(diǎn)是客戶可控制度低，模板的變化頻率快，靈活性也很差。
服務(wù)應(yīng)用協(xié)議模板模式（Protocol Template Model） 這種模式是上述兩種模式的結(jié)合。客戶用顯示模板定義結(jié)果頁面部分內(nèi)容（往往是檢索結(jié)果）的顯示方式，其余的部分由客戶自行決定，整個(gè)結(jié)果頁面的構(gòu)造由客戶完成。檢索情況（如有無結(jié)果，有無"相關(guān)檢索"等特性，結(jié)果有多少，服務(wù)是否正常）的返回遵循百度和客戶事先定義好的協(xié)議。這種模式既易于實(shí)現(xiàn)，又為用戶提供了很好的靈活性。
中國人網(wǎng)站采用的是服務(wù)應(yīng)用協(xié)議模板模式。中國人網(wǎng)站希望提供一種能夠理解自然問句的中文搜索引擎，所以網(wǎng)站需要知道每個(gè)查詢的檢索情況，并做相應(yīng)處理。如果一個(gè)檢索有結(jié)果，網(wǎng)站便將百度搜索引擎返回的URL和自己的廣告整合在一起，顯示給用戶。如果該查詢沒有結(jié)果，網(wǎng)站便進(jìn)行切詞處理，用處理得到的詞構(gòu)造查詢串，再次向百度搜索引擎提交，獲得檢索結(jié)果。
■百度搜索引擎的技術(shù)特點(diǎn)
百度搜索引擎具有響應(yīng)速度快、查找結(jié)果準(zhǔn)確全面、時(shí)效性強(qiáng)、無效鏈接少、符合中文語言特點(diǎn)和中國人使用習(xí)慣等優(yōu)點(diǎn)。
1、使用智能化的中文語言處理技術(shù)
百度搜索引擎使用獨(dú)特的中文語言處理技術(shù)巧妙地解決了中文信息的理解問題，信息索引基于字和詞，較好地解決了單純基于字或單純基于詞的缺點(diǎn)，結(jié)合了兩者的優(yōu)點(diǎn)，更加符合中文用戶的搜索習(xí)慣。百度搜索引擎支持主流的中文編碼標(biāo)準(zhǔn)（包括GBK、GB2312、BIG5），并且能夠在不同的編碼之間轉(zhuǎn)換。
2、使用可擴(kuò)展的搜索技術(shù)
百度搜索使用具有智能性的網(wǎng)絡(luò)蜘蛛（Spider）自動(dòng)地在互聯(lián)網(wǎng)中搜索信息，可定制、高擴(kuò)展性的調(diào)度算法，使得搜索器可在極短的時(shí)間內(nèi)搜集到最大數(shù)量的互聯(lián)網(wǎng)信息，搜集范圍涵蓋了大部分華語地區(qū)和北美、歐洲的部分站點(diǎn)。
3、使用智能的相關(guān)度評(píng)價(jià)算法
百度搜索引擎采用了基于內(nèi)容和基于鏈接分析的方法進(jìn)行相關(guān)度評(píng)價(jià)，能夠客觀地分析網(wǎng)頁所包含的信息，從而最大限度保證檢索出的結(jié)果與用戶查詢串有很高的相關(guān)性。
4、使用高效的搜索算法
運(yùn)用多線程等先進(jìn)技術(shù)，高效的搜索算法和穩(wěn)定的Unix平臺(tái)，使每個(gè)檢索的平均響應(yīng)時(shí)間小于1秒。
粵公網(wǎng)安備 44010402000282號(hào)