基于MapReduce的分布式搜索引擎研究.pdf

1、隨著資源爆炸式增長，搜索引擎已成為互聯(lián)網(wǎng)用戶獲取信息的重要工具，傳統(tǒng)搜索引擎多采用集中式架構(gòu)，將搜索系統(tǒng)部署在一臺服務器上，因此對服務器性能要求較高，且存在系統(tǒng)穩(wěn)定性與可擴展性不高等問題;另外它采用詞匹配模式，致使用戶無法從海量數(shù)據(jù)中快速準確獲取信息，在信息覆蓋率、結(jié)果相關性和準確性方面都無法滿足用戶的更高需求。近年來，分布式計算理論被廣泛的研究，基于分布式計算的搜索引擎應運而生，它克服了集中式搜索引擎的不足，通過擴展系統(tǒng)的服務器來實現(xiàn)

2、大數(shù)據(jù)量的處理，同時引入用戶個性化搜索模型，結(jié)合了語義分析等研究熱點，已成為數(shù)據(jù)挖掘和智能信息處理領域的研究熱點。
　　 通過對搜索引擎的工作原理、結(jié)構(gòu)和分布式計算等相關技術(shù)的研究，本文對基于MapReduce分布式搜索引擎中的模型框架、數(shù)據(jù)處理流程、排序算法優(yōu)化和主題爬蟲進行了研究。主要研究工作包括以下幾個方面:
　　 (1)通過研究分布式文件系統(tǒng)(HDFS)，分析了MapReduce編程模型的工作原理，針對原架構(gòu)中單

3、一NameNode控制結(jié)構(gòu)存在負載不均衡及性能瓶頸等問題，提出了基于多NameNode節(jié)點控制的結(jié)構(gòu);在MapReduee模型處理數(shù)據(jù)過程中，因中間結(jié)果中Key值過于分散或集中，造成了數(shù)據(jù)不均衡問題，導致Reduce端作業(yè)的執(zhí)行時間過長或失敗，本文通過在Map階段處理后，引入數(shù)據(jù)平衡機制，從而提高了系統(tǒng)的性能并降低了系統(tǒng)的故障率。
　　 (2)PageRank算法采用的是平均分配權(quán)值的思路，且沒考慮頁面間相關性;本文通過引入相關

4、度和時效性機制，使算法能同時兼顧鏈接間的主題相關性和頁面的時效性;PageRank算法在計算網(wǎng)頁權(quán)值時會產(chǎn)生大量的中間迭代數(shù)據(jù)，從而導致算法性能降低，本文采用了基于塊結(jié)構(gòu)算法劃分網(wǎng)絡的方法，有效地減少了中間迭代計算所產(chǎn)生的數(shù)據(jù)量，提高了算法的性能。
　　 (3)通過采用基于詞頻差異的特征選取方法和改進后的TF-IDF公式，改進了Context Graph爬蟲搜索策略，綜合考慮了網(wǎng)頁不同部分的文本信息對特征選取，及各特征詞類間權(quán)重