基于MapReduce的全文索引模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet與數(shù)字化趨勢(shì)的高速發(fā)展，用戶或者數(shù)字化系統(tǒng)產(chǎn)生的計(jì)算機(jī)數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)。同時(shí)，隨著Web技術(shù)的高速發(fā)展，計(jì)算機(jī)也正在從傳統(tǒng)的單機(jī)服務(wù)方式轉(zhuǎn)向Web方式的集中式服務(wù)。另一個(gè)顯著發(fā)展的趨勢(shì)是，在我們的生活中，非結(jié)構(gòu)化數(shù)據(jù)正變得越來(lái)越多而且越來(lái)越重要。在這些發(fā)展趨勢(shì)下，對(duì)于海量非結(jié)構(gòu)化數(shù)據(jù)的集中式高效處理與管理就成為了一個(gè)非常迫切的需求。
　　 MapReduce是Google提出來(lái)的一個(gè)編程模型，是一個(gè)分布式

2、計(jì)算框架，被用來(lái)處理和生成大數(shù)據(jù)集。MapReduce程序在計(jì)算機(jī)集群環(huán)境下并行地執(zhí)行任務(wù)，有著極高的可擴(kuò)展性。并且為開(kāi)發(fā)人員隱藏了分布式系統(tǒng)底層的細(xì)節(jié)，使得分布式計(jì)算程序的開(kāi)發(fā)變得簡(jiǎn)單高效。
　　 本文結(jié)合當(dāng)下流行的MapReduce分布式計(jì)算框架實(shí)現(xiàn)了對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行解析，信息抽取，及建立全文索引的這一功能模塊。使得全文索引模塊能夠充分利用計(jì)算機(jī)集群的處理能力來(lái)高效的處理海量非結(jié)構(gòu)化數(shù)據(jù)。除此之外，本文還完成了對(duì)Map