基于國產(chǎn)數(shù)據(jù)庫的全文檢索技術(shù)研究與實現(xiàn).pdf

1、數(shù)據(jù)庫管理系統(tǒng)(DBMS)軟件是信息系統(tǒng)的核心，是國家戰(zhàn)略必爭的高新技術(shù)。實現(xiàn)信息化帶動工業(yè)化需要自主產(chǎn)權(quán)DBMS，提高我國企業(yè)創(chuàng)新能力和市場競爭力需要自主產(chǎn)權(quán)DBMS，國家信息安全離不開自己的DBMS，我國民族IT產(chǎn)業(yè)的發(fā)展更需要DBMS的支撐，業(yè)界對這些觀點已經(jīng)逐步達(dá)成了共識。 多年來，信息檢索界一直在關(guān)注文檔的存儲和按關(guān)鍵字高效檢索的問題。隨著WWW的出現(xiàn)以及在線保存所有的文檔成為可能，基于關(guān)鍵字的文檔檢索已成為數(shù)據(jù)庫管理

2、系統(tǒng)的重要組成部分。本文在國產(chǎn)數(shù)據(jù)庫GBase項目的基礎(chǔ)上，研究了中文全文檢索的相關(guān)技術(shù)，并完成了一個實驗系統(tǒng)。 中文分詞是基于中文的全文檢索研究中一項重要的研究內(nèi)容，用于從連續(xù)的字符流中切分出有意思的詞。對于基于詞的搜索引擎的全文系統(tǒng)，分詞速度要求較高。本文在對中文編碼體系和中文分詞算法進(jìn)行研究的基礎(chǔ)上，設(shè)計了一種高效的中文電子詞表的數(shù)據(jù)結(jié)構(gòu)，它全程支持詞的Hash查找。同時提出了一種改進(jìn)的Hash高速分詞算法，理論分析和實驗

3、表明，優(yōu)于目前的同類算法。在引入錯誤率的基礎(chǔ)上，進(jìn)一步提出了一種字符匹配次數(shù)為零的分詞算法，它的分詞速度更快，占用的內(nèi)存更少。 全文檢索的索引是全文檢索的核心內(nèi)容，它關(guān)系到索引的創(chuàng)建代價和檢索的速度與精度。目前最流行的索引類型是倒排文檔。本文介紹了倒排文檔的基本結(jié)構(gòu)，索引創(chuàng)建流程，相關(guān)度的計算。并對于倒排文檔的壓縮進(jìn)行研究和實現(xiàn)，取得了良好的效果。 最后，本文實現(xiàn)了一個國產(chǎn)數(shù)據(jù)庫的全文檢索試驗系統(tǒng)，該系統(tǒng)有三個核心模塊：