基于Web的房地產(chǎn)數(shù)據(jù)挖掘及資源決策支持系統(tǒng).pdf

1、隨著網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，各行各業(yè)都建立了網(wǎng)站，用以發(fā)布數(shù)據(jù)，其中Deep Web擁有大量的半結(jié)構(gòu)化數(shù)據(jù)，使網(wǎng)絡(luò)構(gòu)成了一個(gè)巨大的、異構(gòu)的、復(fù)雜的、免費(fèi)的公共數(shù)據(jù)資源，研究如何應(yīng)用Web數(shù)據(jù)挖掘技術(shù)，將用戶感興趣的數(shù)據(jù)從網(wǎng)站抽取出來，在本地進(jìn)行分析、集成，形成結(jié)構(gòu)化的、完整的、通用的、有應(yīng)用價(jià)值的領(lǐng)域化數(shù)據(jù)庫，并對(duì)數(shù)據(jù)實(shí)現(xiàn)以決策支持系統(tǒng)為目的的增值應(yīng)用，是Web數(shù)據(jù)挖掘領(lǐng)域中非常值得研究的熱點(diǎn)問題。
　　本文以抽取房地產(chǎn)網(wǎng)上數(shù)據(jù)為目的

2、，分析了網(wǎng)上房地產(chǎn)數(shù)據(jù)的海量性，分布性，動(dòng)態(tài)性，異構(gòu)性等特點(diǎn)，設(shè)計(jì)了具有針對(duì)性的Web數(shù)據(jù)挖掘方法與集成方法，建立了面向房地產(chǎn)行業(yè)的Web數(shù)據(jù)挖掘系統(tǒng)模型與數(shù)據(jù)集成模式，并基于網(wǎng)上數(shù)據(jù)設(shè)計(jì)了決策支持系統(tǒng)的功能，在研究過程中，主要完成了以下工作：
　　(1)分析房地產(chǎn)網(wǎng)頁生成技術(shù)，設(shè)計(jì)針對(duì)不同技術(shù)的Web數(shù)據(jù)抽取方法，制定了面向顯式數(shù)據(jù)網(wǎng)頁的網(wǎng)頁源代碼分析法，和面向隱式數(shù)據(jù)網(wǎng)頁的DOM樹分析方法，并根據(jù)實(shí)際情況應(yīng)用兩種方法，提高數(shù)據(jù)

3、抽取速度。
　　(2)分析列表頁數(shù)據(jù)與詳情頁數(shù)據(jù)特點(diǎn)，設(shè)計(jì)不同的數(shù)據(jù)抽取算法，制定通用Web數(shù)據(jù)抽取規(guī)則與數(shù)據(jù)清洗規(guī)則，并基于規(guī)則形成對(duì)特定網(wǎng)頁模式的抽取方案，設(shè)計(jì)穩(wěn)定的包裝器，實(shí)現(xiàn)Web數(shù)據(jù)的連續(xù)抽取。
　　(3)建立Web數(shù)據(jù)抽取任務(wù)庫，以任務(wù)庫為中心，設(shè)計(jì)任務(wù)分發(fā)與數(shù)據(jù)回收策略，研究基于“服務(wù)器/客戶端”結(jié)構(gòu)模式的分布式Web數(shù)據(jù)抽取系統(tǒng)，以并行計(jì)算的方式來提高系統(tǒng)性能，縮短數(shù)據(jù)抽取時(shí)間，保證數(shù)據(jù)的時(shí)效性。
　　

4、(4)建立術(shù)語字典，形成“網(wǎng)站術(shù)語-術(shù)語字典-模式屬性”的映射關(guān)系，并考慮可擴(kuò)展性問題；利用術(shù)語字典對(duì)網(wǎng)絡(luò)行業(yè)詞匯進(jìn)行聚類分析，解決網(wǎng)上異構(gòu)數(shù)據(jù)源語義沖突問題，完成對(duì)異構(gòu)數(shù)據(jù)源的集成。依據(jù)術(shù)語字典設(shè)計(jì)通用數(shù)據(jù)模式，并建立模式之間的關(guān)系，完成房地產(chǎn)基礎(chǔ)數(shù)據(jù)庫的建立。
　　(5)分析網(wǎng)上房地產(chǎn)數(shù)據(jù)的變化特點(diǎn)，研究本地?cái)?shù)據(jù)與網(wǎng)上數(shù)據(jù)的同步更新策略，針對(duì)網(wǎng)上數(shù)據(jù)的增量、內(nèi)容變動(dòng)和刪除情況，設(shè)計(jì)數(shù)據(jù)同步規(guī)則，實(shí)現(xiàn)本地?cái)?shù)據(jù)庫周期性更新。