什么是數(shù)據(jù)挖掘

1、什么是數(shù)據(jù)挖掘什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘(DataMining)，又稱為數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)(KnowledgeDiscoveryinDatabaseKDD)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，簡(jiǎn)單的說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。并非所有的信息發(fā)現(xiàn)任務(wù)都被視為數(shù)據(jù)挖掘。例如，使用數(shù)據(jù)庫管理系統(tǒng)查找個(gè)別的記錄，或通過因特網(wǎng)的搜索引擎查找特定的Web頁面，則是信息檢索（infmatio

2、nretrieval）領(lǐng)域的任務(wù)。雖然這些任務(wù)是重要的，可能涉及使用復(fù)雜的算法和數(shù)據(jù)結(jié)構(gòu)，但是它們主要依賴傳統(tǒng)的計(jì)算機(jī)科學(xué)技術(shù)和數(shù)據(jù)的明顯特征來創(chuàng)建索引結(jié)構(gòu)，從而有效地組織和檢索信息。盡管如此，數(shù)據(jù)挖掘技術(shù)也已用來增強(qiáng)信息檢索系統(tǒng)的能力。數(shù)據(jù)挖掘的起源數(shù)據(jù)挖掘的起源為迎接前一節(jié)中的這些挑戰(zhàn)，來自不同學(xué)科的研究者匯集到一起，開始著手開發(fā)可以處理不同數(shù)據(jù)類型的更有效的、可伸縮的工具。這些工作建立在研究者先前使用的方法學(xué)和算法之上，在數(shù)據(jù)挖掘

3、領(lǐng)域達(dá)到高潮。特別地，數(shù)據(jù)挖掘利用了來自如下一些領(lǐng)域的思想：(1)來自統(tǒng)計(jì)學(xué)的抽樣、估計(jì)和假設(shè)檢驗(yàn)，(2)人工智能、模式識(shí)別和機(jī)器學(xué)習(xí)的搜索算法、建模技術(shù)和學(xué)習(xí)理論。數(shù)據(jù)挖掘也迅速地接納了來自其他領(lǐng)域的思想，這些領(lǐng)域包括最優(yōu)化、進(jìn)化計(jì)算、信息論、信號(hào)處理、可視化和信息檢索。一些其他領(lǐng)域也起到重要的支撐作用。特別地，需要數(shù)據(jù)庫系統(tǒng)提供有效的存儲(chǔ)、索引和查詢處理支持。源于高性能（并行）計(jì)算的技術(shù)在處理海量數(shù)據(jù)集方面常常是重要的。分布式技術(shù)也

4、能幫助處理海量數(shù)據(jù)，并且當(dāng)數(shù)據(jù)不能集中到一起處理時(shí)更是至關(guān)重要。數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘能做什么1)數(shù)據(jù)挖掘能做以下六種不同事情（分析方法）：分類（Classification）估值（Estimation）預(yù)言（Prediction）相關(guān)性分組或關(guān)聯(lián)規(guī)則（Affinitygroupingassociationrules）聚集（Clustering）描述和可視化（DescriptionVisualization）復(fù)雜數(shù)據(jù)類型挖掘(Text

5、Web圖形圖像，視頻，音頻等)2)數(shù)據(jù)挖掘分類以上六種數(shù)據(jù)挖掘的分析方法可以分為兩類：直接數(shù)據(jù)挖掘；間接數(shù)據(jù)挖掘a.超市中客戶在購(gòu)買A的同時(shí)，經(jīng)常會(huì)購(gòu)買B，即A=B(關(guān)聯(lián)規(guī)則)b.客戶在購(gòu)買A后，隔一段時(shí)間，會(huì)購(gòu)買B（序列分析）聚集（Clustering）聚集是對(duì)記錄分組，把相似的記錄在一個(gè)聚集里。聚集和分類的區(qū)別是聚集不依賴于預(yù)先定義好的類，不需要訓(xùn)練集。例子：a.一些特定癥狀的聚集可能預(yù)示了一個(gè)特定的疾病b.租VCD類型不相似的客戶

6、聚集，可能暗示成員屬于不同的亞文化群聚集通常作為數(shù)據(jù)挖掘的第一步。例如，“哪一種類的促銷對(duì)客戶響應(yīng)最好？“，對(duì)于這一類問題，首先對(duì)整個(gè)客戶做聚集，將客戶分組在各自的聚集里，然后對(duì)每個(gè)不同的聚集，回答問題，可能效果更好。描述和可視化（DescriptionVisualization）是對(duì)數(shù)據(jù)挖掘結(jié)果的表示方式。數(shù)據(jù)挖掘的一般流程數(shù)據(jù)挖掘的一般流程定義問題：清晰地定義出業(yè)務(wù)問題，確定數(shù)據(jù)挖掘的目的。數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)準(zhǔn)備包括：選擇數(shù)據(jù)在大型數(shù)據(jù)

7、庫和數(shù)據(jù)倉(cāng)庫目標(biāo)中提取數(shù)據(jù)挖掘的目標(biāo)數(shù)據(jù)集；數(shù)據(jù)預(yù)處理進(jìn)行數(shù)據(jù)再加工，包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性、去噪聲，填補(bǔ)丟失的域，刪除無效數(shù)據(jù)等。數(shù)據(jù)挖掘：根據(jù)數(shù)據(jù)功能的類型和和數(shù)據(jù)的特點(diǎn)選擇相應(yīng)的算法，在凈化和轉(zhuǎn)換過的數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘。結(jié)果分析：對(duì)數(shù)據(jù)挖掘的結(jié)果進(jìn)行解釋和評(píng)價(jià)，轉(zhuǎn)換成為能夠最終被用戶理解的知識(shí)。知識(shí)的運(yùn)用：將分析所得到的知識(shí)集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。數(shù)據(jù)挖掘的商業(yè)背景數(shù)據(jù)挖掘的商業(yè)背景數(shù)據(jù)挖掘首先是需要商業(yè)環(huán)

8、境中收集了大量的數(shù)據(jù)，然后要求挖掘的知識(shí)是有價(jià)值的。有價(jià)值對(duì)商業(yè)而言，不外乎三種情況：降低開銷；提高收入；增加股票價(jià)格。數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)在技術(shù)上可以根據(jù)它的工作過程分為：數(shù)據(jù)的抽取、數(shù)據(jù)的存儲(chǔ)和管理、數(shù)據(jù)的展現(xiàn)等關(guān)鍵技術(shù)。數(shù)據(jù)的抽取數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉(cāng)庫的入口。由于數(shù)據(jù)倉(cāng)庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，它需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入數(shù)據(jù)倉(cāng)庫。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、