動(dòng)車組大數(shù)據(jù)清洗關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著我國(guó)高速鐵路動(dòng)車組的大規(guī)模投入使用，動(dòng)車組各種監(jiān)測(cè)數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)。同時(shí)，動(dòng)車組閘片、車輪、轉(zhuǎn)向架等主要部件產(chǎn)生的工作狀態(tài)數(shù)據(jù)是動(dòng)車組故障診斷、壽命預(yù)測(cè)、知識(shí)推理等工作的基礎(chǔ)，對(duì)整個(gè)鐵路的信息化發(fā)展起著舉足輕重的作用。但是，數(shù)據(jù)質(zhì)量問(wèn)題并沒(méi)有得到應(yīng)有的重視，觀察監(jiān)測(cè)到的動(dòng)車組數(shù)據(jù)發(fā)現(xiàn)，其中存在著數(shù)據(jù)不完整、信息冗余、含有非法數(shù)據(jù)等質(zhì)量問(wèn)題，使得基于動(dòng)車組數(shù)據(jù)分析的工作產(chǎn)生錯(cuò)誤的分析結(jié)果，影響了信息服務(wù)的質(zhì)量，因此，對(duì)動(dòng)車組

2、數(shù)據(jù)進(jìn)行清洗具有一定的理論和現(xiàn)實(shí)意義。
　　本文主要研究動(dòng)車組數(shù)據(jù)中含有非法數(shù)據(jù)，即離群點(diǎn)的情況。由于傳統(tǒng)的清洗算法在處理大數(shù)據(jù)時(shí)性能較差，因此本文引入了Hadoop分布式計(jì)算框架，該框架的Map/Reduce編程模型能夠與本文的算法完美結(jié)合。針對(duì)動(dòng)車組數(shù)據(jù)量大、維數(shù)較多和數(shù)據(jù)類型多樣等特點(diǎn)，提出了基于網(wǎng)格的LOF離群點(diǎn)檢測(cè)算法。由于數(shù)據(jù)集中的大部分?jǐn)?shù)據(jù)不是離群點(diǎn)，因此對(duì)整個(gè)數(shù)據(jù)集進(jìn)行離群點(diǎn)檢測(cè)是沒(méi)有必要的，而基于網(wǎng)格的LOF離群

3、點(diǎn)檢測(cè)算法能夠先刪除一部分不包含離群點(diǎn)的數(shù)據(jù)，即進(jìn)行網(wǎng)格剪枝，再對(duì)剩余的數(shù)據(jù)集進(jìn)行離群點(diǎn)檢測(cè)，大大減小了算法的時(shí)間復(fù)雜度。本文針對(duì)基于網(wǎng)格的LOF離群點(diǎn)檢測(cè)算法提出了如下改進(jìn):首先，針對(duì)網(wǎng)格剪枝中網(wǎng)格密度定義的不嚴(yán)謹(jǐn)性，提出了聚類半徑的概念，通過(guò)這個(gè)改進(jìn)能夠避免漏檢離群點(diǎn)，大大提高檢測(cè)精度;其次，針對(duì)LOF算法不能與MapReduce編程模型很好結(jié)合的情況，提出了網(wǎng)格編號(hào)的概念，通過(guò)網(wǎng)格編號(hào)，把整個(gè)數(shù)據(jù)集劃分為若干個(gè)被標(biāo)記的小數(shù)據(jù)集，使