基于顏色差異的果實(shí)自動(dòng)識(shí)別方法與雙目定位技術(shù)研究.pdf

1、進(jìn)入21世紀(jì)，新的農(nóng)業(yè)生產(chǎn)模式和新技術(shù)的應(yīng)用促進(jìn)了農(nóng)業(yè)機(jī)械的更新和發(fā)展，智能農(nóng)業(yè)機(jī)械的技術(shù)條件逐漸成熟，自走式農(nóng)業(yè)機(jī)械的田間自動(dòng)導(dǎo)航、機(jī)器視覺(jué)檢測(cè)與農(nóng)業(yè)機(jī)器人的研究得到重視，國(guó)家自然科學(xué)基金和863計(jì)劃都給予很高的支持力度。就果實(shí)收獲自動(dòng)化而言，機(jī)器人必須能夠感知外部環(huán)境，判斷果實(shí)的成熟度，根據(jù)機(jī)器人和目標(biāo)物之間的距離進(jìn)行行走路徑規(guī)劃，避開(kāi)障礙物對(duì)成熟水果實(shí)施采摘。因此，機(jī)器人的智能化程度是必須解決的首要問(wèn)題。從目前的技術(shù)水平來(lái)看，農(nóng)業(yè)

2、機(jī)器人智能系統(tǒng)的發(fā)展還不夠完善，其智能程度遠(yuǎn)沒(méi)有達(dá)到農(nóng)業(yè)生產(chǎn)的需要。研究適合生產(chǎn)實(shí)際的果實(shí)收獲機(jī)器人關(guān)鍵技術(shù)，不僅具有理論意義，而且具有潛在的應(yīng)用前景。
　　 果實(shí)的自動(dòng)識(shí)別與3D定位以及成熟度檢測(cè)是研究果實(shí)采摘機(jī)器人三大關(guān)鍵技術(shù)。本論文在充分了解果實(shí)采摘自動(dòng)化的國(guó)內(nèi)外研究成果基礎(chǔ)上，針對(duì)果實(shí)采摘機(jī)器人研究中存在的問(wèn)題，以番茄采摘為主要研究對(duì)象，著眼于解決自然環(huán)境下成熟期果實(shí)與背景有色彩差異的果實(shí)目標(biāo)自動(dòng)識(shí)別與雙目定位問(wèn)題，研究

3、快速而穩(wěn)定的算法。具體研究的主要工作包括：
　　 1.經(jīng)過(guò)參考同類(lèi)研究和調(diào)研，構(gòu)建了開(kāi)展研究所需的主動(dòng)雙目視覺(jué)系統(tǒng)和標(biāo)定實(shí)驗(yàn)臺(tái)，并采集了不同天氣環(huán)境下大量的番茄圖像作為圖像分析的主要數(shù)據(jù)。
　　 2.針對(duì)在自然環(huán)境下采集果實(shí)圖像時(shí)受到光照劇烈變化的影響和傳統(tǒng)方法不能直接用于彩色圖像進(jìn)行亮度校正的問(wèn)題，提出基于L*a*b*顏色模型下亮度自適應(yīng)校正算法來(lái)改善RGB彩色果實(shí)圖像，在解決圖像改善效果過(guò)亮或過(guò)暗問(wèn)題的同時(shí)，不但保留

4、了圖像處理的自適應(yīng)特點(diǎn)，而且不丟失原圖像的顏色信息，達(dá)到了改善光照對(duì)圖像質(zhì)量影響的目的。為提高圖像處理的實(shí)時(shí)性，可通過(guò)亮度分量平均值的大小來(lái)決定是否需要圖像的亮度自適應(yīng)校正。通過(guò)對(duì)大量圖像進(jìn)行亮度分析，結(jié)果發(fā)現(xiàn)：弱光照下整幅圖像的亮度分量平均值較低，小于40；而強(qiáng)光照下整幅圖像的亮度分量平均值較高，大于100。正常光照情況下是不需要進(jìn)行亮度調(diào)整的。
　　 3.圖像分割是采摘機(jī)器人視覺(jué)中極為重要而且困難的內(nèi)容之一，分割的好壞直接影

5、響著后續(xù)的處理。目前這項(xiàng)研究仍在果實(shí)無(wú)葉子或樹(shù)枝遮蓋的相互分離的理想情況下進(jìn)行，基本上都是針對(duì)特定果實(shí)進(jìn)行研究的，通用性不強(qiáng)，分割效果也因方法而異，不能動(dòng)態(tài)適應(yīng)因果實(shí)品種變化和光照變化。作者針對(duì)自然光照下成熟期果實(shí)與背景有色彩差異的果實(shí)圖像進(jìn)行分割的問(wèn)題，通過(guò)采集的大量圖像數(shù)據(jù)，在顏色特征分析和提取的基礎(chǔ)上，從多個(gè)角度嘗試了不同的方法進(jìn)行果實(shí)圖像分割。通過(guò)比較分析，確定了不同生長(zhǎng)狀態(tài)下果實(shí)圖像的自動(dòng)分割方法：利用RGB顏色空間下番茄圖像

6、中目標(biāo)與背景的(R-G)灰度值存在明顯差異的特點(diǎn)，首先使用Otsu法對(duì)番茄的RGB彩色圖像的色差灰度圖像(R-G)進(jìn)行動(dòng)態(tài)閾值分割，然后對(duì)番茄的R分量灰度圖像應(yīng)用基于形態(tài)重建的受控標(biāo)記分水嶺算法搜索靠攏或重疊番茄的分界線(xiàn)，最后對(duì)前面兩次運(yùn)算的結(jié)果作交集運(yùn)算得到最終分割的二值圖像，將番茄從背景中分割出來(lái)。試驗(yàn)表明，該方法不僅能對(duì)自然光照條件下不同生長(zhǎng)狀態(tài)的多目標(biāo)番茄圖像進(jìn)行有效分割，而且對(duì)番茄的成熟度及品種差異也具有很好的魯棒性。這個(gè)內(nèi)容

7、是本研究主要?jiǎng)?chuàng)新點(diǎn)之一。
　　 4.以番茄采摘為例，在二值圖像形態(tài)學(xué)處理的基礎(chǔ)上，對(duì)番茄的形狀特征和紋理特征進(jìn)行了提取和選擇，并根據(jù)所選擇的特征量確定了番茄識(shí)別與生長(zhǎng)狀態(tài)判別流程。通過(guò)對(duì)754幅圖像的處理，對(duì)于選擇性收獲而言，采摘成熟和完熟番茄的正確識(shí)別率幾乎為100％，除了番茄淹沒(méi)在成片枯葉中而分水嶺算法不能分離的情況和單果被枝葉分為多果的誤判。采摘半熟程度以上番茄的正確識(shí)別率約為80％。
　　 5.針對(duì)番茄的選擇性收

8、獲，對(duì)人工選擇的樣本集進(jìn)行特征數(shù)據(jù)的分析，提出將番茄的紅色調(diào)所占著色面積比與黃綠色調(diào)所占著色面積比的差值作為主要分組特征，并結(jié)合著色區(qū)域整體色調(diào)均值和方差，用神經(jīng)網(wǎng)絡(luò)建立番茄成熟度的檢測(cè)模型。從網(wǎng)絡(luò)的抗干擾能力和運(yùn)行效率兩個(gè)角度來(lái)看，將面積比差值和色調(diào)均值作為網(wǎng)絡(luò)的兩個(gè)輸入時(shí)，網(wǎng)絡(luò)運(yùn)行是最佳的。在小干擾下，網(wǎng)絡(luò)能保持較低的誤判率。當(dāng)噪聲水平在0.1時(shí)，正確判別率可達(dá)到76.28％。
　　 6.從雙目定位的幾何模型出發(fā)，歸納了雙目

9、定位的基本過(guò)程，總結(jié)了立體視覺(jué)的攝像機(jī)標(biāo)定問(wèn)題，進(jìn)行了基于2D圓控制點(diǎn)的攝像機(jī)模型建立和標(biāo)定試驗(yàn)，得到了定焦距雙目系統(tǒng)的內(nèi)外參數(shù)，并對(duì)標(biāo)定進(jìn)行了精度評(píng)價(jià)。分析了變焦距攝像機(jī)的工作原理，指出了變焦距雙目系統(tǒng)定位3D目標(biāo)存在的問(wèn)題：變焦距雙目系統(tǒng)能獲得目標(biāo)識(shí)別所需要的清晰圖像時(shí)，基于視差的雙目定位幾何計(jì)算所需的攝像機(jī)內(nèi)參數(shù)如何實(shí)時(shí)獲取。
　　 7.針對(duì)傳統(tǒng)的基于視差計(jì)算的雙目視覺(jué)定位幾何模型不能適應(yīng)變焦距雙目系統(tǒng)的目標(biāo)定位問(wèn)題，提出

10、了一種基于2個(gè)Ward網(wǎng)絡(luò)聯(lián)合工作的的采摘機(jī)器人雙目視覺(jué)系統(tǒng)測(cè)量模型。該方法借助兩個(gè)Ward網(wǎng)絡(luò)的聯(lián)合工作建立一種隱含的視覺(jué)測(cè)量模型來(lái)代替幾何數(shù)學(xué)模型，將各種不確定因素包含在神經(jīng)網(wǎng)絡(luò)中，不要求預(yù)先建立成像系統(tǒng)的非線(xiàn)性關(guān)系，也不需要具體求出攝像機(jī)的內(nèi)部參數(shù)，從而避免了基于視差計(jì)算的定位方法中的攝像機(jī)內(nèi)參數(shù)實(shí)時(shí)獲取的困難、略去了圖像校正、誤差修正等中間過(guò)程。盡管網(wǎng)絡(luò)適應(yīng)攝像機(jī)內(nèi)參數(shù)變化是以付出擬合精度為代價(jià)的，但是實(shí)驗(yàn)表明，訓(xùn)練好的模型從深

11、度距離223mm到1183mm的有效視場(chǎng)內(nèi)，能較好地適應(yīng)攝像機(jī)內(nèi)參數(shù)變化實(shí)現(xiàn)較高精度的果實(shí)目標(biāo)定位，3個(gè)方向的合成誤差不超過(guò)±5mm的定位可靠度達(dá)到88.584％。真實(shí)的番茄3D定位試驗(yàn)結(jié)果表明，其測(cè)量精度是可以接受的。另外，根據(jù)透視縮放現(xiàn)象建立目標(biāo)輪廓沿主軸方向的像素長(zhǎng)度與深度距離之間的關(guān)系，從而估計(jì)果實(shí)的外形尺寸。這個(gè)內(nèi)容是本研究另一個(gè)主要?jiǎng)?chuàng)新點(diǎn)。
　　 8.基于MATLAB開(kāi)發(fā)了一個(gè)較為完整的番茄采摘機(jī)器人雙目視覺(jué)軟件，但