基于機器學習方法的視頻標注研究.pdf

1、隨著存儲設備、計算機網(wǎng)絡和壓縮技術(shù)的發(fā)展，產(chǎn)生了大量的視頻數(shù)據(jù)，如何有效地處理和訪問這些數(shù)據(jù)，成為一個迫切需要解決的問題。視頻語義標注可以根據(jù)視頻所體現(xiàn)的內(nèi)容按概念對其賊予標號，在此基礎上可以實現(xiàn)高效的視頻數(shù)據(jù)處理(如索引、檢索和縮略等)。 完全使用人工來實現(xiàn)視頻標注任務，無疑可以獲得相當精確的結(jié)果。然而手工標注是一項費時費力的工作，無法在大規(guī)模的數(shù)據(jù)集和概念集上應用。因此，使用機器學習方法來實現(xiàn)這一任務成了必然的選擇。本文主要

2、針對基于機器學習的視頻標注展開研究，提出了一系列方法，以期能夠?qū)Ψ翘囟I(lǐng)域數(shù)據(jù)集和概念集，自動地或在盡量少的人工參與情況下，取得與完全手工標注盡可能接近的結(jié)果，達到可實際應用的目的。本論文的主要研究工作如下： 1. 在傳統(tǒng)的核密度估計方法中引入未標注數(shù)據(jù)的信息，提出了半監(jiān)督核密度估計以及半監(jiān)督自適應核密度估計，以解決視頻標注中訓練數(shù)據(jù)不足的問題。傳統(tǒng)的核概率密度估計方法形式簡單，便于使用，但是其性能非常依賴于訓練樣本的數(shù)目，當訓

3、練樣本很少時，會導致其性能降低。而在視頻標注中，訓練數(shù)據(jù)不足是經(jīng)常遇到的問題。通過引入未標注數(shù)據(jù)，可解決這個問題，改善核概率密度估計方法的性能。另外，本文還分析了所提算法和基于圖的半監(jiān)督學習之間的關(guān)系。 2. 我們提出了一種統(tǒng)一自動視頻標注方法。除了訓練數(shù)據(jù)不足的問題，視頻標注中還存在著一系列其它的問題，包括維數(shù)災難、距離度量的選擇和時間連續(xù)性的挖掘。本文通過分析，指出這些問題都可以歸結(jié)為樣本的相似性度量問題或者半監(jiān)督學習問題，

4、因此這四個問題的應對可以描述為一個多圖半監(jiān)督學習的問題。本文提出一種名為最優(yōu)多圖半監(jiān)督學習方法，將多張圖集成到一個正則化框架中，并且可同時優(yōu)化這些網(wǎng)的加權(quán)系數(shù)。 3. 研究基于多概念多模態(tài)主動學習的半自動視頻標注。主動學習是一種人機結(jié)合的學習途徑，其通過學習和樣本選擇的迭代進行，可選出比隨機挑選方法更為有效的訓練集。因此使用主動學習米進行半自動視頻標注，是解決訓練數(shù)據(jù)不足的一種新途徑。然而已有的主動學習算法大多沒有考慮視頻標注中

5、的多概念和多模態(tài)的特點，本文針對這一問題提出了多概念多模態(tài)主動學習算法，可同時考慮這兩個問題。在主動學習的每一輪中，具有最大期望性能增益的概念被選擇，并且選取一批合適的樣本來對該概念進行標注。在選取樣本的過程中，從每個模態(tài)選取的樣本數(shù)被限定為與該模態(tài)的期望性能增益成正比。之后，對每個模態(tài)使用基于圖的半監(jiān)督學習算法來標注該概念。通過這種途徑，可充分挖掘人工標注的勞動，在盡可能少人工參與的情況下獲得更好的標注結(jié)果。 4.研究對視頻鏡頭大小的

6、標注。日前視頻標注中的待標注概念人多集中于場景、事件和物體等，而忽略了鏡頭大小這種特殊的概念。與一般的概念不同，視頻鏡頭大小概念有其自身的特點，例如其瓦斥而又具有一定的順序關(guān)系。此外，對于視頻鏡頭大小的標注僅采用常用的底層特征很難取得好的效果，而這些概念與一些中層特征，例如視頻幀中物體的數(shù)月以及大小等，有較強的聯(lián)系。因此，本文介紹了一種基于底層特征和中層特征互訓練的方法來標注視頻鏡頭大小，此外，針對三種鏡頭大小概念之間的關(guān)系，引入代價函