時間:2023-09-14 17:44:46
開篇:寫作不僅是一種記錄,更是一種創造,它讓我們能夠捕捉那些稍縱即逝的靈感,將它們永久地定格在紙上。下面是小編精心整理的12篇計算機視覺常用技術,希望這些內容能成為您創作過程中的良師益友,陪伴您不斷探索和進步。
【關鍵詞】精密測量 計算機視覺圖像 關鍵技術
在現代城市的建設中離不開測量的運用,對于測量而言需要精確的數值來表達建筑物、地形地貌等特征及高度。在以往的測量中無法精準的進行計算及在施工中無法精準的達到設計要求。本文就計算機視覺圖像精密測量進行分析,并對其關鍵技術做以簡析。
1 概論
1.1 什么是計算機視覺圖像精密測量
計算機視覺精密測量從定義上來講是一種新型的、非接觸性測量。它是集計算機視覺技術、圖像處理技術及測量技術于一體的高精度測量技術,且將光學測量的技術融入當中。這樣讓它具備了快速、精準、智能等方面的優勢及特性。這種測量方法在現代測量中被廣泛使用。
1.2 計算機視覺圖像精密測量的工作原理
計算機視覺圖像精密測量的工作原理類似于測量儀器中的全站儀。它們具有相同的特點及特性,主要還是通過微電腦進行快速的計算處理得到使用者需要的測量數據。其原理簡單分為以下幾步:
(1)對被測量物體進行圖像掃描,在對圖像進行掃描時需注意外借環境及光線因素,特別注意光線對于儀器掃描的影響。
(2)形成比例的原始圖,在對于物體進行掃描后得到與現實原狀相同的圖像,在個步驟與相機的拍照原理幾乎相同。
(3)提取特征,通過微電子計算機對掃描形成的原始圖進行特征的提取,在設置程序后,儀器會自動進行相應特征部分的關鍵提取。
(4)分類整理,對圖像特征進行有效的分類整理,主要對于操作人員所需求的數據進行整理分類。
(5)形成數據文件,在完成以上四個步驟后微計算機會對于整理分類出的特征進行數據分析存儲。對于計算機視覺圖像精密測量的工作原理就進行以上分析。
1.3 主要影響
從施工測量及測繪角度分析,對于計算機視覺圖像精密測量的影響在于環境的影響。其主要分為地形影響和氣候影響。地形影響對于計算機視覺圖像精密測量是有限的,基本對于計算機視覺圖像精密測量的影響不是很大,但還是存在一定的影響。主要體現在遮擋物對于掃描成像的影響,如果掃描成像質量較差,會直接影響到對于特征物的提取及數據的準確性。還存在氣候影響,氣候影響的因素主要在于大風及光線影響。大風對于掃描儀器的穩定性具有一定的考驗,如有稍微抖動就會出現誤差不能準確的進行精密測量。光線的影響在于光照的強度上,主要還是表現在基礎的成像,成像結果會直接導致數據結果的準確性。
2 計算機視覺圖像精密測量下的關鍵技術
計算機視覺圖像精密測量下的關鍵技術主要分為以下幾種:
2.1 自動進行數據存儲
在對計算機視覺圖像精密測量的原理分析,參照計算機視覺圖像精密測量的工作原理,對設備的質量要求很高,計算機視覺圖像精密測量儀器主要還是通過計算機來進行數據的計算處理,如果遇到計算機系統老舊或處理數據量較大,會導致計算機系統崩潰,導致計算結果無法進行正常的存儲。為了避免這種情況的發生,需要對于測量成果技術進行有效的存儲。將測量數據成果存儲在固定、安全的存儲媒介中,保證數據的安全性。如果遇到計算機系統崩潰等無法正常運行的情況時,應及時將數據進行備份存儲,快速還原數據。在對于前期測量數據再次進行測量或多次測量,系統會對于這些數據進行統一對比,如果出現多次測量結果有所出入,系統會進行提示。這樣就可以避免數據存在較大的誤差。
2.2 減小誤差概率
在進行計算機視覺圖像精密測量時往往會出現誤差,而導致這些誤差的原因主要存在于操作人員與機器系統故障,在進行操作前操作員應對于儀器進行系統性的檢查,再次使用儀器中的自檢系統,保證儀器的硬件與軟件的正常運行,如果硬軟件出現問題會導致測量精度的誤差,從而影響工作的進度。人員操作也會導致誤差,人員操作的誤差在某些方面來說是不可避免的。這主要是對操作人員工作的熟練程度的一種考驗,主要是對于儀器的架設及觀測的方式。減少人員操作中的誤差,就要做好人員的技術技能培訓工作。讓操作人員有過硬過強的操作技術,在這些基礎上再建立完善的體制制度。利用多方面進行全面控制誤差。
2.3 方便便攜
在科學技術發展的今天我們在生活當中運用到東西逐漸在形狀、外觀上發生巨大的變大。近年來,對于各種儀器設備的便攜性提出了很高的要求,在計算機視覺圖像精密測量中對設備的外形體積要求、系統要求更為重要,其主要在于人員方便攜帶可在大范圍及野外進行測量,不受環境等特殊情況的限制。
3 計算機視覺圖像精密測量發展趨勢
目前我國國民經濟快速發展,我們對于精密測量的要求越來越來高,特別是近年我國科技技術的快速發展及需要,很多工程及工業方面已經超出我們所能測試的范圍。在這樣的前景下,我們對于計算機視覺圖像精密測量的發展趨勢進行一個預估,其主要發展趨勢有以下幾方面:
3.1 測量精度
在我們日常生活中,我們常用的長度單位基本在毫米級別,但在現在生活中,毫米級別已經不能滿足工業方面的要求,如航天航空方面。所以提高測量精度也是計算機視覺圖像精密測量發展趨勢的重要方向,主要在于提高測量精度,在向微米級及納米級別發展,同時提高成像圖像方面的分辨率,進而達到我們預測的目的。
3.2 圖像技術
計算機的普遍對于各行各業的發展都具有時代性的意義,在計算機視覺圖像精密測量中運用圖像技術也是非常重要的,在提高圖像處理技術做以提高。同時工程方面遙感測量的技術也是對于精密測量的一種推廣。
4 結束語
在科技發展的現在,測量是生活中不可缺少的一部分,測量同時也影響著我們的衣食住行,在測量技術中加入計算機視覺圖像技術是對測量技術的一種革新。在融入這種技術后,我相信在未來的工業及航天事業中計算機視覺圖像技g能發揮出最大限度的作用,為改變人們的生活做出杰出的貢獻。
參考文獻
[1]湯劍.周芳芹.楊繼隆.計算機視覺圖像系統的技術改造[J].機電產品開發與創新周刊,2015,14(18):33-36.
[2]馬玉真.程殿彬.范文兵,計算機視覺檢測技術的發展及應用研究[J].濟南大學學報,2014,18(23):222-227.
[3]李華.基于計算機視覺圖像精密測量的關鍵技術分析[J].電腦知識與技術,2013(05):1211-1212.
【關鍵詞】視頻;圖像處理;智能交通系統
交通視頻監控系統是一個國家交通正常運行的有力保障。隨著我國城鎮化進程的不斷推進和汽車的普及,交通問題日益嚴峻,道路擁擠、事故頻發,加上不遵守交通規則的人比比皆是,使交通問題成為一直困擾我國的難題。而由于交通系統是一個相當復雜的龐大系統,所以監控起來十分困難。
隨著計算機技術的發展,計算機視覺處理技術興盛起來。計算機視覺處理技術是模擬人類視覺系統的一種技術,人類可以通過對視覺中感知到的信息進行適當的組合和聯想以達到對外界信息進行判斷的能力,計算機視覺處理技術就是要用計算機代替人類的大腦實現對采集到的信息進行處理,從而使計算機具有外部感知的能力,這對于交通視頻監控系統具有非常重要的意義。
在智能交通系統中,基于計算機視覺的圖像處理技術扮演著重要的角色,它以視頻圖像為分析對象,利用先進的算法去除干擾,具有直觀、高效、精度高等特點。
1 交通視頻中進行圖像處理的重要性
交通視頻檢測系統的攝像機在工作時面臨的是自然氣象條件,這就意味著它要受到各種自然條件的干擾,比如強光、霧霾、粉塵、街燈等,由于光照條件不同所引起的圖像差異遠遠大于由于人的不同所引起的圖像差異,即使是在相同光照條件下,由于鏡面反射的存在,同一物體的不同表面對光的反射不同,再加上粉塵、霧霾等的影響,從不同視角反映出來的圖像有很大差異。外界光照的方向和強度還會隨著時間不斷發生變化,這些因素會導致采集的圖像不清晰、重影、有陰影等,給基于視頻的檢測帶來很大的難度。而視覺檢測必須借助外界光線才能夠獲取圖像信息,所以要把圖像中的車輛信息完整清晰的反應出來,就要對靜止的視頻圖像序列(即每幀圖像)進行預處理。這些處理會涵蓋圖像色彩模式轉換、格式轉換、算法處理等。
2 交通視頻監控系統的組成
交通視頻監控系統一般由采集、傳輸、控制、顯示四部分組成。
2.1 圖像采集
圖像采集工作由前端的攝像機完成,采集質量的好壞將直接影響視頻圖像處理的效果。如果視頻圖像中的車輛信息清楚,對比度好,無干擾信息或干擾信息少,將有利于車輛的檢測和跟蹤,反之,將不利于車輛的檢測和跟蹤。
2.2 傳輸
根據攝像機和控制中心之間距離的長短,會采用不同的傳輸設備,一般的傳輸方式包括視頻基帶傳輸、射頻有線傳輸、光纖傳輸、電話線傳輸等。
2.3 控制
控制部分是整個交通視頻監控系統的中心,由總控制臺組成。總控制臺可以進行信號的縮放、矯正、補償、切換、遙控、記錄存儲圖像等。
2.4 顯示
顯示部分的功能就是把傳送過來的圖像顯示出來,由若干臺監視器組成。
3 交通視頻監控系統中視頻圖像處理技術的應用
3.1 車輛檢測
對運動車輛的檢測是交通視頻監控系統的核心功能,通過對視頻圖像中的連續畫面的變化分析能抽出運動車輛的特征,從而實現檢測。但是由于運動的車輛受光線、灰塵、霧霾、陰影等因素的影響,給圖像分割帶來很大的困難。所以在進行車輛檢測時,要對獲得的視頻圖像進行處理,來提取目標車輛信息,常用的方法有幀間差分法、背景差分法、邊緣檢測法等。
3.2 車輛跟蹤
對車輛進行檢測的目的是辨別運動車輛,然而要想了解目標的運動參數,還要對車輛進行跟蹤。車輛跟蹤的核心內容是根據目標運動車輛的某些特征在不同的圖像幀中進行目標匹配,用于匹配的特征包括位置、大小、形狀,以及局部的點、線特征和整體輪廓特征等[1]。常用的車輛跟蹤方法有基于區域的方法、基于特征的方法、基于運動估計的方法、基于模型的方法、基于輪廓的方法等。
3.3 陰影檢測
陰影檢測是交通視頻監控系統的一項重要且具有挑戰性的工作。運動目標車輛由于受各種光源的影響會產生陰影,而陰影與運動目標車輛具有相似的視覺特征和運動特征,所以前面介紹的車輛檢測方法都不能有效地將陰影檢測出來。陰影的存在會使車輛檢測和跟蹤產生誤差,給交通參數的提取帶來很大誤差,因而陰影的檢測與去除是視頻檢測的重點和難點。根據陰影形成的不同原理可以把陰影分成不同的類型,而不同類型的陰影又有不同的特點,這給陰影的檢測和提取提供了可能。目前,陰影檢測方法通常包括兩大類:一類是基于陰影屬性如顏色不變性、紋理不變性、低頻性質等屬性的檢測技術,另一類是基于應用場景先驗知識的模型的陰影檢測[2]。
3.4 交通參數的檢測
交通參數可以分為兩類,一類是針對某一具體車輛的,如該車輛的車型、顏色、車牌、速度、重量等;另一類是針對某一具體路段的,如該這段的固定時間內的車流量、平均速度、車輛密度、車輛數目、路面占有率等。基于圖像處理的交通參數檢測需要實時處理大量的圖像數據,這些參數的獲得可以為交通執法提供依據,增加交通道路的容量。目前應用較為廣泛的交通參數獲取方法為虛擬線圈檢測方法,很多學者都在此基礎之上設計算法更加精密的檢測系統。
3.5 車牌識別
車牌識別技術(Vehicle License Plate Recognition,VLPR) 是計算機視頻圖像識別技術在車輛牌照識別中的一種應用。車牌識別是現代智能交通系統中的重要組成部分之一,應用十分廣泛。它以數字圖像處理、模式識別、計算機視覺等技術為基礎,對攝像機所拍攝的車輛圖像或者視頻序列進行分析,得到每一輛汽車唯一的車牌號碼,從而完成識別過程。通過車牌識別可以實現對停車場的收費管理、車輛定位、交通違法行為監控等功能,對于維護交通安全、實現交通自動化管理有很重要的意義。
視頻圖像處理技術在交通視頻監控系統中應用的已經十分廣泛,隨著計算機視覺、人工智能理論的發展,對包含運動目標的圖像序列進行分析和處理,能夠實現交通管理的高效智能化。隨著視頻圖像處理技術硬件的不斷發展,我們所面臨的挑戰是如何找出與硬件相匹配的高效的軟件技術(即先進的算法),使智能交通系統的功能更加強大和完善。
【參考文獻】
[1]梁曉愛.基于視頻的車輛檢測與跟蹤技術研究[D].山東師范大學,2010.
[2]許潔瓊.基于視頻圖像處理的車輛檢測與跟蹤方法研究[D].中國海洋大學,2012.
[3]衛小偉.視頻圖像處理技術在智能交通系統中的運用[J].電子測試,2015(6).
[4]姜旭.視頻圖像處理技術在智能交通系統中的應用[D].蘇州大學,2009.
關鍵詞:印制電路板;圖像處理;機器視覺;PCB裸板;自動光學檢測;缺陷檢測 文獻標識碼:A
中圖分類號:TP391 文章編號:1009-2374(2016)09-0010-05 DOI:10.13535/ki.11-4406/n.2016.09.005
我國是全球第一大PCB生產基地,作為電子產品承載體的電路板,其集成度和產量不斷在提高。為了保證電子產品的性能,電路板缺陷檢測技術已經成為電子行業中非常關鍵的技術。建立在圖像處理算法基礎上的機器視覺檢測技術與傳統的人工檢測技術相比,提高了缺陷檢測的效率和準確度。因此,設計一種高效精準的機器視覺檢測電路板缺陷的系統,具有非常重要的現實意義。評估印刷電路板質量的一個重要因素就是表觀檢測,PCB的表觀質量對產品性能及成品使用安全有著極大的重要性。而伴隨著近年來在工業生產領域崛起的計算機視覺,當前表觀缺陷檢測和分類識別的研究方向已經轉向了利用計算機視覺技術來實現。計算機圖像處理識別技術這種基于計算機視覺的檢測技術成功取代了傳統的PCB缺陷檢測方法,在自動光學檢測系統眾多應用中占據了相對重要的地位,一躍成為PCB生產業表觀缺陷的主要檢測方法。
圖1 系統框圖
因此本文通過設計AOI自動光學檢測系統,搭建較為簡單的PCB缺陷自動檢測系統的實驗平臺,對PCB中四類較為關鍵、常見的缺陷進行檢測、分析、識別、判定,為研究推廣PCB缺陷自動檢測系統開拓應用前景,如能實現工業上的產業化檢測,將有高額的經濟收益。本文側重對PCB中的四類較為關鍵、常見的缺陷進行檢測、分析、識別、判定,并且僅搭建了較為簡單的PCB缺陷自動檢測系統的實驗平臺,即通過復雜算法對采集到的圖像進行處理、配準、對比,從而得出PCB缺陷類型及對其進行標識。如圖1所示。
1 硬件設計方案
PCB缺陷檢測的總體系統設計方案主要是基于自動光學檢測技術來搭建PCB缺陷檢測系統,硬件設計是使用CNC-T程控光源高精度影像測試系統操作臺,對待測電路板進行圖像采集,再通過VS2010軟件所編寫程序處理,得出待測電路板的缺陷種類。整個系統主要分為運動控制、光源、圖像采集、圖像處理四個模塊,分模塊簡要闡述了實驗過程、所需設備以及軟件算法,搭建了一個相對完整的系統工作平臺。
圖2 CNC-T程控光源影像操作臺
該設備具有測量元素種類齊全、手動測量、自動對焦等多種功能,使用該設備采集圖像進行二維檢測,測量軟體為YR-CNC,將圖像儲存至電腦后便由VS軟件進行圖像處理。實驗組成如圖3所示:
圖3 實驗系統框圖
1.1 運動控制模塊
本系統運動流程為:被檢測的PCB在檢測臺上,通過步進電機XY軸運動到攝像機拍攝區域,CCD攝像機固定在工作臺上方(Z軸),通過Z軸的運動實現聚焦。如圖4所示:
圖4 平臺運動示意圖
設備工作臺臺面尺寸為746mm×506mm,承載玻璃面尺寸為452mm×354mm,有效測量行程為400×300×200。本裝置既可通過軟件驅動自動采集圖像,也可以通過手動控制,移動并聚焦采集待測PCB的圖像。
1.2 光源模塊
輔助光照――采用的是正向和背向光源這兩種輔助光照。其中正光源和攝像頭同側,均位于Z軸上,正光源主要用于檢測待測物體的表面特征。背光源位于檢測臺面下方,與正光源處于同軸反向關系,背光源能突出待測物體的輪廓特征,常用于檢測物體輪廓尺寸。
圖像采集:分別利用正光源突出PCB表面如走線、過孔和焊盤等主要特征,而下光源主要使PCB的輪廓尺寸和過孔產生強烈的輪廓對比。
光源:使用的是高度集中照明光源中心的LDR系列,由于該光源的傘狀結構緊密排列著LED且采用了CCS獨創的柔性板,使之成為LED照明系統的標準模式。照明系統如圖5所示:
圖5 照明系統
1.3 圖像采集模塊
圖像采集模塊是由圖像采集卡、相機和鏡頭組成的,該模塊是圖像配準階段的硬件基礎。計算機采集圖像的媒介就是相機,而相機按照不同原理又分為多種,常見的有CCD(Charge Coupled Device)和CMOS(Complementary Metal Oxide Semiconductor)兩類。本系統采用的是CCD 1/2英寸43萬像素彩色攝像頭和高清晰度0.7~4.5X變焦倍率鏡頭,顯示分辨率為0.001mm。
1.4 圖像處理模塊
通常獲得的圖像將受到工業現場環境、光照等條件的干擾,計算機所獲得的圖像質量多數參差不齊,圖像的清晰度不一致,大大增加了PCB缺陷檢測的難度,所以在利用復雜算法檢測、識別PCB缺陷前要先對圖像進行預處理。
本圖像處理模塊主要通過VS軟件在OpenCV計算機視覺庫的基礎上,通過一系列算法對圖像進行處理對比。
2 系統軟件設計
2.1 OpenCV
OpenCV(Open Source Computer Vision Library)是一個跨平臺的可以運行在Linux、Windows和Mac OS操作系統上的基于(開源)發行的計算機視覺庫。它重量輕而高效,開放了多種接口如MATLAB、Ruby和Python等,并且在計算機視覺和圖像處理中大多數通用的算法都是被允許的。OpenCV可用于開發實時圖像處理、計算機視覺和模式識別方案,它提供了多種函數,實現了大量的計算機視覺算法,算法涵蓋了從最基礎的濾波至以高級的物體檢測。OpenCV實際上是一堆C和C++語言源代碼文件,許多常見的計算機視覺算法由這些源代碼文件實現。如C接口函數cvCanny()實現Canny邊緣檢測算法。它可直接加入到我們自己的軟件項目編程中,而無需去編寫自己的Canny算子代碼,就是沒有必要重復“造輪子”。
根據OpenCV中源代碼文件巨多的特點,以算法的功能為基準,將這些源文件分到多個模塊中,如core、imgproc、highgui等。將每個模塊中的源文件編譯成一個庫文件(如opencv_core.lib、opencv_imgproc.lib、opencv_highgui.lib等),用戶在使用時,僅需在自己的項目中添加要用的庫文件,與自己的源文件一起連接成可執行程序即可。
OpenCV計算機視覺庫的出現,是為了使人們利用方便快捷的計算機視覺框架,在計算機視覺領域可以更加輕松地設計出更為復雜的應用程序。OpenCV涵蓋了多種計算機視覺應用區域,如用戶界面、信息安全、醫學影像學、工廠產品檢驗、立體視覺、機器人和攝像機標定等,約有500多個函數。因為計算機視覺與機器學習是相輔相成的,所以OpenCV也開放了MLL(Machine Learning Library)機器學習庫。MLL除了在視覺任務相關中使用,也可以很容易地應用到其他機器學習中。
2.2 Microsoft Visual Studio2010
Visual Studio是微軟公司推出的開發環境,是同行業中目前最流行的Windows平臺應用程序開發環境。Visual Studio 2010于2010年4月12日,其集成開發環境(IDE)已被重新設計和組織,變得更簡單了。
Visual Studio 2010同時帶來了NET Framework 4.0、Microsoft Visual Studio 2010 CTP(Community Technology Preview――CTP),并且支持開發面向Windows 7的應用程序。除了Microsoft SQL Server外,它還支持IBM DB2和Oracle數據庫。目前有專業版、高級版、旗艦版、學習版和測試版五個版本。Visual Studio的用處十分廣泛,不僅可被用來基于Windows平臺創建Windows應用程序和Web應用程序,還可被用來創建智能設備、Office插件和Web服務等應用程序。微軟的Visual Studio 2010將成為一個版本的經典,這是相當于6.0版本。該版本可以自定義開始頁,新功能還包括:(1)C# 4.0中的動態類型和動態編程;(2)多顯示器支持;(3)使用Visual Studio 2010的特性支持TDD;(4)支持Office;(5)Quick Search特性;(6)C++ 0x新特性;(7)IDE增強;(8)使用Visual C++ 2010創建Ribbon界面;(9)新增基于.NET平臺的語言F#。本課題將基于OpenCV計算機視覺庫使用Microsoft Visual Studio2010開發環境,通過編輯算法實現PCB缺陷檢測。
3 圖像預處理
要使用計算機對圖像進行處理,所得到的連續圖像就必須被轉換為離散的數據集,這是因為計算機只能處理離散度數據,這一過程我們稱之為圖像采集。圖像采集由圖像采集系統實現,如圖6所示。圖像采集系統的三個主要模塊是成像系統、采樣系統和量化器。
圖6
將整理出的字符圖像交予識別模塊來識別,被稱為圖像的預處理。PCB的圖像預處理包括灰度化、增強、濾波、二值化、配準等,處理后的PCB輸出的圖像質量將得到改善,在很大程度上使得該圖像特征更直觀,方便計算機分析和處理。PCB的圖像預處理為整個PCB缺陷檢測系統的核心部件,很大程度上決定了檢測的準確性。圖像預處理流程如圖7所示:
圖7 圖像預處理流程圖
4 PCB缺陷檢測
本文針對四種常見缺陷:斷路、短路、毛刺(凸起)、缺損(凹陷)進行檢測研究。在這四種缺陷中,最為嚴重的缺陷類型是斷路和短路,它們將會使整塊板子失去本來的功能;而凸起、凹陷也可能影響到PCB在使用過程中的穩定性能。如圖8所示為幾種常見的缺陷:
圖8 常見電路板缺陷
4.1 PCB缺陷的檢測方法
常用的PCB缺陷檢測方法有參考法和非參考法兩種。要是從概念理解和電路難易程度看,參考法明顯更加具有概念直觀、電路簡單的優勢;要是從檢測所需要的條件來看,非參考法則在不需要待測PCB與標準PCB進行準確對準這一點上優于參考法。
本課題采用參考法進行PCB缺陷檢測。
使用參考法對PCB缺陷進行檢測的流程為:(1)確定標準的PCB圖像并放入參考庫;(2)通過成像設備采集待測PCB圖像,進行圖像預處理之后,再二值化PCB待測圖像,并對其進行連通域提取;(3)然后將處理結果與標準圖像進行對比,利用圖像相減來判斷PCB可能存在的缺陷;(4)進行分類,確定缺陷類型。
4.2 圖像連通域
像素是圖像中最小的單位,每個像素周圍有8個鄰接像素,常見的鄰接關系有兩種:4鄰接與8鄰接。4鄰接一共4個點,即上下左右。包括對角線位置的點,8鄰接的點一共有8個,如圖9所示:
圖9 領域示圖
如果像素點A與B鄰接,我們稱A與B連通,即有如下的結論:
如果A與B連通、B與C連通,則A與C連通。在視覺上看來,點與點相互連通,形成一個區域,而不是連通的點形成不同的區域。這種相互立體的所有的點,我們稱為連通區域。連通區域標記常用的方法有Two-Pass(兩遍掃描法)和Seed Filling(種子填充法)兩種方法,本課題主要介紹第二種。
Seed Filling來源于計算機圖形學,通常應用在填充圖形上。思路:以一個前景像素當作種子,而后在處于同一像素值且位置相鄰的連通區域,把和種子相鄰的前景像素融合到同一組像素中,結果將是獲得一個像素集,即連通區域。接下來介紹使用種子填充法實現的連通區域分析法:
第一,重復掃描圖像,當得到當前像素點B(x,y)=1時停止:(1)賦予B(x,y)一個label,并將像素位置作為種子,接著將所有位于該種子周圍的前景像素都壓入棧中;(2)將棧頂像素賦以相同的label值并彈出,接著將全部位于棧頂像素周邊的前景像素都壓入棧中;(3)重復(2)步驟,直到棧為空。此時,圖像B中的一個像素值被標記為label的連通區域便被找到了。
第二,在掃描結束前,重復第一個步驟,由此可以獲得圖像B中所有的連通區域在掃描結束后。
掃描所得的連通域如圖10所示:
圖10 圖像連通域提取
4.3 缺陷識別
缺陷識別具體特征如表1所示:
表1 缺陷特征
缺陷種類 二值圖像面積 連通區域數
斷路 減少 增加
短路 增加 減少
凸起 增加 不變
凹陷 減少 不變
第一,短路和斷路。在出現短路缺陷時,待測圖像與標準圖像相比,其所包含的連通區域數將會減少。同理可得,在出現斷路缺陷時,待測圖像與標準圖像相比,其所包含的連通區域數將會增多。因此,斷路和短路缺陷便可利用比較連通區域數來判定和識別。
第二,凸起和凹陷。凸起缺陷將導致導線和導線、導線和其他導體間的間隙變小,而凹陷缺陷將導致導線和導線、導線和其他導體間的間隙變大,二者均會導致PCB使用過程中出現不穩定狀態。而觀察可知,這兩種缺陷的連通區域相同,差別在于各自二值化面積的大小,所以可以通過計算該待測圖像的連通區域面積來識別凸起、凹陷缺陷。
識別過程:將經過圖像預處理的待測PCB圖像與標準圖像進行對比后,通過算法找出缺陷。比較二者的連通區域數,若前者大于后者,則標定該缺陷點為斷路,反之則為短路;若二者連通區域數相同,則比較二值化圖像面積,若前者大于后者,則標定該缺陷點為凸起,反之則為凹陷。檢測流程如圖11所示:
圖11 PCB缺陷檢測流程圖
5 系統實驗
本文使用CNC-T程控光源高精度影像測試系統操作臺,結合VS2010軟件基于OpenCV計算機視覺庫的算法編程來實現PCB的缺陷檢測。整體實驗過程為:手動控制操作臺捕捉、聚焦、采集待測PCB的圖像,采集到的圖像與標準圖像進行對比、識別,得出缺陷種類并顯示結果。
本課題一共就所研究缺陷類型,做了40組實驗,通過實驗結果計算正確率。如表2所示:
表2 實驗結果統計
缺陷類型 實驗次數 正確率
斷路 10 100%
短路 10 100%
凸起 10 100%
凹陷 10 100%
針對不同電路板圖中出現的同種斷路類型進行檢測,效果如圖12a、圖12b、圖12c所示,可準確檢測出缺陷存在。
圖12
針對不同電路板圖中出現的同種短路類型進行檢測,效果如圖13a、圖13b、圖13c所示,可準確檢測出缺陷存在。
圖13
針對不同電路板圖中出現的同種凸起類型進行檢測,效果如圖14a、圖14b、圖14c所示,可準確檢測出缺陷存在。
圖14
針對不同電路板圖中出現的同種凹陷類型進行檢測,效果如圖15a、圖15b、圖15c所示,可準確檢測出缺陷存在。
圖15
6 結語
PCB板面向體積越來越小、密度越來越高的方向發展。在檢測產品價格方面,國外AOI檢測產品價格普遍偏高,而由于經濟原因,在國內PCB板生產制造商多數仍采用人工目測等傳統檢測方法檢測。隨著經濟的發展,數字圖像處理研究的深入,自動光學檢測系統也開始頻繁活躍在人們視線中,但在PCB缺陷檢測方面的應用卻還有待完善。因此,本論文建立在深入掌握工控系統結構并從PCB板的質量標準、圖像特點、缺陷特征及檢測要求的分析基礎上,對以圖像處理為基礎的PCB缺陷檢測技術進行了深入研究。由于PCB缺陷自動檢測系統的研究涉及多個領域的知識,其研究過程十分耗時、繁瑣,由此,本論文僅僅對PCB缺陷檢測中較為常見的問題進行了較深入研究,并且僅搭建了較為簡單的PCB缺陷自動檢測系統的實驗平臺,對PCB中的四類較為關鍵、常見的缺陷進行檢測、分析、識別、判定。雖然還未實現真正實現工業上產業化檢測,但是在未來幾十年中,研究推廣的PCB缺陷自動檢測系統將有十分良好的應用前景,也將有高額的經濟收益。
參考文獻
[1] 陳勝勇,劉盛,等.基于OpenCV的計算機視覺技術實現[M].北京:科學出版社,2008.
[2] Gary Bradski,Adrian Kaebler,于仕琪,等.學習OpenCV[M].北京:清華大學出版社,2009.
[3] 周長發.精通Visual C++圖像處理編程(第3版)
[M].北京:電子工業出版社,2006.
[4] 黨振.中國大陸PCB產業的現狀與未來[J].印制電路信息,2006,32(1).
[5] 胡躍明,譚穎.自動光學檢測在中國的應用現狀和發展[J].微計算機信息,2006,(4).
[6] 李漢,何星,等.印刷電路板的自動光學檢測系統
[J].無損檢測,2004,26(6).
[7] 張利,高永英,等.PCB板檢測中的定位研究[J].中國圖像圖形學,1999,4(8).
[8] 姚立新,張武學,等.AOI系統在PCB中的應用[J].電子工業專用備,2004,(5).
[9] 范小濤,夏雨人.一種基于圖像處理的PCB檢測算法研究[J].計算機工程與應用,2004,(13).
[10] 傅莉.印制電路板的發展及前景[J].電腦與電信,2010,(5).
[11] 張明軒.基于視頻序列的人臉檢測與跟蹤算法研究[D].中北大學,2011.
[12] 張馳.基于機器視覺的智能控制與圖像識別問題研究[D].蘭州理工大學,2009.
[13] 謝飛.基于計算機視覺的自動光學檢測關鍵技術與應用研究[D].南京大學,2013.
[14] 張靜.PCB表觀缺陷的自動光學檢測理論與技術
[D].電子科技大學,2013.
[15] 俞瑋.AOI技術在PCB缺陷檢測中的應用研究[D].電子科技大學,2007.
關鍵詞 智能交通系統;計算機視覺;汽車流量
中圖分類號:TN948 文獻標識碼:A 文章編號:1671-7597(2014)14-0048-01
基于視覺的圖像處理器測量精度高,抗干擾能力強,許多自然及人為的干擾都可以被消除,運用預測技術可以再捕獲瞬間丟失的目標,并且能實現對記憶的跟蹤。它通常安裝在路邊或架空安裝,不會重新鋪設路面,也不會影響埋在地下的水和天然氣管道,更不會干擾交通。 基于視覺的圖像處理有其突出的優點,表現在:可以獲得的目標信息非常巨大,獲取信息的方法也非常方便。
1 研究的實用意義
車輛檢測系統在智能交通系統中具有很重要的地位。機動車輛流量計數與監控為智能控制提供了相當重要的數據來源,通過計算機視覺的機動車流量統計系統可以檢測很多交通參數,便于我們檢測和監控,這些參數中的一個重要參數就是汽車
流量。
基于視頻的檢測法作為最有前途的方法之一,有以下優點。
1)能高效、準確、安全可靠地的監視和控制道路交通,能夠提供高質量高分辨率的圖像信息。
2)用于交通監視和控制的主要設備就是安裝視頻攝像機,現在我國所有城市基本都已經安裝了視頻攝像機,甚至高清視頻攝像機。因為安裝視頻攝像機破壞性非常低、很方便、也很經濟。
3)由計算機視覺得到的交通信息可以通過聯網工作,非常有利于對道路交通網的監視以及控制。
4)由于目前對智能交通系統的安全性、實時性和可靠性的要求都非常高,計算機技術和圖像處理技術的發展顯得極其
重要。
2 研究內容
本研究主要包含兩大部份:一部分就是采用分類和分割方法把采集到的視頻圖像的目標進行識別;另一部分就是通過定位方法來實現目標的跟蹤。這兩部份是缺一不可,緊密聯系在一起的。
首先先介紹視頻圖像的目標識別,視頻圖像目標的識別方法有很多,但總體上主要有兩種方法:一是大家熟悉的相關匹配法,二是特征匹配法。相關匹配法是通過找到最大相關值(最大相關值指的就是當前圖像與參考圖像間的相關系數的大小)所在的位置來確定當前輸入圖像中的目標位置。相關匹配法優點是可以在信噪比很小的條件下工作,對噪聲抑制能力非常強,在計算形式上比較簡單,很容易實現。但它的缺點也很明顯,由于相關匹配法對幾何和灰度畸變十分敏感,反而計算量偏大,造成的直接后果就是非常容易產生累積誤差,而且最關鍵的就是不能充分利用視頻圖像目標的幾何特性,就不能保證對識別目標的跟蹤精度。相關匹配法比較適合于對目標的尺寸變化不大并且場景各部分的相關性不強,當前輸入圖像和參考圖像的產生條件較為一致的場合。特征匹配方法是目前研究較多的一類圖像匹配方法,它是通過目標的特征與輸入圖像中目標的特征來比較辨識目標。它首先提取輸入圖像和參考圖像的相關特征信息,比如邊緣、角點等。然后通過測量距離來比較輸入圖像與參考圖像的特征集合,如果輸入圖像的特征集與參考圖像的特征集距離是最小的(在滿足給定約束條件下),則判定該目標被識別。它對目標的幾何特征、灰度畸變一點都不敏感,但它充分利用了目標圖像的特征信息,因而可以保證較高的跟蹤精度。
上面介紹了視頻圖像目標的識別,現在介紹本研究第二部分:通過定位方法來實現目標的跟蹤。對于圖像目標的跟蹤方法通常有下面幾個方法。
亮度中心法,其實這種方法計算很簡單,只要確定了一個點,就能完成定位。這個點就是一個跟蹤點,它就是具有最高灰度的像素點(來自獲得的視頻目標圖像)或這個點上的一個鄰域。這種方法、性能很穩定、容易實現,工程上運用的很多。但這種跟蹤非常容易受干擾,因為它主要適用于紅外和其他放射性目標的跟蹤。
最佳空間濾波法是常用跟蹤方法之一,它完全是在亮度中心法的基礎上建立起來的,為了提高跟蹤性能,就要把目標的大小、形狀、運動特性等特征都完全利用起來。但目前這類方法也有明顯缺點,在實用性、定位精度上和計算量方面都有較大的限制。
投影、形心法是通過目標的投影或形心來確定目標的實際位置和運動姿態。對比前面兩種跟蹤方法,投影、形心法的優點是計算量非常小,容易通過硬件方式來實現。缺點是它的抗干擾性能力比較差,主要用于均勻背景下跟蹤孤立目標。
從以上對研究內容的介紹,現有的各類識別和定位方法都各有優缺點,要想找到一個合適的方法,都達不到滿意的效果。要想取得較好的性能,都只能在目標尺寸相對對比度變化都不大、對噪聲的干擾又比較小、圖像灰度的空間變化并不明顯的理論環境中。然而實際的環境通常是變化無常的,通過一種方法來實現目標的識別與跟蹤很難有合適的效果。最近幾年,結合這些方法的優點和缺點,混合定位識別的方法確能將上述各類基本的識別方法進行混合定位,使它們能夠合二為一,相互補充。這代表著目標識別方法非常具有理論研究和應用價值,是一個重要發展方向。
3 技術路線
研究的技術路線(如圖1):首先提取出攝像機采集到的視頻,該視頻是以幀為單位的圖片文件形式。然后對圖像數據進行數學上的處理,比如二值化、提取邊緣等。這樣就可以識別汽車的位置進行定位,最后對識別出來的汽車數量通過計數器計數。
4 研究實現
通過基于計算機視覺的研究,我們設計出了能夠實現機動車流量的檢測和計數的系統。并且該系統能夠對運動目標進行識別與跟蹤定位,對出現多目標遮擋和丟失目標,還可以重新匹配。
5 結束語
本文創新之處就是將上述各類基本的識別方法進行混合定位,使它們能夠相互補充。這代表著目標識別方法非常具有理論研究和應用價值,是一個重要發展方向。
參考文獻
[1]章毓晉.圖像工程(第2版)[M].清華大學出版社,2007.
[2]夏文龍.基于計算機視覺的汽車流量檢測研究[D].四川大學,2003.
[3]葛群輝,淺談基于視覺的高速公路車流檢測技術[J].科技資訊,2010(2).
[4]劉萌萌,基于無標度攝像機的車流跟蹤與速度估計算法研究[D].西南交通大學,2005.
【關鍵詞】機器視覺;VisionPro;識別定位;
1.引言
自20世紀80年代以來,機器視覺技術開始高速發展,已經從實驗室走向了人們生產生活的各個方面。機器視覺系統的特點是提高生產的柔性和自動化程度。在一些不適合于人工作業的危險工作環境或人工視覺難以滿足要求的場合,常用機器視覺來替代人工視覺;同時在大批量工業生產過程中用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現信息集成,是實現計算機集成制造的基礎技術。現今,在機器視覺領域已經有了一些成熟的視覺開發軟件,其封裝了很多可靠、高效的算法和工具。本文選用美國康耐視公司的VisionPro軟件,這是一套基于PC架構的視覺系統軟件開發包,主要應用于各種復雜的機器視覺領域。它集成了用于定位、檢測、識別和通訊等任務的工具庫,可用C#、VB和VC等語言進行二次開發。本文基于VisionPro利用語言進行視覺定位系統的軟件開發[1]。
2.視覺定位系統
2.1 硬件組成
在圖像處理前首先要得到清晰、有效的圖像,這就需要有一套完整的硬件設備。一般主要包括照明用的光源、調節圖像清晰度的鏡頭、將圖像轉換為數字信號的攝像機和進行圖像處理的計算機。其中攝像機與計算機之間的接口也比很重要的,主要分為IEEE1394和采集卡,USB2.0或Gigabit Ethernet千兆網三種[2]。
本視覺系統采用的是日本FUJINON工業攝像頭,德國BASLER工業像機ACA1600-20GM,GigE千兆網接口。
2.2 基于VisionPro的軟件開發
本視覺定位系統利用編寫適合實驗需要的界面,界面中只包含需要的操作功能和數據,使整個界面看起來更加清楚簡單,操作起來更方便。
(1)圖像采集
本視覺系統通過GigE千兆網作為接口控制相機進行圖像采集。打開軟件并連接相機,設置好參數后,就可以通過可視化工具Image Source直接獲取圖像。
(2)相機的標定
機器視覺的基本任務之一是從攝像機獲取的圖像信息出發計算三維空間中物體的幾何信息,并由此重建和識別物體。空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系是由攝像機成像的幾何模型決定的,這些幾何模型參數就是攝像機參數。在大多數條件下,這些參數必須通過實驗與計算才能得到,這個過程被稱為攝像機標定[3]。
本文利用VisionPro的CalibChecker-boardTool工具進行攝像機標定。首先需要一個棋盤板,棋盤板必須滿足以下條件:必須由大小相同的黑白格子交替組成;格子最好是正方形,如果達不到的話,格子長寬比也要在0.9和1.0之間。本系統采用康耐視公司提供的標準棋盤板進行標定[4,5]。圖1是標定的結果。
(3)目標識別與定位
視覺定位的目的就是找出目標物的坐標位置。本文利用VisionPro的PMAlignTool工具對目標物體進行識別定位。PMAlignTool工具是基于PatMax算法,該算法采用模板定位技術(pattern-location technology),先訓練模板,然后根據模板對采集圖像進行模板匹配,實現定位。在訓練模板和定位過程中,PatMax不是基于像素柵格(Pixel grid)分析圖像,而是采用基于幾何外形(Features based)的定位方法,通過圖像的幾何特征信息和特征之間的空間位置關系進行模板訓練和匹配,使其能夠保證很高的精度和抗干擾性,而且可以高速定位發生旋轉、縮放、甚至拉伸形變的物體[1]。PMAlignTool工具定位的流程如圖2。
通過PMAlignTool工具對目標物體識別定位后,利用VB調用該工具下的Results.Item(i).GetPose().TranslationX和Results.Item(i).GetPose().Transl-ationY。這兩個值就是序號為i的目標物在圖像上的X、Y坐標值,其中i為識別的各個目標物的序號。
3.實驗
3.1 PatMax識別定位
在對攝像機完成標定校正后,運用自己編寫的人機交互界面完成對目標物體進行識別定位,并將所需要的目標位置坐標顯示在界面上。同時又將識別到的所有目標物體的坐標信息保存到了文本文檔中,方便調用。主要操作如下:
(1)模型訓練。實驗以一元硬幣為目標物,圖3為訓練完成的模型。
(2)目標識別定位。圖4是利用編寫的界面,在圖像上能夠清楚的顯示出所識別出的目標輪廓和形心位置,界面右方結果顯示區內可以看到所識別的目標數量和所需要的目標物的坐標。
3.2 對比實驗
視覺定位可以用的軟件和工具包很多,其中應用最廣泛的就是Opencv,它是一個基于(開源)發行的跨平臺計算機視覺庫,可以運行在Linux、Windows和Mac OS操作系統上。它輕量級而且高效——由一系列 C 函數和少量 C++ 類構成,同時提供了Python、Ruby、MATLAB等語言的接口,實現了圖像處理和計算機視覺方面的很多通用算法。為了驗證PatMax算法定位的準確性,本文利用Opencv對相同的圖像進行目標識別定位,對得到的效果圖和坐標進行對比[6]。如圖5所示,其中藍色為輪廓曲線,綠色十字為目標形心。
圖6為VisionPro識別硬幣的效果圖,輪廓和形心均用綠色線標識。對比兩圖可以看出VisionPro對輪廓的識別效果要更好一些。由于形心坐標是由輪廓曲線上的點計算得到的,所以VisionPro獲得的形心坐標值也會比Opencv的更加準確,而且精確度更高。下表是兩種方法得到的形心坐標。
4.結束語
本文基于VisionPro采用對其進行開發,首先利用VisionPro中的工具進行圖像的采集,攝像機的標定,運用PatMax算法進行目標物的識別與定位,然后運用編寫人機交互界面,可以更加方便快捷的得到所需要的目標物坐標值。本文利用Opencv對相同的圖像進行目標的識別定位,與VisionPro得到的結果進行實驗對比。結果證明基于VisionPro的視覺定位系統對目標的識別效果更好,定位的數據更加準確。基于該軟件使應用程序的開發更加快速方便,得到的數據結果誤差較小,具有應用價值。
參考文獻
[1]威洛斯,焦宗夏.基于VisionPro的焊膏印刷機視覺定位系統[C].第十二屆中國體視學與圖像分析學術年會論文集,2008.
[2]Carsten Steger,Markus Ulrich,Christean Wiedemann,著.機器視覺算法與應用[M].楊少榮,吳迪靖,段德山,譯.北京:清華大學出版社,2008.
[3]邱茂林,馬頌德,李毅.計算機視覺中攝像機定標綜述[J].自動化學報,2000,26(1):47-59.
[4]Cognex,Cognex MVS-8100D and CDC Cameras Hardware Manual,2006.
[5]Cognex,VisionPro,Net Help,2006.
[6]Bradski G.,Kaehler A.著.學習OpenCV[M].于仁琪,劉瑞禎,譯.北京:清華大學出版社,2009.
作者簡介:
韓慶瑤(1953—),男,華北電力大學教授。
張志遠(1986—),男,華北電力大學能源動力與機械工程學院碩士研究生。
關鍵詞:人臉識別,安檢
人臉識別(Face Recognition)一直是計算機視覺與模式識別領域的研究熱點,在身份鑒別、自動監控、人機交互系統等方面有著廣泛應用。,安檢。隨著我國民航事業的發展,客流量增多,機場安檢工作量加大,傳統的低效率人工安檢手段已不能滿足大型國際機場的需要。如何將人臉識別這種計算機自動驗證技術應用于安檢系統,并使其成為一種安全、穩定、高效的檢測技術,已是當務之急。
人臉識別技術是一種依據人的面部特征(如統計或幾何特征等),自動進行身份鑒別[1]的技術。,安檢。它綜合運用了數字圖像、視頻處理、模式識別等多種技術。本文針對機場安檢的工作要求,提出了一個自動人臉識別仿真系統,并就其主要技術作了詳細介紹。
1 系統實現
1.1 基本架構及應用環境
本系統結構框圖如圖1所示。系統主要由臉部圖像預處理,特征提取和人臉識別三個部分組成。,安檢。
圖1 人臉識別系統結構框圖
考慮到安檢的工作環境及高檢測率需求性等特征,本系統的用戶檢測環境處于室內正常光照條件下,并以墻壁為背景對人臉進行檢測,檢測過程中要求人臉與相機的距離變化及相機的方向不宜太大,拍攝角度須接近正面,表情保持自然狀態。這樣可以很好的解決光照不均、表情差異大等常見的檢測問題,降低誤測度[2]。
1.2 臉部圖像預處理
自動人臉識別系統的首要任務是檢測和定位人臉,這一步檢測效率的高低將直接影響后續模塊的執行效果。本系統采用膚色檢測算法中基于彩色信息相似度的人臉定位方法提取面部圖像。利用平時常用的色度空間RGB[3],可以很容易排除掉檢測結果中在灰度圖像中很像人臉,而對應到彩色圖像根本不是膚色的區域。
首先將三維RGB(紅綠藍三基色)色度空間降為二維,使膚色區域相對集中。再采用訓練方法計算得到人臉分布中心,根據像素離該中心的遠近得到相似度分布圖,對該分布圖二值化以確定人臉區域。
再采用Gamma變換算法將臉部圖像進行預處理,提高圖像清晰度,使特征明顯化。Gamma變換是一種非線性的灰度變換,用式(1)來表示。
即原來的灰度值I用(r>0)或代替。,安檢。其中[4]。Gamma變換的光照補償因圖像像素灰度值不同而異,圖2給出了不同參數的Gamma變換曲線。,安檢。對于圖像較暗的地方,光照補償大,而對于高光部分則較小。,安檢。表情圖像預處理結果如圖3所示。
圖2 Gamma變換曲線
關鍵詞:計算機視覺;移動機器人;路徑識別;自主導航
中圖分類號:TP24262文獻標識碼:B
文章編號:1004-373X(2008)08-165-03オ
Navigation of Mobile Robot Based on Computer Vision
ZHAO Yu,ZHONG Lanxiang,ZHANG Wanxu
(Information Science & Technology College,Northwest University,Xi′an,710069,China)オ
Abstract:Mobile robot navigation using path following has several weaknesses such as weak flexibility,high cost of maintenance and single function.Considering those disadvantages computer vision is proposed in mobile robot navigation using path recognition.First,the image obtained by vision sensor is processed in order to get the useful target,then the robot can comprehend the current path environment,second,the robot is controlled by the different movement module of straight or turning according to the results in the first step.The experimental results demonstrated the effective and robustness of the system.
Keywords:computer vision;mobile robot;path recognition;autonomous navigation
現代機器人技術在人工智能、計算機技術和傳感器技術的推動下獲得了飛速發展,其中移動機器人因具有可移動性和自治能力,能適應環境變化被廣泛用于物流、探測、服務等領域[14]。移動機器人的核心技術之一是導航技術,特別是自主導航技術。由于環境的動態變化和不可預測性、機器人感知手段的不完備等原因,使得移動機器人的導航難度較大,一直是人們研究的重點[5]。
目前常用的一種導航方式是“跟隨路徑導引”[6],即機器人通過對能感知到某些外部的連續路徑參考信息做出相應的反應來導航。如在機器人運動路徑上敷設金屬導線或磁釘,通過檢測金屬導線或磁釘的特征信息來確定機器人的位置。從導航的角度看,這種方法的優點是可靠性較高,但功能單一,如不能在行進的同時對目標進行識別、避障,對環境的適應能力較弱、靈活性較差、維護成本較高,因此限制了其在移動機器人中的應用。
隨著計算機技術、數字圖像處理技術及圖像處理硬件的發展,基于計算機視覺的導航方式在機器人導航中得到廣泛關注[68]。在實際應用中,只需要在路面上畫出路徑引導線,如同在公共交通道路上畫的引導線一樣,機器人就可以通過視覺進行自主導航。相對于敷設金屬導線、磁釘等方法,這種方法增強了系統的靈活性,降低了維護成本。視覺信息中包含有大量的數據,要從中提取有用的信息,需要復雜的算法及耗時的計算。如何保證視覺導航系統在正確理解路徑信息的前提下仍具有較好的實時性和魯棒性,是該方法要解決的核心問題。
1 視覺導航系統構成及工作過程
基于計算機視覺的移動機器人導航實驗系統的硬件部分由計算機、USB接口的攝像頭、LEGO實驗用機器人組成。軟件分為2部分,即圖像處理和機器人運動控制。基于視覺導航的原始輸入圖像是連續的數字視頻圖像。系統工作時,圖像預處理模塊首先對原始的輸入圖像進行縮小、邊緣檢測、二值化等預處理。其次利用哈夫變換提取出對機器人有用的路徑信息。最后,運動控制模塊根據識別的路徑信息,調用直行或轉彎功能模塊使機器人做相應的移動。整個工作流程如圖1所示。
1.1 視覺導航的圖像預處理
目前圖像采集設備都具有較高的空間和灰度分辨率,精度高、數據量大。
實驗中的原始輸入圖像是USB攝像頭采集320×240像素的RGB格式圖像,最大幀數30幀/s。
圖像預處理的效果對后續哈夫變換檢測路徑信息的速度和準確性有很大影響。對整幅圖像進行抽取時計算量過大、也無必要,故先將彩色圖像轉換為灰度圖像,再將圖像的大小依據最近鄰域插值法原理[9]進行縮小以節約后續計算時間。在實驗室環境下,經測試,將原始圖像縮小到30%仍然能滿足需要,處理時間縮短了72%。
圖1 視覺導航系統工作流程
由于圖像傳感器從時間和空間上對介質(光)采樣,其圖像質量對現場的非均勻光場和其他干擾因素非常敏感,二值化時,不同光照條件下閾值的確定是一件比較困難的工作。目前常用的閾值選取方法有雙峰法、迭代法和 最大類間方差法[10]。從執行時間和處理效果2方面考慮,對3種方法比較后(結果如表1所示),在優先考慮實時性的前提下,選用雙峰法來求取閾值。在實驗室條件下,路徑環境相對理想,黑色引導線與背景反差較大。在灰度直方圖上,引導線和背景都形成高峰,對這2個峰值及谷底的求取也可簡化,使用灰度級的最大值和最小值代替2個峰值,那么這2個峰值的中間值即可作為谷底用作圖像的閾值。
ケ1 三種閾值選取方法執行時間比較
執行時間 /s閾值T
最大類間方差法31.534190
迭代法21.541145
雙峰法0.006124
地面的反光和陰影,以及不均勻的光照都會導致同一幅圖像的二值化效果表現出很大差別,圖2和圖3是對同一幅圖像在不同光照條件下二值化的結果,可以看到在光照條件2下會出現大量的黑點,這些黑點將嚴重影響提取路徑信息的速度并且可能導致錯誤的路徑信息。然而,相對于灰度、顏色特征,邊緣特征受光照影響較小[11]。為此,對縮小后的圖像先進行引導線的邊緣檢測,邊緣檢測后圖像中引導線邊緣像素灰度的對比度得到增強,通過實驗確定合適的閾值,然后對圖像進行二值化以提取路徑信息。
圖2 光照條件1
圖3 光照條件2
1.2 引導線角度檢測
采用哈夫變換檢測路徑引導線的角度[12]。為了簡單而又不失一般性,引導線分1條路徑和2條相交的路徑。當2條直線的夾角等于90°時即認為是兩條相互垂直的路徑。直線的哈夫變換利用如下直線的極坐標方程:
И
λ=xcos θ+ysin θ(1)
И
式(1)中,(x,y)表示圖像空間xy中所有共線的點即圖像中的黑點;θ表示直線法線和x軸的夾角,取值范圍為0~180°;λ表示直線到原點的距離。И
2 視覺導航的機器人運動控制
機器人運動控制部分分為直行控制和轉彎控制2部分。
2.1 直行控制
如果哈夫變換的檢測結果表明是一條直線即機器人視野中只有1條主引導線時,則運行直行模塊。實際中有2種情況需要考慮:一是機器人的初始位置不一定正對引導線,二是在機器人的機電配置中,左右輪子的馬達運動不會絕對精確和對稱。這些會使機器人在運動中出現側偏。可采用下述方法進行直行控制:根據引導線在圖像平面坐標中的位置來判斷機器人的偏向。當引導線位于圖像平面的左半邊,說明攝像頭的光軸與引導線不垂直且相對于引導線右偏,則命令機器人左轉;當引導線位于圖像平面的右半邊,說明攝像頭的光軸與引導線不垂直且相對于引導線左偏,則命令機器人右轉;當引導線在圖像平面兩邊均存在時,則命令機器人不偏轉繼續直行。機器人在前進過程中,根據圖像平面中引導線位置不斷調整方位,以一定的轉動角度(轉動角度盡量小,這樣機器人的擺動幅度就會小)在直線路徑上行走。
2.2 轉彎控制
如果哈夫變換的檢測結果表明是兩條相互垂直的直線,即機器人的視野中出現轉彎路口,則開始運行轉彎模塊。
機器人需要在距轉角合適的距離處開始運行轉彎模塊,以保證機器人視野中始終具有引導線。如圖4所示,AB段表示攝像頭的縱向視野范圍,C點為轉角點,機器人需要知道自身在實際二維平面中相對于轉角點C的距離即BC段距離。由圖像信息獲得現實世界坐標系中的參數,即所謂三維重建,這需要對基于計算機視覺的移動機器人導航系統進行攝像機標定。
鑒于移動機器人識別的引導線在地面上這一限制條件,并且攝像頭固定在機器人上,可以選擇機器人坐標系為世界坐標系,即世界坐標系與機器人同步移動。坐標原點為標定模板的左下角標定點的中心,Zw軸垂直地面,XwYw平面即為地面。在該坐標系下地面目標的坐標可以表示為(Xw,Yw,0),П甓模板由直徑5 mm、相距10 mm共72個圓點構成,如圖5所示。
圖4 轉變示意圖
圖5 標定模板
移動機器人的攝像機標定問題,如果忽略因物面與攝像機光軸不垂直造成的非線性,則可歸結為在二維世界坐標系中求變換矩陣M[13]。
И[HT6”]
X1Y11000-u1X1-u1Y1
000X1Y11-v1X1-v1Y1
…………
…………
XnYn1000-unXn-unYn
000XnYn1-vnXn-vnYn•m11m12m14m21m22m24m31m32=u1v1u2v2ぁぁunvn(2)
И
世界坐標系(Xw,Yw,Zw ),Zw軸垂直地面,XwYw平面即為地面,在該坐標系下地面目標的坐標P可以表示為(Xw,Yw,0)。式(2)中Xi,Yj (其中i=1,2,…,n,j=1,2,…,n)即為地面目標的坐標(Xw,Yw)。只要有4個標定點就可以求解該線性方程組,分別測得其在地面上的坐標(Xw,Yw,0),再根據由圖像處理的方法得到的圖像坐標系中的像素坐標(ui,vj)(其中i=1,2,…,n,j=1,2,…,n),即可求得變換矩陣M,M = [m11,m12,m14,m21,m22,m24,m31,m32]T,其中m34=1。П浠瘓卣M的元素取值受到攝像頭俯仰角和架設高度的影響。在實驗室條件下,本系統選取BC=13 cm時開始運行轉彎模塊。
在單目視覺的條件下,對于固定的俯仰角,為保證道路引導線不移出攝像頭視野范圍,必須控制機器人以一定的弧度轉彎,即沿弧線路徑執行轉彎模塊。要做到這一點,弧線的弧度必須選取合適。在轉彎過程中需要根據機器人的位置不斷調整機器人的運動速度和轉動角度,具體過程如下:
(1) 找出圖像中最后一行中點m的像素坐標(um,vm),即攝像頭視野最下方的中點,通過變換矩陣M將其轉換為世界坐標系xyz中的位置(xm,ym),z軸垂直于xy平面即地面。
(2) 找出圖像中轉角點t的像素坐標(ut,vt),通過變換矩陣M求出其在世界坐標系xyz中的位置(xt,yt)。
(3) 以地面上轉角點為圓心的世界坐標系定義為XYZ,Z軸垂直于XY平面即地面,求出弧線在此坐標系中的方程,(x-a)2+(y-b)2=r2,(a,b)表示在坐標系XYZ下弧線所在圓的圓心,r表示圓的半徑。И
(4) 將xyz坐標系下的坐標點(xm,ym)轉換到XYZ坐標系下,用坐標(Xm,Ym)表示,如圖6所示。X軸與x的夾角為θ,XOY坐標系的原點O即為轉角點t,則:
И
Xm=(xm-xt)cos θ Ym=(ym-yt)cos θ(3)
圖6 坐標系轉換
(5) Щ∠叻匠討械y=Ym時,求得X,比較x與Xm,若Xm-x>0,則命令機器人左轉;若Xm-x
本系統確定轉彎弧的半徑為20 cm,弧度為90°的弧線即可使機器人順利轉彎,機器人視野中始終保持引導線。
3 實驗結果及結論
實驗中選用的LEGO移動機器人,其運動速度為8.57 cm/s(指令設定Power=25 RPM)。導航場地中畫有寬1 cm的黑色引導線,實驗要求中機器人完全根據引導線自主運動。實驗中,識別1幀圖像并且機器人根據識別的路徑信息運行直行或轉彎模塊共需0.311 s,即機器人每處理1幀圖像移動2.67 cm。實驗室中的光照條件是機器人移動時的主要干擾,而銳利的引導線邊緣受光照影響較小,對這些干擾有較好的濾除作用。經過在陰天白天、晴天白天以及開燈和不開燈的情況下、晚上開燈的情況下、遮蓋物位于攝像頭上方50 cm處形成陰影情況下,機器人能正確的沿引導線移動。同時,當攝像頭視野范圍內引導線消失即認為出現障礙物,機器人能發出前方有障礙物的報警信息。
可見上面所述方法有較好的實時性和魯棒性有一定的通用性,使得該視覺導航方法具有一定的應用價值。只要光照條件變化不是非常劇烈,在工廠、醫院、辦公樓等環境中,機器人根據路徑引導線可自主到達目的地。
當然,由于移動機器人活動場景的復雜性和動態特性,以及視覺處理的復雜性,視覺導航還有很多需要解決的問題,例如當導航場地出現較大面積的強烈反光、極暗的陰影時能否有效可靠的進行移動機器人的導航控制,這需要進一步研究。另外,如何將視覺系統與本系統機器人平臺中的超聲波傳感器、光電傳感器及聲音傳感器在空間、時間及數據上進行融合以提高系統的適應性和環境識別能力也是一個研究方向。
參 考 文 獻
[1]方強,謝存禧.基于視覺的移動機器人自主定位導航[J].機床與液壓,2004(7):4042.
[2]Siegwart Roland,Nourbakhsh Illah R.Introduction to Autonomous Mobile Robots[J].Massachusetts Institute of Technology,2004:111.
[3]Gérard Medioni,Alexandre Francois R J,Matheen Siddiqui.Robust Realtime Vision for a Personal Service Robot [J].Computer Vision and Image Understanding,2007:18.
[4],馬旭東,戴先中.一種基于移動機器人視覺的實用數字識別方法[J].制造業自動化,2006,28(5):3943.
[5]陸新華,張桂林.室內服務機器人導航方法研究[J].機器人,2003,25(1):8087.
[6]張海波,原魁,周慶瑞.基于路徑識別的移動機器人視覺導航[J].中國圖像圖形學報,2004,9(7):853857.
[7]吳玉斌,曹廣忠,徐剛.基于虛擬儀器技術的機器人視覺伺服研究[J].機械科學與技術,2006,25(8):1 0051 008.
[8]董再勵,郝穎明,朱楓.一種基于視覺的移動機器人定位系統[J].中國圖像圖形學報,2000,5(8):688692.
[9]江巨浪.基于改進CatmullRom 樣條的圖像縮放算法[J].計算機技術與發展,2007,17(4):211213.
[10]楊暉.圖像分割的閾值法研究[J].遼寧大學學報:自然科學版,2006,33(2):135137.
[11]陳鍛生,劉政凱.彩色圖像邊緣特征及其人臉檢測性能評價[J].軟件學報,2005,16(5):727732.
[12]陳震,高滿屯,楊聲云.基于Hough 變換的直線跟蹤方法[J].計算機應用,2003,23(10):3032.
[13]康晶,鄒北驥,劉相濱.一種改進的攝像機內外參數初值計算方法[J].計算機工程與科學,2007,29(1):5255.
作者簡介
趙 瑜 女,1983年出生,陜西西安人,碩士研究生。主要研究方向為非接觸測量與可視化計算。
種蘭祥 男,1960年出生,陜西合陽人,西北大學信息科學與技術學院副教授,中國科學院西安光學精密儀器研究所博士研究生。主要從事非接觸測量、光電子技術和可視化計算方面的研究。
關鍵詞:計算機視覺;跟蹤算法;綜述;人數統計
中圖分類號:TP391 文獻標識碼:A DOI:10.3969/j.issn.1003-6970.2013.03.003
0 引言
計算機視覺作為一門多學科的交叉領域,涉及圖像處理、計算機圖形學、模式識別、人工智能、人工神經網絡、計算機、數學、心理學、生理學和物理學等。本文是對視頻人數統計技術的綜述,屬于智能視頻監控范疇。
由于智能視屏監控的挑戰性以及其巨大的應用價值,越來越多的學校、研究所以及公司的研究人員投入到該領域中來。麻省理工學院、卡內基梅隆大學以及其他國外著名大學成立了專門的計算機視覺及多媒體方向的實驗室;Nice和Object video等公司已經針對飛機場、國界線等應用場合開發了一些相應的智能監控系統。國際上的高級視頻和錄像(Advanced Videoand Signal-Based Surveillance)論壇每年都會舉辦PETS(Performance Evaluation of Tracking Systems)會議專門針對于人群行為分析,包括群體人數統計,人流密度估計;對單個人員以及群體中個體進行跟蹤;特殊群體和特殊事件檢測等。本文主要針對視頻人數識別這個研究方向,從基于特征點、顏色與形狀信息、模板匹配三種不同類型識別跟蹤方式分析了近些年來國內外的研究工作及最新進展,通過對各種不同識別方法比較,對當前亟需解決的問題做了詳細的分析。
1 人數識別研究現狀
人數統計算法融合了運動物體檢測、行人檢測與分割、形狀分析、特征提取和目標跟蹤等多個領域的技術。從采用的手段來講可以分為直接法和間接法:直接法(或稱基于檢測的),即首先在場景中檢測出每個行人,再計數。第二種稱為間接法(也稱為基于映射或基于度量的),一般是建立場景特征與行人數量的函數關系來測算人數。在行人高度密集的場景中,間接法比直接法更加可靠,主要因為直接法無法有效分割每個行人,特別是在行人高度密集的場景中,從20世紀90年代起到目前為止這近20年里,出現了眾多的視覺跟蹤算法,1988年,Aggarwal和Nanadhakumar對運動圖像分析算法進行了總結,將算法分為兩類,一類是基于光流法的分析,另一類是基于特征點的分析,此后在視覺跟蹤領域中,又出現了許多新的方法,目前,視頻中人數的跟蹤方法大致分為三類,分別是基于區域的跟蹤、基于特征點的跟蹤、基于模板和模型的跟蹤,這種分類方法概括了目前大多數視覺跟蹤算法,因此下面用這種分類方法對視覺跟蹤算法進行介紹。
1.1 基于特征的人數識別
基于特征的人數跟蹤算法選取目標的某個或某些局部特征作為相關時的對象,這種算法的優點在于即使目標的某一部分被遮擋,只要還有一部分特征可以被看到,就可以完成跟蹤任務,另外,這種方法與卡爾曼濾波器聯合使用,也具有很好的跟蹤效果。這種算法的難點是:對某個運動目標,如何確定它的唯一特征集?這也是一個模式識別問題,若采用特征過多,系統效率將降低,且容易產生錯誤,文獻對這一問題進行了討論,在特征提取時,一般采用Canny算子獲得目標的邊緣特征,而采用SUSAN算子獲得目標的角點信息。有關基于特征的跟蹤算法還可參見文獻。在2009年,Albiol使用角點個數作為場景特征來估測人數,首先通過Harris角檢測器檢測出圖像角點,然后進行角點匹配以區分人身上的角點和背景角點,Albiol認為每幀總人數與人身上角點的個數成正比例關系,以此估測人數,算法雖然簡單,但在PETS 2010“人數統計與密度估計”競賽中取得優勝。2010年,Conte等“”基于Albiol的方法提出改進。采用的SURF(Speed up Ro.bust Feature)特征點以代替角點,同時,Conte等不僅考慮到特征點個數對人數估測的影響,還考慮到透視投影(拍攝距離d)密度人群遮掩(特征點密度p)對于估測的影響,同時對所有SURF點進行分組回歸以提高精度,在這個基礎上張茂軍等相比Conte等的研究成果在處理遠距離人群上精度提高,主要因為使用“非最大抑制聚類”——對不同拍攝距離的人群采取不同的聚類標準,有效解決遠距離人群的類過大問題,提取人身上特征點的方法是在掩模上直接檢測特征點,使得特征點個數更加穩定,有利于SVM預測。
1.2 基于區域的人數識別
基于區域的跟蹤算法基本思想是:首先得包含目標的模板(Template),該模板通過圖像分割獲得或是預先人為確定,模板通常為略大于目標的矩形,也可為不規則形狀;然后在序列圖像中,運用相關算法跟蹤目標,對灰度圖像可以采用基于紋理和特征的相關,對彩色圖像還可利用基于顏色的相關。
McKenna等首先利用色彩和梯度信息建立自適應的背景模型,并且利用背景減除方法提取運動區域,有效地消除了影子的影響;然后,跟蹤過程在區域、人、人群三個抽象級別上執行,區域可以合并和分離,而人是由許多身體部分區域在滿足幾何約束的條件下組成的,同時人群又是由單個的人組成的,因此利用區域跟蹤器并結合人的表面顏色模型,在遮擋情況下也能夠較好地完成多人的跟蹤。Marana等認為低密度人群在圖像上體現出粗糙紋理特征,而高密度人群則體現出精細紋理特征。文獻分別采用自組織理論和Minkowsld不規則維度理論從圖像紋理特征預測人群密度。Lin等則結合Harr小波變換(HWT)和支持向量機(SVM)進行行人頭部輪廓檢測,從而達到人數統計的目的。文獻利用顏色和形狀信息實現人頭的檢測,包含兩個步驟:黑色區域提取和形狀分析。通過對HSV空間V通道的像素設置閾值這種方法有效地檢測出黑色區域,同時可以少受光照變化和陰影的影響。使用一種基于形狀描述的快速弧形結構提取方法實現人頭檢測。姬紅兵等提出了一種基于局部特征的目標跟蹤算法,通過多尺度分析方法,根據顏色和空間上的相似性將目標分割為多個區域,每個區域由一個團塊表示,團塊包含了該區域所有像素的顏色均值、形狀和位置,根據團塊特征構造目標的外觀模型,定義團塊的匹配準則,通過團塊匹配進行目標跟蹤。
1.3 基于模板匹配的人數識別
采用模板匹配識別跟蹤方法首先將圖像序列轉換為一組靜態形狀模式然后在識別過程中和預先存儲的行為標本相比較,
部分學者在運動前景提取的基礎上使用了輪廓匹配方法對目標進行定位,文獻使用了半圓模型搜索前景中人頭肩所在位置,然后使用Snake模型與卡爾曼濾波相結合對目標進行跟蹤目標,但Snake模型比較適合單目標的跟蹤,當行人發生重疊時,定位精度會有一定的下降;在此基礎上文獻提出使用含有人harr特征分類器(使用頭肩部上半身樣本),對行人重疊情況下的檢測精度有一定的提升。文獻提出使用垂直攝像頭降低行人之間的遮擋程度,通過對基于AdaBoost的人頭檢測本方法,建立一個良好的人頭檢測分類器。然后根據運動人頭的特征去除誤檢區域。最后配合過線跟蹤實現出入口人數統計。
2 視頻跟蹤問題中的難點
從上面的闡述可以看出,各種方法都有自己的優點和不足,是在文獻基礎上分析得到的幾種具體識別方法的比較結果,由于各種方法在設定理想情況下都有較好的準確率,所以不對各種方法的準確率做出比較,而是從各種算法的復雜度、魯棒性、先驗知識需求、高密度復雜人群適應性(有遮擋出現)等方面進行相對的比較分析,分析結果如表1。
2.1 視覺跟蹤問題中的難點
從控制的觀點來看,視覺跟蹤問題所面臨的主要難點可以歸結為對視覺跟蹤算法在三個方面的要求,即對算法的魯棒性、準確性和快速性。
魯棒性是指視覺跟蹤算法能夠在各種環境條件下實現對運動目標持續穩定的跟蹤。影響人數跟蹤系統魯棒性的最主要原因在于目標處環境的光照變化以及部分遮擋引起的運動目標不規則變形和全部遮擋引起的目標的暫時消失。當運動目標所處環境的光照發生改變時,采用圖像灰度信息或色彩信息作為跟蹤基礎的視覺跟蹤算法一般都會失效,而基于圖像特征的方法往往不受光照改變的影響,如利用運動目標的邊緣信息能有效避免光照變化對運動目標的影響,但在復雜環境中要將運動目標的邊緣和周圍其它目標邊緣區分開來是非常困難的,遮擋問題是視覺跟蹤算法中又一難點問題,利用單攝像機解決遮擋問題也一直是視覺跟蹤領域中的熱點。而利用多攝像機可以在很大程度上解決這一問題,但正如前所述,多攝像機的應用又會引入新的難題。
在視覺跟蹤研究中,準確性包括兩個方面,一是指對運動目標檢測的準確性,另一個是指對運動目標分割的準確性,對運動目標檢測準確性的目的是盡量避免運動目標虛檢和漏檢,從而提高對真實運動目標的檢測概率。由于實際復雜環境中存在大量噪聲。至今已經出現了上千種各種類型的分割算法,但由于尚無通用的分割理論,目前并沒有一種適合于所有圖像的通用分割算法。
一個實用的視覺跟蹤系統必須能夠實現對運動目標的實時跟蹤,這就要求視覺跟蹤算法必須具有快速性但是,視覺跟蹤算法處理的對象是包含巨大數據量的圖像,這些算法往往需要大量的運算時間,很難達到實時處理的要求,通常,簡單算法能夠實現實時跟蹤,但跟蹤精度卻很差;復雜算法具有很高的跟蹤精度,實時性卻很差,一種通用的減小視覺跟蹤算法運算量的方法是利用金字塔分解或小波變換將圖像分層處理。
3 展望與結束語
3.1 展望
實現一個具有魯棒性、準確性和快速性的視覺跟蹤系統是當前視覺跟蹤技術努力的方向。但視覺跟蹤技術在這幾個方面中每前進一步都是非常困難的,因為該技術的發展與人的感知特性的研究緊密聯系在一起,由于目前對人的感知特性沒有一個主流的理論,其數學模型更是難以建立。同時,在計算機視覺中大多數問題是不確定的,這就更增加了視覺跟蹤技術發展的難度。但是,近幾十年來,數學理論方面取得了巨大的進步,因此合理的使用在數學理論方面的知識提高系統的性能能夠很好的解決視覺跟蹤問題。例如現在已經應用在諸多領域的模糊算法,神經網絡等提高系統性能,簡化計算復雜度。
3.2 結束語
關鍵詞:圖像分割;閾值分割;Otsu算法
中圖分類號:TP312
在圖像處理、模式識別和計算機視覺領域,圖像分割對于許多圖像分析和處理的任務來說是一個基石。因為人們往往僅對圖像中的某些部分感興趣,所以希望將這些相關區域分離并提取出來以進行進一步的應用,如進行特征提取和測量。圖像分割是解決此類問題的方法。圖像分割是把圖像分成各具特征的區域并提取出感興趣目標的技術和過程。圖像分割技術是一項計算機領域里的經典的研究課題,計算機視覺中的圖像理解包括目標檢測、特征提取和目標識別等,都依賴圖像分割的質量。
因為分割質量的好壞將直接影響圖像處理的后續工作的進行,所以對圖像分割的研究一直是圖像技術研究中的熱點和難點之一。到目前為止已經出現了許多圖像分割技術,如:基于閾值的分割方法、基于區域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法等。其中閾值分割算法是應用在圖像分割領域的最流行的技術。閾值分割是最早提出的圖像分割方法之一,具有簡單、快速的優點。閾值分割算法的基本思想是通過處于圖像灰度取值范圍之中的灰度閾值將圖像劃分成不同的區域,從而達到分割的目的,其中最常見的一種方法,是將圖像劃分為兩部分,即前景和背景。閾值分割的關鍵是閾值的選取。閾值分割算法具有悠久的歷史,并廣泛應用于圖像分析與目標識別等方面。常用的閾值分割算法有最小誤差法、最大類間方差法、P-tile法、雙峰法、灰度直方圖凹度分析法、最大熵法與Otsu方法等。
在這些閾值分割算法中,Otsu法是最流行的方法之一。由于Otsu法擁有計算簡單、實時性高、魯棒性強等優點,所以被廣泛使用。Otsu法是由日本人大津首先提出的,也稱“大津閾值法”或“最大類間方差法”。該方法是基于圖像中前景和背景兩類別的可分離性提出的。在一些免費的或是商業的軟件上,如GIMP或是MATLAB,都采用Otsu法來進行圖像的自動閾值分割。在圖像閾值分割中,確定最佳的閾值t*往往是基于估計的位置和散度。像其他的方法一樣,Otsu方法采用取樣的方式和樣本分布的偏差來估計位置和散度。然而,如果這些圖像的分布是非常傾斜的或是有異常數據等情況出現時,Otsu分割算法提供的結果通常不令人滿意。為了解決這一問題,我們提出了一種基于中值的Otsu分割方法,并且它與原來的Otsu方法相比可以得到非常令人滿意的結果。
假設在灰度值為L的灰度圖像中,灰度值為i的像素個數用ni表示,總的像素個數用n表示;pi表示灰度圖像中灰度值i出現的頻率,則pi=ni/n。將圖像中的像素按灰度值用閾值t分成兩類,設為C0和C1,其中C0={0,1,…,t},C1={t+1,t+2,…,L-1}。
則這兩類像素出現的概率分別是:
ω0= pi= ω(t),ω1= pi=1- ω(t)
這兩類像素出現的均值分別是:
μ0= i = ,μ1= i =
圖像總均值表示為:
而且我們可以發現:
設ω0和ω1代表前景和背景的概率。μ0,μ1,μT表示前景,背景和整個圖像的灰度值的平均值。設表示兩類的類間方差,則
最終,最佳閾值t*為
傳統的二維Otsu法是通過均值來確定最佳閾值,對于那些直方圖呈雙峰分布的圖像,該算法具有十分優秀的分割效果。然而,因為均值的魯棒性較差,若直方圖是單峰的或是接近單峰的時候,亦或是有異常數據時會失敗。
我們知道,當直方圖的分布是傾斜的,或當有異常數據等情況出現時,中值比均值具有更強的魯棒性。所以我們用中值來代替原式中的均值,以嘗試獲得更好的閾值和分割結果。
原式中的μ0,μ1,μT可以被中值m0,m1,mT所替代,于是在C0和C1的類間方差可以重寫為
最優的閾值t*為
在驗證本文的實驗中,傳統的Otsu方法和我們改進的Otsu方法都在Visual C++ 2008軟件上進行測試,應用的計算機的CPU型號是AMD Athlon 7750 Dual-Core 2.7GHz,內存是2G RAM,系統是Windows XP platform。通過實驗我們可以發現改進的Otsu方法得到的閾值分割的結果是令人滿意的,而傳統的Otsu方法得到的閾值分割的結果并不理想。
結論:在本文中,我們提出了一種基于中值的Otsu圖像閾值分割算法。傳統的二維Otsu方法對于雙峰分布的直方圖提供了令人滿意的結果,但是,如果直方圖是單峰的或是接近單峰時所得到的結果并不理想。我們知道,當直方圖的分布是傾斜的,或當有異常數據等情況出現時,中值比均值具有更強的魯棒性。在這樣的情況下,我們用中值取代均值來進行背景和前景以及整個圖像的Otsu法分割。與原來的Otsu方法相比,這種方法提供了更優的閾值和令人滿意的閾值分割的結果。
參考文獻:
[1]W Niblack.An Introduction to Digital Image Processing[M].Prentice Hall,Englewood Cliffs,NJ,1986:115-116.
[2]J Sauvola and M Pietikainen.Adaptive Document Image Binarization[J].Pattern Recognition,2000,33(2):225-236.
[3]B Gatos,I Pratikakis and S J Perantonis.Adaptive Degraded Document Image Binarization[J].Pattern Recognition,2006,39(3):317-327.
[4]F Moghaddam and M Cheriet.A Multi-scale Framework for Adaptive Binarization of Degraded Document Images[J].Pattern Recognition,2010,43(6):2186-2198.
[5]C H Chou,W H Lin and F Chang.A Binarization Method with Learning-build Rules for Document Images Produced by Cameras[J].Pattern Recognition,2010,43(4):1518-1530.
[6]Y T Pai,Y F Chang and S J Ruan.Adaptive Thresholding Algorithm:Efficient Computation Technique Based on Intelligent Block Detection for Degraded Document Images[J].Pattern Recognition,2010,43(9):3177-3187.
[7]Chierr Hsing.Chou,Werr Hsiung Lin,Fu Chang.A binarization method with learning build rules for document images produced by cameras[J].Pattern Recognition,2010,43(4):1508-1530.
【關鍵詞】視頻檢索;信息融合;視頻檢索;運動目標;監控視頻
一、引言
在計算機視覺領域中,視頻圖像中運動目標檢測與分割是一個重要的研究課題,它是對視頻圖像做進一步處理、分析和理解的基礎,在機器人導航、智能監控系統、交通監測、醫學圖像處理以及視頻圖像壓縮和編碼等領域有著廣泛的應用。在許多監控場所,場景中的背景往往比較復雜,具體到每個像素點,其運動或為多模態或為單模態。數據規模的龐大和增長的快速是學術界和商業應用中關注的新熱點,信息時代,數據結構日益繁雜,數據規模急劇膨脹。數據結構的繁雜體現在數據模態種類、模態間融合形式的多樣化上,特別是有了用戶的參與,數據內容更加豐富。
二、視頻檢索
視頻檢索就是在視頻數據庫中找到與查詢相關的視頻片段,由于視頻具有復雜的層次結構并且其中存在著圖像聲音等其他多媒體信息,所以視頻檢索較其他類的多媒體檢索來說更加復雜。目前國內基于視頻媒體信息檢索的研究還處于初級階段,從各類文獻檢索較少找到相關的比較成熟的項目和論文,個別研究者只涉及了基于內容的視頻媒體檢索技術的一個或幾個分支。
三、基于一種快速運動目標視頻檢索
這種動態的背景模型可以很好的適應光線的變化,緩慢移動的目標等,它最大的特點是可以處理由于背景的來回運動而灰度分布呈現多峰的情況。然而這種算法需要對每一個點都用一個模型來描述,在不降低檢測結果的前提下提高實時性。具體做法是融入空間相關性和融入時間相關性。在視頻圖像背景區域固定不動時,常用的運動目標檢測方法有光流法、相鄰分差法和背景差分法。
四、基于關系代數的多模態信息融合視頻檢索
文本檢索模塊主要針對視頻中包含的文本信息進行查詢,它將自動語音識別得到的腳本信息,字符識別得到的畫面文字信息和從視頻解碼中得到的字幕信息進行綜合整理,并對應到相應的鏡頭,然后利用布爾查詢方法針對查詢處理得到的關鍵詞在已建立的視頻文本特征索引結構上進行查詢。該模塊利用W = TF ×IDF計算查詢詞在查詢結果中的權重,并利用其計算每一個查詢得到的鏡頭的置信度,按照置信度的值對結果進行排序,其中TF和IDF分別代表單詞頻率以及逆文檔頻率。
五、基于直方圖熵差的鏡頭檢測方法
直方圖熵差作為鏡頭檢測度的鏡頭檢測方法,使用連續幀間熵差檢測突變,使用隔幀熵差擴大漸變效果,使用滑動窗口法計算出適應閾值可同時進行突變和漸變鏡頭的檢測,使用最大熵確定分段全局最佳閾值消除滑動窗口法局部極大值造成的誤撿。鏡頭邊界檢測的基本思想是通過比較視頻序列的幀間差異來尋找鏡頭邊界變化的規律。基于直方圖方法不使用像素位置信息,只是考慮像素亮度和顏色的統計值,這樣就降低對噪聲和運動的敏感性,是目前最常用的鏡頭檢測方法。
六、視頻多特征的綜合檢索方法
基于內容視頻檢索還要解決多種檢索手段相結合的問題,以提高檢索的效率。對于單一特征檢索手段,由于其約束信息不足,在返回目標視頻的同時往往會返回大量其他也滿足此檢索要求的視頻。采用多個檢索手段相結合的方法無疑可提供更多的約束而使得返回視頻中目標視頻的比率得到提高,但檢索手段間的融合是所要解決的問題。
七、結束語
基于運動目標的監控視頻檢索是一種基于對象的視頻檢索方法,通過對監控視頻的分析獲得運動目標,以運動目標為對象提取特征,在一定程度上提高了檢索準確率。該方法具有一定的實用性,為警方在監控視頻中查找嫌疑車輛或嫌疑人員提供幫助。基于內容的視頻檢索是當前信息檢索的研究熱點,它以圖象處理、模式識別、計算機視覺、圖象理解等領域的知識為基礎,從認知科學、人工智能、數據庫管理系統及人機交互、信息檢索等領域,引入新的媒體數據表示和數據模型,實現對視頻數據的有效檢索。
2013年全國大學生創新創業訓練計劃立項項目(2013XKCX209)。
參考文獻:
[1]張靜,俞輝.一種多模態信息融合的視頻檢索模型[J].計算機應用,2008,1.
[2]張麗花.基于內容的視頻媒體信息檢索方法及框架研究[J].碩士不也論文,2009,4.
【關鍵詞】年齡估計、圖像處理
【中圖分類號】TP75【文獻標識碼】A【文章編號】1672-5158(2013)02-0170-01
1 引言
人臉年齡估計是計算機視覺領域和圖像處理領域的重要研究課題,一直受到諸多研究人員的關注。所謂人臉年齡估計就是根據人臉圖像提取年齡特征,采用計算機技術進行相關處理分析,自動判定人臉圖像年齡的計算機視覺技術。人的年齡是一個隨時間變化的長期的過程,在人的外部表現比較明顯,如:人臉輪廓的變化、人臉皮膚的變化等,隨著年齡的增長,人臉外貌會產生很大變化。
2 人臉年齡估計的方法分類
人臉年齡估計方法根據不同分類標準可分成不同的類別。多數分類是根據提取的特征進行的,可以分成三類:基于局部特征的人臉年齡估計方法,基于整體特征的人臉年齡估計方法,局部特征和整體特征相結合的人臉年齡估計方法。本文根據年齡估計發展歷程進行分類:基于概率模式的方法,基于年齡函數的方法,基于年齡模式子空間的方法和其他新方法在年齡估計中的應用四類。
2.1 基于概率模式的方法
Hayashi等人[2]研究了基于Hough變換的皺紋紋理和人臉圖像膚色分析的年齡和性別識別,由于主要采用皺紋特征進行分析統計,加上同齡男女皺紋相差巨大,所以精度不高。Lga等人開發一個用于估計年齡和性別識別的系統[3],采用Gabor小波提取臉部特征,用支持向量機做為分類器進行年齡估計,得到較好效果。Lanitis等人[3]提出了一種定量的年齡分類器評估方法,可以合理而準確地估計未知人臉的年齡,但其人臉庫中的圖像僅限于 0~30歲,很難進行整個年齡段的年齡估計。
概率模型方法是最早使用在年齡估計中的一種方法,早期進行年齡估計主要是通過一些簡單的特征如紋理的數量、顱骨的形狀比例、顏色信息等進行統計分析,得出這些特征與年齡之間的簡單關系,仍后根據這些關系進行年齡分類。這種方法簡單、計算量小,但是估計精度不高,沒有什么使用價值。
2.2 年齡函數方法
Lanitis et al [5]提出了第一個真正的年齡估計算法(年齡函數法),他們的年齡估計模式是采用一個年齡函數:通過對個人不同年齡的人臉圖像進行訓練,從而得到一個確定的二次年齡函數。實驗結果表明,這種方法對年齡估計十分有效。
胡斕,夏利民在文獻[6]中提出了基于Boosting RBF神經網絡得到年齡估計函數的方法,文中首先用NMF方法提取人臉特征,然后用徑向基函數神經網絡RBF(Radial Basis Function)逼近的方法,確定一個人臉圖像特征與相應年齡之間的估計函數。樊莉靜和張建明提出了一種基于局域二值模式LBP與SVM回歸相結合的年齡估計方法。張建明[4]于2010年又提出了提出了一種基于優選LBP與加權SVM回歸相結合的年齡估計方法。
實驗表明年齡函數方法要比基于概率模型的年齡特征分類方法性能要好,主要是基于概率模型方法沒有考慮年齡變化的獨立特征。但是年齡函數也有其缺陷:第一,采用二次函數表示人臉隨年齡變化的規律主要是憑經驗,沒有理論證明;第二,年齡函數沒有很好的應用人臉隨年齡變化的時序特征;第三,訓練的年齡函數是單獨的個人年齡函數,而不同人的人臉隨年齡變化差異巨大;第四,待估計年齡的人臉圖像的年齡函數只是通過已知年齡函數的線性組合,而不是從某個模型生成年齡函數。
2.3 子空間模式方法
子空間模式方法主要有三類:線性判別分析,非負矩陣分解算法和年齡模式子空間。線性判別分析是一種常用的子空間分析方法,它通過最大化樣本類間差異,最小化樣本類內差異,提取最具判別能力的低維特征,屬于有監督的學習方法。高峰等人提出一種基于Gabor特征和模糊線性判別分析(模糊 LDA)相結合的人臉年齡分類方法。
Xin Geng等人先后提出了一種基于子空間的自動年齡估計方法年齡模式子空間AGES(Aging Pattern Subspace),AGES是單個人的人臉圖像在時間序列上的排列。在單個年齡模式中所有的人臉圖像都必須是一個人的,所以一般的年齡模式都是不完整的。
子模式空間方法比年齡函數方法性能要好,它的優點表現為:它很好的應用了人臉隨年齡變化的時序特征;有相應的理論基礎;可以構建完整的年齡估計模型用于人臉年齡估計。但該方法的缺點是計算量大,很難應用于實際。
3 結束語
人臉年齡估計是人臉識別領域的一個新的研究方向,近年來已經成為一個研究熱點。由于發展時間不長,所有存在很多問題需要解決,首先是需要建立比較完整的人臉年齡估計圖像數據庫,其次是尋找好的預處理方法和年齡特征提取方法。并且人臉年齡估計技術的發展在推動社會發展方面起著重要作用,并對其他技術有一定的促進作用。在今后的工作中,我們要努力需找圖像預處理方法、年齡特征提取方法和分類模型用以提高年齡估計的精度。
參考文獻
[1] H.K.Young,V.L.Niels, “Age Classification from Facial Images,”Proceedings of IEEE Conf.on Computer Vision and Pattern Recognition. Seattle, Washington,U. S.A,1994:762-767
[2] J.Hayashi,“Age and Gender Estimation Based on Wrinkle Texture and Color of Facial Images,” Proceedings of the 16th International Conference. 2002:405-408
[3] Lanitisa, Taylorc,Cootesytf,“Toward automatic simulation of aging effects on face images”IEEE Trans on Pattern Analysis and Ma chine Intelligence, 2002,24 (4): 442-445
[4] Jian-Ming Zhang,Fang Fang,Li Chen,Feng Qing-Yang, Xiao Liu,“Age estimati on based on selected local binary and weighted support vector machine,”Application Research of Computers,Vol.27,No.1 ,Jan.2010
Abstract:There are three stages about the development of video monitoring system, simulative video surveillance system, digital video monitoring system and digital control system, and the intelligent video surveillance system is the future and hope of video monitoring system. Intelligent video analysis technology is the key technology of intelligent video surveillance, the core of changing passive surveillance into active identification.
關鍵詞:視頻監控系統,智能視頻分析系統,智能視頻分析技術
Key words:video monitoring system; intelligent video analysis system; intelligent video analysis technology
中圖分類號:TP27 文獻標識碼:A文章編號:1006-4311(2010)17-0097-02
0引言
俗話說“百聞不如一見”,視覺信息在人類活動所涉及的信息中占據的比重最大,而且由于其空間和結構特性使其不能為任何其他信息所替代。智能視頻監控(IVS,Intelligent Video surveillance)技術源于計算機視覺(CV,Computer Vision)技術,作為人工智能(AI,Artificial Intelligent)研究的一個分支,是一項新興的安防技術,有著廣闊的發展前景。智能視頻監控技術是指利用計算機視覺的方法,在不需要人為干預的情況下,通過對視頻序列進行實時自動分析,實現對目標的定位、識別和跟蹤,并在此基礎上進行行為分析,以達到完成日常管理和對異常情況預警的目的。基本的智能視頻監控系統主要由視頻數據采集、視頻數據編碼、視頻數據傳輸以及視頻數據分析處理和異常行為報警等部分組成。進入21世紀以來,國際反恐斗爭的形勢日趨嚴峻,智能視頻監控作為安防系統的重要組成部分,廣泛應用于各種公共場所和大型活動之中。我國的智能視頻監控技術也在“平安城市”項目、奧運安防和上海世博會安防等各行業安防項目的強勁刺激和拉動下,進入了蓬勃發展階段。
1智能視頻監控的發展歷程及研究現狀
近三十年來,視頻監控系統的發展經歷了模擬視頻監控系統、數字視頻監控系統、全數字化監控系統(網絡攝像機和視頻服務器)三個階段的演變,得到了巨大的發展。
1.1 模擬視頻監控系統早期的視頻監控是以攝像機、監視器(電視機)組成的純模擬的視頻監控系統,稱為閉路監視系統。隨后出現了視頻切換設備,閉路監視系統加入多路視頻切換、攝像機云臺/鏡頭控制和報警聯動等數字控制功能,實現了數字控制的模擬視頻監控系統,稱為第一代視頻監控系統。
1.2 數字視頻監控系統20世紀90年代中期,以DVR(Digital Video Recorder)為代表的第二代視頻監控系統出現在視頻監控市場上,大大提高了用戶對錄像信息的處理能力。DVR使用戶可以將模擬的視頻信號進行數字化并存儲在硬盤而不是盒式錄像帶上。用戶還可以通過DVR控制攝像機的啟閉,從而實現移動偵測功能,對于報警事件以及事前/事后報警信息的搜索也變得十分簡單。
1.3 網絡視頻監控系統進入21世紀以后,隨著網絡帶寬、計算機處理能力和存儲器容量的迅速提高,以及各種實用視頻信息處理技術的出現,視頻監控進入了全數字化的網絡時代,稱為第三代視頻監控系統,即全數字視頻監控系統或網絡數字視頻監控系統。然而由于作為監控者的人類自身生理上的弱點和視頻監控設備在功能和性能上的局限性,使得各類視頻監控系統均不同程度存在精確度差、報警不及時、誤報和漏報等現象,以至系統的安全性和實用性得不到保障。因此,能夠每天連續24小時實時智能監視,并能夠自動分析攝像機捕捉的圖像數據,當異常發生時又能向保衛人員準確及時地發出警報的智能視頻監控系統應運而生,這樣即可以有效預防犯罪發生,同時也減少了雇傭大批監視人員所需要的人力、財力和物力的投入。隨著計算機視覺技術的不斷發展和計算機處理能力的迅速提高,智能視頻監控系統以其快速從海量視頻信息中自動分析和抽取關鍵信息的優勢,迅速占領國內外安防市場。
2智能視頻監控系統的關鍵技術及優勢
所謂智能視頻監控,就是指采用智能視頻分析算法,利用計算機視覺技術對視野范圍內的目標進行行為的分析和內容提取,當發現符合某種規則的行為(如越界、游蕩、滯留等)發生時,自動發出提示信號,采取特定對應措施(如聲光報警、移動監測并記錄)或通知監控人員進行人工干預等。作為智能視頻監控的關鍵技術,智能視頻分析技術可分為動態視頻目標檢測定位、動態視頻目標跟蹤、動態視頻目標分類識別、行為理解與描述、異常事件分析等部分。
動態視頻目標檢測技術是智能視頻分析的基礎,主要是指通過監控畫面識別目標區域的圖像變化,從監控場景中將目標提取出來。主要方法是背景減除法、時間差分法、光流法、特征檢測法等。動態視頻目標跟蹤是指結合物體的外表和運動特性,實現對不同形狀、顏色、不同背景的目標進行識別的技術。常用的方法有基于運動估計的跟蹤、基于特征的跟蹤、基于主動輪廓的跟蹤等。動態視頻目標分類識別包含目標的識別、目標行為模式的分析、目標的狀態分析等。行為理解與描述是最具挑戰的研究方向,因為觀察人的最終目標就是分析和理解人的個人行為、人與人之間及人與其它目標的交互行為等。近年來,利用機器學習工具構建人行為的統計模型方面有了一定的進展,但特征選擇和機器學習仍然是行為理解的難點。主要方法是狀態空間法和模板匹配方法。異常事件分析報警則是智能視頻監控的主要目的,是視頻監控智能化的必然要求。智能視頻監控系統較于以往的視頻監控系統有很大的優勢,它在很大程度上彌補了普通智能視頻監控系統的缺陷,變被動監控為主動識別。智能視頻監控系統的優勢很明顯,如全天候可靠的視頻監控,減少了人為因素造成的誤報、漏報,將監控人員從"目不轉睛"和主觀的分析判斷模式中解放出來。通過智能視頻分析模塊對監控畫面的自動分析,實現對異常事件的主動編碼、報警和保存。提高報警精度和響應速度,前端設備集成強大的數字圖像處理功能,并運行高級的智能視頻分析算法,使用戶可以更加精確的定義安全威脅的特征,識別可疑活動,在安全威脅發生之前提示監控人員提前做好準備,并根據實際情況驅動預案生成和執行。智能視頻監控還可以有效的擴展視頻資源的用途,將視頻資源應用到非安全領域中,如大型活動的人數統計、重要人物身份識別等。
3智能視頻監控系統的應用及發展方向
智能視頻監控系統的應用主要分為兩大類:安全相關類應用和非安全相關類應用。安全相關類應用主要是在安防系統中。伴隨重大政治、經濟、體育活動的增加,恐怖襲擊的頻繁發生,市場上對此類應用的需求不斷增長。主要包括:高級視頻移動偵測(Advanced VMD)、物體追蹤(Motion Tracking)、人臉識別(Facial Detection)、車輛識別(Vehicle Identification)、非法滯留(ObjectPersistence)等。目前,智能視頻監控系統已經在高端的安防市場有了多年應用,如在機場、監獄、軍事基地和其他大型基礎設施中。以機場為例,它的周界太過分散,監控人員無法完全監控到所有周界。這時,智能化的監控系統就可以充分展示它的才能了,它能夠自動探測在某些特定場所和時間內進入或離開某一區域的可疑物體。除了安全相關類應用之外,智能視頻監控系統還可以應用到非安全相關類應用當中。這些應用主要面向服務和零售行業,可以看作管理和服務的輔助工具,有效提高服務水平和營業額。這類應用主要有:人數統計(People Counting)、人群控制(Flow Control)、注意力控制(Attention Control)和交通流量控制(Traffic Flow)等。例如一些賓館或商場大堂的監控錄像可以通過人數統計功能,計算客流量和銷售情況;通過人臉識別等功能加強對VIP客戶的服務,智能視頻監控系統自動識別VIP客戶的特征,并通過客服人員及時做好服務工作,有效提高工作效率和工作質量。
目前,大部分智能視頻監控系統的核心算法仍然掌握在歐美等先進國家,并迅速形成了相對成熟的產品應用于安防系統中,如美國的Vidient、ObjectVideo,以色列的Mate,日本的NICE等。據IMS Research調查顯示,世界范圍內IVS(Intelligent Video System)的市場占有率為35%~36%,其中美國的OV(Object Video)就占有了9%左右。在國內,智能視頻監控也得到了長足的發展,如中國電信“全球眼”、中國網通“寬世界”、中國鐵通“智控眼”等品牌,大多面向行業用戶開展,市場收入不菲,競爭越來越激烈。2008年奧運會和2010年上海世博會更是使智能視頻監控系統得到了廣泛的應用和發展。
4結束語
綜上所述,智能化是視頻監控發展的必然趨勢,智能視頻監控系統正受到越來越多的關注,需求量也在不斷增加。雖然,目前仍存在許多問題,如:圖像質量問題、安全檢查問題等。但隨著智能視頻分析技術的不斷發展,各種硬件費用的降低和通信運營商的投資發展,智能視頻監控系統將得到更廣泛的應用和發展。現在,它已完成了2008奧運安防的重大使命,也將為2010的"平安世博"保駕護航。
參考文獻:
[1]郭瑞霞, 吳運新,宋躍輝.智能跟蹤視頻監視系統研究[J].電視技術, 2006,(2):74-77.