電腦視覺監控產學研聯盟

The Industrial Liaison Program Of  VBIE

 

2011年 10月 第52期

電子報

 

 

 

 

 

 

發行單位:電腦視覺監控產學研聯盟

出刊日期:2011年09月

本期主編: 王聖智

本期聯絡人: 楊耀萱

03-5712121轉56608

新竹市大學路1001號

國立交通大學資訊工程學系

電腦視覺監控產學研聯盟網站: 

http://vbie.eic.nctu.edu.tw/

 

         

在停車場中自動偵測、記錄與搜尋入侵車輛事件之系統

基於異質攝影機之夜間視覺定位(續)

停車場空位偵測概述

行動輔助機器人 i-Go: 銀髮族的好夥伴

 

 

在停車場中自動偵測、記錄與搜尋入侵車輛事件之系統

在停車場中,因為每隻監控攝影機所監視的車輛不只一台,因此不易偵測每輛車周遭的可疑情況。另調閱監控影片觀看某事件發生畫面時,如果影片很長,則需很多人力與時間來尋找該事件之視訊片段。為解決此問題,我們發展了一套結合停車場視訊監控系統與車上攝影系統,用資訊隱藏技術,來將事發當時的車輛資訊藏入監控視訊中,以此來對停車場中的車輛作安全保護,圖1-1為停車場監控系統與車上攝影系統之示意圖。

圖1-1、系統示意圖

本系統可分為三個部份:()車上攝影系統,()車牌資訊即時嵌入單元,()事件發生視訊片段快速檢索單元。 
該系統功能包括:
偵測車內外入侵狀況。
將車上攝影系統所傳送之車牌號碼即時嵌入監控視訊中。
利用車牌號碼在視訊中快速搜尋事件片段。

在車上攝影系統方面,我們將環場攝影機裝置在車內,並連接至車上PC,再利用背景相減法來偵測是否有人在窺視車內或是入侵車內的行為,若偵測到有上述的行為發生時,則車上PC會自動傳送該車輛的車牌號碼至停車場的中控系統,圖1-2為車上攝影系統偵測到有窺視車內行為。

(a) (b) (c)

圖1-2、車上攝影系統。(a) 車上所拍畫面:無入侵狀態。(b) 車上所拍畫面:有侵入狀態。(c) 偵測結果。

在車牌資訊即時嵌入單元方面,中控室在接收到車輛所傳來的車牌訊息後,會將此資訊藏入目前正在監控的視訊影片中,我們將利用管理員所提供的密碼在此視訊影片中選取MB(Macroblock),在選取出MB後,耤由修改MB中的頻率域係數,來藏入車牌資訊,除了車牌資訊外,此系統也會同時將當時的日期以及時間一併藏入該監控視訊中。

在事件發生視訊片段快速檢索單元方面,我們只要輸入車牌號碼和管理員的密碼,即可搜尋出該車輛的事件發生時間,並且可直接播出事件發生時的片斷,圖1-3為本系統的搜尋系統介面。

圖1-3、事件搜尋系統介面

在系統的流程上,首先,我們利用車上攝影系統,來隨時偵測車內及車輛周圍狀況;當車子遭受不遇期情況時(如:有人在車窗上窺視或侵入車內時),該攝影系統即能偵測出來,並將該車輛的車牌號碼傳送至停車場監控系統。隨後,該系統隨即利用資訊隱藏技術,將號碼藏入當時視訊片段之中。並且在事後,本系統即可利用該車牌當索引,來快速找到該事件的視訊片段,而不必對全部視訊做從頭到尾的搜索,圖1-4為本系統之流程圖。

圖1-4、系統流程圖

 

基於異質攝影機之夜間視覺定位(續)

前情題要

本研究利用近紅外和中紅外線影像進行人物定位,目的在於克服僅使用其中一種影像時,資訊容易不足的問題。利用近紅外線與中紅外線影像間的對應關係,進行影像對位與座標定位的部分,已於第45期電子報中介紹。本期的電子報將接續介紹如何將中紅外線影像中的目標點位置轉換為環境空間座標。

圖2-1  目標物定位系統流程圖

目標物定位

利用45期電子報中所介紹的方法取得中紅外線影像中的目標點(例如:人物站立點)後,利用兩種影像間的對應關係,把目標點座標轉換到近紅外線影像中,接著使用利用所提出的相對定位法根據此座標中目標點與定位特徵點的相對位置進行定位,並進一步的轉換為環境空間座標的位置以方便顯示。

以攝影機座標系為中心之平面轉換定位方法

於系統初始化時,我們需取得中紅外線與近紅外線影像間的轉換矩陣,該矩陣可供將目標點轉換至近紅外線影像中。此外我們需要近紅外影像與空間中參考平面的轉換矩陣Hcam,以用來計算目標點於環境空間之座標。圖2-2(a)是以環境空間座標系來進行呈現,黑色的點為攝影機所在位置,紅色的五個點是定位特徵點,綠色的點Ptarget為欲求出的目標點位置。由於我們知道影像上所偵測到的目標點與定位特徵點座標,因此我們可利用Hcam將這些影像上的點轉換到攝影機座標系,如圖2-2(b)所示。則我們可以計算出V1V2,又因為我們知道V1V2V1V2為不同座標系下的相同向量,若我們可以求出兩個座標系之間的轉換關係,則可以求得Ptarget。因此我們的目標是找出V1轉換到V2的轉換矩陣M(包含旋轉與縮放)之後就可用V1求出V2。首先計算V1V2 之間的夾角θ,利用式 (1) 可以計算出cosθsinθ 的值。

由於向量的起點相同, 所以兩向量沒有平移,再用式(2)求出向量縮放的比例R,就可以求得轉換矩陣M式 (3)。使用MV1´作用得到V2´,再利用定位特徵點在環境空間座標的位置,就可以求出目標點在環境空間的座標。

(a) (b)

圖2-2 (a) 環境空間座標系,(b) 攝影機座標系

顯示結果

計算出目標點在環境空間的座標後,我們以一個空心圓來代表目標點的位置,並同時顯示攝影機的位置、朝向、監控範圍及攝影機所拍攝到的定位特徵點,讓使用者能快速了解監控環境的狀況,也能同時確認哪些區域是目前監控的死角。

(a) (b)

圖 2-3 (a) 紅外線影像中的特徵點,(b) 以環境空間座標系顯示定位的結果

 

 

 

停車場空位偵測概述

過去有許多以影像是為基礎的停車場空位偵測技術被提出來,而這些過去的方法可以大致區分為三大類方法: (1)以車輛為導向的方法、 (2)以空位為導向的方法、(3)以分類為導向的方法。以下我們分別簡介這三類方法

a. 以車輛為導向的空位偵測方法

以車輛為導向的方法主要是以停放在停車格上的車輛為偵測目標。這類方法藉由開發不同的車輛偵測演算法來判斷車輛是否出現在停車格上。譬如[Schneiderman, 2004]使用一種特定物件偵測的貝士(Bayes)演算法,根據許多的訓練影像資料來學習物體不同部位的統計特性,進而得到最後的車輛偵測器(圖3-1)。而[Viola, 2004]所提出以Adaboosting 為基礎的物件偵測演算法,也可以被運用於車輛的偵測上。另外[Tsai, 2007]提出一套以物體色彩為基礎的車輛偵測法來快速過濾可能的車輛候選位置,接著根據物體角資訊、物體邊資訊、以及小波紋理資訊來驗證車輛候選位置的狀態。最近,[Felzenszwalb, 2010]提出以向量支持基(SVM)為基礎的物件偵測演算法,這個方法認為一個物體可拆解成多個重要部位,而這些多個部位透過一種具有彈性的結構來構成特定物體(圖3-2)。他們的方法並進一步提出自動學習物體重要部位的方法,以及學習物體組成結構的演算法。

圖一. [Schneiderman, 2004] 的偵測結果,綠色部分判別為是車的部分。

圖3-2. [Felzenszwalb, 2010] 的偵測流程圖

b. 以空位為導向的空位偵測方法

以空位為導向的方法主要是以了解停車格的特性為主,藉此直接偵測空白的停車格。一般而言,停車場的監控攝影機大多是靜止不動的。在這種情況下,有許多非常有效的背景相減演算法,[Funck, 2004]提出以主要成分分析法(Principal Component Analysis)為基礎的空位偵測演算法(圖3-3),透過主成分的分析可以有效地將大量的背景模型改以少量的主成分組合來表示,進而達到記憶體需求量及運算量的降低。

(a) (b)

圖3-3. [Funck, 2004]中 (a) Input image (b) Reconstructed background

另一方面,部分以空位為導向的空位偵測方法認為空的停車格往往擁有較為均勻的影像外貌,他們便根據這個特性來設計空位偵測演算法。例如[Yamada, 2001]量測一個停車位裡破碎切割區域的面積,如果該影像區域越破碎,便代表該區域外貌分布越不均勻。之後,[Fabian, 2008]提出類似[Yamada, 2001]的方法,但在他們的方法中額外加入車輛間相互遮蔽的討論,藉以減少相鄰車輛遮蔽現象對系統效能的影響。然而,為了提升偵測的穩定性,[Huang, 2011]提出一套貝氏階層式的偵測演算法來分析停車場的空位狀態,將物件間遮蔽的因素與戶外光線變化的影響一併考量,藉此能達到更好的空位偵測效果(圖3-4)。

圖3-4. Huang 提出之系統流程圖 [Huang, 2011]

c. 以分類為導向的空位偵測方法

另一類的研究嘗試使用物件分類的技術來分析停車位的停放狀態。例如,[Dan, 2003]利用向量支持基(SVM)的技巧設計了一組停車格空位分類器,他們串接屬於同一車格的像素色彩值當成主要的特徵向量,並依據訓練而得的分類器來辨別停車格狀態。接著,[Wu, 2007]擴展了向量支持基所訓練出來的車格空位分類器,將相鄰車輛間相互遮蔽的特性訓練到分類器中,因而提升偵測的正確性(圖3-5)。他們的方法將三個相連的停車格視為一個辨識單位,並將橫跨三個車位的色彩值方統計圖(color histogram)當成主要的分類器特徵,透過同時考量相鄰的三個車位,得以比較有效地解決相互遮蔽的問題。

圖3-5. [Wu, 2007]提出之系統架構圖


行動輔助機器人 i-Go: 銀髮族的好夥伴

近年來,人口老化的問題日益嚴重,照顧銀髮族的生活起居已成為一個重要的課題,隨著機器人科技的進步,各式各樣的行動輔助機器人之發展越趨成熟。在本文中,我們介紹自行研發之行動輔助機器人i-Go,其兼具使用者意圖偵測、環境偵測與行動導引之功能,先透過建構意圖偵測模型來擷取使用者的操作意圖,並且因應使用者的操作意圖,另一方面,當偵測到前方有障礙物時,其可輔助使用者閃避障礙物,安全導引使用者到達指定的位置。經實地之實驗驗證,所開發的行動輔助機器人之使用者意圖偵測、環境偵測與行動導引等功能,確實有其一定之功效,未來希望能夠幫助行走和操控能力較差的銀髮族,提供一個完善且安全的智慧型行動輔具系統。

以下我們將在介紹所發展的行動輔助機器人,再依序介紹意圖偵測握把、避障導引功能,並進行實驗,針對所達成的效果進行分析。

我們所開發的行動輔助機器人『i-Go』如圖4-1所示,所設計行動輔具車體結構是以鋁合金管為材料,其高度可以上下調整,以配合不同身高之使用者;下車體成∩型,可以讓使用者安全行走在輔具中∩型中間,以提供較好的輔助與穩定性

圖4-1 行動輔助機器人i-Go

我們所研發之力感測握把如圖4-2(a)所示,左右握把各附有10個力感測器,力感測器與使用者握力接觸位置分布圖,如圖4-2(b)所示。當使用者在行走時,會依其行走意圖在握把上施予不同的分佈力,為方便觀察分佈力,我們將圓柱形握把上的握力分佈展開為平面分佈圖,圖4-3為使用者分別以前進、停止與左轉等行動意圖,握把感測器所偵測到的握力分佈圖,我們可觀察到當使用者前進時,握力集中在下方,而當使用者想停止時,握力集中在上方,另一方面,當使用者想左轉時,左手握力集中在上方,而右手握力集中在下方。因此,使用者意圖確實可由力感測握把即時偵測呈現。

(a)力感測握把實際圖 (b)力感測握把示意圖

 圖2 (a)力感測握把實際圖與(b)力感測握把示意圖

(a) 前進意圖訊號分佈圖

(b) 停止意圖訊號分佈圖

(c) 左轉意圖訊號分佈圖

圖4-3 (a)前進意圖訊號分佈圖,(b)停止意圖訊號分佈圖,(c)左轉意圖訊號分佈圖

經由握把分佈力,我們想要得到的是使用者對輔具的操作意圖,而最基本的操作意圖包括直線推動和轉彎,以對應的就是使用者施予輔具的推力和旋轉力矩,所以必須建立一個模型將量測到的握力轉成操作意圖。經由上述推論,我們將建立一個意圖偵測模型,其中輸入項為20維的握力資訊和2維的速度資訊,輸出項為推力和旋轉力矩,因為輸入項和輸出項的關係式無法透過明確數學式來表達,鑒於模糊系統不需要受控體明確數學模式的優點,並能針對非線性系統做處理,因此我們透過模糊模型來建立這個意圖偵測模型。如圖4-4所示,首先透過Principal Components analysis降低輸入項的維度,再使用適應性神經網路模糊推論系統(Adaptive Neural Fuzzy Inference Systems, ANFIS)的方法,經由Fuzzy C Means將資料庫做分群,針對每個群集設定相關的fuzzy rule,透過神經網路的誤差倒傳遞法,修正出合適的內部參數,並建立出理想的意圖偵測模型。

圖4-4 意圖偵測模型架構

避障導引功能主要協助使用者行走時避開障礙物,並且到達目標點,其導引方式為,先應用雷射感測器掃描障礙物距離,依此距離資訊進行路徑規劃,機器人再以使用者推力大小,計算適當的二輪轉向力矩,輔助使用者安全行走。由於使用者推力與障礙物距離會無法預先知道,因此,我們應用模型預測控制方法來進行避障導引,如圖4-5所示,在每一個取樣時間,我們首先透過距離資訊,所設定的目標點和當下i-Go狀態計算出合宜的參考點,再將此參考點,使用者推力和當下i-Go狀態透過模型預測控制,進行路徑規劃與被動控制,算出一個合宜的剎車力矩傳送到實際的行動輔具,來達到閃避障礙物以及導引的功能。

圖4-5 避障導引控制系統

以上述方法進行避障導引實驗,實驗場景如圖4-6(a)所示,在走廊上我們擺置了些許的障礙物,使用者以矇眼的方式推行動輔助機器人如圖4-6(b)所示,實驗中找到三名受測者,年齡介於23~27歲,使用者的資料如表4-1所示。為了呈現出位置以及朝向角控制,我們將目標點設置在通過長廊後的轉角處,起點位置設置為(0,0),朝向角90度,而終點位置設置為(4,15.5),朝向角為0度。實驗結果如圖4-7所示,機器人可導引3位使用者以相近的路徑成功到達目標點,顯示其可在被動控制模式下安全導引使用者避開障礙物,並且到達目標點。

(a) 避障導引實驗場景 (b) 矇眼的使用者與行動輔助機器人

圖4-6 (a)避障導引實驗場景,(b)矇眼的使用者與行動輔助機器人

圖4-7 避障導引軌跡圖

表4-1 實驗受測者資料

有關本學界科專計畫、電腦視覺監控產學研聯盟、以及電子報之背景與相互關連都已在電子報創刊號詳細說明。本期電子報由分項A子項2主編,在此,我們簡介此子項於學界科專98年度之研究計畫:

子項A2於本年度的研究重點在於使監控人員在一攝影機網路的監控環境下,更容易在不同場景之間追蹤與監控多個目標物,並提供可疑事件的歷史監控記錄與資料庫搜尋,使監控人員能更方便進行中控室操控。本年度的研究主題如下:

1.  停車場之人車連續追蹤:有別於之前的技術,在跨攝影機目標物追蹤上,僅使用時空特徵與外觀顏色特徵。在本年度的研究,我們預期以加入幾何特徵為研究方向,藉由目標物幾何特徵在行進過程中的一致性,並與之前已使用的特徵進行整合,以提高追蹤正確率。我們也預期發展人車的分辨模組,透過機器學習方法的設計與實作,進行物體的部件的分析與辨認,以便提高人車追蹤的效能。

2.  可疑人物之長程追蹤:設計一長程策略來分析可疑人物之行為,藉由結合系統所提供之長程蒐集可疑人物之資訊,來彌補短程偵測方法之不足,以提升單一攝影機可疑人物偵測之正確性。並且,將動態呈現目標物的可疑程度,以提升中控室使用者對場景中人物的即時掌握程度。

3.  可疑事件在中控室之視覺化顯示:開發一攝影機是否遭到遮蔽或明顯移動的偵測技術,例如:攝影機遭到轉向、遮蔽或是鏡頭遭塗抹異物以致無法取得正常之監控影像。並且,將發展一整合攝影機網路的視覺化顯示中控室系統,該系統藉由整合平順轉場技術與多重解析度顯示技術,以提升使用者於中控室的監控效率與操作方便性。

 

 

近年來全球安全監控產業呈現穩定成長趨勢,並由於數位時代的進展,安全監控產品技術層次也不斷提升,進而與其他產業整合,預期未來安全監控領域是安全產業中最具發展潛力的領域之一。此外,由於現代科技的進步,醫療技術與品質提升,使國民平均壽命逐年攀升。在新人口結構變化趨勢下,如何滿足老年人健康照護需求的問題不容小覷,相對而言,也造就了新的商機。根據工研院IEK推估,台灣高齡產業市場規模在2025年可望達到1089億美元。

展望未來產業趨勢,安全監控產業以及高齡產業市場規模將持續增加。因此,本中心將以前期所開發之100餘項相關核心技術,規劃二個系統整合方向 — (1)智慧型建築(smart building),結合資訊、通訊與視訊技術,整合創造科技與人文結合的智慧型大樓;(2)智慧型社區(smart community),結合鄰里以及警政單位,規劃全方位無死角社區或園區智慧型監控系統 期許透過系統整合,勾勒具視覺感知能力之安全環境架構,以建構全面智慧型環境,讓人們悠遊於舒適的環境之中,並協助國內廠商尋找智慧型監控環境之藍海策略,使台灣成為安控產業之明日之星 。

學界科專計畫已邁入第二期,本期研發重點,在技術策略方面,朝向「多層次多感測無縫隙系統」發展,結合視訊與感測器(sensor)成為一全方位監控安全系統。在技術落實方面,朝向下列三目標執行:

(1) 提升技術成熟度、可靠度及穩定度

(2) 以嵌入式系統具體化前期核心技術

(3) 整合前後期核心技術,以發展商品化之產品。

每一分項之主要工作項目概述如下,詳細內容後述之。

分項一:智慧型建築(Smart Building)

分項一的研發主軸為智慧型建築(smart building)的前瞻性技術研發,工作項目如下。

A1.日夜安全巡邏與訪客引導系統---室內空間智慧型巡邏與避碰利用自動車引導訪客、紅外線影像處理與自動車夜間導航、多自動車協同巡邏與異常偵測等。

A2.視訊監控中央管理系統---攝影機網路之目標物即時追蹤與預測、視訊資料庫搜尋、與資訊整合視覺化。

A3.室內突發事件分析系統---室內突發事件分析之技術開發主軸分隊針對人員及環境設計各項突發事件偵測技術,研發技術包括:人員異常行為分析、訪客異常行為偵測、環境突發事件偵測限制區域之監控、限制區域之監控。在技術策略方面,朝向結合視訊與感測器(sensor),發展成為一全方位監控安全系統。

分項二:智慧型社區(Smart Community)

以多層次多感測無縫隙的技術為發展目標,分項二的技術研發主軸定位在智慧型社區(smart community)安全的前瞻性技術研發,主要工作項目如下所列。

B1. 人車偵測與辨識系統---即時車型和車輛之偵測和辨識、車輛管制系統、PTZ攝影機人員偵測與辨識等。

B2. 強健性物件追蹤系統---全天候物件偵測與追蹤、即時物件追蹤技術、多感測器人員追蹤、多人長時間性人員追蹤。

B3. 事件分析與搜尋系統系統---自動化視訊搜尋、戶外異常事件分析、異質相機行動監看。

 

 

經濟部學界科技專案『以視覺為基礎之智慧型環境的建構四年計畫』所發起的「電腦視覺監控產學研聯盟」已於2005年初正式成立。為了加強產業界與學術界的互動與交流,聯盟自2005年一月起每兩個月定期發行一期電子報,提供國內產業界及聯盟會員最新的相關資訊。

本電子報目前所規劃的內容包括:

1.最新動態:公布並報導「電腦視覺監控產學研聯盟」或「影像等相關單位」舉辦的各項技術說明會、技術研討會、企業座談會等相關活動訊息。

2.技術報導:報導電腦視覺監控領域相關研究的現況,並簡介本學界科專計畫的最新研究成果及所獲得的各項專利等。

 

在本期的電子報當中,「最新動態」部分報導2009/9/21~24美國加州安那罕舉行的美國國際安全器材展,另外介紹10/1於福華國際文教會館舉辦的『技術研討暨技術成果移轉說明會』。此外,在「技術報導」方面,本期收集了兩篇文章,分別由台大網媒所施朝欽同學與賴治權同學介紹「攝影機功能異常自我診斷技術」及「視線追蹤」的技術。

 

 

「電腦視覺監控產學研聯盟」乃是由經濟部學界科專「以視覺為基礎之智慧型環境的建構四年計畫」所發起,由前亞洲大學校長蔡文祥(現交通大學講座教授)所主持,在背後支持此一聯盟的研發團隊幾乎囊括了國內電腦視覺研究領域之菁英教授,其研究人員遍佈台大、清大、交大、中央及中央研究院等第一流學術機構。每一位計畫主持人皆累積多年有關影像處理與圖形識別等研究的經驗,亦曾多次協助業界研發各項影像處理與圖形識別系統,輔導產業研發、創新之經驗豐富 。

本聯盟除發行電子報外,也提供聯盟成員包括人才招募、技術諮詢、企業資訊推廣等多項 服務(請點選並下載電子報左方目錄中的「會員招募簡章及報名表」,並參閱其中有關本聯盟之服務內容說明)。竭誠歡迎產業界相關企業加入聯盟,藉由大家共同的努力,提昇國內此一產業的技術水準。

為了方便會員的聯繫,我們於新竹特設一服務窗口:

新竹窗口

交通大學電腦視覺中心 蔡淑均 小姐

TEL:03-5731970    FAX:03-5131205

E-mail : rayis@mail.nctu.edu.tw