電腦視覺監控產學研聯盟

The Industrial Liaison Program Of  VBIE

 

2011年11月第54期

電子報

 

 

 

 

 

 

 

發行單位:電腦視覺監控產學研聯盟

出刊日期:2011年11月

本期主編: 黃仲陵

本期聯絡人: 鄭琇勻

(03)5715131轉34070

新竹市光復路二段101號 

電機資訊大樓

電腦視覺監控產學研聯盟網站: 

http://vbie.eic.nctu.edu.tw/

 

         

   視訊串流系統在802.11無線網路的機制研究

  110-全天候為民服務不打烊

多視角手勢辨識應用於機械手臂技術

安全監控系統之追蹤技術探討

視訊串流系統在802.11無線網路的機制研究

 撰稿 / 張文鐘

1.前言

隨著無線網路技術的成熟以及價格的平價化,無線網路在近年得到了迅速的發展,更由於智慧型手機的普及,WIFI上網變成是一個擁有廣大市場需求的應用,無論是咖啡廳,學校,飯店等等,使用者可以帶著自己的行動設備到有提供WIFI的場合滿足上網的需求,除了3G上網之後,提供給用戶另一種不以流量計價的網路服務選擇。

另外,隨著無線區域網路傳輸技術的成長,所能支援的服務已經從最初簡易的資料交換,到如今可以支援各項多媒體的應用,當然在高即時性以及注重傳輸品質的多媒體串流當中,如何保證每個區域網路使用者的傳輸服務品質,以及提升頻寬的使用效率,變成了一個不容忽視的課題,本篇報告會從傳統802.11的MAC層通道存取機制介紹起,接著是具備支援服務品質以及資源分配的802.11e的MAC層協定,再延續探討近年開始廣泛被使用的802.11n所新使用的提升整體吞吐量的規劃以及方法,包括了訊框聚合以及反向傳輸等等,都能有效的改善整體的吞吐量以及提高通道的使用率,降低無線網路中MAC層開銷浪費的問題。

2.IEEE 802.11基本架構

在IEEE 802.11中提供了兩個基本的MAC層機制:分散式協調功能以及集中式協調功能,分散式協調功能是802.11中最基本的通道存取方法,使用了載波感測多重擷取及碰撞避免的通道存取方法。而集中式協調功能則是於AP以輪詢的方式安排各站點傳送訊框的時間以及排程。在無線區域網路中,所有的站點都必須具備分散式協調功能的機制而集中式協調功能則是一個可選的選項。

2.1分散式協調功能

分散式協調採用CSMA-CA的技術,它可以支援多個站點同時使用一個通道,並且避免因為共同使用通道所產生訊息碰撞的問題。每個站點在傳輸以前必須先偵測通道是否正在被使用,假如通道是空閒的,則可以進行傳輸,相反的,當偵測到通道忙碌,就必須等到下次通道空閒時才能傳送,而偵測無線網路中傳輸媒介狀態的方法是採用虛擬載波偵測技術,來輔助實際通道偵測,它利用網路配置向量(NAV)來記錄各個站點需要多少的時間傳輸媒介才會重回空閒的狀態,在時間尚未歸零之前,站點皆不能傳送。

另外,802.11將訊框分成四種優先權等級,四種優先權必須等待一段固定的時間才能傳送,稱為訊框間隔: 如下圖之 DIFS

1.短訊框間隔SIFS--使用在立即需回應的動作如ACK,RTS等等

2.集中式訊框間隔PIFS--在集中式協調當中使用,長度略大於短訊框間隔。

3.分散式訊框間隔DIFS--分散式協調當中使用,為通道中最基本單位,當站點發現媒介閒置超過一個分散式訊框間隔,即可以對通道存取。

4.延長訊框間隔EIFS--在站點進行重送時,訊框必須等待的時間。

使用不同優先權的機制可以保障在通道閒置時,擁有高優先權的訊框,有比較大的傳輸機會,也就是等待時間比較短。除了這個做法以外,各個站點還必須在隔了訊框間隔之後,仍要等待一段隨機倒退的時間,以避免相同優先權的訊息產生碰撞,站點的隨機倒退時間是一個Random[0~Cw]*a slot time的隨機整數,假如在隨機倒退之後仍產生傳送碰撞的狀況,CW的值就會變成兩倍,直到CW值到達原本設定的最大值即不會再增加。

 下圖是針對分散式架構的示意圖:

 2.2集中式協調功能

集中式協調功能當中,必須有一個協調者來負責排程的工作,協調者只能是AP,它會先對所有的站點發出免競爭輪詢,站點可以選擇參加或是拒絕加入輪詢名單當中,不參加輪詢的站點在免競爭周期中,只能在接收到訊框之後,才能傳送ACK的訊息。可輪詢站點所傳送的訊框可以包含ACK用來確認前一筆由協調者傳送來的訊框。如果站點沒有收到傳送訊框的ACK,並不可以馬上重送,必須等待下一次協調者詢問時,才可以進行重送的動作。在免競爭周期中,並不需要使用RTS/CTS的功能,因為只有被輪詢的站點才有權力傳送,其它未被輪詢到或是不可輪詢的站點必須停止傳送,協調者在免競爭周期中重送訊框並不是像分散式協調方法中使用的隨機倒退的機制,它必須等到下次需重送的站點又變成輪詢名單中的第一位時才能夠重送這個訊框。而參加輪詢的站點和協調者使用的是一個集中式協調訊框,並不是分散式協調訊框,前者比後者的時間短因此有更高的優先權,如果可輪詢站點所傳送的目標是一個不參加輪詢的站點,不參加輪詢站點必須以分散式協調的方式在一個短訊框間隔內回送一個ACK。

下圖是針對集中式協調的傳送示意圖:

3.802.11e MAC層機制

802.11e是為了支援QoS,對802.11的原有系統做的增強機制。它是建立在802.11中的分散式協調架構上,將原本的分散式架構延伸改進為EDCA(Enhanced Distributed Coordinated Access ),它比原本的分散式架構多提供了差異性的服務,總共可以支援八種不同的傳輸種類,如下圖之0到7,對應至四種通道存取種類,如下圖之第四行,每個通道存取種類會有各自獨特的競爭參數,用來區分競爭的參數有Cw_min、Cw_max 與AIFS 等。

IEEE 802.11e EDCA 利用不同通道存取種類參數的設定來達到差異性服務的效果,每個站點內部採用虛擬佇列的形式來實現4種通道存取種類,並賦予不同優先權的QoS 參數,每一個佇列都是一獨立的傳送單元。若同一個站點中有兩個以上的佇列在同一時間發動傳送,則稱為虛擬碰撞,每次站點要傳送資料之前必需先在自己站點內解決四種通道傳輸種類的碰撞問題。

此外,IEEE 802.11e 定義了一個名為TXOP(Transmission Opportunity)的參數,做為通道存取種類在得到一次傳送機會中可傳送訊框的資料量大小,而EDCA TXOP 的長度限制規定於訊框中的QoS Parameter Set element 欄位中,TXOP的上限依據四種優先權高低而有不同的時間長短。使用TXOP 的好處在於各站點在取得通道媒介使用權後在TXOP的限定時間內,將可以不再重新競爭通道,可以連續使用通道傳送多個訊框,而不同優先權的通道存取種類也會有不同的TXOP上限,而TXOP是屬於每個通道存取種類的參數,並不是針對站點,雖然站點在TXOP上限內對通道有控制權,但是其它存取種類即使有封包要傳送也不可以使用原本存取種類的TXOP剩餘時間,而必須釋放出通道使用權,與其他站點的通道存取種類重新競爭。

又IEEE 802.11e EDCA也改進了分散式協調機制中固定的訊框長度的做法,使用仲裁協調訊框間隔取代原本的分散式協調訊框間隔的作法,以不同長度的訊框間隔來達到差異性服務的效果,有越小的仲裁訊框間隔者,有越高的優先權得以傳送。仲裁訊框間隔代表不同站點開始啟動隨機倒退過程前所需的時間,計算方式是:

AIFS[i]=AIFSN*SlotTime+SIFS

802.11e提供無線區域網路在多媒體應用中,一些傳送機會的保證,引進了優先權的服務內容,而在[2]當中也就802.11e的EDCA的機制利用調整TXOP的大小觀察整體系統在使用VOIP服務的狀況下整體的系統效能增進的情形做了分析及模擬,也找出了一個理想的TXOP大小,結果發現在TXOP有效增大的情況下,整體的系統效能有了顯著的改變。以及[3]當中利用實作的方式來觀察無線區域網路中傳輸聲音訊號在有無使用EDCA的方法中,看整體的點對點延遲以及封包的遺失狀況都發現到,使用EDCA方法對傳送串流系統有顯著的改善,也確能保證一定的QoS。

4.802.11n MAC層機制研究

802.11n除了在物理層提供了多天線技術以及加大傳輸頻帶的基礎下,大大地增加了原有的傳輸速度之外,也在MAC層做了一些加強,來整體的傳輸速率到達100Mbps的效率,其中較重要的技術包含:4.1訊框聚合機制。

 4.1.1.A-MSDU(aggregate MAC protocol service data units)

A-MSDU的原則就是可以讓多個要送到相同接收端的MSDU子訊框,被包在同一個MPDU當中,它可以有效提升MAC層的傳輸效率,尤其是在有很多短資料的MSDU時,如TCP協定的ACK。在形成一個A-MSDU時,在MAC會先储存多個MSDU的封包,當A-MSDU達到上限時或是有等待的MSDU封包到達最大的延遲上限時,A-MSDU就會聚合完成,並嘗試送出,而對一個A-MSDU封包的生命周期而言,它是所有其中的MSDU生存周期的最大值,也就是代表一個MSDU在生命周期結束後仍有可能被傳送。

4.1.2.A-MPDU(aggregate MAC protocol data units )

A-MPDU 可以聚合多個MPDU子訊框到只有一個物理層標頭檔的協定資料元中(PPDU),一個MPDU子訊框由一個MPDU分界符和MPDU實體所組成,A-MSDU和A-MPDU最大的分別在於當A-MPDU組成是在封裝MAC標頭檔的程序之後,而所有的MPDU都必須送到相同的接收端位址。另外A-MPDU並不需要等待一定數量的MPDU才能傳送,它完全只與現在正在佇列中等待的MPDU數量來決定聚合的長度。

 

而在[4]中針對訊框聚合的技術在錯誤率高的通道環境做了分析,找出了理想的訊框大小,而[5]則針對這個分析結果運用在影像傳輸的情況下觀察,利用增加訊框聚合的大小以及重傳上限的修改,可以有效地提升整體的系統吞吐量以及影片的品質,文中顯示出訊框聚合技術對整體系統效能的幫助。

 4.2反向傳輸機制

反向傳輸機制建立在RTS/CTS的握手機制之下,接收端可以在接受到RTS之後,利用CTS向傳送端表達想要在允許的TXOP時間內回傳資料的要求,而傳送端則可以在這個有限的TXOP限制內決定要不要讓接收端回傳資料,在[6]中的方析結果提到假如使用這個方法,會有8到30%的系統增益,假如在使用VOIP狀況下,甚至有可能會到100%的增益產生。

5.結論

以上的過程是802.11 MAC層中的一些重要的演進過程,由此可的除了在物理層實際傳輸的速度大幅增加之外,因為應用面的考量,勢必也要在MAC層做一些通道管理機制的改善,以上探討的結果,也確實證明無線區域中的MAC增強機制,確實能更有效的減少MAC層開銷的問題,也能更符合在面對需要即時性的多媒體應用時,能有更優先處理的權利,以及更好的整體系統效能,加速了無線區域網路的發展性及商機。

6.參考資料

[1] IEEE  std 802.11N 2009 PART11

     IEEE  std 802.11e 2005

     IEEE  std 802.11 2007

[2] Hai L. Vu and Kewin O. Stoeckigt,”VOIP capacity-Analysis, Improvements, and limits In IEEE 802.11 Wireless LAN” IEEE Transactions on Vehicular Technology, VOL59, NO.9 November 2010

[3]Mladen Koprivica, ”Experimental Evaluation of IEEE 802.11e EDCA QoS Mechanism for Voice over WLAN” In 4th International Symposium on Modeling and Optimization in Mobile, Ad Hoc and Wireless Networks, PP1~7, 2006

[4]Yuxia Lin and Vincent W.s. Wong, ”Frame Aggregation and Optimal Frame Size Adaption for IEEE 802.11n WLANs” in Proc. IEEE GLOBECOM, San Francisco, CA, PP1-6 Nov. 2006

[5]Haifeng Zheng,Guotai Chen,and Lun Yu, ”Video Transmission over IEEE 802.11n WLAN with Adaptive Aggregation Scheme” in IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB) pp1-5, 2010

[6] Dmitry Akhmetov, ”: 802.11N PERFORMANCE RESULTS OF REVERSE DIRECTION DATA FLOW” in IEEE 17th International Symposium on Personal, Indoor and     Mobile Radio Communications, PP1-3, 2006

110-全天候為民服務不打烊

 撰稿 / 連振昌

新竹市警察局(簡稱市警局)為因應日益繁重的責任與勤務需求,積極規劃整合運用各項資訊科技,將110 E化勤務指管系統、警車衛星定位系統GPS、路口監視錄影(183組1695支)CCTV、金融機構緊急報案及平安燈緊急通報系統等各項設備整,建立現代化勤務指揮管制系統,可於第一時間迅速掌握最新治安、交通動態,縮短報案反應時間、強化派遣機制及提升緊急應變能力,達成警察勤務E化、M化、U化目標,提升查緝犯罪與為民服務效能。

 (一)建置警政光纖網路

規劃以警政光纖網路(圖一)架構,利用光纖寬頻網路傳輸技術,將分散於各前端路口監視錄影影像訊號與事件偵測,快速傳送至派出所、分局、警察局等後端工作站或授權之遠端監控中心,經由管理者依授權層級進行即時監看、控制或遠端監控與歷史影像檔案調閱等多功能操作作業,並能支援臨時性任務之需求,目前已架設光纖107,289公尺,除了頻寬更高、大幅提升傳輸速度效能,每年還可節省網路傳輸費用千萬餘元,減輕市庫財負擔。此外,透過自建光纖寬頻網路架構,還可產生創新加值應用。市警局與警察電訊所新竹分所合作規劃警用電話通訊傳輸,由自建光纖寬頻網路取代中華電信線路,除可提高電話通訊品質外,且可節省各分局電話通訊費用達16萬8,000元,目前亦結合IVS智慧型影像分析系統、虛擬電子圍籬等項智慧型監控應用技術,使警政系統邁向科技化、智慧化、網路化方向發展。

建置警政光纖網路

圖一

(二)整合路口監視錄影於同一作業平台

將94~99年度已建置及新設計183組1695支路口監視錄影資料,與110 E化勤務指管系統相互整合,報案訊息與影像資料可同步顯示於E化值機台螢幕或電視牆上。

 (三)快速調閱歷史影像

透過網路系統賦予帳號權限,可於E化值機台快速調閱歷史影像,查詢各個事件的單張影像或連續影片,節省調閱時間,有效協助案件之偵辦。

 (四)設置平安燈緊急通報系統

市警局設置之平安燈(圖二)是全國首創,是參考日本、英國於犯罪熱點(crime hot spots)設立「防護燈」,以減少治安死角的做法,在市警局轄內海天一線、港南育樂中心、園道五綠地公園、赤土崎公園、光華國中及舊社國小等6處治安要點所規劃設置。

平安燈緊急通報系統

圖二

(五)運用機動型攝影機支援專案任務

購置千萬像素攝影機3台、百萬像素攝影機10台等機動型攝影機,藉由警政光纖骨幹或wimax無線網路作為傳輸媒介,以支援臨時性(專案)任務,即時全程掌握監控現場狀況。

 )擴充延伸E化值機台系統

E化指管值機台系統原僅建置於市警局及各分局勤指中心,99年6月7日將110 e化勤務指管系統擴充延伸至刑警大隊、交通隊、交安組、各派出所,提供ㄧ致性的操作介面,受理民眾報案能迅速完成通報及警力派遣作業,使案件受理、指揮、派遣與管制能達快速統合之效能。

 (七)E化巡邏掌握轄內治安

外勤單位警力不足或巡邏密度較低時段,可運用E化值機台調閱路口(路段)攝影機鏡頭即時畫面,進行e化巡邏即時監控(圖三),遠端掌握轄內治安熱點。

攝影機鏡頭即時畫面

圖三

(八)建置電視牆系統

於市警局勤指中心規劃建置電視牆系統,將110 e化勤務指管系統、車輛定位資訊GPS、涉案車輛辨識系統及路口監視錄影系統CCTV、案件發生等相關資訊術同步顯示在電視牆上。

 料來源:新竹市警察局、全球安防資訊網

 

多視角手勢辨識應用於機械手臂技術

撰稿 /徐士中

於人機互動介面的應用日漸普及,相關的溝通方式包含了手勢辨識、語音辨識、或是肢體語言辨識等等,都已經被廣泛研究並應用在日常生活之中,其中以利用手勢作為媒介的方式最為直覺。因此手勢辨識與重建一向是個相當重要的研究議題,使用手勢作為人機介面除了直覺之外,直觀、使用者親和力高與自然使用方式等優勢。然而以目前已經實現的系統或是設備當中,大多數都需要使用額外的設備附著於手部或是使用特殊的標誌當作參數的擷取依據。因此,基於此種方式,對於設備的需求與依賴是非常高的,然而如果將系統建構於昂貴的特殊設備之上,則將會受限於經費的限制,而無法廣泛的使用。因此當前的問題則是在於如何降低成本,並使用有限的資源做出最有效率的系統,使整套系統更容易大眾接納。手勢運動參數的估測一直是電腦視覺致力研究的方向,如何使用系統快速又精確的判斷出當前手勢一直都是個非常大的挑戰,而快速與精確在研究領域裡常常是互相牴觸的。判斷要精確,常常要犧牲處理時間,相對的,判斷要快速,則要捨棄精確度。所以如何簡化系統複雜度,使速度與精確性能夠掌握在一個平衡點,也是一個必須考慮的問題。

(1)系統架構圖

技術的系統架構如圖(1)所示,首先由原始圖像獲得影像之梯度,梯度可採用SobelLaplace方式取得,影像梯度對光線變化有較好的適應性,即使物體的顏色因為不同顏色的光線而改變物件外貌,物件的邊緣特徵卻不會因光線而有大幅度的改變,如此可以省去攝影機之間的色差校正,而且在同一場景但不同光照條件下,梯度特性仍舊不會受到太大的影響,其結果如圖(2)所示。

(2a) 同場景下不同的視角圖

(2b) 同場景下不同的梯度圖

到梯度圖後,進行手部搜尋的動作,在本技術中,假設正面與側面的手掌部份的輪廓不會有太大的形變,則可以進行手部的模板匹配,對圖像進行模板匹配會消耗大量的運算量,使用圖(2b)梯度當作模版匹配的輸入,可以將模版匹配的問題,簡化至輪廓匹配的問題,在輪廓的匹配方法中,本系統使用measurement line的方式進行匹配,將連續的輪廓點進行取樣,變成稀疏點輪廓,則樣版如圖(3)所列

(3)初始輪廓點

於手部可能或產生旋轉、縮放、位移等變化,可用粒子濾波器的方式估測真正的輪廓模版,粒子濾波器的參數有X軸、Y軸、縮放因子與旋轉因子,每一張影像都可使模版收斂到手掌的位置上,如此便可獲得手部的基本位置,再由基本位置推測手指指尖的位置。圖(4)顯示模版收斂的過程。

(4) 模版收斂至手掌的過程

(5) 模版匹配手掌旋轉

版匹配的目的在於獲得手掌真正的位置資訊與傾斜角度,獲得這些資訊後,可降低手指估測的複雜度,圖(6)表示不同視角看到的手指位置偵測。

(6)不同視角的手指指尖位移

獲得手指不同視角的手指指尖位移資訊後,可推出實際手部的立體資訊,如圖(6)中,側邊手勢可以瞭解手指的彎曲程度,正面手勢可以得知哪個手指移動。故此可估計手指的實際運動,整合這些資訊至機械手臂模擬人手之動作。

 

 

 

安全監控系統之追蹤技術探討

撰稿 /溫予佑、王自強

保障人們生命財產的課題一直受到社會大眾的重視,為了使人們的安全得以保障,安全監控系統因應而生。最初的安全監控系統仰賴人力操作,藉由人眼監視數台攝影機管制出入口及公共區域,但如此作法人力成本高且效率不佳。隨著電腦視覺的蓬勃發展,電腦視覺結合監控系統的技術也不斷的研發創新,使用軟體進行移動物件的自動偵測,如此可以降低人力負擔且提高事件偵測的效率,達到完全數位化安全監控的目的。本文探討的內容為應用於安全監控系統下之人體追蹤(Human Tracking)的技術,人體追蹤在電腦視覺一直是相當熱門的研究議題,它的應用非常廣泛,尤其是在安全監控系統上,安全監控系統最重要的追蹤目標便是進出監控區的人,優秀的追蹤技術可以有效提升事件的偵測準確度,因此大部分的研究皆針對追蹤的部分做改善。人體追蹤是一項非常具挑戰性的工作,例如人的動作遮蔽、光線變化以及背景雜亂等,都是在追蹤上不容易克服的問題。在現實生活單鏡頭的影像中,更容易有許多模擬兩可的動作發生,使得追蹤更加困難。追蹤的技術通常包含特徵擷取(Feature Extraction)以及物件辨識(Object Recognition)兩大部分,近年來追蹤相關的研究中大多針對這兩點做改善。

 以針對特徵擷取的追蹤研究來說,[1]使用projective geometry分析人體,估算出目標的身高並做為第一特徵,分析目標的衣服顏色,將身體由肩膀至腳底分成十個區塊並使用octree-based color quantization將目標的衣服樣式色彩做量化成為第二特徵,此兩項特徵在不同的攝影機拍攝情況下Euclidean distance的差距不大,因此能夠應用至人體追蹤中。當攝影機進行監控時,為了擷取時空間上的特徵而需要對攝影機進行校正,校正的工作以往都是需要人力介入,[2]則提出自動化的攝影機校正技術,藉由偵測人在畫面中站立的位置做為校正目標,並且提出一種新的基於the Quadratic Eigenvalue Problem (QEP)的方程式化單攝影機校正方式。

 

1. 衣服區塊分割流程圖(本圖取自參考文獻[3])

針對辨識部分做改進的研究而言,[3]提出real-time對監視畫面中的目標身上的衣物貼上標籤的技術,使用沃羅諾伊圖(Voronoi image)分析人身上的衣服顏色及材質特徵,圖1呈現了衣服分析的流程,配合性別及膚色等資訊辨識人身上的衣服是哪一種,測全率(Recall rate)達到80%[4] 提出一個水平與垂直方向的像素統計分析方法,應用到監視錄影裡的影子偵測,其做法為:先對影像做Graph Cuts,然後對擷取出來的影像,依據每個row的資訊建立H-histogram、依據每個column的資訊建立V-histogram,其中histogram的橫座標是grayscale value、縱座標是rowcolumnindex。接著根據H-histogramV-histogram的資訊計算出影像中人體的重心,所取得的重心再由(1)式及(2)式算出兩組門檻值(H-histogram每一個row計算一個門檻值;V-histogram每一個column計算一個門檻值)

 

 再分別套用這兩組門檻值濾出兩個初步的偵測結果,然後將兩個圖合併以求取出最完整的人體,最後保留下來不屬於人體的部分,就是偵測出來的影子區塊,其最主要的貢獻是同時考慮水平與垂直方向的象素資料並做統計,所以根據這些資料做出來的偵測,能比一般只考慮某個方向的方法更加精準。

 而行人偵測與追蹤的研究也不斷的改進,[5]提出了一個多目標的real-time行人追蹤系統,由於頭部位置較少遮蔽,因此本篇根據行人的頭部位置做為參考再進一步的追蹤。使用sliding window對每個frames進行搜尋,並訓練一個基於HOG(Triggs’ Histograms of Oriented Gradients)的物件偵測演算法追蹤頭部,為了確保追蹤過程資料間彼此的關聯性能夠正確,在此使用了KLT(Kanade-Lucas-Tomasi)追蹤corner feature以達到動向估測的目的,並使用Markov-Chain Monte-Carlo Data Association (MCMCDA)持續更新系統參數,將錯誤的偵測排除掉,回報所有目標移動軌跡的最佳估測值。與以往的做法不同之處是以前的研究使用ad-hoc模組做data association,而此篇是使用MDL(Minimum Description Length)原則建立模型。使用GPU運行多執行緒(multi-thread)運算達到real-time(FPS 25)的執行速度。在擁擠的人群之中做人物追蹤是一件不容易的事情,[6]提出藉由建立Local Spatio-Temporal Motion Patterns來做人物的追蹤。Motion Patterns是將整段影片建立成一個三維空間並分割成多個立方塊,藉由人物在每個立方塊中所存在的位置以及時間訓練隱藏式馬可夫模型(Hidden Markov Models)來建立大部分人潮所變化的方向(2)。使用Optical Flow技術建立人物在時間軸上可能的移動方向,並結合隱藏式馬可夫模型預估該人物之後可能的移動位置和方向,藉此降低搜索的範圍。因為人物非常的多,即使做了方向預估還是難以固定追蹤特定的人物,所以為了要能夠鎖定在同一人物身上,這裡利用了該人物本身的行走習慣,每個人的行走習慣不同,所產生時空間上的變化也會不同。綜合以上的資訊來做到在擁擠的人群中追蹤人物。

 

2. 使用HMM對時空間運動的形式做訓練(本圖取自參考文獻[6]

 

為了尋求突破,更有將人類生物力學(Human Biomechanics)應用至追蹤議題上之研究。[7]便是以此觀點來判斷人體雙足的姿勢並且追蹤,其主要貢獻在於所用的2-D model(3)僅使用人體雙足的生物力學知識當作modelconstraint,而不是對相機以及人的活動做限制,就可以找到的雙足運動狀態,與3-D model比較之下,計算的複雜度就減少許多,更可以提升整個系統的速度。此技術主要提出了T2strategy來偵測出雙腿的資訊,這方法是由卡爾曼滤波器(The Kalman filter) 及粒子濾波器(The Particle filter)所結合而成的,製作出double tracker,來制衡各個tracker的錯誤率,達到更好的結果。從實驗中看得出來,他可以僅用2-D model來追蹤影片中不斷變化的雙足,結果都較之前的方法來得更少誤差,而且甚至優於3-D model的結果。不過這篇的限制在於其他部位無法從Human Biomechanics取得好的constraints,所以僅能追蹤雙足。

 

圖3. 2-D鉸接式雙足模型(本圖取自參考文獻[8]

 

本文說明安全監控系統中所應用的人體追蹤技術,介紹最新的追蹤技術發展狀況,而人們對於安全監控系統的需求與應用十分廣泛,如何建立一套運算速度與準確率兼備的安全監控系統是一個相當具有發展性的研究議題。

參考文獻

[1]H. M. Moon, S. B. Pan, "A New Human Identification Method for Intelligent Video Surveillance System," Proceedings of 19th International Conference on Computer Communications and Networks (ICCCN) , pp.1-6, 2010

[2]B. Micusik, T. Pajdla, "Simultaneous surveillance camera calibration and foot-head homology estimation from human detections," IEEE Conference on  Computer Vision and Pattern Recognition (CVPR), pp.1562-1569, 2010

[3]M.Yang, K. Yu, "Real-time clothing recognition in surveillance videos." IEEE Conference on International Conference on Image Processing (ICIP),  pp.2937-2940, 2011

[4]L.Zhang, C. Wang, " Shadow Detection Method in Video Surveillance System," International Conference on Electrical and Control Engineering (ICECE), pp.1892-1895, 2010

[5]B. Benfold, I. Reid, "Stable multi-target tracking in real-time surveillance video," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.3457-3464, 201

[6]L.Kratz, K. Nishino, "Tracking with local spatio-temporal motion patterns in extremely crowded scenes," IEEE Conference on Computer Vision and Pattern Recognition (CVPR) , pp.693-700, 2010

[7]J.M. del Rincón, D. Makris, C.O. Uruñuela, J.-C. Nebel, "Tracking Human Position and Lower Body Parts Using Kalman and Particle Filters Constrained by Human Biomechanics," IEEE Transactions on  Systems, Man, and Cybernetics, Part B: Cybernetics, vol.41, no.1, pp.26-37, 2011

[8]L.Jin, J. Cheng, H. Huang, "Human tracking in the complicated background by Particle Filter using color-histogram and HOG," International Symposium on  Intelligent Signal Processing and Communication Systems (ISPACS), pp.1-4, 201

 

有關本學界科專計畫、電腦視覺監控產學研聯盟、以及電子報之背景與相互關連都已在電子報創刊號詳細說明。本期電子報由分項A子項2主編,在此,我們簡介此子項於學界科專98年度之研究計畫:

子項A2於本年度的研究重點在於使監控人員在一攝影機網路的監控環境下,更容易在不同場景之間追蹤與監控多個目標物,並提供可疑事件的歷史監控記錄與資料庫搜尋,使監控人員能更方便進行中控室操控。本年度的研究主題如下:

1.  停車場之人車連續追蹤:有別於之前的技術,在跨攝影機目標物追蹤上,僅使用時空特徵與外觀顏色特徵。在本年度的研究,我們預期以加入幾何特徵為研究方向,藉由目標物幾何特徵在行進過程中的一致性,並與之前已使用的特徵進行整合,以提高追蹤正確率。我們也預期發展人車的分辨模組,透過機器學習方法的設計與實作,進行物體的部件的分析與辨認,以便提高人車追蹤的效能。

2.  可疑人物之長程追蹤:設計一長程策略來分析可疑人物之行為,藉由結合系統所提供之長程蒐集可疑人物之資訊,來彌補短程偵測方法之不足,以提升單一攝影機可疑人物偵測之正確性。並且,將動態呈現目標物的可疑程度,以提升中控室使用者對場景中人物的即時掌握程度。

3.  可疑事件在中控室之視覺化顯示:開發一攝影機是否遭到遮蔽或明顯移動的偵測技術,例如:攝影機遭到轉向、遮蔽或是鏡頭遭塗抹異物以致無法取得正常之監控影像。並且,將發展一整合攝影機網路的視覺化顯示中控室系統,該系統藉由整合平順轉場技術與多重解析度顯示技術,以提升使用者於中控室的監控效率與操作方便性。

 

 

近年來全球安全監控產業呈現穩定成長趨勢,並由於數位時代的進展,安全監控產品技術層次也不斷提升,進而與其他產業整合,預期未來安全監控領域是安全產業中最具發展潛力的領域之一。此外,由於現代科技的進步,醫療技術與品質提升,使國民平均壽命逐年攀升。在新人口結構變化趨勢下,如何滿足老年人健康照護需求的問題不容小覷,相對而言,也造就了新的商機。根據工研院IEK推估,台灣高齡產業市場規模在2025年可望達到1089億美元。

展望未來產業趨勢,安全監控產業以及高齡產業市場規模將持續增加。因此,本中心將以前期所開發之100餘項相關核心技術,規劃二個系統整合方向 — (1)智慧型建築(smart building),結合資訊、通訊與視訊技術,整合創造科技與人文結合的智慧型大樓;(2)智慧型社區(smart community),結合鄰里以及警政單位,規劃全方位無死角社區或園區智慧型監控系統 — 期許透過系統整合,勾勒具視覺感知能力之安全環境架構,以建構全面智慧型環境,讓人們悠遊於舒適的環境之中,並協助國內廠商尋找智慧型監控環境之藍海策略,使台灣成為安控產業之明日之星 。

學界科專計畫已邁入第二期,本期研發重點,在技術策略方面,朝向「多層次多感測無縫隙系統」發展,結合視訊與感測器(sensor)成為一全方位監控安全系統。在技術落實方面,朝向下列三目標執行:

(1) 提升技術成熟度、可靠度及穩定度

(2) 以嵌入式系統具體化前期核心技術

(3) 整合前後期核心技術,以發展商品化之產品。

每一分項之主要工作項目概述如下,詳細內容後述之。

分項一:智慧型建築(Smart Building)

分項一的研發主軸為智慧型建築(smart building)的前瞻性技術研發,工作項目如下。

A1.日夜安全巡邏與訪客引導系統---室內空間智慧型巡邏與避碰利用自動車引導訪客、紅外線影像處理與自動車夜間導航、多自動車協同巡邏與異常偵測等。

A2.視訊監控中央管理系統---攝影機網路之目標物即時追蹤與預測、視訊資料庫搜尋、與資訊整合視覺化。

A3.室內突發事件分析系統---室內突發事件分析之技術開發主軸分隊針對人員及環境設計各項突發事件偵測技術,研發技術包括:人員異常行為分析、訪客異常行為偵測、環境突發事件偵測限制區域之監控、限制區域之監控。在技術策略方面,朝向結合視訊與感測器(sensor),發展成為一全方位監控安全系統。

分項二:智慧型社區(Smart Community)

以多層次多感測無縫隙的技術為發展目標,分項二的技術研發主軸定位在智慧型社區(smart community)安全的前瞻性技術研發,主要工作項目如下所列。

B1. 人車偵測與辨識系統---即時車型和車輛之偵測和辨識、車輛管制系統、PTZ攝影機人員偵測與辨識等。

B2. 強健性物件追蹤系統---全天候物件偵測與追蹤、即時物件追蹤技術、多感測器人員追蹤、多人長時間性人員追蹤。

B3. 事件分析與搜尋系統系統---自動化視訊搜尋、戶外異常事件分析、異質相機行動監看。

 

 

經濟部學界科技專案『以視覺為基礎之智慧型環境的建構四年計畫』所發起的「電腦視覺監控產學研聯盟」已於2005年初正式成立。為了加強產業界與學術界的互動與交流,聯盟自2005年一月起每兩個月定期發行一期電子報,提供國內產業界及聯盟會員最新的相關資訊。

本電子報目前所規劃的內容包括:

1.最新動態:公布並報導「電腦視覺監控產學研聯盟」或「影像等相關單位」舉辦的各項技術說明會、技術研討會、企業座談會等相關活動訊息。

2.技術報導:報導電腦視覺監控領域相關研究的現況,並簡介本學界科專計畫的最新研究成果及所獲得的各項專利等。

 

在本期的電子報當中,「最新動態」部分報導2009/9/21~24於美國加州安那罕舉行的美國國際安全器材展,另外介紹10/1於福華國際文教會館舉辦的『技術研討暨技術成果移轉說明會』。此外,在「技術報導」方面,本期收集了兩篇文章,分別由台大網媒所施朝欽同學與賴治權同學介紹「攝影機功能異常自我診斷技術」及「視線追蹤」的技術。

 

 

「電腦視覺監控產學研聯盟」乃是由經濟部學界科專「以視覺為基礎之智慧型環境的建構四年計畫」所發起,由前亞洲大學校長蔡文祥(現交通大學講座教授)所主持,在背後支持此一聯盟的研發團隊幾乎囊括了國內電腦視覺研究領域之菁英教授,其研究人員遍佈台大、清大、交大、中央及中央研究院等第一流學術機構。每一位計畫主持人皆累積多年有關影像處理與圖形識別等研究的經驗,亦曾多次協助業界研發各項影像處理與圖形識別系統,輔導產業研發、創新之經驗豐富 。

本聯盟除發行電子報外,也提供聯盟成員包括人才招募、技術諮詢、企業資訊推廣等多項 服務(請點選並下載電子報左方目錄中的「會員招募簡章及報名表」,並參閱其中有關本聯盟之服務內容說明)。竭誠歡迎產業界相關企業加入聯盟,藉由大家共同的努力,提昇國內此一產業的技術水準。

為了方便會員的聯繫,我們於新竹特設一服務窗口:

新竹窗口

交通大學電腦視覺中心 蔡淑均 小姐

TEL:03-5731970    FAX:03-5730785

E-mail : rayis@mail.nctu.edu.tw