電腦視覺監控產學研聯盟

The Industrial Liaison Program Of  VBIE

 

2011年5月第48期

電子報

 

 

 

 

 

 

 

發行單位:電腦視覺監控產學研聯盟

出刊日期:2011年5月

本期主編: 黃仲陵

本期聯絡人: 鄭琇勻

(03)5715131轉34070

新竹市光復路二段101號 

電機資訊大樓

電腦視覺監控產學研聯盟網站: 

http://vbie.eic.nctu.edu.tw/

 

         

   漫步在雲端: Computex 雲端主題館(COMPUTEX TAIPEI 2011)

多重攝影機之監控技術探討

利用影像深度資訊的即時人體動作捕捉技術

以條件隨機場實踐人類異常行為偵測

漫步在雲端: Computex 雲端主題館(COMPUTEX TAIPEI 2011)

 撰稿 / 張文鐘

  • COMPUTEX TAIPEI 2011

  • 展期:2011年5月31日(二)至6月4日(六)

  • 地點:世貿一館-台北世界貿易中心展覽大樓 (台北市信義路五段五號)
    http://www.twtc.org.tw

  • Computex 雲端主題館:以雲朵造型為概念,規劃出符合人性互動的天空之城。

 

展區圖.JPG

  • 展覽規畫

  • 主題館為帶狀規劃,希望讓參觀者依序進入不同的雲端服務情境區域,親身感受及體驗雲端的各項服務。

  • 將規劃4~5個雲端服務領域情境,每區安排3~4家會員展品。

 

展區圖2.JPG

 

資料來源:台灣雲端運算產業協會

多重攝影機之監控技術探討

撰稿 / 張意政

保障人們的生命財產的課題一直受到社會大眾的重視,而電腦視覺應用相關技術也因社會需求而迅速發展,安全監控系統即為這些年來日益受到社會重視的一個技術。但目前大部分的安全監控系統仍只利用人工來進行監測,其人力成本偏高且效率卻為不佳。本文擬探討一新型態的多重攝影機監視系統,其經由電腦視覺的技術,將架設在大範圍的監視區域所取得的視訊,以軟體進行移動物件的自動偵測,繼而追蹤個別人物的跨攝影機的活動,目的是希望以完全數位化的方式來進行安全監控,可以降低人力負擔且提高事件偵測的效率。本文探討的概念為一個基於物件影片的監控記錄系統,其能在多台非重疊視野佈建的攝影機下追蹤並且錄移動物件的行為。當物件移動在不同攝影機下追蹤時,我們利用時空的關係(spatiotemporal relationship)和外觀模型(appearance model)計算其對應關係。為學習攝影機之間的連結關係,我們使用批次學習程序和不斷更新全部的機率矩陣達到長時間的監視。物件在視訊影像中可能因光線變化、非尋常行為或衣服顏色稍微的改變而追丟。因此,在建立初始追蹤路徑後,我們使用動態規劃(dynamic programming)反向追蹤技術來檢查追蹤路徑上是否存有遺失的連結。此外,隱藏式馬可夫模型(Hidden Markov Models)將進一步透過所根據的訓練數據連結異常路徑來連結遺失的路徑。

 視覺式的監視系統近年來在許多開放空間和私人住宅區幾乎已經變成一項標準配備。在這些監視系統中,大多數的系統只是架設攝錄攝影機得到的影片,並將之儲存在許多種媒介中。而為了調查影片中特定的物件,我們必須以人工的方式觀看並且尋找不同影片間的連結。因此一個系統具有夠關聯並儲存特定物體在多重攝影機間移動的影片的功能,而自動達成以物件為本的視訊系統相形重要。在多攝影機間追蹤物件這個主題主要在於為不同攝影機所觀察到的物件建立對應性。而目前已經有一些在多個視野不重疊的攝影機間追蹤物件的研究。[1] [2] 即展示一個非重疊攝影機視角下以Bayesian解法來追蹤物件。[3]則結合時空及出現的線索來追蹤物件,並且提出一個攝影機間彼此顏色校正問題的新式解法。[4] 提出一個計算攝影機網路順序及物件路徑機率的系統。[5] 利用一個隨機的轉變矩陣來描述所觀察到的人群移動方式,這個方法可以同時應用在單一相機中和不同相機間。而上述的方法是假設在攝影機網路順序及轉變矩陣皆為已知的條件下。[6]提出不需要手工標示對應性或訓練階段的一個方法。此研究已經被[7]及 [8] 經由提供更嚴謹的,基於統計重要性的轉變定義來做延伸。他們利用視野重疊及非視野重疊的攝影機架構,以及建製所有攝影機群的對應關係模型。[9]利用擴增的學習方式推衍自動地主要入口與出口來延伸之前的研究。[10]利用Merge-Split技術來解決物件在單一攝影機下遮蔽的問題以及利用grid-based技術來擷取精確的物件特徵。圖1呈現了整個系統的流程。一開始,每個攝影機的物件資訊會利用單一攝影機追蹤的方式擷取出來。而後,所有從攝影機被擷取出來時空關係以及相對應的物件資料庫會被蒐集、統合並計算物件與物件間的對應關係。接著系統會利用動態規劃(dynamic programming)來重新定位失蹤的人員或是連結重新出現的人員。而最後系統會利用隱藏式馬可夫模型(Hidden Markov Models)來進一步的確認可能連結會因為遮蔽、顏色改變、光源改變或是其他不正常的狀況導致連結遺失的追蹤結果。

 

1. 多重攝影機監視系統流程圖

  在每一個攝影視野中,我們蒐集了所有的進出點並且將這些進出點的分布以高斯混合模型(Gaussian Mixture Model)來描述,其相關參數則利用期望最大化(Expectation Maximization)演算法來估測,而進出點的分群數量則利用Bayesian Information Criterion([11]) 來決定。我們的主要目標是要找出人員時常經過的空間,以決定人員的移動路徑及進出時間。

追蹤移動中的物體,我們使用了一個對物件的觀察模型作對應分析。色彩直方圖已經被證明對於訓練物件的比例及方向變化是一個強健的模型。在我們的系統中,我們使用了HS(Hue-Saturation)色彩直方圖模型。我們運用Bhattacharyya係數([12])來計算兩個分布之間的相似度。此外,因著環境光線改變影像的顏色,顏色特徵容易受到光線條件的影響。為了解決這個問題,在不同攝影機視野下搜尋對應目標時,我們必須使用色溫校正。

為找出各個攝影機之間的時空關係,我們計算了物體在離開一個區域到另外一個區域的轉移時間,及利用兩邊區域的觀察現象計算出了轉移機率。為提升系統的估測結果,我們使用攝影機網路拓撲技術([11])的先備知識:(1)每組攝影機相鄰間的資訊(2)攝影機無法監視到的死角區域為關閉性或開放性。若死角區域不是入口也不是出口則是關閉性,反之則為開放性。

在多台攝影機下追蹤必須建立一組觀察物件在各攝影機之間的對應關係。假設一個人物A進入了某台攝影機的視野裡,在該攝影機中標示為OA。這觀察到的OA 包括兩個線索,時空的狀態OA (st),和外觀線索OA(app)。OA (st)包含了相機ID、A的出入區域、位置OA (x, y)和進入時間OA (time)的資訊。然後我們從交接清單中搜尋找到最佳對應的對象Oh,使用攝影機間的時空關係找出最佳的那一位。如果最高的機率超過門檻值時,我們將新來OA和交接清單中的Oh 視為同一個人物。否則,對象OA將在系統中被視為一個新的人物。觀察到的OA  屬於Oh的機率描述於交接清單中如最可能的對應關係可由下式獲得:

假設時空關係的線索與外觀線索是獨立的,我們對其可能性取對數,並賦予不同的權重將它們合併。根據Bayes理論,最可能的對應關係可由以下列式表示:

 

 

其中 QUOTE  為色彩直方圖相似度的機率而為時空關係相似度的機率。據此公式,即可計算出最佳配對。

 在實際的應用上,因為某些環境上的變化會造成畫面中的物體錯誤追蹤。為了修正遺失的追蹤路徑,我們使用一種逐步反向追蹤的動態規劃演算法來找出最有可能的路徑。我們使用每一個步驟紀錄下來的最大可能性和每一個步驟下最主要的路徑。假設一個物件 O1 進入在攝影機 Ci 畫面中的區域A,然後相同的物件將被關注於攝影機 Ci 畫面中的另一個區域B的條件機率為。我們可藉由下列方程式計算從區域A到區域B最有可能的路徑 : ,而其中序列 QUOTE  代表從區域A到區域B機率最高的路徑。

追蹤失誤的問題通常有兩個主要的原因: (a)同一人在不同的攝影機中身上的顏色特徵不一致(b)人於死角區域停留較久的時間。動態規劃可用來反向追蹤找出最有可能的從區域A到區域B的路徑。然後我們選擇在區域B中最佳對應的觀察對象 QUOTE  。然而可能有許多的觀察對象在區域B中,因此我們使用時空上的關係來找出其中最符合的。

人的日常活動通常會遵循一些固定的路徑,我們可將這些固定的路徑定義為規律路徑(regular path),進而連結失誤的追蹤。我們將各個相機視野中,進入區域與離開區域蒐集並利用HMMs建立模型。對每一個進入其中一台相機並在一段時間之後離開的人,我們可以蒐集其進出資訊。根據記錄上的路徑來定義規律路徑。規律路徑是一個路徑片段的連結,一個路徑片段被定義為一個影片拍攝加上進入區域、離開區域與相機ID的這些屬性。為了辨識規律路徑,我們計算路徑片段的機率。接著我們檢查其可能性並挑選最有可能的HMMs模型。

由於不正確的追蹤,一段路徑可能被視為兩段分開的路徑。為了解決這個錯誤,我們首先辨識這兩條路徑是否為規律路徑。若此兩段路徑均被辨識為非規律路徑,我們嘗試連接兩段非規律路徑並研究兩者之間的相似性,如果規律路徑的機率、顏色相似度、轉移機率皆大於某個門檻值,則兩段影像中的人物就被辨識為相同的人。而若路徑個數多於2,如圖2,path 2-3-4以及path 5-6皆被辨識為非規律路徑。因為Group A包含不只一個人,因此我們無法將Group A與Object B以及Object C做連結。如果path 1-2-3-4及path 1-5-6皆被辨識為規律路徑,這表示Object B及Object C非常有可能屬於Group A。如果顏色相似度或轉移機率大於某個門檻值,我們就可以將Group A與Object B以及Object C連結到相同的路徑。

圖 2. 遺失段落的連結。

本文說明一個在多重攝影機架構下的人物追蹤技術,但人們對視訊監控不同層面應用技術的需求與日俱增,如何結合軟硬體以整合出穩定可用且符合終端用戶需求的自動化系統,是一個極具潛力且富有挑戰性的課題。

參考文獻

[1]V. Kettnaker and R. Zabih,“Counting People from Multiple Cameras,” In IEEE Conference on Multimedia Computing and Systems, Florence, Italy, pp. 267-271, 1999.

[2]V. Kettnaker and R. Zabih,“Bayesian Multi-camera Surveillance.” In IEEE Conference on Computer Vision and Pattern Recognition, 1999.

[3]F. Porikli and A. Divakaran,“Multi-Camera Calibration, Object Tracking and Query Generation,” In IEEE Conference on Multimedia and Expo, 2003.

[4]O. Javed, Z. Rasheed, K. Shafique, and M. Shah,“Tracking across Multiple Cameras with Disjoint Views,” In IEEE Conference on Computer Vision and Pattern Recognition, 2005.

[5]A. Dick and M. Brooks,“A Stochastic Approach to Tracking Objects across Multiple Cameras,” In Australian Conference on Artificial Intelligence, pp.160-170, 2004.

[6]T. J. Ellis, D. Makris, and J. Black,“Learning a Multi-Camera Topology,” In Joint IEEE Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance (VS-PETS), pp. 165-171, 2003.

[7]C. Stauffer,“Learning to Track Objects through Unobserved Regions,” In IEEE Computer Society Workshop on Motion and Video Computing, pp. 96-102, 2005.

[8]K. Tieu, G. Dalley, and  W. Grimson,“Inference of Non-overlapping Camera Network Topology by Measuring Statistical Dependence,” In IEEE Conference on Computer Vision, pp. 1842-1849, 2005.

[9]A. Gilbert and R. Bowden,“Tracking Objects Across Cameras by Incrementally Learning Inter-camera Colour Calibration and Patterns of Activity,” In Proc European Conference Computer Vision, pp. 125-136, 2006.

[10]N. Yunyoung, R. Junghun, C. Yoo-Joo, and C. We-Duke,“Learning Spatio-Temporal Topology of Multi-Camera Network by Tracking Multiple People,” In Proceedings of World Academy of Science, Engineering, and Technology, Vol. 24, Oct 2007.

[11]Kuan-Wen Chen, Chih-Chuan Lai, Yi-PingHung and Chu-Song Chen,“An Adaptive Learning Method for Target Tracking across Multiple Cameras ,”  In IEEE Conference on Computer Vision and Pattern Recognition, 2008.

[12]D. Comaniciu, V. Ramesh, and P. Meer,“Real-time tracking of nonrigid objects using mean shift ,”  In IEEE Conference on Computer Vision and Pattern Recognition, 2000.

 

 

 

利用影像深度資訊的即時人體動作捕捉技術

撰稿 / 曹益鐘

動作捕捉技術(Motion Capture)是近來非常熱門的話題。簡單地說,這種技術可以將實際人體的各種運動參數,諸如肢體的活動,手指的擺動,甚至更細微至人物臉部表情的改變,將之捕捉轉化成數據資料後,在電腦上作更進一步的運用。Motion Capture相關技術的研究巳有十幾年的歷史,直至近年來對於動作精確度的掌握才有重大的突破。目前,此種人體動作捕捉技術的應用已非常的廣泛,除電影特效、電玩遊戲之外,醫療的復健動作或運動員的動作分析等等也已經大量運用此種系統。

目前此種系統主要應用在數位娛樂產業上。配合不同的應用,motion capture在運算速度與精確度上亦有不同的需求。以電影特效來說,為了得到擬真的效果,系統精準度的需求較高。自八十八年起,由資策會引進台灣第一套的動作捕捉系統,經過這些時候的醞釀,這一、兩年間已可見動作捕捉技術大量的應用於多媒體及遊戲界。此種需要在真人演員上貼滿偵測器的動作捕捉系統所得到的運動參數相當複雜,相對的擬真效果也更高。但是一套如此精密的儀器價格當然不斐,以需求上來說若不需要這麼精密的動態捕捉的應用,實在是不太適合花這個成本去使用套儀器;再者,利用這套系統來做出的電影特效或電玩動畫等擬真度高的應用,處理計算的時間也是相當地可觀。

2010年11月,微軟在其遊戲機XBOX360推出的體感儀器kinect在業界引起軒然大波。主打”自己的身體就是遊戲控制器”的kinect,讓打電動又更推進了一個新的領域。Wii的遙控控制器當初帶給了人們一種新的體驗-打電動不再是按按鈕而已,你必須揮動著遙控器跟螢幕中的虛擬人物互動,讓打電動進入了一種新的層次。但是微軟的kinect卻又再帶給了遊戲業界一個更高創舉,它把玩家手上需要拿著的感應器都拿掉了,它不需要再利用感應器去感測玩家手的位置,而是利用彩色攝影機跟深度攝影機去感測你全身的實際位置,不只是手,全身的位置都能感測出來,而且為了遊戲的流暢度,當然所有的感測都是即時的。這是一個非常了不起的技術,以往的動態捕捉技術無非是要在測試環境中各種角度都裝置上攝影機,才能有效的感測出人體全身的關節運動參數,但是現在只需要kinect這一台感測裝置,便能把全身部位都感測出來。當然精準度跟擬真度也許沒這麼高,但是用作於遊戲應用已綽綽有餘。

http://mmdays.com/wp-content/uploads/2010/12/Content_70.7.jpg

圖1 簡單的kinect結構

Kinect一共用三個類似攝影機,中間是我們常見的普通webcam,這個鏡頭有8 bit的VGA解析度,基本上就跟普通的webcam沒兩樣,但是左右兩個可就是Kinect中最重要的秘密武器,由一家以色列公司(PrimeSense)推出的可以測景深的裝置。而左邊其實不是攝影機,而是投影機,但是投出的並不是可見光,而是紅外線光,所以使用者並不會感覺到有光照在身上,另一個則是一個CMOS的攝影機,根據投出的紅外線光影像來根據影像計算景深。而PrimeSense也在kinect推出不久之後,把他們的驅動程式也release出來,並且open source。我們便是利用kinect所捕捉的深度資訊影像與一般彩色影像作配合,來做人體運動參數的偵測。

我們以人物剪影的輪廓作為依據,並且使用local patches為單位與資料庫的patches作比對,來篩選出最近似於目前輸入畫面的人物的關節角度參數。

主要技術流程如下:

(a)

(b)

圖2 利用kinect捕捉的彩色影像與深度資訊影像

1.首先建立資料庫模型。利用kinect捕捉人物的彩色影像及深度資訊影像(圖二),並利用簡單的背景相減法萃取出人物剪影以及人物剪影的輪廓,並計算出人物的質心。沿著輪廓取Ndb的點,以這些點為圓心分割出許多patch,並記錄每個patch的shape context s,patch的半徑rdb,以及patch相對於質心的方向向量v。同時,在這個patch的圓範圍內,也記錄深度資訊的分布情況d。利用此方法在資料庫中建立Npose的人體模型,故可得到Npose*Ndb個patch,裡面都記錄著{s,rdb,v,d}這些特徵。(圖3)同時計算這些輪廓上的點兩兩之間的距離後取平均,紀錄為Rdb。

圖3 人物剪影取patch示意圖。

2.為了避免輸入影像的人物大小與資料庫裡的大小不一致造成取patch時大小上的誤差,在輸入影像取patch之前,先對patch的半徑大小作調整。同樣先利用前處理得到輸入影像的輪廓,並沿著輪廓取點,計算兩兩之間的距離後取平均,紀錄為Rinput。此時利用下式調整輸入影像的patch半徑大小:

得到新的半徑,對輸入影像剪影取patch,同樣記錄其shape context與對質心的方向向量。

3.要在龐大的資料庫中找出相似的patch,進而得到最近似的pose model是一件計算繁複的過程。為簡化計算時間,每一個資料庫的patch都預先訓練出一個雜湊函數(hash function),該函數得出來為一個bit的值:若輸入patch與該patch相似,則為1,反之則為0。利用這種方法,我們可以將patch高維度的向量簡化為一個二值化的數列。之後,我們便能利用這些二值化的數列更簡單地找出最相近的姿勢模型。取得了最相似的模型,我們便能得到它的關節運動參數,在後續如動畫編輯等地應用,就能用3d人物模型模擬出實際人物的動作出來。

結論

我們計劃利用kinect的深度影像開發出一個即時的人體動作捕捉系統,並且能夠針對更複雜的肢體動作如蹲下、彎腰、甚至有如瑜珈動作等等的關節參數加以辨識。目前,在patch的shape context上比較輸入影像與資料庫中的人體輪廓相似度已經有不錯的效果,爾後對於深度資訊能夠開發出能更有效地即時辨識相似度的演算法後,相信對於人體動作捕捉的精準度與強健性都能有相當的提升。

未來展望

隨著科技產品技術的突飛猛進,讓電腦也能擁有如人腦一般的視覺力與判斷力,人機介面也逐漸趨於直觀化。Kinect在電腦視覺研究領域上的突破,不僅在遊戲產業引起了軒然大波,在教育學習及醫療保健等等領域勢必也將帶來新的衝擊。

 

以條件隨機場實踐人類異常行為偵測

撰稿 / 黃本軒

至今,影像的監控系統在各種場所中扮演了相當重要的角色,例如社區巡邏、居家看護、銀行防盜、機場安檢...等。隨著監視器的普及與各種異常事件的發生,傳統監控方式的缺點越來越顯著,而且通常在異常事件發生時無法盡早發出警訊。此外,當我們想要從一段錄製好的影片中檢索出異常的片段,往往需要耗費大量的時間。因此異常行為偵測的研究計畫便不斷地被研發。然而,異常行為通常不像正常行為那樣能夠給予明確的定義,所以我們只能夠將正常以外的行為全部當做異常。以機率的角度來看,我們將會給予正常行為一個機率的模型來做描述,當未知的行為進入我們的系統時,若發覺此機率值不夠高就可判定為異常行為發生。

通常相似的觀測量(obsevation)會在不同的時間尺度上發生,而且相鄰的觀測量彼此之間具有相依性,所以必須使用這些觀測量背後所隱藏的意義來做分類依據。在研究上有使用Hidden Markov Model(HMM)當做各種正常行為的模型,HMM是一種機率生成模型(圖一),通常由觀測量()及標示()的結合機率分布來描述,並使用Bays rule來計算。然而為了定義出這樣的結合機率,一個生成模型就必須列舉出所有可能的觀測量序列,這種做法並不適合用來描述彼此有重疊的特徵或大範圍相依的觀測量,因此用HMM來建立所有正常行為的模型並不適合。

 

(圖一)HMM模型架構

 

(圖二)CRF模型架構

   條件隨機場(Conditional Random Field)是一種無向性的鑑別式機率圖模型(圖二),假設是一張圖,那麼就是圖中的頂點,而就稱為一個條件隨機場。藉由Hammersley Clifford theorem,我們可以將一個timestep為T的CRF模型以特徵函數的形式表示成如下的條件機率:

其中, ,,而特徵函數可再由2組特徵函數組成:

此2組特徵函數可以依照狀態及觀測量之間的關係自行設計出。

假設所有標示過的訓練集合是,那麼CRF的參數可由最佳化如下的條件機率得到:

此概似函數可以藉由下面的gradient ascent method來最佳化:

在此我們可以藉由矩陣運算來表示此一序列狀態轉移的過程,並且提升機率運算的計算效率:

 

式中的矩陣,此處我們會加入起點狀態及停止點狀態,而的下標表示矩陣中的特定元素。因此我們可以將原來的條件機率改寫成下式:

 

CRF比起HMM來的方便許多,因為CRF可以藉由dynamic programming的方法來有效率地計算出,而CRF的模型可以視為一種convex的最佳化問題,目前有多種方式來處理此問題,其中limited-memory variable-metric gradient ascent(L-BFGS)因收斂速度較快,常在CRF參數的訓練中被使用。(圖三)針對以下各種訓練方法做收斂速度的比較:preconditioned conjugate-gradient(CG)、limited-memory quasi-Newton (L-BFGS)、generalized iterative scaling (GIS)、non-preconditioned CG。

 (圖三)各種訓練方法的收斂速度比較

結論

利用CRF建立的模型可以應用於任意彼此之間有重疊的特徵或大範圍相依的觀測量,補足了HMM在此一方面的缺點,而且可以利用convex的最佳化方法訓練CRF模型,並使用dynamic programming增進運算效率。因此,當我們將各種人類正常行為當作CRF的訓練集合訓練出特徵函數的參數後,就可以用此訓練好的CRF模型測試一段未知的影片,當測試的影像序列機率值夠高,就表示此序列是屬於正常行為,一旦發生機率值驟降,就表示偵測出發生人類異常行為的片段。

參考資料

[1]Sha, F., Pereira, F. (2003). "shallow parsing with conditional random fields"

[2]Lafferty, J., McCallum, A., Pereira, F. (2001). "Conditional random fields: Probabilistic models for segmenting and labeling sequence data". Proc. 18th International Conf. on Machine Learning. Morgan Kaufmann. pp. 282–289.

[3]C. Sminchisescu, A. Kanaujia, Z. Li, D. Metaxas, " Conditional models for contextual human motion recognition", in: IEEE International Conference on Computer Vision, Vol. 2, 2005, pp. 1808–1815.

有關本學界科專計畫、電腦視覺監控產學研聯盟、以及電子報之背景與相互關連都已在電子報創刊號詳細說明。本期電子報由分項A子項2主編,在此,我們簡介此子項於學界科專98年度之研究計畫:

子項A2於本年度的研究重點在於使監控人員在一攝影機網路的監控環境下,更容易在不同場景之間追蹤與監控多個目標物,並提供可疑事件的歷史監控記錄與資料庫搜尋,使監控人員能更方便進行中控室操控。本年度的研究主題如下:

1.  停車場之人車連續追蹤:有別於之前的技術,在跨攝影機目標物追蹤上,僅使用時空特徵與外觀顏色特徵。在本年度的研究,我們預期以加入幾何特徵為研究方向,藉由目標物幾何特徵在行進過程中的一致性,並與之前已使用的特徵進行整合,以提高追蹤正確率。我們也預期發展人車的分辨模組,透過機器學習方法的設計與實作,進行物體的部件的分析與辨認,以便提高人車追蹤的效能。

2.  可疑人物之長程追蹤:設計一長程策略來分析可疑人物之行為,藉由結合系統所提供之長程蒐集可疑人物之資訊,來彌補短程偵測方法之不足,以提升單一攝影機可疑人物偵測之正確性。並且,將動態呈現目標物的可疑程度,以提升中控室使用者對場景中人物的即時掌握程度。

3.  可疑事件在中控室之視覺化顯示:開發一攝影機是否遭到遮蔽或明顯移動的偵測技術,例如:攝影機遭到轉向、遮蔽或是鏡頭遭塗抹異物以致無法取得正常之監控影像。並且,將發展一整合攝影機網路的視覺化顯示中控室系統,該系統藉由整合平順轉場技術與多重解析度顯示技術,以提升使用者於中控室的監控效率與操作方便性。

 

 

近年來全球安全監控產業呈現穩定成長趨勢,並由於數位時代的進展,安全監控產品技術層次也不斷提升,進而與其他產業整合,預期未來安全監控領域是安全產業中最具發展潛力的領域之一。此外,由於現代科技的進步,醫療技術與品質提升,使國民平均壽命逐年攀升。在新人口結構變化趨勢下,如何滿足老年人健康照護需求的問題不容小覷,相對而言,也造就了新的商機。根據工研院IEK推估,台灣高齡產業市場規模在2025年可望達到1089億美元。

展望未來產業趨勢,安全監控產業以及高齡產業市場規模將持續增加。因此,本中心將以前期所開發之100餘項相關核心技術,規劃二個系統整合方向 — (1)智慧型建築(smart building),結合資訊、通訊與視訊技術,整合創造科技與人文結合的智慧型大樓;(2)智慧型社區(smart community),結合鄰里以及警政單位,規劃全方位無死角社區或園區智慧型監控系統 — 期許透過系統整合,勾勒具視覺感知能力之安全環境架構,以建構全面智慧型環境,讓人們悠遊於舒適的環境之中,並協助國內廠商尋找智慧型監控環境之藍海策略,使台灣成為安控產業之明日之星 。

學界科專計畫已邁入第二期,本期研發重點,在技術策略方面,朝向「多層次多感測無縫隙系統」發展,結合視訊與感測器(sensor)成為一全方位監控安全系統。在技術落實方面,朝向下列三目標執行:

(1) 提升技術成熟度、可靠度及穩定度

(2) 以嵌入式系統具體化前期核心技術

(3) 整合前後期核心技術,以發展商品化之產品。

每一分項之主要工作項目概述如下,詳細內容後述之。

分項一:智慧型建築(Smart Building)

分項一的研發主軸為智慧型建築(smart building)的前瞻性技術研發,工作項目如下。

A1.日夜安全巡邏與訪客引導系統---室內空間智慧型巡邏與避碰利用自動車引導訪客、紅外線影像處理與自動車夜間導航、多自動車協同巡邏與異常偵測等。

A2.視訊監控中央管理系統---攝影機網路之目標物即時追蹤與預測、視訊資料庫搜尋、與資訊整合視覺化。

A3.室內突發事件分析系統---室內突發事件分析之技術開發主軸分隊針對人員及環境設計各項突發事件偵測技術,研發技術包括:人員異常行為分析、訪客異常行為偵測、環境突發事件偵測限制區域之監控、限制區域之監控。在技術策略方面,朝向結合視訊與感測器(sensor),發展成為一全方位監控安全系統。

分項二:智慧型社區(Smart Community)

以多層次多感測無縫隙的技術為發展目標,分項二的技術研發主軸定位在智慧型社區(smart community)安全的前瞻性技術研發,主要工作項目如下所列。

B1. 人車偵測與辨識系統---即時車型和車輛之偵測和辨識、車輛管制系統、PTZ攝影機人員偵測與辨識等。

B2. 強健性物件追蹤系統---全天候物件偵測與追蹤、即時物件追蹤技術、多感測器人員追蹤、多人長時間性人員追蹤。

B3. 事件分析與搜尋系統系統---自動化視訊搜尋、戶外異常事件分析、異質相機行動監看。

 

 

經濟部學界科技專案『以視覺為基礎之智慧型環境的建構四年計畫』所發起的「電腦視覺監控產學研聯盟」已於2005年初正式成立。為了加強產業界與學術界的互動與交流,聯盟自2005年一月起每兩個月定期發行一期電子報,提供國內產業界及聯盟會員最新的相關資訊。

本電子報目前所規劃的內容包括:

1.最新動態:公布並報導「電腦視覺監控產學研聯盟」或「影像等相關單位」舉辦的各項技術說明會、技術研討會、企業座談會等相關活動訊息。

2.技術報導:報導電腦視覺監控領域相關研究的現況,並簡介本學界科專計畫的最新研究成果及所獲得的各項專利等。

 

在本期的電子報當中,「最新動態」部分報導2009/9/21~24於美國加州安那罕舉行的美國國際安全器材展,另外介紹10/1於福華國際文教會館舉辦的『技術研討暨技術成果移轉說明會』。此外,在「技術報導」方面,本期收集了兩篇文章,分別由台大網媒所施朝欽同學與賴治權同學介紹「攝影機功能異常自我診斷技術」及「視線追蹤」的技術。

 

 

「電腦視覺監控產學研聯盟」乃是由經濟部學界科專「以視覺為基礎之智慧型環境的建構四年計畫」所發起,由前亞洲大學校長蔡文祥(現交通大學講座教授)所主持,在背後支持此一聯盟的研發團隊幾乎囊括了國內電腦視覺研究領域之菁英教授,其研究人員遍佈台大、清大、交大、中央及中央研究院等第一流學術機構。每一位計畫主持人皆累積多年有關影像處理與圖形識別等研究的經驗,亦曾多次協助業界研發各項影像處理與圖形識別系統,輔導產業研發、創新之經驗豐富 。

本聯盟除發行電子報外,也提供聯盟成員包括人才招募、技術諮詢、企業資訊推廣等多項 服務(請點選並下載電子報左方目錄中的「會員招募簡章及報名表」,並參閱其中有關本聯盟之服務內容說明)。竭誠歡迎產業界相關企業加入聯盟,藉由大家共同的努力,提昇國內此一產業的技術水準。

為了方便會員的聯繫,我們於新竹特設一服務窗口:

新竹窗口

交通大學電腦視覺中心 蔡淑均 小姐

TEL:03-5731970    FAX:03-5730785

E-mail : rayis@mail.nctu.edu.tw