電腦視覺監控產學研聯盟

The Industrial Liaison Program Of  VBIE

 

2010年 02 月第 32 期

電子報

 

 

 

 

 

 

發行單位:電腦視覺監控產學研聯盟

出刊日期:2010年02月

本期主編: 范國清

本期聯絡人: 王宇晨

(03)-422-7151轉35328

桃園縣中壢市五權里2鄰中大路300號

人工智慧與圖形識別實驗室  

電腦視覺監控產學研聯盟網站: 

http://vbie.eic.nctu.edu.tw/

 

         

DVR在2009台北聽障奧運之維安應用報導

學界科專期末展示報導

 

夜間車輛防撞系統

使用2維局部保持投影法(2D-LPP)進行人臉影像超解析

 

 

DVR在2009 台北聽障奧運之維安應用報導

聽障奧運會(Deaflympics)2009年9月在台北市舉行,有來自80國至少3600位選手參與,再加上隨團來台的教練、親友和觀眾,將有數萬人之普[1] [2],如以歷年國際重大恐怖攻擊事件來看,此匯聚了許多歐美人士的場合,且為媒體及國際間關注的競技活動,很容易成為恐怖攻擊的目標,因此在維安、防恐的作業任務中,各場館及選手村,除事前徹底的安全檢查外,整個賽事期間必需全面且即時的安全監控措施。

   

為此由國安局統籌相關單位及人力,規劃及佈署22個比賽場館之維安,其主要競技場在台北市田徑場及小巨蛋,其他競技場分布於新竹以北之各縣市,而安全維護工作以專業單位之「人力」為主,廣佈於活動現場內外、競技場和週遭民宅大樓的制高點、競技場外週遭街廓之人行道、以及選手村,以便現場就近立即處理各項維安情事。

         

此次維安勤務以「零發案、零侵害、零衝突」為目標,其每日動員之人力近2萬人,由軍、警、憲、調、情治、消防等相關單位共同協力執行,並同時輔以救災、攝影、通訊、監視錄影等科技設備,以點、線、面方式,全面掌控賽事的維安工作[3]。

而其中有關「視覺監控攝影機」,則大量設置在主要競技場內外及週遭,總類包括紅外線固定式、PTZ high speed dome、週期性左右擺動式等,共約1200部,並連線至維護安全的「主指揮所」內,由專人即時監看,另外,分散於台北市各四、五星級飯店之選手村,每日均需將當日監視攝影機之監視攝影紀錄電子檔的備份,繳交至維安單位留存備用。

2009聽障奧運會舉辦期間,我們蒐集了活動的許多資料,並親至競賽現場觀察、拍照,且於賽後訪談了許多参與維安工作的各單位人員,初步感覺到「智慧型視覺監控技術」已能成功應用在大型活動中,提升其安全和服務的效率及品質。

參考資料
[1]台北聽障奧林匹克運動會籌備委員會基金會,http://www.2009deaflympics.org
[2]臺北市體育處,http://www.tms.gov.tw/2008/info_place_7.php
[3]蔡木火,防救災緊急通訊系統概述,消防署

 

 

 

 

學界科專系統整合期末展示之報導 

撰稿/
王宇晨
國立中央大學

本次學界科專期末展示於2010年1月7號上午展開,本次展示的主題為智慧型建築室內管制區域人物監控追蹤系統,展示地點位於國立交通大學電資大樓八樓 Eco-City生活科技展示中心。本次展示十一項技術利用一般使用者會遇到的十種生活情境的方式呈現,讓審查的經濟部委員能夠很簡單明瞭的了解目前老師們的技術,基於本期計畫強調應用及系統整合,為加強系統整合面的規劃,選擇主要的應用方向--智慧型建築,應用於智慧型建築室內管制區域人物監控與追蹤,如下示意圖。再確定系統的架構及規格,進而決定各種技術之間的介面,達成系統整合之目的。規劃系統藍圖及技術佈局,並確定計畫的查核點。同時在上期已開發的基礎上,清楚地將已建立的核心技術做一盤點。進一步發展更具前瞻性技術,以期在應用系統能有突破性及創新性的發展。

技術一:虹膜身份辨識(負責人--子計畫 B3 石勝文教授)

阿貴是櫃台工作人員,上班前以虹膜身分辨識系統前開啟展場展示系統。

圖1 劇情關鍵畫面(key-frame)示意圖: (a)阿貴來到 Eco-City上班。(b)在櫃檯前使用虹膜身分辨識系統。(c) 開啟展場展示系統後開心地上班。

技術二:人形辨識系統(負責人--子計畫 B1 林進燈教授)

廖董與廖夫人來參觀中心科技,來到櫃台,人形辨識系統通知正在中控室整理的阿貴,阿貴立刻到櫃台來為廖董與夫人服務。

圖2 (a)廖董與廖夫人來到櫃台卻沒看到人。(b)站在櫃檯前的他們被人形辨識偵測到。(c)在中控室整理的阿貴聽到偵測通知,趕緊出來招呼。

技術三:區域空間入侵偵測(負責人--子計畫B1林道通教授)

廖董與廖夫人走到暫不開放的健身房,好奇走入,啟動區域空間入侵偵測,阿貴以廣播通知請他們離開。

圖3 劇情關鍵畫面(key-frame)示意圖: (a)廖董與廖夫人走到健身房。(b)好奇進入的兩人被區域空間入侵偵測到。(c)阿貴以廣播通知請他們離開。

技術四:貴重物品遺失偵測(負責人--子計畫A3連振昌教授)

廖夫人在展示空間看到展示品數位書僮小恐龍非常可愛,想把玩一番,不料啟動了貴重物品遺失偵測,阿貴開啟廣播系統,請廖夫人勿觸摸。

圖4 (a)廖夫人看到數位書僮小恐龍非常可愛。(b)廖夫人拿起小恐龍被貴重物品遺失偵測給偵測到。(c) 阿貴開啟廣播系統,請廖夫人勿觸摸。

技術五:異常行為偵測(負責人--子計畫 B3 謝君偉教授)

廖董到客廳沙發坐下來,拿出口袋裡的香菸想在這裡抽菸,但是被人物異常行為偵測到,在櫃台的阿貴開啟廣播系統,勸阻廖董勿在展場中抽菸。

圖5 劇情關鍵畫面(key-frame)示意圖: (a)廖董到客廳沙發休息。(b)在客廳抽菸被人物異常行為偵測到。(c)阿貴以廣播方式請廖董不要在展場中吸菸。

技術六:人物移動之長程連續追蹤與預測(負責人--子計畫A2洪一平教授)

中心劉經理聽說 VIP 廖董光臨,匆匆來到櫃台詢問,阿貴經由人物移動之長程連續追蹤與預測系統,查詢到廖董的現在位置。

圖6 (a)劉經理匆匆來到櫃台詢問廖董去向。(b)阿貴經由人物移動之長程連續追蹤與預測查詢。(c)劉經理急忙前往找廖董伉儷。

技術七:事件軌跡視訊紀錄與搜尋(負責人--子計畫B3 廖弘源教授)

劉經理跑去問阿貴是否把他放在二樓的點心盒吃掉,阿貴打開事件軌跡視訊紀錄與搜尋,證明今天阿貴都沒有上樓梯到二樓過,並且從紀錄中發現是劉經理自己把點心盒帶走(以下樓梯軌跡搜尋)。

圖7 (a)劉經理質疑阿貴把放在二樓的蛋糕吃掉。(b)阿貴經由事件軌跡視訊紀錄與搜尋查詢,證明是劉經理自己帶走的。(c)劉經理想起來是自己把蛋糕吃掉的。

技術八:虹膜身份辨識(負責人--子計畫 B3 石勝文教授)

下班了,阿貴至虹膜身分辨識系統開啟夜間紅外線防盜系統,安心離去。

圖8 劇情關鍵畫面(key-frame)示意圖: (a)到了下班時間。(b)阿貴在櫃檯前使用虹膜身分辨識系統。(c)開啟夜間防盜系統後安心地下班。

技術九:夜間人物偵測及異常入侵手機通報(負責人--子計畫 B2 王元凱教授)

三更半夜阿鼠進到中心,被可疑人物偵測到,於是異常入侵無線警告系統將畫面經手機傳送給阿貴和劉經理,他們匆匆趕往中心。

圖9 (a)三更半夜阿鼠搭電梯進到中心,被夜間人物偵測系統偵測到。(b)異常事件手機通報系統將畫面傳送給阿貴和劉經理。(c)阿貴和劉經理匆匆趕往中心。

技術十:移動監控與盲點區域偵測 (負責人--子計畫A1王聖智教授、蔡文祥教授、楊谷洋教授)

                紅外線人物偵測(負責人--子計畫A1莊仁輝教授)

圖10 劇情關鍵畫面(key-frame)示意圖: (a)走廊上的紅外線偵測到阿鼠走到長廊尾端。(b)為了安全起見,啟用盲點區域偵測與移動監控。(c)警察在此時趕到,發現阿鼠是走失的失智老人。

 

 

 

 

夜間車輛防撞系統

撰稿/
盧映宇、韓欽銓教授、范國清教授
國立聯合大學,國立中央大學

一、摘要:

保持安全距離在道路駕駛上是十分重要的,保持和前車的安全距離可以有效降低事故發生的機率,這篇論文中提出了一個有效率的距離量測方法,並且只使用了單一攝影機,有別於一般雙眼立體視覺的架構。本研究共分成四個模組,分別為車燈偵測模組、距離量測模組、車牌偵測模組以及決策模組,透過四個模組的分工,我們便可以知道前車的距離,進一步可以對駕駛人做出警告,避免對前車的碰撞。在車燈偵測模組中以車燈的亮度及顏色特徵作為車燈偵測的基礎,可即時找到車子的兩個車尾燈,利用車尾燈的寬度帶入距離量測模組中,便可以得到與前車的距離,在距離沒有碰撞的危險時我們使用攝影機變焦的功能,取得車牌的影像,利用車牌偵測模組找到車牌的切確位置,並透過車牌與車燈的比例關係對於距離量測所使用的參數做出校正,已達到更精確的防碰撞效果,在決策模組中,以簡單的物理公式給予使用者適當的輔助,以達成安全駕駛的目標。

二、簡介:

一般車輛防撞皆是使用以感測元件為基礎的系統,其中又以反射式[1,2]與相位差計算式[3-6]的系統為主,最常見的超音波系統是反射式的代表,計算音波飛行的時間(Time of flight)與當時的音速計算與出待測物體間的距離,超音波測距極易受到氣溫及濕度的影響,較適合使用在短距離的測距,相位計算的系統則是以雷射測距儀[7-9]為代表,雷射測距儀發射出不同相位的光波,利用反射回來的相位差別計算出與物體間的距離,雷射測距方法較為準確,但是存在昂貴及安裝困難的缺點且雷射易受空氣中水氣的影響,豪米波雷達(millimeter radar)亦是相位測距的方法之一,豪米波雷達可以在各種氣候下運行,並且不受水氣或下雨影響,但是豪米波雷達的售價過高,六千美金的售價並不適用於一般的車輛。以上所列出的幾種方法都會受到反射面的影響,不良的反射面或是不同的材質都會產生誤差,且以趕測器為基礎的系統擴展性不如以視覺為基礎的系統,故本研究使用視覺為基礎的演算法。視覺為基礎的夜間距離偵測的取相設備大致可分為:1.近紅外線(NIR)與遠紅外線(FIR)[10]、2.可見光,以遠紅外線(FIR)為基礎的系統可以抗高雜訊並在天候不良的環境運作,且不受光線的影響,但是價格十分昂貴,一般的車用設備亦是超過五千元美金,且會受到氣溫的影響,近紅外光(NIR)[11]的系統則是雜訊過高難以處理,不論是近紅外光或是遠紅外光皆須使用特殊的取像器材,較不符合成本效益原則。可見光的系統[12,13]大致以雙眼立體視覺及車道線偵測[14-16]為主,雙眼立體視覺[12]在夜間較難得到準確的結果,相對距離[13]並沒有辦法滿足防撞所需的距離偵測,車道線偵測則需要較多的運算力以及處理夜間光影變化的演算法,其提供的功能遠大於防撞,亦比本研究所提出的系統需要更高的運算力。在先前的研究中[17]以電路實做的夜間防撞系統存在以下問題:1.無法處理複雜光影變化、2.距離量測的參數需固定,在本研究以影像處理及車牌偵測[18]解決前述的兩大問題,大大的提高了決策的準確性。


圖1 系統流程圖

三、距離量測:

利用影像中參考點的距離來計算與前車的距離,如圖二所示,距離越遠的車在影像中車燈之間的距離越短,利用圖二a的架構,可求的相機與前車的距離:

, and

(1)

.

(2)

 

 

fig2a

(a)

繪圖2

(b)

繪圖1

(c)

                                                      圖2 系統架構及範例

但此架構限制了量測的最短距離以及車燈的寬度,正如圖二a所示,兩車燈的寬度WS與最短距離hx存在相對的關係,在這個架構中無法隨意改變參考的寬度,也意味這這個系統高度依賴準確的車燈寬度,若車燈寬度改變,系統的誤差將會大大的提高,故本研究提出新的架構來解決這個問題,使參考寬度可以動態改變,其架構如圖三所示:

圖3 新系統架構

利用相機視角參數取代最短距離參考hx則可以得到新的公式:

(3)

在系統初始化時並沒有辦法得知前車車燈的切卻寬度,故需要透過車牌偵測來校準車燈的寬度:

, and

(4)

          

(5)

將預設的寬度WS轉換成校正過後的寬度WS,如此一來便可以提升距離偵測的準確率。

四、車燈及車牌偵測

車燈偵測使用傳統類神經網路作分類,由於本研究的攝影機架設模式有別於一般傾斜架設的攝影機,傳統傾斜的架構路面將會延伸到畫面的上方,以致於ROI (Region of interest)難以選定,故本研究可以設定固定的ROI用以減低運算量,以下車燈偵測之步驟(圖四)1.設定欲偵測的區域、2.將色彩空間轉換至YCbCr3.利用倒傳遞類神經網路BPNN將影像分類、4.選定車燈候選區域、5.以幾何規則選取車燈,透過以上五個步驟便可以獲得車燈的資訊,並將車燈在影像中的寬度傳至距離偵測模組,以利防撞判斷。

BPNN中以YCrR作為訓練的基礎,可將夜間高雜訊影像分為以下三類:1.車燈區域、2.車燈周圍區域、3.背景,如圖四所示分別為粉紅色、白色、黑色,區域1包含在區域2中時則成為我們所認定的候選區域,最後選擇影像中縣左右對稱的兩個候選區域作為系統所認定的車燈。

7roi

7Y

(a) An original color image

(b) The transformed image in channel Y

7R

7Cr

(c) The transformed image in channel R

(d) The transformed image in channel Cr

7nn

7L

(e) The output of a trained NN.

(f) The labeled image.

7LL

 

 (g) The detected taillights.

 

圖4 類神經網路為基礎之車燈偵測

車牌偵測則是以Adaboost分類器為基礎,Adaboost偵測法通常使用於人臉偵測,透過兩項關鍵的技術:Cascade classifierIntegral Image可以達到即時車牌偵測,Cascade classifer是訓練車牌特徵分類器的方法,其概念是利用多個弱分類器取代強分類器,也就是說用較簡單的特徵先做初步分類,當資料難以分類時再加入複雜的特徵,如此一來便可以在分類時透過簡單的程序快速過濾掉雜訊,在後期亦可使用複雜的特徵提高偵測的準確率,在本研究中使用了12個弱分類器進行車牌偵測。而Integral Image則是快速計算出特徵的方法,其時間複雜度為O(m*n)mn分別為影像的長寬。結合上述兩個技術,本研究中可以即時偵測車牌資訊,並做出相對應的動作,圖五為車牌偵測的結果。

圖5 車牌偵測結果

五、實驗結果

本研究的實驗環境為一般的道路以及高速公路,在一般的道路上以雷射測距儀對前車做距離偵測並與本研究所提出的方法作比較(表一),在高速公路的環境由於沒有實際距離資料,故以驗證車燈偵測的準確率為主(表二)。

Ground Truth

(m)

Case a

1.52 m

Case b

1.305m

Case c

1.47m

Case d

1.42m

E (%)

E (%)

E (%)

E (%)

5

5.02

0.35

4.31

-13.8

4.86

-2.84

4.71

-5.79

10

10.04

0.43

8.62

-13.8

9.72

-2.76

9.43

-5.72

15

14.93

-0.48

12.82

-14.53

14.45

-3.64

14.01

-6.57

20

20.15

0.77

17.30

-13.5

19.51

-2.43

18.92

-5.40

25

25.73

2.91

22.09

-11.64

24.91

-0.36

24.15

-3.39

30

28.79

-4.03

24.72

-17.6

27.88

-7.08

27.03

-9.91

35

35.56

1.61

30.53

-12.77

34.44

-1.61

33.39

-4.61

40

39.00

-2.48

33.49

-16.28

37.77

-5.58

36.62

-8.45

45

44.78

-0.48

38.45

-14.56

43.36

-3.64

42.04

-6.57

50

48.37

-3.26

41.53

-16.94

46.83

-6.33

45.41

-9.19

 

Data set

Correctly detected

images

Mis-detected images

Error rate (%)

a

970

30

3.0

b

956

44

4.4

c

983

17

1.7

d

738

62

7.6

e

1007

183

15.4

f

855

298

25.8

g

716

27

3.6

 

七、參考文獻

  1. Magori, V., Walker, H.: Ultrasonic presence sensors with wide range and high local resolution. IEEE Trans. Ultrason. Ferroelectr. Freq. Control 34, 202–211 (1987)

  2. Biber, C., Ellin, S., Shenk, E., Stempeck, J.: The Polaroid ultrasonic ranging system. In: Polaroid Ultrasonic Ranging System Handbook, Application Notes/Technical Papers, Polaroid Corp.,Cambridge, MA (1984)

  3. Fox, J.D., Khuri-Yakub, B.T., Kino, G.S.: High-frequency acoustic wave measurements in air. In: Proceedings of the IEEE Ultrasonics Symposium, pp. 581–584 (1983)

  4. Webster, D.: A pulsed ultrasonic distance measurement system based upon phase digitizing. IEEE Trans. Instrum. Meas. 43, 578–582 (1994)

  5. Marioli, D., Narduzzi, C., Offelli, C., Petri, D., Sardini, E., Taroni, A.:Digital time-of-flight measurement for ultrasonic sensors. IEEE Trans. Instrum. Meas. 41(1), 93–97 (1992)

  6. Hueber, G., Ostermann, T., Bauernfeind, T., Raschhofer, R., Hagelauer, R.: New approach of ultrasonic distance measurement technique in robot applications. In: Proceedings of the 5th International Conference on Signal Processing, vol. 3, pp. 2066–2069(2000)

  7. Maatta,K.,Kostamovaara, J.:Ahigh-precision time-to-digital converter for pulsed time-of-flight laser radar applications. IEEETrans. Instrum. Meas. 47(2), 521–536 (1998)

  8. Carmer, D.C., Peterson, L.M.: Laser radar in robotics. Proc. IEEE 84(2), 299–320 (1996)

  9. Osugia, K., Miyauchia, K., Furuib, N., Miyakoshi, H.: Development of the scanning laser radar for ACC system. JSAE Rev. 20(4), 549–554 (1999)

  10. Tsuji, T., Hattori, H.,Watanabe,M., Nagaoka, N.: Development of night-vision system. IEEE Trans. Intell. Transp. Syst. 3(3), 203–209 (2002)

  11. Jahard, F., Fish,D.A., Rio,A.A., Thompson, C.P.: Far/near infrared adapted pyramid-based fusion for automotive night vision. In Proceedings of IEE 6th International Conference on Image Processing and Its Applications, vol. 2, pp. 886–890, July 14–17 (1997)

  12. Mark,W., Heuvel, J.C., Groen, F.C.A.: Stereo based obstacle detection with uncertainty in rough terrain. In: Proceedings of IEEE Intelligent Vehicles Symposium, pp. 1005–1012, June (2007)

  13. Stein, G.P.,Mano, O., Shashua,A.:Vision-basedACCwith a single camera: bounds on range and range rate accuracy. In: Proceedings of IEEE IntelligentVehicles Symposium, pp. 120–125, June (2003)

  14. Kluge, K., Thorpe, C.: Representation and recovery of road geometry in YARF. In: Proceedings of IEEE Intelligent Vehicles Symposium, pp. 114–129 (1992)

  15. Kluge, K.: Extracting road curvature and orientation from image edge points without perceptual grouping into features. In: Proceedings of IEEE Intelligent Vehicles Symposium, pp. 109–114 (1994)

  16. Gern, A., Moebus, R., Franke, U.: Vision-based lane recognition under adverse weather conditions using optical flow. In: Proceedings of IEEE Intelligent Vehicles Symposium, pp. 652–657 (2002)

  17. Wang, W.Y., Lu, M.C., Chu, C.Y.: Nighttime vehicle distance measuring system (NVDMS). IEEE Trans. Circuits Syst. II 54, 81–85 (2007)

  18. Viola, P., Jones, M.J.: Robust real-time face detection. Int. J. Comput. Vis. 2, 137–154 (2004)

 

 

 

 

 

 

使用2維局部保持投影法(2D-LPP)進行人臉影像超解析 

撰稿/
黃才荏、程克羽、王元凱教授
輔仁大學

1. 引言

在許多應用中,超解析(Super-Resolution)一直都被視為是關鍵的影像重建方法 [1],如醫療影像,HD電視,影像式繪圖,人臉辨識和視訊監控等。超解析目的是提高低解析度原圖的解析度,這在人臉辨識、生物識別技術和監視方面非常有用[2]。而超解析所面對的挑戰是沒有精確的邊緣資訊,也就是說在觀察模型(Observation Model)內的降維過程中得以有限資訊假設成像[3]。對低解析度影像進行超解析有四類方法:內插法(Interpolation-Based)、重建法(Reconstruction-Based)、學習法(Learning-Based)和子空間法(Subspace-Based) 等。內插法是較直觀的方法,例如取最近值、雙線性和雙三次內插值等,它們各自都只使用一個函數並輸入鄰近像素來調整影像; Clark等人[4]則提出了非均勻插值法,其中包括三步驟:校正(Registration)、內插法和反模糊化(Deburring)。內插法僅適用在所有影像皆為相同降維過程的情況。重建法是重建整張影像的方法。Stack和Oskoui [5]透過凸集投影(Projection-Onto-Convex-Sets)法做影像強化,這是一種疊代的方法,能降低重建影像後方格效應(Blocking Effect)的影響;Irani和Peleg 在[6]中描述IBP(Iterative Back-Projection)預測法,透過觀察影像和影像之間的差別預測高解析度影像。重建法主要問題是計算複雜度高。學習法以訓練過的資料作為重建清晰影像的依據。 Tipping和Bishop [7]以貝氏法(Bayesian)解決超解析問題;Kanemura等人[8]介紹了利用馬可夫隨機場(Markov Random Fields)產生額外邊緣重建影像;Zhuang等人[9]利用RBF(Radial Basis Function)法重建整張影像。學習法也有高計算複雜度問題。子空間法使用影像內低頻資料重建超解析影像;Capel和Zisserman [10]以最大期望值(Maximum Likelihood Estimators)和PCA(Principal Component Analysis相結合來實做人臉影像超解析;Chakrabarti 等人[11] 延伸PCA至kernel PCA重建人臉影像;Jain等人[12]使用LPP(Locality Preserving Projection)重建超解析人臉影像。子空間法則有費時和記憶體吃重問題。本文將說明子空間超解析法之原理,並以Wang和Huang之2D-LPP(Two-Dimensional Locality Preserving Projection)超解析方法[13]為例來進行實驗討論。

2. 基於子空間的影像超解析

基於子空間的超解析方法可以對低解析度影像進行超解析。高解析度影像到低解析度影像之間的降維過程可以定義成觀察模型,有些超解析法即利用此觀察模型以及低解析度影像反推和重建高解析度影像。子空間法可以抽取高解析度影像的區域特徵,基於子空間的超解析觀察模型建立高解析度影像和低解析度影像之間的關係,因此低解析度影像配合高解析度影像的特徵即可重建超解析影像。數位影像在感測和傳輸上會有模糊和雜訊產生,現實世界的影像是由感測器感測、截取,並且無法避免的會有些光學扭曲、動態模糊和感測器本身的雜訊的干擾,高解析度影像和低解析度影像的這種關係可在向量空間將觀察模型定義為:

  

其中Xi代表高解析度影像,Yi代表低解析度影像,M為降取樣矩陣,而n表示雜訊。子空間法中的擴維法(Dimension Expansion),可經由觀察模型得到高解析度影像。在得到高解析度影像的特徵xi後即可得到高解析度影像Xi

其中V+為擴張矩陣。在結合 (1) 式與 (2) 式後,我們可以得到另一個高解析度和低解析度影像之間的轉換公式:

將(3)式和ML(Maximum Likelihood)合併可得:

將(4)式取最小值後可得:

擴張矩陣V+是經由降維法(Dimension Reduction-Based)訓練影像而得,它可以讓高解析度影像的特徵還原成高解析度影像。其主要想法是:高解析度影像的特徵所要紀錄的數量遠遠低於高解析度影像。2D-LPP是一種基於LPP的子空間方法,它可以提取高解析度影像的特徵,同時利用其鄰近點保留資料。2D-LPP保留影像上兩個方向的區域資料來提高計算效率並可預測影像特徵,故重建高解析度影像時效率較高。2D-LPP超解析法[13]可經由訓練影像而得的資料來重建近似真實影像。

3. 實驗結果–以2D-LPP超解析為例

實驗在AR和FERET資料庫下進行,這些人臉影像皆為正面且沒有遮蔽。共使用298張 FERET 影像,其中有178位男性、120位女性,及57張AR 影像,其中有23 位男性、34位女性。影像解析度被標準化為140 × 100像素。並將影像鏡像得到另外355張高解析度影像,如此共有710張高解析度影像供實驗所用。圖1為一些範例影像。

圖1. 人臉範例影像。

我們選擇了一個最近鄰點(k=1)讓2D-LPP做訓練,在測試時使用5 × 5高斯模糊遮罩。在超解析實驗中,我們改變資料保留量驗證超解析影像效果。我們以PSNR(Peak Signal to Noise Ratio)計算超解析影像和實際影像差異。2D-LPP方法和PCA方法之間性能差異以改變資料保留量做比較,資料保留量自0.70改變至1.00。我們以700張影像做訓練,剩下的10張影像做測試。PSNR結果顯示在圖2。2D-LPP方法在某些條件下有比PCA更好的PSNR值,因為2D-LPP方法可以保持流型結構資料。圖3為2D-LPP方法和PCA重建的超解析影像。PCA在眼睛,鼻子和嘴巴附近會造成疊影效應(Ghost Effect)。此外PCA在資料保留量過高時會造成一些雜訊。2D-LPP方法則在人臉輪廓和邊緣都具有良好性能,不過會帶有方格效應。

圖2 改變資料保留量時PSNR變化。

圖3 超解析影像(a)實際影像。(b)-(c)2D-LPP方法在資料保留量0.95-0.99時的狀況。(d)-(e) PCA在資料保留量0.95-0.99時的狀況。

2D-LPP方法和PCA的測試時間如圖4所示。2D-LPP方法在資料保留量上升時,花費時間上升速度比PCA還慢,這是由於我們方法的擴張矩陣V +大小為100 × 100(n × n),小於PCA 700 × 14000(N ×mn)。

圖4 改變資料保留量時測試時間變化。

4. 結論

本文闡明各類超解析方法並以子空間法與2D-LPP超解析法為例進行討論。2D-LPP預測和保存高維空間到低維空間之間的內部流型結構。我們利用2D-LPP從高解析度影像計算出擴張矩陣,超解析影像可從低解析度影像並經由擴張矩陣和ML計算而得。實驗結果顯示,2D-LPP方法優於PCA。當資料保留量增加時2D-LPP方法測試時間亦沒有增加太多。

5. 參考文獻

  1. S. P. Kim, N. K. Bose, and H. M. Valenzuela, "Recursive reconstruction of high resolution image from noisy undersampled multiframes," IEEE Trans. Acoust., Speech, Signal Processing, vol. 38, pp. 1013-1027, 1990.

  2. B. K. Gunturk, A. U. Batur, Y. Altunbasak, M. H. Hayes, and R. M. Mersereau,  "Eigenface-domain super-resolution for face recognition", IEEE Transactions on Image Processing, vol. 12, no.5, pp. 597-606, May 2003.

  3. S. Baker and T. Kanade, "Limits on super-resolution and how to break them," IEEE Trans. Pattern Anal. Machine Intell., vol. 24, pp. 1167-1183, 2002.

  4. J. J. Clark, M. R. Palmer, and P. D. Laurence, "A expansion method for the reconstruction of functions from nonuniformly sPCAed samples," IEEE Trans. Acoustic, Speech and Signal Processing, vol. ASSP-33, pp. 1151-1165, 1985.

  5. H. Stark and P. Oskoui, "High resolution image recovery from image-plane arrays, using convex projections," J. Opt. Soc. Am. A, vol. 6, pp. 1715-1726, 1989.

  6. M. Irani and S. Peleg, "Improving resolution by image registration," CVGIP: Graphical Models and Image Proc., vol. 53, pp. 231-239, May 1991.

  7. M. E. Tipping and C. M. Bishop, "Bayesian Image Super-Resolution," in Proc. NIPS, 2002, pp. 1279-1286.

  8. A. Kanemura, S. Maeda, and S. Ishii, "Edge-Preserving Bayesian Image Superresolution Based on Compound Markov Random Fields," in Proceedings of the International Conference on Artificial Neural Networks, vol. 2, 2007, pp. 611-620.

  9. Y. Zhuang, J. Zhang, and F. Wu, " Hallucinating faces: LPH super-resolution and neighbor reconstruction for residue compensation," Pattern Recognition, vol. 40, pp. 3178-3194, 2007.

  10. D. Capel and A. Zisserman, "Super-resolution from multiple views using learnt image models," in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 2, Kauai, Hawaii, USA,      December 2001. pp. 627-634.

  11. Ayan Chakrabarti, A. N. Rajagopalan, and Rama Chellappa, "Super-resolution of face images using kernel PCA-based prior," IEEE Trans. on Multimedia, vol. 38, pp. 888-892, 2007.

  12. A. K. Jain, P. Flynn, and A. A. Ross, Handbook of Biometrics, New York: Springer-Verlag, 2007, pp. 62-64.

  13. Y. K. Wang and C. R. Hwang, "Face image super-resolution using two-dimensional locality preserving projection,"  The 5th IEEE International Conference on Intelligent Information Hiding and Multimedia Signal Processing,     Kyoto, Japan, Sep. 12-14, 2009.

 

有關本學界科專計畫、電腦視覺監控產學研聯盟、以及電子報之背景與相互關連都已在電子報創刊號詳細說明。本期電子報由分項A子項2主編,在此,我們簡介此子項於學界科專98年度之研究計畫:

子項A2於本年度的研究重點在於使監控人員在一攝影機網路的監控環境下,更容易在不同場景之間追蹤與監控多個目標物,並提供可疑事件的歷史監控記錄與資料庫搜尋,使監控人員能更方便進行中控室操控。本年度的研究主題如下:

1.  停車場之人車連續追蹤:有別於之前的技術,在跨攝影機目標物追蹤上,僅使用時空特徵與外觀顏色特徵。在本年度的研究,我們預期以加入幾何特徵為研究方向,藉由目標物幾何特徵在行進過程中的一致性,並與之前已使用的特徵進行整合,以提高追蹤正確率。我們也預期發展人車的分辨模組,透過機器學習方法的設計與實作,進行物體的部件的分析與辨認,以便提高人車追蹤的效能。

2.  可疑人物之長程追蹤:設計一長程策略來分析可疑人物之行為,藉由結合系統所提供之長程蒐集可疑人物之資訊,來彌補短程偵測方法之不足,以提升單一攝影機可疑人物偵測之正確性。並且,將動態呈現目標物的可疑程度,以提升中控室使用者對場景中人物的即時掌握程度。

3.  可疑事件在中控室之視覺化顯示:開發一攝影機是否遭到遮蔽或明顯移動的偵測技術,例如:攝影機遭到轉向、遮蔽或是鏡頭遭塗抹異物以致無法取得正常之監控影像。並且,將發展一整合攝影機網路的視覺化顯示中控室系統,該系統藉由整合平順轉場技術與多重解析度顯示技術,以提升使用者於中控室的監控效率與操作方便性。

 

 

近年來全球安全監控產業呈現穩定成長趨勢,並由於數位時代的進展,安全監控產品技術層次也不斷提升,進而與其他產業整合,預期未來安全監控領域是安全產業中最具發展潛力的領域之一。此外,由於現代科技的進步,醫療技術與品質提升,使國民平均壽命逐年攀升。在新人口結構變化趨勢下,如何滿足老年人健康照護需求的問題不容小覷,相對而言,也造就了新的商機。根據工研院IEK推估,台灣高齡產業市場規模在2025年可望達到1089億美元。

展望未來產業趨勢,安全監控產業以及高齡產業市場規模將持續增加。因此,本中心將以前期所開發之100餘項相關核心技術,規劃二個系統整合方向 — (1)智慧型建築(smart building),結合資訊、通訊與視訊技術,整合創造科技與人文結合的智慧型大樓;(2)智慧型社區(smart community),結合鄰里以及警政單位,規劃全方位無死角社區或園區智慧型監控系統 期許透過系統整合,勾勒具視覺感知能力之安全環境架構,以建構全面智慧型環境,讓人們悠遊於舒適的環境之中,並協助國內廠商尋找智慧型監控環境之藍海策略,使台灣成為安控產業之明日之星 。

學界科專計畫已邁入第二期,本期研發重點,在技術策略方面,朝向「多層次多感測無縫隙系統」發展,結合視訊與感測器(sensor)成為一全方位監控安全系統。在技術落實方面,朝向下列三目標執行:

(1) 提升技術成熟度、可靠度及穩定度

(2) 以嵌入式系統具體化前期核心技術

(3) 整合前後期核心技術,以發展商品化之產品。

每一分項之主要工作項目概述如下,詳細內容後述之。

分項一:智慧型建築(Smart Building)

分項一的研發主軸為智慧型建築(smart building)的前瞻性技術研發,工作項目如下。

A1.日夜安全巡邏與訪客引導系統---室內空間智慧型巡邏與避碰利用自動車引導訪客、紅外線影像處理與自動車夜間導航、多自動車協同巡邏與異常偵測等。

A2.視訊監控中央管理系統---攝影機網路之目標物即時追蹤與預測、視訊資料庫搜尋、與資訊整合視覺化。

A3.室內突發事件分析系統---室內突發事件分析之技術開發主軸分隊針對人員及環境設計各項突發事件偵測技術,研發技術包括:人員異常行為分析、訪客異常行為偵測、環境突發事件偵測限制區域之監控、限制區域之監控。在技術策略方面,朝向結合視訊與感測器(sensor),發展成為一全方位監控安全系統。

分項二:智慧型社區(Smart Community)

以多層次多感測無縫隙的技術為發展目標,分項二的技術研發主軸定位在智慧型社區(smart community)安全的前瞻性技術研發,主要工作項目如下所列。

B1. 人車偵測與辨識系統---即時車型和車輛之偵測和辨識、車輛管制系統、PTZ攝影機人員偵測與辨識等。

B2. 強健性物件追蹤系統---全天候物件偵測與追蹤、即時物件追蹤技術、多感測器人員追蹤、多人長時間性人員追蹤。

B3. 事件分析與搜尋系統系統---自動化視訊搜尋、戶外異常事件分析、異質相機行動監看。

 

 

經濟部學界科技專案『以視覺為基礎之智慧型環境的建構四年計畫』所發起的「電腦視覺監控產學研聯盟」已於2005年初正式成立。為了加強產業界與學術界的互動與交流,聯盟自2005年一月起每兩個月定期發行一期電子報,提供國內產業界及聯盟會員最新的相關資訊。

本電子報目前所規劃的內容包括:

1.最新動態:公布並報導「電腦視覺監控產學研聯盟」或「影像等相關單位」舉辦的各項技術說明會、技術研討會、企業座談會等相關活動訊息。

2.技術報導:報導電腦視覺監控領域相關研究的現況,並簡介本學界科專計畫的最新研究成果及所獲得的各項專利等。

 

在本期的電子報當中,「最新動態」部分報導2009/9/21~24美國加州安那罕舉行的美國國際安全器材展,另外介紹10/1於福華國際文教會館舉辦的『技術研討暨技術成果移轉說明會』。此外,在「技術報導」方面,本期收集了兩篇文章,分別由台大網媒所施朝欽同學與賴治權同學介紹「攝影機功能異常自我診斷技術」及「視線追蹤」的技術。

 

 

「電腦視覺監控產學研聯盟」乃是由經濟部學界科專「以視覺為基礎之智慧型環境的建構四年計畫」所發起,由前亞洲大學校長蔡文祥(現交通大學講座教授)所主持,在背後支持此一聯盟的研發團隊幾乎囊括了國內電腦視覺研究領域之菁英教授,其研究人員遍佈台大、清大、交大、中央及中央研究院等第一流學術機構。每一位計畫主持人皆累積多年有關影像處理與圖形識別等研究的經驗,亦曾多次協助業界研發各項影像處理與圖形識別系統,輔導產業研發、創新之經驗豐富 。

本聯盟除發行電子報外,也提供聯盟成員包括人才招募、技術諮詢、企業資訊推廣等多項 服務(請點選並下載電子報左方目錄中的「會員招募簡章及報名表」,並參閱其中有關本聯盟之服務內容說明)。竭誠歡迎產業界相關企業加入聯盟,藉由大家共同的努力,提昇國內此一產業的技術水準。

為了方便會員的聯繫,我們於新竹特設一服務窗口:

新竹窗口

交通大學電腦視覺中心 蔡淑均 小姐

TEL:03-5731970    FAX:03-5131205

E-mail : rayis@mail.nctu.edu.tw