電腦視覺監控產學研聯盟

The Industrial Liaison Program Of  VBIE

 

2010年 8 月第 39 期

電子報

 

 

 

 

 

 

發行單位:電腦視覺監控產學研聯盟

出刊日期:2010年08月

本期主編: 石勝文

本期聯絡人: 沈政達

(049)291-0960 轉 4721

南投縣埔里鎮大學路303號

電腦視覺實驗室  

電腦視覺監控產學研聯盟網站: 

http://vbie.eic.nctu.edu.tw/

 

         

 

經濟部以視覺為基礎之智慧型環境的建構四年計畫(II) 99年度研發成果發表暨技轉說明會

兒童人臉預測

遮蔽情況下之人車偵測與計數

 

 

經濟部以視覺為基礎之智慧型環境的建構四年計畫(II) 99年度研發成果發表暨技轉說明會

99年度技轉說明會

 

 

 

 

 兒童人臉預測

撰稿/

沈政達1、呂婉華1、石勝文1、廖弘源2

1暨南大學資工系

2中央研究院資訊所

前言

根據2010 年警政署的統計報告,現在台灣仍然有超過兩千位的失蹤兒童,很多失蹤兒童在他年紀非常小的時候走失或是被綁架,如果這些失蹤兒童在剛失蹤時沒有盡快找到,那之後往往會因為他們正值於發育期,面貌隨著時間快速成長、改變,進而增加尋獲的困難度。若我們能透過該失蹤兒童的父母親、親戚或是一些跟他長得像的人的從小到大資訊 (特徵) 來協助推算這個小孩在幾年後的長相,或許能幫助提高尋獲失蹤兒童的機率。除了上述用途外,臉部成長預測還有很多其它的應用,如 提供嫌疑犯幾年之後的畫像、協助臉部辨識產品的資料庫更新、娛樂產業等等。預測臉部成長面貌有許多的困難, 如性別、種族、遺傳、健康條件、生活型態、工作環境以及資料收集等,這些都是臉部成長預測時所會遇到的困難。我們該如何從這麼多因素影響的資料中,減少不同人之間的差異,僅抽取出年齡變化的特徵,或是建立一個個人化的人臉成長模型都會變成很困難的問題。

兒童成長面貌預測

圖四是我們成長面貌預測系統的流程圖 ,當輸入人臉影像時,我們會先將他轉成三維人臉模型,接著抽取臉部特徵來尋找年齡成長資料庫中同年齡人臉的相似特徵 ,最後再以這些相似特徵在別的年齡的模樣,合成輸入人臉在不同年齡的特徵,最後再將這些特徵組合成一張人臉。

圖一:系統流程圖

特徵抽取

在進行人臉成長面貌預測前,我們會先建立一個年齡成長資料庫,假設這個資料庫裡有 I 個人在不同年齡的照片,我們會先將這些照片依照年齡分成五群,並將資料庫中的每張照片轉成三維人臉模型,這些人臉模型會手動儘量調成整比較沒有表情的表情,接 著才會抽取臉部特徵。 在抽取臉部特徵時,為了降低後續運算複雜度,我們假設一般人的臉為左右對稱,只對半邊人臉抽曲特徵,在最後合成階段再利用鏡像方式產生整張人臉。我們一共會抽取出人臉模型中的臉型、眼睛、鼻子以及嘴巴特徵 (如圖二 (a)每一個臉部特徵都由三個參數組成,分別是每個特徵的三維網格、相對於臉的位置及大小。

 圖 二:臉部特徵抽取 (a) 一個人臉包含的臉部特徵 (b) 以眼睛特徵為例的臉部特徵參數 

臉部特徵相似度計算

在計算臉部特徵的相似度時,我們會從兩個觀點來計算,分別為特徵生長曲線的相似度以及三維網格的相似度。 特徵生長曲線的相似度也就是看特徵相對於臉的位置及大小在隨著年齡不同所形成的成長軌跡的相似度, 我們直接利用歐幾里得距離來計算其相似度。在計算兩個臉部特徵三維網格的相似度前,我們會先將三維網格的重心對齊,並縮放為同樣的寬度,接著使用三種距離函數來計算兩個三維網格的相似度,分別為根據曲率加權的距離 (Curvature-Weighted DistanceCW)、扭曲能量距離 (Bending Energy DistanceBE) 以及基於學習的馬氏距離 (Learning-Based Mahalanobis DistanceLM)

  • 根據曲率加權的距離

當人們在比較兩個三維網格相不相似時,通常會把注意力放在曲率高的區塊,我們使用絕對的高斯曲率值 (Gaussian Curvature Value) [17] 加權兩個區塊之間的差距。 我們將三維網格中所有頂點的三維座標表示成一個向量 v 將他們的差異向量乘上不同的權重來計算差異向量的長度,作為兩個三維網格之間的距離。以這個距離計算方式來計算眼睛、鼻子、嘴巴的相似度時,與我們人判斷的結果都很接近,但是用在臉三維網格的相似度時,因為臉的曲率變化不大,所以結果並沒有很好。 

  • 扭曲能量距離

我們的目的是合成一個正向視角的人臉,對一個正向視角的臉型,影響兩張臉像不像最大的因素是兩張臉的輪廓像不像,所以我們在這裡只使用臉的輪廓來計算距離。我們用薄板曲線轉換 [4] 的扭曲能量做為兩個臉的輪廓的距離。

  • 基於學習的馬氏距離

評斷兩個人臉特徵相不相似是一個主觀的問題,因此,直接加重高曲率處頂點的權重這個方法可能比較不謹慎,一個比較合適的方法是利用監督式距離度量學習演算法 (Supervised Distance Metric Learning Algorithm) [5],來學習馬氏距離函數的正定矩陣 (Positive Definite Matrix) ,如下所示, 

 

在進行度量學習演算法前,必須先建立一組成對的訓練資料,對這些資料手動去標記是否相似,除此以外,還要設定我們所希望得到的距離函數的上限 ub 以及下限 lb,接著度量學習演算法 [19] 會自動調整權重矩陣盡可能的去使相似的資料距離小於上限 ub 且不相似資料距離大於下限 lb  

選擇相似的臉部特徵

在前面敘述中,臉部特徵 c lc,a,0 以及 Mc,a,0 這三個參數描述,其中下標 0 表示輸入人臉的索引值,由於接下來處理所有臉部特徵這三個參數的方法都相同,因此我們以 pa,i 來表示臉部特徵 c 的任一個參數,也就是 。在使用上述提到的距離函數後,我們可以從同年齡組的年齡成長資料庫中,選擇 K 個與 pa,0 最相近的參數,並以 表示這 K 個與 pa,0 最相近參數所對應的人的索引值。 

合成臉部特徵

我們設計了一個方程式來預測目標年齡 時的參數  

 

        以及 為兩種總和等於一的加權值,分別與 以及 成正比,為了能清楚的說明,在這裡我們以整張人臉照片以及一些特定的年齡來取代臉部特徵的參數以及年齡組,如圖 三所示,

 

圖三:預測兒童成長面貌的一個例子 

假設我們有一位失蹤兒童在三歲以及十歲的照片,分別為 f3,0 以及 f10,0,而我們的目標是去預測這位失蹤兒童十八歲長相。從年齡成長資料庫中,我們可以找到與失蹤兒童三歲時長相最相似 K 位三歲兒童以及與失蹤兒童十歲時長相最相似的 K 位十歲兒童,分別以    表示,而且我們也可以從年齡成長資料庫中取得這兩組兒童在十六歲時的照片。以 表示由 孩童十六歲的照片以權重 合成的一張臉,其中,權重 與失蹤兒童三歲時的照片和 中兒童照片之間的距離成反比。同樣地,以 兒童十六歲的照片也可以合成一張人臉 ,最後,使用 以及 分別以權重 以及 來合成失蹤兒童十六歲的長相。在合成時,我們會比較相信與目標年齡 較為相近的預測結果,所以 的權重會比 的權重還大,因為與 年齡越接近的人臉,成長到 所剩的空間較小變數也就比較小,所以我們將年齡的權重等比於從 0 歲長到 a 歲的成長量對於從 0 歲成長到 成長量 % 數。

使用合成特徵組成人臉影像

合成參數之後,我們就可以將參數分別組成臉部特徵,接著將臉部特徵貼合成一張人臉,但是預測出來的眼睛、鼻子以及嘴巴 (綠色線條通過的頂點) 跟預測出來的臉型 (藍色線條通過的頂點) 都是由不同人所合成,相對位置以及相對大小也都有改變,所以可能會產生無法貼齊的狀況,此時我們會將臉部特徵的輪廓當成控制點 (紅色線條通過的頂點),使用薄板曲線轉換 [4] 將原本的臉變形去適應新的五官。                                                                                

實驗

我們使用FG-NET 年齡成長資料庫 [1] 來評估我們所提出的方法。這個資料庫是一個公開取用的影像資料庫,包含八十二個人在不同年齡的影像,一共一千零二張人臉影像,但是,我們僅採用在我們所定義的年齡組中,每個年齡至少有一張照片的人加入我們年齡成長資料庫中,因此,我們所採用的年齡成長資料庫中有二十五個人,共一百二十五張照片。 我們與 Ramanathan 以及 Chellappa [2] 提出的方法做比較,如表一,第一行為輸入的人臉影像,第二行是將輸入的人臉影像建立成三維模型的臉部正面影像,最後一行是年齡成長後的真實照片,第三行到第五行分別為根據曲率加權以及扭曲能量距離、基於學習的馬氏距離以及 [9] 預測人臉成長的結果。 表二及表三則分別是輸入多張照片的結果。

表一:輸入一張人臉影像預測成長面貌的結果

   

            表 二:輸入兩張人臉影像預測成長面貌的結果                       表 三:輸入三張人臉影像預測成長面貌的結果

                                                           

 結論

在這篇論文中,我們提出一個基於範例影像預測兒童成長面貌的方法,這個方法不同於許多現存的方法,我們將臉部特徵分成許多部分獨立分開預測,最後再使用薄板曲線法結合預測的結果。利用根據曲率加權以及扭曲能量距離以及基於學習的馬氏距離這兩個不同的距離測量方法來決定兩個臉部特徵的相似度。在實驗部分,我們採用FG-NET 年齡成長資料庫中,二十五個人在不同年齡一共一百二十五張影像來建立一個年齡成長資料庫。從年齡成長資料庫中選出相似的臉部特徵以及成長曲線來預測失蹤兒童的臉部特徵。從實驗結果可以看出用我們提出的方法預測出來的人臉確實與成長後真實的人臉很相似。

 參考文獻

[1]    T. Cootes, “FG-NET aging database.” http://www.fgnet.rsunit.com.

[2]    N. Ramanathan and R. Chellappa, “Modeling age progression in young faces,” in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 387–394, 2006.

[3]    A. Gray, Modern Differential Geometry of Curves and Surfaces with Mathematica. CRC Press, Inc. Boca Raton, FL, USA, 2 ed., 1997.

[4]    F. L. Bookstein, “Principal warps: Thin-plate splines and the decomposition of deformations,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 11, no. 6, pp. 567–585, 1989.

[5]    J. V. Davis, B. Kulis, P. Jain, S. Sra, and I. S. Dhillon, “Information-theoretic metric learning,” in Proceedings of International Conference on Machine Learning, pp. 209–216, 2007. 

 

 

 

 

 

遮蔽情況下之人車偵測與計數

撰稿/

黃偉雄1、陳敦裕1、謝君偉2

1元智大學電機系

2海洋大學資工系

在交通工具相當普及化的今天,行車道路在都市的運輸與通勤上都佔有相當重要的地位,再加上道路監控攝影機架設的普及化,所以在行車安全與車流量管理監控上,就會顯得越來越重要。在車流量控管上,如果知道某一條路當下有多少汽車或是摩托車,我們即可快速的調整紅綠燈時間,好讓車流能夠順暢移動,不但可節省駕駛時間,更可以減少車輛廢氣的排放。在行車安全上,是要保證駕駛與行人的安全,尤其是在台灣都市的道路上充斥著汽車與摩托車,偶而還有闖越馬路的行人,交通意外也常常出現在新聞版面上,所以道路安全的監控更是重要的一門課題。

先前對道路影像做物件偵測的系統中,主要有兩種作法,一個是利用物件的影像資訊來做物件的追蹤;另一個是參考物件的特徵,來做靜態或動態影像的物件偵測。 物件追蹤的挑戰在於兩個前景物件互相遮蔽或連結時,要如何追到被遮蔽的物件 ;物件偵測的挑戰在於要如何找到一個有效的特徵,來偵測特定的物件,而 降低誤判率。另外還有利用物件的模型來對前景影像做比對,缺點就是容易受到背景相減結果影響。

在我們最近的研究成果中,提出一個可偵測並分類道路影像中的汽車、摩托車與行人等三種不同物件的演算法。這個演算法可以在物件互相遮蔽與相連結的情況下,仍能有效偵測個別物件。我們利用物件的多個樣本來進行訓練,以得到三個物件各自的特徵參數,並使用特徵參數來進行物件偵測。在特徵參數的部分,我們使用的是特徵數值的高斯分佈,也就是各個特徵的平均數與標準差,並利用熵值權重法來取得個別特徵的權重。在物件偵測時,會利用相似度距離函數來計算出取樣區域的偵測值與特徵參數的平均數與標準差之間的相似度距離,並利用多個不同前景位置的取樣區域距離值來找出最正確的物件位置。另外在摩托車與行人物件偵測上,我們另外使用了平均值移動法 (Mean Shift) 來給予追蹤處理,並利用物件的移動距離,來加強摩托車與行人物件的區分。

我們使用在道路天橋上由上往下方拍攝的道路真實影像來測試上述方法。影像的類型含括遠景、近景、晴天、陰天與下雨等天氣狀況,影片解析度設定為320*240像素。拍攝的路段都為主要幹道,不但車輛多,而且物件之間的遮蔽情況也相當的普遍挑戰性高偵測與辨識結果如圖至圖 四所示,其中紅色綠色與藍色分別用於 標示偵測並辨識到的汽車機車與行人。在大部份的情況下實測結果都有約95%的正確率,而在影像 困難度較高時,也可達到八成以上的正確率。

、承德路影像物件偵測執行結果

、基隆路影像物件偵測執行結果

三、民權東路影像物件偵測執行結果

圖四、側面影像物件偵測執行結果

 

 

有關本學界科專計畫、電腦視覺監控產學研聯盟、以及電子報之背景與相互關連都已在電子報創刊號詳細說明。本期電子報由分項A子項2主編,在此,我們簡介此子項於學界科專98年度之研究計畫:

子項A2於本年度的研究重點在於使監控人員在一攝影機網路的監控環境下,更容易在不同場景之間追蹤與監控多個目標物,並提供可疑事件的歷史監控記錄與資料庫搜尋,使監控人員能更方便進行中控室操控。本年度的研究主題如下:

1.  停車場之人車連續追蹤:有別於之前的技術,在跨攝影機目標物追蹤上,僅使用時空特徵與外觀顏色特徵。在本年度的研究,我們預期以加入幾何特徵為研究方向,藉由目標物幾何特徵在行進過程中的一致性,並與之前已使用的特徵進行整合,以提高追蹤正確率。我們也預期發展人車的分辨模組,透過機器學習方法的設計與實作,進行物體的部件的分析與辨認,以便提高人車追蹤的效能。

2.  可疑人物之長程追蹤:設計一長程策略來分析可疑人物之行為,藉由結合系統所提供之長程蒐集可疑人物之資訊,來彌補短程偵測方法之不足,以提升單一攝影機可疑人物偵測之正確性。並且,將動態呈現目標物的可疑程度,以提升中控室使用者對場景中人物的即時掌握程度。

3.  可疑事件在中控室之視覺化顯示:開發一攝影機是否遭到遮蔽或明顯移動的偵測技術,例如:攝影機遭到轉向、遮蔽或是鏡頭遭塗抹異物以致無法取得正常之監控影像。並且,將發展一整合攝影機網路的視覺化顯示中控室系統,該系統藉由整合平順轉場技術與多重解析度顯示技術,以提升使用者於中控室的監控效率與操作方便性。

 

 

近年來全球安全監控產業呈現穩定成長趨勢,並由於數位時代的進展,安全監控產品技術層次也不斷提升,進而與其他產業整合,預期未來安全監控領域是安全產業中最具發展潛力的領域之一。此外,由於現代科技的進步,醫療技術與品質提升,使國民平均壽命逐年攀升。在新人口結構變化趨勢下,如何滿足老年人健康照護需求的問題不容小覷,相對而言,也造就了新的商機。根據工研院IEK推估,台灣高齡產業市場規模在2025年可望達到1089億美元。

展望未來產業趨勢,安全監控產業以及高齡產業市場規模將持續增加。因此,本中心將以前期所開發之100餘項相關核心技術,規劃二個系統整合方向 — (1)智慧型建築(smart building),結合資訊、通訊與視訊技術,整合創造科技與人文結合的智慧型大樓;(2)智慧型社區(smart community),結合鄰里以及警政單位,規劃全方位無死角社區或園區智慧型監控系統 期許透過系統整合,勾勒具視覺感知能力之安全環境架構,以建構全面智慧型環境,讓人們悠遊於舒適的環境之中,並協助國內廠商尋找智慧型監控環境之藍海策略,使台灣成為安控產業之明日之星 。

學界科專計畫已邁入第二期,本期研發重點,在技術策略方面,朝向「多層次多感測無縫隙系統」發展,結合視訊與感測器(sensor)成為一全方位監控安全系統。在技術落實方面,朝向下列三目標執行:

(1) 提升技術成熟度、可靠度及穩定度

(2) 以嵌入式系統具體化前期核心技術

(3) 整合前後期核心技術,以發展商品化之產品。

每一分項之主要工作項目概述如下,詳細內容後述之。

分項一:智慧型建築(Smart Building)

分項一的研發主軸為智慧型建築(smart building)的前瞻性技術研發,工作項目如下。

A1.日夜安全巡邏與訪客引導系統---室內空間智慧型巡邏與避碰利用自動車引導訪客、紅外線影像處理與自動車夜間導航、多自動車協同巡邏與異常偵測等。

A2.視訊監控中央管理系統---攝影機網路之目標物即時追蹤與預測、視訊資料庫搜尋、與資訊整合視覺化。

A3.室內突發事件分析系統---室內突發事件分析之技術開發主軸分隊針對人員及環境設計各項突發事件偵測技術,研發技術包括:人員異常行為分析、訪客異常行為偵測、環境突發事件偵測限制區域之監控、限制區域之監控。在技術策略方面,朝向結合視訊與感測器(sensor),發展成為一全方位監控安全系統。

分項二:智慧型社區(Smart Community)

以多層次多感測無縫隙的技術為發展目標,分項二的技術研發主軸定位在智慧型社區(smart community)安全的前瞻性技術研發,主要工作項目如下所列。

B1. 人車偵測與辨識系統---即時車型和車輛之偵測和辨識、車輛管制系統、PTZ攝影機人員偵測與辨識等。

B2. 強健性物件追蹤系統---全天候物件偵測與追蹤、即時物件追蹤技術、多感測器人員追蹤、多人長時間性人員追蹤。

B3. 事件分析與搜尋系統系統---自動化視訊搜尋、戶外異常事件分析、異質相機行動監看。

 

 

經濟部學界科技專案『以視覺為基礎之智慧型環境的建構四年計畫』所發起的「電腦視覺監控產學研聯盟」已於2005年初正式成立。為了加強產業界與學術界的互動與交流,聯盟自2005年一月起每兩個月定期發行一期電子報,提供國內產業界及聯盟會員最新的相關資訊。

本電子報目前所規劃的內容包括:

1.最新動態:公布並報導「電腦視覺監控產學研聯盟」或「影像等相關單位」舉辦的各項技術說明會、技術研討會、企業座談會等相關活動訊息。

2.技術報導:報導電腦視覺監控領域相關研究的現況,並簡介本學界科專計畫的最新研究成果及所獲得的各項專利等。

 

在本期的電子報當中,「最新動態」部分報導2009/9/21~24美國加州安那罕舉行的美國國際安全器材展,另外介紹10/1於福華國際文教會館舉辦的『技術研討暨技術成果移轉說明會』。此外,在「技術報導」方面,本期收集了兩篇文章,分別由台大網媒所施朝欽同學與賴治權同學介紹「攝影機功能異常自我診斷技術」及「視線追蹤」的技術。

 

 

「電腦視覺監控產學研聯盟」乃是由經濟部學界科專「以視覺為基礎之智慧型環境的建構四年計畫」所發起,由前亞洲大學校長蔡文祥(現交通大學講座教授)所主持,在背後支持此一聯盟的研發團隊幾乎囊括了國內電腦視覺研究領域之菁英教授,其研究人員遍佈台大、清大、交大、中央及中央研究院等第一流學術機構。每一位計畫主持人皆累積多年有關影像處理與圖形識別等研究的經驗,亦曾多次協助業界研發各項影像處理與圖形識別系統,輔導產業研發、創新之經驗豐富 。

本聯盟除發行電子報外,也提供聯盟成員包括人才招募、技術諮詢、企業資訊推廣等多項 服務(請點選並下載電子報左方目錄中的「會員招募簡章及報名表」,並參閱其中有關本聯盟之服務內容說明)。竭誠歡迎產業界相關企業加入聯盟,藉由大家共同的努力,提昇國內此一產業的技術水準。

為了方便會員的聯繫,我們於新竹特設一服務窗口:

新竹窗口

交通大學電腦視覺中心 蔡淑均 小姐

TEL:03-5731970    FAX:03-5131205

E-mail : rayis@mail.nctu.edu.tw