Please note that JavaScript and style sheet are used in this website,
Due to unadaptability of the style sheet with the browser used in your computer, pages may not look as original.
Even in such a case, however, the contents can be used safely.

「時空數據交叉側寫」從監視攝影機影像中,以出沒模式為基礎,迅速鎖定可疑份子

現行技術已無法分析監視攝影機蒐集到的大量影像數據

當今設置於日本全國各角落,規模多達數百萬台的監視攝影機,在打擊犯罪和事件蒐證上扮演著極為重要的角色。另一方面,隨著監視攝影機所蒐集的影像數據日益龐大,使得公家機關和企業在分析影像上已呈現嚴重人力不足的情況。

舉例來說,長時間滯留於人潮擁擠的車站和觀光景點的可疑人物、或屢次出現在多個案發現場的人物,皆可判斷為可疑份子。然而,要做出這種判斷,必須將出現於某場所的人臉數據、設置於其他場所的攝影機影像,以及不同時間拍攝影像的所有人臉數據,將這些來做相互比對,因此在處理數據上需耗費相當長的時間。

2012年以解決本課題為目的,NEC連同研究資料庫的技術人員以及從事人臉辨識技術的技術人員成立研究團隊,開始著手研發技術。以傳統由實際照片或畫像辦案方式為例,鎖定可疑份子與嫌疑犯等嫌疑重大人物影像的過程,專案小組指出研發目標為「如何更快找出決定性的『一張』照片」。

接著,在2015年成功開發出,從不同場所拍攝的長時間影像數據中,高速搜尋與鎖定以特定模式(時間、場所、動作等)出現人物之技術「時空數據交叉側寫」。

 

將大量人臉數據, 以類似度之樹狀構造進行管理,而能高速鎖定

本技術將作為搜尋對象的大量人臉數據,以「人臉類似度」來進行分組,而由能產生樹狀數據構造之演算法為核心。透過這樣的構造,越接近下層,越能發現類似度較高的人臉數據群組。

舉例來說,將閾値設定為「具備70%以上類似度的人物群組」時,遵循樹狀構造後,便能依序找到高於該閾値的類似群組,並進行高速搜尋和鎖定。因此,只需檢視群組的大小,就能用「前10名最頻繁出現的人物」的方式顯示出搜尋結果。在犯罪蒐證上,指定攝影機場所和時間區段再進行搜尋後,便可用「這2人同樣出現於A、B、C現場」的方式,顯示出鎖定結果。

再者,研究團隊也研發出,只要將瞬息萬變的現場影像中新拍攝到的人臉數據,與各群組的代表數據相比,便能瞬間判斷、分類應歸屬於哪個群組的即時追加演算法。由於更新樹狀構造的所需時間極短,因此接獲搜尋要求時,可實現即時性高且能高速分析剛拍攝完成的人臉數據。

從監視攝影機影像中找出可疑份子時的技術課題
藉由類似度,將臉部特徵類似的群組進行分層的「樹狀構造」

也能運用在觀光景點待客服務和行銷領域

綜合上述,「時空數據交叉側寫」這項技術,能夠找出過往僅憑傳統技術與人手難以察覺的重要發現,有助於為社會創造出以下價值:預防犯罪、加速刑案蒐證、提升都市的安全性、降低經濟損失。本技術可望在2015年巴黎發生恐怖攻擊事件之後,為防範恐怖攻擊而有所貢獻。為了回應如此期待,證明本技術能夠高度準確地鎖定犯罪者,就必須在各種環境下不斷累積實驗和驗證。

此外,本技術不僅可用於「人臉數據」以外的影像資訊,因IoT普及而不斷增加之感測器,其獲得之資訊也可適用本技術。今後預定在行銷等方面展開相關應用,例如應對迷路遊客的待客之道,或是從表情、動作就能理解消費者心情的技術。

 

100萬筆人臉數據中,搜尋並鎖定可疑份子,只需10秒鐘

在研發「時空數據交叉側寫」的過程中,獲得海外特定地區公家機關的協助,展開大規模分析監視攝影機影像所拍攝人臉資訊的實證實驗。當時是利用設置於街角的監視攝影機進行實驗。合計共24小時的影像,從中所得出的100萬筆人臉數據,運用本技術分析,搜尋、鎖定長時間滯留同一場所且頻繁出現的「可疑」人物,只需要短短10秒的時間就可完成。

這項實驗是由公家機關動員7人扮演「可疑份子」(NEC並不知道這7人身份),讓他們頻繁出現在數個地點的實驗區域,並刻意採取可疑行動。接著,由NEC運用本技術進行搜尋處理,找出並鎖定前20名「行為可疑」者後,再請公家機關進行確認時發現,扮演「可疑份子」的7人全體都在這20人當中。

研究者簡介

西村 祥治 ( NEC綠色平台研究所 主任)

©DAVID RODRIGUEZ, PHOTOGRAPHY 2010, GIBRALTAR

學生時期專攻電腦科學,研究程式設計語言。進入NEC後,投入了運用軟體技術(編譯器等)提升超級電腦性能之專案,以及研發網格運算等。2010年,前往美國加州大學聖塔芭芭拉分校留學一年,研究處理地點資訊的大規模資料庫。返回日本後,負責研發巨量資料相關技術。2012年起,著手開發新型影像搜尋技術「時空數據交叉側寫」。具優異的社交能力,設立了以「Innovation Cafe」為名的公司內部SNS,促進技術人員跨越部門藩籬展開交流的「Cookie Time」等,對公司內部社群活動企畫和營運著力甚深。2012年起為取得博士學位,一邊上班一邊攻讀研究所博士課程。假日則專心做好爸爸的角色。喜歡看電影。

劉健全 (NEC綠色平台研究所 主任/博士(工學))

©DAVID RODRIGUEZ, PHOTOGRAPHY 2010, GIBRALTAR

中國廣東省人。2006年9月為了就讀研究所而赴日。專攻電腦科學,研究高維度數據之近似搜尋。進入NEC後被派任至中央研究所,參與「時空數據交叉側寫」研發專案。提出採用樹狀數據結構等發想,在技術開發上扮演核心角色。除了研發業務之外,擔任法政大學理工學研究科兼任講師,每週講授「知識獲得特論」課程。此外,也擔任「川崎市外籍市民代表會議」第10期代表,並熱心公益參與市民社區大學「川崎爸爸補習班」企畫委員等地區活動。不僅如此,他也擔任「2016年國際學術會議BigMM技術議程共同主席」、「電子資訊通訊學會 數據工學研究會 專家委員」等,活動範圍廣泛。

Contact