Displaying present location in the site.

多種物體辨識技術

從生鮮食品到包裝商品,各式零售商品都能自動完成辨識結帳

該如何解決零售現場日益顯著的人手不足問題?

零售業現場人手不足的問題日益嚴峻,業者對於造成店員沉重負擔的櫃檯結帳業務,愈來愈講求省力化與無人化。

能實現上述需求的方式,便是活用條碼掃瞄技術的自助櫃檯。只是若採取這種方式,消費者得自行在機械逐一掃瞄商品條碼,不僅如此,也無法因應生鮮食品這種無法貼上條碼的商品。

目前業界已開始嘗試在商品黏貼RFID(無線射頻辨識系統)標籤,藉此進行自動化結帳,但現階段IC標籤單價過高,且標籤在低溫或高溫環境下的耐久性尚存有疑慮,因此遲遲未能正式導入一般零售店面。

 

結合兩種影像辨識技術,藉此解決當前課題。

NEC運用研發多年的影像辨識技術,透過攝影機辨識商品本身的方法,可望實現無需條碼與RFID的無人結帳技術。


零售店銷售的商品可說是琳琅滿目,例如生鮮食品等自然產物,每種個體的外觀差異極大,但也有許多商品的包裝設計上極為相似。針對這些特徵有大幅差異的商品群,運用攝影機建立影像資料,並統一進行高精確度的辨識並非易事。另外,依據拍攝時的環境條件,即使是相同商品也可能產生顏色等些微落差,而有降低辨識精確度的隱憂。


為了解決上述課題,NEC全新硏發出結合以下兩種科技的「多種物體辨識技術」。


➊特徵點比對技術

本技術能夠針對拍攝的商品影像,檢測出多處具有特徵的部位,再與事先登錄商品影像的特徵點進行比對,藉此來辨識商品。主要具備功能為:能夠詳細辨別包裝商品等設計排版上的細微差異。


➋深度學習(Deep Learning)技術

深度學習技術的研究目的,是分析影像辨識與資料關聯性,以此項技術為基礎,再依據零售業實際狀況,所著手開發的引擎,具備了能分辨類似商品構造的演算法。藉由事先讓系統學習商品的形狀、顏色等特徵,就能不受生鮮食品或便當等個體外觀差異的影響,進而能夠正確辨識商品。

藉由結合深度學習技術,將錯誤率控制在0.1%以下。

運用「多種物體辨識技術」的無人櫃檯,由深度學習的引擎自動學習,並依據不同商品調整兩種技術的運用比例,因此能夠靈活搭配使用。

過去的研究開發過程,在僅使用特徵點比對技術的階段,產生的辨識錯誤率約為8%左右。這次結合兩種技術,並運用至1萬件以上的商品進行測試,成功將錯誤率控制在0.1%以下*。

運用「多種物體辨識技術」的無人化結帳系統,已從2018年3月起,在NEC公司內的商店進行測試運用,並加以驗證。

目前,便利商店及超市的商品更換十分頻繁。NEC持續致力於讓商品影像登錄手續更有效率,並更進一步提升辨識精準度。期望在不久的將來,能將本技術加以商用化,作為解決零售業當前課題之解決方案而有所貢獻。

※NEC資料科學研究所內部實施之試驗結果。

運用機械學習技術,研發出能夠預估櫃檯結帳現場情況的影像辨識方式。

在不造成顧客負擔的前提下,只靠攝影機一次性地正確辨識多種商品,需要的是即使顧客將商品隨便亂放在櫃檯上,也能進行辨識的技術。然而,傳統技術必須將商品排列整齊、不能緊靠在一起,才能正確地進行辦識。

為了改善這一點,NEC研發出運用機械學習技術的全新影像辨識方式。首先,使用顯示器作為擺放商品的平台,從下方顯示任意顏色並進行拍攝,便能更容易拍攝商品的遮罩(Mask)圖像。 

接著根據這些商品的圖像,自動產生模擬商品之間部分重疊等櫃檯結帳現場真實圖像的樣式(Pattern)後,使電腦事先自動學習這些樣式。藉由這樣的方式,不需為了機械學習而拍攝大量的影像資料,即使在多種商品雜亂混合的環境下,也能成功提升辨識精確度。在店裡購物的顧客,只要將所有商品隨意放在櫃檯上,便能瞬間計算出總金額。

(日文版原文發表日期:2018年5月)

研究者簡介

岩元浩太 NEC資料科學研究所主任研究員

學生時代主修電子、資訊通訊學,過去曾研究以攝影機拍攝人類的走路方式等,並使用影像辨識技術進行個人認證的生物辨識技術。進入NEC後,隷屬於訊號處理科學技術小組,從事影像/影片辨識、影像/影片搜尋技術的研究開發,並推動相關業務。2007年起,亦參與ISO/IEC15938(MPEG-7)之標準化,作為專案編者,對多項國際規格擬定貢獻良多。而在影像辨識技術中,實際世界所存在之對象物體,特別對比對其特徵點的技術感興趣,持續投入研究開發。休假時會從事登山等活動,前往自然資源豐沛的地區。

白石壯馬 NEC資料科學研究所主任

學生時代主修電學、資訊工學,曾以運動選手為題材,著手研究行為辨識與預測等影像辨識技術。進入NEC後,隷屬於影像理解科學技術小組,負責研究服飾業的相似影像搜尋等影像搜尋技術。負責研發適用零售業及社會解決方案的物體辨識技術。在多種物體辨識技術的研究開發過程中,他分享了小插曲:「我每個禮拜都會到便利商店等處購買上架的新商品,然後帶回來進行拍攝,所以,實驗室裡有一陣子堆滿了麵包與便當。」休假時喜歡看電影。