Please note that JavaScript and style sheet are used in this website,
Due to unadaptability of the style sheet with the browser used in your computer, pages may not look as original.
Even in such a case, however, the contents can be used safely.

多種物體辨識技術從生鮮食品到包裝商品,各式零售商品都能自動完成辨識結帳

該如何解決零售現場日益顯著的人手不足問題?

零售業現場人手不足的問題日益嚴峻,業者對於造成店員沉重負擔的櫃檯結帳業務,愈來愈講求省力化與無人化。

能實現上述需求的方式,便是活用條碼掃瞄技術的自助櫃檯。只是若採取這種方式,消費者得自行在機械逐一掃瞄商品條碼,不僅如此,也無法因應生鮮食品這種無法貼上條碼的商品。

目前業界已開始嘗試在商品黏貼RFID(無線射頻辨識系統)標籤,藉此進行自動化結帳,但現階段IC標籤單價過高,且標籤在低溫或高溫環境下的耐久性尚存有疑慮,因此遲遲未能正式導入一般零售店面。

 

結合兩種影像辨識技術,藉此解決當前課題。

NEC運用研發多年的影像辨識技術,透過攝影機辨識商品本身的方法,可望實現無需條碼與RFID的無人結帳技術。


零售店銷售的商品可說是琳琅滿目,例如生鮮食品等自然產物,每種個體的外觀差異極大,但也有許多商品的包裝設計上極為相似。針對這些特徵有大幅差異的商品群,運用攝影機建立影像資料,並統一進行高精確度的辨識並非易事。另外,依據拍攝時的環境條件,即使是相同商品也可能產生顏色等些微落差,而有降低辨識精確度的隱憂。


為了解決上述課題,NEC全新硏發出結合以下兩種科技的「多種物體辨識技術」。


➊特徵點比對技術

本技術能夠針對拍攝的商品影像,檢測出多處具有特徵的部位,再與事先登錄商品影像的特徵點進行比對,藉此來辨識商品。主要具備功能為:能夠詳細辨別包裝商品等設計排版上的細微差異。


➋深度學習(Deep Learning)技術

深度學習技術的研究目的,是分析影像辨識與資料關聯性,以此項技術為基礎,再依據零售業實際狀況,所著手開發的引擎,具備了能分辨類似商品構造的演算法。藉由事先讓系統學習商品的形狀、顏色等特徵,就能不受生鮮食品或便當等個體外觀差異的影響,進而能夠正確辨識商品。

藉由結合深度學習技術,將錯誤率控制在0.1%以下。

運用「多種物體辨識技術」的無人櫃檯,由深度學習的引擎自動學習,並依據不同商品調整兩種技術的運用比例,因此能夠靈活搭配使用。

過去的研究開發過程,在僅使用特徵點比對技術的階段,產生的辨識錯誤率約為8%左右。這次結合兩種技術,並運用至1萬件以上的商品進行測試,成功將錯誤率控制在0.1%以下*。

運用「多種物體辨識技術」的無人化結帳系統,已從2018年3月起,在NEC公司內的商店進行測試運用,並加以驗證。

目前,便利商店及超市的商品更換十分頻繁。NEC持續致力於讓商品影像登錄手續更有效率,並更進一步提升辨識精準度。期望在不久的將來,能將本技術加以商用化,作為解決零售業當前課題之解決方案而有所貢獻。

※NEC資料科學研究所內部實施之試驗結果。

運用機械學習技術,研發出能夠預估櫃檯結帳現場情況的影像辨識方式。

在不造成顧客負擔的前提下,只靠攝影機一次性地正確辨識多種商品,需要的是即使顧客將商品隨便亂放在櫃檯上,也能進行辨識的技術。然而,傳統技術必須將商品排列整齊、不能緊靠在一起,才能正確地進行辦識。

為了改善這一點,NEC研發出運用機械學習技術的全新影像辨識方式。首先,使用顯示器作為擺放商品的平台,從下方顯示任意顏色並進行拍攝,便能更容易拍攝商品的遮罩(Mask)圖像。 

接著根據這些商品的圖像,自動產生模擬商品之間部分重疊等櫃檯結帳現場真實圖像的樣式(Pattern)後,使電腦事先自動學習這些樣式。藉由這樣的方式,不需為了機械學習而拍攝大量的影像資料,即使在多種商品雜亂混合的環境下,也能成功提升辨識精確度。在店裡購物的顧客,只要將所有商品隨意放在櫃檯上,便能瞬間計算出總金額。

(日文版原文發表日期:2018年5月)

研究者簡介

岩元浩太 NEC資料科學研究所主任研究員

學生時代主修電子、資訊通訊學,過去曾研究以攝影機拍攝人類的走路方式等,並使用影像辨識技術進行個人認證的生物辨識技術。進入NEC後,隷屬於訊號處理科學技術小組,從事影像/影片辨識、影像/影片搜尋技術的研究開發,並推動相關業務。2007年起,亦參與ISO/IEC15938(MPEG-7)之標準化,作為專案編者,對多項國際規格擬定貢獻良多。而在影像辨識技術中,實際世界所存在之對象物體,特別對比對其特徵點的技術感興趣,持續投入研究開發。休假時會從事登山等活動,前往自然資源豐沛的地區。

白石壯馬 NEC資料科學研究所主任

學生時代主修電學、資訊工學,曾以運動選手為題材,著手研究行為辨識與預測等影像辨識技術。進入NEC後,隷屬於影像理解科學技術小組,負責研究服飾業的相似影像搜尋等影像搜尋技術。負責研發適用零售業及社會解決方案的物體辨識技術。在多種物體辨識技術的研究開發過程中,他分享了小插曲:「我每個禮拜都會到便利商店等處購買上架的新商品,然後帶回來進行拍攝,所以,實驗室裡有一陣子堆滿了麵包與便當。」休假時喜歡看電影。

Contact