NEC巨量資料處理技術

可對應複雜的處理規則進行高速・高擴充性的複合事件處理

－2012年10月11日－

NEC日前發表一項巨量資料即時處理技術，可在高速處理分析複雜而龐大資料的情況下，仍保有高度的擴充性。本技術已進行相關實證測試，並且獲得卓越的測試成果。

隨著物聯網技術的崛起，各種資訊產品如行動電話、平板裝置等，以至於電氣用品如汽車、家電等設備，已無須透過人為操作來進行資料的收集，藉由M2M的通訊模式，資訊及家用設備的使用便利性已大幅提升。然而在此同時，將不同類型的龐大資料（亦即巨量資料）作即時分析，進而取得有效資料的需求也隨之水漲船高。

巨量資料的即時分析，需透過複合事件處理技術（Complex Event Processing，以下稱CEP），以資料的處理及分析規則為基礎，將所發生的事件以反射性的方式進行處理。然而以現行的CEP技術來說，以手動方式個別設定複雜的處理規則，在執行上仍有諸多困難。除此之外，依據不同規則間的關聯性與從屬關係，伺服器必須額外進行處理運算，使得整體資料處理速度因而下降至標準速度的1/10。同時，伺服器的擴充性也相對降低，無法應付隨時變化的資料量。

本次發表的資料處理技術，可使伺服器自動進行處理規則的配置，即便資料的種類或資料量有所改變，伺服器等資料處理裝置仍可以保持有效的運作，實現高效處理巨量資料的目的。除此之外，若是遇到伺服器設備增減的情況，也因為可自動進行處理規則的配置，因此省去了以往複雜的手動設定處理規則步驟，達到自由擴充巨量資料處理平台的高度便利性。

本次開發的技術特點如下：

1. 節省資源、滿足即時處理巨量資料目的
本技術可在多台伺服器中，將使用者預先制定好的資料處理規則作最妥善的配置。擁有關聯性與從屬關係的處理規則，皆配置於同一伺服器中，透過局部處理的方式減去伺服器多餘的處理工作，平衡各台伺服器的工作負載量，以最有效的運算資源配置實現高效率的複合事件處理。

2. 高擴充性系統，因應未來日益增加的資料量
本技術依據使用者設定的處理規則，將所發生的事件傳送到合適的伺服器中。藉此不僅能夠降低伺服器與網路的工作負載，未來因應資料量增加而擴充系統平台時，也能夠輕鬆應對。

本技術已完成相關測試，針對16台（系統運作用10台，平衡負載用6台）伺服器設定10萬筆的資料處理規則，並得到以每秒270萬筆的事件處理速度進行巨量資料即時處理的優異成果。舉例來說，若以此模組作為系統平台，在以行動電話作為媒介提供店舖訊息或優惠資訊的情況下，可於每20秒提供10萬家商店的消費資訊予相當5000萬名符合消費屬性的使用者。

NEC將持續進行巨量資料相關技術的研究與開發，並且透過各種解決方案及先進技術，協助企業創造更高的企業競爭力，進而打造更加便利與安全的資訊社會。

新聞聯絡人