TWM443899U - An intelligent point-of-sales system with active identification of customer group - Google Patents

Description

M443899 101 年10 月 五、新型說明： 【新型所屬之技術領域】 [0001] 本新型創作所屬之技術領域為以銷售點(pos)伺服器結人 周邊裂置，如鎖售點（簡）廣告機H廣告機、電ϋ 板和攝影機料《、置，並藉彡像龄技術，操 取電子廣告看板前顧客之即時影像’再以人臉辨識和性 別分類技術分析顧客屬性群體，以f料庫交叉分析進行 產品消費行為分析和行銷廣告適性推播，以強化商品銷 售，並將資料後送總部舰器以儲存智慧化屬性辨識資 料和進行消費特性等多維度效益分析的資訊軟硬體整合 魯 性技術》 【先前技術】 [0002] 習用的連鎖門市端點行銷結帳系統都為被動式，消費者 在櫃檯結帳時，店員必須依照經驗法則自行判斷顧客所 屬客層和人數後，以功能鍵輸入顧客的性別和年齡等資 料再進行結帳，而櫃檯設置的資訊廣告小螢幕只循環播. 放預先設定的廣告内容給顧客觀賞，難以自動精確掌握 鲁 顧客對產品類別的偏好而自動調整廣告内容，廣告效益 - 難以評估，無法得知商品上架後的受注目度，也無法針 . 對特定顧客族群給予適性推薦商品的服務，對於促進商 品銷售並無太大助益，所以必須針對顧客分析所屬客群 以調整廣告内容，方能促進商品的行銷，創造門市的銷 售業績’而即使有使用p〇S系統的零售通路，利用客層分 析技術的比率仍偏低，所以主動辨識客層系統的使用可 有效提昇銷售端點的行銷效率β 10120349产單编號 Α0101 第4頁/共19頁 1013390967-0 101年10月12日俊正替換頁 【新型内容】 圃相縣_識客層智慧㈣h(pGSu齡要係由銷 售點（P0S)祠服器、攝影機、P〇s廣告機 '貨架廣告機、 電子看板和總部舰器的硬體***部分（泉見第二㈤以 及處理智慧賴技術、《料分㈣料資料探勘的 軟體系統部分組成，其中硬體功能的部分敎述如下：分 設於P0S廣告機、貨架廣告機和電子看板上的攝影機自動 操取顧客影像資料，而偵測人流的攝影鏡頭也將人數資 料傳送到銷售點（POSH司服器，在銷售點⑽）舰器中 ，應用智慧雌技術自動_顧客的人臉、性別和年齡 ’並將適性的廣告送至廣告機播放給顧客觀看以增加銷 售業績’再將資料後送總部伺服器以儲存智慧化屬性辨 識資料和進m肖費雜”維度效益純；而軟體功能 的部分敘述如下：從特賴取到辨識完成的反應速度很 快’主要續敎理為基礎萃取雜π需依靠膚色區 域因此不又環壬兄梵度變化和膚色區域背景影響干擾， 並同時考慮全域和區域特徵，而不受眼鏡和 髮型等因素 影響。而經過自動化偵測，辨識消費者之性別人數、 年齡層並與購買的產品結合自動記錄分析同時透過 I丨生」刀析技術，推薦所屬客群相關的適用商品，改 善傳統廣告固^輪撥方式，亦即進行資料❹重影響因 子交又/7析萃取較適合的商品推薦給顧客，針對個別消 費者進㈣定商品的資訊減，使廣告變成__對一智慧 化行銷方式’提升pGS廣告機和數位電子看板在商業應用 的實用性’透過收集和交又分析潛在顧客的消費傾向， 增加顧客的消費動機。 1013390967-0 1〇12。349产單編號删1 第5頁/共19頁 M443899 _- 101年10月12日按正替换頁 【實施方式】 [0004] 本創作「主動辨識客層智慧型銷售點（POS)系統」的實施 例主要係由銷售點（POS)廣告機、貨架廣告機、電子看板 和設置於各裝置之上的自動擷取影像資料攝影機組成的 硬體功能系統（參見第一圖）以及處理智慧化屬性辨識服 務、顧客購買行為分析服務、產品適性推薦服務和商品 廣告露出服務的軟體功能系統組成，以下將配合所附圖 示詳細說明本創作之實施例，而這些示意圖僅用以說明 本創作之基本架構和實施方法，其實際實施的系統内涵 則會針對不同的應用對象而有適切的設計。 < 本創作中，前段硬體功能系統部分（參見第二圖），門市 或流通業者可透過所架設的門市伺服器（10 3)作為各門市 之中央控制主機，設於銷售點（POS)廣告機（105)、貨架 廣告機（106)和電子看板（107)各螢幕的攝影機（101)能 擷取顧客影像等屬性資料傳送到門市伺服器（103)，而設 於貨架廣告機（106)上方垂直下拍的半球鏡頭（1 02 )則傳 送人流計數資訊到伺服器（103)，伺服器（103)整合這些 人數偵測、臉部紋理特徵等資訊，用以辨識其年齡 '性 4 別、顧客流量和商品受注目度，再將處理過的資料分別 歸入臉部辨識資料庫（201)、性別辨識資料庫（202) '年 齡辨識資料庫（203)和人流計數資料庫（204)，所以當顧 客靠近門市據點時，透過店外的電子看板（107)動態資料 觀賞廣告機的廣告内容，該播出的内容均係透過人臉偵 測的分析技術和資料庫結果，萃取顧客所屬客群最適合 購買的建議商品；當顧客進入店内時，内部的貨架廣告 機（106)會根據所在區域上的貨架商品推薦給顧客觀賞， 1〇12_^職删1 第6頁/共19頁 1013390967-0 M443899 101年10月12日核正替換頁 結帳時，則透過雙向螢幕銷售點（P0S)廣告機（含攝影機 )(105)提供適切建議的廣告，主要就是希望自動建立門 市和顧客的雙向交流管道，針對顧客可能的購買需求， 提高商品的購買率，以增加門市的業績。

後段硬體功能系統部分（參見第三圖），銷售點（P0S)伺服 器（103)根據顧客屬性資訊決定適性廣告播放策略，並將 適性廣告資訊傳送到銷售點（P0S)廣告機（105)、貨架廣 告機（106)和電子看板（107)螢幕播放，並將顧客消費資 料收集處理傳回總部伺服器（104)進行智慧化屬性辨識資 料儲存、資料探勘和產品消費行為廣告效益等多維度分 析。 而軟體功能系統部分，包含： 1 ·智慧化屬性辨識服務：

藉由視覺擷取技術，擷取看板前的即時影像，並利用人 臉辨識和性別分類技術，分析觀眾的性別，運用即時且 多人的人臉辨識技術可同時偵測面對看板的觀眾群，並 在辨識畫面中予以編號識別並追蹤其移動，而性別辨識 技術係採用人臉影像的五官形狀、紋理和幾何變化等， 經過特徵降維後，將萃取出的特徵輸入分類器，即可得 到該人臉影像的性別辨識率係數，而作為辨識性別的依 據。在監視影像中即時分析觀眾的性別後，推薦顧客的 商品資料是由外部影響因子和辨識完成的因子進行交叉 分析，結合後端資料庫萃取後，推薦顧客最適合的商品 資訊。影響的因子包括：性別、年齡、特別節慶曰、季 節天氣和過去的消費紀錄等，當紀錄的資料量累積愈多 ，‘更能精確地推薦消費者可能喜歡的商品，增加購買動 10120349#單麟 A〇101 第7頁/共19頁 1013390967-0 M443899 _ 101年10月12日梭正替换頁 機，促進門市或賣場某一區域的貨架商品採購率，人流 偵測方面採用場域令架設於電子看板偵測區上方的半球 鏡頭垂直向下拍攝，用以分析人流狀況，以期提高商品 的銷售業績。 2·顧客購買行為分析服務： 依照智慧化屬性辨識完成的資料，進行多維度分析，有 效提供單店、區域性店家和總公司的參考資訊，以配合 曰後的行銷促銷方案的制定。 3·產品適性推薦服務：

依照顧客的瀏覽行為、銷售紀錄和屬性偵測的資料進行 I 資料探勘程序，推薦最適產品資訊於銷售點（P0S)廣告機 (105)、貨架廣告機（106)或電子看板（107)播放，提供 顧客進行瀏覽，達到廣告推播的最佳效益。 4·商品廣告露出服務： 透過銷售點（P0S)系統之服務平台，提供門市播放店内促 銷訊息、廣告活動，藉由終端裝置的露出媒介，增加商 品的曝光度，而商品廣告露出亦是透過資料庫萃取分析 後，提供給消費者瀏覽觀看。 < 功能規格主要係針對系統架構分為「智慧行銷銷售點 (P0S)管理系統」和「產品消費行為分析系統」二大部份 ，分述如下： 一、智慧行銷銷售點（POS)管理系統 1.廣告和促銷訊息管理：零售端點之總部管理中心，可 依據廠商所提供的廣告進行廣告媒體庫建檔，並依照廠 商所建議之商品適性設定（目標客群年齡層、性別），事 先設定商品所屬適性客層，若遇該商品有促銷檔期活動 HU20349#單编號删1 第8頁/共19頁 1013390967-0 M443899 101年10月12日修正替換頁 與促銷用廣告媒體檔，則亦可事先建立商品促銷起訖曰 期、適用區域（門市）以及對應之促銷廣告檔。透過彙整 ，產生相對應之例常廣告適性播放清單、促銷廣告適性 播放清單，並透過傳輸管理佈署至各門市。而當廣告被 播送，無論是曰常輪播（沒有顧客駐足/結帳時），或是適 性推播例常/促銷廣告，·門市銷售點（P0S)之對應模組均 加以詳實記錄，並將播放記錄相關資訊，透過傳輸管理 回傳總部管理中心，供後續查核與產生報表分析之用。

2. 主動式推播貨架電子看板：可於總部管理中心事先定 義商品適性設定與廣告多媒體檔資訊，加上商品於門市 之陳列位置（貨架編號）定義，透過播放清單彙整，傳輸 到各門市主動式推播貨架電子看板上。貨架電子看板整 合網路攝影機、廣告播放器、控制韌體以及人臉辨識應 用介面，當顧客駐足觀看時，即可依據所辨識到之年齡 層、性別，搜尋該貨架商品中對應之適性廣告，即時播 放並背景記錄時間戳記、辨識客層與廣告注目度等資訊

，再透過傳輸管理將相關資料回傳，以作為後續分析之 用。 3. 商品促銷券適性發送與回收：若廠商針對特定商品有 提供商品回購促銷優惠時，可於總部管理中心設定該商 品券的識別碼、對應何種商品、適用區域/門市以及折扣 金額等資訊，並透過傳輸管理機制，下傳至銷售點（P0S) 前台。當人臉辨識介面識別到顧客年齡層、性別資訊時 ，可優先搜尋是否有適合之商品促銷券要發送，若有， 則控制熱感式印表機輸出商品促銷券，與***、*** 簽帳單等一起交給顧客。若顧客於下次消費時攜帶商品 1〇12〇349产單编號謝01 第9頁/共19頁 1013390967-0 M443899 1101年10月12曰 促銷券，則可於銷售點（p〇s)前台輸入該券之識別碼，益 將該資料收集透過傳輸管理模組回傳總部管理中心，供 後續分析與對帳之用》 4. 產品適性推播：可於總部管理中心設定商品之適性條 件等基本設定，並透過播放清單彙總與傳輸管理，佈署 到各門市之銷售點（P0S)前台。透過銷售點（P0S)前台裝 置有攝影機之第二面螢幕與人臉辨識介面模組之運作， 辨識結帳顧客之年齡層、性別，播放適合之廣告，並將 辨識與播放記錄集中管理，透過傳輸管理回傳總部管理 中心，作為後續分析。 5. 顧客消費資料收集處理（參見第四圖）：系統將藉由視 覺操取技術，擷取電子看板/智慧型廣告機前之即時影像 (402) ’並利用人臉辨識技術以及性別分類技術（403)， 分析觀眾之性別。即時且多人之人臉辨識技術，可偵測 面對看板之觀眾，偵測畫面中之人臉並追蹤人臉之移動 。利用人臉之影像強度、紋理以及幾何變化等特徵，即 時分析該觀眾之性別。於監視影像中，標示該觀眾之編 號及性別。影像辨識時，後端個人資料安全保護機制 (405)如下（參見第五圖）： (1) 人臉偵測時，只會擷取臉部輪廓之區域（5〇2)。 (2) 後台操取消費者臉部特徵時（5〇3)，會於傳輸時進 打加密動作，預防傳輸過程中不會被攔截。 (3) 當後端伺服器接收到加密資料後，會直接將影像刪 除，不會儲存。 (4)另在解密後會萃取無法識別個人之特徵，再經由「 屬性辨識器」（5〇4)將事件存成記錄檔（如：年齡之區間資 1013390967-0 10120349产單编號删1 第1◦頁/共19頁 M443899 |~ι〇ι 年 iq 月 12 日粒 _頁 料、姓別特徵），以上不會涉及到消費者之個人資料外茂 之情事，以確保應用推行。 6銷售點（POS)客層辨識系統：主要係網路攝影機之快門 控制、人臉辨識核心技術以及辨識結果儲存方法模組化 、元件化，使之於軟體開發過程中便於引用。透過元件 設計的定義與方法，以及元件產出後之測試程序，能夠 有效提高辨識度之可控制性，並確保辨識過程與結果之 穩定性。 7.勒體銷售點（POS)介面整合：韌體銷售點（p〇s)介面整

合之流程，主要為控制硬體「銷售點（p〇S)第二螢幕及 「電子看板」之網路攝影機快門啟動、多媒體排程播放 、跑馬燈訊息播放，並針對播放時間、内容等做成紀錄 。控制播放之韌體可接收來自應用程式的資料、字串&與 變數等資訊’並依據其控制目的進行播放，達到影像操 取及適性推播之功能。 二、產品消費行為分析系統 1.潛在顧客資料推測： 進行潛在顧客資料推 收集-定資料量進行 依據產品消費行為分析系統規劃 測，透過多眾消費者之注視訓練 相關推測β 潜·在顧客資料推測之訓練程序如下： (1) 訂定資料庫爛位及屬性之相關格式。 (2) 依據人臉偵臉程式進行消費者臉部輪廓採樣泪,▲ (3) 依據性別辨識程式進行消費者紋理測1 ，測试。 (4) 依據年齡層辨識程式進行消費者臉部特徵；^ 立單编號Α' ：0349ϊ (5) 將上述測試之消費者觀賞資料庫進行與後^試;。： .0101 第11頁/共19頁 資料庫進 1013390967-0 1012 M443899 _ 101年10月12日修正替换頁 行交叉分析，同時針對觀賞商品時進行記錄，與結帳時 所採購之商品記錄。 透過服務驗證時，進行消費者臉部偵測訓練產生性別、 年齡層偵測時之辨識資料，同時消費記錄和瀏覽記錄交 叉記錄至資料庫内，產生曰後可分析之潛在資料。 2.顧客消費行為分析： 依據銷售點（P0S)系統所紀錄之銷售資訊，例如：產品類 別、門市地區別、消費時段、消費金額…等，加上消費 者客層分析資訊（年齡、性別），運用商業智慧

(Bus iness Intel 1 i gence，BI )分析技術，得到顧客消 I 費行為分析資料，供作門市通路商備貨依據，亦可由通 路商反饋給商品製造商/盤商，達成銷售點（P0S)最初以 及最終的目的一銷售資料收集。 商業智慧（Business Intelligence，BI)之技術應用 層面與方法，一般是從企業需求分析出發，到商業智慧 準備程序的資料載入，甚至是後端安全與效能管理。本 創作重點在於提供現在已有使用銷售點（P0S)系統通路商 ，關於主動辨識客層之整體解決方案，本工作項著重於 β 依據示範點之過去歷史銷售資料，推估出與顧客年齡層 、顧客性別、銷售量、地區別、產品類別等資料之相關 性，以確立商業智慧模型之適用性。本創作示範點架設 與驗證前後之銷售數字不斷累計，亦可反映在已建立之 商業智慧模型，成為顧客消費行為分析庫。由於本創作 分析資料來源為銷售點（P0S)系統，故建置要點則是以銷 售點（P0S)系統資料建立適合的方塊，以作為後續分析之 用。 1〇12〇349f 單编號 Α0101 第12頁/共19頁 1013390967-0 M443899 101年10月12日梭正替換頁 3.產品推播客層建議： 依據商業智慧（BI)之多維度分析結果，可將本創作示範 實施時之實際銷售狀況作為取樣範本，分析其實際購買 顧客之年齡層與性別，可將此資訊提供給產品製造商/盤 商做為參考，並可依此結果重新設定商品適性推播對象 客層，預期可達到更有效、更接近需求的主動式行銷效 果。產品推播客層建議之生成規格如下： (1) 導入適性推播商品清單。 (2) 依據商品清單關聯銷售資料，取得地區、時段資訊。

(3) 依據商品清單與銷售交易時間關聯客層辨識資料，取 得顧客年齡層、性別資訊。 (4) 依據商品清單關聯商品促銷券回收資料，取得相關之 銷售資料。 (5) 得到該商品實際購買之年齡層、性別、地區與時段之 統計資料" (6) 生成廠商別商品實際消費客層分析表。 (7) 由廠商/通路商決定是否變更推播設定。

綜上所述，僅是本創作的較佳實施例，用以說明本創作 之基本架構和實施方法，並非對本創作有任何軟硬體元 件或結構之限制，雖然本創作已以較佳實施例揭露如上 ，然而並非用以限定本創作，任何熟悉本項軟硬體整合 技術者，在不脫離本創作之技術範圍内所做的任何簡單 修改、等效性變化和修飾，均仍屬於本創作之技術範圍 内。本創作「主動辨識客層智慧型銷售點（P0S)系統」具 有極佳的產業利用性，且未見於刊物和公開使用，以及 具有較佳的方便實用性和獨創性效能，符合新型專利要 l〇12〇349f 單編號 A0101 第13頁/共19頁 1013390967-0 M443899 101年10月12日按正番換頁 件，爰依法俱文提出新型專利申請。 【圖式簡單說明】 [0005] 第一圖：本創作主動辨識客層智慧型銷售點（POS)系統之 系統組成架構。 第二圖：本創作之前段硬體功能系統示意圖。 第三圖：本創作之後段硬體功能系統示意圖。 第四圖：本創作之影像擷取辨識流程和保護機制示意圖 〇 第五圖：本創作之影像萃取和機器學習辨識程序示意圖 [0006] 10120349^^^^ 【主要元件符號說明】 (101) 為設於顯示裝置上之攝影機。 (102) 為計算人流半球鏡頭。 (103) 為一門市銷售點伺服器。 (104) 為一總部管理伺服器。 (105) 為一銷售點廣告機。 (106) 為一貨架廣告機。 (107) 為一電子看板。 (201) 為一臉部辨識資料庫。 (202) 為一性別辨識資料庫。 (203) 為一年齡辨識資料庫。 (204) 為一人流計數資料庫。 (301) 為一智慧化屬性辨識資料庫。 (302) 為一資料探勘模組。 (303) 為一多維度分析模組。 A0101 第14頁/共19頁

1013390967-0 101年10月12日梭正替換頁 M443899 (401) 為一影像擷取與前處理模组。 (402) 為一人臉擷取區域。 (403) 為一辨識模組。 (404) 為一處理伺服器。 (405) 為一後端影像辨識保護機制。 (501) 為一影像擷取與前處理程序。 (502) 為一臉部偵測程序。 (503) 為一特徵萃取程序。 (504) 為一機器學習與分類程序。 • HU20349产單編號組01 第15頁/共19頁 1013390967-0

Claims (1)

1. M443899 _ 101年10月12日修正替换頁 六、申請專利範圍： 1 . 一種主動辨識客層智慧型銷售點系統，其包括：一門市銷 售點伺服器，用以處理顧客屬性資料；一銷售點廣告機、 若干貨架廣告機和電子看板，用以播放適性廣告資訊；若 干設於銷售點廣告機和電子看板上的攝影機，用以擷取顧 客影像以供門市銷售點伺服器分析顧客屬性和制定適性廣 告策略；若干設於貨架廣告機上方垂直下拍的半球鏡頭， 用以擷取人流資訊以供門市銷售點伺服器計算分析；一總 部管理伺服器，用以儲存顧客屬性辨識資料和進行資料多 I 維度分析；前述設於銷售點廣告機、貨架廣告機和電子看 板的攝影機和設於貨架廣告機上方垂直下拍的半球鏡頭將 顧客影像和人流資訊傳送至門市銷售點伺服器分析顧客屬 性，門市銷售點伺服器根據顧客屬性將適性廣告資訊傳送 至相對應的銷售點廣告機、貨架廣告機或電子看板播放， 門市銷售點伺服器並將顧客屬性資料傳送至總部管理伺服 器進行相關資料多維度分析並儲存。 2 .如申請專利範圍第1項所述之主動辨識客層智慧型銷售點 | 系統，其中，該門市銷售點伺服器的功能可主動智慧化辨 識顧客的人臉、性別和年齡等，歸納出其所屬的客群，並 進行廣告、促銷訊息、商品促銷券發送和回收等管理，透 過設置於賣場中的廣告機和電子看板推播適性產品訊息， 收集顧客消費資料，並進行產品消費行為分析，將銷售點 系統收集的消費資訊，建構商業智慧模型，分析顧客消費 行為特性、潛在顧客資料推測和產品推播客層建議。 3 .如申請專利範圍第1項所述之主動辨識客層智慧型銷售點 系統，其中，該總部管理伺服器用以儲存顧客屬性辨識資 丽藝^單编號A0101 1013390967-0 第16頁/共19頁 , 101年10月12日慘正番换頁 料和進#t❹料分析，其鮮消f行^— 售點***所紀錄之銷售資訊，加上料者客層分析資訊， 運用商業智慧分析技術，得到顧客消費行為分析資料供 作門市通路商備貨依據，亦可由通路商反饋給上游廉商， 達成銷售資料收集的目的’本創作著重於依據銷售點之過 去歷史銷售資料，推估出與顧客的年齡層、性別、銷售量 、地區別和產品類別等資料之相關性，依據商業智慧分析 技術之多維度分析結果，可將實際銷售狀況作為取樣範本 ’分析其實際購買顧客之年齡層與性別，可將此資訊提供 給上游薇商做為參考，並可依此結果重新設定商品適性推 播對象客層。 4 .如申请專利fe圍第1項所述之主動辨識客層智慧型銷售點 系統，其中，該貨架廣告機和電子看板可整合網路攝影機 、廣告播放器、控制動體以及人臉辨識應用介面，當顧客 駐足觀看時’即可依據所辨識到之年齡層、性別，搜尋該 貨架商品中對應之適性廣告，即時主動式推播並記錄背景 時間戳記、辨識客層與廣告注目度#:纽，再透過傳輸管 理將相關資料回傳給門市銷售點伺服器。 5 .如申請專利fe圍第1項所述之主動辨識客層智慧型銷售點 系統，其中，該設於銷售點廣告機和電子看板上的攝影機 用以擷取廣告機和電子看板前之顧客即時影像並傳送到 門市銷售點词服器，門市銷售點伺服器利用即時且多人之 人臉辨識技術以及性別分類技術偵測並追蹤面對看板之觀 眾，利用人臉之影像強度、紋理以及幾何變化等特徵，即 時分析該觀眾之性別和年齡，且於監視影像中標示該觀眾 之編號及性別。 1〇蘭49产單編號A〇101 第Π頁/共19頁 1013390967-0