TWI675337B - 無人化貨品管理系統與無人化貨品管理方法 - Google Patents

Abstract

本發明提供一種無人化貨品管理系統與無人化貨品管理方法，可自動對追蹤區的貨品進行管理。方法是拍攝追蹤區的追蹤影像，取得進入追蹤區的人員的身份資料，依據追蹤影像產生此人員的姿態模型，於貨品影像中辨識各貨品的貨品位置，於依據姿態模型及各貨品位置判斷任一貨品被人員拿取時取得此貨品的貨品資料，並連結身份資料及貨品資料。本發明可有效實現無人化貨品管理，而可有效節省人力，進而降低管理成本。

Description

無人化貨品管理系統與無人化貨品管理方法

本發明是與貨品管理有關，特別有關於無人化貨品管理系統與無人化貨品管理方法。

於目前的無人商店中，管理系統並無法主動判斷消費者拿取了那些商品，而無法主動進行結帳，這使得消費者於拿取商品後必須至結帳櫃台進行自助結帳，而造成用戶體驗不佳。

有鑑於此，目前極需一種可主動判斷消費者拿取了那些商品的管理系統被提出。

本發明提供一種無人化貨品管理系統與無人化貨品管理方法，可主動判斷人員是否拿取任一貨品，並於人員拿取貨品時自動將被拿取的貨品與拿取貨品的人員建立連結。

於一實施例中，一種無人化貨品管理方法，用於對追蹤區中的多個貨品進行管理，包括以下步驟：經由追蹤攝影機拍攝追蹤區以取得追蹤影像；取得進入追蹤區的人員的身份資料；依據追蹤影像產生人員的姿態模型；於貨品影像中辨識各貨品的貨品位置；於依據姿態模型及各貨品位置判斷任一 貨品被人員拿取時取得被拿取的貨品的貨品資料；及，連結身份資料及貨品資料。

於一實施例中，一種無人化貨品管理系統，用於對追蹤區中的多個貨品進行管理，包括追蹤攝影機、資料庫及控制裝置。追蹤攝影機用以拍攝追蹤區以取得追蹤影像。資料庫用以儲存分別對應多個貨品的多個貨品資料及分別對應多個人員的多個身份資料。控制裝置連接追蹤攝影機及資料庫，並包括身份辨識模組、姿態追蹤模組、貨品辨識模組、拿取分析模組及處理模組。身份辨識模組用以取得進入追蹤區的人員的身份資料。姿態追蹤模組用以依據追蹤影像產生人員的姿態模型。貨品辨識模組用以於貨品影像中辨識各貨品的貨品位置，並用以取得被拿取的貨品的貨品資料。拿取分析模組用以依據姿態模型及各貨品位置判斷是否任一貨品被人員拿取。處理模組用以連結所取得的身份資料及被拿取的貨品的貨品資料。

本發明可有效實現無人化貨品管理，而可有效節省人力，進而降低管理成本。

1‧‧‧無人化貨品管理系統

10‧‧‧控制裝置

100‧‧‧處理模組

101‧‧‧身份辨識模組

102‧‧‧姿態追蹤模組

103‧‧‧臉部追蹤模組

104‧‧‧手部追蹤模組

105‧‧‧拿取分析模組

106‧‧‧貨品辨識模組

107‧‧‧身份確認模組

108‧‧‧結算模組

11、41-44‧‧‧貨品攝影機

12、40‧‧‧追蹤攝影機

13‧‧‧辨識裝置

14‧‧‧儲存裝置

140‧‧‧電腦程式

141、210‧‧‧資料庫

15‧‧‧通訊裝置

20‧‧‧網路

21‧‧‧主機

30-32‧‧‧貨架

34‧‧‧追蹤區

50-58‧‧‧貨品

530-580‧‧‧圖案標籤

6‧‧‧人員

60‧‧‧姿態模型

S10-S16‧‧‧第一管理步驟

S20-S24‧‧‧放回步驟

S30-S32‧‧‧結算步驟

S400-S412‧‧‧第二管理步驟

圖1為本發明的一實施例的無人化貨品管理系統的架構圖。

圖2本發明的一實施例的控制裝置架構圖。

圖3為本發明的第一實施例的無人化貨品管理方法的流程圖。

圖4為本發明的第二實施例的無人化貨品管理方法的部分流程圖。

圖5為本發明的第三實施例的無人化貨品管理方法的部分流程圖。

圖6為本發明的第四實施例的無人化貨品管理方法的流程圖。

圖7為本發明的無人化貨品管理的第一示意圖。

圖8為本發明的無人化貨品管理的第二示意圖。

圖9為本發明的無人化貨品管理的第三示意圖。

圖10為本發明的無人化貨品管理的第四示意圖。

圖11為本發明的無人化貨品管理的第五示意圖。

圖12為本發明的無人化貨品管理的第六示意圖。

茲就本發明的一較佳實施例，配合圖式，詳細說明如後。

本發明主要是提供一種無人化貨品管理技術，可對追蹤區中的多個貨品進行管理。本發明的無人化貨品管理技術主要是自動取得進入追蹤區的人員的身份資料，自動偵測人員是否拿取貨品，並於偵測到人員拿取貨品時對被拿取的貨品與拿取貨品的人員進行關聯。

更進一步地，本發明的無人化貨品管理技術可適用於無人商店、吾人出租店或無人倉儲等應用。

請參閱圖1，為本發明的一實施例的無人化貨品管理系統的架構圖。本發明的無人化貨品管理系統(下稱管理系統)1主要包括一或多個追蹤攝影機12、儲存裝置14及連結上述裝置的控制裝置10。

追蹤攝影機12用以拍攝追蹤區以取得追蹤影像。於一實施例中，追蹤攝影機12可包括彩色追蹤攝影機(如RGB攝影機)及/或深度追蹤攝影機(如紅外線發射器與紅外線攝影機的組合或超音波發射器與超音波接收器的組 合)。前述彩色追蹤攝影機用以取得追蹤區的彩色追蹤影像，前述深度追蹤攝影機用以取得追蹤區的深度追蹤影像。

更進一步地，當追蹤攝影機12同時包括彩色追蹤攝影機及深度追蹤攝影機時可實現3D攝影機的功能。具體而言，追蹤攝影機12所拍攝的彩色追蹤影像及深度追蹤影像可被用來分析追蹤區的3D空間資訊(如區域中物體的數量與尺寸)，而可準確地進行各種偵測處理(如偵測人員是否進入或離開追蹤區，或辨識人員當前的姿態)。

儲存裝置14(如隨機存取記憶體、快閃記憶體、磁碟硬碟、快取記憶體或上述儲存裝置的任意組合)用以儲存資料。控制裝置10(如處理器或微控制器)用以控制管理系統1的各裝置。

於一實施例中，儲存裝置14包括本地資料庫141，資料庫141用以儲存實現無人化貨品管理所需資料(如後述的身份資料與貨品資料)。

於一實施例中，實現無人化貨品管理所需資料是被儲存於網路資料庫。具體而言，管理系統1包括連接控制裝置10的通訊裝置15(如網路卡)，通訊裝置15可連接網路20(如網際網路)，並經由網路20連接遠端的主機21的資料庫210。後續將以實現無人化貨品管理所需資料被儲存於本地資料庫141為例進行說明。

於一實施例中，管理系統1可包括連接控制裝置10的一或多個貨品攝影機11。貨品攝影機11用以拍攝追蹤區中的貨品所在區域以取得貨品影像。貨品攝影機11的結構是與追蹤攝影機12相同或相似，於此不再贅述。

於一實施例中，追蹤區的管理員可於追蹤區中設定多個放置有貨品的貨品區，並於各貨品區設置一或多個貨品攝影機11來取得各貨品區的清晰的貨品影像以進行更精確的偵測處理(容後詳述)。

於一實施例中，管理系統1可包括連接控制裝置10的辨識裝置13。辨識裝置13用以取得進入追蹤區的人員的特徵資料。

舉例來說，辨識裝置13可為RFID讀卡機，並設置於追蹤區的入口。當人員欲進入追蹤區時必須先將所持有的RFID標籤(tag)與辨識裝置13進行感應以輸入儲存於RFID標籤的人員的識別碼(即前述特徵資料)。

於另一例子中，辨識裝置13可為生物辨識裝置(如指紋掃描器、虹膜掃描器或靜脈掃描器)，並設置於追蹤區的入口。當人員欲進入追蹤區時必須先將輸入生物資料(即前述特徵資料，如指紋特徵資料、虹膜特徵資料或靜脈分佈特徵資料)至辨識裝置13。

於一實施例中，儲存裝置14包括非暫態電腦可讀取媒體，並儲存有電腦程式140，電腦程式140記錄有電腦可讀取的程式碼。控制裝置10可執行電腦程式140來實現本發明各實施例的無人化貨品管理方法。

續請一併參閱圖2，本發明的一實施例的控制裝置架構圖。具體而言，控制裝置10主要是通過執行電腦程式140來與其他裝置進行互動，以執行本發明的無人化貨品管理方法的各個功能。並且，電腦程式140包括分別對應下列功能模組的多組程式碼，控制裝置10執行對應的各組程式碼後可實作下列各功能模組：處理模組100：用以於貨品被人員拿取時連結人員的身份資料及被拿取的貨品的貨品資料，並於貨品被人員放回時解除人員的身份資料及被放回的貨品的貨品資料之間的連結。

於一實施例中，處理模組100可判斷人員是否接近貨品，並於人員接近貨品時控制貨品攝影機11開始對貨品所在區域進行拍攝。

身份辨識模組101：用以取得進入追蹤區的人員的身份資料。於一實施例中，身份辨識模組101自辨識裝置13取得特徵資料，並自資料庫141查 詢對應此特徵資料的身份資料。於一實施例中，身份辨識模組101是對追蹤攝影機12所拍攝的彩色追蹤影像執行臉部辨識以取得進入追蹤區的人員的臉部特徵(即特徵資料)，並依據特徵資料於資料庫141查詢對應的身份資料。

姿態追蹤模組102：用以依據追蹤攝影機12所拍攝的追蹤影像產生人員的姿態模型。於一實施例中，姿態追蹤模組102依據彩色追蹤影像及深度追蹤影像決定人員的全部或部分關節位置，並依據所決定的關節位置產生前述姿態模型。

臉部追蹤模組103：用以依據追蹤攝影機12所拍攝的彩色追蹤影像追蹤人員的臉部位置。

手部追蹤模組104：用以依據貨品攝影機11所拍攝的彩色貨品影像及深度貨品影像產生人員的手部姿態模型。於一實施例中，手部追蹤模組104依據彩色貨品影像及深度貨品影像決定人員的手部的多個關節位置，並依據多個關節位置產生手部姿態模型。

拿取分析模組105：用以依據姿態模型(及/或手部姿態模型)與各貨品位置判斷是否任一貨品被人員拿取。

貨品辨識模組106：用以於貨品影像中辨識各貨品的貨品位置，並用以取得被拿取(或被放回)的貨品的貨品資料。

於一實施例中，貨品辨識模組106是於追蹤影像中識別前述貨品影像，或經由貨品攝影機11取得前述貨品影像。

於一實施例中，貨品辨識模組106於彩色貨品影像中辨識各貨品的圖案標籤，並依據各圖案標籤的位置決定所對應的貨品位置。

於一實施例中，貨品辨識模組106依據被拿取的貨品的圖案標籤的外觀(如圖案的形狀或顏色)於資料庫141查詢對應的貨品資料。

身份確認模組107：用以對較清晰的彩色貨品影像執行臉部辨識以確認拿取貨品的人員的身份資料。

結算模組108：用以於預設的結算條件滿足時對連結身份資料的所有貨品資料執行結算處理。

經由上述功能模組，本發明可有效辨識進入追蹤區的人員，準確辨識此人員所拿取/放回的貨品，並進行記錄。

續請一併參閱圖3，為本發明的第一實施例的無人化貨品管理方法的流程圖。本發明各實施例的無人化貨品管理方法(下稱管理方法)可由圖1至圖2所示管理系統1來加以實現。本實施例的管理方法包括以下步驟。

步驟S10：控制裝置10控制追蹤攝影機12拍攝追蹤區(如圖7至圖12的追蹤區34)以取得追蹤影像。

於一實施例中，追蹤攝影機12是3D攝影機(即包括追蹤彩色攝影機及追蹤深度攝影機)，而可拍攝追蹤區的彩色追蹤影像及深度追蹤影像。

於一實施例中，控制裝置10是於自辨識裝置13收到人員的特徵資料或經由人員感測器(如PIR感測器)偵測到人員進入追蹤區時才控制追蹤攝影機12開始拍攝追蹤區。

於一實施例中，追蹤攝影機12是持續拍攝追蹤區，並對追蹤影像執行人員偵測，並於偵測到人員進入追蹤區時開始記錄追蹤影像。

步驟S11：控制裝置10經由身份辨識模組101取得進入追蹤區的人員的身份資料。具體而言，管理員可預先對允許進入追蹤區的所有人員進行建檔，並將各人員的身份資料儲存於資料庫141，以於辨識任一人員進入追蹤區時可取得對應的身份資料。

於一實施例中，資料庫141可進一步儲存分別對應各身份資料的特徵資料。控制裝置10經由辨識裝置13取得進入(或欲進入)追蹤區的人員的特徵資料，並依據特徵資料於資料庫141查詢對應的身份資料。

以辨識裝置13是RFID讀卡機為例，人員於進入追蹤區前可使用儲存有其識別碼(即特徵資料)的RFID標籤對辨識裝置13進行感應以輸入識別碼。接著，控制裝置10可依據此識別碼於資料庫141查詢此人員的身份資料，而可完成此人員的身份辨識。

以辨識裝置13是生物辨識裝置(如指紋掃描機)為例，人員於進入追蹤區前可使用辨識裝置13來輸入指紋資料。接著，控制裝置10可分析指紋資料來獲得指紋特徵(即特徵資料)，並依據指紋特徵於資料庫141查詢此人員的身份資料，而可完成此人員的身份辨識。

於一實施例中，控制裝置10是對追縱攝影機12所拍攝的追蹤影像進行分析來取得進入追蹤區的人員的影像特徵(即特徵資料)，並依據影像特徵於資料庫141查詢對應的身份資料。

舉例來說，追蹤影像可包括追蹤彩色影像。控制裝置10對彩色追蹤影像執行臉部辨識以取得進入追蹤區的人員的臉部特徵(即特徵資料)，並依據此特徵資料於資料庫141查詢對應的身份資料。

於一實施例中，管理系統1更包括連接控制裝置10的人機介面(如觸控螢幕、顯示器或揚聲器)與門禁裝置(圖未標示)。控制裝置10可於取得人員的身份資料時解鎖(或開啟)門禁裝置以允許人員進入追蹤區，並於無法取得人員的身份資料時上鎖(或關閉)門禁裝置以拒絕人員進入追蹤區，並可進一步經由人機介面發出未註冊人員通知。

並且，控制裝置10還可進一步經由人機介面與人員進行互動以導引人員進行身份資料的註冊。藉此，未註冊人員可於完成註冊後順利進入追蹤區。

步驟S12：控制裝置10經由姿態追蹤模組102依據追蹤影像產生人員的姿態模型(如圖8至圖12的姿態模型60)。

於一實施例中，追蹤影像包括彩色追蹤影像及深度追蹤影像，控制裝置10可於彩色追蹤影像及深度追蹤影像中識別人員的影像，識別人員當前的姿態，建構對應的姿態模型，並依據所拍攝的彩色追蹤影像及/或深度追蹤影像持續更新所建構的姿態模型。藉此，控制裝置10可經由姿態模型得知人員當前的位置(如是否接近或遠離貨品)與動作(如是否拿取/放下貨品)。

於一實施例中，控制裝置10是依據彩色追蹤影像及深度追蹤影像決定人員的多個關節位置，並依據多個關節位置建構或更新姿態模型。

於一實施例中，控制裝置10並不建構人員的全身姿態模型，而僅建構部分姿態模型(如僅建構手部的姿態模型)。藉此，本實施例依據部分姿態模型仍可判斷人員是否拿取/放下貨品，並可有效降低運算量。

步驟S13：控制裝置10取得貨品影像，並經由貨品辨識模組106於貨品影像中辨識放置於追蹤區的各貨品的貨品位置。

於一實施例中，控制裝置10是對追蹤影像中進行分析與裁切來獲得包括貨品的貨品影像。

於一實施例中，控制裝置10是控制貨品攝影機11進行拍攝以取得貨品影像。

於一實施例中，資料庫141可進一步儲存分別對應各貨品的貨品資料。控制裝置10可進一步對貨品影像中的各貨品進行辨識，並取得所辨識出的貨品的貨品資料。

於一實施例中，各貨品包括彼此不同的圖案標籤(圖案標籤的圖案可為條碼、特定形狀及/或顏色)。資料庫141可進一步儲存各貨品資料的圖案標籤所表示的標籤資料(如貨品條碼號或圖案標籤的形狀及/或顏色)。

舉例來說，前述圖案標籤可被黏貼或列印於各貨品上。控制裝置10可於貨品影像中辨識出各圖案標籤的影像，並對各圖案標籤的影像進行分析以取得標籤資料(即貨品條碼號或圖案標籤的形狀及/或顏色)，再依據標籤資料取得對應的貨品資料。並且，控制裝置10還可依據各圖案標籤的位置決定貨品的位置。

藉此，本發明可經由影像處理來取得追蹤區中的各貨品的貨品位置及貨品資料。

步驟S14：控制裝置10經由拿取分析模組105依據姿態模型及各貨品的貨品位置判斷是否任一貨品被人員拿取。

於一實施例中，控制裝置10是於依據貨品影像與姿態模型辨識人員的手部接觸或持續碰觸任一貨品(如姿態模型的手部的位置持續與任一貨品的貨品位置重疊)時，判定人員拿取此貨品。

於一實施例中，控制裝置10是於判斷任一貨品的貨品位置隨著姿態模型移動及/或貨品位置與姿態模型(的手部)之間的距離小於預設的拿取距離(如30公分)時，判定人員拿取此貨品。

若控制裝置10判斷任一貨品被人員拿取時執行步驟S15。否則，控制裝置10再次執行步驟S14。

步驟S15：控制裝置10先經由貨品辨識模組106取得被拿取的貨品的貨品資料，再經由處理模組100連結拿取貨品的人員的身份資料及被拿取的貨品的貨品資料。

以無人商店為例，控制裝置10可於儲存裝置14中建立對應此身份資料的購物車清單，並將貨品資料加入至購物車清單中以建立身份資料及貨品資料之間的連結。

步驟S16：控制裝置10判斷是否人員已完成貨品拿取。

於一實施例中，控制裝置10是於依據追蹤影像判斷人員離開追蹤區時判定人員已完成貨品拿取，並結束管理方法。

於一實施例中，控制裝置10是於依據姿態模型與貨品位置判斷人員雙手皆拿取貨品時判定人員已完成貨品拿取，並結束管理方法。

於一實施例中，控制裝置10是於依據姿態模型與貨品位置判斷人員持續預設時間(如5分鐘)未拿取新的貨品且未放回任一貨品時判定人員已完成貨品拿取，並結束管理方法。

於一實施例中，控制裝置10是於再次自辨識裝置13接收到人員的特徵資料(如人員再次使用RFID標籤進行感應，或再次輸入生物資料)時判定人員已完成貨品拿取，並結束管理方法。

於一實施例中，控制裝置10是於經由人機介面接收人員的結算操作時判定人員已完成貨品拿取，並結束管理方法。

本發明經由建構並更新各人員的姿態模型，可準確判斷人員是否拿取貨品。並且，相較於使用RFID技術來辨識被拿取的貨品(如於各貨品貼上昂貴的RFID標籤，並使用RFID讀卡機來感應被拿取的貨品的RFID標籤)，本發明由於採用了便宜的圖案標籤並基於影像辨識技術來辨識貨品，可大幅降低系統建置成本(即不須昂貴的RFID標籤及RFID讀卡機)，並有效有效實現追蹤區的無人化貨品管理，而可有效節省人力，進而降低管理成本。

續請一併參閱圖3及圖4，圖4為本發明的第二實施例的無人化貨品管理方法的部分流程圖。本實施例中進一步提供貨品放回偵測功能，可自動 偵測人員是否放回貨品。相較於圖3所示的管理方法，本實施例的管理方法於步驟S15之後包括以下步驟。

步驟S20：控制裝置10取得貨品影像，並經由貨品辨識模組106於貨品影像中辨識人員所拿取的各貨品的貨品位置。步驟S20所採用的辨識手段是與步驟S13相同或相似，於此不再贅述。

步驟S21：控制裝置10經由拿取分析模組105依據姿態模型及已被人員拿取的貨品的貨品位置判斷是否人員放回任一個已拿取的貨品。

於一實施例中，控制裝置10是於依據貨品影像與姿態模型辨識人員的手部脫離任一貨品(如姿態模型的手部的位置與任一貨品的貨品位置自重疊狀態變為非重疊狀態)時，判定人員放回此貨品。

於一實施例中，控制裝置10是於判斷任一貨品的貨品位置不再隨著姿態模型移動及/或貨品位置與姿態模型(的手部)之間的距離不小於預設的拿取距離時，判定人員放回此貨品。

若控制裝置10判斷任一貨品被人員放回時執行步驟S22。否則，控制裝置10再次執行步驟S13。

步驟S22：控制裝置10先經由貨品辨識模組106取得被放回的貨品的貨品資料，再經由處理模組100解除放回貨品的人員的身份資料及被放回的貨品的貨品資料之間的連結。

以無人商店為例，控制裝置10可將貨品資料自購物車清單中移出以解除身份資料及貨品資料之間的連結。

步驟S23：控制裝置10經由結算模組108判斷是否預設的結算條件滿足。

於一實施例中，前述結算條件是偵測到人員離開追蹤區、預設時間經過、再次自辨識裝置13接收到人員的特徵資料及/或經由人機介面接收人員的結算操作。

若控制裝置10判斷預設的結算條件滿足，則執行步驟S24。否則，控制裝置10再次執行步驟S13。

步驟S24：控制裝置10對已連結身份資料的所有貨品資料執行結算處理。

以無人商店為例，控制裝置10可執行結算處理來對購物車清單中的所有貨品資料進行結帳。

以無人倉儲為例，控制裝置10可執行結算處理來已連結的所有貨品資料綁定於此身份資料(如將貨品資料的所有權或持有人設定為此身份資料)。

藉此，本發明可有效實現貨品放回偵測功能，並適時地自動執行結算處理。

續請一併參閱圖3、圖4及圖5，圖5為本發明的第三實施例的無人化貨品管理方法的部分流程圖。本實施例的管理方法是用於無人商店，而可於結算條件滿足時自動進行結帳。具體而言，相較於圖3及圖4所示的管理方法，本實施例的管理方法的步驟S24更包括用以執行結算處理的以下步驟。

步驟S30：控制裝置10經由結算模組108取得對應身份資料的支付資料。

於一實施例中，資料庫141更儲存分別對應多個身份資料的多個支付資料(如***資料、儲值卡資料或帳戶資料)。控制裝置10是依據符合結算條件的人員的身份資料來取得對應的支付資料。

步驟S31：控制裝置10經由結算模組108計算貨品總額。

於一實施例中，資料庫141更儲存各貨品資料的價格資料。控制裝置10取得已連結此身份資料的各貨品資料的價格資料，並依據所取得的貨品價格計算貨品總額。

步驟S32：控制裝置10經由結算模組108依據支付資料及貨品總額進行結帳。

舉例來說，控制裝置10可依據所算出的貨品總額向***資料所對應的***公司進行請款，自儲值卡資料的餘額扣除貨品總額，或自帳戶資料扣除貨品總額，不加以限定。

藉此，本發明可有效用於無人商店，並可自動進行結帳。

續請一併參閱圖6，為本發明的第四實施例的無人化貨品管理方法的流程圖。於本實施例中，各貨品的圖案標籤分別具有不同形狀及/或顏色的外觀(如圖7所示的圖案標籤530-550)。

並且，於本實施例中，管理系統1更包括一或多個貨品攝影機11(如圖7所示的貨品攝影機41-44)，各貨品攝影機11分別設置於鄰近貨品的位置而可拍攝更為清晰的貨品影像。

並且，於本實施例中，資料庫141更記錄有各貨品的貨品資料與圖案標籤的外觀的對應關係。舉例來說，第一個貨品的貨品資料可對應紅色三角形、第二個貨品的貨品資料可對應綠色三角形、第三個貨品的貨品資料可對應紅色矩形等等。本實施例的管理方法包括以下步驟。

步驟S400：控制裝置10控制追蹤攝影機12拍攝追蹤區以取得追蹤影像。

步驟S401：控制裝置10經由身份辨識模組101取得進入追蹤區的人員的身份資料。

於本實施例中，資料庫141儲存分別對應各身份資料的特徵資料，追縱攝影機12是3D攝影機而可拍攝彩色追蹤影像及深度追蹤影像。控制裝置10是對彩色追蹤影像進行人臉辨識來取得進入追蹤區的人員的臉部特徵(即特徵資料)，並依據特徵資料於資料庫141查詢對應的身份資料。接著，控制裝置10可同時(或交替)執行步驟S402及步驟S403。

步驟S402：控制裝置10經由姿態追蹤模組102依據連續拍測的多張彩色追蹤影像及多張深度追蹤影像產生人員的姿態模型，並持續更新姿態模型。

步驟S403：控制裝置10經由臉部追蹤模組103依據連續拍攝的多張彩色追蹤影像持續辨識人員的臉部影像以持續追蹤人員的臉部位置。

步驟S404：控制裝置10經由處理模組100依據姿態模型的位置或臉部位置判斷人員是否接近追蹤區中的貨品。

具體而言，貨品(或擺放貨品的貨架)於追蹤區中的貨品位置4可預先被儲存於儲存裝置14，控制裝置10是於判斷姿態模型的位置或臉部位置鄰近前述貨品位置時判定人員接近貨品。

若控制裝置10判斷人員接近貨品，則執行步驟S405。否則，控制裝置10再次執行步驟S402及S403。

步驟S405：控制裝置10控制貨品攝影機11開始拍攝貨品所在區域以持續取得貨品影像。

於一實施例中，貨品攝影機11是3D攝影機(即包括彩色貨品攝影機及深度貨品攝影機)而可拍攝彩色貨品影像與深度貨品影像，但不以此限定。

於一實施例中，貨品攝影機11亦可僅包括彩色貨品攝影機與深度貨品攝影機的其中之一。

接著，控制裝置10可同時(或交替)執行步驟S406、步驟S407及步驟S408。

步驟S406：控制裝置10經由手部追蹤模組104依據彩色貨品影像及深度貨品影像產生人員的手部姿態模型，並持續依據彩色貨品影像及深度貨品影像來更新手部姿態模型。

前述手部姿態模型的產生方式是與前述姿態模型的產生方式相同或相似，其細節於此不再贅述。

步驟S407：控制裝置10經由身份確認模組107對彩色貨品影像執行臉部辨識以取得貨品攝影機11所拍攝到的人員的臉部特徵(即特徵資料)，並依據此特徵資料於資料庫141查詢對應的身份資料。

於一實施例中，控制裝置10是比較追蹤攝影機12當前或先前所拍攝到人員的臉部特徵與貨品攝影機11當前所拍攝到的人員的臉部特徵，並於判斷兩組臉部特徵屬於同一人員(如臉部特徵相同或極為相似)時將追蹤攝影機12所拍攝到人員的身份資料直接做為貨品攝影機11所拍攝到的人員的身份資料。藉此，本發明不須再次向資料庫141進行身份資料查詢亦可確認人員的身份資料，而可降低資料庫141的負載。

步驟S408：控制裝置10經由貨品辨識模組106於連續拍攝的多張彩色貨品影像中持續辨識各貨品的圖案標籤的外觀，並依據各圖案標籤的於或彩色貨品影像中的位置持續決定各貨品的貨品位置。

值得一提的是，當以條碼作為圖案標籤的圖案時，由於條碼具有較高精細度且條碼辨識結果容易受光影影響，貨品影像必須具有極佳畫質(如極高解析度與極少的雜訊)才可成功辨識嵌入於條碼中的標籤資料並進行貨品辨識，而會大幅提升貨品攝影機11的成本。

為解決上述問題，本發明提出使用不同的形狀、顏色或其組合來做為圖案標籤的圖案。相較於條碼，以形狀與顏色作為圖案的圖案標籤由於精細度較低且不易受光影影響，可具有較高的辨識成功率，並可適用於較為低階的貨品攝影機11。

於一實施例中，控制裝置10是持續辨識所拍攝到的各圖案標籤的形狀及/或顏色(即外觀)，並進一步依據圖案標籤的外觀於資料庫141中查詢對應的貨品資料，但不以此限定。

於一實施例中，控制裝置10是於所拍攝到的任一貨品被人員拿取或放回時才查詢對應的貨品資料。藉此，本發明可降低資料庫141的負載。接著執行步驟S409。

步驟S409：控制裝置10經由拿取分析模組105依據手部姿態模型及各貨品的各貨品位置判斷是否任一貨品被人員拿取。前述是否拿取貨品的判定如前所述，於此不再贅述。

若控制裝置10判斷任一貨品被人員拿取時執行步驟S410。否則，控制裝置10再次執行步驟S402及步驟S403。

步驟S410：控制裝置10經由貨品辨識模組106依據被拿取的貨品的圖案標籤的外觀(即圖案標籤的形狀、顏色或其組合，前述外觀可於步驟S408中被辨識)於資料庫141查詢對應的貨品資料。

於一實施例中，控制裝置10還經由身份確認模組107確認拿取貨品的人員的身份資料(前述身份資料可於步驟S407中被辨識)，但不以此限定。

於一實施例中，當追蹤區內僅有單一人員時控制裝置10亦可不執行步驟S407，而直接將步驟S401所取得的身份資料設定為拿取貨品的人員的身份資料。

步驟S411：控制裝置10經由處理模組100連結已確認的身份資料及被拿取的貨品的貨品資料(如將貨品資料加入至此身份資料所對應的購物車清單)。

步驟S412：控制裝置10依據各人員的姿態模型的位置及/或臉部影像的位置判斷此人員是否離開追蹤區。

若控制裝置10判斷人員是否離開追蹤區，則結束管理方法。否則，控制裝置10再次執行步驟S402及步驟S403。

於一實施例中，控制裝置10於判斷人員離開追蹤區後可自動對已連結身份資料的所有貨品資料執行結算處理(如圖4所示的步驟S24或圖5所示的步驟S30-S32)。

藉此，本發明可進一步提升判斷貨品拿取的成功率，而可更有效地實現無人化貨品管理。

續請一併參閱圖7至圖12，圖7為本發明的無人化貨品管理的第一示意圖，圖8為本發明的無人化貨品管理的第二示意圖，圖9為本發明的無人化貨品管理的第三示意圖，圖10為本發明的無人化貨品管理的第四示意圖，圖11為本發明的無人化貨品管理的第五示意圖，圖12為本發明的無人化貨品管理的第六示意圖。圖7至圖12用以示例性說明本發明的無人化貨品管理的實施方式的其中之一。

如圖7所示，於本例子中，追蹤攝影機40(於本例子中為3D攝影機)拍攝整個追蹤區。追蹤區34內設置有三層貨架。貨品50-52被放置於第一層貨架30，一台貨品攝影機41從上方對第一層貨架30進行拍攝。貨品53-55被放置於第二層貨架31，一台貨品攝影機42從側方對第二層貨架31進行拍攝。貨品56-58被放置於第三層貨架32，兩台貨品攝影機43從側方對第三層貨架32進行拍 攝。並且，於本例子中，貨品攝影機41-44為3D攝影機，而可同時擷取彩色貨品影像及深度貨品影像。

此外，於本例子中，圖案標籤的圖案是不同形狀與顏色的組合。如貨品50、53、56的圖案標籤的圖案為紅色三角形，貨品51、54、57的圖案標籤的圖案為綠色三角形，貨品52、55、58的圖案標籤的圖案為紅色正方形。

更進一步地，本發明的圖案標籤可採用下述任一方式來與貨品結合。於一例子中，貨品50-52的圖案標籤是被設計為外盒，而可裝納貨品50-52。於一例子中，圖案標籤530-550是黏貼於貨品53-55的表面。於一例子中，圖案標籤560-580是直接被印刷於貨品53-55上。

如圖8所示，於本例子中，管理系統1可持續對追蹤攝影機40所拍攝的彩色追蹤影像及/或深度追蹤影像進行人員偵測，並於偵測到人員6進入追蹤區34時對人員6執行臉部辨識以取得人員6的身份資料，並建構人員6的姿態模型60(於本例子中，姿態模型60是人員6的骨架形式來呈現)。

接著，如圖9所示，於人員6拿取貨品50的過程中，管理系統1可依據貨品攝影機41所拍攝的影像確認拿取貨品50的人員6的身份資料，並辨識被拿取的貨品50的圖案標籤為紅色三角形，進而取得對應的貨品資料。並且，管理系統1連結貨品50的貨品資料與人員6的身份資料(如將貨品50的貨品資料加入人員6的身份資料所對應的購物車清單)。

接著，如圖10所示，於人員6拿取另一貨品51的過程中，管理系統1可依據貨品攝影機41所拍攝的影像確認拿取貨品51的人員6的身份資料，並辨識被拿取的貨品51的圖案標籤為綠色三角形，進而取得對應的貨品資料。並且，管理系統1連結貨品51的貨品資料與人員6的身份資料(如將貨品51的貨品資料加入人員6的身份資料所對應的購物車清單)。

接著，如圖11所示，於人員6放回貨品51的過程中，管理系統1可依據貨品攝影機41所拍攝的影像確認放回貨品51的人員6的身份資料，並辨識被放回的貨品51的圖案標籤為綠色三角形，進而取得對應的貨品資料。並且，管理系統1解除貨品51的貨品資料與人員6的身份資料之間的連結(如將貨品51的貨品資料自人員6的身份資料所對應的購物車清單中移除)。

接著，如圖12所示，管理系統1可於偵測到人員6離開追蹤區34時對當前與人員6的身份資料連結的所有貨物51的貨物資料執行結算處理(如依據人員6的身份資料所對應的支付資料對購物車清單中的所有貨品資料進行結帳)。

藉此，本發明可有效盼人員是否拿取或放回貨品，並實現無人化貨品管理。

以上所述僅為本發明的較佳具體實例，非因此即侷限本發明的專利範圍，故舉凡運用本發明內容所為的等效變化，均同理皆包含於本發明的範圍內，合予陳明。

Claims (22)

1. 一種無人化貨品管理方法，用於對一追蹤區中的多個貨品進行管理，包括以下步驟：a)經由一追蹤攝影機拍攝該追蹤區以取得一追蹤影像；b)取得進入該追蹤區的一人員的一身份資料；c)依據該追蹤影像產生該人員的一姿態模型；d)經由一貨品攝影機拍攝該多個貨品所在區域以取得一彩色貨品影像；e)於該彩色貨品影像中辨識各該貨品的一圖案標籤，並依據各該圖案標籤的位置決定各該貨品的一貨品位置；f)於依據該姿態模型及各該貨品位置判斷任一該貨品被該人員拿取時取得被拿取的該貨品的一貨品資料；及g)連結該身份資料及該貨品資料。
2. 如請求項1所述的無人化貨品管理方法，其中更包括一步驟h)於一結算條件滿足時對已連結該身份資料的所有該貨品資料執行一結算處理。
3. 如請求項2所述的無人化貨品管理方法，其中該步驟h)更包括以下步驟：h1)取得對應該身份資料的一支付資料；h2)依據所連結的各該貨品資料的一價格資料計算一貨品總額；及h3)依據該支付資料及該貨品總額進行結帳。
4. 如請求項2所述的無人化貨品管理方法，其中該結算條件是偵測到該人員離開該追蹤區。
5. 如請求項1所述的無人化貨品管理方法，其中該步驟b)是經由一辨識裝置取得該人員的一特徵資料，並依據該特徵資料於一資料庫查詢對應的該身份資料，其中該特徵資料是該人員的識別碼或生物資料。
6. 如請求項1所述的無人化貨品管理方法，其中該追蹤影像包括一彩色追蹤影像；該步驟b)是對該彩色追蹤影像執行臉部辨識以取得該人員的臉部的一特徵資料，並依據該特徵資料於一資料庫查詢對應的該身份資料。
7. 如請求項1所述的無人化貨品管理方法，其中該追蹤影像包括一彩色追蹤影像及一深度追蹤影像；該步驟c)是依據該彩色追蹤影像及該深度追蹤影像決定該人員的多個關節位置，並依據該多個關節位置產生該姿態模型。
8. 如請求項7所述的無人化貨品管理方法，其中於該步驟a)之後，該步驟e)之前更包括以下步驟：i1)依據該彩色追蹤影像追蹤該人員的一臉部位置；及i2)於依據該姿態模型的位置或該臉部位置判斷該人員接近該多個貨品時控制一貨品攝影機開始拍攝該多個貨品所在區域。
9. 如請求項1所述的無人化貨品管理方法，其中該步驟d)是經由該貨品攝影機取得該彩色貨品影像及一深度貨品影像；其中，該步驟f)包括：f1)依據該彩色貨品影像及該深度貨品影像產生該人員的一手部姿態模型；及f2)於依據該手部姿態模型及各該貨品位置判斷任一該貨品被該人員拿取時依據被拿取的該貨品的該圖案標籤的形狀或顏色於一資料庫查詢對應的該貨品資料。
10. 如請求項9所述的無人化貨品管理方法，其中該步驟f)更包括以下步驟： f3)對該彩色貨品影像執行臉部辨識以確認拿取該貨品的該人員的該身份資料；其中，該步驟g)是連結已確認的該身份資料及該貨品資料。
11. 如請求項1所述的無人化貨品管理方法，其中更包括以下步驟：j1)於依據該姿態模型及被拿取的該貨品的該貨品位置判斷該人員放回任一該貨品時取得被放回的該貨品的該貨品資料；及j2)解除該身份資料及被放回的該貨品的該貨品資料之間的連結。
12. 一種無人化貨品管理系統，用於對一追蹤區中的多個貨品進行管理，包括：一追蹤攝影機，用以拍攝該追蹤區以取得一追蹤影像；一資料庫，用以儲存分別對應該多個貨品的多個貨品資料及分別對應多個人員的多個身份資料；一彩色貨品攝影機，用以拍攝該多個貨品所在區域以產生一彩色貨品影像；及一控制裝置，連接該追蹤攝影機、該資料庫及該彩色貨品攝影機，該控制裝置包括：一身份辨識模組，用以取得進入該追蹤區的一人員的該身份資料；一姿態追蹤模組，用以依據該追蹤影像產生該人員的一姿態模型；一貨品辨識模組，用以於該彩色貨品影像中辨識各該貨品的一圖案標籤，並依據各該圖案標籤的位置決定各該貨品的一貨品位置，並用以取得被拿取的該貨品的一貨品資料；一拿取分析模組，用以依據該姿態模型及各該貨品位置判斷是否任一該貨品被該人員拿取；及 一處理模組，用以連結所取得的該身份資料及被拿取的該貨品的該貨品資料。
13. 如請求項12所述的無人化貨品管理系統，其中該控制裝置更包括一結算模組，用以於一結算條件滿足時對連結該身份資料的所有該貨品資料執行一結算處理。
14. 如請求項13所述的無人化貨品管理系統，其中該資料庫更儲存分別對應該多個身份資料的多個支付資料及各該貨品資料的一價格資料，該結算模組取得該身份資料的該支付資料及連結該身份資料的所有該貨品資料的該價格資料，依據所取得的該價格資料計算一貨品總額，並依據該支付資料及該貨品總額進行結帳。
15. 如請求項13所述的無人化貨品管理系統，其中該結算條件是偵測到該人員離開該追蹤區。
16. 如請求項12所述的無人化貨品管理系統，其中該資料庫更儲存分別對應該多個身份資料的多個特徵資料；其中，該無人化貨品管理系統更包括連接該控制裝置的一辨識裝置，該辨識裝置用以取得進入該追蹤區的該人員的該特徵資料；其中，該身份辨識模組是自該資料庫查詢對應該特徵資料的該身份資料；其中，該辨識裝置是RFID讀卡機或生物辨識裝置，該特徵資料是該人員的識別碼或生物資料。
17. 如請求項12所述的無人化貨品管理系統，其中該資料庫更儲存分別對應該多個身份資料的多個特徵資料；其中，該追蹤攝影機包括用以產生一彩色追蹤影像的一彩色追蹤攝影機； 其中，該身份辨識模組是對該彩色追蹤影像執行臉部辨識以取得進入該追蹤區的該人員的臉部的一特徵資料，並依據該特徵資料於該資料庫查詢對應的該身份資料。
18. 如請求項12所述的無人化貨品管理系統，其中該追蹤攝影機包括用以產生一彩色追蹤影像的一彩色追蹤攝影機及用以產生一深度追蹤影像的一深度追蹤攝影機，該姿態追蹤模組是依據該彩色追蹤影像及該深度追蹤影像決定該人員的多個關節位置，並依據該多個關節位置產生該姿態模型。
19. 如請求項18所述的無人化貨品管理系統，其中該控制裝置更包括一臉部追蹤模組，用以依據該彩色追蹤影像追蹤該人員的一臉部位置；其中，該處理模組於依據該姿態模型的位置或該臉部位置判斷該人員接近該多個貨品時控制該彩色貨品攝影機開始拍攝該多個貨品所在區域。
20. 如請求項12所述的無人化貨品管理系統，其中該無人化貨品管理系統更包括連接該控制裝置的一深度貨品攝影機，該深度貨品攝影機用以拍攝該多個貨品所在區域以產生一深度貨品影像；其中，該資料庫更儲存各該貨品資料的該圖案標籤的形狀或顏色；其中，該控制裝置更包括一手部追蹤模組，用以依據該彩色貨品影像及該深度貨品影像產生該人員的一手部姿態模型；其中，該拿取分析模組是依據該手部姿態模型及各該貨品位置判斷是否任一該貨品被該人員拿取；其中，該貨品辨識模組是依據被拿取的該貨品的該圖案標籤的形狀或顏色於該資料庫查詢對應的該貨品資料。
21. 如請求項12所述的無人化貨品管理系統，其中該控制裝置更包括一身份確認模組，該身份確認模組對該彩色貨品影像執行臉部辨識以確認拿取該貨品的該人員的該身份資料；其中，該處理模組是連結已確認的該身份資料及該貨品資料。
22. 如請求項12所述的無人化貨品管理系統，其中該拿取分析模組依據該姿態模型及被拿取的該貨品的該貨品位置判斷是否該人員放回任一該貨品；其中，該貨品辨識模組取得被放回的該貨品的該貨品資料；其中，該處理模組解除該身份資料及被放回的該貨品的該貨品資料之間的連結。