JP4230049B2 - Customer image database creation device - Google Patents

Description

【０００１】
【発明が属する技術分野】
本発明は、商品の販売時情報（いわゆるＰＯＳ情報）における時間、数字などの数値化されたデータに、顧客のプライバシーを保護しつつ、顧客の映像情報を加えたデータベースを作成するための技術に関するものである。
【０００２】
【先行技術】
（ＰＯＳ情報技術の現状）
いわゆるＰＯＳ情報は、顧客が購入する商品に関する情報と、購入する顧客に関する情報とを、レジスタにおいて入力し、データベース化することによって、マーチャンダイジングについての検証および分析や、その後のマーチャンダイジングの立案などに際して役立つデータとなっている。
【０００３】
（一つの商品が購入される際に入力されるデータの種類）
通常、一つの商品が購入されるとＪＡＮコードと呼ばれる商品の単品コード、数量、時刻などがデータとして記録される。商品コードはバーコードスキャニングによって入力され、商品マスターから価格情報などが呼び出される。また、顧客の年齢層、男女などの区分などのデータが、店員による主観的な判断にて入力されている場合には、当該データも記録される。
【０００４】
（蓄積されたデータの具体的な使い方）
通常は、単品ごとの売上数量を集計し、発注数量を決定する。これによって、欠品による機会損失を未然に防ぐのである。また、売れ筋商品を残して死に筋商品をカットする、といった商品の採否決定の判断データとしても用いられる。
【０００５】
（顧客の映像情報に対する潜在的需要）
ところで、画像データから得られる情報量は、記録媒体が要する記録量の多さが技術的には取り上げられる機会が多いが、視覚に直接訴える情報であることから、情報の受け手側が得られる情報も多い。例えば、ある商品を購入した顧客について、ＰＯＳレジスタによる顧客情報としては「２０代女性」という情報だとする。仮に、この顧客の映像情報が存在したとすると、「２０代女性でも、着飾った会社員風なのか、子どもがいそうな主婦風なのか、」といったことが、映像情報から得ることが出来る。
このように、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく抽出、閲覧可能な映像情報は、小売業にとってのマーチャンダイジング戦略、商品開発、メーカーにとってのマーケティング戦略などにおいて、極めて重要なデータとなり得る可能性を秘めており、顧客の映像情報を取得して商用に供することについての、潜在的需要は極めて高いと考えられる。
【０００６】
一方、画像をデジタルデータとして取り込むデジタルカメラ、デジタルビデオの技術は、日進月歩している。例えば、デジタルカメラの商品サイクルは３カ月ほどで画素数が上がり、価格は下がるという開発競争が、企業間で行われている。したがって、顧客の画像データを取り込むことに対する技術的、経済的な障壁は、だんだん低くなってきている。
【０００７】
（プライバシー保護の現状）
画像情報技術の進歩の一方で、取り込まれた画像データを商目的に使用する場合、映っている人々のプライバシーは保護されなければならない。日本では、プライバシー保護を保護する法律が欧米諸国に比べて十分とは言えないが、画像データ中におけるプライバシーの保護が十分でない状態で画像データを商用とすれば、その企業は社会的に制裁されることとなろう。従って、画像データを商用に供する場合、企業は細心の注意を払うのが通例となっている。
【０００８】
【発明が解決すべき課題】
先行する技術については、以下のような問題があった。
（顧客情報の正確さ）
ＰＯＳシステムによって取り込まれるデータのうち、商品情報はバーコードにて入力されるため、誤入力はほとんどないが、顧客情報は、レジスタを操作する者によって入力されるので、顧客情報入力の正確さは当該操作者に依存する。
【０００９】
顧客情報入力の精度を高めるには、操作者の意識向上教育などの事前対策があるが、事後検証する技術として、合理的な手段が存在しなかった。すなわち、入力されたデータは、データベースに残っているものの、入力の対象となる顧客の姿はレジスタ通過時にしか存在しないので、レジスタ操作者によって入力されたデータとの対応を事後に検証する手段がなかった。
【００１０】
ここで、レジスタにて精算する顧客の姿の画像情報を取得し、商品情報とを対応付けできれば、この問題を解決可能であると想定できる。しかし、顧客の姿を画像情報として取得してしまうとすれば、顧客がプライバシーを侵害されているという不快感を覚え、当該店舗での買い物を敬遠してしまうおそれがあると予想される。
【００１１】
（プライバシー保護の技術的課題）
プライバシー保護の本質は、個人の特定を不可能にすることにある。例えば、商用に供するための画像データ中において、個人が識別できる映像に対しては、眼およびその周辺をマスク処理したり、モザイク処理したりするが、これらの処理行程は、人為的に行われている。
【００１２】
しかし、買い物をする際に画像を取得されるとした場合の顧客の立場では、画像データの取得と同時に、しかも人手を介さずに、個人識別が出来ないような画像データ取得の手段でなければ、前述した「プライバシー侵害の不快感」を解消できないと予想される。ところが、そのような技術は、確立されていなかった。
【００１３】
（本発明の解決課題）
本発明が解決すべき課題は、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく抽出、閲覧可能な技術を提供することにある。
ここで、請求項１および請求項２に記載の発明の目的は、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく抽出、閲覧可能な顧客画像データベース作成装置を提供することである。
【００１４】
【００１５】
【課題を解決するための手段】
本発明は、上記した目的を達成するためのものである。
（請求項１）
請求項１記載の発明は、 商品の販売時情報を取得可能なＰＯＳレジスタと、 商品購入時の顧客の姿を撮影すると同時に、撮影した顧客画像データに対して個人認証を困難にする処理を施して個人識別困難化データとする個人識別困難化手段を備えた撮像装置と、
その撮像装置により得られた個人識別困難化データおよび前記ＰＯＳレジスタから取得した販売時情報を用いて顧客画像付き販売時情報としてデータベース化する演算装置と、を備える。 撮像装置は、前記ＰＯＳレジスタに備えられる。
そして、前記個人識別困難化手段は、撮影された画像中の肌色部分を抽出する肌色抽出手段と、 その肌色抽出手段によって抽出された肌色部分から所定以上の面積を持つ領域を取り出す所定領域抽出手段と、 その所定領域抽出手段によって取り出された領域中の画素のデータを変更する変換手段と、を備え、 前記肌色抽出手段、所定領域抽出手段および変換手段を用いて、前記顧客画像データを前記個人識別困難化データとする顧客画像データベース作成装置に係る。
【００１６】
（用語定義）
「個人認識困難化手段」とは、「誰」という認識、特定が困難である程度に映像を変化させる手段のことであり、具体的には、いわゆるモザイク処理、マスク処理などがある。例えば、顧客画像データを入力してから個人識別困難化データとするまでの手順をワンチップ化して提供し、「撮像装置」に組み込む。
「肌色抽出手段」における「肌色」は、本発明に係る撮像装置を設置する環境に応じて調整したり、定義したりできるものとしている。「変換手段」における「眼色」もまた、本発明に係る撮像装置を設置する環境に応じて調整したり、定義したりできるものとしている。
「変換手段」が行うランダム変換とは、いわゆるモザイク処理やマスク処理などである。
【００１７】
（作用）
まず、顧客が購入商品の精算のため、ＰＯＳレジスタに向かう。そして、ＰＯＳレジスタは、販売時情報を取得する。一方、撮像装置が顧客の姿を撮影する。同時に、個人認識困難化手段がその顧客画像データに対して、個人認証を困難にする処理を施す。
【００１８】
そうしてできた画像データと、ＰＯＳレジスタが取得した販売時情報とを、演算装置が顧客画像付き販売時情報としてデータベース化する。データベースに取り込まれた顧客画像付き販売時情報は、画像データとしては、顧客の全体像や雰囲気は把握できるものの、個人認証は困難であるので、当該顧客がどのような店でどのような商品を購入したか、といったプライバシーを侵すおそれが極めて小さい。
【００１９】
【００２０】
【００２１】
（作用）
なお、撮像装置が人間の姿を撮影する。そうして撮影した撮影画像の中から、肌色抽出手段が、肌色部分を抽出する。このとき、顔、手などが撮影画像の中から抽出される。
次に、所定領域抽出手段が、抽出された肌色部分から所定領域以上の面積を占めている肌色領域を抽出し、その所定領域に達しない肌色面積の部分は無視する。このとき、画像データ中におけるランダム変換が必要ない「手」や、ランダム変換の必要性が高くない「小さく写った顔」は、捨象される。次に、抽出された領域に対して、変換手段が眼色部分を認識し、その眼色部分およびその周辺部分の画素データをランダムに変換する。すると、画像データ中の顔における眼およびその周辺部分の画像が乱れ、変換された顔の個人認証は極めて困難となる。
【００２２】
（請求項２）
請求項２記載の発明は、請求項１に記載の顧客画像データベース作成装置を限定したものである。
すなわち、前記撮像装置は、前記変換手段による変換を経る前の画像データを一時的に保存するランダム・アクセス・メモリをさらに備え、 そのランダム・アクセス・メモリに保存された画像データを個人識別困難化データに変換することで、変換を経る前のその画像データを出力不能とした顧客画像データベース作成装置に係る。
例えば、顧客画像データを入力してから個人識別困難化データとするまでの手順をワンチップ化して提供し、「撮像装置」に組み込む場合、この出力制限手段までを含めてワンチップ化する。
【００２３】
（作用）
本発明によれば、変換を経ない映像データが出力されることはなく、プライバシー保護を強化できる。
【００２４】
本願は、以下のような方法発明を提供することもできる。
すなわち、 撮像装置が、商品購入時の顧客の姿を撮影して顧客画像データを得るステップ、 肌色抽出手段が、前記顧客画像データについて画像中の肌色部分を抽出するステップ、 所定領域抽出手段が、前記肌色抽出手段により抽出された肌色部分から所定以上の面積を持つ領域を取り出すステップ、 変換手段が、前記所定領域抽出手段により取り出された領域中の画素のデータを変更することで、前記顧客画像データについてその画像中の前記顧客の個人認証が困難にされた個人識別困難化データとするステップ、 および、ＰＯＳレジスタが取得した前記顧客に対する商品の販売時情報と前記個人識別困難化データとが一致させられて顧客画像データベースに記憶されるステップ、を含んで構成される顧客画像データベース作成方法に係る。
【００２５】
（請求項５）
前述した顧客画像データベース作成方法を限定した発明も提供できる。
すなわち、 前記顧客画像データをランダム・アクセス・メモリに一時的に保存するステップをさらに含み、
前記肌色抽出手段は、そのランダム・アクセス・メモリに一時的に保存された顧客画像データについて画像中の肌色部分を抽出し、 前記変換手段は、前記所定領域抽出手段によって取り出された領域中に存在する眼色部分およびその周辺部分の画素データをランダムに変換する顧客画像データベース作成方法に係る。
【００２６】
本願は、コンピュータが読み取り可能であるようにコンピュータプログラムを記録した記録媒体に係る発明を提供することもできる。
そのプログラムは、 撮像装置に対して商品購入時の顧客の姿を撮影させ顧客画像データを取得させるステップ、 演算装置に、前記顧客画像データについて画像中の肌色部分を抽出するステップ、 抽出された前記肌色部分から所定以上の面積を持つ領域を取り出すステップ、 取り出された前記領域中の画素のデータを変更することで、前記顧客画像データについてその画像中の前記顧客の個人認証が困難にされた個人識別困難化データとするステップ、 およびＰＯＳレジスタが取得した前記顧客に対する商品の販売時情報と前記個人識別困難化データとを一致させて顧客画像データベースに記憶するステップ、をコンピュータに実行させるコンピュータプログラムである。
【００２７】
【発明の実施の形態】
以下、本発明を実施の形態及び図面に基づいて、更に詳しく説明する。ここで使用する図面は、図１乃至図４である。図１は、本発明の実施形態を構成するＰＯＳレジスタ、デジタルカメラの設置位置を示す全体図である。図２は、デジタルカメラで撮影した画像データの処理工程を示す概念図である。図３は、画像データの処理工程中における一つの処理を更に詳しく説明するための概念図である。図４は、顧客画像データベースの構築工程を示す概念図である。図５は、構築された顧客画像データベースの活用状態を示す概念図である。
【００２８】
（図１に基づく説明）
図１は、ある店舗におけるレジスタ付近の様子を示している。レジスタは、ここでは２台（ａ，ｂ）が設置されており、それぞれＰＯＳレジスタであるので、商品に付されたバーコードを読み取ることによって商品の種類、価格などのデータを読み取ることができる。また、それぞれのＰＯＳレジスタ（ａ，ｂ）では、それぞれのレジ係Ａ、Ｂが、精算に来た客Ｃ、Ｄの属性（性別や年齢層など）を入力する。
前記のＰＯＳレジスタには、商品購入時の顧客の姿を撮影すると同時に、撮影した顧客画像データに対して個人認証を困難にする処理を施して個人識別困難化データとする個人識別困難化手段を備えたデジタルカメラが備えられている。
【００２９】
（図２に基づく説明）
個人識別困難化手段における手法について、図２に基づいて説明する。
【００３０】
ＰＯＳレジスタの前にお客が立つと、前記のデジタルカメラが撮影する。レジ係による操作による撮影でも良いが、この実施形態においては、精算合計金額が表示された直後にシャッターを切る命令が出される自動撮影方式としている。シャッターを切られたら、その画像はＲＡＭ（ランダム・アクセス・メモリ）へと保存される。記録媒体へ定着させるような記録は行わないし、出力もできない。このときの画像データが、図２中の（１）であるとする。ここには、最も近くに客Ｃ、次にレジ係Ｂ、その後ろに客Ｅ、Ｆが写っている。
【００３１】
ＲＡＭに保存された画像データは、撮影画像中から予め定義された肌色部分を抽出する肌色抽出手順を経て、図２中の（２）のようなデータとなる。この手順によって、客Ｃの顔および手、レジ係Ｂの顔および手、客Ｅ、Ｆの顔が抽出される。次に、肌色抽出手順によって抽出された肌色部分から一定領域以上の面積部分を取り出す一定領域抽出手順、および肌色部分に囲まれた非肌色部分を塗りつぶす手順を経て、図２中の（３）のようなデータとなる。ここにおいて、客Ｅ、Ｆの顔が捨象される。詳しくは、図３に基づいて説明する。
【００３２】
続いて、一定領域抽出手順によって取り出された領域中に存在する予め定義された眼色部分を取り出すことによって図２中の（４）のようなデータとなる。ここにおいて、眼と一緒に眉毛、眼鏡フレームおよび時計も一緒に抽出されたのは、それらが「眼色」として定義した色であると認識したからである。最後に、眼色部分およびその周辺部分の画素データをランダムに変換する変換手順を経て、図２中の（５）のようなデータとなる。ここにおいて、客Ｃおよびレジ係Ｂの個人認証はほぼ不可能となる。
【００３３】
（図３に基づく説明）
図３は、前述した「一定領域抽出手順」を更に詳しく説明したものである。すなわち、「肌色」と認識した画素部分（上図中の黒丸）を、例えば八近傍膨張処理によって一旦画像を膨張（中央図）させてから、八近傍収縮処理させることにより、分離していた画素を連結させ、肌色の中にある非肌色部分を肌色とする。これによって肌色の画素に囲まれた一画素が肌色と認識され、下図中にて囲まれた領域が肌色となる。
なお図示は省略するが、一方においてランダム変換手順が不要な領域、すなわち一定以下の面積の肌色部分を捨象するため、八近傍収縮処理において複数画素の収縮を行う場合もある。
【００３４】
（図４に基づく説明）
図４は、図２にて説明した手順によって得られた変換済み画像データと、ＰＯＳレジスタから得られたレジ情報とを、それぞれのデータベースへ格納した後、顧客画像データベースを構築する手順を示している。
【００３５】
なお、図２にて説明した手順によって得られた変換済み画像データから、最も大きく写っている顧客Ｃのみを切り取ったり、顧客Ｃ以外の領域のデータを間引いたりしてから画像データベースへ取り込むこととし、データ量を減らすこともできる。画像データとレジ情報を一致させるには、レジスタにおけるレシートナンバーを画像データの属性情報として加える、などの手段による。
【００３６】
（図５に基づく説明）
図５は、構築された顧客画像データベースの活用状態を示す概念図である。例えば、どんな顧客がとある商品を購入したのかを確認したいとする。その場合、当該商品の商品コードを入力する。すると、一画面中に、顧客の画像を並べることとしている。ここにおいて、顧客層の全体を画面上の映像によって認識することができる。
【００３７】
更に、顔特徴認識ソフトウエアを用いて、顔の特徴を数値化（ベクトル化）する。その数値化により、類似の数値は同一人物であると想定し、固定客率を出力させる。また、レジ係が入力した顧客の属性情報についての入力精度を検証することにも利用できる。
【００３８】
【発明の効果】
請求項１および請求項２に記載の発明によれば、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく商用の画像を取り込める顧客画像データベース作成装置を提供することができた。
【００３９】
【図面の簡単な説明】
【図１】本発明の実施形態を構成するＰＯＳレジスタ、デジタルカメラの設置位置を示す全体図である。
【図２】デジタルカメラで撮影した画像データの処理工程を示す概念図である。
【図３】画像データの処理工程中における一つの処理を更に詳しく説明するための概念図である。
【図４】顧客画像データベースの構築工程を示す概念図である。
【図５】構築された顧客画像データベースの活用状態を示す概念図である。[0001]
[Technical field to which the invention belongs]
The present invention relates to a technique for creating a database in which customer video information is added to digitized data such as time and numbers in product sales information (so-called POS information) while protecting customer privacy. Is.
[0002]
[Prior art]
(Current status of POS information technology)
In the so-called POS information, information on products purchased by customers and information on customers to be purchased are input in a register and created into a database, so that verification and analysis of merchandising, and subsequent merchandising planning It is useful data for such purposes.
[0003]
(Type of data entered when one product is purchased)
Normally, when one product is purchased, a single product code called JAN code, quantity, time, etc. are recorded as data. The product code is input by barcode scanning, and price information is called from the product master. Further, when data such as a customer age group and sex classification is input by subjective judgment by a store clerk, the data is also recorded.
[0004]
(Specific usage of accumulated data)
Normally, the sales quantity for each single item is aggregated to determine the order quantity. This prevents opportunity loss due to shortage. Further, it is also used as judgment data for determining whether or not to accept a product such as leaving a hot selling product and cutting a dead product.
[0005]
(Potential demand for customer video information)
By the way, the amount of information obtained from image data is often taken up technically because of the large amount of recording required by the recording medium, but since it is information that appeals directly to the eye, there is also information that can be obtained by the information recipient. Many. For example, for a customer who has purchased a product, the customer information in the POS register is “20s female”. If this customer's video information exists, it can be obtained from the video information such as “A woman in her twenties is a dressed office worker or a housewife who seems to have children”.
In this way, image data that can be extracted and viewed without sacrificing privacy for image data of customer groups under specific conditions such as sales products and sales time is a merchandising strategy for retailers, product development, and manufacturers. It has the potential to become extremely important data in the marketing strategy, etc., and it is considered that the potential demand for obtaining the video information of the customer for commercial use is extremely high.
[0006]
On the other hand, digital cameras and digital video technologies that capture images as digital data are steadily advancing. For example, there is a development competition between companies in which the product cycle of a digital camera is about 3 months, and the number of pixels increases and the price decreases. Therefore, technical and economic barriers to capturing customer image data are getting lower and lower.
[0007]
(Current status of privacy protection)
While the progress of image information technology, when using captured image data for commercial purposes, the privacy of the people being shown must be protected. In Japan, laws protecting privacy protection are not sufficient compared to Western countries, but if image data is commercialized with insufficient privacy protection in the image data, the company will be socially sanctioned. It will be. Therefore, it is customary for companies to pay close attention when using image data for commercial purposes.
[0008]
[Problems to be Solved by the Invention]
The prior art has the following problems.
(Accuracy of customer information)
Of the data captured by the POS system, merchandise information is input by barcode, so there is almost no erroneous input, but customer information is input by the person who operates the register, so the accuracy of customer information input is Depends on the operator.
[0009]
In order to improve the accuracy of customer information input, there are precautions such as education for improving operator's awareness, but there has been no rational means for post-verification technology. That is, although the input data remains in the database, the customer to be input exists only when passing through the register, so there is a means for verifying the correspondence with the data input by the register operator after the fact. There wasn't.
[0010]
Here, it can be assumed that this problem can be solved if image information of the customer's figure to be settled in the register can be acquired and associated with the product information. However, if the image of the customer is acquired as image information, it is expected that the customer may feel uncomfortable that privacy has been infringed and may refrain from shopping at the store.
[0011]
(Technical issues for privacy protection)
The essence of privacy protection is to make it impossible to identify individuals. For example, in the image data for commercial use, the eye and its surroundings are masked or mosaic-processed for images that can be identified by individuals, but these processing steps are performed artificially. ing.
[0012]
However, from the customer's point of view, when an image is acquired when shopping, the image data must be acquired at the same time as it is not a means for acquiring the image data so that personal identification cannot be performed without human intervention. It is expected that the above-mentioned “privacy inconvenience” cannot be resolved. However, such a technique has not been established.
[0013]
(Solution Problems of the Present Invention)
The problem to be solved by the present invention is to provide a technique capable of extracting and browsing image data of a customer group under specific conditions such as sales merchandise and sales time without impairing privacy.
The object of the invention described in claim 1 and claim 2 is to create a customer image database that can extract and view image data of customer groups under specific conditions such as sales products and sales hours without impairing privacy. Is to provide a device.
[0014]
[0015]
[Means for Solving the Problems]
The present invention is for achieving the above-described object.
(Claim 1)
According to the first aspect of the present invention, a POS register capable of acquiring information at the time of sale of a product, and taking a picture of a customer at the time of purchasing the product, and at the same time, performing processing for making personal authentication difficult for the taken customer image data. And an imaging device having personal identification difficulty means for making personal identification difficult data,
And an arithmetic unit that creates a database as sales information with a customer image using the personal identification difficulty data obtained by the imaging device and the sales information acquired from the POS register. The imaging device is provided in the POS register.
The personal identification difficulty means includes a skin color extracting means for extracting a skin color portion in the photographed image, and a predetermined area extracting means for extracting a region having a predetermined area or more from the skin color portion extracted by the skin color extracting means. And conversion means for changing pixel data in the area extracted by the predetermined area extraction means, and using the skin color extraction means, the predetermined area extraction means, and the conversion means, the customer image data is converted into the individual The present invention relates to an apparatus for creating a customer image database that makes data difficult to identify.
[0016]
(Term definition)
The “personal recognition difficulty making means” means means for changing the image to some extent that it is difficult to recognize and specify “who”, and specifically includes so-called mosaic processing and mask processing. For example, the procedure from the input of customer image data to the personal identification difficulty data is provided on a single chip and incorporated into the “imaging device”.
The “skin color” in the “skin color extracting means” can be adjusted or defined according to the environment in which the imaging apparatus according to the present invention is installed. The “eye color” in the “conversion means” can also be adjusted or defined according to the environment in which the imaging apparatus according to the present invention is installed.
Random conversion performed by the “conversion unit” is so-called mosaic processing or mask processing.
[0017]
(Function)
First, the customer goes to the POS register to settle the purchased product. Then, the POS register acquires the sales time information. On the other hand, the imaging device takes a picture of the customer. At the same time, the personal recognition difficulty making means performs processing for making the personal authentication difficult for the customer image data.
[0018]
The arithmetic device creates a database of the image data thus created and the sales time information obtained by the POS register as sales time information with a customer image. The sales information with customer images captured in the database can be used as image data to understand the overall image and atmosphere of the customer, but personal authentication is difficult. There is very little risk of violating privacy, such as whether or not you have purchased.
[0019]
[0020]
[0021]
(Function)
Note that the imaging device captures a human figure. The skin color extracting means extracts the skin color portion from the photographed image. At this time, a face, a hand, and the like are extracted from the captured image.
Next, the predetermined area extracting means extracts a skin color area that occupies an area larger than the predetermined area from the extracted skin color part, and ignores the part of the skin color area that does not reach the predetermined area. At this time, “hands” that do not require random conversion in image data and “faces that appear small” that do not require random conversion are discarded. Next, with respect to the extracted area, the conversion means recognizes the eye color part, and randomly converts the pixel data of the eye color part and its peripheral part. Then, the images of the eyes and the peripheral portions of the face in the image data are disturbed, and personal authentication of the converted face becomes extremely difficult.
[0022]
( Claim 2 )
The invention described in claim 2 limits the customer image database creation device described in claim 1 .
In other words, the imaging apparatus further includes a random access memory that temporarily stores image data before being converted by the conversion means, and makes it difficult to identify the image data stored in the random access memory. The present invention relates to a customer image database creation device that makes it impossible to output image data before conversion by converting to data.
For example, a procedure from inputting customer image data to making it difficult to identify individual data is provided in one chip, and when it is incorporated into an “imaging device”, it is integrated into one chip including this output restriction means.
[0023]
(Function)
According to the present invention, video data that has not undergone conversion is not output, and privacy protection can be enhanced.
[0024]
The present application can also provide the following method invention.
That is , the imaging device captures a customer image at the time of product purchase to obtain customer image data, the skin color extracting means extracts the skin color portion in the image from the customer image data, the predetermined area extracting means, Extracting a region having a predetermined area or more from the skin color portion extracted by the skin color extracting unit; and converting the customer image by changing data of pixels in the region extracted by the predetermined region extracting unit. A step of making data difficult for personal identification of the customer in the image in the image, and the point-of-sales information of the product for the customer acquired by the POS register matches the personal identification difficult data A customer image database creation method comprising the steps of: .
[0025]
(Claim 5)
The invention which limited the above-mentioned customer image database creation method can also be provided.
That is, the method further includes temporarily storing the customer image data in a random access memory,
The skin color extracting means extracts a skin color portion in an image from customer image data temporarily stored in the random access memory, and the converting means exists in an area extracted by the predetermined area extracting means. The present invention relates to a method for creating a customer image database that randomly converts pixel data of an eye color portion and a peripheral portion thereof.
[0026]
The present application can also provide an invention relating to a recording medium in which a computer program is recorded so that the computer can read the program .
The program includes a step of causing the imaging device to photograph a customer at the time of product purchase and acquiring customer image data, a step of extracting a skin color portion in the image of the customer image data to the arithmetic device, and the extracted A step of extracting a region having a predetermined area or more from the flesh-colored portion, and changing the pixel data in the extracted region, thereby making it difficult to identify the customer in the image with respect to the customer image data A computer program for causing a computer to execute the step of making the data difficult to identify, and the step of matching the personal information difficult data with the sales-time information of the product acquired by the POS register and stored in the customer image database is there.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in more detail based on embodiments and drawings. The drawings used here are FIGS. 1 to 4. FIG. 1 is an overall view showing the installation positions of a POS register and a digital camera that constitute an embodiment of the present invention. FIG. 2 is a conceptual diagram showing a process of processing image data taken with a digital camera. FIG. 3 is a conceptual diagram for explaining in more detail one process in the process of processing image data. FIG. 4 is a conceptual diagram showing the construction process of the customer image database. FIG. 5 is a conceptual diagram showing a utilization state of the constructed customer image database.
[0028]
(Explanation based on FIG. 1)
FIG. 1 shows a state near a register in a certain store. Here, two registers (a, b) are installed, and each is a POS register, so that data such as the type and price of a product can be read by reading a barcode attached to the product. In each POS register (a, b), the cashiers A and B input the attributes (gender, age group, etc.) of the customers C and D who have come to checkout.
The POS register includes a personal identification difficulty means for photographing the customer at the time of product purchase and simultaneously processing the photographed customer image data to make personal authentication difficult to obtain personal identification difficulty data. A digital camera is provided.
[0029]
(Explanation based on FIG. 2)
A method in the means for making personal identification difficult will be described with reference to FIG.
[0030]
When the customer stands in front of the POS register, the digital camera takes a picture. Although photographing by an operation by a cashier may be used, in this embodiment, an automatic photographing method is employed in which a command to release the shutter is issued immediately after the settlement total amount is displayed. When the shutter is released, the image is stored in RAM (Random Access Memory). Recording that is fixed on the recording medium is not performed and output is not possible. Assume that the image data at this time is (1) in FIG. Here, customer C is the closest, next cashier B, and customers E and F behind it.
[0031]
The image data stored in the RAM becomes data as shown in (2) in FIG. 2 through a skin color extraction procedure for extracting a predefined skin color portion from the photographed image. By this procedure, the face and hand of customer C, the face and hand of cashier B, and the faces of customers E and F are extracted. Next, after a fixed region extraction procedure for extracting an area portion of a predetermined region or more from the skin color portion extracted by the skin color extraction procedure, and a procedure for painting a non-skin color portion surrounded by the skin color portion, (3) in FIG. It becomes such data. Here, the faces of customers E and F are discarded. Details will be described with reference to FIG.
[0032]
Subsequently, data as shown in (4) in FIG. 2 is obtained by extracting a predefined eye color portion existing in the area extracted by the fixed area extraction procedure. Here, the eyebrows, the eyeglass frame, and the clock are extracted together with the eyes because they are recognized as the colors defined as “eye color”. Finally, the data shown in (5) in FIG. 2 is obtained through a conversion procedure for randomly converting the pixel data of the eye color portion and its peripheral portion. Here, personal authentication of customer C and cashier B is almost impossible.
[0033]
(Explanation based on FIG. 3)
FIG. 3 illustrates the above-described “certain area extraction procedure” in more detail. That is, the pixel portion (black circle in the above figure) recognized as “skin color” is separated by performing the 8-neighbor contraction process after the image is once expanded (center view) by the 8-neighbor expansion process, for example. And the non-skin color part in the skin color is defined as the skin color. As a result, one pixel surrounded by the skin color pixels is recognized as the skin color, and the region surrounded in the figure below becomes the skin color.
Although not shown in the figure, on the one hand, a region that does not require a random conversion procedure, that is, a skin color portion having an area of a certain size or less, may be shrunk, and a plurality of pixels may be shrunk in the eight-neighbor shrunk process.
[0034]
(Explanation based on FIG. 4)
FIG. 4 shows a procedure for constructing a customer image database after storing the converted image data obtained by the procedure described in FIG. 2 and the registration information obtained from the POS register in the respective databases. Yes.
[0035]
It should be noted that, from the converted image data obtained by the procedure described with reference to FIG. 2, only the customer C showing the largest image is cut out, or data in an area other than the customer C is thinned out before being taken into the image database. The amount of data can be reduced. In order to make the image data coincide with the registration information, a receipt number in the register is added as attribute information of the image data.
[0036]
(Explanation based on FIG. 5)
FIG. 5 is a conceptual diagram showing a utilization state of the constructed customer image database. For example, suppose you want to check what customers have purchased a certain product. In that case, the product code of the product is input. Then, the customer images are arranged in one screen. Here, the entire customer segment can be recognized by the video on the screen.
[0037]
Furthermore, the facial features are digitized (vectorized) using facial feature recognition software. As a result of the digitization, it is assumed that similar numbers are the same person, and the fixed customer rate is output. It can also be used to verify the input accuracy of customer attribute information input by a cashier.
[0038]
【The invention's effect】
According to the first and second aspects of the present invention, there is provided a customer image database creation device capable of capturing commercial images without losing privacy of image data of customer groups under specific conditions such as sales products and sales time. We were able to.
[0039]
[Brief description of the drawings]
FIG. 1 is an overall view showing an installation position of a POS register and a digital camera constituting an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating a process of processing image data captured by a digital camera.
FIG. 3 is a conceptual diagram for explaining in more detail one process in the process of processing image data.
FIG. 4 is a conceptual diagram showing a construction process of a customer image database.
FIG. 5 is a conceptual diagram showing a utilization state of a built customer image database.

Claims (2)

商品の販売時情報を取得可能なＰＯＳレジスタと、
商品購入時の顧客の姿を撮影すると同時に、撮影した顧客画像データに対して個人認証を困難にする処理を施して個人識別困難化データとする個人識別困難化手段を備えるとともに、前記ＰＯＳレジスタに備えられた撮像装置と、
その撮像装置により得られた個人識別困難化データおよび前記ＰＯＳレジスタから取得した販売時情報を用いて顧客画像付き販売時情報としてデータベース化する演算装置と、を備え、
前記個人識別困難化手段は、撮影された画像中の肌色部分を抽出する肌色抽出手段と、
その肌色抽出手段によって抽出された肌色部分から所定以上の面積を持つ領域を取り出す所定領域抽出手段と、
その所定領域抽出手段によって取り出された領域中に存在する眼色部分およびその周辺部分の画素のデータを変更する変換手段と、
を備え、
前記肌色抽出手段、所定領域抽出手段および変換手段を用いて、前記顧客画像データを前記個人識別困難化データとする顧客画像データベース作成装置。A POS register that can obtain information on the sale of products;
At the same time as taking a picture of the customer at the time of purchase of the product , the POS register is provided with a personal identification difficulty means for performing personal authentication difficult processing on the photographed customer image data to make personal identification difficult data. An imaging device provided ;
A computing device that creates a database as sales time information with a customer image using the personal identification difficulty data obtained by the imaging device and the sales time information acquired from the POS register;
The personal identification difficulty means is a skin color extraction means for extracting a skin color portion in a photographed image;
Predetermined area extracting means for extracting an area having a predetermined area or more from the skin color portion extracted by the skin color extracting means;
Conversion means for changing the eye color portion existing in the region extracted by the predetermined region extraction means and the pixel data of the peripheral portion ; and
With
A customer image database creation device that uses the skin color extraction means, predetermined area extraction means, and conversion means to make the customer image data the personal identification difficult data. 前記撮像装置は、前記変換手段による変換を経る前の画像データを一時的に保存するランダム・アクセス・メモリをさらに備え、
そのランダム・アクセス・メモリに保存された画像データを個人識別困難化データに変換することで、変換を経る前のその画像データを出力不能とした請求項１記載の顧客画像データベース作成装置。The imaging apparatus further comprises a random access memory that temporarily stores image data before undergoing conversion by the conversion means,
2. The customer image database creation device according to claim 1, wherein the image data stored in the random access memory is converted into personal identification difficulty data so that the image data before the conversion cannot be output.

Images