JP6065891B2 - 商品販売データ処理装置 - Google Patents

Description

本発明は、商品販売データ処理装置に関する。

顧客（ユーザ）により載置された物品（商品）を計量するカメラ付きの計量秤が知られている（例えば、特許文献１参照）。従来のカメラ付きの計量秤では、カメラで撮像された物品の認識率を上げる為に、顧客により物品を計量秤の載置部のなるべく中央に載せてもらう必要がある。

特開２０１４−９２４９２号公報

しかしながら、上記従来のカメラ付きの計量秤などでは、物品を計量秤の載置部のなるべく中央に載せてもらうように、広告提示による告知やステッカーなどで顧客へ案内するのみであり、顧客が広告提示やステッカー等の案内に気づかず、計量秤の載置部の中央に商品を載置しない場合があった。このとき、カメラで撮像した物品を正しく認識することができず、正しく商品を登録することができない場合があった。

本発明は、上述した問題に鑑みてなされたもので、商品販売データ処理装置において、載置部の略中心に商品を載置するように商品の載置案内を報知し、商品の認識率を向上させること、正しく商品登録を行うことができる商品販売データ処理装置を提供すること、などを目的とする。

このような目的を達成するために、本発明の商品販売データ処理装置は、少なくとも、以下の構成を具備するものである。
商品販売データ処理装置は、商品を載置する載置部と、
前記載置部に載置する商品を撮像する撮像手段と、
前記商品が前記載置部における撮像可能な位置に位置しているか否かを判定する位置判定手段と、
前記位置判定手段により、前記載置部における撮像可能な位置に前記商品が位置していないと判定した場合、前記商品の載置案内を報知する報知手段と、を有し、
前記報知手段は、前記撮像手段が撮像した撮像データと、前記撮像データ上に重ねて前記撮像された商品を前記載置部における撮像可能な位置に載置させる目印となる案内とを表示部に表示することを特徴とする。

本発明によれば、商品販売データ処理装置において、載置部の略中心に商品を載置するように商品の載置案内を報知し、商品の認識率を向上させることができる。また、本発明の商品販売データ処理装置は、正しく商品登録を行うことができる。

本発明の実施形態に係る商品販売データ処理装置の一例を示す正面図。 図１に示した商品販売データ処理装置の一例を示す斜視図。 商品販売データ処理装置の構成の一例を示す図、（ａ）は電気的な機能ブロック図、（ｂ）は制御部の機能ブロック図。 商品販売データ処理装置に記憶されている情報の一例を示す図、（ａ）は商品情報の一例を示す図、（ｂ）は容器情報の一例を示す図。 商品販売データ処理装置の印字部により印字されるラベルの一例を示す図。 商品販売データ処理装置による設定画面の一例を示す図。 載置位置の設定画面の一例を示す図。 載置部における撮像可能な領域の略中央位置の設定画面の一例を示す図。 商品などを載置部に載置する際の表示画面の一例を示す図。 商品販売データ処理装置の表示部に表示される容器（トレイ）選択画面の一例を示す図。

本発明の実施形態に係る商品販売データ処理装置は、商品を載置する計量部の計量皿などの載置部と、載置部に載置する商品を撮像する撮像手段を有し、載置部における撮像可能な位置に商品位置していないと判定した場合、商品の載置案内を報知する。詳細には、商品販売データ処理装置は、載置部の計量皿の所定位置、例えば、計量皿の中央位置に載置するように報知する。

本発明の実施形態に係る商品販売データ処理装置を、図面を参照しながら説明する。本発明の実施形態は図示の内容を含むが、これのみに限定されるものではない。なお、以後の各図の説明で、既に説明した部位と共通する部分は同一符号を付して重複説明を一部省略する。

図１は本発明の実施形態に係る商品販売データ処理装置１００の一例を示す正面図である。図２は商品販売データ処理装置１００の一例を示す斜視図である。図３は商品販売データ処理装置１００の構成の一例を示す図である。詳細には、図３（ａ）は電気的な機能ブロック図、図３（ｂ）は制御部の機能ブロック図である。

本実施形態では、商品販売データ処理装置１００をセルフ式計量装置に適用した場合を説明する。この商品販売データ処理装置１００は、スーパーなどの店舗に設置され、物品を容器に収容した商品の種類、金額などの販売データを生成して、その販売データを、金銭登録機、ホストコンピュータなどに登録することができる。また、この商品販売データ処理装置１００は、プリンタなど印字部９を備え、印字部９により販売データに応じたラベルを発行することができる。この店舗では、サラダなどの量り売り商品、コロッケなどの個数売り商品などが販売されている。

本発明の実施形態に係る商品販売データ処理装置１００（セルフ式計量装置）は、量り売りまたは個数売りの販売形態であるかを指定する操作入力を操作者（顧客）により行うことなく、セルフ式計量装置の計量部７の計量皿などに商品を載置したとき、量り売り商品、及び、個数売り商品の何れかの販売形態であるかを自動的に判別して、その商品の販売データを生成する。また、商品販売データ処理装置１００は、商品の販売形態に応じた情報を印字したラベルを発行する。顧客は上記ラベルを容器に貼付し、金銭登録機の設置された場所にて、所定の金額を支払う。
以下、商品販売データ処理装置１００（セルフ式計量装置）の各構成要素を詳細に説明する。

本発明の実施形態に係る商品販売データ処理装置１００は、制御部１（ＣＰＵ）と、記憶部（記憶手段）としてのＲＯＭ２およびＲＡＭ３と、補助記憶部４と、操作部５と、表示部６と、計量部７と、撮像部８と、印字部９と、通信部１０と、音声出力部１１（スピーカ）と、などを有する。上記各構成要素は、バスなどの通信線１２などにより電気的に接続されている（図３（ａ）などを参照）。

図１、図２に示したように、商品販売データ処理装置１００の装置本体部１００ａに、計量皿（不図示）などを備えた計量部７が設けられている。装置本体部１００ａには、プリンタなどの印字部９が設けられており、排紙口９ａから印字部９により発行されたラベルが排紙される。
装置本体部１００ａの上部には支柱部１００ｂにより支持された操作部５や表示部６などが設けられている。本実施形態では、操作部５や表示部６としてタッチパネル装置を採用している。操作部５や表示部６、または、支柱部１００ｂには、計量部７の計量皿（載置部（載置手段））などに載置された商品（容器）を撮像する撮像部８が設けられている。計量部７上に撮像部８の撮像範囲８０（認識範囲）が設定されている（図２参照）。

なお、撮像部８により計量部７の計量皿（載置部）などに載置された商品（容器）を撮像するとき、計量部７の計量皿（載置部）に光が当たり反射した反射光により撮像した、計量部７の計量皿（載置部）からなる背景を含む商品（容器）の撮像画像から、商品（容器）の形状や色、または、容器に貼付されている貼付物等を正しく認識できない場合がある。
このような状態を回避するために、例えば、計量部７の計量皿（載置部）を黒色に焼き付け塗装や、つや消し塗装を行う方法もあるが、完全に光の反射を防ぐことは出来ない。
そのため、完全に光の反射を防ぐ方法（または、光の反射を低減する方法）として、計量部７の計量皿（載置部）に所定の密度で黒色起毛させる方法を採用した。詳細には、計量部７の計量皿（載置部）に所定の密度で黒色起毛させる手法として、静電植毛、植毛塗装を行う。
これにより、計量部７の計量皿（載置部）に関し、完全に光の反射を防ぐことができるので、撮像画像より商品（容器）の形状や色を正しく認識することができるという効果を奏する。また、容器に容器を識別するための識別情報を備えた貼付物（例えば、その貼付物は、図形からなるシールや、コード情報が印字されたラベル等）が貼付されていた場合も、その貼付されている貼付物を正しく認識することができる。また、透明な容器にも効果的であり、撮像画像より商品（透明な容器）の形状や色を正しく認識することができる。
また、静電植毛、植毛塗装の他に、例えば、計量部７の計量皿（載置部）を、黒色等の反射しにくいスポンジや布などでくるむ、あるいは覆うことによって光の反射を防止させることは可能である。

また、静電植毛や植毛塗装により、計量部７の計量皿（載置部）に所定の密度で黒色起毛させる領域は、少なくとも撮像部８が計量部７の計量皿（載置部）に載置された商品（容器）を撮像する領域とする。また、黒色起毛させる領域以外は異なる材質（例えば、通常のメッキ加工された状態、あるいは、黒色に焼き付け塗装や、つや消し塗装等）のものであってもよい。これにより、撮像部８が撮像する黒色起毛させた領域とそれ以外の領域とで質感が異なっているので、顧客が計量皿（載置部）に容器を載置する際、どこに載置すれば良いかを容易に理解でき、撮像部８で撮像できない場所に容器が載置されたりすることがない。これにより、撮像された画像データより容器を正しく認識し特定することができる。

制御部１（ＣＰＵ）は、商品販売データ処理装置１００の各構成要素を統括的に制御する。

ＲＯＭ２は本発明に係る各種プログラムや設定値などを記憶する。ＲＡＭ３はプログラムを実行するためのワークエリアを有する。また、本実施形態では記憶部としてのＲＡＭ３は、商品情報記憶部、容器情報記憶部などを有する。
商品情報記憶部は、物品の単価などを記憶する。容器情報記憶部は、容器に収容された物品の販売形態が量り売り又は個数売りのいずれかの販売形態であるかを示す特定情報、つまり、容器情報として容器を特定する特定情報（撮像部８側からの容器の面積や形状など）、容器の質量データ、などを関連付けて記憶する。
特定情報としては、容器の面積（容器の面積に対応するドット数など）、容器に記載（貼付）されたシールの形状や色や、または、容器を識別するための識別情報（例えばコード情報等）が印字されたラベル（シール）などの状態を含む。制御部１は、特定情報に基づいて、容器が量り売り商品か個数売り商品かを判別することができる。
また、記憶部としてのＲＡＭ３は、撮像部８で撮像された容器（商品）の撮像データ（画像データ）を記憶する。

補助記憶部４は、例えば、着脱自在なフラッシュメモリなどの記憶装置であり、商品販売データ処理装置１００に関する設定情報などを保存可能である。
操作部５は、スイッチ、ボタン、タッチパネルなどであり、操作者（顧客など）により操作され、所定の操作入力に応じた信号を制御部１に出力する。
表示部６は、制御部１の制御により、本発明に係る表示を行う。本実施形態では、タッチパネル式の表示部６を採用している。

計量部７は、計量皿（載置部）などを有し、計量皿などに載置された物品などの質量を計量し、物品などの質量データを示す情報を制御部１に出力する。

撮像部８は、商品や容器などを撮像する。本実施形態では、計量部７上の撮像範囲８０（認識範囲）に載置された商品としての物品を収容した容器を撮像して制御部１に出力する。撮像部８としては、ＣＣＤ撮像装置、ＣＭＯＳ撮像装置などを挙げることができる。
尚、撮像部８の近傍に計量部７の撮像範囲８０（認識範囲）を照らすライトなどの発光部を設けてもよい。

印字部９は、制御部１の制御により、物品を容器に収容した商品の販売データ（商品の種類、金額など）をラベルに印字する。

通信部１０は、制御部１の制御により、有線式または無線式の通信路を介して金銭登録機、ホストコンピュータなどのコンピュータとデータ通信を行うことが可能である。

音声出力部１１（スピーカ）は、制御部１の制御により、商品販売データ処理装置１００（セルフ式計量装置）に関する操作案内、エラー音などの音を所定のタイミングで発音可能である。

上述したように、制御部１（ＣＰＵ）は、記憶部に記憶された制御用プログラムを実行することにより、コンピュータとしての商品販売データ処理装置１００に、本発明に係る機能を実現させる。制御部１は、図３（ｂ）に示したように、位置判定部１２１、容器判定部１２２、商品登録部１２３、報知部１２４、などを有する。

位置判定手段としての位置判定部１２１は、商品が載置部（計量部７の計量皿）における撮像可能な位置に位置しているか否かを判定する。載置部には、載置部に載置される商品の載置可能域が設定されている。

容器判定手段としての容器判定部１２２は、撮像部８により撮像された容器の撮像データと、容器を特定する特定情報とに基づいて、撮像部８により撮像した容器を特定し、その特定された容器による販売形態が量り売りであるか否か、詳細には、量り売りであるか個数売りであるかを判定する。

商品登録部１２３は、撮像部８により撮像された撮像データと、商品の情報に基づいて載置部に載置される商品を登録する。
また、位置判定部１２１により、商品が載置部における撮像可能な位置に位置していると判定した場合、商品登録部１２３は、載置部に載置された商品を登録する。
また、本実施形態では、商品登録部１２３は、容器判定部１２２により特定された容器の販売形態が量り売りで販売する商品である場合、計量部７で計量された物品などの質量データに基づいて、商品の販売データを生成して登録する。また、商品登録部１２３は、容器判定部１２２により特定された容器の販売形態、計量部７により計量された商品の質量データ、および、商品情報記憶部に記憶された物品の単価に基づいて、商品の販売データを生成して登録する。
また、商品登録部１２３は、計量部７により計量された物品を収容した容器の質量データから容器の質量データを減算した質量データと物品の単価に基づき販売データを生成して登録する処理を行う。

報知部１２４は、撮像部８により撮像して得られた撮像データと、撮像された商品を載置部における撮像可能な位置に載置させる案内とを表示部６に表示する。尚、報知としては、その旨を表示部６に表示する、スピーカなどから発音する、などを挙げることができる。
また、位置判定部１２１により、商品が載置部の略中心に位置していない、または、商品が載置可能域を超えていると判定した場合、報知部１２４は、載置部へ商品を正しく載置させる旨の報知を行う。
また、商品が載置部の略中心を含む所定幅の中央域の所定位置に位置し、載置可能域を超えず、且つ、商品を特定出来ない場合、報知部１２４は、載置部に載置される商品の候補を選択可能に表示する情報として報知する。

また、制御部１は、容器判定部１２２による物品を収容する容器の特定処理において、容器情報記憶部により記憶されている容器を特定する特定情報に、撮像部８により撮像された商品の容器に対応する情報が含まれていない場合、ＲＡＭ３などの記憶部に記憶されている複数の容器の種類の候補を、タッチパネル式の表示部６に選択可能に表示する処理を行う。

図４は商品販売データ処理装置１００の記憶部としてのＲＡＭ３などに記憶されている情報の一例を示す図である。詳細には、図４（ａ）は商品情報の一例を示す図、図４（ｂ）は容器情報の一例を示す図である。

商品情報（物品情報）は、商品の分類、商品コード（物品コード）、コロッケやサラダなどの商品名称、産地名、単位重量（単位質量データ）、規格単位、容器コード、単価などを関連付けて記憶している。
なお、撮像部８（撮像手段）で物品（商品）を撮像した撮像データ（画像データ）により物品（商品）を特定する場合は、商品情報に商品を特定する商品特定情報（商品特定情報は、商品の寸法、色、形状などを数値化したデータ）を更に備えてもよい。

容器情報は、容器コード、角形容器や丸形容器などの容器名称（容器の種類）、容器特定情報（特定情報）、販売形態情報、商品コード（物品コード）、容器の質量データ（風袋重量データ、または風袋質量データ）、などを関連付けて記憶している。容器特定情報は、容器の面積（撮像部８により容器を撮像した場合の容器の面積）、容器の形状などを示す情報である。なお、容器の形状などを示す情報は、容器を上方から撮像したときの形状、面積、色等に限らず、例えば、撮像部８（撮像手段）で物品（商品）の底部を撮像し撮像データ（画像データ）を取得する場合は、容器の底部の形状、底部の面積、底部の色などが容器特定情報（特定情報）になり、撮像部８（撮像手段）の撮像方向が容器の側端（前後、左右いずれも）である場合は、容器の側端の形状、側端の面積、側端の色等が容器特定情報（特定情報）となる。販売形態情報としては、例えば、個数売りの場合は０で示し、量り売りの場合は１で示している。つまり、販売形態情報は、容器による販売形態が量り売りであるか否かを示している。なお、容器特定情報の設定は設定画面で行うものであり、計量部７の載置部に載置した空容器を撮像部８で撮像し二値化処理を行い容器の面積を取得する。この取得した面積を容器の容器特定情報（特定情報）としてＲＡＭ３などの記憶部に記憶する。なお、容器特定情報は面積に限らず、例えば、容器を二値化したドットの数であってもよいし、あるいは、外観形状（シルエット）、立体的な実寸法（縦、横、高さ）、容器表面の色や柄などを複合的に組み合わせたものであってもよい。

本実施形態では、容器（トレイ）の種類と、容器（トレイ）に収容された物品の種類が関連付けられて記憶部に記憶されている。また、容器（トレイ）の種類と、販売形態情報が関連付けられて記憶部に記憶されている。

図５は商品販売データ処理装置の印字部により印字されるラベルの一例を示す図である。
ラベルには、商品名（サラダなど）、製造年月日、賞味期限、商品の重量、単価、商品の値段、店舗名、店舗の住所などが記載される。

図６は商品販売データ処理装置による設定画面の一例を示す図である。詳細には、トレイ（容器）のサイズなどの容器に関する情報を設定する画面の一例を示す。

設定画面には、キャプチャボタン６０、撮像部により撮像された商品などの画像（キャプチャ画像６１）、その画像（キャプチャ画像６１）に対して、設定された閾値に基づいて２値化処理を施して得られた２値化画像（変換後画像６２）、２値化処理の閾値を設定するための複数の操作ボタン６３、閾値を表示する閾値表示部６４、はみ出し閾値を設定するための複数の操作ボタン６５、はみ出し閾値を表示するはみ出し閾値表示部６６、トレイ（容器）のサイズを示すトレイサイズ表示部６７、トレイ（容器）のサイズを設定するための設定ボタン６８、設定を終了させるための終了ボタン６９、などを有する。
トレイサイズ表示部６７には、２値化画像（変換後画像６２）のうちトレイ（容器）に対応する部分（図６における白部分）の画素の数またはトレイ（容器）の面積が表示される。
なお、トレイ（容器）のサイズの設定は、計量皿（載置部）の中央、右上、右下、左上、左下の各５カ所にトレイ（容器）を載置させ、各載置位置に載置したトレイ（容器）それぞれを撮像部に画像を撮像し、各撮像したトレイ（容器）の画像と、設定された閾値とに基づいて２値化処理を施して得られた２値化画像より５カ所におけるトレイ（容器）の面積を取得し記憶する。前記前記５カ所におけるトレイ（容器）の面積に基づいて、トレイ（容器）が計量皿（載置部）の中央、右上、右下、左上、左下の各５カ所に載置された時にそれぞれのトレイ（容器）の面積で判定するようにしてもよいし、前記各５カ所に載置された時のそれぞれのトレイ（容器）の面積を合算して平均した値をトレイ（容器）の面積として記憶させてもよい。

２値化処理に関するアップボタン６３ｕまたはダウンボタン６３ｄを操作することで、手動にて２値化処理の閾値を微調整することができる。２値化処理の閾値を自動設定するための自動設定ボタン６３ａが操作された場合、周囲の環境の照度（輝度）などに基づいて規定の閾値が設定される。

はみ出し閾値に関するアップボタン６５ｕまたはダウンボタン６５ｄを操作することで、手動にてはみ出し閾値を微調整することができる。はみ出し閾値を自動設定するための自動設定ボタン６５ａが操作された場合、周囲の環境の照度（輝度）などに基づいて規定のはみ出し閾値が設定される。

キャプチャボタン６０が操作された場合、撮像部により撮像された容器などのキャプチャ画像６１が表示され、設定された白黒閾値に基づいてキャプチャ画像６１に２値化処理を施して得られた２値化画像（変換後画像６２）が表示される。
そして、トレイサイズ表示部６７にトレイ（容器）に対応する部分（図６における白部分）の画素の数またはトレイ（容器）の面積（容器特定情報）が表示される。
設定ボタン６８が操作された場合、このトレイサイズ表示部６７に表示されたトレイ（容器）の面積などと、設定されたトレイ（容器）の種類とが関連付けられてＲＡＭ３などの記憶部に記憶される。

図６に示したように、画像（キャプチャ画像６１）には、商品の認識範囲６１ａが設定されている。認識範囲６１ａは、例えば、計量部の計量皿の縁などに対応するように設定されることが好ましい。制御部は、商品がその認識範囲６１ａからはみ出した場合、操作者の手などがキャプチャ画像６１に写った場合などに、正確に商品の容器を特定することができないと判断し、エラー処理を行う。制御部によるエラー処理としては、表示部にエラーを示す表示を行う処理、商品を認識範囲６１ａ内に載置するように促す表示（載置案内情報）を表示部に表示させる処理、などを挙げることができる。

詳細には、本実施形態では、認識範囲６１ａの周囲に複数のはみ出し検出部６１ｃを設けている。制御部１は、はみ出し検出部６１ｃの画素値が閾値以上の場合に、認識範囲６１ａから商品がはみ出している、操作者の手などがキャプチャ画像６１に写っている、などのエラーであると判断し、エラー処理を行う。

なお、制御部１は、はみ出し検出部６１ｃの画素値が閾値以上の場合、エラーであると判断し、エラー処理を行っていたが、このエラー処理としては、容器選択画面を表示部に表示させる処理を行ってもよい。容器選択画面には、記憶部に記憶されている複数の容器の種類を示す画像などが表示される。操作者（ユーザなど）は、表示部に表示された容器選択画面を見て、実際のものと同じ種類の容器を選択する。制御部１は、操作部から入力された信号に基づいて容器を特定する処理を行う。こうすることで、画像認識処理でエラーの場合であっても、制御部１は操作部からの信号に基づいて容器を容易に特定することができる。

また、複数のはみ出し検出部６１ｃによりエラーを検出する場合、且つ、閾値未満の「はみ出し検出部６１ｃ」の個数の増減数が所定数未満の場合、制御部１はエラーとするようにしてもよい。こうすることで、エラーの検出精度を向上させることができる。

また、実際には、手も容器の一部として判断するため、容器の面積（例えば、総ドット数）が、たまたま別の容器と一致する場合もあり、容器の面積だけだと別の容器と判断して処理を行ってしまう可能性があるため、はみ出し検出部６１ｃを設けている。

また、はみ出し検出部６１ｃを検出できない場合、制御部１はエラー処理を行うが、例えば、撮像データの中に、容器の販売形態を特定するシール（特定情報）を検出した場合、制御部１は、そのシール（特定情報）から量り売り商品か個数売り商品かを判断してもよく、さらに、容器の選択画面を表示させるようにしてもよい。なお、はみ出し検出部６１ｃを検出できない場合に限らず、容器に貼付された販売形態を特定するシール（特定情報）のみで、載置部に載置された容器（商品）が量り売りの商品であるか否かを判定するようにしてもよい。なお、この場合、容器に貼付された販売形態を特定するシールは、例えば、販売形態を特定する図形からなるシールや、販売形態を特定するコード情報が印字されたラベル等であってもよい。また、容器に貼付される販売形態を特定するシールは、撮像可能な場所であれば容器の何れの場所に貼付されていてもよい。

図７は、載置位置の設定画面の一例を示す図である。載置位置の設定画面には、撮像部により撮像された商品などの画像（キャプチャ画像６１）、容器や商品などの載置状態を更に効率よく判定するための領域の大きさを示す範囲６１ｄ、認識範囲６１ａの周囲に設けられた複数のはみ出し検出部６１ｃ、上記範囲６１ｄの位置、はみ出し検出部６１ｃの位置などを調整する操作ボタン（上ボタン６０１Ｕ、下ボタン６０１D、左ボタン６０１Ｌ、右ボタン６０１Ｒ）、設定ボタン６８などを有する。

はみ出し検出部６１ｃの位置の調整方法の一例を説明する。
所望のはみ出し検出部６１ｃを選択し、上ボタン６０１Ｕ、下ボタン６０１D、左ボタン６０１Ｌ、右ボタン６０１Ｒなどの操作ボタンを操作することにより、そのはみ出し検出部６１ｃの位置を調整するように構成されている。尚、複数のはみ出し検出部６１ｃを選択して、位置調整を行うようにしてもよい。
なお、計量皿（載置部）内にける３辺または４辺を構成する「はみ出し検出部６１ｃ」（載置可能域）を示す各辺を構成する複数の点の数を増減させる設定ボタンを設け、設定ボタンの操作により各辺の点の数を増減できるようにしてもよい。

容器や商品などの載置状態を更に効率よく判定するための領域の大きさを示す範囲６１ｄの位置の調整方法の一例を説明する。
容器や商品などの載置状態を更に効率よく判定するための領域の大きさを示す範囲６１ｄの上辺、下辺、左辺、または、右辺を選択し、上ボタン６０１Ｕ、下ボタン６０１D、左ボタン６０１Ｌ、右ボタン６０１Ｒなどの操作ボタンを操作することにより、その位置を調整するように構成されている。尚、その上辺、下辺、左辺、右辺のうち複数を選択して、位置調整を行うようにしてもよい。

上記位置調整の後、設定ボタン６８を操作した場合に、上記位置調整が記憶部に記憶され、設定が反映される。

図８は載置部における撮像可能な領域の略中央位置の設定画面の一例を示す図である。
載置部における撮像可能な領域の略中央位置は設定可能に構成されている。載置部における撮像可能な領域の略中央位置を一つまたは複数の点６２１にて規定する。本実施形態では、図８に示したように、４つの点６２１にて、載置部における撮像可能な領域の略中央位置を規定する。この点６２１における画素値の変化に基づいて、商品、容器、トレイなどが載置部における撮像可能な領域の略中央位置に位置するか否かを判定することができる（位置判定手段）。なお、撮像可能な中央領域を示す複数の点６２１は、前記４つの点に限らず、撮像可能な中央領域を示す点６２１の１つの点の大きさを大きくする場合には、設定する点は１つの点であってもよい。従って、設定する点の大きさ等によっては設定する点の数に限らず商品が計量皿（載置部）の中央に載置されたか否かを判定することが可能であるため、設定する点は１つ以上の点で構成すればよく、前記のように４つ限定されるものではない。

この点６２１の位置は、上ボタン６０１Ｕ、下ボタン６０１D、左ボタン６０１Ｌ、右ボタン６０１Ｒなどの操作ボタンを操作することにより調整することができる。尚、複数の点６２１を選択して、位置調整を行うようにしてもよい。上記位置調整の後、設定ボタン６８を操作した場合に、上記位置調整が記憶部に記憶され、設定が反映される。

上記実施形態では、載置部における撮像可能な領域の略中央位置に複数の点６２１を設けているので、各点６２１における画素値の変化に基づいて、上記中央位置付近での商品、容器、トレイの動きを検出することができる。

商品販売データ処理装置の載置部における撮像可能な領域に、商品などが出入することの判定は、載置可能域にて判定することができる（位置判定手段）。
また、撮像部８で商品を特定するタイミングは、商品が載置部に載置される前であっても良い。例えば、商品を載置部における撮像可能な位置に案内するときに商品を特定するようにしてもよい。
なお、商品を載置部における撮像可能な位置に載置させる案内の表示は、計量皿（載置部）内にける３辺または４辺を構成する「はみ出し検出部６１ｃ」（載置可能域）の各辺を構成する複数の点の数が商品や手により増減する数に応じて表示部６に表示させたり、表示部６より消去させたりするようにしてもよい。例えば、撮像画像における計量皿（載置部）内における商品と「はみ出し検出部６１ｃ」（載置可能域）とにより、３辺または４辺の何れか一辺、あるいは、辺同士が交わる２辺において、「はみ出し検出部６１ｃ」（載置可能域）を構成する点の数が商品や手などによって塞がれてしまう点の数が多くなる（増加する）場合は、オペレータ（客）が計量皿（載置部）に商品を載置させる動作を行っていると判定し、「はみ出し検出部６１ｃ」（載置可能域）を構成する点の数が商品や手などによって塞がれてしまう点の数が少なくなる（減少する）場合は、オペレータ（客）が計量皿（載置部）から商品を取り出している動作を行っていると判定することができる。なお、前記のように「はみ出し検出部６１ｃ」（載置可能域）を構成する点の数が商品や手などによって塞がれてしまう点の数で判定してもよいが、「はみ出し検出部６１ｃ」（載置可能域）を構成する点の数が商品や手などによって塞がれていない点の数により判定するようにしてもよい（位置判定手段）。
このように、「はみ出し検出部６１ｃ」（載置可能域）を構成する点が商品や手によって塞がれる数が所定の数より増えた（所定数以上）場合には、表示部６に「商品を載置部における撮像可能な位置に載置させる案内」を表示して報知を行い、逆に、「はみ出し検出部６１ｃ」（載置可能域）を構成する点が商品や手によって塞がれる数が所定の数より減った（所定数以下）場合には、表示部６に表示させた「商品を載置部における撮像可能な位置に載置させる案内」の表示を消去し（止めて）報知から通常の画面（待機画面）にする制御を行ってもよい（位置判定手段）。
なお、表示部６に表示させる「商品を載置部における撮像可能な位置に載置させる案内」の表示（報知）は、載置させた商品を認識できない場合に表示させるようにしてもよい（位置判定手段）。
また、撮像画像を認識範囲６１ａ内で判定する場合、容器の識別などに時間を要する可能性があるため、容器や商品などの載置状態を更に効率よく判定するための領域の大きさを示す範囲６１ｄを用いることにより、撮像した画像より容器を識別するために要する時間を短縮することができる。前記容器を識別するために要する時間を短縮するとは、計量皿（載置部）に載置される商品が、容器や商品などの載置状態を更に効率よく判定するための領域の大きさを示す範囲６１ｄ内で商品や容器が位置している面積の割合で商品や容器が識別できる所定領域内に位置しているか否かの判定を行い、位置していないと判定した場合には、表示部６に「商品を載置部における撮像可能な位置に載置させる案内」の表示（報知）させるようにする（位置判定手段）。これにより、オペレータ（客）に対して迅速に報知を行うことができるので、物品を容器に収容した商品の種類、金額などの販売データをより早く迅速に生成し完結させることができるので、オペレータ（客）の買い物を素早く処理することができる。
「はみ出し検出部６１ｃ」（載置可能域）の検出は、撮像した画像データで認識する他に、発光部と受光部とからなるセンサを用いて「はみ出し検出部６１ｃ」（載置可能域）の各点を遮った数で判定する方式、または反射型のセンサを用いて「はみ出し検出部６１ｃ」（載置可能域）の各点を遮った数で判定する方式であってもよい。

図９は商品などを載置部に載置する際の表示画面の一例を示す図である。
図９に示したように、商品販売データ処理装置の表示部には、撮像部により撮像された撮像データ、商品７６の計量部７の計量皿（載置部）上の載置位置を示す枠７７、撮像された商品７６などを載置部における撮像可能な位置に載置させる案内部７８、商品を載置部の中心位置に近づいた度合いを示すプログレスバーなどの状態表示部７９、などが表示されている。
前述の通り「商品を載置部における撮像可能な位置に載置させる案内」の報知（報知手段）は、撮像部により撮像された撮像データ（動画データ、または、所定の間隔で撮像した静止画像データを連続させて表示する静止画データ）を表示する領域と、文字などによりオペレータ（客）にどのような操作や動作あるいは作業をしなければならないのかを指示する情報を表示する領域と、商品を載置部の中心位置に近づいた度合いを示すプログレスバーなどの状態を表示する領域とを一つにした表示領域を有する。

制御部の位置判定部は、上記枠７７内に商品７６が配置しているか否かを判断する。また、枠７７の中央部７７ｃには、上記載置部における撮像可能な領域の略中央位置を示す点（図８の点６２１）が不可視などで規定されており、その点の画素値の変化に基づいて、商品、容器、トレイなどが載置部の略中央位置に位置するか否かを判定することができる。
また、載置部における撮像可能な位置に前記商品が位置していないと判定した場合、商品の載置案内を案内部７８に表示する。

また、案内部７８には、商品が載置部の略中心に位置していない、または、商品が載置可能域を超えていると判定した場合、載置部へ商品を正しく載置させる旨の報知を行う。

載置案内としては、撮像している動画に重ねて載置案内の情報を表示する、あるいは、動画や静止画を表示する領域と、操作や動作あるいは作業を指示する文字を表示する領域と、現在の状態（状況）をオペレータ（客）に表示する領域と、を一つの画面領域内に統合配置させ表示するなど、オペレータ（客）に対して誘導する指示を的確に報知することが好ましい。
また、載置案内は、載置して欲しいエリアが目視で特定することが出来るように案内する。また、現在の状態（状況）をオペレータ（客）に表示する領域は、正しく載置される位置に到達するまでプログレスバーなどで動的な表示や、文字などで「もう少し右」「もう少し下」「もう少し上」「もう少し左」などの補助表示を行ってもよい。

そして、正しい載置位置に商品が位置すると「正しい位置に載置されました」また「ＯＫ」などの完了を表す表示などを行ってもよい。
また、動画や静止画を表示する領域、または、動画や静止画そのものに色付きの図形などを商品と重ね合わせて動的に案内するようにしてもよい。この場合、正しい位置に誘導するように色付きの図形が商品を移動させて欲しい方向に先行して移動し、最終地点で点滅するなどの案内であってもよい。

尚、載置案内は、トレイなどの商品に限らず、寿司などを個別包装した商品であってもよい。この場合、案内画面上に個別包装した寿司に貼付されたラベルを認識できたものに対して「ＯＫ」等の表示を行い、表示する領域内の動画や静止画の対象となる商品、または、動画内の対象商品にラベルを認識できないエリアを赤枠等で囲みエリアを特定して商品を置き直す旨を報知してもよい。

また、商品が載置部における撮像可能な位置に位置していると判定した場合、商品登録部は、載置部に載置された商品を登録する。

図１０は商品販売データ処理装置の表示部に表示される容器（トレイ）選択画面の一例を示す図である。
商品やトレイなどが載置部の略中心を含む所定幅の中央域の所定位置に位置し、載置可能域を超えず、且つ、前記商品を特定出来ない場合、図１０に示したように、載置部に載置される商品の候補を選択可能に表示する情報として報知する。

尚、載置位置情報として記憶する情報は、中央域、少なくとも三辺の載置可能域、貼付ラベルの認識域などである。

尚、上記実施形態では、撮像部８により撮像された撮像データ（画像データ）に基づいて容器の種類を特定し、容器の種類に基づいて、予めその容器の種類に紐づけられた内容物である物品（商品）の種類や販売形態を特定したが、この形態に限られるものではない。例えば、撮像部８により撮像された撮像データ（画像データ）に基づいて、コロッケ、アジフライなどの物品の種類を特定してもよい。なお、実施の形態において、載置部に載置された容器を上方より撮像しているがこれに限らず、例えば、撮像部８（撮像手段）で物品（商品）の底部を撮像し撮像データ（画像データ）を取得する、あるいは、撮像部８（撮像手段）の撮像方向が容器の側端（前後、左右いずれも）であってもよい。この場合、撮像部８（撮像手段）の撮像方向が容器の底部からである場合、容器を特定する容器特定情報（特定情報）は、容器の底部の形状、底部の面積、底部の色などが容器特定情報（特定情報）になり、撮像部８（撮像手段）の撮像方向が容器の側端（前後、左右いずれも）である場合、容器を特定する容器特定情報（特定情報）は、容器の側端の形状、側端の面積、側端の色等が容器特定情報（特定情報）となる。

以上、説明したように、本発明の実施形態に係る商品販売データ処理装置は、商品を載置する計量部７の計量皿などの載置部と、載置部に載置する商品を撮像する撮像手段（撮像部８）と、商品が載置部における撮像可能な位置に位置しているか否かを判定する位置判定手段（位置判定部１２１）と、位置判定手段により、載置部における撮像可能な位置に商品が位置していないと判定した場合、商品の載置案内を報知する報知手段（報知部１２４）と、を有する。
このように、位置判定手段により撮像した商品が載置部の略中心に載置されているか否かを判定し、略中心に載置されていない場合、商品の載置案内を報知するようにしたので、商品の認識率をアップさせることができ、正しい商品登録を行うことができる。

また、本発明の実施形態に係る商品販売データ処理装置の報知手段（報知部１２４）は、撮像手段（撮像部８）により撮像した撮像データと、撮像された商品を載置部における撮像可能な位置に載置させる案内とを表示部６に表示する処理を行う。
このように、撮像した画像と商品の載置案内を表示部６に表示し報知を行うので、顧客は、正しい位置に商品を載置したか否かを容易に視認でき、商品を載置部の略中心に載置させることができる。

また、本発明の実施形態に係る商品販売データ処理装置の報知手段（報知部１２４）は、載置部に載置される商品の載置可能域が設定されている。商品販売データ処理装置は、位置判定手段により、商品が載置部の略中心に位置していない、または、商品が載置可能域を超えていると判定した場合、報知手段は、載置部へ商品を正しく載置させる旨の報知を行う。
このため、判定手段が載置部の略中心と載置可能域とに基づいて、載置部の正しい位置に商品を載置したか否かを判定するので、載置部に載置された商品の載置位置を正確に判定することができ、客に対して商品の載置案内を正しく報知することができる。

また、本発明の実施形態に係る商品販売データ処理装置は、商品が載置部の略中心を含む所定幅の中央域の所定位置に位置し、載置可能域を超えず、且つ、商品を特定出来ない場合、報知手段（報知部１２４）が載置部に載置される商品の候補を選択可能に表示する情報として報知する。
このように、顧客により商品の候補の中から載置部に載置された商品を選択させるので、載置部に載置された商品を容易に特定することができる商品販売データ処理装置を提供することができる。

また、本発明の実施形態に係る商品販売データ処理装置は、商品の情報を記憶する商品情報記憶手段（ＲＡＭ３やＲＯＭ２など）と、撮像手段（撮像部）により撮像された撮像データと、前記商品の情報に基づいて前記載置部に載置される商品を登録する商品登録手段とを更に有し、位置判定手段（位置判定部１２１）により、商品が載置部における撮像可能な位置に位置していると判定した場合、商品登録手段は、載置部に載置された商品を登録する処理を行う。
このように、商品が載置部における撮像可能な位置に位置している場合に、商品登録手段により載置部に載置された商品を登録する処理を行うので、商品の認識率が向上し、正しい商品登録を行うことができる。

また、本実施形態では、撮像部８により撮像された撮像データ（画像データ）の各画素を２値化し、容器と、容器以外の背景部分とを明確に区分けすることで、容器の面積や形状等を容易に特定することができる。予めＲＡＭ３などの記憶部に、容器の面積と、容器の種類とを関連付けて記憶させる。制御部１は、撮像部８により撮像された商品の撮像データ（画像データ）を２値化処理することで、計量部７に載置された容器の面積を求めることができ、この容器の面積に基づき記憶部に記憶された容器の種類を容易に特定することができる。

また、装置の設置場所（外光により室内の照度が変化する環境）によっては、天候、または、朝、昼、夜等の時間帯や、室内照明などにより室内の照度が変化することが想定され、撮像部８で撮像される撮像データ（画像データ）の各画素の輝度、ガンマ、色等の値が大きく変化する。本実施形態では校正（キャリブレーション）として、容器等を何も載置しない状態で載置面（載置面の色は単色）を撮像し、撮像した画像（撮像）データの輝度、ガンマ、色等の調整（補正）を行い、この補正（調整）した輝度、ガンマ、色等の値を２値化処理の閾値として設定する。また、キャリブレーションとしては、焦点、歪み、明るさ、コントラスト、鮮やかさ、鮮明度、逆光補正、ホワイトバランスなどを調整する。これにより、載置面に容器が載置された状態で撮像部８により撮像した画像データから容器を確実に識別すことが可能となる。なお、校正（キャリブレーション）の他にレンズ歪み等の補正値を記憶させるようにしてもよい。
詳細には、例えば、各時間帯毎に、撮像部８で載置面を撮像し、その画像データに基づいて２値化処理の閾値を規定し、記憶部に記憶しておく。制御部１は、記憶部に記憶された各時間帯毎の２値化処理の閾値を用いて、撮像部８で撮像される画像データに２値化処理を施し、容器の面積を特定し、その容器の面積から容器の種類を確実に特定することができる。なお、記憶部に記憶する際、朝、昼、夜の各時間帯毎の校正（キャリブレーション）した値（２値化処理の閾値）と、朝、昼、夜の使用時間帯の切り換え時刻とをスケジュールしておき、計時手段に基づいて計時された時刻と切り換え時刻に基づいて各時間帯毎に各時間帯毎の校正（キャリブレーション）した値（２値化処理の閾値）を自動的に切り換えるようにしてもよい。また、照度計などを装置に設け、この照度計が示す値に基づいて、校正（キャリブレーション）した値（２値化処理の閾値）を自動的に切り換えるようにしてもよい。

尚、商品販売データ処理装置は、予算達成支援ツール機能として「１日の販売目標金額と時刻毎の達成度を設定する機能」を有していてもよい。
詳細には、商品販売データ処理装置は、設定画面にて、一日の販売目標金額を入力する機能、任意の時刻毎に売上消化比率を設定入力する機能、などを有する。

また、商品販売データ処理装置は、予算達成支援ツール機能として「該当時刻に、予算を達成していなければお店の方（店舗管理コンピュータ）へアラートする機能」を有していてもよい。
詳細には、商品販売データ処理装置は、アラート時には、画面の色を変化させてアラートする。商品販売データ処理装置は、一連の動画・ＢＧＭの前にアラート、一定間隔でアラートする。また、商品販売データ処理装置は、自動的に、タイムセール価格へ変更する機能を有する。
尚、商品販売データ処理装置は、売価ＰＯＰに関して、電子棚札（ＥＳＬ：Electronic Shelf Label）と連動して自動的に変更する機能を有してもよい。

また、商品販売データ処理装置は、予算達成支援ツール機能として「呼び込みやタイムセール等で販売促進する機能」を有していてもよい。
詳細には、商品販売データ処理装置は、適用すべきタイムセールに“推奨”マークを表示する。また、商品販売データ処理装置は、“推奨”タイムセールが選択された場合、値段の背景を規定の色から白色に変更する。また、商品販売データ処理装置は、規定された次の時刻のチェックポイントを監視する処理を行う。

また、商品販売データ処理装置は、タイムセール実績をレポート（報告）する処理を有してもよい。詳細には、商品販売データ処理装置は、日々のタイムセール販売実績（売上・点数）確認を行う処理として、表示画面にて、確認したい日を選択可能とし、総販売金額・点数とタイムセールス毎の実績を表示する処理を行う。

また、商品販売データ処理装置は、顧客に対して、動画による呼び掛けで注意を喚起する機能を有していてもよい。詳細には、商品販売データ処理装置は、赤色ＬＥＤ点滅と音声でラベル場所を明示する機能を有する。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
また、上述の各図で示した実施形態は、その目的及び構成等に特に矛盾や問題がない限り、互いの記載内容を組み合わせることが可能である。
また、各図の記載内容はそれぞれ独立した実施形態になり得るものであり、本発明の実施形態は各図を組み合わせた一つの実施形態に限定されるものではない。

１ 制御部（ＣＰＵ）
２ ＲＯＭ（記憶部：記憶手段）
３ ＲＡＭ（記憶部：記憶手段）
４ 補助記憶部
５ 操作部（操作手段：タッチパネル）
６ 表示部（表示手段：タッチパネル）
７ 計量部（計量手段）
８ 撮像部（取得手段、読取手段、撮像手段、スキャナ部（スキャナ装置））
９ 印字部
１００ 商品販売データ処理装置（セルフ式販売装置）
１２１ 位置判定部
１２２ 容器判定部
１２３ 商品登録部
１２４ 報知部

Claims (4)

1. 商品を載置する載置部と、
   前記載置部に載置する商品を撮像する撮像手段と、
   前記商品が前記載置部における撮像可能な位置に位置しているか否かを判定する位置判定手段と、
   前記位置判定手段により、前記載置部における撮像可能な位置に前記商品が位置していないと判定した場合、前記商品の載置案内を報知する報知手段と、を有し、
   前記報知手段は、前記撮像手段が撮像した撮像データと、前記撮像データ上に重ねて前記撮像された商品を前記載置部における撮像可能な位置に載置させる目印となる案内とを表示部に表示することを特徴とする商品販売データ処理装置。
2. 前記報知手段は、正しく載置される位置に到達するような補助表示を併せて表示部に表示することを特徴とする
   請求項１に記載の商品販売データ処理装置。
3. 前記報知手段は、正しい載置位置に商品が位置すると、完了を表す旨を表示部に表示することを特徴とする請求項１または請求項２に記載の商品販売データ処理装置。
4. 前記報知手段は、前記撮像データ上の商品画像に重ねて案内を表示させることを特徴とする請求項１から請求項３のいずれかに記載の商品販売データ処理装置。