JP6387821B2 - 商品登録装置、商品登録方法、および、商品画像提供システム - Google Patents

Description

本発明は、オブジェクト（物体）認識の際に取得した商品の画像を顧客に提供する、商品登録装置、商品登録方法、および、商品画像提供システムに関する。

従来、電子式キャッシュレジスタ（商品登録装置）では、バーコード読み取り部によって、商品に付与されたバーコードなどのデータコードを読み取り、その商品を識別していた。しかしながら、包装されていない商品、例えば、青果物や（手作り）パン等は、バーコードを個々に貼り付けることは極めて煩雑であり時間とコストが掛かるため、従来は青果物などに対して、オペレータ（店員）が商品コードや金額をキーボードで入力する等の運用がなされていた。

近年では、青果物などをオブジェクト認識し、認識された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、従来のバーコードによる商品の認識に加えて、青果物などを撮影した画像情報から外観の特徴量を抽出し、予め用意された特徴量データベースと比較することにより、その商品がいずれの商品であるかを認識する（例えば、特許文献１参照）。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識することができる。

この商品登録装置に登録された情報である、商品名（型番）、単価、販売個数、合計金額、販売日時、取引番号、店名等は、レシートに印字されて顧客に渡される。顧客は、受け取ったレシートをみて登録内容に間違いがないかを確認したり、返品処理時に利用したりすることができる。

また、近年では、このレシートを電子情報（電子レシート）として顧客に提供する電子レシート管理システムも提案されている（例えば、特許文献２参照）。これによれば、顧客は、店舗等において商品を購入した履歴であるレシートの内容を、顧客自身の携帯端末やスマートフォン、ＰＣ（Personal Computer）等で確認したり、家計簿等の情報として利用したりすることができる。

特開２０１３−１８２３２３号公報 特開２０１２−２１６０４２号公報

しかしながら、従来の紙で提供するレシートや電子レシートにおいて、顧客が購入した商品を識別するための情報としては、商品名や単価、日付、店名等の情報しかなかった。よって、後日、レシートの登録内容の確認する際には、顧客は購入した商品を思い浮かべながら、店名、日付、商品名、単価、同時に購入した他の商品等と合わせて目的とする商品を特定することが必要だった。つまり、紙媒体のレシートや、電子レシートを用いても、商品の購入履歴の確認や、購入した商品の管理を文字情報で行うため、目的とする商品を特定するのに時間がかかり、効率的に行えるものではなかった。これは、顧客に商品を一瞥で認識させることができる画像データがその商品の情報とともに、付されていないことに起因する。

一方、話題の新商品や、希少価値のある商品、高価な商品等を購入した場合において、顧客がその商品の購入を自身のブログやＳＮＳ（Social Networking Service）等で公表するため、実際のその商品の購入時点の映像を記念として撮影しデータとして残したいというニーズがある。従来の商品登録装置は、オブジェクト認識のために画像データを取得しているにもかかわらず、その取得した画像データを商品の認識や登録だけに利用しており、顧客側が有効活用できるものではなかった。

本発明の課題は、商品の認識の際に取得する画像データを、顧客側が有効活用できるようにすることである。

前記課題を解決するため、本発明に係る商品登録装置は、複数の商品の種別毎に、その商品の基準となる商品画像が記憶されている記憶手段と、顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行う販売処理手段と、前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を表示手段に表示させるとともに、表示させた前記商品の画像の中から保存する前記商品の画像を選択する選択入力を受け付ける表示制御手段と、前記選択入力で選択された商品の画像を、前記顧客向けの保存用画像として提供する画像提供手段と、を備えることを特徴とする。

また、本発明に係る商品登録方法は、複数の商品の種別毎に、その商品の基準となる商品画像を予め記憶手段に記憶させるステップと、顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行うステップと、前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を表示手段に表示させるとともに、表示させた前記商品の画像の中から保存する前記商品の画像を選択する選択入力を受け付けるステップと、前記選択入力で選択された商品の画像を、前記顧客向けの保存用画像として提供するステップと、を有することを特徴とする。

また、本発明に係る商品画像提供システムは、商品の売上登録処理を行う商品登録装置と、前記商品登録装置に接続されるサーバと、複数の前記商品の種別毎にその商品の基準となる商品画像が記憶されている記憶手段と、を備え、前記商品登録装置は、顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行う販売処理手段と、前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を表示手段に表示させるとともに、表示させた前記商品の画像の中から保存する前記商品の画像を選択する選択入力を受け付ける表示制御手段と、前記選択入力で選択された商品の画像を、前記顧客向けの保存用画像として、前記サーバに出力する画像提供手段と、を備え、前記サーバは、前記商品登録装置から前記保存用画像を受信する画像受信手段と、前記顧客の端末装置のアドレス情報に基づき、前記顧客の端末装置に、前記画像受信手段で受信した前記保存用画像を送信する画像送信手段と、を備えることを特徴とする。

本発明によれば、商品の認識の際に取得する画像データを、顧客側が有効活用することができる。

本実施形態に係る商品画像提供システムの全体構成を示す図である。 本実施形態に係る商品登録装置の外観の概略図である。 本実施形態に係る商品登録装置のハードウェア構成例を示す図である。 本実施形態に係る商品登録装置の機能ブロック図である。 本実施形態に係る商品登録装置における、撮影画像の登録処理の画面遷移例を説明するための図である。 本実施形態に係る商品登録装置における、撮影画像の登録処理の画面遷移例を説明するための図である。 本実施形態に係る販売情報管理サーバのハードウェア構成例を示す図である。 本実施形態に係る販売情報管理サーバの機能ブロック図である。 本実施形態に係る販売情報管理サーバ処理により、端末装置に表示させた購入履歴の例を示す図である。 本実施形態に係る販売情報管理サーバ処理により、端末装置に表示させた購入履歴の例を示す図である。 本実施形態に係る商品登録装置による撮影画像の登録処理を含む商品の登録処理の流れを示すフローチャートである。 本実施形態に係る販売情報管理サーバの登録画像データの提供処理を示すフローチャートである。

次に、本発明を実施するための形態（以下、「本実施形態」という。）における、商品登録装置１、商品画像提供システム１０００等について説明する。

＜商品画像提供システム＞
図１は、本実施形態に係る商品画像提供システム１０００の全体構成を示す図である。
図１に示すように、商品画像提供システム１０００は、店舗内に設置された商品登録装置１と、その商品登録装置１にインターネット等のネットワーク２を介して接続された販売情報管理サーバ３とを含んで構成される。この商品登録装置１は、１つ以上の店舗内に１つ以上設置されていればよく、各店舗内の商品登録装置１が、ネットワーク２を介して販売情報管理サーバ３に接続される。また、この販売情報管理サーバ３は、商品を購入した顧客が備える、携帯電話やスマートフォン、ＰＣ等の端末装置４との間で、ネットワーク２を介して情報を送受信することができる。

商品登録装置１は、商品の撮影画像を取り込むことにより、その商品を認識するオブジェクト（物体）認識機能と、各取引に係る商品の販売情報の登録や精算を行うＰＯＳ（Point Of Sale system：販売時点情報管理）端末としての機能とを備える装置である。この商品登録装置１は、顧客が購入する商品が確定して登録される毎に、商品名、単価、販売個数、合計金額、販売日時、取引番号、店名等を販売情報として、販売情報管理サーバ３に送信する。特に、本実施形態に係る商品登録装置１は、この販売情報に、オブジェクト認識のために撮影された商品の画像データを含めて、販売情報管理サーバ３に送信することを特徴とする（詳細は後記する。）。

販売情報管理サーバ３は、各店舗の商品登録装置１から送信してきた、販売情報を蓄積する。販売情報管理サーバ３は、販売情報に商品の画像データが含まれる場合には、その画像データを含む販売情報を購入履歴として記憶する。この販売情報管理サーバ３には、顧客を識別するためのＩＤ（IDentifier）（以下、「顧客ＩＤ」と称する。）に対応するメールアドレスが登録される会員情報データベース（後記する、図８参照）が記憶されている。この販売情報管理サーバ３は、販売情報を受信した場合に、その販売情報に付された顧客ＩＤに対応するメールアドレスを、会員情報データベースを参照して取得し、そのメールアドレス宛てに、販売情報が登録された旨の通知（販売情報登録通知）を送信する。そして、販売情報管理サーバ３は、端末装置４から、購入履歴の閲覧要求を受信した場合、商品の画像データを含む販売情報（購入履歴）を、端末装置４の表示画面に表示させる。

端末装置４は、商品を購入した顧客が備える、携帯端末やスマートフォン、ＰＣ等であり、販売情報管理サーバ３から受信した、販売情報登録通知に付されたＵＲＬ（Uniform Resource Locator）に基づいて、そのＵＲＬを指定することにより、ネットワーク２を介して、販売情報管理サーバ３との間で通信を行う。そして、端末装置４は、販売情報管理サーバ３に記憶された販売情報（購入履歴）のうち、自身の顧客ＩＤ等で特定される購入履歴を取得し、ブラウザ機能を用いて閲覧する。また、端末装置４は、販売情報（購入履歴）として表示された画像データをダウンロードして取得することもできる。

次に、本実施形態に係る商品画像提供システム１０００を構成する各装置について説明する。

≪商品登録装置≫
まず、本実施形態に係る商品登録装置１について説明する。
図２は、本実施形態に係る商品登録装置１の外観の概略図である。
図２に示す商品登録装置１は、スーパーマーケットや小売店などの商取引を行う施設に設置され、商品の登録（販売情報の登録）、精算処理を行う端末である。なお、本実施形態では、商品登録装置１としてセルフチェックアウトを行う端末として説明する。ここで、セルフチェックアウトとは、オペレータ（店員）による作業ではなく、商品登録から精算までの作業を顧客自身が行うことを意味している。

図２に示す商品登録装置１の筺体は、大きく分けて、下部側筺体１０と、下部側筺体１０の上面後方に設置される上部側筺体２０とから構成される。下部側筺体１０と上部側筺体２０とは一体として成形されてもよいし、別々に成形されたものを接合したものであってもよい。

下部側筺体１０の左側面には、顧客が購入しようとする商品を入れたカゴを載置するためのカゴ載置台１１が形成されている。一方、下部側筺体１０の右側面には、顧客が購入した商品を袋やバッグに入れるための袋詰め台１２が形成されている。

下部側筺体１０には、硬貨と紙幣の入出金を行うための入出金装置１３（図３参照）が内蔵されている。入出金装置１３の一部として、下部側筺体１０の前面左側には硬貨投入口１３ａおよび硬貨払出口１３ｂが配置されており、また、下部側筺体１０の前面右側には紙幣投入口１３ｃおよび紙幣払出口１３ｄが配置されている。顧客は、商取引の精算を行うに際し、硬貨投入口１３ａや紙幣投入口１３ｃに現金を投入し、硬貨払出口１３ｂや紙幣払出口１３ｄから排出されるお釣りを受け取る。

上部側筺体２０の上部にはタッチディスプレイ２１が設置される。また、上部側筺体２０には、商取引を行う商品を撮影する撮影装置２２と、商取引の精算に使用するクレジットカード等の磁気カードから情報を読み出すカードリーダ２３と、商取引の内容をレシート用紙に印字するとともにレシートとして発行するプリンタ２４とが内蔵されている。図２では、カードリーダ２３の一部としてカード挿入口が図示されている。また、プリンタ２４の一部としてレシート排出口が図示されている。

次に、図３を参照（適宜図２も参照）して、商品登録装置１の構成について説明する。
図３は、本実施形態に係る商品登録装置１のハードウェア構成例を示す図である。
商品登録装置１は、図２において示した構成以外に、ＣＰＵ（Central Processing Unit）２５、ＲＯＭ（Read Only Memory）２６、ＲＡＭ（Random Access Memory）２７、記憶部２８（記憶手段）および通信部２９を備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ２５は、中央制御装置であり、商品登録装置１全体の制御を司る。
ＲＯＭ２６は、不揮発性の記憶手段であり、ＣＰＵ２５によって実行されるプログラム等を記憶する。
ＲＡＭ２７は、ＣＰＵ２５によって使用される一時記憶手段である。ＣＰＵ２５が実行するプログラムに係るデータ等を一時的に記憶する。このＲＡＭ２７には、図４を参照して後記する、オブジェクト認識にために撮影装置２２が撮影した商品の撮影画像データ２７１（商品の画像）等が一時的に記憶される。

記憶部２８は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により構成され、各種プログラムや各種ファイルを記憶する。記憶部２８に記憶されている各種プログラムや各種ファイルは、商品登録装置１の起動時に、その全部または一部がＲＡＭ２７にコピーされてＣＰＵ２５により実行される。この記憶部２８には、図４を参照して後記する、オブジェクト認識用データ２８１、商品内容データ２８２、販売情報マスタデータ２８３等が記憶されている。

通信部２９は、例えばネットワークインタフェースコントローラであり、ネットワーク２を介して、販売情報管理サーバ３と接続され、各種の情報を送受信する。

入出金装置１３は、硬貨投入口１３ａから投入された硬貨や紙幣投入口１３ｃから投入された紙幣を商品登録装置１の筐体内へ搬送し、投入された硬貨や紙幣の異常の有無を識別した後に、正常な硬貨や紙幣については選別部（不図示）で金種別に選別して収納部（不図示）に収納する。そして、ＣＰＵ２５からの払い出し指示に基づいて、収納部の硬貨や紙幣を硬貨払出口１３ｂや紙幣払出口１３ｄから筐体外へお釣りとして払い出すものである。なお、異常な硬貨や紙幣については、収納せずに硬貨払出口１３ｂや紙幣払出口１３ｄなどへリジェクトする等の処理を行う。

タッチディスプレイ２１は、例えば液晶表示装置であるディスプレイ２１ａ（表示手段）の表面にタッチパネル２１ｂ（入力手段）が積層されたものである。このタッチディスプレイ２１は、ＣＰＵ２５によって制御され、顧客によるタッチ操作入力を受け付けるとともに、顧客に対して商品の撮影画像や商品の会計に関する情報（商品名、金額など）などを表示する。

撮影装置２２（撮影手段）は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成され、ＣＰＵ２５の制御の下で撮影を行う撮影手段である。撮影装置２２は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置２２が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ２７に保存される。

カードリーダ２３は、ＣＰＵ２５の制御の下でクレジットカード等の磁気カードに記録された情報、例えばカード番号等を読み取る情報読取手段である。カードリーダ２３が読み取った情報は、会計処理等で使用される。また、このカードリーダ２３により、そのスーパーマーケット等の会員情報（例えば、顧客ＩＤ）を読み取るようにしてもよい。

プリンタ２４は、例えば熱転写プリンタであり、商品の会計時にＣＰＵ２５の指示により、会計の内容をレシート用紙に印字し、レシートとして発行する。

次に、図４を参照（適宜図１〜３も参照）して、商品登録装置１の機能について説明する。図４は、本実施形態に係る商品登録装置１の機能ブロック図である。
商品登録装置１のＣＰＵ２５は、ＲＯＭ２６に格納されたプログラムを実行することにより、処理部５０の各機能を具現化する。処理部５０は、撮影装置２２によって撮影された撮影画像（撮影画像データ２７１）に基づき商品を認識する。そして、処理部５０は、商品の名称や単価、個数等の販売情報とともに、顧客により選択された商品の画像情報（後記する、「登録画像データ１００（保存用画像）」）を、販売情報管理サーバ３に送信する。
この処理部５０は、画像記憶部５１、オブジェクト認識処理部５２（販売処理手段）、表示制御部５３（表示制御手段）、入力取得部５４、販売情報登録部５５（画像提供手段）、会計処理部５６（販売処理手段）、出力部５７（画像提供手段）を備える。
なお、処理部５０は、ＲＡＭ２７に格納される撮影画像データ２７１、記憶部２８（記憶手段）に格納されるオブジェクト認識用データ２８１、商品内容データ２８２、販売情報マスタデータ２８３に対して、参照や記憶（登録）等の処理を行う。

撮影画像データ２７１は、撮影装置２２が撮影した画像データ（商品の画像）であり、オブジェクト認識や、バーコード情報の認識、顧客ＩＤの認識等に用いられる。なお、顧客ＩＤは、例えば、スーパーマーケットや小売店に顧客が会員登録した際の会員登録カード（ポイントカード）等に付される顧客の識別情報である。このポイントカードに付されたバーコード情報を読み取ることにより、その顧客を特定することができる。そして、この撮影画像データ２７１が、顧客に提示され、顧客により選択されることにより、選択された画像データ（登録画像データ１００）が販売情報に付されて販売情報管理サーバ３に記憶される。

オブジェクト認識用データ２８１は、商品の種別毎に対応するバーコード情報や、商品の種別毎に、モデル化された特徴量を組み合わせたテンプレート情報、その商品の基準となる商品画像等が予め登録される。オブジェクト認識用データ２８１は、例えば、店舗に陳列して販売する商品の各々について、商品名または商品ＩＤと、その商品のバーコード情報やその商品の特徴量、基準となる商品画像等との関連付けが設定されたデータファイルであり、商品の認識に使用される。

商品内容データ２８２は、商品の内容情報が設定されたデータファイルである。商品内容データ２８２には、商品の内容情報として、商品ＩＤ、商品名、単価、値引き情報などが設定される。

販売情報マスタデータ２８３は、商品の販売情報を記憶するファイルであり、顧客に販売した商品の商品ＩＤと、これに対応する商品名、単価、販売個数、合計金額、販売日時、取引番号などが販売情報として記憶される。なお、この販売情報には、顧客が選択することにより登録された商品の画像データ（登録画像データ１００）が、その商品に対応付けて記憶される。

画像記憶部５１は、撮影装置２２が撮影したフレーム画像（カラーデジタル画像）を順次取り込み、ＲＡＭ２７に撮影画像データ２７１として記憶する。画像記憶部５１は、撮影画像の取り込みを開始してから、撮影が完了する（後記する図５（ｂ）の「撮影完了」ボタン（符号Ｇ４２）が押し下げられる）までの間に、バーコードが印刷されている商品についてはバーコードの画像を取り込み、一方、バーコードが印刷されていない商品についてはその商品の全体を映した画像を、オブジェクト認識用として取り込む。

オブジェクト認識処理部５２（販売処理手段）は、撮影画像データ２７１（フレーム画像）について、記憶部２８内のオブジェクト認識用データ２８１を検索することにより、商品の種別を特定する（即ち、商品を認識する）。ここで、オブジェクト認識処理部５２の認識手法は特に限定されず、例えば、フレーム画像からバーコードを読み取ることで対象となる商品を認識してもよいし、一般物体認識（generic object recognition）技術を用いて商品を認識してもよい。一般物体認識技術について概説すると、エッジ検出等の技術を用いてフレーム画像における商品の候補となる画像を背景から分離し、各分離画像について、大きさ、形状、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。続いて、演算した分離画像の特徴量とオブジェクト認識用データ２８１に記憶された商品の各特徴量とをそれぞれ比較することで類似度を算出し、算出した類似度が高ければその商品として認識する。ここで類似度とは、オブジェクト認識用データ２８１に記憶されている商品が想定する特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度が高いものが複数ある場合には、候補商品をタッチディスプレイ２１に表示して顧客に該当する商品を選択してもらってもよい。

表示制御部５３（表示制御手段）は、タッチディスプレイ２１（図２参照）に表示される画像情報についての全般を制御し、商品登録装置１が行った処理の結果や顧客への選択入力を促す情報等をタッチディスプレイ２１に表示させる。この表示制御部５３は、情報表示部５３１と撮影画像処理部５３２とを備え、両機能部が連携して表示画面を生成する。
この情報表示部５３１は、顧客が購入しようとしている商品の商品情報（商品名、価格）を表示する画面や、商品の撮影画像を顧客に選択させる画面等の画面作成全体の制御を行う。
例えば、情報表示部５３１は、オブジェクト認識処理部５２が、商品に付されたバーコード情報を取得した場合に、そのバーコード情報に対応した商品ＩＤに基づき、商品内容データ２８２を参照し、商品の名称、単価（価格）等の商品の内容情報を取得し、画面表示する。また、情報表示部５３１は、オブジェクト認識処理部５２がオブジェクト認識の処理を用いて認識した商品について、商品内容データ２８２を参照し、商品の名称、単価（価格）等の商品の内容情報を取得し、画面表示する（後記する、図５（ｂ）参照）。
なお、情報表示部５３１は、当該店舗における顧客の会員登録カード（ポイントカード等）のバーコード情報をオブジェクト認識処理部５２から取得し、そのバーコード情報に示される顧客ＩＤを取得するようにしてもよい。

撮影画像処理部５３２は、画像記憶部５１がＲＡＭ２７に記憶した撮影画像データ２７１を、タッチディスプレイ２１に画面表示する。ここで、撮影画像処理部５３２は、撮影画像の取り込みを開始してから、撮影が完了する（後記する図５（ｂ）の「撮影完了」ボタン（符号Ｇ４２）が押し下げられる）までの間は、撮影装置２２が撮影した映像を動画（ライブビュウ）としてタッチディスプレイ２１に表示する。
また、撮影画像処理部５３２は、商品の認識および商品の撮影が完了すると、ＲＡＭ２７に記憶した撮影画像データ２７１の中から、複数の撮影画像をタッチディスプレイ２１に表示する。このとき、撮影画像処理部５３２は、複数の画像データの中で、より品質が高い（ぶれていない）画像を優先して表示させるようにする。このようにすることで、選択される見込みのない不鮮明な撮影画像を予め取り除き、品質の高い画像の中から登録したい撮影画像を顧客に選択させることができる。また、撮影画像処理部５３２は、商品の全体が写っている画像データ、商品の一部が写っている画像データ、商品と顧客等の手が写り込んでいる画像データ、商品と顧客の顔等が写り込んでいる画像データ等の分類に分けて、その中で、より品質の高い撮影画像を優先して表示させるようにしてもよい。
なお、撮影画像処理部５３２は、商品のみが写っている画像データ（商品に手が写り込んでいないもの）がない場合に、商品に顧客等の手が写り込んでいる画像データを、画像補間処理することにより、その手の部分をトリミングして画像データを表示させてもよい。このようにすることで、商品を手にしている個人（顧客やオペレータ等）を特定することなく、商品のみで構成された画像データを顧客が選択することができる。例えば、顧客が撮影画像を家計簿等に利用しようとする場合には、商品に手等が写り込んでいるよりも、商品のみの映像の方が、その商品を管理する目的に沿うものとなる。

ここで、図５および図６を参照して、表示制御部５３がタッチディスプレイ２１に表示させる表示画面について説明する。
図５および図６は、本実施形態に係る商品登録装置１における、撮影画像の登録処理の画面遷移例を説明するための図である。

図５（ａ）は、商品登録装置１が、顧客が購入しようとする商品に対してオブジェクト認識を開始した時点の画面（画面Ｇ（Ａ））を示す図である。
画面Ｇ（Ａ）は、撮影装置２２が撮影し、ＲＡＭ２７に取り込まれた撮影画像が表示される画面領域（符号Ｇ１）と、対象とする商品の内容である登録商品の情報（商品名と価格）が表示される画面領域（符号Ｇ２）と、顧客等に対する文字情報等を表示する画面領域（符号Ｇ３）と、顧客からの指示情報を受け付けるためのボタンが配置される画面領域（符号Ｇ４）とを含んで構成される。

画面Ｇ（Ａ）では、撮影画像が表示される画面領域（符号Ｇ１）の例として、マスクメロンを手にした映像が取り込まれ、オブジェクト認識される場合を示している。このとき、登録商品が表示される画面領域（符号Ｇ２）には、商品の認識前のため、商品名および価格の情報は表示されていない。また、文字情報等を表示する画面領域（符号Ｇ３）には、例えば、「商品を認識中です。商品を撮影しています。」のように表示される。なお、ボタンが配置される画面領域（符号Ｇ４）については、後記する。

そして、オブジェクト認識処理部５２の処理が終了し、商品が認識されると、表示制御部５３は、図５（ｂ）に示す画面（画面Ｇ（Ｂ））を表示する。
画面Ｇ（Ｂ）では、商品の認識が終了したことにより、登録商品が表示される画面領域（符号Ｇ２）には、商品名「マスクメロン」、価格「\10,000」が表示される。そして、文字情報等を表示する画面領域（符号Ｇ３）には、「商品を認識しました。商品を好みの大きさ、角度で撮影してください。」のように表示し、顧客に対し、登録したい映像を好みのアングルで撮影することを促す。これにより、顧客は、例えば、商品の一部をアップにした画像や、商品を手にとった状態の画像、商品と顧客自身の顔等を含むアングルの画像を、撮影画像が表示される画面領域（符号Ｇ１）を見ながら撮影することができる。

ボタンが配置される画面領域（符号Ｇ４）の「撮影」ボタン（符号Ｇ４１）は、顧客が撮影したいアングルが決まっているときに押し下げられるボタンである。この「撮影」ボタン（符号Ｇ４１）が顧客により押し下げられると、例えば、５秒のカウントダウンを表示した後のタイミング（タイマー機能）で撮影を行う。このようにすることにより、顧客は、ブログ等にアップすることを想定した所望のポーズで、商品を撮影することが可能となる。なお、このときは、静止画として画像データが取り込まれるようにしてもよい。また、この「撮影」ボタンは、タッチディスプレイ２１（図２参照）内に表示される場合だけでなく、商品登録装置１の筺体のいずれか（例えば、図２の下部側筺体１０の前面上部）に物理的なボタンとして設置されてもよい。
また、「撮影完了」ボタン（符号Ｇ４２）は、顧客が撮影画像の登録を望まず、撮影する必要がない場合や、取りたいアングルの撮影が終了した場合に、顧客により押し下げられるボタンである。そして、表示制御部５３は、この「撮影完了」ボタンが押し下げられると、図６（ａ）に示す画面（画面Ｇ（Ｃ））を表示する。

図６（ａ）に示す画面Ｇ（Ｃ）では、撮影画像が表示される画面領域（符号Ｇ１）に、それまでに撮影された画像データの一覧が表示される。この画像データの一覧には、より品質の高い（ぶれていない）画像の中で、ランダムに表示されてもよいし、商品の全体が写っている画像データ、商品の一部が写っている画像データ、商品と顧客等の手が写り込んでいる画像データ、商品と顧客の顔等が写り込んでいる画像データ等の分類に分けて、それぞれの分類の中で、より品質の高い画像を優先して表示させるようにしてもよい。このようにすることで、顧客は、撮影画像を取得する自身の目的に沿った分類の中から、品質の高い撮影画像を選択することができる。この画面Ｇ（Ｃ）において、文字情報等を表示する画面領域（符号Ｇ３）には、「撮影した画像を登録しますか？」が表示され、ボタンが配置される画面領域（符号Ｇ４）において、ボタン「はい」（符号Ｇ４３）、ボタン「いいえ」（符号Ｇ４４）のどちらかが、顧客により押し下げられる。

ここで、顧客によりボタン「いいえ」（符号Ｇ４４）が押し下げられた場合には、会計処理に進み、ボタン「はい」（符号Ｇ４３）が押し下げられた場合には、表示制御部５３は、図６（ｂ）に示す画面（画面Ｇ（Ｄ））を表示する。

図６（ｂ）に示す画面Ｇ（Ｄ）では、文字情報等を表示する画面領域（符号Ｇ３）に、「登録する映像を選択してください。」が表示され、画像情報が表示される画面領域（符号Ｇ１）に表示された複数の撮影画像のうち、１つ以上の撮影画像が顧客により選択される。ここでは、人物と商品の両方が写っている撮影画像（符号Ｇ１１）が選択されたものとする。そして、選択が終了すると、ボタンが配置される画面領域（符号Ｇ４）に設けられた「登録完了」ボタン（符号Ｇ４５）の押し下げを受け付ける。そして、表示制御部５３は、図６（ｃ）に示す画面（画面Ｇ（Ｅ））を表示する。

図６（ｃ）に示す画面Ｇ（Ｅ）では、文字情報等を表示する画面領域（符号Ｇ３）に、「画像の登録が完了しました。」が表示され、撮影画像が表示される画面領域（符号Ｇ１）に、顧客により選択されたが撮影画像を表示する。ここでは、撮影画像（符号Ｇ１１）が表示される。これにより顧客が、登録する撮影画像を確認することができる。そして、顧客により、まだ登録させる商品が残っている場合には、「次の商品へ」ボタン（符号Ｇ４６）が押し下げられ、すべての商品の登録が完了した場合には、「会計へ」ボタン（符号Ｇ４７）が押し下げられて、各処理へ進む。

図４に戻り、入力取得部５４は、タッチパネル２１ｂ（図３参照）を介してディスプレイ２１ａの表示に対応する各種入力操作を受け付ける。
販売情報登録部５５（画像提供手段）は、表示制御部５３から取得した、商品ＩＤ、商品名、価格、販売個数、合計金額、販売日時、取引番号等の販売情報に、顧客ＩＤ、および、その商品に対応付けて顧客により登録された撮影画像のデータ（登録画像データ１００）を付して、記憶部２８内の販売情報マスタデータ２８３に記憶する。
また、販売情報登録部５５は、顧客ＩＤおよび対象となる商品の情報に登録画像データ１００（保存用画像）を付した販売情報を、出力部５７に出力し、通信部２９を介して、販売情報管理サーバ３等に送信する。

会計処理部５６（販売処理手段）は、入出金装置１３、カードリーダ２３、プリンタ２４などを制御して、商品登録を行った商品についての会計処理を行う。会計処理部５６は、例えば、すべての商品登録が完了した場合に、表示制御部５３を介して、登録確認画面を表示して顧客に会計を行わせる。顧客により入出金装置１３に現金が投入されると、会計処理部５６は、入出金装置１３に差額分のお釣りを排出させる。また、会計処理部５６は、すべての商品登録が完了した場合に、出力部５７を介して、プリンタ２４を制御し会計の内容をレシート用紙に印字させ、レシートとして発行する。

出力部５７（画像提供手段）は、販売情報登録部５５から登録画像データ１００が付された販売情報を受信し、通信部２９を介して、販売情報管理サーバ３等に送信する。また、出力部５７は、会計処理部５６からの指示により会計の内容をレシートとしてプリンタ２４に出力させる。

≪販売情報管理サーバ≫
次に、本実施形態に係る販売情報管理サーバ３について説明する。
図７は、本実施形態に係る販売情報管理サーバ３のハードウェア構成例を示す図である。
ＣＰＵ３１は、中央制御装置であり、販売情報管理サーバ３全体の制御を司る。
ＲＯＭ３２は、不揮発性の記憶手段であり、ＣＰＵ３１によって実行されるプログラム等を記憶する。
ＲＡＭ３３は、ＣＰＵ３１によって使用される一時記憶手段である。ＣＰＵ３１が実行するプログラムに係るデータ等を一時的に記憶する。

記憶部３４は、例えば、ＨＤＤやＳＳＤ等により構成され、各種プログラムや各種ファイルを記憶する。記憶部３４に記憶されている各種プログラムや各種ファイルは、販売情報管理サーバ３の起動時に、その全部または一部がＲＡＭ３３にコピーされてＣＰＵ３１により実行される。この記憶部３４には、図８を参照して後記する、販売情報管理データベース３４１、会員情報データベース３４２等が記憶されている。

次に、図８を参照（適宜図７も参照）して、販売情報管理サーバ３の機能について説明する。図８は、本実施形態に係る販売情報管理サーバ３の機能ブロック図である。
販売情報管理サーバ３のＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムを実行することにより、処理部３０の各機能を具現化する。処理部３０は、商品登録装置１から、顧客ＩＤおよび登録画像データ１００が付された販売情報を受信して記憶する。そして、処理部３０は、顧客ＩＤで示される顧客の端末装置４に対して、当該販売情報が記憶されたことを示す通知（販売情報登録通知）を、その閲覧のためのＵＲＬを付して送信する。そして、端末装置４からの閲覧要求を受け付け、その端末装置４に、当該顧客の販売情報（購入履歴）を登録画像データ１００とともに表示させる。
この処理部３０は、販売情報受付部３６（画像受信手段）、販売情報登録処理部３７、販売情報登録通知部３８（画像送信手段）、閲覧要求処理部３９（画像送信手段）を備える。
なお、この処理部３０は、記憶部３４に格納される、販売情報管理データベース３４１、会員情報データベース３４２に対して、参照や記憶（登録）等の処理を行う。

販売情報管理データベース３４１には、顧客ＩＤに対応付けて、販売情報（商品ＩＤ、商品名、価格、販売個数、合計金額、販売日時、取引番号、店舗名等）が格納される。また、この販売情報には、その商品の商品ＩＤ等に対応付けて登録画像データ１００がさらに記憶される。この販売情報管理データベース３４１の情報は、顧客からの閲覧要求を受けた際に、購入履歴として参照される。

会員情報データベース３４２には、スーパーマーケットや小売店に登録した顧客の会員情報が記憶される。この会員情報には、その顧客の顧客ＩＤに対応付けて、顧客の氏名、住所、電話番号とともに、顧客が備える携帯電話やスマートフォン、ＰＣ等の端末装置４のアドレス情報（例えば、メールアドレスやＩＰアドレス）が記憶される。

販売情報受付部３６（画像受信手段）は、顧客ＩＤおよび登録画像データ１００（保存用画像）が付された販売情報を、各店舗の商品登録装置１から受信する。
販売情報登録処理部３７は、販売情報受付部３６が受信した販売情報を、記憶部３４内の販売情報管理データベース３４１に購入履歴として登録する。

販売情報登録通知部３８（画像送信手段）は、販売情報管理データベース３４１に新たな販売情報が登録されたことを契機として、その顧客ＩＤに基づき、会員情報データベース３４２を参照し、顧客ＩＤに対応するアドレス情報を取得する。そして、販売情報登録通知部３８は、そのアドレス情報で示される端末装置４宛てに、新たな販売情報が登録された旨を示す情報と、その販売情報を閲覧するためのＵＲＬとを付した情報とを含む販売情報登録通知を送信する。

閲覧要求処理部３９（画像送信手段）は、端末装置４からの閲覧要求を受け付け、ＵＲＬに示される顧客の販売情報（購入履歴）の情報を、端末装置４に送信することにより閲覧させる。

図９は、本実施形態に係る販売情報管理サーバ３の閲覧要求処理部３９の処理により、端末装置４に表示させた購入履歴の例を示す図である。
図９に示すように、商品名や価格等に対応付けて、顧客がその商品の購入時に登録した登録画像データ１００（図９において「登録画像」）が併せて表示される。これにより、顧客は、何の商品を購入したかを一瞥で認識することができる。また、顧客は、例えば、登録画像データ１００を選択（画面を指でタップ、マウスでクリック）することにより、拡大画像を表示させたり、画像データとして、自身の端末装置４にダウンロードして、取得することができる。図９に示す例では、高級商品であるマスクメロンを購入したときの映像を取得することができる。そして、顧客は、自身のブログ等の作成の素材として、取得した登録画像データ１００を利用することができる。

また、図１０では、他の購入履歴において日用品等の登録画像データ１００が付された例を示している。図１０では、洗濯洗剤、牛乳、電池等の商品名や価格等に対応付けて、顧客がその商品の購入時に登録した登録画像データ１００（図１０において「登録画像」）が併せて表示される。これにより、顧客は、商品を一瞥で認識した上で、どこの店舗でいつ、何の商品をいくらで買ったかを把握し、家計簿等による商品の購入の履歴管理や物品管理に活かすことができる。

≪端末装置≫
端末装置４は、一般的な、携帯端末やスマートフォン、ＰＣ等であるため、その具体的な構成は省略する。この端末装置４は、少なくとも、販売情報管理サーバ３からの情報をメールとして受信する機能と、ネットワーク２上の販売情報管理サーバ３にアクセスし、情報を取得して表示させるブラウザ機能とを備える。

＜処理の流れ＞
次に、本実施形態に係る商品画像提供システム１０００の処理に流れについて説明する。
まず、図１１を参照して、商品登録装置１が実行する処理について説明する。続いて、図１２を参照して、販売情報管理サーバ３が実行する処理について説明する。

≪商品登録装置による撮影画像登録処理≫
図１１は、本実施形態に係る商品登録装置１による撮影画像の登録処理を含む商品の登録処理の流れを示すフローチャートである。

まず、商品登録装置１の表示制御部５３は、図示しないセンサにより顧客が当該商品登録装置１の前に立ったこと等を検知することにより、タッチディスプレイ２１に開始画面（「ご来店ありがとうございます。」等）を表示させる。続いて、表示制御部５３は、当該店舗の会員登録カード（ポイントカード等）を持っているか否かの選択ボタンが示された画面を表示し、会員登録カードを持っているか否かの選択を受け付ける（ステップＳ１０）。そして、会員登録カードを持っていないことを選択するボタンが押し下げられた場合には（ステップＳ１０→Ｎｏ）、ステップＳ１２に進む。一方、会員登録カードを持っていることを選択するボタンが押し下げられた場合には（ステップＳ１０→Ｙｅｓ）、次のステップＳ１１に進む。

ステップＳ１１において、商品登録装置１は、会員登録カードからの顧客ＩＤの取得処理を実行する。この顧客ＩＤの取得処理は、例えば、顧客ＩＤを示すバーコード情報が付された会員登録カードを、撮影装置２２が撮影することにより、オブジェクト認識処理部５２がそのバーコード情報を読み取り、顧客ＩＤを取得してもよいし、カードリーダ２３（図２参照）に、会員登録カードを挿入させ、その会員登録カードに記憶された磁気情報を読み込むことにより、顧客ＩＤを取得するようにしてもよく、特に限定されない。

次に、商品登録装置１は、商品の撮影画像を取得して、商品の認識処理を実行する。そして、商品登録装置１は、認識処理の対象となる商品分だけこの処理を繰り返す（ステップＳ１２）。
まず、商品登録装置１は、撮影装置２２による撮影を開始することにより、画像記憶部５１が撮影画像を取得してＲＡＭ２７に記憶するとともに、表示制御部５３がその撮影画像をタッチディスプレイ２１に表示する（ステップＳ１３）。また、それと同時に、商品登録装置１のオブジェクト認識処理部５２が、商品の認識処理を実行する（ステップＳ１４）。オブジェクト認識処理部５２は、その商品にバーコードが付されている場合には、そのバーコード情報を読み取る。一方、オブジェクト認識処理部５２は、商品にバードード情報が付されていない場合には、取得した画像データについて、形状、大きさ、色合い等の特徴量を演算し、記憶部２８内のオブジェクト認識用データ２８１（図４参照）と比較することにより類似度を算出して、対応する商品を認識する。

次に表示制御部５３は、タッチディスプレイ２１に表示された撮影完了ボタン（図５（ｂ）参照）が押し下げられたか否かを判定する（ステップＳ１５）。ここで、撮影完了ボタンが押し下げられていない場合には（ステップＳ１５→Ｎｏ）、ステップＳ１３に戻り処理を続ける。この場合、対象となる商品の認識が済んでいるため、ステップＳ１４の処理を行われず、撮影画像の表示（ステップＳ１３）が行われる。なお、ここで、図５（ｂ）に示した「撮影」ボタン（符号Ｇ４１）が押し下げられることにより、顧客による任意のアングルでの画像を撮影するようにしてもよい。一方、撮影完了ボタンが押し下げられた場合には（ステップＳ１５→Ｙｅｓ）、次のステップＳ１６に進む。

ステップＳ１６において、表示制御部５３は、撮影画像を登録するか否かの選択を受け付ける。そして、撮影画像を登録しないことを選択するボタン（図６（ａ）の「いいえ」ボタン（符号Ｇ４４））が押し下げられた場合には（ステップＳ１６→Ｎｏ）、ステップＳ１８に進む。一方、撮影画像を登録することを選択するボタン（図６（ａ）の「はい」ボタン（符号Ｇ４３））が押し下げられた場合には（ステップＳ１６→Ｙｅｓ）、次のステップＳ１７に進む。

ステップＳ１７において、表示制御部５３（撮影画像処理部５３２）は、より品質が高い（ぶれていない）画像の中で、複数の画像をタッチディスプレイ２１に表示する（図６（ｂ）参照）。そして、表示制御部５３は、顧客による撮影画像の選択入力を、入力取得部５４を介して受け付け、選択された撮影画像の画像データをその商品に対応付けて登録画像データ１００として登録する。そして、表示制御部５３は、選択された登録画像データ１００をタッチディスプレイ２１に表示した上で、次のステップＳ１８に進む。

ステップＳ１８において、表示制御部５３は、すべての商品の登録が完了したか否かを判定する。具体的には、表示制御部５３が、図６（ｃ）に示すような登録画像データ１００の表示画面において、「次の商品へ」ボタン（符号Ｇ４６）が押し下げされた場合には、ステップＳ１２の処理に戻り、次の商品に対する処理を続ける。一方、「会計へ」ボタン（符号Ｇ４７）が押し下げられた場合には、次のステップＳ１９に進む。

ステップＳ１９において、商品登録装置１の会計処理部５６は、すべての商品登録が完了したため、表示制御部５３を介して、登録確認画面（登録した商品名、単価、個数、合計金額等）を表示して顧客に精算を行わせる。会計処理部５６は、具体的には、入出金装置１３、カードリーダ２３、プリンタ２４などを制御して、商品登録を行った商品についての会計処理を行う。

続いて、販売情報登録部５５は、商品ＩＤ、商品名、価格、販売個数、合計金額、販売日時、取引番号等の各情報に、ステップＳ１１において取得した顧客ＩＤ、および、ステップＳ１７において記憶した登録画像データ１００を付した販売情報を生成し（ステップＳ２０）、記憶部２８内の販売情報マスタデータ２８３（図４参照）に記憶させる。
また、販売情報登録部５５は、生成した販売情報を出力部５７に出力し、通信部２９を介して、販売情報管理サーバ３等に送信し（ステップＳ２１）、処理を終える。

≪販売情報管理サーバによる登録画像データの提供処理≫
図１２は、本実施形態に係る販売情報管理サーバ３の登録画像データ１００の提供処理を示すフローチャートである。ここでは、販売情報管理サーバ３の記憶部３４に、各店舗の顧客が会員登録した情報である会員情報データベース３４２（図８参照）が予め記憶されているものとする。

まず、販売情報管理サーバ３の販売情報受付部３６は、顧客ＩＤおよび登録画像データ１００が付された販売情報を、各店舗の商品登録装置１から受信する（ステップＳ３０）。

続いて、販売情報管理サーバ３の販売情報登録処理部３７は、販売情報受付部３６が受信した販売情報を、顧客ＩＤをキーとして検索可能な購入履歴として、販売情報管理データベース３４１に記憶する（ステップＳ３１）。
この販売情報管理データベース３４１は、顧客ＩＤに対応付けて、商品ＩＤ、商品名、価格、販売個数、合計金額、販売日時、取引番号、店舗名等が格納される。また、この購入履歴の各商品の商品ＩＤ等に対応付けて、登録画像データ１００が記憶される。

次に、販売情報管理サーバ３の販売情報登録通知部３８は、販売情報管理データベース３４１に新たな販売情報が登録されたことを契機として、その販売情報に示される顧客ＩＤに基づき、会員情報データベース３４２（図８）を参照し、顧客ＩＤに対応するアドレス情報を取得する。そして、販売情報登録通知部３８は、そのアドレス情報で示される端末装置４宛てに、新たな販売情報が登録された旨を示す情報と、その販売情報（購入履歴）を閲覧するためのＵＲＬとを付した情報と含む販売情報登録通知を、端末装置４に送信する（ステップＳ３２）。

そして、販売情報管理サーバ３の閲覧要求処理部３９は、販売情報登録通知に付されたＵＲＬに基づき、端末装置４から送信された閲覧要求を受け付け、顧客が登録した撮影画像を含む商品の購入履歴の情報を、端末装置４に送信することにより閲覧させる（ステップＳ３３）。
このとき、端末装置４により閲覧される情報には、図９および図１０において例示したように、顧客が商品の購入時に登録した登録画像データ１００が含まれる。閲覧要求処理部３９は、端末装置４からの要求に基づき、画像データをダウンロードさせたり等の処理を実行し、処理を終える。

以上説明したように、本実施形態に係る商品登録装置１、商品登録方法、および、商品画像提供システム１０００によれば、商品の認識の際に撮影される画像データ、つまり、商品購入時の画像データを含む商品の情報（販売情報）を顧客に提供することができる。これにより、顧客は購入した商品の履歴情報をみた際に、購入商品を一瞥で認識することができ、物品管理を効率的に行うことができる。また、購入時の画像データを顧客が取得し、自身のブロク等に載せることができる。つまり、商品認識の際に取得する商品の画像データを顧客側に有効活用させることが可能となる。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施が可能である。
（ａ） 上記して説明した本実施形態においては、商品登録装置１は、登録画像データ１００を付した販売情報を販売情報管理サーバ３に送信し、販売情報管理サーバ３から顧客の端末装置４に対して販売情報登録通知を送信することにより、購入履歴を閲覧させるようにした。
しかしながら、商品登録装置１は、登録画像データ１００を付した販売情報を、その商品登録装置１を操作した顧客が備える携帯電話やスマートフォン等の端末装置４との間で、ＮＦＣ（Near Field Communication：近距離無線通信）を利用して、直接送信するようにしてもよい。

（ｂ） 本実施形態においては、販売情報管理サーバ３が登録画像データ１００を付した販売情報を購入履歴として記憶し、端末装置４から閲覧要求を受け付けるものとして説明したが、販売情報管理サーバ３は、顧客の端末装置４に対して、登録画像データ１００を付した販売情報をメールとして送信するようにしてもよい。

（ｃ） 本実施形態においては、顧客が備える端末装置４のアドレス情報を、会員登録カードに記憶された顧客ＩＤに基づき取得するものとしたが、店舗等に会員登録していない顧客に対しては、会計時に発行するレシート用紙に、ＱＲコード（登録商標）（Quick Response code：２次元コード）を付すようにしてもよい。顧客は、レシートに付されたＱＲコードを携帯電話やスマートフォン等で読み込むことにより、販売情報管理サーバ３にアクセスし、登録画像データ１００が付された販売情報を取得することができる。このようにすることで、会員登録されていない顧客に対しても、商品認識の際に取得した商品の画像データを提供することができる。
また、商品登録装置１は、会計時に発行するレシート用紙に、商品に対応する登録画像データ１００を付してプリンタ２４が印刷するようにしてもよい。このようにすることにより、顧客は、購入した商品を、そのレシートを見ることにより一瞥で把握できる。さらに、顧客は、その登録画像データ１００が印刷されたレシートを用いることにより、家計簿等による物品の管理や、商品の返品処理の際の商品の特定を容易に行うことができる。

（ｄ） 本実施形態においては、商品登録装置１は、店舗内に設置されるセルフチェックアウトの端末として説明したが、本発明の商品登録装置１は、セルフチェックアウトの端末に限定されず、通常のオペレータ（店員）が操作する、オブジェクト認識機能を備える電子式キャッシュレジスタでもよい。その場合、オペレータが、商品ごとに適切なアングルでその商品を撮影するとともに、顧客に対し要望を尋ねる等をすることにより、好みのアングルでその商品を撮影する。

（ｅ） 本実施形態においては、商品登録装置１が登録する撮影画像（登録画像データ１００）を、タッチディスプレイ２１に表示された複数の撮影画像の中から顧客が選択することにより決定した。しかしながら、顧客に対し選択画面を表示せず、複数の撮影画像の中から、その商品が認識し易いアングルでのより品質が高い（ぶれていない）画像を、商品登録装置１の撮影画像処理部５３２（図４参照）が選択して、登録画像データ１００としてもよい。

＜その他＞
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
複数の商品の種別毎に、その商品の基準となる商品画像を記憶する記憶手段と、
顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行う販売処理手段と、
前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を、当該商品を購入した前記顧客向けの保存用画像として提供する画像提供手段と、
を備えることを特徴とする商品登録装置。
＜請求項２＞
前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を、表示手段に表示させる表示制御手段をさらに備え、
前記表示制御手段は、表示させた前記商品の画像の中から保存する前記商品の画像を選択する選択入力を受け付け、
前記画像提供手段は、前記選択された商品の画像を前記顧客向けの保存用画像とすることを特徴とする請求項１に記載の商品登録装置。
＜請求項３＞
前記表示制御手段は、前記商品の画像を表示させる際に、前記商品とともに撮影された手をトリミングして表示させることを特徴とする請求項２に記載の商品登録装置。
＜請求項４＞
前記表示制御手段は、前記商品の画像を表示させる際に、前記商品とともに前記商品を購入する顧客の一部が写り込んだ前記商品の画像を前記商品のみが写る前記商品の画像よりも優先して表示させることを特徴とする請求項２に記載の商品登録装置。
＜請求項５＞
前記表示制御手段は、撮影の指示入力を受け付けると、前記撮影手段に画像を撮影させ、当該撮影させた画像を、前記商品の画像の一つとして表示させることを特徴とする請求項２に記載の商品登録装置。
＜請求項６＞
複数の商品の種別毎に、その商品の基準となる商品画像を予め記憶手段に記憶させるステップと、
顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行うステップと、
前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を、当該商品を購入した前記顧客向けの保存用画像として提供するステップと、
を有することを特徴とする商品登録方法。
＜請求項７＞
商品の売上登録処理を行う商品登録装置と、前記商品登録装置に接続されるサーバとを備え、
前記商品登録装置は、
複数の前記商品の種別毎に、その商品の基準となる商品画像を記憶する記憶手段と、
顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行う販売処理手段と、
前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を、当該商品を購入した前記顧客向けの保存用画像として、前記サーバに出力する画像提供手段と、を備え、
前記サーバは、
前記商品登録装置から前記商品の画像を受信する画像受信手段と、
当該商品を購入した前記顧客の端末装置のアドレス情報に基づき、当該端末装置に、前記受信した商品の画像を送信する画像送信手段と、を備えること
を特徴とする商品画像提供システム。

１ 商品登録装置
２ ネットワーク
３ 販売情報管理サーバ
４ 端末装置
１３ 入出金装置
２１ タッチディスプレイ
２１ａ ディスプレイ（表示手段）
２１ｂ タッチパネル
２２ 撮影装置（撮影手段）
２３ カードリーダ
２４ プリンタ
２５，３１ ＣＰＵ
２６，３２ ＲＯＭ
２７，３３ ＲＡＭ
２８，３４ 記憶部
２９，３５ 通信部
３０，５０ 処理部
３６ 販売情報受付部（画像受信手段）
３７ 販売情報登録処理部
３８ 販売情報登録通知部（画像送信手段）
３９ 閲覧要求処理部（画像送信手段）
５１ 画像記憶部
５２ オブジェクト認識処理部（販売処理手段）
５３ 表示制御部（表示制御手段）
５４ 入力取得部
５５ 販売情報登録部（画像提供手段）
５６ 会計処理部（販売処理手段）
５７ 出力部（画像提供手段）
１００ 登録画像データ
２７１ 撮影画像データ
２８１ オブジェクト認識用データ
２８２ 商品内容データ
２８３ 販売情報マスタデータ
３４１ 販売情報管理データベース
３４２ 会員情報データベース
５３１ 情報表示部
５３２ 撮影画像処理部
１０００ 商品画像提供システム

Claims (5)

1. 複数の商品の種別毎に、その商品の基準となる商品画像が記憶されている記憶手段と、
   顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行う販売処理手段と、
   前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を表示手段に表示させるとともに、表示させた前記商品の画像の中から保存する前記商品の画像を選択する選択入力を受け付ける表示制御手段と、
   前記選択入力で選択された商品の画像を、前記顧客向けの保存用画像として提供する画像提供手段と、
   を備えることを特徴とする商品登録装置。
2. 前記表示制御手段は、前記商品の画像を表示させる際に、前記商品とともに撮影された手をトリミングして表示させることを特徴とする請求項１に記載の商品登録装置。
3. 前記表示制御手段は、撮影の指示入力を受け付けると、前記撮影手段に画像を撮影させ、当該撮影させた画像を、前記商品の画像の一つとして表示させることを特徴とする請求項１または２に記載の商品登録装置。
4. 複数の商品の種別毎に、その商品の基準となる商品画像を予め記憶手段に記憶させるステップと、
   顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行うステップと、
   前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を表示手段に表示させるとともに、表示させた前記商品の画像の中から保存する前記商品の画像を選択する選択入力を受け付けるステップと、
   前記選択入力で選択された商品の画像を、前記顧客向けの保存用画像として提供するステップと、
   を有することを特徴とする商品登録方法。
5. 商品の売上登録処理を行う商品登録装置と、前記商品登録装置に接続されるサーバと、複数の前記商品の種別毎にその商品の基準となる商品画像が記憶されている記憶手段と、を備え、
   前記商品登録装置は、
   顧客に対して販売対象となる商品を撮影手段により撮影して、その撮影された商品の画像を前記記憶手段で検索することにより当該販売対象となる商品の商品種別を特定し、その商品に対する販売処理を行う販売処理手段と、
   前記販売対象となる商品の商品種別を特定する際に撮影した前記商品の画像を表示手段に表示させるとともに、表示させた前記商品の画像の中から保存する前記商品の画像を選択する選択入力を受け付ける表示制御手段と、
   前記選択入力で選択された商品の画像を、前記顧客向けの保存用画像として、前記サーバに出力する画像提供手段と、
   を備え、
   前記サーバは、
   前記商品登録装置から前記保存用画像を受信する画像受信手段と、
   前記顧客の端末装置のアドレス情報に基づき、前記顧客の端末装置に、前記画像受信手段で受信した前記保存用画像を送信する画像送信手段と、を備えること
   を特徴とする商品画像提供システム。

Images