JP5487288B2 - 商品読取装置及び商品読取プログラム - Google Patents

Description

本発明の実施形態は、撮像手段を用いた商品読取装置及びコンピュータを前記商品読取装置として機能させるための商品読取プログラムに関する。

ＣＣＤカメラ等の撮像手段によって撮影された画像から商品等に付されたコードシンボルを認識する商品読取装置がある。このような商品読取装置を用いて撮影画像から商品に付されたコードシンボルとともに割引券，優待券等のクーポンが認識されると、当該商品に関する情報とともにクーポンに関する情報をＰＯＳ（Point Of Sales）端末などに出力するようにした技術は既に知られている。

特開２００９−２８９２８６号公報

従来技術では、商品に付されたコードシンボルとクーポンとを同時に撮像手段によって撮影させて画像認識させる必要がある。

本発明が解決しようとする課題は、商品とクーポンとを別々に撮像手段によって撮影させても、クーポンによる特典を供与できる商品読取装置及び商品読取プログラムを提供しようとするものである。

一実施形態において、商品読取装置は、画像認識手段と、物品識別手段と、情報出力手段とを備える。画像認識手段は、撮像手段により撮像された画像から物品を認識する。物品識別手段は、画像認識手段により認識された物品が商品なのかクーポンなのかを識別する。情報出力手段は、物品識別手段により識別された商品が、物品識別手段により識別されたクーポンの対象となるとき、当該商品に関する情報と当該商品が対象となるクーポンに関する情報とを出力する。

第１の実施形態におけるセルフＰＯＳ端末の機能ブロック図。 同実施形態におけるセルフＰＯＳ端末の外観斜視図。 同実施形態におけるセルフＰＯＳ端末のハードウェア構成を示すブロック図。 同実施形態において、商品データベースに蓄積される商品データレコードのデータ構造を示す模式図。 同実施形態において、クーポンデータベースに蓄積されるクーポンデータレコードのデータ構造を示す模式図。 同実施形態において、画像データベースに蓄積される画像データレコードのデータ構造を示す模式図。 同実施形態において、クーポンホールドメモリに保持されるクーポン情報ファイルのデータ構造を示す模式図。 同実施形態において、読取処理プログラムに従って動作するセルフＰＯＳ端末のＣＰＵの情報処理手順を示す流れ図。 図８の情報処理手順のなかのクーポン読取処理の手順を具体的に示す流れ図。 図８の情報処理手順のなかの商品読取処理の手順を具体的に示す流れ図。 同実施形態において、購入商品「リンゴ」が読取窓にかざされたときのオペレータ用表示器の表示画面の一例を示す図。 図１１の画面で商品「ＡＡ産リンゴ」が選択されたときの画面の一例を示す図。 同実施形態において、クーポン「リンゴ１０％引き」が読取窓にかざされたときのオペレータ用表示器の表示画面の一例を示す図。 図１３の画面でクーポン「リンゴ１０％引き」が選択されたときの画面の一例を示す図。 図１４の画面でクーポン「リンゴ１０％引き」が選択された後、購入商品「リンゴ」が読取窓にかざされたときの画面の一例を示す図。 図１５の画面で購入商品「リンゴ」がクーポン「リンゴ１０％引き」のクーポン対象であるときの画面の一例を示す図。 図１６の画面から変遷した画面の一例を示す図。 同実施形態において、クーポン「リンゴ１０％引き」が使用されなかったときの報知画面の一例を示す図。 第２の実施形態におけるセルフＰＯＳ端末の機能ブロック図。 同実施形態において、クーポンホールドメモリに保持されるクーポン情報ファイルを示す模式図。 同実施形態において、読取処理プログラムに従って動作するセルフＰＯＳ端末のＣＰＵの商品読取処理の手順を示す流れ図。 同実施形態において、購入商品「リンゴ」が読取窓にかざされたときの画面の一例を示す図。 図２２の画面でクーポン「リンゴ１０％引き」が選択されたときの画面の一例を示す図。 第３の実施形態において、商品ホールドメモリに保持される商品情報ファイルを示す模式図。 同実施形態において、読取処理プログラムに従って動作するセルフＰＯＳ端末のＣＰＵの情報処理手順を示す流れ図。 図２５の情報処理手順のなかの商品読取処理の手順を具体的に示す流れ図。 図２５の情報処理手順のなかのクーポン読取処理の手順を具体的に示す流れ図。 第４の実施形態において、読取処理プログラムに従って動作するセルフＰＯＳ端末のＣＰＵの情報処理手順を示す流れ図。 図２８の情報処理手順のなかの照合処理の手順を具体的に示す流れ図。 第５の実施形態における照合処理の手順を具体的に示す流れ図。

以下、商品読取装置の実施形態について、図面を用いて説明する。なお、この実施形態は、セルフＰＯＳ端末の商品読取部に適用した場合である。

（第１の実施形態）
図１は、第１の実施形態におけるセルフＰＯＳ端末１の機能ブロック図である。図１に示すように、セルフＰＯＳ端末１は、撮像手段としての撮像部１１と、記憶部１２と、表示部１３と、前記撮像部１１で撮影された画像から商品を読み取る商品読取部１４と、この商品読取部１４で読み取られた商品の販売データを登録処理する販売登録部１５と、この販売登録部１５で登録処理された商品販売データを基に商取引の決済を処理する決済処理部１６とを備える。

商品読取部１４は、画像認識手段１４Ａ、候補物品表示手段１４Ｂ、物品識別手段１４Ｃ、情報保持手段１４Ｄ、情報確認手段１４Ｅ、情報出力手段１４Ｆ、情報削除手段１４Ｇ、保持表示手段１４Ｈ、終了確認手段１４Ｉ及び未使用クーポン報知手段１４Ｊとしての機能を有する。

画像認識手段１４Ａは、撮像部１１で撮像された画像から物品を認識する。候補物品表示手段１４Ｂは、予め登録された物品群の中から画像認識手段１４Ａにより認識された物品に類似する候補物品を抽出して表示部１３に選択可能に表示させる。物品識別手段１４Ｃは、表示部１３に表示された候補物品の中から選択された物品が商品なのかクーポンなのかを識別する。情報保持手段１４Ｄは、物品識別手段１４Ｃによりクーポンが識別された場合、当該クーポンに関する情報を記憶部１２で保持する（クーポン情報保持手段）。情報確認手段１４Ｅは、物品識別手段１４Ｃにより商品が識別された場合、記憶部１２に当該商品が対象となるクーポンに関する情報が保持されているか確認する（クーポン情報確認手段）。情報出力手段１４Ｆは、情報確認手段１４Ｅにより当該商品が対象となるクーポンに関する情報が保持されていないと確認された場合には当該商品に関する情報を単独で販売登録部１５に出力し、保持されていると確認された場合には当該商品に関する情報と当該商品が対象となるクーポンに関する情報とを販売登録部１５に出力する。情報削除手段１４Ｇは、情報出力手段１４Ｆによりクーポンに関する情報が出力されると、記憶部１２から当該クーポンに関する情報を削除する（クーポン情報削除手段）。保持表示手段１４Ｈは、記憶部１２にクーポンに関する情報が保持されている間、その情報に関わるクーポンの画像を表示部１３に表示させる（保持クーポン表示手段）。終了確認手段１４Ｉは、１商取引として処理される商品の読取終了か否かを確認する。未使用クーポン報知手段１４Ｊは、終了確認手段１４Ｉにより読取終了が確認されたとき、記憶部１２にクーポンに関する情報が保持されていると、この情報に関わるクーポンが未使用であることを報知する。

図２は、セルフＰＯＳ端末１の外観斜視図である。図２に示すように、セルフＰＯＳ端末１は、本体２１の正面上部にオペレータ用表示器２２、前記撮像部１１の読取窓２３、リーダ・ライタ２４及びレシート発行口２５を備える。また、本体２１の正面中央部に硬貨投入口２６、硬貨払出口２７、紙幣投入口２８及び紙幣払出口２９が形成される。さらに、本体２を挟んで一方の側に、まだ精算していない商品を置くための商品載置台３０が設置され、他方の側に、精算済みの商品を置くための商品載置台３１が設置される。

オペレータ用表示器２２は、画面のタッチ操作によって情報入力が可能なタッチパネル付のディスプレイである。そしてこのオペレータ用表示器２２には、撮像部１１で撮影された画像や、候補物品として抽出された物品の画像が表示される。すなわちオペレータ用表示器２２は、表示部１３として機能する。また、販売登録部１５で販売登録された商品の品名，単価，販売点数、販売金額等が表示される登録画面や、決済処理部１６にて決済処理された商取引の合計金額、釣銭額などが表示される決済画面等もオペレータ用表示器２２に表示される。

リーダ・ライタ２４は、電子マネーカード、ポイントカード等のカード媒体６１（図３を参照）に対してデータの書き込み及び読み出しを行う。レシート発行口２５は、本体２１に内蔵のプリンタ６３（図３を参照）によって会計処理の完了時に印字されるレシートの発行口である。硬貨投入口２６は、精算用硬貨の投入口である。硬貨払出口２７は、釣り硬貨の返却口である。紙幣投入口２８は、精算用紙幣の投入口である。紙幣払出口２９は、釣り紙幣の返却口である。

図３は、セルフＰＯＳ端末１のハードウェア構成を示すブロック図である。図３に示すように、セルフＰＯＳ端末１は、制御部本体としてＣＰＵ（Central Processing Unit）４１を搭載する。そして、このＣＰＵ４１に、アドレスバス，データバス等のバスライン４２を介して、ＲＯＭ（Read Only Memory）４３、ＲＡＭ（Random Access Memory）４４、補助記憶部４５、時計部４６、通信インターフェース４７、リーダ・ライタインターフェース４８、硬貨投入・払出ユニット４９、紙幣投入・払出ユニット５０、カメラコントローラ５１、タッチパネルコントローラ５２、プリンタコントローラ５３及び計量ユニット５４のＡ／Ｄ（アナログ／デジタル）コンバータ５４１の各部を接続する。

時計部４６は、現在の日付及び時刻を計時する。通信インターフェース４７は、ネットワークを介して接続されるストアサーバ及びアテンダント端末との間のデータ通信を司る。リーダ・ライタインターフェース４８は、リーダ・ライタ２４で読み取られたカード媒体６１のデータを取り込む。またリーダ・ライタインターフェース４８は、カード媒体６１に書き込むべきデータをリーダ・ライタ２４に出力する。

硬貨投入・払出ユニット４９は、硬貨投入口２６から投入された硬貨を金種別に計数して投入金額を算出するとともにその投入硬貨を図示しない金庫に金種別に収容する。また硬貨投入・払出ユニット４９は、ＣＰＵ４１から与えられる釣銭払出指令に応じて、釣銭として必要な硬貨を前記金庫から取り出し、硬貨払出口２７に払い出す。紙幣投入・払出ユニット５０は、紙幣投入口２８から投入された紙幣を金種別に計数して投入金額を算出するとともにその投入紙幣を図示しない金庫に金種別に収容する。また紙幣投入・払出ユニット５０は、ＣＰＵ４１から与えられる釣銭払出指令に応じて、釣銭として必要な紙幣を前記金庫から取り出し、紙幣払出口２９に払い出す。

カメラコントローラ５１は、カメラ６２による撮影動作を制御する。カメラ６２は、本体２１における読取窓２３の裏側近傍に内蔵されており、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域Ｓの画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域Ｓとは、読取窓２３から撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。カメラ６２は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域Ｓの画像をカメラコントローラ５１に出力する。ここに、カメラ６２とカメラコントローラ５１とは、撮像部１１を構成する。

タッチパネルコントローラ５２は、前記オペレータ用表示器２２を構成するパネル表示器２２１とタッチパネルセンサ２２２とを制御する。パネル表示器２２１としては、例えば液晶ディスプレイが用いられる。タッチパネルセンサ２２２は、パネル表示器２２１の画面上に重ねて配置される。タッチパネルコントローラ５２は、パネル表示器２２１に画像を表示させてタッチパネルセンサ２２２の検出信号を監視し、検出信号が入力されると、その信号からタッチされた領域の画像データを認識する。

プリンタコントローラ５３は、レシートを印字するためのプリンタ６３を制御する。計量ユニット５４は、商品載置台３２に設けられたロードセル５４２と、このロードセル５４２から出力されるアナログの重量信号をデジタルの重量データに変換するＡ／Ｄコンバータ５４１とからなる。

補助記憶部４５は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、少なくとも商品データベース４５１、クーポンデータベース４５２及び画像データベース４５３を備える。

商品データベース４５１は、図４に示すように、店舗で販売される各種商品に対して予め設定された商品固有の商品コードに関連付けて、その商品コードで特定される商品の属性、商品名、単価、単位重量等の商品データを記録した商品データレコード４５１Ｒを蓄積保存する。属性は、対応する商品コードで特定される商品が、例えば野菜、果物、精肉、鮮魚、加工品、菓子、飲料等の商品分類のうちいかなる分類に属するかを特定する情報である。単位重量は、対応する商品コードで特定される商品の１点当たりの平均重量であり、ＣＰＵ４１は、販売登録部１５で登録処理された商品の単位重量と計量ユニット５４で測定される重量とを比較して、登録された商品が商品載置台３２に正しく置かれたか否かを判定する。

クーポンデータベース４５２は、図５に示すように、店舗で取り扱いが可能な種々のクーポン（割引券，優待券，商品券，金券等）に対して予め設定されたクーポン固有のクーポンコードに関連付けて、そのクーポンコードで特定されるクーポンの名称（クーポン名）、対象商品情報及び特典情報等のクーポンデータを記録したクーポンデータレコード４５２Ｒを蓄積保存する。対象商品情報は、対応するクーポンコードで特定されるクーポンの対象となる商品を特定する情報であり、例えば商品コードや前記属性がセットされる。なお、例えば商品分類に関わらず１０％引きというような商品不特定のクーポンの場合には、対象商品情報として商品不特定を示すデータ、例えば“００”がセットされる。特典情報は、対応するクーポンコードで特定されるクーポンにより客に供与される特典の内容、例えば１０％引き、１０円引き等を特定する情報である。

画像データベース４５３は、図６に示すように、一意の画像ＩＤに関連付けて、外観画像データ、外観特徴パラメータ、物品区分、識別コード等のデータを記録した画像データレコード４５３Ｒを蓄積保存する。外観画像データは、前記商品データベース４５１に保存されている商品データレコード４５１Ｒで特定される各種商品及び前記クーポンデータベース４５２に保存されているクーポンデータレコード４５２Ｒで特定される各種クーポンの外観画像を示すデータである。外観特徴パラメータは、対応する画像ＩＤが付された外観画像から得られる物品（商品またはクーポン）の形状、表面の色合い、模様、凹凸状況等のような物品の外観の特徴量を物品毎に数値化したものである。物品区分は、対応する画像ＩＤが付された外観画像の物品が商品なのかクーポンなのかを識別する情報である。本実施形態では、商品を識別する区分情報を“１”、クーポンを識別する区分情報を“２”とする。識別コードは、対応する画像ＩＤが付された外観画像の物品を特定するコードであり、物品が商品の場合には商品コードがセットされ、クーポンの場合にはクーポンコードがセットされる。

ＲＡＭ４４は、可変的なデータを一時的に記憶するための種々のメモリエリアを備える。特に、本実施形態では、クーポンホールドメモリＭ１がＲＡＭ４４に形成される。クーポンホールドメモリＭ１は、図７に示すように、クーポンコード、クーポン名、対象商品情報、特典情報及びクーポンの外観画像データを含むクーポン情報ファイルＦ１を保持するための領域である。

ＲＯＭ４３は、プログラム等の固定的データを記憶するための領域である。本実施形態では、少なくとも読取処理プログラムＰ１がＲＯＭ４３に格納される。このプログラムＰ１は、コンピュータであるＣＰＵ４１に、商品読取部１４が有する画像認識手段１４Ａ、候補物品表示手段１４Ｂ、物品識別手段１４Ｃ、情報保持手段１４Ｄ、情報確認手段１４Ｅ、情報出力手段１４Ｆ、情報削除手段１４Ｇ、保持表示手段１４Ｈ、終了確認手段１４Ｉ及び未使用クーポン報知手段１４Ｊとしての機能を実現させる。

図８〜図１０は、読取処理プログラムＰ１に従って動作するＣＰＵ４１の情報処理手順を示す流れ図である。これらの流れ図により、上記画像認識手段１４Ａ、候補物品表示手段１４Ｂ、物品識別手段１４Ｃ、情報保持手段１４Ｄ、情報確認手段１４Ｅ、情報出力手段１４Ｆ、情報削除手段１４Ｇ、保持表示手段１４Ｈ、終了確認手段１４Ｉ及び未使用クーポン報知手段１４Ｊとしての機能は説明される。

図８の流れ図によって示される手順の情報処理は、例えばオペレータ用表示器２２に表示されたスタートボタンがタッチされると開始される。開始されると先ず、ＣＰＵ４１は、カメラコントローラ５１に撮像オン信号を出力する（ＳＴ１）。この撮像オン信号により、カメラ６２が撮像領域の撮像を開始する。カメラ６２で撮像された撮像領域のフレーム画像は、ＲＡＭ４４に順次保存される。

ＣＰＵ４１は、ＲＡＭ４４に保存されたフレーム画像のデータを取り込む（ＳＴ２）。そしてＣＰＵ４１は、このフレーム画像に含まれる物品を認識する（ＳＴ３：画像認識手段１４Ａ）。具体的には、ＣＰＵ４１は先ず、フレーム画像を二値化した画像から輪郭線等を抽出する。これにより、ＣＰＵ４１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ４１は、その輪郭内の画像から、物品の形状、表面の色合い、模様、凹凸状況等の特徴量を読み取る。

このような画像中に含まれる物品を認識する技術は、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
ＣＰＵ４１は、画像から物品を認識できたか否かを確認する（ＳＴ４）。物品が認識されない場合（ＳＴ４にてＮＯ）、ＣＰＵ４１は、読取終了が宣言されたか否かを確認する（ＳＴ５：終了確認手段１４Ｉ）。読取終了は、例えばオペレータ用表示器２２に表示された会計ボタンがタッチされると宣言される。読取終了が宣言されていない場合（ＳＴ５にてＮＯ）、ＣＰＵ４１は，ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

物品が認識された場合（ＳＴ４にてＹＥＳ）、ＣＰＵ４１は、その物品の特徴量データを、画像データベース４５３に保存されている各種物品の外観特徴パラメータと順次照合して、特徴量データに対する類似度を外観特徴パラメータ毎に算出する（ＳＴ６）。類似度が高ければ高いほど、当該外観特徴パラメータがセットされた画像データレコード４５３Ｒの識別コードで特定される物品は、ステップＳＴ３の処理において画像から認識された物品である可能性が高い。

ＣＰＵ４１は、類似度が予め設定されたしきい値以上の外観特徴パラメータの有無、つまりは、画像から認識された物品の候補となり得る候補物品の有無を確認する（ＳＴ７）。候補物品がない場合（ＳＴ７にてＮＯ）、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

候補物品が１つでもあった場合（ＳＴ７のＹＥＳ）、ＣＰＵ４１は、その候補物品の画像データ、つまりは撮影画像から認識された物品の特徴量データとの類似度が予め設定されたしきい値以上となる外観特徴パラメータがセットされた画像データレコード４５３Ｒの外観画像データを抽出する。そしてＣＰＵ４１は、抽出した候補物品の画像をオペレータ用表示器２２に表示させる。このとき、候補物品の画像はそれぞれタッチスイッチとして選択可能に表示される（ＳＴ８：候補物品表示手段１４Ｂ）。

ＣＰＵ４１は、候補物品の中からいずれか１つの物品が選択されたか否かを確認する（ＳＴ９）。例えば候補物品の画像が表示される画面には、該当する物品がないことを宣言するタッチスイッチが表示されており、ＣＰＵ４１は、このタッチスイッチが入力されると、物品の選択無しとする。物品が選択されない場合（ＳＴ９にてＮＯ）、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

タッチパネルセンサ２２２の信号により、候補物品の中からいずれか１つの物品が選択されたことを確認すると（ＳＴ９にてＹＥＳ）、ＣＰＵ４１は、この選択された物品の画像データがセットされた画像データレコード４５３Ｒの物品区分を調べる（ＳＴ１０：物品識別手段１４Ｃ）。ここで、物品区分が“２”、つまり選択された物品がクーポンの場合には、ＣＰＵ４１は、図９の流れ図によって具体的に示される手順のクーポン読取処理を実行する（ＳＴ１１）。

すなわちＣＰＵ４１は、選択された物品の画像データが含まれる画像データレコード４５３Ｒの識別コードをクーポンコードとして検出する。そしてＣＰＵ４１は、このクーポンコードでクーポンデータベース４５２を検索して、当該クーポンコードを含むクーポンデータレコード４５２Ｒから、クーポンコード、クーポン名、対象商品情報及び特典情報のクーポン情報を取得する（ＳＴ２１）。

クーポン情報を取得したならば、ＣＰＵ４１は、このクーポン情報とこのクーポンの画像データとでクーポン情報ファイルＦ１を作成する。そしてＣＰＵ４１は、クーポン情報ファイルＦ１をクーポンホールドメモリＭ１に格納する（ＳＴ２２：情報保持手段１４Ｄ）。またＣＰＵ４１は、当該クーポンの画像をオペレータ用表示器２２に表示させる（ＳＴ２３：保持表示手段１４Ｈ）。しかる後、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

一方、ステップＳＴ１０において、物品区分が“１”、つまり選択された物品が商品の場合には、ＣＰＵ４１は、図１０の流れ図によって具体的に示される手順の商品読取処理を実行する（ＳＴ１２）。

すなわちＣＰＵ４１は、選択された物品の画像データが含まれる画像データレコード４５３Ｒの識別コードを商品コードとして検出する。そしてＣＰＵ４１は、この商品コードで商品データベース４５１を検索して、当該商品コードを含む商品データレコード４５１Ｒから、商品コード、属性、商品名、単価、単位重量等の商品情報を取得する（ＳＴ３１）。

商品情報を取得したならば、ＣＰＵ４１は、クーポンホールドメモリＭ１にクーポン情報ファイルＦ１が格納されているか否か、つまりはクーポン情報が保持されているか否かを確認する（ＳＴ３２：情報確認手段１４Ｅ）。保持されている場合（ＳＴ３２のＹＥＳ）、ＣＰＵ４１は、そのクーポン情報から対象商品情報を読出し、取得した商品情報の商品コード，属性等と照合して、当該商品情報の商品が、クーポンホールドメモリＭ１に保持されているクーポン情報のクーポン特典対象か否かを確認する（ＳＴ３３：情報確認手段１４Ｅ）。

クーポン特典対象の場合（ＳＴ３３にてＹＥＳ）、ＣＰＵ４１は、取得した商品情報を、クーポンホールドメモリＭ１に保持されているクーポン情報とともに販売登録部１５へ出力する（ＳＴ３４：情報出力手段１４Ｆ）。そして出力後、ＣＰＵ４１は、クーポンホールドメモリＭ１からクーポン情報ファイルＦ１を削除する（ＳＴ３５：情報削除手段１４Ｇ）。またＣＰＵ４１は、オペレータ用表示器２２から当該クーポンの画像を消去する（ＳＴ３６）。その後、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

一方、クーポンホールドメモリＭ１にてクーポン情報が保持されていない場合（ＳＴ３２にてＮＯ）、あるいは保持されてはいるが、取得した商品情報の商品が当該クーポン情報のクーポン特典対象外の場合（ＳＴ３３にてＮＯ）、ＣＰＵ４１は、取得した商品情報を単独で販売登録部１５へ出力する（ＳＴ３７：情報出力手段１４Ｆ）。その後、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

こうして、ＣＰＵ４１は、ステップＳＴ３の物品認識処理において物品が認識される毎に（ＳＴ４のＹＥＳ）、前記ステップＳＴ６〜ＳＴ１２の処理を繰り返す。そして、読取終了が宣言されると（ＳＴ５にてＹＥＳ）、ＣＰＵ４１は、カメラコントローラ５１に撮像オフ信号を出力する（ＳＴ１３）。この撮像オフ信号により、カメラ６２は撮像を停止する。

撮像オフ信号を出力した後、ＣＰＵ４１は、クーポンホールドメモリＭ１にクーポン情報が保持されているか否かを確認する（ＳＴ１４）。保持されていない場合（ＳＴ１４にてＮＯ）、今回のプログラム処理が終了する。

これに対し、クーポン情報が保持されている場合には（ＳＴ１４のＹＥＳ）、ＣＰＵ４１は、未使用のクーポンがあることをユーザに報知するメッセージをオペレータ用表示器２２に表示させる（ＳＴ１５：未使用クーポン報知手段１４Ｊ）、以上で、今回のプログラム処理が終了する。

かかる構成のセルフＰＯＳ端末１を利用する客は、先ず、スタートボタンをタッチする。次いで、購入する商品を１品ずつ読取窓２３にかざす。また、購入商品に対してクーポンを持っている場合には、先にクーポンをかざし、その後、クーポンの特典対象となる購入商品を読取窓２３にかざす。

図１１及び図１２は、購入商品「リンゴ」がクーポンの対象でないときのオペレータ用表示器２２の表示画面例である。客が購入商品「リンゴ」を読取窓２３にかざすと、図１１に示すように、オペレータ用表示器２２の画面中央部を占める撮影画像表示領域７１に、カメラ６２によって撮影された商品「リンゴ」の画像が表示される。

このとき、画像認識手段１４Ａにより撮影画像から商品「リンゴ」が物品として認識されると、候補物品表示手段１４Ｂにより商品「リンゴ」の特徴量データに対して類似度が高い外観特徴パラメータを有する候補物品（図１１では「ＡＡ産リンゴ」、「ＢＢ産リンゴ」，「ＣＣ産リンゴ」の３品目）が抽出される。そして、これら候補物品の画像が、タッチスイッチ７２Ａ，７２Ｂ，７２Ｃとして画面右側の候補物品表示領域７２に表示される。また、オペレータ用表示器２２には、候補物品の中に該当する物品がないことを宣言するタッチスイッチとして非該当ボタン７３も表示される。

ここで、タッチスイッチ７２Ａに表示されている「ＡＡ産リンゴ」が購入商品であった場合、図１２にハッチングで示すように、客はタッチスイッチ７２Ａにタッチする。そうすると、物品識別手段１４Ｃ，情報確認手段１４Ｅ及び情報出力手段１４Ｆにより、タッチ操作によって選択された商品「ＡＡ産リンゴ」の商品情報が単独で販売登録部１５に出力される。その結果、販売登録部１５では、商品「ＡＡ産リンゴ」の販売データが定価で登録処理される。また、商品「ＡＡ産リンゴ」の品名、販売点数及び販売価格が、オペレータ用表示器２２の画面下側に表示される。

図１３ないし図１７は、購入商品「リンゴ」が対象となるクーポン「リンゴ１０％引き」が使用されるときのオペレータ用表示器２２の表示画面例である。客は先ず、クーポン「リンゴ１０％引き」を読取窓２３にかざす。そうすると、図１３に示すように、撮影画像表示領域７１に、カメラ６２によって撮影されたクーポン「リンゴ１０％引き」の画像が表示される。

このとき、画像認識手段１４Ａにより撮影画像からクーポン「リンゴ１０％引き」が物品として認識されると、候補物品表示手段１４Ｂによりクーポン「リンゴ１０％引き」の特徴量データに対して類似度が高い外観特徴パラメータを有する候補物品（図１３では「「リンゴ１０％引き」及び「リンゴ１０円引き」の２品目）が抽出される。そして、これら候補物品の画像が、タッチスイッチ７２Ａ，７２Ｂとして候補物品表示領域７２に表示される。

ここで、タッチスイッチ７２Ａに表示されているクーポン「リンゴ１０％引き」が使用クーポンであった場合、図１４にハッチングで示すように、客はタッチスイッチ７２Ａにタッチする。そうすると、物品識別手段１４Ｃ及び情報保持手段１４Ｄにより、クーポン「リンゴ１０％引き」のクーポン情報がクーポンホールドメモリＭ１に保持される。さらに保持表示手段１４Ｈにより、クーポン「リンゴ１０％引き」の画像７４がオペレータ用表示器２２の画面下側に表示される。

次に、客が購入商品「リンゴ」を読取窓２３にかざしたとする。そうすると、図１５に示すように、オペレータ用表示器２２の撮影画像表示領域７１にはカメラ６２によって撮影された商品「リンゴ」の画像が表示され、候補物品表示領域７２には候補物品（「ＡＡ産リンゴ」、「ＢＢ産リンゴ」，「ＣＣ産リンゴ」）の画像が、タッチスイッチ７２Ａ，７２Ｂ，７２Ｃとして表示される。

ここで、図１５にハッチングで示すように、客がタッチスイッチ７２Ａにタッチすると、物品識別手段１４Ｃ，情報確認手段１４Ｅ及び情報出力手段１４Ｆにより、タッチ操作によって選択された商品「ＡＡ産リンゴ」の商品情報と、クーポンホールドメモリＭ１に保持されているクーポン情報とが販売登録部１５に出力される。その結果、販売登録部１５では、商品「ＡＡ産リンゴ」の販売データが１０％引きで登録処理される。

このとき、オペレータ用表示器２２では、図１６に示すように、使用されたクーポン「リンゴ１０％引き」の画像７４が、撮影画像表示領域７１内に移動し、画面下側のクーポン「リンゴ１０％引き」の画像７４は消去される。また、セルフＰＯＳ端末１では、情報削除手段１４Ｇの機能によりクーポンホールドメモリＭ１からクーポン情報が削除される。そして、クーポン情報が削除された後、図１７に示すように、画面下側にはクーポン「リンゴ１０％引き」によって割引された商品「ＡＡ産リンゴ」の品名、販売点数及び販売価格が表示される。

なお、客が購入商品「リンゴ」をかざす前に別の商品、例えば「バナナ」かざしたとする。商品「バナナ」は、クーポンホールドメモリＭ１に保持されているクーポン情報のクーポン対象ではない。この場合には、物品識別手段１４Ｃ，情報確認手段１４Ｅ及び情報出力手段１４Ｆにより、商品「バナナ」の商品情報が単独で販売登録部１５に出力されて、販売データが登録処理される。このとき、クーポンホールドメモリＭ１に保持されたクーポン情報は削除されない。また、オペレータ用表示器２２の画面下側には、一時的に商品「バナナ」の品名、販売点数及び販売価格が表示され、その後、クーポン「リンゴ１０％引き」の画像７４に戻る。

したがって、次に客が購入商品「リンゴ」をかざすと、図１５乃至図１７を用いて説明したように、商品「ＡＡ産リンゴ」の商品情報と、クーポン「リンゴ１０％引き」のクーポン情報とが販売登録部１５に出力されて、商品「ＡＡ産リンゴ」の販売データが１０％引きで登録処理される。

ところで、客の中には手持ちのクーポンを読取窓２３にかざして認識させたが、購入商品の中にクーポン対象の商品が含まれていない場合もある。例えば図１３〜図１７を用いて説明した具体例において、撮影画像からクーポン「リンゴ１０％引き」が認識されたが、その後、クーポン対象の商品「リンゴ」が認識されることなく会計ボタンがタッチされる場合がある。このとき、セルフＰＯＳ端末１では、クーポンホールドメモリＭ１にクーポン「リンゴ１０％引き」のクーポン情報が保持されたまま、読取終了となる。このような場合、セルフＰＯＳ端末１では、終了確認手段１４Ｉ及び未使用クーポン報知手段１４Ｊにより、図１８に示すようにクーポン「リンゴ１０％引き」が未使用であることを客に伝えるメッセージ７５がオペレータ用表示器２２に表示される。

このように第１の実施形態のセルフＰＯＳ端末１によれば、客が自ら商品とクーポンとを別々に読取窓２３にかざすだけで、そのクーポンによる特典を正しく受けることができる。

また、本実施形態のセルフＰＯＳ端末１によれば、撮影画像から認識されたクーポンが使用されるまで、当該クーポンの画像７４がオペレータ用表示器２２の画面に表示されているので、客はクーポンが未だ使用されていないことを容易に認識できる。また、使用されることなく会計に至った場合には、クーポン「リンゴ１０％引き」が未使用であることを客に伝えるメッセージ７５がオペレータ用表示器２２に表示されるので、客は、クーポン「リンゴ１０％引き」が未使用であることを容易に認識できる。

（第２の実施形態）
次に、第２の実施形態について、図１９〜図２３を用いて説明する。なお、第１の実施形態と同一部分には同一符号を付して、詳しい説明は省略する。

図１９は、第２の実施形態におけるセルフＰＯＳ端末１００の機能ブロック図である。図１９に示すように、セルフＰＯＳ端末１００は、撮像部１１と、記憶部１２と、表示部１３と、商品読取部１４０と、販売登録部１５と、決済処理部１６とを備える。

商品読取部１４０は、画像認識手段１４Ａ、候補物品表示手段１４Ｂ、物品識別手段１４Ｃ、情報保持手段１４Ｄ、情報確認手段１４Ｅ、情報出力手段１４Ｆ、情報削除手段１４Ｇ、保持表示手段１４Ｈ、終了確認手段１４Ｉ及び未使用クーポン報知手段１４Ｊに加えて、選択受付手段１４Ｋを有する。

選択受付手段１４Ｋは、情報確認手段１４Ｅにより当該商品が対象となるクーポンに関する情報が記憶部１２に保持されていると確認されると、その情報に関わるクーポンを使用するか否かの選択入力を受け付ける。しかして、情報出力手段１４Ｆは、記憶部１２に当該商品が対象となるクーポンに関する情報が保持されていると確認された場合、選択受付手段１４Ｋによりクーポンを使用しない旨の入力を受け付けたときには当該商品に関する情報を単独で出力し、クーポンを使用する旨の入力を受け付けたときには当該商品に関する情報と使用する旨が選択されたクーポンに関する情報とを出力する。

セルフＰＯＳ端末１００の外観構成及びハードウェア構成は、基本的には第１の実施形態のセルフＰＯＳ端末１と同様である。ただし、セルフＰＯＳ端末１では、ＲＡＭ４４に形成されるクーポンホールドメモリＭ１がクーポン情報ファイルＦ１を１ファイルだけ保存する場合を示したが、セルフＰＯＳ端末１００では、図２０に示すように、クーポンホールドメモリＭ１は複数のクーポン情報ファイルＦ１を保存可能である。

またセルフＰＯＳ端末１００において、読取処理プログラムＰ１に従って実行されるＣＰＵ４１の情報処理手順も、基本的には第１の実施形態のセルフＰＯＳ端末１と同様である。ただし、図８のステップＳＴ１２において実行される商品読取処理の一部が、セルフＰＯＳ端末１００とセルフＰＯＳ端末１との間で異なる。

図２１は、セルフＰＯＳ端末１００におけるＣＰＵ４１の商品読取処理の手順を示す流れ図であり、第１の実施形態の同処理手順を示す図１０と共通する部分には同一符号を付している。

すなわち第２の実施形態におけるセルフＰＯＳ端末１００のＣＰＵ４１は、候補物品の中から選択された物品が商品であった場合、商品データベース４５１からその商品の商品コード、属性、商品名、単価、単位重量等の商品情報を取得する（ＳＴ３１）。またＣＰＵ４１は、クーポンホールドメモリＭ１にクーポン情報が保持されているか（ＳＴ３２：情報確認手段１４Ｅ）、保持されている場合には（ＳＴ３２のＹＥＳ）、当該商品情報の商品が、クーポンホールドメモリＭ１に保持されているクーポン情報のクーポン特典対象か否かを確認する（ＳＴ３３：情報確認手段１４Ｅ）。

クーポンホールドメモリＭ１にてクーポン情報が保持されていない場合（ＳＴ３２にてＮＯ）、あるいは保持されてはいるが、取得した商品情報の商品が対象となるクーポンの情報は無い場合には（ＳＴ３３にてＮＯ）、第１の実施形態と同様に、ＣＰＵ４１は、取得した商品情報を単独で販売登録部１５へ出力する（ＳＴ３７：情報出力手段１４Ｆ）。

これに対し、取得した商品情報の商品が特典対象となるクーポンの情報がクーポンホールドメモリＭ１にて１つでも保持されている場合には（ＳＴ３３にてＹＥＳ）、ＣＰＵ４１は、オペレータ用表示器２２に表示されているクーポンの画像において、特典対象となるクーポンの画像を特典対象とならないクーポンの画像と識別できるようにする（ＳＴ４１）。そしてＣＰＵ４１は、特典対象となるクーポンの１つが選択されるのを待機する（ＳＴ４２：選択受付手段）。

ここで、特典対象となるクーポンが選択されない場合には（ＳＴ４２のＮＯ）、ＣＰＵ４１は、取得した商品情報を単独で販売登録部１５へ出力する（ＳＴ３７：情報出力手段１４Ｆ）。

これに対し、タッチパネルセンサ２２２の信号により特典対象となるクーポンが選択されたことを確認した場合には（ＳＴ４２のＹＥＳ）、ＣＰＵ４１は、取得した商品情報を、選択されたクーポン情報とともに販売登録部１５へ出力する（ＳＴ３４：情報出力手段１４Ｆ）。そして出力後、ＣＰＵ４１は、クーポンホールドメモリＭ１から選択されたクーポン情報のクーポン情報ファイルＦ１を削除する（ＳＴ３５：情報削除手段１４Ｇ）。またＣＰＵ４１は、オペレータ用表示器２２から当該クーポンの画像を消去する（ＳＴ３６）。その後、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

図２２〜図２３は、客が３種類のクーポン「果物１０％引き」、「飲料１０％引き」、「果物１０円引き」を読取窓２３にかざして、セルフＰＯＳ端末１００に読み取らせた後で、購入商品「リンゴ」を読取窓２３にかざした際のオペレータ用表示器２２の表示画面例である。客が購入商品「リンゴ」の候補商品の中から「ＡＡ産リンゴ」を選択すると、選択受付手段１４Ｋによって、図２２に示すように３種類のクーポン「果物１０％引き」、「飲料１０％引き」、「果物１０円引き」の各画像７４Ａ，７４Ｂ，７４Ｃのうち、リンゴがクーポンの対象とならないクーポン「飲料１０％引き」の画像７４Ｂが薄くなる（図では破線で示している）。その結果、オペレータ用表示器２２には、リンゴがクーポンの対象となる２種類のクーポン「果物１０％引き」、「果物１０円引き」の画像７４Ａ，７４Ｃが目立つように表示される。

ここで、図２３にハッチングで示すように、客がクーポン「果物１０％引き」の画像７４Ａにタッチして選択すると、選択されたクーポン「果物１０％引き」の画像７４Ａが撮影画像表示領域７１内に移動し、画面下側のクーポン「果物１０％引き」の画像７４Ａは消去される。そして、セルフＰＯＳ端末１では、情報出力手段１４Ｆによって、商品「ＡＡ産リンゴ」の商品情報とクーポンホールドメモリＭ１に保持されているクーポン「果物１０％引き」のクーポン情報とが販売登録部１５に出力されて、商品「ＡＡ産リンゴ」の販売データが１０％引きで登録処理される。

このように第２の実施形態のセルフＰＯＳ端末１００においても、客が自ら商品とクーポンとを別々に読取窓２３にかざすだけで、そのクーポンによる特典を正しく受けることができる。

しかも、複数のクーポンを所有している場合、客は、最初に全てのクーポンを読取窓２３にかざし、その後、購入商品を読取窓２３にかざすという作業手順が可能となる。このような作業手順は非常に効率的であり、実用性が高い。

（第３の実施形態）
次に、第３の実施形態について、図２４〜図２７を用いて説明する。なお、第１の実施形態と同一部分には同一符号を付して、詳しい説明は省略する。

前記第１及び第２の実施形態では、先にクーポンをかざし、その後に商品を読取窓２３にかざす場合を例示した。第３の実施形態は、先に商品をかざし、その後、その商品が対象となるクーポンを読取窓２３にかざす。

第３の実施形態におけるセルフＰＯＳ端末２００（不図示）の機能ブロック図、外観斜視図及びハードウェア構成図は、第１の実施形態のセルフＰＯＳ端末１と共通である。このため、図１〜図６は、共通に使用する。

ただし、セルフＰＯＳ端末２００において、情報保持手段１４Ｄは、物品識別手段１４Ｃにより商品が識別された場合、当該商品に関する情報を記憶部１２で保持する（商品情報保持手段）。情報確認手段１４Ｅは、物品識別手段１４Ｃによりクーポンが識別された場合、記憶部１２に当該クーポンが対象となる商品に関する情報が保持されているか確認する（商品情報確認手段）。情報削除手段１４Ｇは、情報出力手段１４Ｅにより商品に関する情報が出力されると、記憶部１２から当該商品に関する情報を削除する（商品情報削除手段）。保持表示手段１４Ｈは、記憶部１２に商品に関する情報が保持されている間、その情報に関わる商品の画像を前記表示部に表示させる（保持商品表示手段）。情報出力手段１４Ｆは、情報確認手段１４Ｅにより当該クーポンが対象となる商品に関する情報が保持されていると確認された場合に、当該クーポンに関する情報と当該クーポンが対象となる商品に関する情報とを出力する。また情報出力手段１４Ｆは、終了確認手段１４Ｉにより読取終了が確認されたとき、記憶部１２に商品に関する情報が保持されていた場合には当該商品に関する情報を単独で出力する。なお、未使用クーポン報知手段１４Ｊは省略される。

第１の実施形態では、ＲＡＭ４４に、クーポンホールドメモリＭ１が形成された。第３の実施形態では、ＲＡＭ４４に、商品ホールドメモリＭ２が形成される。商品ホールドメモリＭ２は、図２４に示すように、商品コード、商品名、単価及び商品画像データを含む商品情報ファイルＦ２を複数保持するための領域である。

第１の実施形態では、セルフＰＯＳ端末１に実装される読取処理プログラムＰ１によって、ＣＰＵ４１が、図８〜図１０の流れ図に示す情報処理手順を実行した。第３の実施形態では、セルフＰＯＳ端末２００に実装される読取処理プログラムＰ１によって、ＣＰＵ４１は、図２５〜図２７の流れ図に示す情報処理手順を実行する。これらの流れ図により、上記画像認識手段１４Ａ、候補物品表示手段１４Ｂ、物品識別手段１４Ｃ、情報保持手段１４Ｄ、情報確認手段１４Ｅ、情報出力手段１４Ｆ、情報削除手段１４Ｇ、保持表示手段１４Ｈ及び終了確認手段１４Ｉとしての機能は説明される。

図２５の流れ図によって示される手順の情報処理は、第１の実施形態において、図８を用いて説明された情報処理手順と大部分で共通する。このため、図８と同一の処理ステップには同一の符号を付してその説明を省略する。

当該情報処理の手順において、第３の実施形態が第１の実施形態と異なる点の１つは、ステップＳＴ１０の判断処理（物品識別手段１４Ｃ）にて物品区分が“１”、つまり選択された物品が商品の場合の商品読取処理（ＳＴ４１）と、物品区分が“２”、つまり選択された物品がクーポンの場合のクーポン読取処理（ＳＴ４２）である。

商品読取処理に入ると、ＣＰＵ４１は、図２６の流れ図によって示される手順の処理を開始する。先ずＣＰＵ４１は、選択されたクーポンの画像データが含まれる画像データレコード４５３Ｒの識別コードを商品コードとして検出する。そしてＣＰＵ４１は、この商品コードで商品データベース４５１を検索して、当該商品コードを含む商品データレコード４５１Ｒから、商品コード、属性、商品名、単価、単位重量等の商品情報を取得する（ＳＴ５１）。

商品情報を取得したならば、ＣＰＵ４１は、この商品情報とこの商品の画像データとで商品情報ファイルＦ２を作成する。そしてＣＰＵ４１は、商品情報ファイルＦ２を商品ホールドメモリＭ２に格納する（ＳＴ５２：情報保持手段１４Ｄ）。またＣＰＵ４１は、当該商品の画像をオペレータ用表示器２２に表示させる（ＳＴ５３：保持表示手段１４Ｈ）。しかる後、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

クーポン読取処理に入ると、ＣＰＵ４１は、図２７の流れ図によって示される手順の処理を開始する。先ずＣＰＵ４１は、選択された物品の画像データが含まれる画像データレコード４５３Ｒの識別コードをクーポンコードとして検出する。そしてＣＰＵ４１は、このクーポンコードでクーポンデータベース４５２を検索して、当該クーポンコードを含むクーポンデータレコード４５２Ｒから、クーポンコード、クーポン名、対象商品情報及び特典情報のクーポン情報を取得する（ＳＴ６１）。

クーポン情報を取得したならば、ＣＰＵ４１は、商品ホールドメモリＭ２に商品情報ファイルＦ２が格納されているか否か、つまりは商品情報が保持されているか否かを確認する（ＳＴ６２：情報確認手段１４Ｅ）。商品情報が保持されている場合（ＳＴ６２のＹＥＳ）、ＣＰＵ４１は、商品ホールドメモリＭ２に保持されている各商品情報ファイルＦ２を順次読み出す。そしてＣＰＵ４１は、商品情報ファイルＦ２を読み出す都度、その商品情報ファイルＦ２に格納されている商品コード，属性等を、ステップＳＴ６１にて取得したクーポン情報の対象商品情報と照合する。すなわちＣＰＵ４１は、当該クーポン情報のクーポン特典対象となる商品の商品情報ファイルＦ２が、商品ホールドメモリＭ１に保持されているか否かを確認する（ＳＴ６３：情報確認手段１４Ｅ）。

クーポン特典対象となる商品の商品情報ファイルＦ２が保持されていることを確認した場合（ＳＴ６３にてＹＥＳ）、ＣＰＵ４１は、その商品情報ファイルＦ２の商品情報を、取得したクーポン情報とともに販売登録部１５へ出力する（ＳＴ６４：情報出力手段１４Ｆ）。そして出力後、ＣＰＵ４１は、商品ホールドメモリＭ２から当該商品情報ファイルＦ２を削除する（ＳＴ６５：情報削除手段１４Ｇ）。またＣＰＵ４１は、オペレータ用表示器２２から当該商品の画像を消去する（ＳＴ６６）。その後、ＣＰＵ４１は、ステップＳＴ２に戻り、次の画像データを取り込んで物品認識を試みる。

一方、商品ホールドメモリＭ２にて商品情報ファイルＦ２が保持されていない場合（ＳＴ６２にてＮＯ）、あるいは保持されてはいるが、取得したクーポン情報のクーポン特典対象となる商品の商品情報ファイルＦ２ではない場合には（ＳＴ６３にてＮＯ）、ＣＰＵ４１は、クーポン対象となる商品が存在しない旨のメッセージを表示部１３に表示させる（ＳＴ６７）。またＣＰＵ４１は、取得したクーポン情報を破棄する（ＳＴ６８）。

また、当該情報処理の手順において、第３の実施形態が第１の実施形態と異なる点の別の１つは、ステップＳＴ５の判断処理にて読取終了が宣言された後の処理である。すなわち、例えばオペレータ用表示器２２に表示された会計ボタンがタッチされて読取終了が宣言されると（ＳＴ５にてＹＥＳ）、ＣＰＵ４１は、カメラコントローラ５１に撮像オフ信号を出力した後（ＳＴ１３）、商品ホールドメモリＭ２に商品情報ファイルＦ２が保持されているか否かを確認する（ＳＴ４３）。商品情報ファイルＦ２が保持されていない場合（ＳＴ４３にてＮＯ）、今回のプログラム処理が終了する。

商品情報ファイルＦ２が保持されている場合には（ＳＴ４３のＹＥＳ）、ＣＰＵ４１は、その商品情報ファイルＦ２から商品コード、商品名、属性、単価等の商品情報を読出し、この商品情報を単独で販売登録部１５へ出力する（ＳＴ４４：情報出力手段１４Ｆ）、以上で、今回のプログラム処理が終了する。

かかる構成のセルフＰＯＳ端末２００を利用する客は、先ず、スタートボタンをタッチする。次いで、購入する商品を１品ずつ読取窓２３にかざす。また、クーポンを持っている場合には、クーポンを１枚ずつ読取窓２３にかざす。

商品を読取窓２３に翳した場合、この商品の商品コード，属性等を含む商品情報ファイルＦ２が商品ホールドメモリＭ２に格納される。クーポンを読取窓２３に翳した場合、そのクーポンの対象である商品の商品情報ファイルＦ２が商品ホールドメモリＭ２に保持されているときと保持されていないときとで処理が異なる。クーポン対象商品の商品情報ファイルＦ２が保持されている場合には、クーポンの情報とそのクーポンの対象となる商品の情報とが対となって、販売登録部１５へ出力される。そして販売登録部１５へ出力された商品情報は、商品ホールドメモリＭ２から削除される。クーポン対象商品の商品情報ファイルＦ２が保持されていない場合には、クーポンの情報が破棄される。

商品及びクーポンを全て読取窓２３に翳したならば、客は、会計ボタンにタッチする。会計ボタンがタッチされたとき、商品ホールドメモリＭ２に商品情報ファイルＦ２が残っている場合には、この商品情報ファイルＦ２の商品情報が単独で販売登録部１５へ出力される。

したがって、第３の実施形態のセルフＰＯＳ端末２００においても、第１〜第２の実施形態と同様に、客が自ら商品とクーポンとを別々に読取窓２３にかざすだけで、そのクーポンによる特典を正しく受けることができる。

なお、本実施形態において、商品ホールドメモリＭ２にて商品情報ファイルＦ２が保持されていない場合（ＳＴ６２にてＮＯ）、あるいは保持されてはいるが、取得したクーポン情報のクーポン特典対象となる商品の商品情報ファイルＦ２ではない場合に（ＳＴ６３にてＮＯ）、ＣＰＵ４１は、取得したクーポン情報を破棄する（ＳＴ６８）。

他の実施形態としては、ＣＰＵ４１がクーポン情報を破棄せず、クーポンホールドメモリＭ１でクーポン情報を保持してもよい。この場合、商品読取処理において商品情報を取得したならば、ＣＰＵ４１は、保持されているクーポン情報の特典対象か否かを確認する。そして特典対象の場合には、第２の実施形態のように商品情報をクーポン情報とともに販売登録部に出力する。特典対象でない場合には、第３の実施形態のように商品情報ファイルＦ２を作成して、商品ホールドメモリＭ２に格納する。

このような他の実施形態であれば、クーポンを読取窓２３に先に翳してしまっても、そのクーポン情報が破棄されることはない。

（第４の実施形態）
次に、第４の実施形態について、図２８〜図２９を用いて説明する。なお、第１及び第３の実施形態と同一部分には同一符号を付して、詳しい説明は省略する。

前記第１及び第２の実施形態では、先にクーポンをかざし、その後に商品を読取窓２３にかざす場合を例示した。また第３の実施形態では、先に商品をかざし、その後にクーポンを読取窓２３にかざす場合を例示した。第４の実施形態は、商品とクーポンとを読取窓２３に翳す順番に制約がない。

第４の実施形態におけるセルフＰＯＳ端末３００（不図示）の機能ブロック図、外観斜視図及びハードウェア構成図は、第１の実施形態のセルフＰＯＳ端末１と共通である。このため、図１〜図６は、共通に使用する。

ただし、情報保持手段１４Ｄは、物品識別手段１４Ｃにより商品が識別された場合、当該商品に関する情報を第１の記憶部で保持する商品情報保持手段と、物品識別手段１４Ｄによりクーポンが識別された場合、当該クーポンに関する情報を第２の記憶部で保持するクーポン情報保持手段とを含む。情報確認手段１４Ｅは、終了確認手段１４Ｉにより読取終了が確認されたとき、第１の記憶部に記憶される商品情報で特定される商品が対象となるクーポンの情報が第２の記憶部に記憶されているか確認する。情報出力手段１４Ｆは、第１の記憶部に記憶される商品情報で特定される商品が対象となるクーポンの情報が第２の記憶部に記憶されているときには当該商品に関する情報と当該商品が対象となるクーポンに関する情報とを出力し、記憶されていない場合には当該商品に関する情報を単独で出力する。

第１の実施形態では、ＲＡＭ４４に、クーポンホールドメモリＭ１が形成され、第３の実施形態では、商品ホールドメモリＭ２が形成された。第４の実施形態では、ＲＡＭ４４に、商品ホールドメモリＭ２（第１の記憶部）と、クーポンホールドメモリＭ１（第２の記憶部）とが形成される。

第１の実施形態では、セルフＰＯＳ端末１に実装される読取処理プログラムＰ１によって、ＣＰＵ４１が、図８〜図１０の流れ図に示す情報処理手順を実行した。第４の実施形態では、読取処理プログラムＰ１によって、ＣＰＵ４１は、図２８〜図２９の流れ図に示す情報処理手順を実行する。これらの流れ図により、上記画像認識手段１４Ａ、候補物品表示手段１４Ｂ、物品識別手段１４Ｃ、情報保持手段１４Ｄ、情報確認手段１４Ｅ、情報出力手段１４Ｆ、情報削除手段１４Ｇ、保持表示手段１４Ｈ、終了確認手段１４Ｉ及び報知手段１４Ｊとしての機能は説明される。

図２８の流れ図によって示される手順の情報処理は、第１の実施形態において、図８を用いて説明された情報処理手順と大部分で共通する。このため、図８と同一の処理ステップには同一の符号を付してその説明を省略する。

当該情報処理の手順において、第４の実施形態が第１の実施形態と異なる点の１つは、ステップＳＴ１０の判断処理（物品識別手段１４Ｃ）にて物品区分が“１”、つまり選択された物品が商品の場合に実行される商品読取処理（ＳＴ７１）である。なお、物品区分が“２”、つまり選択された物品がクーポンの場合に実行されるクーポン読取処理（ＳＴ１１）は、第１の実施形態と共通である。したがって、図９を用いて詳しい説明は省略する。また、商品読取処理は、第３の実施形態における商品読取処理（ＳＴ４１）と共通である。したがって、図２６を用いて詳しい説明は省略する。

当該情報処理の手順において、第４の実施形態が第１の実施形態と異なる点の別の１つは、読取終了が宣言された後の処理である。読取終了が宣言されると（ＳＴ５にてＹＥＳ）、ＣＰＵ４１は、カメラコントローラ５１に撮像オフ信号を出力した後（ＳＴ１３）。図２９の流れ図によって具体的に示される照合処理を実行する（ＳＴ７２）。

照合処理に入ると、ＣＰＵ４１は、商品ホールドメモリＭ２に商品情報ファイルＦ２が格納されているか否かを確認する（ＳＴ８１）。商品情報ファイルＦ２が格納されている場合（ＳＴ８１にてＹＥＳ）、ＣＰＵ４１は、その商品情報ファイルＦ２から商品コード，属性などの商品情報を取得する（ＳＴ８２）。

次に、ＣＰＵ４１は、クーポンホールドメモリＭ１にクーポン情報ファイルＦ１が格納されているか否かを確認する（ＳＴ８３）。クーポン情報ファイルＦ１が格納されている場合（ＳＴ８３にてＹＥＳ）、ＣＰＵ４１は、全てのクーポン情報ファイルＦ１からクーポンコード、対象商品情報、特典情報などのクーポン情報を取得する。そしてＣＰＵ４１は、ステップＳＴ８２の処理で取得した商品情報で特定される商品が対象となるクーポン情報が存在するか否かを確認する（ＳＴ８４：情報確認手段１４Ｅ）。

当該商品がクーポン特典対象の場合（ＳＴ８４にてＹＥＳ）、ＣＰＵ４１は、当該商品の商品情報を、特典対象となるクーポン情報とともに販売登録部１５へ出力する（ＳＴ８５：情報出力手段１４Ｆ）。そして出力後、ＣＰＵ４１は、商品ホールドメモリＭ１とクーポンホールドメモリＭ１とから、販売登録部へ出力した情報の商品情報ファイルＦ２及びクーポン情報ファイルＦ１を削除する（ＳＴ８６：情報削除手段１４Ｇ）。またＣＰＵ４１は、オペレータ用表示器２２から当該商品と当該クーポンとの画像を消去する（ＳＴ８７）。その後、ＣＰＵ４１は、ステップＳＴ８１に戻り、商品ホールドメモリＭ２にさらに商品情報ファイルＦ２が格納されているか否かを確認する。

一方、クーポンホールドメモリＭ１にてクーポン情報が保持されていない場合（ＳＴ８３にてＮＯ）、あるいは保持されてはいるが、当該商品が対象となるクーポンの情報でない場合（ＳＴ８４にてＮＯ）、ＣＰＵ４１は、当該商品の商品情報を単独で販売登録部１５へ出力する（ＳＴ８８：情報出力手段１４Ｆ）。そして出力後、ＣＰＵ４１は、商品ホールドメモリＭ１から販売登録部へ出力した商品情報ファイルＦ２を削除する（ＳＴ８９：情報削除手段１４Ｇ）。またＣＰＵ４１は、オペレータ用表示器２２から当該商品の画像を消去する（ＳＴ９０）。その後、ＣＰＵ４１は、ステップＳＴ８１に戻り、商品ホールドメモリＭ２にさらに商品情報ファイルＦ２が格納されているか否かを確認する。

商品ホールドメモリＭ２に商品情報ファイルＦ２が格納されていない場合（ＳＴ８１にてＮＯ）、ＣＰＵ４１は、クーポンホールドメモリＭ１にクーポン情報ファイルＦ１が格納されているか否かを確認する（ＳＴ９１）。クーポン情報ファイルＦ１が格納されていない場合（ＳＴ９１にてＮＯ）、今回のプログラム処理が終了する。

これに対し、クーポン情報が格納されている場合には（ＳＴ９１にてＹＥＳ）、ＣＰＵ４１は、未使用のクーポンがあることをユーザに報知するメッセージをオペレータ用表示器２２に表示させる（ＳＴ９２：未使用クーポン報知手段１４Ｊ）、以上で、今回のプログラム処理が終了する。

かかる構成のセルフＰＯＳ端末３００を利用する客は、先ず、スタートボタンをタッチする。次いで、購入する商品を１品ずつ読取窓２３にかざす。また、クーポンを持っている場合には、クーポンを１枚ずつ読取窓２３にかざす。

商品を読取窓２３に翳した場合、この商品の商品コード，属性等を含む商品情報のファイルＦ２が商品ホールドメモリＭ２に格納される。クーポンを読取窓２３に翳した場合、このクーポンのクーポンコード、対象商品情報、特典情報等を含むクーポン情報のファイルＦ１がクーポンホールドメモリＭ１に格納される。

商品及びクーポンの読取りを終了すると、客は、会計ボタンにタッチして読取終了を宣言する。読取終了が宣言されると、商品ホールドメモリＭ２に情報が格納されている商品が対象となるクーポンの情報がクーポンホールドメモリＭ１に格納されているか検索される。格納されている場合、その商品の情報とクーポンの情報とが対になって販売登録部１５へ出力される。格納されていない場合、商品の情報だけが単独で販売登録部へ出力される。

商品情報が販売登録部へ出力された商品情報ファイルＦ２は、商品ホールドメモリＭ２から削除される。全ての商品情報ファイルＦ２が削除されてもクーポンホールドメモリＭ１にクーポン情報ファイルＦ１が残っていた場合、未使用のクーポンがあることをユーザに報知するメッセージがオペレータ用表示器２２に表示される。

したがって、第４の実施形態のセルフＰＯＳ端末３００においても、第１〜第３の実施形態と同様に、客が自ら商品とクーポンとを別々に読取窓２３にかざすだけで、そのクーポンによる特典を正しく受けることができる。

（第５の実施形態）
次に、第５の実施形態について、図３０を用いて説明する。第５の実施形態は、第４の実施形態において、図２９を用いて説明した照合処理の他の実施形態である。このため、第４の実施形態と共通する部分には同一符号を付し、その詳しい説明を省略する。

照合処理に入ると、第５の実施形態では、先ず、クーポンホールドメモリＭ１にクーポン情報ファイルＦ１が格納されているか否かを確認する（ＳＴ１０１）。クーポン情報ファイルＦ１が格納されている場合（ＳＴ１０１にてＹＥＳ）、ＣＰＵ４１は、そのクーポン情報ファイルＦ１からクーポンコード、対象商品情報、特典情報などのクーポン情報を取得する（ＳＴ１０２）。

次にＣＰＵ４１は、商品ホールドメモリＭ２に商品情報ファイルＦ２が格納されているか否かを確認する（ＳＴ１０３）。商品情報ファイルＦ２が格納されている場合（ＳＴ１０３にてＹＥＳ）、ＣＰＵ４１は、全ての商品情報ファイルＦ２から商品コード，属性などの商品情報を取得する。そしてＣＰＵ４１は、ステップＳＴ１０２の処理で取得したクーポン情報のクーポンが特典対象となる商品が存在するか否かを確認する（ＳＴ１０４：情報確認手段１４Ｅ）。

当該クーポンの対象商品が存在する場合（ＳＴ１０４にてＹＥＳ）、ＣＰＵ４１は、当該商品の商品情報を、特典対象となるクーポンのクーポン情報とともに販売登録部１５へ出力する（ＳＴ１０５：情報出力手段１４Ｆ）。そして出力後、ＣＰＵ４１は、商品ホールドメモリＭ１とクーポンホールドメモリＭ１とから、販売登録部へ出力した情報の商品情報ファイルＦ２及びクーポン情報ファイルＦ１を削除する（ＳＴ１０６：情報削除手段１４Ｇ）。またＣＰＵ４１は、オペレータ用表示器２２から当該商品と当該クーポンとの画像を消去する（ＳＴ１０７）。その後、ＣＰＵ４１は、ステップＳＴ１０１に戻り、クーポンホールドメモリＭ１にさらにクーポン情報ファイルＦ１が格納されているか否かを確認する。

一方、商品ホールドメモリＭ２にて商品情報が保持されていない場合（ＳＴ１０３にてＮＯ）、あるいは保持されてはいるが、当該クーポンの対象商品が存在しない場合（ＳＴ１０４にてＮＯ）、ＣＰＵ４１は、クーポンホールドメモリＭ１から当該クーポンのクーポン情報ファイルＦ１を削除する（ＳＴ１０８：情報削除手段１４Ｇ）。またＣＰＵ４１は、オペレータ用表示器２２から当該クーポンの画像を消去する（ＳＴ１０９）。その後、ＣＰＵ４１は、ステップＳＴ１０１に戻り、クーポンホールドメモリＭ１にさらにクーポン情報ファイルＦ１が格納されているか否かを確認する。

クーポンホールドメモリＭ１にクーポン情報ファイルＦ２１格納されていない場合（ＳＴ１０１にてＮＯ）、ＣＰＵ４１は、商品ホールドメモリＭ２に商品情報ファイルＦ２が格納されているか否かを確認する（ＳＴ１１０）。商品情報ファイルＦ２が格納されていない場合（ＳＴ１１０にてＮＯ）、今回のプログラム処理が終了する。

これに対し、商品情報ファイルＦ２が格納されている場合には、ＣＰＵ４１は、その商品情報ファイルＦ２の商品情報を単独で販売登録部へ出力する（ＳＴ１１１：情報出力手段１４Ｆ）。以上で、今回のプログラム処理が終了する。
かかる構成の第５の実施形態においても、第４の実施形態と同様の効果を奏し得る。

なお、本発明は、前記各実施形態に限定されるものではない。
例えば前記各実施形態では、読取処理プログラムＰ１に従って動作するＣＰＵ４１の情報処理手順において、そのステップＳＴ７で類似度が予め設定されたしきい値以上の物品を、画像から認識された物品の候補となり得る候補物品とし、この候補物品の画像を表示させて（ＳＴ８）、いずれかの物品が選択されるのを待機する（ＳＴ９）。そして物品が選択されると、その物品の区分がクーポンなのか商品なのかを識別する（ＳＴ１０）。

他の実施形態では、類似度が最も高い外観特徴パラメータを有する物品を、画像から認識された物品としてオペレータからの候補選択の操作を受け付けることなく自動的に特定する。そして、この特定された物品の区分がクーポンなのか商品なのかを識別する。このような手順が採用されるセルフＰＯＳ端末、すなわち候補物品表示手段１４Ｂを有さないセルフＰＯＳ端末に対しても、本発明は適用できるものである。

また、前記各実施形態において、図１１〜図１８及び図２２，２３にそれぞれ画面例を示したが、画面のレイアウトはこれに限定されるものではない。また、未使用クーポン報知手段１４Ｊは表示に限定されるものではなく、例えば音声合成器からの音声出力等によって未使用クーポンを報知してもよい。

また、前記各実施形態は、セルフＰＯＳ端末１，１００，２００，３００に適用したが、適用事例はこれに限定されるものではない。撮像部１１及び商品読取部１４（１４０）と、販売登録部１５及び決済処理部１６とが別体のものであってもよい。例えば、キャッシャが対応する会計カウンタの商品読取装置に適用することも可能である。要は、商品読取装置とＰＯＳ端末とを備えたチェックアウトシステムに適用可能である。この場合、補助記憶部４５に格納された商品データベース４５１、クーポンデータベース４５２及び画像データベース３４３は、商品読取装置の側ではなく、ＰＯＳ端末の側に設けられていてもよい。

また、前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ４３に発明の機能を実現させる商品読取プログラムＰ１が予め記録されているものとした。しかしこれに限らず、同様のプログラムＰ１がネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムＰ１が、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，１００，２００，３００…セルフＰＯＳ端末、１１…撮像部、１２…記憶部、１３…表示部、１４，１４０…商品読取部、１５…販売登録部、１６…決済処理部、４１…ＣＰＵ、４５１…商品データベース、４５２…クーポンデータベース、４５３…画像データベース、Ｐ１…商品読取プログラム、Ｍ１…クーポンホールドメモリ。

Claims (11)

1. 撮像手段により撮像された画像から物品を認識する画像認識手段と、
   この画像認識手段により認識された物品が商品なのかクーポンなのかを識別する物品識別手段と、
   この物品識別手段により識別された商品が、前記物品識別手段により識別されたクーポンの対象となるとき、当該商品に関する情報と当該商品が対象となるクーポンに関する情報とを出力する情報出力手段と、
   を具備したことを特徴とする商品読取装置。
2. 前記物品識別手段により前記クーポンが識別された場合、当該クーポンに関する情報を記憶部で保持するクーポン情報保持手段と、
   前記物品識別手段により前記商品が識別された場合、前記記憶部に当該商品が対象となるクーポンに関する情報が保持されているか確認するクーポン情報確認手段と、
   をさらに具備し、
   前記情報出力手段は、前記クーポン情報確認手段により当該商品が対象となるクーポンに関する情報が保持されていると確認された場合に、当該商品に関する情報と当該商品が対象となるクーポンに関する情報とを出力することを特徴とする請求項１記載の商品読取装置。
3. 前記情報出力手段により前記クーポンに関する情報が出力された場合には前記記憶部から当該クーポンに関する情報を削除するクーポン情報削除手段と、
   前記記憶部にクーポンに関する情報が保持されている間、その情報に関わるクーポンの画像を前記表示部に表示させる保持クーポン表示手段と、
   をさらに具備したことを特徴とする請求項２記載の商品読取装置。
4. 前記クーポン情報確認手段により当該商品が対象となるクーポンに関する情報が前記記憶部に保持されていると確認された場合、その情報に関わるクーポンを使用するか否かの選択入力を受け付ける選択受付手段、
   をさらに具備し、
   前記情報出力手段は、前記記憶部に当該商品が対象となるクーポンに関する情報が保持されていると確認された場合、前記選択受付手段によりクーポンを使用する旨の入力を受け付けたときには当該商品に関する情報と前記使用する旨が選択されたクーポンに関する情報とを出力することを特徴とする請求項３記載の商品読取装置。
5. １商取引として処理される商品の読取終了か否かを確認する終了確認手段と、
   この終了確認手段により読取終了が確認されたとき、前記記憶部にクーポンに関する情報が保持されている場合には当該情報に関わるクーポンが未使用であることを報知する未使用クーポン報知手段と、
   をさらに具備したことを特徴とする請求項２乃至４のうちいずれか１記載の商品読取装置。
6. 前記物品識別手段により前記商品が識別された場合、当該商品に関する情報を記憶部で保持する商品情報保持手段と、
   前記物品識別手段により前記クーポンが識別された場合、前記記憶部に当該クーポンが対象となる商品に関する情報が保持されているか確認する商品情報確認手段と、をさらに具備し、
   前記情報出力手段は、前記商品情報確認手段により当該クーポンが対象となる商品に関する情報が保持されていると確認された場合に、当該クーポンに関する情報と当該クーポンが対象となる商品に関する情報とを出力することを特徴とする請求項１記載の商品読取装置。
7. 前記情報出力手段により前記商品に関する情報が出力されると、前記記憶部から当該商品に関する情報を削除する商品情報削除手段と、
   前記記憶部に商品に関する情報が保持されている間、その情報に関わる商品の画像を前記表示部に表示させる保持商品表示手段と、
   をさらに具備したことを特徴とする請求項６記載の商品読取装置。
8. １商取引として処理される商品の読取終了か否かを確認する終了確認手段、
   をさらに具備し、
   前記情報出力手段は、前記終了確認手段により読取終了が確認されたとき、前記記憶部に商品に関する情報が保持されていた場合には当該商品に関する情報を単独で出力することを特徴とする請求項７記載の商品読取装置。
9. 前記物品識別手段により前記商品が識別された場合、当該商品に関する情報を第１の記憶部で保持する商品情報保持手段と、
   前記物品識別手段により前記クーポンが識別された場合、当該クーポンに関する情報を第２の記憶部で保持するクーポン情報保持手段と、
   １商取引として処理される商品の読取終了か否かを確認する終了確認手段と、
   この終了確認手段により読取終了が確認されたとき、前記第１の記憶部に記憶される商品情報で特定される商品が対象となるクーポンの情報が前記第２の記憶部に記憶されているか確認する情報確認手段と、
   をさらに具備し、
   前記情報出力手段は、前記第１の記憶部に記憶される商品情報で特定される商品が対象となるクーポンの情報が前記第２の記憶部に記憶されているときには当該商品に関する情報と当該商品が対象となるクーポンに関する情報とを出力し、記憶されていない場合には当該商品に関する情報を単独で出力することを特徴とする請求項１記載の商品読取装置。
10. 予め登録された物品群の中から前記画像認識手段により認識された物品に類似する候補物品を抽出して表示部に選択可能に表示させる候補物品表示手段、をさらに具備し、
    前記物品識別手段は、前記表示部に表示された候補物品の中から選択された物品が商品なのかクーポンなのかを識別することを特徴とする請求項１乃至９のうちいずれか１に記載の商品読取装置。
11. コンピュータに、
    撮像手段により撮像された画像から物品を認識する画像認識機能と、
    この画像認識機能により認識された物品が商品なのかクーポンなのかを識別する物品識別機能と、
    この物品識別機能により識別された商品が、前記物品識別機能により識別されたクーポンの対象となるとき、当該商品に関する情報と当該商品が対象となるクーポンに関する情報とを出力する情報出力機能と、
    を実現させるための商品読取プログラム。

Images