JP7435716B2 - 登録装置、登録方法及びプログラム - Google Patents

Description

本発明は、登録装置、登録方法及びプログラムに関する。

特許文献１には、会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する商品登録装置が開示されている。

特許文献２には、表示面上の実オブジェクトの情報に応じて表示面に表示される表示オブジェクトの表示領域を決定する表示制御装置が開示されている。当該表示制御装置は、食卓に置かれた食器の種別を認識し、種別に応じた表示エフェクトおよび音を出力することができる。

特許文献３には、カメラで生成された商品の画像を受信し、当該画像を表示し、表示した商品の中から商品の指定を受付ける利用者端末が開示されている。

特開２０１６－６２５４５号公報 国際公開第２０１５／０９８１８９号 特開平３－１４３１８５号公報

会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する技術においては、会計作業者が画像解析の進行状況を把握し難という問題がある。本発明は、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようにすることを課題とする。

本発明によれば、
商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
前記画像に含まれる前記商品を認識する解析手段と、
認識された前記商品を会計対象として登録する登録手段と、
前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段と、
を有し、
前記出力手段は、前記登録手段により登録された商品が登録された後の画像において検出されなくなった場合、登録以前の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くする登録装置が提供される。

また、本発明によれば、
コンピュータが、
商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
前記画像に含まれる前記商品を認識する解析工程と、
認識された前記商品を会計対象として登録する登録工程と、
前記解析工程での前記画像の解析の進行状況に対応した情報を前記台に表示する出力工程と、
を実行し、
前記出力工程では、前記登録工程で登録された商品が登録された後の画像において検出されなくなった場合、登録以前の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くする登録方法が提供される。

また、本発明によれば、
コンピュータを、
商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
前記画像に含まれる前記商品を認識する解析手段、
認識された前記商品を会計対象として登録する登録手段、
前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段、
として機能させ、
前記出力手段は、前記登録手段により登録された商品が登録された後の画像において検出されなくなった場合、登録以前の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くするプログラムが提供される。

本発明によれば、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようになる。

上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。

本実施形態の登録装置のハードウエア構成の一例を示す図である。 本実施形態の登録装置の機能ブロック図の一例を示す図である。 本実施形態の登録装置を利用した会計処理で利用されるカメラと台の一例を模式的に示す図である。 本実施形態の登録装置の処理の流れの一例を示すフローチャートである。 本実施形態の登録装置が台に表示する情報の一例を模式的に示す図である。 本実施形態の登録装置が台に表示する情報の一例を模式的に示す図である。 本実施形態の登録装置が台に表示する情報の一例を模式的に示す図である。

＜第１の実施形態＞
まず、本実施形態の登録装置の概要を説明する。本実施形態の登録装置は、商品を販売する店舗での会計処理に利用される。登録装置は、いわゆるＰＯＳ（point of sales）レジスターであってもよい。登録装置は、店員に操作されることを前提とした装置であってもよいし、顧客に操作されることを前提とした装置であってもよい。

登録装置を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。会計処理において、会計作業者（店員、顧客等）は、会計対象の商品を台の載置面に載置する。登録装置は、カメラにより生成された画像を取得すると、画像を解析し、画像に含まれる商品を認識する。そして、登録装置は、認識した商品を会計対象の商品として登録する。

なお、登録装置は、会計作業者が画像解析の進行状況を把握できるようにする機能を有する。具体的には、登録装置は、画像解析の進行状況に応じて、進行状況に対応した情報を台に表示する。進行状況に対応した複数の情報は互いに異なる。

このような本実施形態の登録装置によれば、会計作業者は、台に表示された情報に基づき、画像解析の進行状況を把握することができる。

次に、本実施形態の登録装置の構成を詳細に説明する。まず、登録装置のハードウエア構成の一例について説明する。登録装置が備える機能は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、登録装置のハードウエア構成を例示するブロック図である。図１に示すように、登録装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

図２に、登録装置１０の機能ブロック図の一例を示す。図示するように、登録装置１０は、画像取得部１１と、解析部１２と、出力部１３と、登録部１４とを有する。

画像取得部１１は、商品を載置する台の載置面を撮影した画像を取得する。上述の通り、登録装置１０を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。画像取得部１１は、当該カメラにより生成された画像を取得する。カメラは動画像（複数の画像）を生成し、画像取得部１１は当該動画像をカメラから取得してもよい。

図３に、台とカメラの一例を模式的に示す。図では、台１と、部材２と、支柱３と、カメラ４とが示されている。部材２は、台１の上面に位置し、台１の一部をなす。部材２の露出面が、商品を載置する載置面となる。なお、部材２はディスプレイであってもよいし、他の部材であってもよい。カメラ４は支柱３に取り付けられており、上方から部材２の露出面を撮影する。カメラ４により生成された画像は、有線及び／又は無線での通信により、不図示の登録装置１０に送信される。

図２に戻り、解析部１２は、画像取得部１１により取得された画像を解析し、画像に含まれる商品を認識する。解析部１２は、パターンマッチング技術などを利用して、商品を認識することができる。

例えば、解析部１２は、画像の二値化、輪郭線抽出等の技術を利用して画像に含まれる物体を検出する（物体検出）。その後、解析部１２は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴とを照合することで、その物体がいずれの商品であるかを特定する（商品認識）。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。

出力部１３は、解析部１２による画像解析の進行状況に対応した情報を台（例：台の載置面）に表示する。進行状況に対応した複数の情報は互いに異なる。例えば、出力部１３は、物体検出の完了に応じて図５に示すように第１のマークＭ（例：丸等）を台に表示し、商品認識の完了に応じて図６に示すように第２のマークＭ（例：四角等）を台に表示してもよい。なお、ここでは、物体検出の完了及び商品認識の完了に応じて情報を台に表示する例を示したが、画像解析が他の状況に達したことに応じて情報を台に表示する構成としてもよい。また、表示する情報はマークに限定されず、文字、数字、絵、キャラクター等、他の情報としてもよい。さらに、画像解析の進行状況に応じてマークの表示態様（例：色、濃淡）を異ならせてもよい。例えば、出力部１３は、解析部１２により物体が台に載置されたことを認識されると第１の色のマークを台に表示し、解析部１２により商品を認識されると第２の色のマークを台に表示してもよい。

台の一部にディスプレイが設けられている場合、出力部１３は当該ディスプレイに、画像解析の進行状況に対応した情報を表示させることができる。例えば、図３を用いて説明したように、商品を載置する載置面がディスプレイ（部材２）で構成されている場合、出力部１３は当該ディスプレイ（部材２）に、画像解析の進行状況に対応した情報を表示させることができる。その他、出力部１３は、投影装置を用いて、台に情報を投影してもよい。

また、出力部１３は、物体の載置位置に対応する位置に、画像解析の進行状況に対応した情報を表示させることができる。例えば、図５及び図６に示すように物体の載置位置を囲むように情報（マークＭ）を表示させてもよいし、図７に示すように物体の載置位置に近接して情報（マークＭ）を表示させてもよい。例えば、出力部１３は、「画像の座標」を「台の載置面を構成するディスプレイの表示領域の座標」に変換する変換ルールを予め保持しておく。そして、出力部１３は、画像内の物体の位置（座標）を当該変換ルールに基づきディスプレイの表示領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して情報を表示させる。

同様に、出力部１３は、「画像の座標」を「投影装置の投影領域の座標」に変換する変換ルールを予め保持しておいてもよい。そして、出力部１３は、画像内の物体の位置（座標）を当該変換ルールに基づき投影装置の投影領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して情報を表示させてもよい。

画像の座標は、画像内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。ディスプレイの表示領域の座標は、表示領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。投影装置の投影領域の座標は、投影領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。

登録部１４は、解析部１２により認識された商品を会計対象として登録する。例えば、登録部１４は、解析部１２により認識された商品の商品情報を商品マスタから取得し、取得した商品情報の少なくとも一部を登録装置１０に登録する。商品情報は、価格、商品名、商品コード等を含む。

以上説明した本実施形態の登録装置１０によれば、台に載置された商品を画像解析で認識し、認識した商品を会計処理の対象として登録することができる。このような登録装置１０によれば、商品の登録作業が効率化する。

また、登録装置１０は、画像解析の進行状況に応じて、進行状況に対応した情報を台に表示することができる。なお、進行状況に対応した複数の情報互いに異なる。例えば、登録装置１０は、物体検出の完了に応じて第１のマーク（例：丸等）を台に表示し、商品認識の完了に応じて第２のマーク（例：四角等）を台に表示してもよい。このような登録装置１０によれば、会計作業者は、台に表示された情報に基づき、画像解析の進行状況を把握することができる。

＜第２の実施形態＞
本実施形態の登録装置１０は、第１の実施形態と異なるタイミングで台に情報を表示することができる。以下、詳細に説明する。

登録装置１０のハードウエア構成の一例は、第１の実施形態と同様である。

登録装置１０の機能ブロック図の一例は、第１の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１の実施形態と同様である。

解析部１２は、第１の実施形態同様、画像取得部１１により取得された画像を解析し、画像に含まれる商品を認識する。解析部１２は、「物体の検出」、「物体が台に載置されたことの認識」、「台に載置された物体がいずれの商品であるかの特定」をこの順に実行することができる。

物体の検出は、画像の二値化、輪郭線抽出等のあらゆる技術を利用して実現できる。

物体が台に載置されたことの認識は、例えば、以下のようにして実現することができる。まず、予め、画像内の台の載置面の表示領域を示す情報を解析部１２に保持させておく。表示領域は、画像内の任意の点を原点とし、任意の方向をｘ軸及びｙ軸とした座標系の座標で示されてもよい（例：表示領域が多角形である場合、頂点の座標）。画像内の一部が台の載置面の表示領域であってもよいし、画像の全部が台の載置面の表示領域であってもよい。台の設置位置、カメラの設置位置、カメラの向き等は固定され、台とカメラとの相対的な位置関係等は一定であるものとする。そして、解析部１２は、台の載置面の表示領域に存在する物体の動きが所定時間以上停止したことを検出すると、その物体が台に載置されたと認識してもよい。

台に載置された物体がいずれの商品であるかの特定（商品認識）は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴とを照合することで実現される。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。

出力部１３は、解析部１２により物体が台に載置されたことが認識されたことや、台に載置された物体がいずれの商品であるか特定されたことを示す情報を表示する。例えば、出力部１３は、解析部１２により物体が台に載置されたことを認識されると、当該状況に対応した第１の情報を台に表示する。また、出力部１３は、解析部１２により台に載置された物体がいずれの商品であるかを特定されると、当該状況に対応した第２の情報を台に表示する。第１の情報及び第２の情報は、互いに異なる情報である。

なお、出力部１３は、解析部１２により物体が検出されると、当該状況に対応した情報（第１及び第２の情報と異なる情報）を台に表示してもよい。

次に、図４のフローチャートを用いて、本実施形態の登録装置１０の処理の流れの一例を説明する。

処理がスタートされると、画像取得部１１はカメラからの画像の取得を開始する。そして、解析部１２は、画像の解析を開始する。

解析部１２により物体が台に載置されたことを認識されると（Ｓ１０のＹｅｓ）、出力部１３は、その状況に対応した第１の情報を台に表示する（Ｓ１１）。出力部１３は、物体の載置位置に対応する位置に第１の情報を表示する。なお、解析部１２により物体が台に載置されたことを認識されない間（Ｓ１０のＮｏ）、第１の情報は台に表示されない。

その後、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１２のＹｅｓ）、出力部１３は、その状況に対応した第２の情報を表示する（Ｓ１３）。出力部１３は、物体の載置位置に対応する位置に第２の情報を表示する。また、Ｓ１３では、登録部１４は、特定された商品を会計対象として登録する。解析部１２により台に載置された物体がいずれの商品であるかを特定されなければ（Ｓ１２のＮｏ）、第２の情報は台に表示されない。

なお、出力部１３は、第２の情報を表示するまで、第１の情報の表示を継続してもよい。そして、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１２のＹｅｓ）、それに応じて第１の情報の表示を終了し、代わりに、第２の情報を表示してもよい。出力部１３は、その後、台の上からその物体が離れるまで、又は、精算処理の入力があるまで、第２の情報の表示を継続してもよい。他の例として、出力部１３は、第１の情報及び第２の情報を所定時間表示し、所定時間の経過に応じて第１の情報及び第２の情報の表示を終了してもよい。

その後、解析部１２により次の物体が台に載置されたことを認識されると（Ｓ１４のＹｅｓ）、出力部１３は、その状況に対応した第１の情報を台に表示する（Ｓ１５）。出力部１３は、その物体の載置位置に対応する位置に第１の情報を表示する。その後、解析部１２によりその物体がいずれの商品であるか特定されると（Ｓ１６のＹｅｓ）、出力部１３はその状況に対応した第２の情報を台に表示する（Ｓ１７）。出力部１３は、その物体の載置位置に対応する位置に第２の情報を表示する。Ｓ１７では、さらに、登録部１４は特定された商品を会計対象として登録する。なお、台に複数の物体が載置された場合、台に複数の第１の情報が表示されてもよいし、台に複数の第２の情報が表示されてもよいし、台に第１の情報及び第２の情報の両方が表示されてもよい。

解析部１２によるＳ１４及びＳ１６での新たな認識／特定がなく（Ｓ１４のＮｏ、Ｓ１６のＮｏ）、精算処理の入力があった場合（Ｓ１８のＹｅｓ）、登録装置１０は精算処理を実行する（Ｓ１９）。例えば、登録装置１０は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録装置１０は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録装置１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。

以上説明した本実施形態の登録装置１０によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、物体が台に載置されたことの認識、及び、商品認識各々に応じて、互いに異なる情報を台に表示することができる。

このような本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、台への物体の載置を認識されたことを把握できる。また、会計作業者は、商品認識されたことを把握できる。会計作業者は、画像解析の進行状況を把握できるので、不安なく登録作業を進めることができる。

＜第３の実施形態＞
本実施形態の登録装置１０は、商品認識された際に台に表示される情報が、第１及び第２の実施形態と異なる。以下、詳細に説明する。

登録装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。

登録装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１及び第２の実施形態と同様である。

解析部１２は、認識した商品の商品カテゴリを特定する。解析部１２のその他の構成は、第１及び第２の実施形態と同様である。例えば、予め、商品毎に商品カテゴリを示した商品カテゴリ情報を、解析部１２に保持させておく。そして、解析部１２は、画像解析で商品を認識すると、当該商品カテゴリ情報を参照し、認識した商品の商品カテゴリを特定する。

出力部１３は、解析部１２により台に載置された物体がいずれの商品であるか特定された際に台に表示する第２の情報を、特定された商品の商品カテゴリに応じて異ならせる。例えば、出力部１３は、「食品」が特定された際に星マークを台に表示し、「日用雑貨」が特定された際に三角マークを台に表示してもよい。出力部１３のその他の構成は、第１及び第２の実施形態と同様である。

以上説明した本実施形態の登録装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、商品認識されたことのみならず、認識内容（商品カテゴリ）を把握することができる。それに基づき、会計作業者は、認識内容が間違っていないかを確認できる。

＜第４の実施形態＞
本実施形態の登録装置１０は、商品認識された際に台に表示される情報が、第１及び第２の実施形態と異なる。以下、詳細に説明する。

登録装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。

登録装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１及び第２の実施形態と同様である。

解析部１２は、商品認識の認識結果の信頼度を出力する。当該信頼度は、パターンマッチングで算出された類似度（認識した商品と画像に含まれる物体との類似度）であってもよい。解析部１２のその他の構成は、第１及び第２の実施形態と同様である。

出力部１３は、解析部１２により台に載置された物体がいずれの商品であるか認識された際に台に表示する情報を、認識結果の信頼度に応じて異ならせる。例えば、信頼度を「高」、「中」、「低」のように複数に階層分けし、階層毎に情報が用意されてもよい。例えば、出力部１３は、信頼度が「高」の場合に二重丸マークを台に表示し、信頼度が「中」の場合に丸マークを台に表示し、信頼度が「低」の場合にバツマークを台に表示してもよい。出力部１３のその他の構成は、第１及び第２の実施形態と同様である。

以上説明した本実施形態の登録装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、商品認識されたことのみならず、商品認識の信頼度を把握することができる。会計作業者は、信頼度が低い場合には、認識内容が間違っていないか確認することができる。本実施形態によれば、会計作業者は、全ての商品に対して認識内容が間違っていないか確認するのでなく、信頼度が低い商品に対してのみ認識内容の確認をすることができる。結果、作業の手間を省くことができる。

＜第５の実施形態＞
本実施形態の登録装置１０は、第１乃至第４の実施形態と異なるタイミングで台に情報を表示することができる。以下、詳細に説明する。

登録装置１０のハードウエア構成の一例は、第１乃至第４の実施形態と同様である。

登録装置１０の機能ブロック図の一例は、第１乃至第４の実施形態同様、図２で示される。画像取得部１１及び登録部１４の構成は、第１乃至第４の実施形態と同様である。

解析部１２は、動画像に含まれる複数のフレーム（画像）を連続的に解析する。そして、解析部１２は、第１のフレームの直前のフレームで認識されなかった第１の商品を第１のフレームで認識した後、第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、第１の商品が画像に含まれるという認識結果を確定する。所定の条件は、第１の商品を第１のフレームで認識した後、Ｍフレーム連続で第１の商品を認識することであってもよい（Ｍは１以上の整数）。解析部１２のその他の構成は、第１乃至第４の実施形態と同様である。

出力部１３は、解析部１２により第１の商品が第１のフレームで認識されると、第３の情報を台に表示する。そして、出力部１３は、解析部１２により上記所定の条件を満たすと判断されると、第２の情報を台に表示する。第３の情報は、画像解析のその他の状況に対応した情報（例：第１の情報、第２の情報）と異なる。出力部１３のその他の構成は、第１乃至第４の実施形態と同様である。

登録部１４は、第１の商品が画像に含まれるという認識結果を確定された後、第１の商品を会計対象として登録する。

以上説明した本実施形態の登録装置１０によれば、第１乃至第４の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置１０によれば、１つのフレームに対する解析結果だけでなく、複数のフレームに対する解析結果に基づいて、画像に含まれる商品の認識結果を確定することができる。結果、解析結果の信頼性を高めることができる。

また、本実施形態の登録装置１０によれば、会計作業者は、台に表示された情報に基づき、複数のフレームに対する解析結果に基づいて画像に含まれる商品の認識結果を確定する処理の進行状況を把握することができる。結果、会計作業者は、より詳細に画像解析の状況を把握できる。

ここで、すべての実施形態に適用可能な変形例を説明する。登録装置１０は、出力部１３による台への情報の表示をＯＮ／ＯＦＦする切替部を有してもよい。切替部は、ユーザ入力に応じてＯＮ／ＯＦＦを切り替えることができる。出力部１３による台への情報の表示がＯＮになっている場合、出力部１３は、解析部１２による画像の解析の進行状況に応じて、進行状況に対応した情報を台に表示する。一方、出力部１３による台への情報の表示がＯＦＦになっている場合、出力部１３は、解析部１２による画像の解析の進行状況に対応した情報を台に表示しない。台への情報の表示を煩わしく思う客や店舗は、登録装置１０を操作し、ＯＦＦ設定にすることで、台に情報が表示されることを回避できる。このように、当該変形例によれば、ユーザフレンドリーな構成を実現できる。

なお、出力部１３による台への情報の表示をＯＮ／ＯＦＦする切替部は、一部の商品群に関する情報の表示をＯＮ／ＯＦＦする機能を有してもよい。たとえば、特定の商品カテゴリに属する商品（生鮮食品、医薬品等）を識別した場合に、台へ情報を表示させる機能を有してもよい。または、特定の商品カテゴリに属する商品について、台への情報の表示を制限してもよい。または、所定の金額以上の商品について台への情報を表示させる機能や、所定の金額以下の商品について台への情報を表示させない機能であってもよい。切替部は物理的なスイッチであってもよいし、情報を表示する台に切替部のボタンを表示させてもよい。

すべての実施形態に適用可能な他の変形例を説明する。解析部１２により、物体が台に載置されたことを認識されたが、その物体がいずれの商品であるかを特定されない場合（商品認識されない場合）、出力部１３はその旨を示す情報を台に表示してもよい。当該情報は、画像解析のその他の状況に対応した情報（例：第１の情報、第２の情報、第３の情報）と異なる。商品認識されない場合は、例えば、上述した類似度が基準値以上となる商品が存在しない場合であってもよい。当該変形例によれば、会計作業者は、物体検出されているが、商品認識されない状況を、台に表示された情報に基づき把握することができる。結果、画像解析の状況を詳細に把握できる。

すべての実施形態に適用可能な他の変形例を説明する。解析部１２により商品認識され（第５の実施形態の場合、認識結果が確定され）、登録部１４により登録された商品（以下、「登録商品」）が、登録以降のフレーム画像（例：商品認識されたフレーム画像以降のフレーム画像、認識結果が確定されたフレーム画像以降のフレーム画像）において検出されなくなった場合、出力部１３は、その登録商品の元の載置位置（検出された最後のフレーム画像で特定された載置位置）にその旨を示す情報を表示する。出力部１３は、検出されない連続時間（検出されない連続フレーム数）に応じて、元の載置位置に表示した情報の態様を変化させてもよい。例えば、出力部１３は、元の載置位置に所定の情報（例：所定のマーク）を表示し、その情報の濃淡を上記連続時間が大きくなるに従いだんだんに薄くしてもよい。その他、出力部１３は、登録商品が検出されている間に元の載置位置に表示されていた情報（例：所定のマーク）の濃淡を、上記連続時間が大きくなるに従いだんだんに薄くしてもよい。

隠れやノイズなどで、一時的に載置された商品が検出されなくなる場合がある。連続フレームで検出と未検出が交互に入れ替わると、情報表示が不連続に変化してしまい、会計作業者にとって認識結果状況の把握が困難となる。討議変形例によれば、これを防止することができる。

以下、参考形態の例を付記する。
１． 商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
前記画像に含まれる前記商品を認識する解析手段と、
認識された前記商品を会計対象として登録する登録手段と、
前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段と、
を有する登録装置。
２． １に記載の登録装置において、
前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、第１の前記情報を前記台に表示する登録装置。
３． １又は２に記載の登録装置において、
前記出力手段は、前記解析手段により前記商品を認識されると、第２の前記情報を前記台に表示する登録装置。
４． ３に記載の登録装置において、
前記出力手段は、前記第２の情報を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
５． ３に記載の登録装置において、
前記出力手段は、前記第２の情報を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
６． ３から５のいずれかに記載の登録装置において、
前記解析手段は、第１のフレームの直前のフレームで認識されなかった第１の前記商品を前記第１のフレームで認識した後、前記第１のフレームの後のフレームに対する認識結果が所定の条件を満たすと、前記第１の商品が前記画像に含まれるという認識結果を確定し、
前記出力手段は、前記解析手段により前記第１の商品が前記第１のフレームで認識されると第３の前記情報を前記台に表示し、前記解析手段により前記所定の条件を満たすと判断されると前記第２の情報を前記台に表示する登録装置。
７． １から６のいずれかに記載の登録装置において、
前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると第１の色のマークを前記台に表示し、前記解析手段により前記商品を認識されると第２の色のマークを前記台に表示する登録装置。
８． １から７のいずれかに記載の登録装置において、
前記出力手段は、前記解析手段において前記商品の認識ができない物体が前記画像に含まれる場合、認識できないことを示す情報を前記台に表示する登録装置。
９． １から８のいずれかに記載の登録装置において、
前記出力手段は、前記登録手段により登録された商品が登録以降の画像において検出されなくなった場合、検出された最後の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くする登録装置。
１０． コンピュータが、
商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
前記画像に含まれる前記商品を認識する解析工程と、
認識された前記商品を会計対象として登録する登録工程と、
前記解析工程での前記画像の解析の進行状況に対応した情報を前記台に表示する出力工程と、
を実行する登録方法。
１１． コンピュータを、
商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
前記画像に含まれる前記商品を認識する解析手段、
認識された前記商品を会計対象として登録する登録手段、
前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段、
として機能させるプログラム。

Claims (9)

1. 商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
   前記画像に含まれる前記商品を認識する解析手段と、
   認識された前記商品を会計対象として登録する登録手段と、
   投影装置を用いて、又は前記台がディスプレイを備える場合は前記ディスプレイを用いて、前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段と、
   を有し、
   前記出力手段は、前記登録手段により登録された商品が登録された後の画像において検出されなくなった場合、登録以前の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くする登録装置。
2. 請求項１に記載の登録装置において、
   前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、前記進行状況に対応した情報として第１の情報を前記台に表示する登録装置。
3. 請求項１又は２に記載の登録装置において、
   前記出力手段は、前記解析手段により前記商品を認識されると、前記進行状況に対応した情報として第２の情報を前記台に表示する登録装置。
4. 請求項２に従属する請求項３に記載の登録装置において、
   前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると前記第１の情報として第１の色のマークを前記台に表示し、前記解析手段により前記商品を認識されると前記第２の情報として第２の色のマークを前記台に表示する登録装置。
5. 請求項３又は４に記載の登録装置において、
   前記出力手段は、前記第２の情報を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
6. 請求項３又は４に記載の登録装置において、
   前記出力手段は、前記第２の情報を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
7. 請求項１から６のいずれか１項に記載の登録装置において、
   前記出力手段は、前記解析手段において前記商品の認識ができない物体が前記画像に含まれる場合、認識できないことを示す情報を前記台に表示する登録装置。
8. コンピュータが、
   商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
   前記画像に含まれる前記商品を認識する解析工程と、
   認識された前記商品を会計対象として登録する登録工程と、
   投影装置を用いて、又は前記台がディスプレイを備える場合は前記ディスプレイを用いて、前記解析工程における前記画像の解析の進行状況に対応した情報を前記台に表示する出力工程と、
   を実行し、
   前記出力工程では、前記登録工程で登録された商品が登録された後の画像において検出されなくなった場合、登録以前の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くする登録方法。
9. コンピュータを、
   商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
   前記画像に含まれる前記商品を認識する解析手段、
   認識された前記商品を会計対象として登録する登録手段、
   投影装置を用いて、又は前記台がディスプレイを備える場合は前記ディスプレイを用いて、前記解析手段による前記画像の解析の進行状況に対応した情報を前記台に表示する出力手段、
   として機能させ、
   前記出力手段は、前記登録手段により登録された商品が登録された後の画像において検出されなくなった場合、登録以前の画像で特定された載置位置に所定の情報を表示し、検出されない連続時間が大きくなるに従い前記情報を薄くするプログラム。

Images