JP2016194834A - 整合判定方法、整合判定プログラム、及び整合判定装置 - Google Patents

Abstract

【課題】棚札表記の誤判定を抑制すること。
【解決手段】棚札の画像を取得し、取得した棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、商品識別情報と金額情報との対応関係を示す商品データを参照して、第１の色で示された情報から読み取った第１のデータと、第２の色で示された情報から読み取った第２のデータとが、対応関係を有するか否か判定し、判定の結果に応じた出力を行う。
【選択図】図３

Description

本発明は、整合判定方法、整合判定プログラム、及び整合判定装置に関する。

スーパーやドラッグストア等の小売店では、商品の価格を提示する棚札（値札）が商品陳列棚に取り付けられている。しかし、期間限定の特売セールの商品マスタの変更ミス等により棚札の表示価格とＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）システム上の実際の売価とが異なってしまうことがある。

ハンディターミナルを用いて商品の値札等を個別にスキャンし、ＰＯＳシステム上の売価と突き合わせれば、棚札の表示価格と実際の売価の確認を行なうことができる。しかしながら、この様な作業は、商品を個別にスキャンするため、作業効率が悪く、目視による確認であるため人為的過誤が発生し得る。

また、画像に含まれる棚札を認識し、認識された棚札から商品を識別するための商品識別情報を読み取り、更に認識された棚札に記載されている文字を認識し、読み取られた商品識別情報に対応して登録されている情報と、認識された文字との照合を行なう技術がある。

特開２０１２−５３７１１号公報

上記技術では、画像の文字認識において「円」が含まれる文字列を価格として読み取るため、棚札の価格の表記と「円」の表記とが離間している場合には、価格の認識が困難であり、様々な表記配置の棚札に適用が難しい。

一側面では、本発明は、棚札表記の誤判定を抑制することを目的とする。

整合判定方法の一観点では、棚札の画像を取得し、取得した棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、商品識別情報と金額情報との対応関係を示す商品データを参照して、第１の色で示された情報から読み取った第１のデータと、第２の色で示された情報から読み取った第２のデータとが、対応関係を有するか否か判定し、判定の結果に応じた出力を行なう。

本発明によれば、棚札表記の誤判定を抑制することができる。

図１は、整合判定装置のハードウェア構成例を示す図である。 図２は、棚札を含む画像の一例を示す図である。 図３は、第１実施形態に係る整合判定方法の一例を示すフローチャートである。 図４ａは、棚札を含む画像の一例を示す図である。 図４ｂは、図４ａの画像に基づき作成された判定結果画面の一例を示す図である。 図５は、第２実施形態に係る整合判定方法の一例を示すフローチャートである。

以下、添付図面を参照して各実施形態について詳細に説明する。各実施形態における各処理は適宜組み合わせることが可能である。なお、各実施形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

（第１実施形態）
本発明の各実施形態に係る整合判定装置のハードウェア構成例について、図１を用いて説明する。図１は、整合判定装置１００のハードウェア構成例を示す図である。整合判定装置１００としては、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット端末、スマートフォン、ハンディターミナル等の情報処理装置を用いても良い。整合判定装置１００には、各実施形態における整合判定プログラム（例えば、ソフトウェア）がインストールされている。整合判定装置１００は、インストールされた整合判定プログラムを用いて、以下に説明する整合判定方法を実施する。

整合判定装置１００は、制御部１０と、記憶部１１と、表示部１２と、ネットワーク接続部１３とを有し、これらはシステムバス１４で相互に接続されている。

制御部１０は、整合判定装置１００を制御するデバイスである。制御部１０としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の電子回路を用いても良い。制御部１０は、記憶部１１に格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等の処理を制御する。プログラムの実行中に必要となる各種情報等は、例えば記憶部１１から取得することができる。なお、各種の処理を専用のハードウェアを用いて実現しても良い。

記憶部１１は、主記憶装置及び補助記憶装置を含んでも良い。主記憶装置は、例えば、制御部１０に実行させるＯＳやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、主記憶装置は、制御部１０による処理に必要な各種データを記憶する。なお、主記憶装置としては、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いても良い。

補助記憶装置は、例えば、各実施形態に係る実行プログラムや、コンピュータに設けられた制御プログラム等を記憶する。補助記憶装置は、制御部１０からの制御信号に基づいて、記憶された各種情報の読み出しや、書き込みを行なうことができる。補助記憶装置としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ等を用いても良い。補助記憶装置は、各実施形態の整合判定の処理において使用される情報や整合判定の処理の結果を記憶しても良い。また、主記憶装置と補助記憶装置は、互いの機能を担い合っても良い。

表示部１２は、制御部１０からの制御信号に基づき、プログラムの実行経過や各実施形態に係る整合判定の結果等を表示する。表示部１２としては、例えば、液晶ディスプレイ、タッチパネル等を用いても良い。

ネットワーク接続部１３は、制御部１０からの制御信号に基づき、通信ネットワークを介して、他の端末やＰＯＳシステムサーバ等との通信を行なう。整合判定装置１００は、ネットワーク接続部１３を介して接続された外部装置等から各種プログラムや設定情報等を取得しても良い。また、整合判定装置１００は、ネットワーク接続部１３を介して、プログラムを実行することで得られた各実施形態における整合判定結果を外部装置等に提供することができる。なお、ネットワーク接続部は、有線、又は無線により通信ネットワークに接続する有線通信部、又は、無線通信部であっても良い。

上述したようなハードウェア構成により、整合判定装置１００は、各実施形態に係る整合判定を実行することができる。各機能をコンピュータに実行させることができるプログラムを、例えば汎用のＰＣ等にインストールすることで、ハードウェア資源とソフトウェアとが協働して各実施形態における整合判定が実行されるようにしても良い。

以下、第１実施形態に係る整合判定装置１００の各種処理について詳述する。図２は、棚札２１を含む画像２０の一例を示す。

制御部１０は、棚札２１を含む画像２０を取得し、取得した画像２０に含まれる棚札２１に第１の色で表記された情報２２（ここでは、ＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コードに対応する「４９０２１０２０７４９０２」）と第２の色で表記された情報２３（ここでは、価格に対応する「１７８」）を読み取る。より具体的には、制御部１０は、予め指定された第１の色情報及び第２の色情報に基づき、取得された画像２０に含まれる、第１の色で表記された情報２２及び第２の色で表記された情報２３のペアを特定する。更に、制御部１０は、特定した第１の色で表記された情報２２及び第２の色で表記された情報２３を文字情報に変換し、其々第１のデータ及び第２のデータとして抽出する。

第１の色情報及び第２の色情報とは、例えば、ユーザによって予め指定された２色の色情報である。色情報は、例えば、ＲＧＢ（レッド（Ｒｅｄ）、グリーン（Ｇｒｅｅｎ）、ブルー（Ｂｌｕｅ））表色系により定義される。この場合、例えば、第１の色がレッドの場合、例えば、第１の色情報はＲ（２５５）、Ｇ（０）、Ｂ（０）としても良い。第２の色がシアンの場合、例えば、第２の色情報はＲ（０）、Ｇ（２５５）、Ｂ（２５５）としても良い。また、色情報は、所定の数値範囲（閾値）を含むように設定しても良い。例えば、第１の色情報はＲ（２２０〜２５５）、Ｇ（０〜３０）、Ｂ（０〜３０）としても良い。

なお、第１の色及び第２の色の閾値を離すために、第１の色と第２の色とが反対色（例えば、レッドとシアン、グリーンとマゼンタ等）であること、又はＲＧＢの各値の閾値が異なることが好ましい。本発明はこれに限られるものではなく、色情報は、例えば、ＨＳＶ（色相(Ｈｕｅ)、彩度(Ｓａｔｕｒａｔｉｏｎ)、明度(Ｖａｌｕｅ)）表色系等の他の表色系により定義されても良い。

また、第１の色で表記された情報２２及び第２の色で表記された情報２３の文字情報への変換は、例えばＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いても良い。

制御部１０は、画像２０に含まれる第１の色で表記された情報２２及び第２の色で表記された情報２３の画像２０上の座標を特定し、特定された座標に基に、それぞれの間隔が最も短いもの同士を、第１の色で表記された情報２２と第２の色で表記された情報２３のペアとして特定しても良い。なお、画像２０上の座標は、例えば、画像２０の左下端を原点とし、横にＸ軸、縦にＹ軸と定義し、画像のピクセル毎にＸ軸Ｙ軸の数値を設定しても良い。

また、制御部１０は、画像２０に含まれる棚札２１を形状認識（方形、又は、所定の縦横比を有する長方形等）により特定し、特定した棚札２１の領域内に表記されている第１の色で表記された情報２２と、特定した棚札２１の領域内に表記されている第２の色で表記された情報２３とを、第１の色で表記された情報２２及び第２の色で表記された情報２３のペアとして特定しても良い。

第１の色で表記された情報２２に対応する第１のデータは、棚札２１に含まれる商品識別情報である。具体的に、商品識別情報としては、例えば、ＪＡＮコードを用いても良く、数値やアルファベットを含むコードを用いても良い。第２の色で表記された情報２３に対応する第２のデータは、棚札２１に含まれる商品の価格情報である。

制御部１０は、ネットワーク接続部１３を介してＰＯＳシステムサーバに記憶された各商品識別情報と各商品の価格情報とが対応付けられた商品データを参照し、商品識別情報と商品の価格情報の対応関係を取得する。例えば、制御部１０は、抽出した第１のデータ（商品識別情報）を、ネットワーク接続部１３を介してＰＯＳシステムサーバに送信し、ＰＯＳシステムサーバは、商品データを参照し、受信した商品識別情報に対応する商品の価格情報を整合判定装置１００に送信する。この際、ＰＯＳシステムサーバから商品識別情報と商品の価格情報のペアを送信するようにしても良い。

制御部１０は、取得した商品の価格情報と、第２のデータとが同一かどうかを判定する。

制御部１０は、判定結果を表示部１２に出力する。判定結果は、第１のデータと第２のデータとの対応関係に関するものである。判定結果は、例えば、商品データに含まれる商品の価格情報と、画像２０から抽出した第２のデータと、が一致している若しくは一致していない旨の情報を含んでも良い。また、判定結果は、例えば、商品データに含まれる商品の価格情報と、画像２０から抽出した第２のデータと、が一致していない棚札２１を抽出した情報でも良い。

更に、判定結果は、記憶部１１に記憶され、ネットワークや記録媒体を介して、他の装置で出力されても良い。

続いて図３を参照して、第１実施形態に係る整合判定方法の手順を説明する。図３は、第１実施形態に係る整合判定方法の一例を示すフローチャートである。

制御部１０は、撮像装置により撮像された画像２０を取得し、予め設定された第１の色情報及び第２の色情報に基づき、取得した画像２０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３とのペアを特定する（Ｓ１０１）。制御部１０は、特定したペアのうち、第１の色で表記された情報２２から文字情報である第１のデータを抽出し、特定したペアのうち、第２の色で表記された情報２３から文字情報である第２のデータを抽出する（Ｓ１０２）。

次に、制御部１０は、商品識別情報と商品の価格情報が対応付けられた商品データを参照し、抽出した第１のデータ（商品識別情報）に対応付けられた商品の価格情報を取得する（Ｓ１０３）。制御部１０は、取得した商品の価格情報に基づいて、第１のデータと第２のデータとの対応関係を判定する（Ｓ１０４）。制御部１０は、判定結果に基づく出力（例えば、表示）を行なう（Ｓ１０５）。

また、制御部１０は、画像２０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３の組み合わせ毎に、Ｓ１０１〜Ｓ１０５の処理を実行しても良い。これにより、画像２０に含まれる全ての棚札２１について、棚札２１に含まれる価格情報と、商品データに登録された価格情報との整合判定を実行することができる。

第１実施形態によれば、例えば、棚札２１を含む画像２０に基づいて、棚札２１に含まれる商品と価格情報の対応関係の整合性の判定を行なうことができる。これにより、ユーザは、画像２０に含まれる全ての棚札２１のうち、表示価格と実際の価格（販売価格）とに差がある棚札２１を一括して把握できるため、棚札２１の修正や取り替えを効率よく行なうことができる。また、整合判定装置１００は、棚札２１に表記されている色に基づいて整合判定を行なっているため、棚札２１内の価格情報等の表記位置に影響されることなく、整合判定を実行することができる。

なお、第１の色と第２の色とが反対色に相当する場合、制御部１０による第１の色で表記された情報２２及び第２の色で表記された情報２３の認識精度が向上するため、整合判定のエラーを抑制することができる。

更に、整合判定装置１００が撮像部を備える場合、撮像部により取得した画像２０に基づき、整合判定の処理を行なっても良い。また、整合判定装置１００は、他の端末や監視カメラの様な固定されたカメラ等で撮像された画像２０を、ネットワークや記憶媒体等を介して取得し、取得した画像２０に基づいて、整合判定の処理を行なっても良い。

（第２実施形態）
続いて、第２実施形態に係る整合判定装置１００の各種処理について詳述する。

第２実施形態に係る整合判定装置１００は、第１実施形態に係る整合判定の処理に加えて、撮像装置により撮像された画像４０に基づき判定結果画面４１を作成する処理を行なう。

図４ａは、棚札２１を含む画像４０の一例を示す。図４ｂは、図４ａの画像４０に基づき作成された判定結果画面４１の一例を示す。制御部１０は、画像４０に基づいて、判定結果画面４１を作成する。例えば、整合判定において第１のデータと第２のデータとが適正な対応関係を有していないと判定された棚札２１があった場合、制御部１０は、棚札２１に対応づけて、適正な対応関係を有していない旨の判定結果表示４２を画像４０に重畳し、判定結果画面４１を作成する。但し、本実施形態に係る判定結果画面４１は、これに限られるものではなく、例えば、棚札２１に対応付けて、適切な対応関係を有している旨の判定結果表示４２や読取りに失敗した旨の判定結果表示４２を含んでも良い。なお、判定結果表示４２の表示位置は、第１の色で表記された情報２２の認識位置、第２の色で表記された情報２３の認識位置、棚札２１の枠の認識位置等を指し示すようにしても良い。

続いて図５を参照して、第２実施形態に係る整合判定方法の手順を説明する。図５は、第２実施形態に係る整合判定方法の一例を示すフローチャートである。

制御部１０は、例えば、撮像装置により撮像された画像４０を取得し、予め設定された第１の色情報及び第２の色情報に基づき、取得した画像４０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３とのペアを特定する（Ｓ２０１）。制御部１０は、特定したペアのうち、第１の色で表記された情報２２から文字情報である第１のデータを抽出し、特定されたペアのうち、第２の色で表記された情報２３から文字情報である第２のデータを抽出する（Ｓ２０２）。

次に、制御部１０は、商品識別情報と商品の価格情報が対応付けられた商品データを参照し、抽出した第１のデータ（商品識別情報）に対応付けられた商品の価格情報を取得する（Ｓ２０３）。制御部１０は、取得した商品の価格情報に基づいて、第１のデータと第２のデータとの対応関係を判定する（Ｓ２０４）。制御部１０は、判定結果に基づく判定結果画面４１を作成する（Ｓ２０５）。制御部１０は、判定結果画面４１の出力を行なう（Ｓ２０６）。

また、制御部１０は、画像４０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３の組み合わせ毎に、Ｓ２０１〜Ｓ２０６の処理を実行しても良い。これにより、画像４０に含まれる全ての棚札２１について、棚札２１に含まれる価格情報と、商品データとして登録された価格情報との整合判定を実行することができる。

第２実施形態によれば、制御部１０は、判定対象の画像４０に基づき作成された判定結果画面４１を出力する。そのため、ユーザが、画像４０に含まれる適切な対応関係を有していない棚札２１や読取りに失敗した棚札２１等を、一見して確認できる判定結果画面４１を出力できる。

なお、本発明は、上述した各実施形態に記載した構成に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更することが可能である。

１００：整合判定装置
１０：制御部
１１：記憶部
１２：表示部
１３：ネットワーク接続部
１４：システムバス
２０，４０：画像
２１：棚札
２２：第１の色で表記された情報
２３：第２の色で表記された情報
４１：判定結果画面
４２：判定結果表示

Claims (7)

1. 棚札の画像を取得し、
   取得した前記棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、
   商品識別情報と金額情報との対応関係を示す商品データを参照して、前記第１の色で示された情報から読み取った前記第１のデータと、前記第２の色で示された情報から読み取った前記第２のデータとが、対応関係を有するか否か判定し、
   前記判定の結果に応じた出力を行う、
   処理をコンピュータが実行することを特徴とする棚札表記と商品データの整合判定方法。
2. 対応関係を有するか否かの前記判定において、前記商品データに記憶された商品識別情報と金額情報との関係と、前記第１のデータと前記第２のデータとの関係とが、同一である場合に、対応関係を有すると判定することを特徴とする請求項１に記載の棚札表記と商品データの整合判定方法。
3. 前記第１の色と前記第２の色とが反対色であることを特徴とする請求項１又は２に記載の棚札表記と商品データの整合判定方法。
4. 前記判定の結果に応じた出力において、
   前記判定の結果に応じて、前記画像に基づき作成された出力画面を出力することを特徴とする請求項１乃至３のいずれか１項に記載の棚札表記と商品データの整合判定方法。
5. 棚札の画像を取得し、
   取得した前記棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出する、
   処理をコンピュータが実行することを特徴とする棚札表記の整合判定方法。
6. コンピュータに、
   棚札の画像を取得し、
   取得した前記棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、
   商品識別情報と金額情報との対応関係を示す商品データを参照して、前記第１の色で示された情報から読み取った前記第１のデータと、前記第２の色で示された情報から読み取った前記第２のデータとが、対応関係を有するか否か判定し、
   前記判定の結果に応じた出力を行う、
   処理を実行させることを特徴とする棚札表記と商品データの整合判定プログラム。
7. 棚札の画像を取得し、取得した前記棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、商品識別情報と金額情報との対応関係を示す商品データを参照して、前記第１の色で示された情報から読み取った前記第１のデータと、前記第２の色で示された情報から読み取った前記第２のデータとが、対応関係を有するか否か判定し、前記判定の結果に応じた出力を行う制御部、
   を備えることを特徴とする棚札表記と商品データの整合判定装置。