JP2021103405A - 画像データの登録システム、画像データの登録方法及び精算システム - Google Patents

Abstract

【課題】簡便に未登録の物品の画像データが登録できるシステムを提供する。【解決手段】本発明の画像データの登録システムは第２のデータベースにおいて商品情報が未登録の商品の画像データを第１のデータベースから取得し、得られた画像データを前記商品情報と紐づけて、前記第２のデータベースに登録し、商品の画像データを用いて、演算部にて商品が正しく特定されるかどうかの特定を可能にする作業を行い、商品の画像データを基に前記演算部にて商品の特定可否を確認する。【選択図】図１

Description

本発明は、画像データの登録システム、画像データの登録方法及び精算システムに関するものである。

認識システムにおいて、カメラの撮像画像を用いて物品（商品）の自動識別を行う技術が開示されている（例えば、特許文献１）。

特開２０１７−２２０１９８号公報

このような認識システムにおいて、物品の自動識別のための画像データベースを構築するために、登録作業者が物品の画像データを大量に撮像する必要があり、作業が煩雑になる。

上述した目的を達成するため、本開示の一側面である画像データの登録システムは、センサから取得され、商品に関する未登録の画像データを格納する第１のデータベースと、前記画像に含まれる前記商品の特定を行う演算部と前記画像データを商品情報と紐づけて格納する第２のデータベースと、を備え、前記演算部は、前記画像データを用いて、前記商品が正しく特定されるかどうかの特定を可能にし、前記画像データを基に前記演算部にて前記商品の特定可否を判断することを含む。

また、本開示の一側面である画像データの登録方法は、商品に関する未登録の画像データを第１のデータベースから取得し、前記画像データを商品情報と紐づけて、第２のデータベースにて管理し、前記商品の画像データを用いて、演算部にて前記商品が正しく特定されるかどうかの特定を可能にし、前記商品の画像データを基に前記演算部にて前記商品の特定可否を確認することを含む。

上記のように構成された本開示によれば、簡便な画像データの登録システムを提供できる。

図１は、システムの例を示すブロック図である。 図２は、画像の登録フローの一例を示す図である。

以下、本発明の実施の形態について説明する。図１に、画像データの登録システムのブロック図の一例を示す。

センサ１は、小売店舗等に配置され、商品や製品等の物品（以下、商品と表記）の画像データを取得するセンサである。センサ１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等に代表される光学系カメラでもよいし、赤外線カメラでもよい。センサ１は、商品の外側から画像データを取得するものであればよい。

精算装置２は、例えばレジ等に代表される店舗に配置される支払精算装置である。精算装置２は、買い物の際に購入希望の商品が特定されると、客の現金、クレジットカードまたは決済機能を有する磁気カード等を受け付けて精算する精算機能を備える。精算装置２は、表示部、スピーカ部、プロセッサ、入力部（キー操作部またはタッチパネル部等）または通信部を備えていてもよい。

第１のデータベース３は、商品に関する未登録の画像データ等を格納している。第１のデータベース３に格納される画像データは、例えば商品の外観であるパッケージ用のデザインとなる画像データや商品の外観の意匠出願用の６面図等の画像データでもよい。あるいは新商品のパッケージを広告宣伝用に撮影した画像データでもよい。また製造工程においてパッケージの外観検査時に撮影された画像データでもよい。このようにして取得された画像は、それぞれ向きや形状等が様々に異なる画像が複数含まれやすい。

演算部４は、本開示の一側面である画像データの登録システムにおける各種処理を統合的に担う演算機能を含む。演算部４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含むプロセッサを含んで構成される。演算部４は、画像に含まれる物品を特定する。演算部４は例えば、深層学習を含む機械学習に基づくＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）エンジンまたはパターンマッチング処理を行うパターンマッチングエンジンを備える。演算部４は、ＡＩエンジンまたはパターンマッチングエンジンの双方を備えてもよい。当該商品の画像データを十分に学習させている場合やパターンマッチング用の画像データが多数登録されている場合、正しい商品の特定が可能である。なお、図示はしていないが、ＡＩエンジンまたはパターンマッチングエンジンが学習等のために用いる画像は、例えば第２のデータベース６に格納されている画像を用いてもよい。あるいは、別途ＡＩエンジンまたはパターンマッチングエンジンで用いる学習済みモデルまたは画像を含む第３のデータベースを備え、これを用いてもよい。

入力装置５は、本システムに対して何らかの情報、コマンドを入力する。キーボード、タッチパネルまたはマイク等を備えた情報が入力できる装置であればよい。なお、図１の例では、センサ１や精算装置２、入力装置５等は一つしか記載されていないが、実際は、店舗ごとに必要な数だけ準備されてもよい。もちろん、演算部４が各精算装置２やセンサ１ごとに備わっていてもよい。

第２のデータベース６は、物品の情報として、例えば、価格、割引率、製造者、製造年月日に加えて、当該商品の外形（パッケージや外観）の画像、赤外線またはＸ線による画像等の商品に係る画像データ等を格納している。

図２は、一実施例にかかる未登録の商品（例えば、発売開始直後の新商品）の情報及び画像を登録し、演算部４が商品を特定できるようにするためのフローを説明する図である。

この例では、例えば製造メーカや問屋などから送付されてきた商品リストなどから、消費者への販売、つまり製造メーカや問屋からの購入を希望する商品を入力装置５から指定する。あるいはこの指定は、入力装置５から直接商品の例えばＪＡＮコードまたは商品名等を含む商品識別子が従業員により入力されることにより行われてもよい。また、商品リストから第２のデータベース６に登録することをセレクトする操作に基づいて入力されてもよい。この場合、すでに商品の詳細情報を取得していればよいが、もし取得していない場合や更新がある場合は、詳細な商品情報を入手して第２のデータベース６に記録する。なお第２のデータベース６は、小売業社が管理するサーバ内に構築されてもよい。

次に、演算部４は、指定された商品のうち、少なくとも第２のデータベース６に登録されていない商品（以下、新商品）について詳細な商品情報を第２のデータベース６に登録する。

次に、演算部４は、新商品の画像データを第１のデータベース３から取得する。第１のデータベース３は例えば製造メーカや問屋等、小売側とは異なる者の管理するサーバであってもよい。

そして、演算部４は、第１のデータベース３から取得した新商品の画像データを第２のデータベース６に登録し、さらに新商品の画像データと新商品の詳細な商品情報とを紐づけて第２のデータベース６にて管理する。

次に、演算部４は、新商品の画像データを基に新商品の特定を可能にする。新商品の特定を可能にするために、画像データをＡＩエンジンに学習させること、エッジ検出技術等を用いて画像データの特徴を抽出して記憶すること、またはパターンマッチングを可能にすること等が実行されてよい。

次に、演算部４は、新商品の画像データを基に新商品の特定可否を判断する。これは例えば小売店舗用の精算装置２に備えられるセンサ１に新商品をかざし、新商品がきちんと正しく特定されたかどうかを確認することによって行われてもよい。

演算部４が正しく新商品を特定ができなかった場合や別の商品と間違えたりした場合、演算部４は、新商品の追加の画像データを第１のデータベース３に要求する。このときは、同じ新商品について、すでに登録されている画像データとは異なる画像データを第２のデータベース６に登録するとよい。例えば、すでに登録されている画像データが、商品の外観のパッケージデザインを印刷するためのデザイン画であった場合、例えば次の画像は、パッケージの外観検査時に取得された画像データであってもよい。そして、追加された画像データを用いて、演算部４は、再度、新商品の画像データを基に新商品の特定を可能にする。この追加される画像の入手及び登録、特定可能化作業のフローは、演算部４が所定の基準、例えば９５％以上の認識成功率を達成するなど、新商品を実用レベルで精算装置２にて正しく特定できると思われる基準を満たすまで行われる。なお、この基準は任意に設定してよい。

そして、新商品をセンサ１にかざして、演算部４が正しく新商品を特定できた場合、演算部４は、新商品の特定可能化を完了する。特定可能化を終了することによって、本開示の画像データ登録システムまたは画像の登録方法に基づいて小売店舗の精算装置２にて商品の精算が可能となる。なお、演算部４が実行する確認は、演算部４が正しい特定結果を出した時点で終了としてもよい。あるいは演算部４の結果に基づいて、新商品の商品情報を第２のデータベース６から読みだして、精算装置２にて正しく精算ができたことまでを確認することを実行してもよい。

なお、第２のデータベース６には、商品情報として、商品識別子、価格、割引率、外観パッケージ等の一あるいは複数の画像データ、製造者、製造年月日、原材料またはトレサビリティついて等の情報が登録されている。本開示の画像データの登録システムまたは画像の登録方法に基づいて、第２のデータベース６からの情報のうち、少なくとも精算装置２の精算に必要な情報が精算装置２に送信されて、当該商品の価格を加えた代金表示に変更する処理等を行う精算システムを備えてもよい。精算システムを備えることによって、精算装置２において商品の精算処理が可能となる。

１ センサ
２ 精算装置
３ 第１のデータベース
４ 演算部
５ 入力装置
６ 第２のデータベース

Claims (5)

1. 演算部を備え、
   前記演算部は、商品に関する未登録の画像データを第１データベースから取得し、
   前記画像データを商品情報と紐づけて、前記第２データベースにて管理し、
   前記画像データを用いて、前記商品の特定を可能にし、
   前記画像データを基に前記商品の特定可否を判断する、画像データの登録システム。
2. 前記演算部は、前記商品が正しく特定できなかった場合、前記商品の追加の画像データをさらに取得し、前記第２のデータベースに登録する請求項１に記載の画像データの登録システム。
3. 前記演算部は、前記追加の画像データを用いて前記商品の特定を可能にする、請求項２に記載の画像データの登録システム。
4. 商品の画像データがセンサから取得されると、前記演算部は前記画像データにかかる商品を特定し、精算装置にて精算する、請求項３に記載の画像データの登録システムを用いた精算システム。
5. 商品に関する未登録の画像データを第１のデータベースから取得し、
   前記画像データを商品情報と紐づけて、第２のデータベースにて管理し、
   前記商品の画像データを用いて、演算部にて前記商品の特定を可能にし、
   前記商品の画像データを基に前記演算部にて前記商品の特定可否を判断する画像データの登録方法。

Images