JP6209717B1 - 情報処理システム、情報処理方法、及びプログラム - Google Patents
情報処理システム、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6209717B1 JP6209717B1 JP2016236178A JP2016236178A JP6209717B1 JP 6209717 B1 JP6209717 B1 JP 6209717B1 JP 2016236178 A JP2016236178 A JP 2016236178A JP 2016236178 A JP2016236178 A JP 2016236178A JP 6209717 B1 JP6209717 B1 JP 6209717B1
- Authority
- JP
- Japan
- Prior art keywords
- product
- similar
- unit
- size
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 58
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012795 verification Methods 0.000 claims abstract description 100
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 78
- 238000000034 method Methods 0.000 description 49
- 238000004364 calculation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 10
- 240000000560 Citrus x paradisi Species 0.000 description 6
- 235000019640 taste Nutrition 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Image Analysis (AREA)
Abstract
【課題】次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、商品として特定する精度をより向上できるようにすること。【解決手段】情報処理システムは、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する検証部233を備え、検証部233は、物体の特徴を示す特徴点に対して、所定の条件を満たす認識率の商品候補ごとに、類似特徴点の数を特定する類似特徴点数特定部251と、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定部257と、を備える。【選択図】図5
Description
本発明は、情報処理システム、情報処理方法、及びプログラムに関する。
従来より、コンビニエンスストア、スーパーマーケットやショッピングセンター、各種の量販店などの商店では、購入者が商品棚から商品を取りショッピングカートや買い物かごに入れて商店の出口付近に設けられたレジまで運び、セルフキャッシュレジスターにより商品の代金の精算を行っている(例えば、特許文献1参照)。
ただし、レジでショッピングカートや買い物かごに入っている商品を精算する場合には、セルフレジであってもバーコードの読み取りが発生してしまうため、レジ待ちの列を解消することはできず、購入者は長時間レジ待ちをすることになる。
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
そこで、本出願人は、レジ等の所定領域に商品が置かれると、カメラで当該所定領域を撮像し、その結果得られる撮像画像から当該商品候補の物体を認識し、当該物体(商品候補)が如何なる商品であるのかを特定し、その特定された商品についての決済をするまでの一連の処理を実行可能な次世代レジシステムについて、既に特許出願をしている(特願2016−080624)。
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
そこで、本出願人は、レジ等の所定領域に商品が置かれると、カメラで当該所定領域を撮像し、その結果得られる撮像画像から当該商品候補の物体を認識し、当該物体(商品候補)が如何なる商品であるのかを特定し、その特定された商品についての決済をするまでの一連の処理を実行可能な次世代レジシステムについて、既に特許出願をしている(特願2016−080624)。
しかし、次世代レジシステムで用いるディープラーニングによる物体認識等では、物体認識の結果の認識精度が低く、認識率が高いが認識結果として迷いなく誤る場合、また認識率が低く認識結果として迷ったうえに誤る場合がある。その結果、誤ったまま又は迷ったまま物体をいずれかの商品として特定してしまうことがあった。
本発明は、このような状況に鑑みてなされたものであり、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、商品として特定する精度をより向上できるようにするものである。
上記目的を達成するため、本発明の一態様の情報処理システムは、
所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段と、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識手段と、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段と、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証手段と、
を備え、
前記検証手段は、
前記物体の特徴を示す特徴点に対して、所定の条件を満たす前記認識率の商品候補ごとに、類似特徴点の数を特定する類似特徴点数特定手段と、
前記物体を、前記類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定手段と、
を備える。
所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段と、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識手段と、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段と、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証手段と、
を備え、
前記検証手段は、
前記物体の特徴を示す特徴点に対して、所定の条件を満たす前記認識率の商品候補ごとに、類似特徴点の数を特定する類似特徴点数特定手段と、
前記物体を、前記類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定手段と、
を備える。
また、前記検証手段は、前記類似特徴点の数が最大となる前記商品候補に類似する商品として予め定められた類似商品のうち、前記物体がいずれの商品であるのかを判定する類似商品判定手段を更に備え、
前記類似特徴点数特定手段は、予め定められた類似商品があるか否かを判定し、
前記検証結果決定手段は、予め定められた類似商品が有る場合に、前記物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定することができる。
前記類似特徴点数特定手段は、予め定められた類似商品があるか否かを判定し、
前記検証結果決定手段は、予め定められた類似商品が有る場合に、前記物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定することができる。
また、前記類似商品判定手段は、
サイズ違いとなるサイズ違商品を前記類似商品から特定するサイズ違商品特定手段と、
前記物体の大きさと前記サイズ違商品の大きさとを比較して、前記物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定するサイズ比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体を、属すると判定されたサイズ違商品に決定することができる。
サイズ違いとなるサイズ違商品を前記類似商品から特定するサイズ違商品特定手段と、
前記物体の大きさと前記サイズ違商品の大きさとを比較して、前記物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定するサイズ比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体を、属すると判定されたサイズ違商品に決定することができる。
また、前記類似商品判定手段は、
色違いとなる色違商品を前記類似商品から特定する色違商品特定手段と、
前記物体のヒストグラムと前記色違商品のヒストグラムとを比較して、前記物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する色比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体について、前記物体のヒストグラムに対して所定類似度以上であり、且つ最も類似するヒストグラムをもつ色違商品に決定することができる。
色違いとなる色違商品を前記類似商品から特定する色違商品特定手段と、
前記物体のヒストグラムと前記色違商品のヒストグラムとを比較して、前記物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する色比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体について、前記物体のヒストグラムに対して所定類似度以上であり、且つ最も類似するヒストグラムをもつ色違商品に決定することができる。
本発明の一態様の情報処理方法及びプログラムは、上述の本発明の一態様の情報処理システムに対応する方法及びプログラムである。
本発明によれば、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、商品として特定する精度をより向上できるようにすることができる。
先ず、本発明の情報処理システムの概要について、説明する。
本発明の情報処理システムが適用される商品認識システム(次世代レジシステム)は、次の(1)が有する課題(2)を解決することができるものである。
(1)ディープラーニングによる物体認識では、何らかの結果(商品候補)をリスト出力していた。
つまり、上記特許出願(特願2016−080624)段階の次世代レジシステムでは、商品候補=商品名として出力していた。
(2)この場合、物体認識の結果を誤る又は迷っている場合、実体と異なる結果を出力する可能性がある。
特に、パッケージが似ているシリーズ・味違いの商品や、サイズ違いの商品の場合、課題(2)は顕著なものとなる。また、商品を裏返しにレジに置かれる等の想定される運用と異なる場合も、課題(2)は顕著なものとなる。
本発明の情報処理システムが適用される商品認識システム(次世代レジシステム)は、次の(1)が有する課題(2)を解決することができるものである。
(1)ディープラーニングによる物体認識では、何らかの結果(商品候補)をリスト出力していた。
つまり、上記特許出願(特願2016−080624)段階の次世代レジシステムでは、商品候補=商品名として出力していた。
(2)この場合、物体認識の結果を誤る又は迷っている場合、実体と異なる結果を出力する可能性がある。
特に、パッケージが似ているシリーズ・味違いの商品や、サイズ違いの商品の場合、課題(2)は顕著なものとなる。また、商品を裏返しにレジに置かれる等の想定される運用と異なる場合も、課題(2)は顕著なものとなる。
本明細書では、どのような商品か特定されていないものについて「物体」と呼ぶ。また、本明細書では、「物体」が商品として特定されたものを「商品」と呼ぶ。また、本明細書では、物体認識の結果、「商品」の候補としてリスト出力したものを「商品候補」と呼ぶ。
また、本明細書では、商品を特定するための情報(「商品情報」)が記憶されたデータベースのことを「商品DB」と呼ぶ。
また、本明細書では、「物体」の特徴を示す複数の点を「特徴点」と呼ぶ。また、「商品DB」の「商品情報」に含まれる「特徴点」と類似する「物体」の特徴点を「類似特徴点」と呼ぶ。また、本明細書では、「類似する」とは、「商品DB」の「商品情報」に含まれる「特徴点」ごとの局所特徴量と、「物体」の「特徴点」ごとの局所特徴量が類似していることを表している。
また、本明細書では、「商品情報」のうち、サイズの異なる商品を「サイズ違商品」と呼ぶ。また、本明細書では、「商品」のうち、味やシリーズの異なる商品を「色違商品」と呼ぶ。
また、本明細書では、「サイズ違商品」や「色違商品」を総称し、「類似商品」と呼ぶ。
また、本明細書では、商品を特定するための情報(「商品情報」)が記憶されたデータベースのことを「商品DB」と呼ぶ。
また、本明細書では、「物体」の特徴を示す複数の点を「特徴点」と呼ぶ。また、「商品DB」の「商品情報」に含まれる「特徴点」と類似する「物体」の特徴点を「類似特徴点」と呼ぶ。また、本明細書では、「類似する」とは、「商品DB」の「商品情報」に含まれる「特徴点」ごとの局所特徴量と、「物体」の「特徴点」ごとの局所特徴量が類似していることを表している。
また、本明細書では、「商品情報」のうち、サイズの異なる商品を「サイズ違商品」と呼ぶ。また、本明細書では、「商品」のうち、味やシリーズの異なる商品を「色違商品」と呼ぶ。
また、本明細書では、「サイズ違商品」や「色違商品」を総称し、「類似商品」と呼ぶ。
本発明が適用される情報処理システムは、少なくとも次の機能を有している。
即ち、本発明が適用される情報処理システムは、取得機能と、認識機能と、認識率算出機能と、検証機能と、を備える。また、検証機能は、類似特徴点数特定機能と、検証結果決定機能と、を備える。
取得機能とは、所定エリア(商品認識エリア)に置かれた物体が撮像された結果として得られる撮像画像を取得する機能である。
認識機能とは、取得された撮像画像に基づいて、物体の存在を認識する機能である。
認識率算出機能とは、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する機能である。
検証機能とは、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する機能である。
即ち、本発明が適用される情報処理システムは、取得機能と、認識機能と、認識率算出機能と、検証機能と、を備える。また、検証機能は、類似特徴点数特定機能と、検証結果決定機能と、を備える。
取得機能とは、所定エリア(商品認識エリア)に置かれた物体が撮像された結果として得られる撮像画像を取得する機能である。
認識機能とは、取得された撮像画像に基づいて、物体の存在を認識する機能である。
認識率算出機能とは、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する機能である。
検証機能とは、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する機能である。
類似特徴点数特定機能とは、物体の特徴を示す特徴点に対して、所定の条件を満たす認識率の商品候補ごとに、類似特徴点の数を特定する機能である。
検証結果決定機能とは、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する機能である。
ここで、「所定エリア」とは、物体が精算のために置かれる領域であり、物体の撮像が行われる「商品認識エリア」である。
検証結果決定機能とは、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する機能である。
ここで、「所定エリア」とは、物体が精算のために置かれる領域であり、物体の撮像が行われる「商品認識エリア」である。
このような、本発明が適用される情報処理システムは、次の処理(A)を実行することができる。
処理(A)とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、認識機能を発揮させて、物体の存在を認識する。ここで、物体の存在を認識するとは、背景差分等の画像処理方法により撮像画像に存在する物体の領域定義を行うことをいう。
次に、本発明が適用される情報処理システムは、認識率算出機能を発揮させて、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する。なお、商品候補の認識率の算出には、ディープラーニング、特定物体認識及び一般物体認識等の画像認識手法を用いることができる。
そして、本発明が適用される情報処理システムは、検証機能を発揮させて、認識率が所定の条件を満たした場合に、物体がいずれの商品であるのかを検証する。
処理(A)とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、認識機能を発揮させて、物体の存在を認識する。ここで、物体の存在を認識するとは、背景差分等の画像処理方法により撮像画像に存在する物体の領域定義を行うことをいう。
次に、本発明が適用される情報処理システムは、認識率算出機能を発揮させて、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する。なお、商品候補の認識率の算出には、ディープラーニング、特定物体認識及び一般物体認識等の画像認識手法を用いることができる。
そして、本発明が適用される情報処理システムは、検証機能を発揮させて、認識率が所定の条件を満たした場合に、物体がいずれの商品であるのかを検証する。
特に、本発明が適用される情報処理システムは、検証機能を発揮させる際に、まず、類似特徴点数特定機能を発揮させて、物体の特徴を示す特徴点に対して、所定の条件を満たす認識率の商品候補ごとに、類似特徴点の数を特定する。ここで、認識率が所定の条件を満たした商品候補ごとに類似特徴点の数を特定するとは、物体の特徴を示す特徴点の局所特徴量と、認識率が所定の条件を満たした商品候補の特徴を示す特徴点の局所特徴量とを比較(マッチング)して、認識率が所定の条件を満たした商品候補ごとに類似する特徴点の数を特定することをいう。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して商品として特定する精度をより向上できる。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して商品として特定する精度をより向上できる。
また、本発明が適用される情報処理システムにおいて、検証機能は、上述した機能に加えて更に、類似商品判定機能を備えることもできる。
類似商品判定機能とは、類似特徴点の数が最大となる商品候補に類似する商品として予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する機能である。
ここでは、類似特徴点数特定機能は、予め定められた類似商品があるか否かを判定する機能である。また、検証結果決定機能は、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定する機能である。
類似商品判定機能とは、類似特徴点の数が最大となる商品候補に類似する商品として予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する機能である。
ここでは、類似特徴点数特定機能は、予め定められた類似商品があるか否かを判定する機能である。また、検証結果決定機能は、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定する機能である。
このような、本発明が適用される情報処理システムは、次の処理(B)を実行することができる。
処理(B)とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、検証機能を発揮させる際に、類似特徴点数特定機能を発揮させて、予め定められた類似商品があるか否かを判定する。
更に、本発明が適用される情報処理システムは、検証機能を発揮させる際に、類似特徴点の数が最大となる商品候補に類似する商品として予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する。
次に、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に予め紐づけて定められた類似商品の間で物体を検証することができ、商品として特定する精度をより向上できる。
処理(B)とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、検証機能を発揮させる際に、類似特徴点数特定機能を発揮させて、予め定められた類似商品があるか否かを判定する。
更に、本発明が適用される情報処理システムは、検証機能を発揮させる際に、類似特徴点の数が最大となる商品候補に類似する商品として予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する。
次に、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に予め紐づけて定められた類似商品の間で物体を検証することができ、商品として特定する精度をより向上できる。
また、本発明が適用される情報処理システムにおいて、類似商品判定機能は、上述した機能に加えてさらに、サイズ違商品特定機能と、サイズ比較機能とを備えることもできる。
サイズ違商品特定機能は、サイズ違いとなるサイズ違商品を類似商品から特定する機能である。ここで、「サイズ違商品」とは、「類似商品」のうち、サイズの異なる「類似商品」をいう。
サイズ比較機能は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定する機能である。
ここでは、検証結果決定機能は、物体を、属すると判定されたサイズ違商品に決定する機能となる。
サイズ違商品特定機能は、サイズ違いとなるサイズ違商品を類似商品から特定する機能である。ここで、「サイズ違商品」とは、「類似商品」のうち、サイズの異なる「類似商品」をいう。
サイズ比較機能は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定する機能である。
ここでは、検証結果決定機能は、物体を、属すると判定されたサイズ違商品に決定する機能となる。
このような、本発明が適用される情報処理システムは、次の処理(C)を実行することができる。
処理(C)とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、類似特徴点数特定機能を発揮させた次に、サイズ違商品特定機能を発揮させて、サイズ違いとなるサイズ違商品を類似商品から特定する。
次に、本発明が適用される情報処理システムは、サイズ比較機能を発揮させて、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定する。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体を、属すると判定されたサイズ違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、サイズの異なるサイズ違商品の中からいずれのサイズ違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
処理(C)とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、類似特徴点数特定機能を発揮させた次に、サイズ違商品特定機能を発揮させて、サイズ違いとなるサイズ違商品を類似商品から特定する。
次に、本発明が適用される情報処理システムは、サイズ比較機能を発揮させて、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定する。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体を、属すると判定されたサイズ違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、サイズの異なるサイズ違商品の中からいずれのサイズ違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
また、本発明が適用される情報処理システムにおいて、類似商品判定機能は、上述した機能として、色違商品特定機能と、色比較機能とを備えることもできる。
色違商品特定機能は、色違いとなる色違商品を類似商品から特定する機能である。ここで、「色違商品」とは、「類似商品」のうち、味やシリーズの異なる「類似商品」をいう。
色比較機能は、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに類似するかを判定する機能である。
ここでは、検証結果決定機能は、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定する機能となる。
色違商品特定機能は、色違いとなる色違商品を類似商品から特定する機能である。ここで、「色違商品」とは、「類似商品」のうち、味やシリーズの異なる「類似商品」をいう。
色比較機能は、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに類似するかを判定する機能である。
ここでは、検証結果決定機能は、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定する機能となる。
このような、本発明が適用される情報処理システムは、次の処理(D)を実行することができる。
処理(D)とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、類似特徴点数特定機能を発揮させた次に、色違商品特定機能を発揮させて、色違いとなる色違商品を類似商品から特定する。
次に、本発明が適用される情報処理システムは、色比較機能を発揮させて、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、味やシリーズの異なる色違商品があったとしても、味やシリーズの異なる色違商品の中からいずれの色違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
処理(D)とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、類似特徴点数特定機能を発揮させた次に、色違商品特定機能を発揮させて、色違いとなる色違商品を類似商品から特定する。
次に、本発明が適用される情報処理システムは、色比較機能を発揮させて、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、味やシリーズの異なる色違商品があったとしても、味やシリーズの異なる色違商品の中からいずれの色違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
次に、図面を参照しながら、本発明の情報処理システムの一実施形態について説明する。
図1は、本発明の情報処理システムの一実施形態の構成図である。
本実施形態の情報処理システムは、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない(認識できなかった)ことを最終結果として出力する技術を実現すべく、図1に示すような構成を有している。
即ち、本発明の一実施形態としての情報処理システムは、サーバと、n台(nは任意の整数)のレジ端末2−1乃至2−nと、表示端末3と、を有している。
サーバ1と、レジ端末2−1乃至2−nとの夫々は、インターネット(Internet)回線等のネットワークNを介して相互に接続されている。
なお、説明の便宜上、図1のサーバは1台しか描画されていないが、実際にはそれぞれ複数台の場合がある。
また、以下、レジ端末2−1乃至2−nを個々に区別する必要がない場合、これらをまとめて「レジ端末2」と呼ぶ。
図1は、本発明の情報処理システムの一実施形態の構成図である。
本実施形態の情報処理システムは、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない(認識できなかった)ことを最終結果として出力する技術を実現すべく、図1に示すような構成を有している。
即ち、本発明の一実施形態としての情報処理システムは、サーバと、n台(nは任意の整数)のレジ端末2−1乃至2−nと、表示端末3と、を有している。
サーバ1と、レジ端末2−1乃至2−nとの夫々は、インターネット(Internet)回線等のネットワークNを介して相互に接続されている。
なお、説明の便宜上、図1のサーバは1台しか描画されていないが、実際にはそれぞれ複数台の場合がある。
また、以下、レジ端末2−1乃至2−nを個々に区別する必要がない場合、これらをまとめて「レジ端末2」と呼ぶ。
サーバ1は、レジ端末2の各動作を管理すべく、各種処理を実行する。
レジ端末2は、商品認識エリアと、1台以上のカメラと、1つ以上の表示部を備える。商品認識エリアは、認識対象の物体が載置される領域である。1台以上のカメラは、商品認識エリアに置かれた物体を撮像する。本実施形態では、レジ端末2は、2つの表示部を備えており、一方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する。2つの表示部のうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを販売者に提示するための販売者用画面を表示する。なお、レジ端末2の外観構成の具体例は、図4を参照して後述する。
表示端末3は、商店の販売者等が操作する情報処理端末であって、例えばタブレット端末、スマートフォン等で構成される。
レジ端末2は、商品認識エリアと、1台以上のカメラと、1つ以上の表示部を備える。商品認識エリアは、認識対象の物体が載置される領域である。1台以上のカメラは、商品認識エリアに置かれた物体を撮像する。本実施形態では、レジ端末2は、2つの表示部を備えており、一方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する。2つの表示部のうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを販売者に提示するための販売者用画面を表示する。なお、レジ端末2の外観構成の具体例は、図4を参照して後述する。
表示端末3は、商店の販売者等が操作する情報処理端末であって、例えばタブレット端末、スマートフォン等で構成される。
本実施形態の情報処理システムでは、次のような動作(処理)が実行される。
即ち、本発明の情報処理システムでは、レジ端末2は、商品情報を、商品DB402(図5)に記憶して管理する。
即ち、本発明の情報処理システムでは、レジ端末2は、商品情報を、商品DB402(図5)に記憶して管理する。
レジ端末2は、レジ端末2の商品認識エリアに物体が置かれると、置かれた物体を撮像し、撮像の結果として得られる撮像画像を取得する。
レジ端末2は、取得した撮像画像について、上述した所定の画像認識手法を用いることにより商品認識エリアに置かれた物体の存在を認識する。
レジ端末2は、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する。
レジ端末2は、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する。
レジ端末2は、取得した撮像画像について、上述した所定の画像認識手法を用いることにより商品認識エリアに置かれた物体の存在を認識する。
レジ端末2は、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する。
レジ端末2は、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する。
具体的には、レジ端末2は、物体の特徴を示す特徴点に対して、所定の条件を満たす認識率の商品候補ごとに、類似特徴点の数を特定する。ここで、認識率が所定の条件を満たした商品候補ごとに類似特徴点の数を特定するとは、物体の特徴を示す特徴点の局所特徴量と、認識率が所定の条件を満たした商品候補の特徴を示す特徴点の局所特徴量とを比較(マッチング)して、認識率が所定の条件を満たした商品候補ごとに類似する特徴点の数を特定することをいう。また、物体の特徴を示す特徴点とは、物体の撮像画像に被写体として含まれる物体の像のエッジ又は内部の点(画素又はブロック)をいう。
レジ端末2は、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して商品として特定する精度をより向上できる。
レジ端末2は、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して商品として特定する精度をより向上できる。
さらに検証精度を向上するために、レジ端末2は、予め定められた類似商品があるか否かを判定する。
レジ端末2は、類似特徴点の数が最大となる商品候補に類似する商品として予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する。
レジ端末2は、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に予め紐づけて定められた類似商品の間で物体を検証することができ、商品として特定する精度をより向上できる。
レジ端末2は、類似特徴点の数が最大となる商品候補に類似する商品として予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する。
レジ端末2は、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に予め紐づけて定められた類似商品の間で物体を検証することができ、商品として特定する精度をより向上できる。
類似商品のうちいずれかの商品であるのかを特定するために、レジ端末2は、サイズ違いとなるサイズ違商品を類似商品から特定する。
レジ端末2は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判定する。
そして、レジ端末2は、物体を、属すると判定されたサイズ違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、サイズの異なるサイズ違商品の中からいずれのサイズ違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
レジ端末2は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判定する。
そして、レジ端末2は、物体を、属すると判定されたサイズ違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、サイズの異なるサイズ違商品の中からいずれのサイズ違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
また、類似商品のうちいずれかの商品であるのかを特定するために、レジ端末2は、色違いとなる色違商品を類似商品から特定する。
レジ端末2は、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する。なお、物体のヒストグラムとは、物体を撮像した画像に被写体として含まれる物体の色彩に関する特徴を示したものである。また、色違商品のヒストグラムとは、色違商品の商品情報に含まれる色違商品の色彩に関する特徴を示したものである。
レジ端末2は、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、味やシリーズの異なる色違商品があったとしても、味やシリーズの異なる色違商品の中からいずれの色違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
なお、サーバ1が実行するこれらの処理の詳細については、図5の機能ブロック図を参照して後述する。
レジ端末2は、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する。なお、物体のヒストグラムとは、物体を撮像した画像に被写体として含まれる物体の色彩に関する特徴を示したものである。また、色違商品のヒストグラムとは、色違商品の商品情報に含まれる色違商品の色彩に関する特徴を示したものである。
レジ端末2は、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定する。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、味やシリーズの異なる色違商品があったとしても、味やシリーズの異なる色違商品の中からいずれの色違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
なお、サーバ1が実行するこれらの処理の詳細については、図5の機能ブロック図を参照して後述する。
図2は、図1の情報処理システムを構成するサーバ1のハードウェア構成を示すブロック図である。
サーバ1は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、バス104と、入出力インターフェース105と、出力部106と、入力部107と、記憶部108と、通信部109と、ドライブ110と、を備えている。
CPU101は、ROM102に記録されているプログラム、又は、記憶部108からRAM103にロードされたプログラムに従って各種の処理を実行する。
RAM103には、CPU101が各種の処理を実行する上において必要なデータ等も適宜記憶される。
RAM103には、CPU101が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU101、ROM102及びRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インターフェース105も接続されている。入出力インターフェース105には、出力部106、入力部107、記憶部108、通信部109及びドライブ110が接続されている。
出力部106は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部107は、キーボードやマウス、タッチパネル等で構成され、各種情報を入力する。
入力部107は、キーボードやマウス、タッチパネル等で構成され、各種情報を入力する。
記憶部108は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部109は、インターネットを含むネットワークNを介して他の装置(図1の例ではレジ端末2−1乃至2−n)との間で通信を行う。
通信部109は、インターネットを含むネットワークNを介して他の装置(図1の例ではレジ端末2−1乃至2−n)との間で通信を行う。
ドライブ110には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア120が適宜装着される。ドライブ110によってリムーバブルメディア120から読み出されたプログラムは、必要に応じて記憶部108にインストールされる。
また、リムーバブルメディア120は、記憶部108に記憶されている各種データも、記憶部108と同様に記憶することができる。
また、リムーバブルメディア120は、記憶部108に記憶されている各種データも、記憶部108と同様に記憶することができる。
図3は、図1の情報処理システムを構成するレジ端末2のハードウェア構成を示すブロック図である。
レジ端末2は、CPU201乃至ドライブ211を備えている。
出力部206は、ディスプレイ(表示部D)やスピーカ等で構成され、各種情報を画像や音声として出力する。
撮像部208は、1台以上のカメラ等で構成され、商品及び商品の購入者を撮像する。
CPU201乃至出入力インターフェース205、入力部207、記憶部209及びドライブ211の夫々は、図2のCPU101乃至ドライブ110の夫々と基本的に同様の機能と構成を有している。従って、これらの説明は省略する。
出力部206は、ディスプレイ(表示部D)やスピーカ等で構成され、各種情報を画像や音声として出力する。
撮像部208は、1台以上のカメラ等で構成され、商品及び商品の購入者を撮像する。
CPU201乃至出入力インターフェース205、入力部207、記憶部209及びドライブ211の夫々は、図2のCPU101乃至ドライブ110の夫々と基本的に同様の機能と構成を有している。従って、これらの説明は省略する。
ドライブ211には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア220が適宜装着される。ドライブ211によってリムーバブルメディア220から読み出されたプログラムは、必要に応じて記憶部209にインストールされる。
また、リムーバブルメディア220は、記憶部209に記憶されている各種データも、記憶部209と同様に記憶することができる。
また、リムーバブルメディア220は、記憶部209に記憶されている各種データも、記憶部209と同様に記憶することができる。
図4は、図3のレジ端末2の外観構成の例を示す図である。
図4に示すように、レジ端末2は、商品認識エリアAと、2台のカメラ(撮像部208)と、1つ以上の表示部D(出力部206)と、を備える。商品認識エリアAは、認識対象の商品が載置される領域である。
2つの表示部Dのうち一方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する。2つの表示部Dのうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを販売者に提示するための販売者用画面を表示する。
なお、図4に示された2台のカメラのうち一方は、商品認識エリアAを上から見下ろすように設置され、商品認識エリアAに置かれた商品を上から撮像する。2台カメラのうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する表示部Dの上部に設置され、購入者を撮像する。なお、図4の例では、商品を上から撮像するカメラ1台のみが記載されているが、商品を撮像するカメラの角度は図4の例に限定されない。例えば商品を横から撮像することとしてもよい。また、商品を複数の角度から撮像するために2台以上のカメラを設置することとしてもよい。
2つの表示部Dのうち一方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する。2つの表示部Dのうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを販売者に提示するための販売者用画面を表示する。
なお、図4に示された2台のカメラのうち一方は、商品認識エリアAを上から見下ろすように設置され、商品認識エリアAに置かれた商品を上から撮像する。2台カメラのうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する表示部Dの上部に設置され、購入者を撮像する。なお、図4の例では、商品を上から撮像するカメラ1台のみが記載されているが、商品を撮像するカメラの角度は図4の例に限定されない。例えば商品を横から撮像することとしてもよい。また、商品を複数の角度から撮像するために2台以上のカメラを設置することとしてもよい。
図5は、図2のサーバ1と図3のレジ端末2との機能的構成の一例を示す機能ブロック図である。
サーバ1のCPU(図2)においては、図5に示すように、DB管理部301が機能する。
記憶部108(図2)の一領域には、商品DB402が設けられている。
記憶部108(図2)の一領域には、商品DB402が設けられている。
DB管理部301は、商品DB402に記憶された商品情報を管理する。
レジ端末2のCPU201(図3)においては、図5に示すように、認識ボタン判定部230と、画像取得部229と、存在認識部232と、表示制御部234と、認識率算出部239と、検証部233と、出力制御部238と、精算部235と、が機能する。
認識ボタン判定部230は、認識ボタンが押下されたかどうかを判定する。具体的には、認識ボタン判定部230は、レジ端末2の表示部Dに表示された画面の商品認識ボタンが押下されたかどうかを判定する。
画像取得部229は、撮像部208(図3)によって撮像された、商品認識エリアAに置かれた物体を取得する。
存在認識部232は、上述した所定の画像認識手法を用いて、商品認識エリアAに置かれた物体の存在を認識する。
表示制御部234は、取得された撮像画像及び当該撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。具体的には、表示制御部234は、取得された撮像画像及び当該撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、出力部206(表示部D)に表示する制御を実行する。
存在認識部232は、上述した所定の画像認識手法を用いて、商品認識エリアAに置かれた物体の存在を認識する。
表示制御部234は、取得された撮像画像及び当該撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。具体的には、表示制御部234は、取得された撮像画像及び当該撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、出力部206(表示部D)に表示する制御を実行する。
認識率算出部239は、商品エリアAに置かれた物体に対する複数の商品候補のそれぞれの認識率を算出する。認識率算出部239は、図10に示すように認識率が所定の条件(例えば、所定のしきい値であり、認識率1%以上)を満たす商品候補のリストを作成する。なお、認識率算出部239は、全ての商品候補の認識率が所定の条件を超えない場合に、商品を特定できないと判定してもよい。
検証部233は、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する。検証部233については後述する。
出力制御部238は、検証部233による検証結果を出力する制御を実行する。例えば、出力制御部238は、図16に示すように、表示部Dに、特定された商品名を出力する制御を実行する。また、例えば、出力制御部238は、表示部Dに商品を特定できなかった旨を出力する制御を実行する。出力制御部238は、特定された商品名及び特定できなかった旨を表示端末3に出力する制御を実行してもよい。
出力制御部238は、検証部233による検証結果を出力する制御を実行する。例えば、出力制御部238は、図16に示すように、表示部Dに、特定された商品名を出力する制御を実行する。また、例えば、出力制御部238は、表示部Dに商品を特定できなかった旨を出力する制御を実行する。出力制御部238は、特定された商品名及び特定できなかった旨を表示端末3に出力する制御を実行してもよい。
精算部235は、商品認識エリアAに置かれた商品を精算する。例えば、精算部235は、商品認識エリアAに置かれた商品の価格を商品DB情報保持部241から読み出して加算して表示部Dに表示させることにより、精算を実施することができる。なお、精算部235は、特定できなかった商品について、入力部207や表示端末3から商品を特定する入力を受け付けることにより、特定された商品として精算することができる。
レジ端末2のCPU(図3)においては、図6に示すように、検証部233として、類似特徴点数特定部251と、類似商品判定部252と、検証結果決定部257と、が機能する。
類似特徴点数特定部251は、物体の特徴を示す特徴点に対して、所定の条件を満たす認識率の商品候補ごとに、類似特徴点の数を特定する。具体的には、類似特徴点数特定部251は、図10に示すような、所定の条件を満たす認識率の商品候補のリストを認識率算出部239から取得する。また、類似特徴点数特定部251は、図11に示すような、所定の条件を満たす認識率の商品候補のリストに対応する商品ごとの特徴点及び局所特徴量を含む商品情報をDB情報保持部241から読み出す。そして、類似特徴点数特定部251は、物体の特徴点と読み出された商品情報に含まれる特徴点とを比較する。類似特徴点数特定部251は、例えば図12〜14に示すように、商品候補のそれぞれの類似特徴点の数をリスト化する。
特徴点の比較に関し、類似特徴点数特定部251は、物体の複数の特徴点及びそれぞれの局所特徴量に対して、読み出された商品情報の複数の特徴点及びそれぞれの局所特徴量について類似する特徴点を決定する。また、類似特徴点数特定部251は、決定した特徴点の相対的な位置関係(例えば、座標等)について、物体の平面回転、並進による物体の特徴点との対応関係を比較する。そして、類似特徴点数特定部251は、決定した特徴点から、物体の特徴点の位置関係に対応しない特徴点を除去して、その残りの特徴点を類似特徴点として数を特定する。類似特徴点数特定部251は、類似特徴点の数が所定数以上、且つ最も多い商品候補を商品に最も類似する商品候補に仮決定する。
また、類似特徴点数特定部251は、図15に示すような商品候補に対して類似する商品として予め定められた類似商品(例えば、図15の類似商品ID21で示される商品情報)のデータをDB情報保持部241から読み出す。類似特徴点数特定部251は、類似特徴点の数を最も多くもつ商品候補が属する類似商品のリストを作成する。例えば、図14及び図15に示すように、類似特徴点の数を最も多くもつSPジュースグレープフルーツ(500ml)(商品A)が含まれる類似商品の群として予め定められる類似商品ID21が付された商品情報を類似商品判定部252に送るリストとすることができる。なお、類似特徴点数特定部251が作成する類似商品のリストは、認識率算出部239によって算出された認識率が所定の条件を満たしているか否かに関わらず、類似商品の群として商品情報に予め定められた商品情報が含まれるリストである。
類似商品判定部252は、類似特徴点の数を最も多くもつ商品候補に類似する商品として予め定められた類似商品から物体がいずれの商品であるのかを判定する。即ち、類似商品判定部252は、類似特徴点数特定部251から送られた類似商品のリストを用いて、予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する。この類似商品判定部252として、サイズ違商品特定部253と、サイズ比較部254と、色違商品特定部255と、色比較部256と、が機能する。
サイズ違商品特定部253は、類似特徴点数特定部251に送られた類似商品のリストから、サイズ違いとなるサイズ違商品を特定する。例えば、サイズ違商品特定部253は、図15に類似商品ID21で示される類似商品のうち、SPジュースグレープフルーツ(500ml)と、SPジュースグレープフルーツ(350ml)と、SPジュースオレンジ(500ml)と、SPジュースリンゴ(500ml)とをサイズ違商品として特定する。
サイズ比較部254は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判定する。例えば、サイズ比較部254は、物体のサイズと、図15に示すSPジュースグレープフルーツ(500ml)、SPジュースオレンジ(500ml)、SPジュースリンゴ(500ml)と、SPジュースグレープフルーツ(350ml)とのいずれの類似商品の大きさの範囲に属するか判定する。なお、サイズ比較部254は、類似商品のそれぞれに設定されている大きさを中心値として予め定められた誤差範囲(大きさのしきい値)内に物体の大きさが属するか否かを判定する。ここで、誤差範囲(大きさのしきい値)は、類似商品の間の大きさの違い(大きさの開き)等に基づいて、排他的に類似商品ごとに予め定められていてもよい。誤差範囲は、商品情報に含まれて商品DB402に格納されていてもよい。
色違商品特定部255は、特定された商品の色違いとなる色違商品を類似商品から特定する。例えば、色違商品特定部255は、図15に類似商品ID21で示される類似商品のうち、シリーズ違いとされている類似商品を色違商品として特定する。色違商品特定部255は、図11に示される商品情報から、色違商品のヒストグラムを取得する。
色比較部256は、物体のヒストグラムと、色違商品のヒストグラムとを比較して、物体の色がいずれの色違商品に対して類似するかを判定する。具体的には、色比較部256は、物体を撮像した撮像画像から、物体のヒストグラムを取得する。また、色比較部256は、色違商品特定部255から色違商品のヒストグラムを取得する。そして、色比較部256は、物体のヒストグラムがいずれの色違商品のヒストグラムに対して所定類似度に達しているか(しきい値以上の類似度であるか)を判定する。
ここで、類似度のしきい値は、類似商品の間のヒストグラムの違い(色の違いの開き)等に基づいて類似商品ごとに予め定められていてもよい。類似度のしきい値は、商品情報に含まれて商品DB402に格納されていてもよい。
検証結果決定部257は、類似特徴点数特定部251において特定された類似特徴点の数のうち、最大となる類似特徴点の数が所定数(類似特徴点の数のしきい値)を超えていない場合(例えば図13参照)に、物体をいずれの商品であるのか特定しないことを決定する。また、検証結果決定部257は、類似商品があり、類似商品判定部252において物体が類似商品のうちいずれの商品であるのかが特定できない場合に、物体をいずれの商品であるのか特定しないことを検証結果として決定する。一方、検証結果決定部257は、類似商品(例えば、サイズ違商品及び色違商品)が無い場合、物体を、類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する。
さらに、検証結果決定部257は、サイズ違商品がある場合、サイズ比較部254によって物体の大きさが1つのサイズ違商品の大きさのしきい値範囲に属すると判定されると、物体が属する1つのサイズ違商品であることを検証結果として決定する。一方、検証結果決定部257は、サイズ比較部254によって物体の大きさがいずれのサイズ違商品大きさのしきい値範囲にも属さないと判定されると、物体をいずれの商品であるのか特定しないことを検証結果として決定する。
さらに、検証結果決定部257は、色違商品がある場合、色比較部256によって物体のヒストグラムが1以上の色違商品のヒストグラムに対して所定類似度に達していると判定すると、物体が最も類似するヒストグラムをもつ色違商品であることを検証結果として決定する。一方、検証結果決定部257は、色比較部256によって物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達していないと判定されると、物体をいずれの商品であるのか特定しないことを検証結果として決定する。検証結果決定部257は、決定された結果に基づいて物体を商品として特定する。
また、DB情報保持部241は、商品情報を保持する。商品情報は、サーバ1のDB管理部301からDB情報保持部241に送信される。なお、上述したように、DB情報保持部241によって保持される商品情報は、認識率算出部239による認識率の算出と、検証部233による検証に用いられる。
次に、本発明の情報処理システムにおいて、商品が商品認識エリアAに置かれてから、商品が精算されるまでの一連の処理(以下、「商品特定処理」と呼ぶ)について説明する。
図7は、図5のサーバ1とレジ端末2とが実行する商品特定処理を説明するフローチャートである。
図7は、図5のサーバ1とレジ端末2とが実行する商品特定処理を説明するフローチャートである。
ステップS1において、購入者によって物体が商品認識エリアAに置かれた後、認識ボタンが押下されたかどうかが判定される。認識ボタン判定部230は、購入者によって認識ボタンが押下されたかどうかを判定する。
ステップS1において、認識ボタンの押下が判定されると、ステップS1においてYESと判定され、処理はステップS2に進む。これに対して、認識ボタンの押下が確認できない場合には、ステップS1においてNOと判定されて、認識ボタンが押下されるまで待機する。
ステップS2において、撮像部208は、レジ端末2の商品認識エリアAを撮像する。
ステップS3において、画像取得部229は、レジ端末2の商品認識エリアAの撮像画像を取得する。画像取得部229は、撮像した画像を表示制御部234に送る。表示制御部234は、画像取得部229から送られた撮像画像に基づいて、加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。表示制御部234は、例えば、動画として撮影した画像を表示させる制御を実行する。
ステップS2において、撮像部208は、レジ端末2の商品認識エリアAを撮像する。
ステップS3において、画像取得部229は、レジ端末2の商品認識エリアAの撮像画像を取得する。画像取得部229は、撮像した画像を表示制御部234に送る。表示制御部234は、画像取得部229から送られた撮像画像に基づいて、加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。表示制御部234は、例えば、動画として撮影した画像を表示させる制御を実行する。
ステップS4において存在認識部232は、商品認識エリアAを撮像した撮像画像から、物体の存在を認識する。さらに、存在認識部232は、商品認識エリアAを撮像した物体撮像画像から、物体毎の画像領域を特定する。
ステップS5において、認識率算出部239は、商品認識エリアAに置かれている物体に対する複数の商品候補のそれぞれの認識率を算出する。
認識率算出部239が商品候補の認識率を算出した結果、認識率が条件を満たしている場合には、ステップS6においてYESと判定され、処理はステップS7に進む。一方、認識率が条件を満たしていない場合には、ステップS6においてNOと判定され、処理はステップS8に進む。ここで、認識率の条件とは、最も高い商品候補の認識率が所定の値以上であることをいう。
ステップS7において、検証部233は、物体が特定された商品であるか否かを検証する。
検証部233が検証した結果、物体をいずれの商品であるのか特定できない場合、ステップS8においてYESと判定され、処理はステップS9に進む。一方、物体が特定された場合、処理はステップS10に進む。また、ステップS6において認識率が条件を満たしていない場合、処理はステップS9に進む。
検証部233が検証した結果、物体をいずれの商品であるのか特定できない場合、ステップS8においてYESと判定され、処理はステップS9に進む。一方、物体が特定された場合、処理はステップS10に進む。また、ステップS6において認識率が条件を満たしていない場合、処理はステップS9に進む。
ステップS9において、出力制御部238は、物体がいずれの商品であるのか特定できないことを表示部Dに出力する。例えば、出力制御部238は、図16に示すように、特定できない物体を「特定不能」として表示部Dに表示させる。一方、出力制御部238は、特定できた物体について、その商品名等を表示部Dに表示する。例えば、出力制御部238は、図16に示すように、特定された物体を商品「SPジュースグレープフルーツ(500ml)」として表示部Dに表示させる。
ステップS10において、出力制御部238は、特定された商品の商品名等を表示部Dに表示させる。
ステップS11において、精算部235は、特定された商品について精算する。なお、精算部235は、特定できない商品について、入力部207や表示端末3から商品を特定する入力を受け付けることにより特定された商品を合わせて精算することができる。
次に、本発明の情報処理システムにおいて、物体が特定された商品であるか否かを検証する一連の処理(以下、「検証処理」と呼ぶ)について説明する。
図8及び図9は、図5のサーバ1とレジ端末2とが実行する検証処理を説明するフローチャートである。
図8及び図9は、図5のサーバ1とレジ端末2とが実行する検証処理を説明するフローチャートである。
ステップS61において、類似特徴点数特定部251は、認識率算出部239によって算出された認識率が所定の条件を満たす商品候補について、物体の特徴を示す特徴点に対する商品候補ごとの類似特徴点の数を特定する。
類似特徴点数特定部251の特定の結果、最大となる類似特徴点の数が所定数を超えていると判定されると、ステップS62においてYESと判定され、処理はステップS63に進む。この際、類似特徴点数特定部251は、類似特徴点の数を最も多くもつ商品候補を商品に最も類似する商品候補として仮決定する。一方、最大となる類似特徴点の数が所定数以下であると判定されると、ステップS62においてNOと判定され、処理はステップS73に進む。
類似特徴点数特定部251の特定の結果、最大となる類似特徴点の数が所定数を超えていると判定されると、ステップS62においてYESと判定され、処理はステップS63に進む。この際、類似特徴点数特定部251は、類似特徴点の数を最も多くもつ商品候補を商品に最も類似する商品候補として仮決定する。一方、最大となる類似特徴点の数が所定数以下であると判定されると、ステップS62においてNOと判定され、処理はステップS73に進む。
ステップS63に進む際、類似特徴点数特定部251は、仮決定した商品候補に、予め定められた類似商品があるか否かを判定する。類似特徴点数特定部251が判定した結果、類似商品があると判定された場合、ステップS63においてYESと判定され、処理はステップS64に進む。一方、類似特徴点数特定部251が判定した結果、類似商品無しと判定された場合、ステップS63においてNOと判定され、処理はステップS72に進む。
ステップS64において、サイズ違商品特定部253は、類似特徴点数特定部251から、仮決定された商品候補に類似する予め定められた類似商品のリストを取得する。また、サイズ違商品特定部253は、サイズ違いとなるサイズ違商品を類似商品から特定する。例えば、サイズ違商品特定部253は、仮決定された商品候補について、類似商品があり且つサイズ違いの商品情報が定められていれば、仮決定された商品候補の商品情報を含め、定められている商品情報を持つ当該商品候補をサイズ違商品として特定する。なお、サイズ違商品特定部253は、仮決定された商品候補の商品情報にサイズ違いの商品情報が無ければ、サイズ違商品無しと特定してもよい。
サイズ違商品特定部253による特定の結果、サイズ違商品が特定できた場合、ステップS65においてYESと判定され、処理はステップS66に進む。一方、サイズ違商品が特定できない場合、ステップS65においてNOと判定され、処理はステップS68に進む。
ステップS66において、サイズ比較部254は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさのしきい値範囲に属するか判定する。サイズ比較部254は、物体の大きさが大きさのしきい値範囲に属する1つのサイズ違商品を特定する。
サイズ比較部254の判定の結果、物体の大きさが1つのサイズ違商品の大きさのしきい値範囲に属する場合に、ステップS67においてYESと判定され、処理はステップS68に進む。一方、サイズ比較部254の判定の結果、物体の大きさがサイズ違商品の大きさのしきい値範囲のいずれにも属さない場合に、ステップS67においてNOと判定され、処理はステップS73に進む。
ステップS68において、色違商品特定部255は、特定された商品の色違いとなる色違商品の候補を類似商品から特定する。例えば、色違商品特定部255は、仮決定された商品候補の商品情報について、類似商品があり且つ色違いの商品情報が定められていれば、仮決定された商品候補の商品情報を含め、定められている商品情報を持つ当該商品候補を色違商品として特定する。なお、色違商品特定部255は、仮決定された商品候補の商品情報に色違いの商品情報が無ければ、色違商品無しと特定してもよい。
色違商品特定部255による特定の結果、色違商品が特定できた場合、ステップS69においてYESと判定され、処理はステップS70に進む。一方、色違商品が特定できない場合、ステップS69においてNOと判定され、処理はステップS72に進む。
ステップS70において、色比較部256は、物体のヒストグラムと、色違商品のヒストグラムとを比較して、物体の色がいずれの色違商品に類似するかを判定する。色比較部256は、物体について、物体のヒストグラムに対して所定類似度以上であり、且つ最も類似するヒストグラムをもつ色違商品を特定する。
色比較部256の判定の結果、物体のヒストグラムが色違商品のヒストグラムに対して所定の類似度に達している場合に、ステップS71においてYESと判定され、処理はステップS72に進む。一方、色比較部256の判定の結果、物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達しない場合に、ステップS71においてNOと判定され、処理はステップS73に進む。
ステップS72において、検証結果決定部257は、サイズ違商品が無い場合及び色違商品が無い場合に、物体が類似特徴点の数を最も多くもつ商品候補であると決定する。また、検証結果決定部257は、サイズ違商品が有り、色違商品が無い場合に、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、物体を範囲内の大きさ属するサイズ違商品であると決定する。また、検証結果決定部257は、サイズ違商品があり、色違商品がある場合に、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、物体を大きさの範囲に属するサイズ違商品であり、ヒストグラムの所定類似度以上、且つ最も類似するヒストグラムをもつ色違商品であると決定する。また、検証結果決定部257は、サイズ違商品が無く、色違商品がある場合に、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、物体をヒストグラムの所定類似度以上、且つ最も類似するヒストグラムをもつ色違商品であると決定する。検証結果決定部257は、決定した結果に基づいて物体をいずれの商品であるのか特定する。これにより、検証処理は終了する。
ステップS73において、検証結果決定部257は、類似特徴点数特定部251によって特定された最大となる類似特徴点の数が所定数を超えていない場合に、物体をいずれの商品であるのか特定しないことを決定する。また、検証結果決定部257は、サイズ比較部254によって判定されたサイズ違商品の大きさのしきい値範囲に物体の大きさが属していない場合に、物体をいずれの商品であるのか特定しないことを決定する。また、検証結果決定部257は、色比較部256によって判定された色違商品のヒストグラムの所定類似度に物体のヒストグラムが達していない場合に、物体をいずれの商品であるのか特定しないことを決定する。検証結果決定部257は、決定した結果に基づいて物体をいずれの商品であるのか特定する。これにより、検証処理は終了する。
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述のCPUによる画像処理は、GPU(Graphics Processing Unit)による処理であってもよい。
また、図4に示されたレジ端末2の外観構成は、例示でありこの外観に限定されない。少なくとも商品認識エリアA、撮像部208、出力部206が含まれていればよく、他の構成要素を追加してもよい。また、撮像部208の数は、上記実施形態に限定されず、本発明を実施可能であれば、どのような数としてもよい。
また、図4に示されたレジ端末2の外観構成は、例示でありこの外観に限定されない。少なくとも商品認識エリアA、撮像部208、出力部206が含まれていればよく、他の構成要素を追加してもよい。また、撮像部208の数は、上記実施形態に限定されず、本発明を実施可能であれば、どのような数としてもよい。
また、上記実施形態では、サイズ比較部254の判定の後に、色比較部256の判定をすることとしたが、これに限定されない。即ち、先に色比較部256の判定が行われ、その後、サイズ比較部254の判定が行われてもよい。また、サイズ比較部254又は色比較部256のいずれか一方のみを類似商品判定部252が備えていてもよい。
また、図2及び図3に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
また、図5に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図5の例に限定されない。
また、図5に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図5の例に限定されない。
また、機能ブロックの存在場所も、図5に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
例えばレジ端末2の少なくとも一部の機能をサーバ1に移譲させることもできる。より具体的には、認識率算出部239及び検証部233の機能をサーバ1に移譲させ、サーバ1による処理の結果のみをレジ端末2に送信させるようにすることもできる。また逆に、サーバ1のDB管理部301等の少なくとも一部の機能をレジ端末2に移譲させることもできる。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
例えばレジ端末2の少なくとも一部の機能をサーバ1に移譲させることもできる。より具体的には、認識率算出部239及び検証部233の機能をサーバ1に移譲させ、サーバ1による処理の結果のみをレジ端末2に送信させるようにすることもできる。また逆に、サーバ1のDB管理部301等の少なくとも一部の機能をレジ端末2に移譲させることもできる。
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システム(例えば図1の情報処理システム)は、
所定エリア(例えば、図4の商品認識エリアA)に置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段(例えば、図5の画像取得部229)と、
取得された撮像画像に基づいて、物体の存在を認識する認識手段(例えば、図5の存在認識部232)と、
存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段(例えば、図5の認識率算出部239)と、
認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する検証手段(例えば、図5の検証部233)と、
を備え、
検証手段(例えば、図5の検証部233)は、
物体の特徴を示す特徴点に対して、所定の条件を満たす前記認識率の商品候補ごとに、類似特徴点の数を特定する類似特徴点数特定手段(例えば、図6の類似特徴点数特定部251)と、
前記物体を、前記類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定手段(例えば、図6の検証結果決定部257)と、
を備える。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、商品として特定する精度をより向上できる。
即ち、本発明が適用される情報処理システム(例えば図1の情報処理システム)は、
所定エリア(例えば、図4の商品認識エリアA)に置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段(例えば、図5の画像取得部229)と、
取得された撮像画像に基づいて、物体の存在を認識する認識手段(例えば、図5の存在認識部232)と、
存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段(例えば、図5の認識率算出部239)と、
認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する検証手段(例えば、図5の検証部233)と、
を備え、
検証手段(例えば、図5の検証部233)は、
物体の特徴を示す特徴点に対して、所定の条件を満たす前記認識率の商品候補ごとに、類似特徴点の数を特定する類似特徴点数特定手段(例えば、図6の類似特徴点数特定部251)と、
前記物体を、前記類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定手段(例えば、図6の検証結果決定部257)と、
を備える。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、商品として特定する精度をより向上できる。
また、検証手段(例えば、図6の検証部233)は、類似特徴点の数が最大となる商品候補に類似する商品として予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する類似商品判定手段(例えば、図6の類似商品判定部252)を更に備え、
類似特徴点数特定手段(例えば、図6の類似特徴点数特定部251)は、予め定められた類似商品があるか否かを判定し、
検証結果決定手段(例えば、図6の検証結果決定部257)は、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定することができる。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に予め紐づけて定められた類似商品の間で物体を検証することができ、商品として特定する精度をより向上できる。
類似特徴点数特定手段(例えば、図6の類似特徴点数特定部251)は、予め定められた類似商品があるか否かを判定し、
検証結果決定手段(例えば、図6の検証結果決定部257)は、予め定められた類似商品が有る場合に、物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定することができる。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に予め紐づけて定められた類似商品の間で物体を検証することができ、商品として特定する精度をより向上できる。
また、類似商品判定手段(例えば、図6の類似商品判定部252)は、
サイズ違いとなるサイズ違商品を類似商品から特定するサイズ違商品特定手段(例えば、図6のサイズ違商品特定部253)と、
物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定するサイズ比較手段(例えば、図6のサイズ比較部254)と、
を更に備え、
検証結果決定手段(例えば、図6の検証結果決定部257)は、物体を、属すると判定されたサイズ違商品に決定することができる。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、サイズの異なるサイズ違商品の中からいずれのサイズ違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
サイズ違いとなるサイズ違商品を類似商品から特定するサイズ違商品特定手段(例えば、図6のサイズ違商品特定部253)と、
物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定するサイズ比較手段(例えば、図6のサイズ比較部254)と、
を更に備え、
検証結果決定手段(例えば、図6の検証結果決定部257)は、物体を、属すると判定されたサイズ違商品に決定することができる。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、サイズの異なるサイズ違商品の中からいずれのサイズ違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
また、類似商品判定手段(例えば、図6の類似商品判定部252)は、
色違いとなる色違商品を類似商品から特定する色違商品特定手段(例えば、図5の色違商品特定部255)と、
物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する色比較手段(例えば、図6の色比較部256)と、
を更に備え、
検証結果決定手段(例えば、図6の検証結果決定部257)は、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定することができる。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、味やシリーズの異なる色違商品があったとしても、味やシリーズの異なる色違商品の中からいずれの色違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
色違いとなる色違商品を類似商品から特定する色違商品特定手段(例えば、図5の色違商品特定部255)と、
物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する色比較手段(例えば、図6の色比較部256)と、
を更に備え、
検証結果決定手段(例えば、図6の検証結果決定部257)は、物体について、物体のヒストグラムに対して所定類似度以上であり、最も類似するヒストグラムをもつ色違商品に決定することができる。
これにより、類似特徴点の数が所定数以上、且つ最大となる商品候補に対して、味やシリーズの異なる色違商品があったとしても、味やシリーズの異なる色違商品の中からいずれの色違商品であるのかを検証することができ、物体を商品として特定する精度をより向上できる。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。
1・・・ サーバ
2,2−1,2−n・・・ レジ端末
3・・・ 表示端末
101・・・ CPU
102・・・ ROM
103・・・ RAM
104・・・ バス
105・・・ 入出力インターフェース
106・・・ 出力部
107・・・ 入力部
108・・・ 記憶部
109・・・ 通信部
110・・・ ドライブ
120・・・ リムーバブルメディア
201・・・ CPU
202・・・ ROM
203・・・ RAM
204・・・ バス
205・・・ 入出力インターフェース
206・・・ 出力部
207・・・ 入力部
208・・・ 撮像部
209・・・ 記憶部
210・・・ 通信部
211・・・ ドライブ
220・・・ リムーバブルメディア
229・・・ 画像取得部
230・・・ 認識ボタン判定部
232・・・ 存在認識部
233・・・ 検証部
234・・・ 表示制御部
235・・・ 精算部
238・・・ 出力制御部
239・・・ 認識率算出部
241・・・ DB情報保持部
251・・・ 類似特徴点数特定部
252・・・ ばらつき判定部
253・・・ サイズ違類似特徴点数特定部
254・・・ サイズ比較部
255・・・ 色違類似特徴点数特定部
256・・・ 色比較部
257・・・ 検証結果決定部
301・・・ DB管理部
402・・・ 商品DB
A・・・ 商品認識エリア
D・・・ 表示部
N・・・ ネットワーク
2,2−1,2−n・・・ レジ端末
3・・・ 表示端末
101・・・ CPU
102・・・ ROM
103・・・ RAM
104・・・ バス
105・・・ 入出力インターフェース
106・・・ 出力部
107・・・ 入力部
108・・・ 記憶部
109・・・ 通信部
110・・・ ドライブ
120・・・ リムーバブルメディア
201・・・ CPU
202・・・ ROM
203・・・ RAM
204・・・ バス
205・・・ 入出力インターフェース
206・・・ 出力部
207・・・ 入力部
208・・・ 撮像部
209・・・ 記憶部
210・・・ 通信部
211・・・ ドライブ
220・・・ リムーバブルメディア
229・・・ 画像取得部
230・・・ 認識ボタン判定部
232・・・ 存在認識部
233・・・ 検証部
234・・・ 表示制御部
235・・・ 精算部
238・・・ 出力制御部
239・・・ 認識率算出部
241・・・ DB情報保持部
251・・・ 類似特徴点数特定部
252・・・ ばらつき判定部
253・・・ サイズ違類似特徴点数特定部
254・・・ サイズ比較部
255・・・ 色違類似特徴点数特定部
256・・・ 色比較部
257・・・ 検証結果決定部
301・・・ DB管理部
402・・・ 商品DB
A・・・ 商品認識エリア
D・・・ 表示部
N・・・ ネットワーク
Claims (6)
- 所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段と、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識手段と、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段と、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証手段と、
を備え、
前記検証手段は、
前記物体の特徴を示す複数の特徴点のうち、商品候補の特徴点と類似する特徴点を類似特徴点として、当該類似特徴点の数を、所定の条件を満たす前記認識率を有する商品候補ごとに特定する類似特徴点数特定手段と、
前記物体を、前記類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定手段と、
を備える情報処理システム。 - 前記検証手段は、前記類似特徴点の数が最大となる前記商品候補に類似する商品として予め定められた類似商品のうち、前記物体がいずれの商品であるのかを判定する類似商品判定手段を更に備え、
前記類似特徴点数特定手段は、予め定められた類似商品があるか否かを判定し、
前記検証結果決定手段は、予め定められた類似商品が有る場合に、前記物体を、類似特徴点の数が所定数以上、且つ最大となる商品に代えて、予め定められた類似商品の中から判定された商品であると決定する請求項1に記載の情報処理システム。 - 前記類似商品判定手段は、
サイズ違いとなるサイズ違商品を前記類似商品から特定するサイズ違商品特定手段と、
前記物体の大きさと前記サイズ違商品の大きさとを比較して、前記物体の大きさがいずれのサイズ違商品の大きさの範囲に属するかを判定するサイズ比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体を、属すると判定されたサイズ違商品に決定する請求項2に記載の情報処理システム。 - 前記類似商品判定手段は、
色違いとなる色違商品を前記類似商品から特定する色違商品特定手段と、
前記物体のヒストグラムと前記色違商品のヒストグラムとを比較して、前記物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判定する色比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体について、前記物体のヒストグラムに対して所定類似度以上であり、且つ最も類似するヒストグラムをもつ色違商品に決定する請求項2又は3に記載の情報処理システム。 - 情報処理システムが実行する情報処理方法であって、
所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得ステップと、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識ステップと、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出ステップと、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証ステップと、
を含み、
前記検証ステップにおいて、
前記物体の特徴を示す複数の特徴点のうち、商品候補の特徴点と類似する特徴点を類似特徴点として、当該類似特徴点の数を、所定の条件を満たす前記認識率を有する商品候補ごとに特定する類似特徴点数特定ステップと、
前記物体を、前記類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定ステップと、
を含む情報処理方法。 - 情報処理システムを制御するコンピュータに、
所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得ステップと、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識ステップと、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出ステップと、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証ステップと、
を含み、
前記検証ステップにおいて、
前記物体の特徴を示す複数の特徴点のうち、商品候補の特徴点と類似する特徴点を類似特徴点として、当該類似特徴点の数を、所定の条件を満たす前記認識率を有する商品候補ごとに特定する類似特徴点数特定ステップと、
前記物体を、前記類似特徴点の数が所定数以上、且つ最大となる商品候補として示される商品に決定する検証結果決定ステップと、
を含む制御処理を実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016111075 | 2016-06-02 | ||
JP2016111075 | 2016-06-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6209717B1 true JP6209717B1 (ja) | 2017-10-11 |
JP2017220206A JP2017220206A (ja) | 2017-12-14 |
Family
ID=60040374
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016225897A Active JP6209716B1 (ja) | 2016-06-02 | 2016-11-21 | 情報処理システム、情報処理方法、及びプログラム |
JP2016236178A Active JP6209717B1 (ja) | 2016-06-02 | 2016-12-05 | 情報処理システム、情報処理方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016225897A Active JP6209716B1 (ja) | 2016-06-02 | 2016-11-21 | 情報処理システム、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6209716B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886136A (zh) * | 2017-12-18 | 2018-04-06 | 南京云计趟信息技术有限公司 | 一种基于深度学习技术识别货物介质种类的方法 |
CN114882461A (zh) * | 2022-05-25 | 2022-08-09 | 阿波罗智能技术(北京)有限公司 | 设备环境识别方法、装置、电子设备和自动驾驶车辆 |
US11741685B2 (en) | 2018-06-07 | 2023-08-29 | Shiseido Company, Ltd. | Commodity identification device, non-transitory computer-readable storage medium, and learning method |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6962442B2 (ja) * | 2018-02-23 | 2021-11-05 | 日本電気株式会社 | 登録装置、登録方法及びプログラム |
US11587103B2 (en) | 2018-03-22 | 2023-02-21 | Nec Corporation | Object detection system using image recognition, object detection device using image recognition, object detection method using image recognition, and non-transitory storage medium |
JP6653813B1 (ja) * | 2018-10-12 | 2020-02-26 | サインポスト株式会社 | 情報処理システム |
JP6587300B1 (ja) | 2018-11-05 | 2019-10-09 | Necプラットフォームズ株式会社 | 商品撮像装置、商品撮像方法、及び画像認識posシステム |
JP7183753B2 (ja) * | 2018-12-11 | 2022-12-06 | 日本電信電話株式会社 | リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム |
JP7279724B2 (ja) * | 2019-02-15 | 2023-05-23 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
JP6836256B2 (ja) * | 2019-11-27 | 2021-02-24 | サインポスト株式会社 | 情報処理システム |
JPWO2023062718A1 (ja) * | 2021-10-12 | 2023-04-20 | ||
WO2023175765A1 (ja) * | 2022-03-16 | 2023-09-21 | 日本電気株式会社 | 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014092975A (ja) * | 2012-11-05 | 2014-05-19 | Toshiba Tec Corp | 商品認識装置及び商品認識プログラム |
JP2014092960A (ja) * | 2012-11-05 | 2014-05-19 | Toshiba Tec Corp | 商品認識装置及び商品認識プログラム |
JP2015038721A (ja) * | 2013-07-16 | 2015-02-26 | 東芝テック株式会社 | 情報処理装置及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206357A (ja) * | 2002-12-25 | 2004-07-22 | Nec Infrontia Corp | 販売商品データの出力装置及び販売商品データの出力方法 |
JP5216726B2 (ja) * | 2009-09-03 | 2013-06-19 | 東芝テック株式会社 | セルフチェックアウト端末装置 |
JP6485105B2 (ja) * | 2015-02-23 | 2019-03-20 | 株式会社寺岡精工 | 商品販売データ処理装置 |
-
2016
- 2016-11-21 JP JP2016225897A patent/JP6209716B1/ja active Active
- 2016-12-05 JP JP2016236178A patent/JP6209717B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014092975A (ja) * | 2012-11-05 | 2014-05-19 | Toshiba Tec Corp | 商品認識装置及び商品認識プログラム |
JP2014092960A (ja) * | 2012-11-05 | 2014-05-19 | Toshiba Tec Corp | 商品認識装置及び商品認識プログラム |
JP2015038721A (ja) * | 2013-07-16 | 2015-02-26 | 東芝テック株式会社 | 情報処理装置及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886136A (zh) * | 2017-12-18 | 2018-04-06 | 南京云计趟信息技术有限公司 | 一种基于深度学习技术识别货物介质种类的方法 |
US11741685B2 (en) | 2018-06-07 | 2023-08-29 | Shiseido Company, Ltd. | Commodity identification device, non-transitory computer-readable storage medium, and learning method |
CN114882461A (zh) * | 2022-05-25 | 2022-08-09 | 阿波罗智能技术(北京)有限公司 | 设备环境识别方法、装置、电子设备和自动驾驶车辆 |
CN114882461B (zh) * | 2022-05-25 | 2023-09-29 | 阿波罗智能技术(北京)有限公司 | 设备环境识别方法、装置、电子设备和自动驾驶车辆 |
Also Published As
Publication number | Publication date |
---|---|
JP2017220206A (ja) | 2017-12-14 |
JP6209716B1 (ja) | 2017-10-11 |
JP2017220202A (ja) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6209717B1 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
JP7191088B2 (ja) | 意味的差分抽出を使用した在庫イベントの予測 | |
CN107833083B (zh) | 一种货物订单处理方法、装置、服务器、购物终端及*** | |
US8812376B2 (en) | Techniques for generating an electronic shopping list | |
JP2021535512A (ja) | レジ無しチェックアウト用ディープ・ラーニング・ベースのアクショナブル・デジタル・レシート | |
US11694440B2 (en) | Image processing techniques to quickly find a desired object among other objects from a captured video scene | |
JP2019510291A (ja) | 人型ロボットを用いてトランザクションを支援する方法 | |
WO2020073601A1 (zh) | 商品识别方法、商品识别装置及存储介质 | |
US9892437B2 (en) | Digitization of a catalog of retail products | |
JP7393472B2 (ja) | 陳列シーン認識方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
CN110322300B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
WO2019096222A1 (zh) | 一种基于身份识别和商品识别的无人售货方法和设备 | |
CN112200631B (zh) | 一种行业分类模型的训练方法及装置 | |
US10275819B1 (en) | Reducing incompatible pairings | |
KR20220087442A (ko) | 증강 현실 컴퓨터 기술을 사용한 리스팅들의 생성의 자동화 | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
CN112070576A (zh) | 一种用于电商模型的选择商品的方法及设备 | |
JP2016024596A (ja) | 情報処理装置 | |
WO2019096192A1 (zh) | 一种基于电子标签与身份识别的无人售货方法和设备 | |
US20140092261A1 (en) | Techniques for generating an electronic shopping list | |
WO2023058233A1 (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
CN111127128B (zh) | 商品推荐方法、装置及存储介质 | |
JP7205603B2 (ja) | 登録装置、登録方法及びプログラム | |
JP6551856B2 (ja) | 情報提示装置、情報提示システム、及び情報提示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6209717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |