JP6341124B2 - オブジェクト認識装置および認識結果提示方法 - Google Patents
オブジェクト認識装置および認識結果提示方法 Download PDFInfo
- Publication number
- JP6341124B2 JP6341124B2 JP2015052431A JP2015052431A JP6341124B2 JP 6341124 B2 JP6341124 B2 JP 6341124B2 JP 2015052431 A JP2015052431 A JP 2015052431A JP 2015052431 A JP2015052431 A JP 2015052431A JP 6341124 B2 JP6341124 B2 JP 6341124B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- product
- recognized
- type
- placement position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Image Analysis (AREA)
Description
本発明は、オブジェクト（物体）認識を利用したオブジェクト認識装置および認識結果提示方法に関する。
従来、物品を撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することにより、当該物品の種別等を認識するオブジェクト認識装置に係る技術が知られている。そして、このオブジェクト認識装置に係る技術を、パンや青果物等の商品の認識に用いて、認識された商品を売上登録する店舗システムが提案されている（特許文献１参照）。
例えば、特許文献１には、トレー上のパンをカメラで撮影し、この画像情報からトレー上のパンの種類と数量とを画像認識（オブジェクト認識）して、商品登録を行うパンの識別装置が記載されている。
しかしながら、従来のオブジェクト認識装置において、例えば、Ａ商品、Ｂ商品、Ｂ商品、Ｂ商品のような複数の商品を同時に認識する際に、複数の商品が重なり合うことにより、認識できない商品が存在する場合がある。このとき、従来のオブジェクト認識装置では、認識エラーとなった商品を画面に表示しても、同一商品（この場合、Ｂ商品を想定）が複数あるため、認識エラーとなった商品が実際にはどれであるのかを特定することが難しいという問題がある。この場合、オブジェクト認識装置のオペレータは、認識エラーとなった商品の画面表示と、トレー上の実際の商品とを見比べて、認識エラーとなった商品を特定し、その商品を置き直す、角度を変える等の対処をする必要があった。若しくは、認識エラーの可能性のある商品すべてについて、その商品を置き直す、角度を変える等の対処をする必要があった。
本発明の課題は、オブジェクト認識において認識エラーとなった物体（商品）がどれであるかを明確に提示し、オペレータの作業効率を向上させることである。
請求項１は、所定領域に載置された物体を撮影手段により撮影することで取得した画像に基づいて、該撮影された物体の載置位置を特定するとともに該載置位置が特定された物体の種別を認識する物体認識手段と、前記撮影手段により撮影された物体の載置位置が前記物体認識手段により特定できたにもかかわらず該載置位置が特定された物体の種別が認識できなかった場合に、該種別が認識できなかった物体の表面に物体の種別が認識できなかったことを示す情報が投影されるように発光手段を制御し、前記種別が認識できなかった物体に対しては、更に当該物体に対する再度の撮影による前記物体認識手段による認識を良好にするスポット光を、当該物体の載置位置の範囲をターゲットにして照射するよう制御する制御手段と、を備えたことを特徴とする。
請求項３は、所定領域に載置された複数の物体を撮影手段により撮影することで取得した画像に基づいて、該撮影された個々の物体の載置位置を特定するとともに該載置位置が特定された物体の種別を認識する物体認識手段と、前記撮影手段により撮影された複数の物体の内で、物体の載置位置が前記物体認識手段により特定できたにもかかわらず該載置位置が特定された物体の種別が認識できなかった第１物体に対しては、該第１物体の表面に、物体の種別が認識できなかったことを示すマーク情報が投影されるように、且つ前記所定領域に載置された物体を避けた位置に認識不可のメッセージ情報が投影されるように発光手段を制御する制御手段と、を備え、前記制御手段は、前記撮影手段により撮影された物体の種別が認識できた第２物体に対しては、当該第２物体の近傍位置に当該第２物体の種別と金額とを示す文字情報が投影されるように制御する、ことを特徴とする。
請求項３は、所定領域に載置された複数の物体を撮影手段により撮影することで取得した画像に基づいて、該撮影された個々の物体の載置位置を特定するとともに該載置位置が特定された物体の種別を認識する物体認識手段と、前記撮影手段により撮影された複数の物体の内で、物体の載置位置が前記物体認識手段により特定できたにもかかわらず該載置位置が特定された物体の種別が認識できなかった第１物体に対しては、該第１物体の表面に、物体の種別が認識できなかったことを示すマーク情報が投影されるように、且つ前記所定領域に載置された物体を避けた位置に認識不可のメッセージ情報が投影されるように発光手段を制御する制御手段と、を備え、前記制御手段は、前記撮影手段により撮影された物体の種別が認識できた第２物体に対しては、当該第２物体の近傍位置に当該第２物体の種別と金額とを示す文字情報が投影されるように制御する、ことを特徴とする。
本発明によれば、オブジェクト認識において認識エラーとなった物体（商品）がどれであるかを明確に提示し、オペレータの作業効率を向上させることができる。
次に、本発明を実施するための形態（以下、「本実施形態」という。）における商品登録装置１および認識結果提示方法について説明する。
この商品登録装置１は、オブジェクト認識装置として機能およびＰＯＳレジスタ端末としての機能を備え、物体（商品）の種別やその物体（商品）の個数等の情報をオブジェクト認識により取得し、合計代金等を表示したり、販売情報を登録したりする。
この商品登録装置１は、オブジェクト認識装置として機能およびＰＯＳレジスタ端末としての機能を備え、物体（商品）の種別やその物体（商品）の個数等の情報をオブジェクト認識により取得し、合計代金等を表示したり、販売情報を登録したりする。
図１は、本実施形態に係る商品登録装置１（オブジェクト認識装置）の外観の概略図である。図１に示すように、商品登録装置１は、顧客用ディスプレイ１１、タッチディスプレイ１２、キャッシュドロワ１３、プリンタ１４、撮影装置１５、撮影台１６、バックライト光源１７、発光装置３０（発光手段）を備え、商品販売店のカウンタ台２に設置される。なお、商品の会計を行う際、商品登録装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立ち、商品を購入する顧客はカウンタ台２の図面奥側に立つ。また、本実施形態に係る商品登録装置１では、撮影装置１５により撮影された画像情報に基づきオブジェクト認識が行われ、その認識結果を、認識対象となる物体（商品）について、特定された載置位置を発光により指し示す発光装置３０の発光状態により提示する。具体的には、物体（商品）の載置位置に発光装置３０が可視光を発光すること等により、認識結果を提示する。これにより、商品登録装置１のオペレータや顧客は、認識エラーとなった物体（商品）を特定することができる。なお、詳細は後記する。
顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥を向いている。顧客用ディスプレイ１１は、顧客に対して商品の会計に関する情報（商品名、金額など）を表示する。
タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２参照）の表面にタッチパネル１２Ｂ（図２参照）が積層されたものであり、オペレータ側である図面手前を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額など）を表示するとともに、オペレータによるタッチ操作入力を受け付ける。
タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２参照）の表面にタッチパネル１２Ｂ（図２参照）が積層されたものであり、オペレータ側である図面手前を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額など）を表示するとともに、オペレータによるタッチ操作入力を受け付ける。
キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券などを保管する引き出しである。
プリンタ１４は、商品の会計時に会計の内容（商品名、金額など）をレシートに印字する。
プリンタ１４は、商品の会計時に会計の内容（商品名、金額など）をレシートに印字する。
撮影装置１５は、撮影台１６に置かれたトレー３上の商品（例えば、パン等の物体（オブジェクト）であり、所定領域に載置された物体）を撮影する。この撮影装置１５には、照明装置（不図示）が隣接して取り付けられており、撮影装置１５の撮影領域１５１を照射する。
撮影台１６は、商品を購入する顧客が会計時に商品を載せたトレー３を置く台である。
撮影領域１５１は、撮影台１６における撮影装置１５によって撮影可能な領域である。
撮影領域１５１は、撮影台１６における撮影装置１５によって撮影可能な領域である。
バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によってトレー３上の商品を撮影する際に商品の撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。
また、トレー３は、光を透過するように半透明になっている。そして、トレー３に載った状態の商品を撮影装置１５により撮影する際には、照明装置から照射光が照射されるとともに、トレー３の下からは、バックライト光源１７によりバックライトが上向きに照射される。これにより、商品の周囲に形成される影を可及的に排除し得る。
また、トレー３は、光を透過するように半透明になっている。そして、トレー３に載った状態の商品を撮影装置１５により撮影する際には、照明装置から照射光が照射されるとともに、トレー３の下からは、バックライト光源１７によりバックライトが上向きに照射される。これにより、商品の周囲に形成される影を可及的に排除し得る。
発光装置３０（発光手段）は、可視光を発光する装置であり、例えば、レーザ光を用いて文字や記号を照射するレーザプロジェクタや、液晶プロジェクタ、若しくは、ＬＥＤライト等である。この発光装置３０は、撮影装置１５が撮影したトレー３上の商品（物体）の位置（載置位置）に対応付けて、オブジェクト認識の認識結果（認識エラー、認識ＯＫ）等を含む情報を可視光として照射する。なお、ここで「記号（記号情報）」は、認識結果を示す意味を付された図形を含むものである。
これにより、商品登録装置１のオペレータや顧客が、認識エラーとなった商品（物体）を一瞥で特定することができる。
これにより、商品登録装置１のオペレータや顧客が、認識エラーとなった商品（物体）を一瞥で特定することができる。
次に、図２を参照（適宜図１も参照）して、商品登録装置１の構成について説明する。
図２は、本実施形態に係る商品登録装置１（オブジェクト認識装置）のハードウェア構成を示す図である。
商品登録装置１は、図１において示した構成以外に、ＣＰＵ（Central Processing Unit）２０、ＲＡＭ（Random Access Memory）２１、ＲＯＭ（Read Only Memory）２２、記憶部２３を備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。
図２は、本実施形態に係る商品登録装置１（オブジェクト認識装置）のハードウェア構成を示す図である。
商品登録装置１は、図１において示した構成以外に、ＣＰＵ（Central Processing Unit）２０、ＲＡＭ（Random Access Memory）２１、ＲＯＭ（Read Only Memory）２２、記憶部２３を備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。
ＣＰＵ２０は、中央制御装置であり、商品登録装置１全体の制御を司る。
ＲＡＭ２１は、ＣＰＵ２０によって使用される一時記憶手段である。ＣＰＵ２０が実行するプログラムに係る画像データ等を一時的に記憶する。
ＲＯＭ２２は、不揮発性の記憶手段であり、ＣＰＵ２０によって実行されるプログラム等を記憶する。
ＲＡＭ２１は、ＣＰＵ２０によって使用される一時記憶手段である。ＣＰＵ２０が実行するプログラムに係る画像データ等を一時的に記憶する。
ＲＯＭ２２は、不揮発性の記憶手段であり、ＣＰＵ２０によって実行されるプログラム等を記憶する。
顧客用ディスプレイ１１は、ＣＰＵ２０によって制御され、顧客に対して商品等の撮影画像や商品の会計に関する情報（商品名、金額など）を表示する。
ディスプレイ１２Ａは、ＣＰＵ２０によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報（商品名、金額など）を表示する。
タッチパネル１２Ｂは、ディスプレイ１２Ａにより表示した情報に対するオペレータのタッチ操作入力を受け付ける。
ディスプレイ１２Ａは、ＣＰＵ２０によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報（商品名、金額など）を表示する。
タッチパネル１２Ｂは、ディスプレイ１２Ａにより表示した情報に対するオペレータのタッチ操作入力を受け付ける。
記憶部２３（記憶手段）は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により構成され、各種プログラムや各種ファイルを記憶する。記憶部２３に記憶されている各種プログラムや各種ファイルは、商品登録装置１の起動時に、その全部または一部がＲＡＭ２１にコピーされてＣＰＵ２０により実行される。記憶部２３には、図３を参照して後記する、商品マスタ情報１００（図４参照）および商品販売登録情報２００等が記憶されている。
撮影装置１５（撮影手段）は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成され、ＣＰＵ２０の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ２１に保存される。
バックライト光源１７は、ＣＰＵ２０の制御の下で、撮影装置１５によってトレー３上の商品を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、撮影装置１５に隣接して取り付けられた照明装置等によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。バックライト光源１７によるバックライト照射のタイミングは、例えば、撮影装置１５の撮影のタイミングに合わせてもよいし、常時でもよい。
キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券などを保管し、ＣＰＵ２０の指示により開放される。
プリンタ１４は、例えば、熱転写プリンタであり、レシートを印字する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ２０の指示により、会計の内容をレシートに印字する。
プリンタ１４は、例えば、熱転写プリンタであり、レシートを印字する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ２０の指示により、会計の内容をレシートに印字する。
発光装置３０（発光手段）は、可視光を発する装置であり、ＣＰＵ２０の制御の下で、任意の方向に可視光を発する機能を備える。発光装置３０は、例えば、レーザ光を用いたプロジェクタで構成され、具体的には、ガルバノスキャナや光ＭＥＭＳ（Micro Electro Mechanical Systems）スキャナを用いて、オブジェクト認識の認識結果（結果情報）をその商品（物体）の載置位置に発光状態として提示する。例えば、発光装置３０は、認識エラーとなった商品については、「×」印をレーザ光で照射したり、認識ＯＫ（つまり、商品の種別を特定）となった商品については、「〇」印をレーザ光で照射したりする。
また、発光装置３０は、液晶プロジェクタや、スポット光を発するＬＥＤライト等であってもよく、その場合に、認識エラーとなった商品を赤色の可視光で照射する等により、商品登録装置１のオペレータおよび顧客に対し、その商品が認識エラーであったことを認知させる。
また、発光装置３０は、液晶プロジェクタや、スポット光を発するＬＥＤライト等であってもよく、その場合に、認識エラーとなった商品を赤色の可視光で照射する等により、商品登録装置１のオペレータおよび顧客に対し、その商品が認識エラーであったことを認知させる。
次に、図３を参照（適宜図１、２も参照）して、商品登録装置１の機能について説明する。図３は、本実施形態に係る商品登録装置１（オブジェクト認識装置）の機能ブロック図である。
商品登録装置１のＣＰＵ２０は、ＲＯＭ２２に格納されたプログラムを実行することにより、処理部１０の各機能を具現化する。処理部１０は、撮影装置１５（撮影手段）によって撮影された物体について、その物体（商品）の種別を撮影画像に基づき認識（オブジェクト認識）する。そして、処理部１０は、その物体（商品）を認識するとともに、撮影領域１５１内におけるその物体（商品）の載置位置を特定する。そして、処理部１０は、特定された載置位置を発光により指し示すとともに、その認識結果を発光装置３０の発光状態により提示する。具体的には、処理部１０は、発光装置３０（発光手段）が発する可視光により、その物体（商品）の位置に対応付けて認識結果を提示する。この処理部１０は、画像記憶部１１０、オブジェクト認識処理部１２０（物体認識手段）、認識結果提示部１３０（認識結果提示手段）、認識結果表示部１４０、入力取得部１５０、販売情報登録部１６０、情報出力部１７０を備える。
商品登録装置１のＣＰＵ２０は、ＲＯＭ２２に格納されたプログラムを実行することにより、処理部１０の各機能を具現化する。処理部１０は、撮影装置１５（撮影手段）によって撮影された物体について、その物体（商品）の種別を撮影画像に基づき認識（オブジェクト認識）する。そして、処理部１０は、その物体（商品）を認識するとともに、撮影領域１５１内におけるその物体（商品）の載置位置を特定する。そして、処理部１０は、特定された載置位置を発光により指し示すとともに、その認識結果を発光装置３０の発光状態により提示する。具体的には、処理部１０は、発光装置３０（発光手段）が発する可視光により、その物体（商品）の位置に対応付けて認識結果を提示する。この処理部１０は、画像記憶部１１０、オブジェクト認識処理部１２０（物体認識手段）、認識結果提示部１３０（認識結果提示手段）、認識結果表示部１４０、入力取得部１５０、販売情報登録部１６０、情報出力部１７０を備える。
画像記憶部１１０は、撮影装置１５によって撮影されＲＡＭ２１に保存されたフレーム画像（カラーデジタル画像）を順次取り込む。この画像記憶部１１０によるフレーム画像の取り込みは、ＲＡＭ２１に保存された順に行われる。
オブジェクト認識処理部１２０（物体認識手段）は、画像記憶部１１０が取り込んだフレーム画像について、パターンマッチング技術などを用いて、商品の画像を背景から分離することで、物体を検出する。この背景分離技術は、具体的には、例えば、フレーム画像を二値化して各輪郭線（エッジ）を抽出し、その輪郭線（エッジ）で示される領域の画像を区画分離することで実行される。なお、商品の画像を背景から分離した状態の画像を、以下、物体認識画像や分離画像と称することがある。そして、オブジェクト認識処理部１２０は、トレー３上の商品を認識するとともに、取り込んだフレーム画像に基づき、その物体（商品）の位置情報を取得する。
このオブジェクト認識処理部１２０は、物体・位置検出部１２１と、類似度演算部１２２と、類似度判断部１２３とを含んで構成される。
このオブジェクト認識処理部１２０は、物体・位置検出部１２１と、類似度演算部１２２と、類似度判断部１２３とを含んで構成される。
物体・位置検出部１２１は、画像記憶部１１０が取り込んだフレーム画像について、輪郭線（エッジ）抽出等することにより商品の候補となる画像を背景から分離する、即ち識別対象の物体だけを切り出して検出する。具体的には、顧客がトレー３を撮影台１６に載せると、撮影装置１５によって撮影台１６上の撮影領域１５１が撮影される。物体・位置検出部１２１は、画像記憶部１１０により取り込まれたフレーム画像を二値化して輪郭線（エッジ）を抽出する。次に物体・位置検出部１２１は、画像の輪郭線に囲まれた領域を分離して、物体を検出する。その際、物体・位置検出部１２１は、検出した物体について、撮影領域１５１内における位置情報を検出（載置位置を特定）し、検出した物体に対応付けてＲＡＭ２１（図２参照）に記憶しておく。
類似度演算部１２２は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。類似度演算部１２２はさらに、演算した分離画像の特徴量と、記憶部２３内の商品マスタ情報１００（後記する、図４参照）の一部として予め記憶されている各物体（商品）の特徴量と比較し、類似度を算出する。ここで、類似度とは、商品マスタ情報１００に記憶されている商品が想定する特徴量を１００％の類似度とした場合に、物体認識画像（分離画像）がどの程度まで類似しているかを示すものである。なお、類似度を算出する際、特徴量が複数種類ある場合には、複数の特徴量に基づいて総合評価するが、そのとき、特徴量ごとに重み付けをしてもよい。
図４は、本実施形態に係る商品マスタ情報１００のデータ構成例を示す図である。図４に示すように、商品マスタ情報１００には、商品ＩＤに対応付けて、商品名、その商品の単価（円）、特徴量などが格納される。ここで、特徴量には、その物体（商品）の、形状、大きさ、色合い等の特徴を示すデータや代表画像が格納される。また、この特徴量は、類似度演算部１２２の類似度の算出方法に適した情報の形式で格納される。
このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、さらにその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２７年３月６日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２７年３月６日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
また、画像をオブジェクト（物体）ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２７年３月６日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２７年３月６日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
なお、撮影された商品の画像と、商品マスタ情報１００（図４参照）に登録された登録商品の商品画像（代表画像）等の類似度の算出方法は特に問わないものとする。例えば、撮影された商品の画像と、商品マスタ情報１００に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合には、分離画像の特徴量と、商品マスタ情報１００に記憶された各商品の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各商品との類似度の総和が１．０（１００％）となるように算出する。例えば、商品マスタ情報１００として商品Ａ、Ｂ、Ｃ、Ｄの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．６５、商品Ｂに対しては類似度が０．２、商品Ｃに対しては類似度が０．１、商品Ｄに対しては類似度が０．０５、などのように算出する。
図３に戻り、類似度判断部１２３は、物体の分離画像ごとに、類似度演算部１２２が算出した類似度に基づいて、例えば、対応する商品等に関して次の３択で判断する。
（１）分離画像に対応する商品が一意に特定された。
（２）分離画像に対応する商品の候補が１つ以上存在する。
（３）分離画像に対応する商品が無いと決定する。
（１）分離画像に対応する商品が一意に特定された。
（２）分離画像に対応する商品の候補が１つ以上存在する。
（３）分離画像に対応する商品が無いと決定する。
この判断のための条件として、例えば、記憶部２３は、条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。
条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい商品の類似度が９０％以上」、かつ、「類似度の一番大きい商品の類似度と、類似度の二番目に大きい商品の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度９５％の商品Ａで、その次が類似度６０％の商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する商品Ａは、一意に特定される。
条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の商品が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在する。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の商品が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在する。
条件Ｘ、Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ、Ｙは一例であり、これらに限定されない。また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。
認識結果提示部１３０は、物体・位置検出部１２１により特定されたその物体（商品）の載置位置を発光により差し示すとともに、類似度判断部１２３による認識結果を発光装置３０の発光状態により提示する。
具体的には、認識結果提示部１３０は、例えば、類似度判断部１２３による類似度の判断が、上記（２）または（３）である、つまり、上記（１）以外である、と判断した分離画像については、対応する商品が一意に特定できない（以下、この判断を「認識エラー」と称する。）とし、その認識エラーとなった商品の位置情報（特定された載置位置）をＲＡＭ２１から取得して、発光装置３０が発光する可視光により、認識結果をその物体（商品）の位置に対応付けて提示する。
また、認識結果提示部１３０は、類似度判断部１２３による類似度の判断が、上記（１）である、つまり、対応する商品が一意に特定された（以下、この判断を「認識ＯＫ」と称する。）と判断した分離画像については、その認識ＯＫとなった商品の位置情報（特定された載置位置）をＲＡＭ２１から取得して、発光装置３０が発光する可視光により、認識結果をその物体（商品）の位置に対応付けて提示する。
具体的には、認識結果提示部１３０は、例えば、類似度判断部１２３による類似度の判断が、上記（２）または（３）である、つまり、上記（１）以外である、と判断した分離画像については、対応する商品が一意に特定できない（以下、この判断を「認識エラー」と称する。）とし、その認識エラーとなった商品の位置情報（特定された載置位置）をＲＡＭ２１から取得して、発光装置３０が発光する可視光により、認識結果をその物体（商品）の位置に対応付けて提示する。
また、認識結果提示部１３０は、類似度判断部１２３による類似度の判断が、上記（１）である、つまり、対応する商品が一意に特定された（以下、この判断を「認識ＯＫ」と称する。）と判断した分離画像については、その認識ＯＫとなった商品の位置情報（特定された載置位置）をＲＡＭ２１から取得して、発光装置３０が発光する可視光により、認識結果をその物体（商品）の位置に対応付けて提示する。
図６は、本実施形態に係る認識結果提示部１３０の制御により、発光装置３０がトレー上の商品に対して発光した状態を示す図である。ここでは、図５に示すように、トレー３上に、商品として物体ａ（ジャムパン）、物体ｂ１（クリームパン）、物体ｂ２（クリームパン）、物体ｂ３（クリームパン）が重なった状態で載せられ、オブジェクト認識されたものとする。なお、ここで、発光装置３０は、ガルバノスキャナや光ＭＥＭＳスキャナ等を用いたレーザプロジェクタであり、文字や記号をレーザ光により照射する例とする。
この場合、オブジェクト認識処理部１２０（類似度判断部１２３）の認識結果に基づき、認識結果提示部１３０は、図６に示すように、認識エラーと判断された物体（ここでは、物体ｂ１とする。）については、赤色の「×」印のレーザ光を照射する。そして、認識結果提示部１３０は、その認識エラーと判断された物体（物体ｂ１）の顧客側から見た近傍に、例えば、「認識できません」の文字をレーザ光で照射する。
また、認識結果提示部１３０は、認識ＯＫと判断された物体（ここでは、物体ａ、物体ｂ２、物体ｂ３）については、緑色の「〇」印のレーザ光を照射する。そして、認識結果提示部１３０は、商品マスタ情報１００（図４）を参照して、認識ＯＫの物体について、「商品名」および「単価」の情報を取得し、その認識ＯＫの物体（物体ａ、物体ｂ２、物体ｂ３）の顧客側からみた近傍に、それぞれの「商品名」と「単価」とをレーザ光で照射する。
つまり、認識結果提示部１３０は、オブジェクト認識処理部１２０が認識エラーと判断した物体の載置位置に向けて発光装置３０により所定の文字情報となる可視光を発光させ、オブジェクト認識処理部１２０が認識ＯＫと判断した物体の載置位置に向けて発光装置３０により上記所定の文字とは異なる文字情報となる可視光を発光させる。
また、認識結果提示部１３０は、オブジェクト認識処理部１２０が認識エラーと判断した物体の載置位置に向けて発光装置３０により所定の色の光を発生させ、オブジェクト認識処理部１２０が認識ＯＫと判断した物体の載置位置に向けて発光装置３０により上記所定の色とは異なる色の光を発光させる。
また、認識結果提示部１３０は、認識ＯＫと判断された物体（ここでは、物体ａ、物体ｂ２、物体ｂ３）については、緑色の「〇」印のレーザ光を照射する。そして、認識結果提示部１３０は、商品マスタ情報１００（図４）を参照して、認識ＯＫの物体について、「商品名」および「単価」の情報を取得し、その認識ＯＫの物体（物体ａ、物体ｂ２、物体ｂ３）の顧客側からみた近傍に、それぞれの「商品名」と「単価」とをレーザ光で照射する。
つまり、認識結果提示部１３０は、オブジェクト認識処理部１２０が認識エラーと判断した物体の載置位置に向けて発光装置３０により所定の文字情報となる可視光を発光させ、オブジェクト認識処理部１２０が認識ＯＫと判断した物体の載置位置に向けて発光装置３０により上記所定の文字とは異なる文字情報となる可視光を発光させる。
また、認識結果提示部１３０は、オブジェクト認識処理部１２０が認識エラーと判断した物体の載置位置に向けて発光装置３０により所定の色の光を発生させ、オブジェクト認識処理部１２０が認識ＯＫと判断した物体の載置位置に向けて発光装置３０により上記所定の色とは異なる色の光を発光させる。
なお、認識結果提示部１３０は、図６に示した例の変形例として、認識エラーと判断された物体だけに、認識エラーを示すレーザ光（例えば、赤色の「×」印と「認識できません」の文字情報）を照射し、認識ＯＫと判断された物体には、レーザ光を照射しないようにしてもよい。また、反対に、認識結果提示部１３０は、認識ＯＫの物体だけに、認識ＯＫを示すレーザ光（緑色の「〇」印と「商品名 単価」の文字情報）を照射し、認識エラーと判断された物体には、レーザ光を照射しないようにしてもよい。このどちらの場合においても、商品登録装置１のオペレータおよび顧客は、認識エラーとなった物体がいずれの物体であるかを特定することができる。
また、レーザ光の照射は、認識エラーを示すレーザ光（例えば、「×」印）、または、認識ＯＫを示すレーザ光（例えば、「〇」印）だけでもよい。つまり、認識結果の文字情報を併せて照射しなくてもよい。
さらに、レーザ光の照射は、認識エラーを示すレーザ光を赤色のレーザ光とし、認識ＯＫを示すレーザ光を緑色のレーザ光として説明したが、それぞれ別の色でもよいし、認識結果を記号等（例えば、「×」印、「〇」印）で示す場合には、同一色であっても構わない。
なお、記号情報に色情報や文字情報を加えた方が、商品登録装置１のオペレータおよび顧客は、より早く確実に、つまり、レーザ光が照射された際に一瞥して、認識エラーの物体（商品）を特定することができる。
また、レーザ光の照射は、認識エラーを示すレーザ光（例えば、「×」印）、または、認識ＯＫを示すレーザ光（例えば、「〇」印）だけでもよい。つまり、認識結果の文字情報を併せて照射しなくてもよい。
さらに、レーザ光の照射は、認識エラーを示すレーザ光を赤色のレーザ光とし、認識ＯＫを示すレーザ光を緑色のレーザ光として説明したが、それぞれ別の色でもよいし、認識結果を記号等（例えば、「×」印、「〇」印）で示す場合には、同一色であっても構わない。
なお、記号情報に色情報や文字情報を加えた方が、商品登録装置１のオペレータおよび顧客は、より早く確実に、つまり、レーザ光が照射された際に一瞥して、認識エラーの物体（商品）を特定することができる。
また、認識結果提示部１３０は、発光装置３０が任意の方向に照射できる機構を備えたＬＥＤライト（ＬＥＤスポットライト）や、液晶プロジェクタ等の場合には、図７に示すように、認識エラーと判断された物体に可視光（スポット光）を照射し（図７の符号α参照）、認識ＯＫと判断された物体に対する照射は行わない。つまり、認識結果提示部１３０は、オブジェクト認識処理部１２０が認識エラーと判断した物体の載置位置に向けて発光装置３０により可視光を発光させ、オブジェクト認識処理部１２０が認識ＯＫと判断した物体の載置位置に向けての発光装置３０による発光を留保する。このようにしても、商品登録装置１のオペレータおよび顧客は、認識エラーとなった物体がいずれの物体であるかを特定することができる。
この場合に、認識結果提示部１３０は、認識エラーと判断された物体に対して、例えば、赤色の可視光（スポット光）の照射とともに、認識ＯＫと判断された物体に対して、緑色の可視光（スポット光）を照射するようにしてもよい。
また、認識結果提示部１３０は、認識エラーと判断された物体に対する照射を行わず、認識ＯＫとなった物体に対してのみ、可視光（スポット光）の照射を行うようにしてもよい。
このようにしても、商品登録装置１のオペレータおよび顧客は、認識エラーとなった物体がいずれの物体であるかを一瞥して特定することができる。
この場合に、認識結果提示部１３０は、認識エラーと判断された物体に対して、例えば、赤色の可視光（スポット光）の照射とともに、認識ＯＫと判断された物体に対して、緑色の可視光（スポット光）を照射するようにしてもよい。
また、認識結果提示部１３０は、認識エラーと判断された物体に対する照射を行わず、認識ＯＫとなった物体に対してのみ、可視光（スポット光）の照射を行うようにしてもよい。
このようにしても、商品登録装置１のオペレータおよび顧客は、認識エラーとなった物体がいずれの物体であるかを一瞥して特定することができる。
図３に戻り、認識結果表示部１４０は、類似度判断部１２３が上記（１）（認識ＯＫ）と判断した分離画像の物体（商品）について、その商品が一意に特定されたことを、ディスプレイ１２Ａや顧客用ディスプレイ１１に表示する。認識結果表示部１４０は、認識ＯＫとなった分離画像を、例えば、緑色の枠線とともにディスプレイ１２Ａや顧客用ディスプレイ１１に表示する。
また、認識結果表示部１４０は、類似度判断部１２３が上記（２）および（３）（認識エラー）と判断した分離画像を、例えば、赤色の枠線とともにディスプレイ１２Ａや顧客用ディスプレイ１１に表示することで、その商品が一意に特定されなかったことを表示する。
また、認識結果表示部１４０は、類似度判断部１２３が上記（２）および（３）（認識エラー）と判断した分離画像を、例えば、赤色の枠線とともにディスプレイ１２Ａや顧客用ディスプレイ１１に表示することで、その商品が一意に特定されなかったことを表示する。
このとき、認識結果表示部１４０は、商品登録装置１のオペレータに対し、認識エラーとなった商品について、例えば、位置を置き直す（商品が重ならないように配置する）、商品の角度を変える等の対処を促すメッセージを表示し、所定に時間経過後や、ディスプレイ１２Ａに設けた撮影ボタン等がオペレータに押し下げられた情報を取得することにより、再度撮影を行い、オブジェクト認識処理を実行するようにする。
また、認識結果提示部１３０が認識エラーとなった物体（商品）等への可視光の照射を行うことにより、一意に特定できなかった商品を商品登録装置１のオペレータや顧客が確認した後、認識結果表示部１４０は、前記した条件Ｙを満たした商品の商品名および代表画像を商品マスタ情報１００から読み出し、類似度演算部１２２が算出した類似度の高いものから、選択候補の商品として、ディスプレイ１２Ａに表示させるようにしてもよい。
さらに、認識結果表示部１４０は、すべての商品が一意に特定されたと判断した場合に、オペレータが販売情報として登録する商品を確定するための確定ボタンを表示する。
また、認識結果提示部１３０が認識エラーとなった物体（商品）等への可視光の照射を行うことにより、一意に特定できなかった商品を商品登録装置１のオペレータや顧客が確認した後、認識結果表示部１４０は、前記した条件Ｙを満たした商品の商品名および代表画像を商品マスタ情報１００から読み出し、類似度演算部１２２が算出した類似度の高いものから、選択候補の商品として、ディスプレイ１２Ａに表示させるようにしてもよい。
さらに、認識結果表示部１４０は、すべての商品が一意に特定されたと判断した場合に、オペレータが販売情報として登録する商品を確定するための確定ボタンを表示する。
入力取得部１５０は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（２）と判断され、商品が一意に特定されなかった場合に、撮影ボタンへのオペレータによるタッチ入力操作を受け付けたり、商品の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付けたりする。また、入力取得部１５０は、販売情報として登録する商品を確定する確定ボタンへのタッチ入力操作を受け付ける。
販売情報登録部１６０は、入力取得部１５０等により確定された商品の販売情報を、記憶部２３内の商品販売登録情報２００に登録する。
商品販売登録情報２００には、例えば、その販売日時に対応付けて、商品ＩＤ、商品名、商品単価、販売個数、売上金額等が登録される。
商品販売登録情報２００には、例えば、その販売日時に対応付けて、商品ＩＤ、商品名、商品単価、販売個数、売上金額等が登録される。
情報出力部１７０は、前記のようにして確定された商品の商品ＩＤと、これに対応する商品名、単価、販売個数、売上金額等を顧客用ディスプレイ１１、ディスプレイ１２Ａに表示し、プリンタ１４に出力する。
＜処理の流れ＞
次に、商品登録装置１の処理の流れを説明する。
図８は、本実施形態に係る商品登録装置１のオブジェクト認識を含む商品登録処理の流れを示すフローチャートである。
商品登録装置１は、撮影台１６の撮影領域１５１を撮影装置１５によって、常時撮影し続ける。または、顧客がトレー３を撮影台１６に載せ、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすることにより、商品登録装置１の処理部１０が撮影装置１５からの画像を取り込み、一連の処理を開始する。
また、ここでは、商品登録装置１に備わる発光装置３０は、レーザ光を用いたプロジェクタ（レーザプロジェクタ）であり、文字や記号をレーザ光で商品やトレー３上に提示できるものとする。
次に、商品登録装置１の処理の流れを説明する。
図８は、本実施形態に係る商品登録装置１のオブジェクト認識を含む商品登録処理の流れを示すフローチャートである。
商品登録装置１は、撮影台１６の撮影領域１５１を撮影装置１５によって、常時撮影し続ける。または、顧客がトレー３を撮影台１６に載せ、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすることにより、商品登録装置１の処理部１０が撮影装置１５からの画像を取り込み、一連の処理を開始する。
また、ここでは、商品登録装置１に備わる発光装置３０は、レーザ光を用いたプロジェクタ（レーザプロジェクタ）であり、文字や記号をレーザ光で商品やトレー３上に提示できるものとする。
まず、処理部１０は、撮影装置１５からの画像のキャプチャを開始する（ステップＳ１）。画像記憶部１１０は、撮影装置１５が撮影したフレーム画像（撮影画像）をＲＡＭ２１に記憶する。
次に、オブジェクト認識処理部１２０は、画像記憶部１１０が記憶したフレーム画像に対して、オブジェクト認識処理を行う。
具体的には、ステップＳ２において、オブジェクト認識処理部１２０の物体・位置検出部１２１は、画像記憶部１１０が取り込んだフレーム画像について、輪郭線（エッジ）抽出等することにより商品の候補となる画像を背景から分離し、分離画像を生成する。また、物体・位置検出部１２１は、分離した画像（検出した物体）について、撮影領域１５１内における位置情報を検出（載置位置を特定）し、検出した物体に対応付けてＲＡＭ２１（図２参照）に記憶しておく。
具体的には、ステップＳ２において、オブジェクト認識処理部１２０の物体・位置検出部１２１は、画像記憶部１１０が取り込んだフレーム画像について、輪郭線（エッジ）抽出等することにより商品の候補となる画像を背景から分離し、分離画像を生成する。また、物体・位置検出部１２１は、分離した画像（検出した物体）について、撮影領域１５１内における位置情報を検出（載置位置を特定）し、検出した物体に対応付けてＲＡＭ２１（図２参照）に記憶しておく。
続いて、処理部１０は、物体・位置検出部１２１が認識したオブジェクト（物体認識画像）分だけ、次のステップＳ３〜Ｓ８の処理を繰り返す。
まず、オブジェクト認識処理部１２０の類似度演算部１２２は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い等の特徴量を演算し、記憶部２３内の商品マスタ情報１００（図４参照）の特徴量と比較することにより類似度を算出する（ステップＳ４）。
まず、オブジェクト認識処理部１２０の類似度演算部１２２は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い等の特徴量を演算し、記憶部２３内の商品マスタ情報１００（図４参照）の特徴量と比較することにより類似度を算出する（ステップＳ４）。
そして、オブジェクト認識処理部１２０の類似度判断部１２３は、類似度演算部１２２が算出した類似度に基づいて、物体認識画像（分離画像）に対応する商品を認識する。
ここで、オブジェクト認識処理部１２０（類似度判断部１２３）は、その類似度の算出の結果、認識ＯＫか否かを判断する（ステップＳ５）。具体的には、オブジェクト認識処理部１２０は、認識エラーとなった場合（例えば、上記（２）または（３）の場合）（ステップＳ５→Ｎｏ）、つまり、類似度判断部１２３が対応する商品を一意に特定できなかったとき、ステップＳ６に進む。また、オブジェクト認識処理部１２０は、そのオブジェクト認識が認識ＯＫとなった場合（例えば、上記（１）の場合）（ステップＳ５→Ｙｅｓ）、つまり、類似度判断部１２３が対応する商品が一意に特定できたとき、ステップＳ７に進む。
ここで、オブジェクト認識処理部１２０（類似度判断部１２３）は、その類似度の算出の結果、認識ＯＫか否かを判断する（ステップＳ５）。具体的には、オブジェクト認識処理部１２０は、認識エラーとなった場合（例えば、上記（２）または（３）の場合）（ステップＳ５→Ｎｏ）、つまり、類似度判断部１２３が対応する商品を一意に特定できなかったとき、ステップＳ６に進む。また、オブジェクト認識処理部１２０は、そのオブジェクト認識が認識ＯＫとなった場合（例えば、上記（１）の場合）（ステップＳ５→Ｙｅｓ）、つまり、類似度判断部１２３が対応する商品が一意に特定できたとき、ステップＳ７に進む。
ステップＳ６において、認識結果提示部１３０は、認識エラー（対応する商品が一意に特定できない）の場合、その認識エラーとなった商品の位置情報（特定された載置位置）をＲＡＭ２１から取得し、発光装置３０により、当該物体（商品）の載置位置に向けて認識エラーの結果情報を発光させる。ここでは、図６に示すように、認識結果提示部１３０は、認識エラーと判断された物体（ここでは、物体ｂ１）について、赤色の「×」印のレーザ光を照射するとともに、顧客側から見た当該物体（物体ｂ１）の近傍に、「認識できません」の文字をレーザ光で照射する。
一方、ステップＳ７において、認識結果提示部１３０は、認識ＯＫ（対応する商品が一意に特定できた）の場合、その認識ＯＫとなった商品の位置情報（特定された載置位置）をＲＡＭ２１から取得し、発光装置３０により、当該物体（商品）の載置位置に向けて認識ＯＫの結果情報を発光させる。ここでは、図６に示すように、認識結果提示部１３０は、認識ＯＫと判断された物体（ここでは、物体ａ、物体ｂ２、物体ｂ３）について、緑色の「〇」印のレーザ光を照射するとともに、商品マスタ情報１００（図４）を参照して、その物体（物体ａ、物体ｂ２、物体ｂ３）について、「商品名」および「単価」の情報を取得し、顧客側から見た当該物体の近傍に、それぞれの「商品名」と「単価」とをレーザ光で照射する。
次に、認識結果提示部１３０は、オブジェクト認識処理部１２０から取得した物体認識画像（分離画像）のすべてについて処理を繰り返したかを判断する（ステップＳ８）。認識結果提示部１３０は、取得したすべての物体認識画像（分離画像）について処理を繰り返していなかったならば、ステップＳ３の処理に戻り、取得したすべての物体認識画像（分離画像）について処理を繰り返したならば、ステップＳ９に進む。
なお、このステップＳ３〜Ｓ８の処理により、商品登録装置１のオペレータおよび顧客は、認識エラーとなった商品がトレー３上のどの商品かを特定することができる。
なお、このステップＳ３〜Ｓ８の処理により、商品登録装置１のオペレータおよび顧客は、認識エラーとなった商品がトレー３上のどの商品かを特定することができる。
ステップＳ９において、認識結果表示部１４０は、類似度判断部１２３による認識結果を、ディスプレイ１２Ａや顧客用ディスプレイ１１に表示する。具体的には、認識結果表示部１４０は、認識ＯＫとなった分離画像を、例えば、緑色の枠線とともにディスプレイ１２Ａや顧客用ディスプレイ１１に表示し、認識エラーとなった分離画像を、例えば、赤色の枠線とともにディスプレイ１２Ａや顧客用ディスプレイ１１に表示する。
続いて、ステップＳ１０において、認識結果表示部１４０は、ディスプレイ１２Ａに設けた撮影ボタン等がオペレータに押し下げられた情報を入力取得部１５０が取得したか否かを判定する。ここで、撮影ボタンがオペレータにより押し下げられる場合は、認識エラーとなった商品を可視光（レーザ光等）により特定したオペレータが、その認識エラーとなった商品について、位置を置き直す（商品が重ならないように配置する）、商品の角度を変える等の対処をした上で、再撮影を要求するケースである。
認識結果表示部１４０は、撮影ボタンが押し下げられた情報を取得した場合には（ステップＳ１０→Ｙｅｓ）、ステップＳ１に戻る。一方、認識結果表示部１４０は、撮影ボタンが押し下げされた情報を取得しない場合には（ステップＳ１０→Ｎｏ）、次のステップＳ１１に進む。
認識結果表示部１４０は、撮影ボタンが押し下げられた情報を取得した場合には（ステップＳ１０→Ｙｅｓ）、ステップＳ１に戻る。一方、認識結果表示部１４０は、撮影ボタンが押し下げされた情報を取得しない場合には（ステップＳ１０→Ｎｏ）、次のステップＳ１１に進む。
ステップＳ１１において、認識結果表示部１４０は、ディスプレイ１２Ａに設けた確定ボタンがオペレータに押し下げられた情報を入力取得部１５０が取得したか否かを判定する。ここで、確定ボタンがオペレータにより押し下げられる場合は、認識エラーとなった商品が再撮影されること等により、すべての商品が一意に特定され認識ＯＫとなったときや、認識結果表示部１４０により、類似度の高い商品の選択画面が表示され、オペレータが選択入力することにより、すべての商品が一意に特定されたときであり、オペレータが確定ボタンを押し下げることにより、販売情報の登録処理へと進む。
認識結果表示部１４０は、確定ボタンが押し下げられた情報を取得した場合には（ステップＳ１１→Ｙｅｓ）、次にステップＳ１２に進む。一方、認識結果表示部１４０は、所定の時間経過しても、確定ボタンが押し下げられた情報を取得できなかった場合には（ステップＳ１１→Ｎｏ）、ステップＳ１に戻る。
認識結果表示部１４０は、確定ボタンが押し下げられた情報を取得した場合には（ステップＳ１１→Ｙｅｓ）、次にステップＳ１２に進む。一方、認識結果表示部１４０は、所定の時間経過しても、確定ボタンが押し下げられた情報を取得できなかった場合には（ステップＳ１１→Ｎｏ）、ステップＳ１に戻る。
ステップＳ１２において、販売情報登録部１６０は、入力取得部１５０等により確定された商品の販売情報（販売日時、商品ＩＤ、商品名、商品単価、販売個数、売上金額等）を、記憶部２３内の商品販売登録情報２００に登録し、処理を終える。
以上説明したように、本実施形態に係る商品登録装置１（オブジェクト認識装置）および認識結果提示方法によれば、撮影装置１５により撮影された画像情報に基づき、その物体（商品）を認識するとともに、その物体（商品）の載置位置を特定し、その認識結果を、特定された載置位置を発光により指し示す発光装置３０の発光状態により提示する。これにより、商品登録装置１は、認識エラーとなった商品がどれであるかを明確に提示することができる。よって、商品登録装置１のオペレータは、視線を移動することなくトレー３上の商品の認識状態を把握して、認識エラーとなった商品の位置を置き直す（商品が重ならないように配置する）、商品の角度を変える等の対処を迅速に行うことができ、作業効率を向上させることができる。
さらに、商品登録装置１がレーザ光を用いて、認識ＯＫの商品について商品名および単価を提示する場合には、顧客用ディスプレイ１１を不要とすることもできる。
さらに、商品登録装置１がレーザ光を用いて、認識ＯＫの商品について商品名および単価を提示する場合には、顧客用ディスプレイ１１を不要とすることもできる。
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能である。
（ａ） 上記して説明した本実施形態に係る商品登録装置１（オブジェクト認識装置）においては、図１に示すように、トレー３の上部に設けられた発光装置３０から可視光を発するものとして説明した。
しかしながら、商品登録装置１は、発光装置３０を撮影台１６の内部に収容し、トレー３の下から可視光（スポット光）を上向きに照射するようにしてもよい。トレー３は、光を透過するように半透明にしておき、例えば、認識エラーとなった物体（商品）の位置にスポット光を照射することにより、その認識エラーとなった物体（商品）を、オペレータや顧客が特定できるようにする。
また、トレー３上に載せる必要のない商品（例えば、青果物や野菜等）のオブジェクト認識をする場合には、撮影台１６の内部に、ＬＥＤディスプレイや液晶ディスプレイ等を配置し、認識エラーとなった商品を特定できる画面（例えば、認識エラーとなった商品の位置を特定できる画面）をディスプレイに表示させるようにしてもよい。このようにすることによっても、認識エラーとなった物体（商品）を、オペレータや顧客が特定することができる。
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能である。
（ａ） 上記して説明した本実施形態に係る商品登録装置１（オブジェクト認識装置）においては、図１に示すように、トレー３の上部に設けられた発光装置３０から可視光を発するものとして説明した。
しかしながら、商品登録装置１は、発光装置３０を撮影台１６の内部に収容し、トレー３の下から可視光（スポット光）を上向きに照射するようにしてもよい。トレー３は、光を透過するように半透明にしておき、例えば、認識エラーとなった物体（商品）の位置にスポット光を照射することにより、その認識エラーとなった物体（商品）を、オペレータや顧客が特定できるようにする。
また、トレー３上に載せる必要のない商品（例えば、青果物や野菜等）のオブジェクト認識をする場合には、撮影台１６の内部に、ＬＥＤディスプレイや液晶ディスプレイ等を配置し、認識エラーとなった商品を特定できる画面（例えば、認識エラーとなった商品の位置を特定できる画面）をディスプレイに表示させるようにしてもよい。このようにすることによっても、認識エラーとなった物体（商品）を、オペレータや顧客が特定することができる。
（ｂ） 上記して説明した本実施形態に係る商品登録装置１（オブジェクト認識装置）においては、認識エラーの商品が１つの場合を例に説明している。ここで、複数の認識エラーの商品を照射する場合や、認識ＯＫの商品も認識エラーの商品と同時に照射する場合には、それらの各商品にレーザ光を順次照射してもよいし、発光装置３０（レーザプロジェクタ）を複数設置しておき、各商品に異なる色や記号等のレーザ光を照射するようにしてもよい。
＜その他＞
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
複数の物体の種別毎に、該物体を特定する基準となる特徴量が記憶された記憶手段と、
所定領域に載置された物体を撮影手段により撮影して、該撮影された物体の載置位置を特定するとともに、前記特徴量を参照することにより該撮影された物体の種別を認識する物体認識手段と、
前記撮影手段により撮影された物体の種別が前記物体認識手段により認識できたか否かの認識結果を、前記特定された載置位置を発光により指し示す発光手段の発光状態により提示する認識結果提示手段と、
を備えることを特徴とするオブジェクト認識装置。
＜請求項２＞
前記認識結果提示手段は、前記物体認識手段により物体の種別が認識できなかった場合に該物体に対応付けて特定された前記載置位置に向けて前記発光手段から可視光を発光させ、前記物体認識手段により物体の種別が認識できた場合には該物体に対応付けて特定された前記載置位置に向けての前記発光手段からの可視光の発光を留保することを特徴とする請求項１に記載のオブジェクト認識装置。
＜請求項３＞
前記認識結果提示手段は、前記物体認識手段により物体の種別が認識できなかった場合に該物体に対応付けて特定された前記載置位置に向けて前記発光手段から所定の色の光を発光させ、前記物体認識手段により物体の種別が認識できた場合には該物体に対応付けて特定された前記載置位置に向けて前記発光手段から前記所定の色とは異なる色の光を発光させることを特徴とする請求項１に記載のオブジェクト認識装置。
＜請求項４＞
前記認識結果提示手段は、前記物体認識手段により物体の種別が認識できなかった場合に該物体に対応付けて特定された前記載置位置に向けて前記発光手段から所定の文字情報となるように可視光を発光させ、前記物体認識手段により物体の種別が認識できた場合には該物体に対応付けて特定された前記載置位置に向けて前記発光手段から前記所定の文字情報とは異なる文字情報となるように可視光を発光させることを特徴とする請求項１に記載のオブジェクト認識装置。
＜請求項５＞
複数の物体の種別毎に、該物体を特定する基準となる特徴量を記憶手段に記憶させるステップと、
所定領域に載置された物体を撮影手段により撮影して、該撮影された物体の載置位置を特定するとともに、前記特徴量を参照することにより該撮影された物体の種別を認識する物体認識ステップと、
前記撮影手段により撮影された物体の種別が前記物体認識ステップで認識できたか否かの認識結果を、前記特定された載置位置を発光により指し示す発光手段の発光状態により提示する認識結果提示ステップと、
を有することを特徴とする認識結果提示方法。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
複数の物体の種別毎に、該物体を特定する基準となる特徴量が記憶された記憶手段と、
所定領域に載置された物体を撮影手段により撮影して、該撮影された物体の載置位置を特定するとともに、前記特徴量を参照することにより該撮影された物体の種別を認識する物体認識手段と、
前記撮影手段により撮影された物体の種別が前記物体認識手段により認識できたか否かの認識結果を、前記特定された載置位置を発光により指し示す発光手段の発光状態により提示する認識結果提示手段と、
を備えることを特徴とするオブジェクト認識装置。
＜請求項２＞
前記認識結果提示手段は、前記物体認識手段により物体の種別が認識できなかった場合に該物体に対応付けて特定された前記載置位置に向けて前記発光手段から可視光を発光させ、前記物体認識手段により物体の種別が認識できた場合には該物体に対応付けて特定された前記載置位置に向けての前記発光手段からの可視光の発光を留保することを特徴とする請求項１に記載のオブジェクト認識装置。
＜請求項３＞
前記認識結果提示手段は、前記物体認識手段により物体の種別が認識できなかった場合に該物体に対応付けて特定された前記載置位置に向けて前記発光手段から所定の色の光を発光させ、前記物体認識手段により物体の種別が認識できた場合には該物体に対応付けて特定された前記載置位置に向けて前記発光手段から前記所定の色とは異なる色の光を発光させることを特徴とする請求項１に記載のオブジェクト認識装置。
＜請求項４＞
前記認識結果提示手段は、前記物体認識手段により物体の種別が認識できなかった場合に該物体に対応付けて特定された前記載置位置に向けて前記発光手段から所定の文字情報となるように可視光を発光させ、前記物体認識手段により物体の種別が認識できた場合には該物体に対応付けて特定された前記載置位置に向けて前記発光手段から前記所定の文字情報とは異なる文字情報となるように可視光を発光させることを特徴とする請求項１に記載のオブジェクト認識装置。
＜請求項５＞
複数の物体の種別毎に、該物体を特定する基準となる特徴量を記憶手段に記憶させるステップと、
所定領域に載置された物体を撮影手段により撮影して、該撮影された物体の載置位置を特定するとともに、前記特徴量を参照することにより該撮影された物体の種別を認識する物体認識ステップと、
前記撮影手段により撮影された物体の種別が前記物体認識ステップで認識できたか否かの認識結果を、前記特定された載置位置を発光により指し示す発光手段の発光状態により提示する認識結果提示ステップと、
を有することを特徴とする認識結果提示方法。
１ 商品登録装置（オブジェクト認識装置）
１０ 処理部
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１２Ａ ディスプレイ
１２Ｂ タッチパネル
１３ キャッシュドロワ
１４ プリンタ
１５ 撮影装置（撮影手段）
１６ 撮影台
１７ バックライト光源
２０ ＣＰＵ
２１ ＲＡＭ
２２ ＲＯＭ
２３ 記憶部（記憶手段）
３０ 発光装置（発光手段）
１００ 商品マスタ情報
１１０ 映像記憶部
１２０ オブジェクト認識処理部（物体認識手段）
１２１ 物体・位置検出部
１２２ 類似度演算部
１２３ 類似度判断部
１３０ 認識結果提示部（認識結果提示手段）
１４０ 認識結果表示部
１５０ 入力取得部
１６０ 販売情報登録部
１７０ 情報出力部
２００ 商品販売登録情報
１０ 処理部
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１２Ａ ディスプレイ
１２Ｂ タッチパネル
１３ キャッシュドロワ
１４ プリンタ
１５ 撮影装置（撮影手段）
１６ 撮影台
１７ バックライト光源
２０ ＣＰＵ
２１ ＲＡＭ
２２ ＲＯＭ
２３ 記憶部（記憶手段）
３０ 発光装置（発光手段）
１００ 商品マスタ情報
１１０ 映像記憶部
１２０ オブジェクト認識処理部（物体認識手段）
１２１ 物体・位置検出部
１２２ 類似度演算部
１２３ 類似度判断部
１３０ 認識結果提示部（認識結果提示手段）
１４０ 認識結果表示部
１５０ 入力取得部
１６０ 販売情報登録部
１７０ 情報出力部
２００ 商品販売登録情報
Claims (5)
- 所定領域に載置された物体を撮影手段により撮影することで取得した画像に基づいて、該撮影された物体の載置位置を特定するとともに該載置位置が特定された物体の種別を認識する物体認識手段と、
前記撮影手段により撮影された物体の載置位置が前記物体認識手段により特定できたにもかかわらず該載置位置が特定された物体の種別が認識できなかった場合に、該種別が認識できなかった物体の表面に物体の種別が認識できなかったことを示す情報が投影されるように発光手段を制御し、前記種別が認識できなかった物体に対しては、更に当該物体に対する再度の撮影による前記物体認識手段による認識を良好にするスポット光を、当該物体の載置位置の範囲をターゲットにして照射するよう制御する制御手段と、
を備えたことを特徴とするオブジェクト認識装置。 - 前記制御手段は、前記情報が所定のマークとして投影されるように、前記発光手段としてのレーザ光を制御する、
ことを特徴とする請求項１に記載のオブジェクト認識装置。 - 所定領域に載置された複数の物体を撮影手段により撮影することで取得した画像に基づいて、該撮影された個々の物体の載置位置を特定するとともに該載置位置が特定された物体の種別を認識する物体認識手段と、
前記撮影手段により撮影された複数の物体の内で、物体の載置位置が前記物体認識手段により特定できたにもかかわらず該載置位置が特定された物体の種別が認識できなかった第１物体に対しては、該第１物体の表面に、物体の種別が認識できなかったことを示すマーク情報が投影されるように、且つ前記所定領域に載置された物体を避けた位置に認識不可のメッセージ情報が投影されるように発光手段を制御する制御手段と、
を備え、
前記制御手段は、前記撮影手段により撮影された物体の種別が認識できた第２物体に対しては、当該第２物体の近傍位置に当該第２物体の種別と金額とを示す文字情報が投影されるように制御する、
ことを特徴とするオブジェクト認識装置。 - 所定領域に載置された物体を撮影手段により撮影することで取得した画像に基づいて、該撮影された物体の載置位置を特定するとともに該載置位置が特定された物体の種別を認識する物体認識ステップと、
前記撮影手段により撮影された物体の載置位置が前記物体認識手段により特定できたにもかかわらず該載置位置が特定された物体の種別が認識できなかった場合に、該種別が認識できなかった物体の表面に物体の種別が認識できなかったことを示す情報が投影されるように発光手段を制御し、前記種別が認識できなかった物体に対しては、更に当該物体に対する再度の撮影による前記物体認識手段による認識を良好にするスポット光を、当該物体の載置位置の範囲をターゲットにして照射するよう制御する制御ステップと、
を有することを特徴とする認識結果提示方法。 - 所定領域に載置された複数の物体を撮影手段により撮影することで取得した画像に基づいて、該撮影された個々の物体の載置位置を特定するとともに該載置位置が特定された物体の種別を認識する物体認識ステップと、
前記撮影手段により撮影された複数の物体の内で、物体の載置位置が前記物体認識ステップにより特定できたにもかかわらず該載置位置が特定された物体の種別が認識できなかった第１物体に対しては、該第１物体の表面に、物体の種別が認識できなかったことを示すマーク情報が投影されるように、且つ前記所定領域に載置された物体を避けた位置に認識不可のメッセージ情報が投影されるように発光手段を制御する制御ステップと、
を有し、
前記制御ステップは、前記撮影手段により撮影された物体の種別が認識できた第２物体に対しては、当該第２物体の近傍位置に当該第２物体の種別と金額とを示す文字情報が投影されるように制御する、
ことを特徴とする認識結果提示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015052431A JP6341124B2 (ja) | 2015-03-16 | 2015-03-16 | オブジェクト認識装置および認識結果提示方法 |
| US15/055,716 US9978050B2 (en) | 2015-03-16 | 2016-02-29 | Object recognizing apparatus, method of indicating a recognition result, and computer readable recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015052431A JP6341124B2 (ja) | 2015-03-16 | 2015-03-16 | オブジェクト認識装置および認識結果提示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016173657A JP2016173657A (ja) | 2016-09-29 |
| JP6341124B2 true JP6341124B2 (ja) | 2018-06-13 |
Family
ID=56925445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015052431A Active JP6341124B2 (ja) | 2015-03-16 | 2015-03-16 | オブジェクト認識装置および認識結果提示方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9978050B2 (ja) |
| JP (1) | JP6341124B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10762614B2 (en) * | 2015-10-19 | 2020-09-01 | Yuyama Mfg, Co., Ltd. | Inspection apparatus, inspection method and computer program product |
| US9818038B2 (en) * | 2016-01-06 | 2017-11-14 | Toshiba Tec Kabushiki Kaisha | Image recognition apparatus |
| US10762486B2 (en) * | 2016-01-21 | 2020-09-01 | Nec Corporation | Information processing apparatus, information processing method, and non-transitory storage medium |
| JP2018032332A (ja) * | 2016-08-26 | 2018-03-01 | 東芝テック株式会社 | 情報処理装置およびプログラム |
| US10192136B2 (en) * | 2016-10-20 | 2019-01-29 | Toshiba Tec Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP6873711B2 (ja) * | 2017-01-16 | 2021-05-19 | 東芝テック株式会社 | 商品認識装置 |
| US11367266B2 (en) * | 2017-02-14 | 2022-06-21 | Nec Corporation | Image recognition system, image recognition method, and storage medium |
| CN108460389B (zh) | 2017-02-20 | 2021-12-03 | 阿里巴巴集团控股有限公司 | 一种识别图像中对象的类型预测方法、装置及电子设备 |
| JP7205603B2 (ja) * | 2018-02-23 | 2023-01-17 | 日本電気株式会社 | 登録装置、登録方法及びプログラム |
| WO2019163094A1 (ja) * | 2018-02-23 | 2019-08-29 | 日本電気株式会社 | 登録装置、登録方法及びプログラム |
| JP6984725B2 (ja) * | 2018-02-23 | 2021-12-22 | 日本電気株式会社 | 登録装置、登録方法及びプログラム |
| JP7067608B2 (ja) * | 2018-03-02 | 2022-05-16 | 日本電気株式会社 | 情報処理システム |
| US20210027062A1 (en) * | 2018-03-22 | 2021-01-28 | Nec Corporation | Object detection system using image recognition, object detection device using image recognition, object detection method using image recognition, and non-transitory storage medium |
| JP7373729B2 (ja) * | 2019-03-29 | 2023-11-06 | パナソニックＩｐマネジメント株式会社 | 精算決済装置および無人店舗システム |
| CN111445517B (zh) * | 2020-03-14 | 2023-06-20 | 苏州艾吉威机器人有限公司 | 机器人视觉末端定位方法、装置及计算机可读存储介质 |
| JP2021174379A (ja) | 2020-04-28 | 2021-11-01 | パナソニックＩｐマネジメント株式会社 | 精算決済装置および精算決済システム |
| JP7451320B2 (ja) * | 2020-06-18 | 2024-03-18 | 京セラ株式会社 | 情報処理システム、情報処理装置、及び、情報処理方法 |
| JP7435716B2 (ja) * | 2021-11-15 | 2024-02-21 | 日本電気株式会社 | 登録装置、登録方法及びプログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2776692B2 (ja) * | 1992-06-30 | 1998-07-16 | シーケーディ株式会社 | ハンダ配設状況識別方法及び識別装置 |
| JP2002140765A (ja) * | 2000-10-31 | 2002-05-17 | Glory Ltd | オートレジシステム |
| JP4024030B2 (ja) * | 2001-10-26 | 2007-12-19 | 株式会社トラフィック・シム | 画像認識装置、プログラム、記録媒体 |
| JP2004240835A (ja) * | 2003-02-07 | 2004-08-26 | Glory Ltd | 物品認識装置 |
| JP2006350806A (ja) * | 2005-06-17 | 2006-12-28 | Toshiba Tec Corp | 無線タグ認識装置及び商品販売データ処理装置 |
| DE102006044365A1 (de) * | 2006-09-20 | 2008-04-03 | Mettler-Toledo (Albstadt) Gmbh | Automatische Erkennungsvorrichtung |
| US8571298B2 (en) * | 2008-12-23 | 2013-10-29 | Datalogic ADC, Inc. | Method and apparatus for identifying and tallying objects |
| JP5138667B2 (ja) * | 2009-12-22 | 2013-02-06 | 東芝テック株式会社 | セルフチェックアウト端末 |
| JP5510924B2 (ja) | 2010-02-22 | 2014-06-04 | 株式会社ブレイン | パンの識別装置とそのプログラム |
| JP5544332B2 (ja) * | 2010-08-23 | 2014-07-09 | 東芝テック株式会社 | 店舗システムおよびプログラム |
| JP5483622B2 (ja) | 2011-08-31 | 2014-05-07 | 東芝テック株式会社 | 店舗システム及びプログラム |
| JP5431429B2 (ja) * | 2011-09-06 | 2014-03-05 | 東芝テック株式会社 | 情報処理装置及びプログラム |
| JP5874141B2 (ja) * | 2012-01-13 | 2016-03-02 | 株式会社ブレイン | 物体識別装置 |
| JP5586641B2 (ja) * | 2012-02-24 | 2014-09-10 | 東芝テック株式会社 | 商品読取装置及び商品読取プログラム |
| US20150379494A1 (en) * | 2013-03-01 | 2015-12-31 | Nec Corporation | Information processing system, and information processing method |
| JP5927147B2 (ja) * | 2013-07-12 | 2016-05-25 | 東芝テック株式会社 | 商品認識装置及び商品認識プログラム |
| JP2015099549A (ja) * | 2013-11-20 | 2015-05-28 | 東芝テック株式会社 | 商品認識装置及び商品認識プログラム |
-
2015
- 2015-03-16 JP JP2015052431A patent/JP6341124B2/ja active Active
-
2016
- 2016-02-29 US US15/055,716 patent/US9978050B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016173657A (ja) | 2016-09-29 |
| US20160275363A1 (en) | 2016-09-22 |
| US9978050B2 (en) | 2018-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6341124B2 (ja) | オブジェクト認識装置および認識結果提示方法 | |
| US9811816B2 (en) | Commodity identification device and commodity recognition navigation method | |
| JP6348827B2 (ja) | 情報処理装置、店舗システムおよびプログラム | |
| JP5483629B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| JP5518918B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| JP2004127013A (ja) | 販売時点情報管理装置 | |
| US20150193668A1 (en) | Information processing apparatus, store system and method for recognizing object | |
| JP5551140B2 (ja) | 情報処理装置及びプログラム | |
| US20190108503A1 (en) | Reading apparatus, reading method, and computer readable medium | |
| EP3002739A2 (en) | Information processing apparatus and information processing method by the same | |
| JP6409637B2 (ja) | 商品登録装置、およびその商品登録方法 | |
| US20170344851A1 (en) | Information processing apparatus and method for ensuring selection operation | |
| EP2985741A1 (en) | Information processing apparatus and information processing method | |
| JP6376955B2 (ja) | 情報処理装置、販売データ処理装置およびプログラム | |
| JP2018142358A (ja) | 情報処理装置及びプログラム | |
| JP6503814B2 (ja) | 商品登録装置、商品登録方法及びプログラム | |
| JP6394340B2 (ja) | 商品登録装置、商品登録方法およびプログラム | |
| JP5451787B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| US10720027B2 (en) | Reading device and method | |
| JP2018136621A (ja) | 情報処理装置およびプログラム | |
| JP5748880B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| US20180174126A1 (en) | Object recognition apparatus and method | |
| JP6384309B2 (ja) | 商品識別装置、商品認識ナビゲーション方法及びプログラム | |
| JP5798175B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| JP2020173876A (ja) | 認識システム、情報処理装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170620 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180118 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180430 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6341124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |