JP5194149B2 - 店舗システムおよびプログラム - Google Patents

店舗システムおよびプログラム Download PDF

Info

Publication number
JP5194149B2
JP5194149B2 JP2011153244A JP2011153244A JP5194149B2 JP 5194149 B2 JP5194149 B2 JP 5194149B2 JP 2011153244 A JP2011153244 A JP 2011153244A JP 2011153244 A JP2011153244 A JP 2011153244A JP 5194149 B2 JP5194149 B2 JP 5194149B2
Authority
JP
Japan
Prior art keywords
similarity
image
product
exceed
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011153244A
Other languages
English (en)
Other versions
JP2012069094A (ja
Inventor
浩之 上田
雅仁 佐野
伸夫 渡辺
浩之 古山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2011153244A priority Critical patent/JP5194149B2/ja
Priority to EP11178137.3A priority patent/EP2423891B1/en
Priority to US13/214,368 priority patent/US9245424B2/en
Priority to CN201110241316.6A priority patent/CN102376136B/zh
Publication of JP2012069094A publication Critical patent/JP2012069094A/ja
Application granted granted Critical
Publication of JP5194149B2 publication Critical patent/JP5194149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、店舗システムおよびプログラムに関する。
従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。
しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。
実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって前記出力された画像に含まれる物体を認識する物体認識手段と、前記出力された画像に含まれる物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、前記画像に含まれる複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が予め定められた閾値を超えていないと判定した場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する報知手段と、を備える。
また、実施形態の店舗システムは、撮像部と、前記撮像部が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって前記出力された画像に含まれる物体を認識する物体認識手段と、前記出力された画像に含まれる物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、前記画像に含まれる複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が予め定められた閾値を超えていないと判定した場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する報知手段と、を備える。
また、実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって前記撮像した画像に含まれる物体を認識する物体認識手段と、前記撮像した画像に含まれる物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、前記画像に含まれる複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が予め定められた閾値を超えていないと判定した場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する報知手段と、として機能させる。
図１は、本実施形態にかかるチェックアウトシステムを示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＣＰＵの機能構成を示すブロック図である。 図５は、チェックアウトシステムの処理動作の一例を示すフローチャートである。 図６は、読取窓における読取領域の例を示す概念図である。 図７は、処理の具体例を模式的に示す説明図である。 図８は、正規品と認識されなかった商品の表示例を示す正面図である。
以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケットやパン・ドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。
図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３（第１の買物カゴ１５３ａ）は、いわゆるカゴ形状のものに限るものではなく、パン店等の店舗において用いられるトレーなどであっても良い。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであっても良い。
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品Ａが果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、商品登録部６１２、類似度判定手段である類似度判定部６１３、不良品報知手段である不良品報知部６１４としての機能を備える。
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像された商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。
先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から商品Ａの全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１６１３は、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ４）。
図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で商品Ａの全部または一部が検出される。この商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ５）。業務を継続する場合（ステップＳ５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ５：Ｙｅｓ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ６）、処理を終了する。
次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ１２）。
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取装置１０１から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を登録する。
次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ１６）。業務を継続する場合（ステップＳ１６：Ｎｏ）、ＣＰＵ６１は、ステップＳ１１へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１６：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
一方、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ１７）、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
ＣＰＵ６１は、キーボード２２の操作指示などによる値引き販売の指示があったと判定した場合には（ステップＳ１８：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を値引きして登録する。また、キーボード２２の操作指示などによる販売中止の指示があったと判定した場合には（ステップＳ１８：Ｎｏ）、ステップＳ１１へ処理を戻す。
図７に示すように、物体認識部６１１が認識した商品Ａが「バナナ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「バナナ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。
ところで、物体認識部６１１の認識結果において、物体認識部６１１が複数（３本）の商品Ａ１〜Ａ３である「バナナ」を認識した場合、商品Ａ１，Ａ２については類似度が0.717であることから、算出した類似度が予め定められた閾値（0.50）を超えていると判定され、商品Ａ３については類似度が0.252であることから、算出した類似度が予め定められた閾値（0.50）を超えていないと判定されることがある。このような場合には、図８に示すように、不良品報知部６１４は、閾値（0.50）を超えておらず正規品と認識されなかった商品Ａ３を線Ｚで囲むなどして表示デバイス１０６へ表示することで、認識された複数の商品Ａ１〜Ａ３のうち閾値を超えていない一部の商品Ａ３について閾値を超えている他の商品Ａ１，Ａ２と区別し、商品Ａ３が正規品と認識されなかったことを店員に報知する。また、不良品報知部６１４は、図８に示すように、正規品と認識されなかった商品についての処理を選択するためのキーＸ，Ｙを表示デバイス１０６へ表示する。図８に示す例では、キーＸは、正規品と認識されなかった商品について値引き販売の指示をするためのキーである。また、キーＹは、正規品と認識されなかった商品について販売中止の指示をするためのキーである。
そして、ＣＰＵ６１は、表示デバイス１０６のタッチパネル１０５を介したキーＸに対する操作指示によって商品Ａ３についての値引き販売の指示があったと判定した場合には（ステップＳ１８：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、商品Ａ３の売上を値引きして登録する。また、表示デバイス１０６のタッチパネル１０５を介したキーＹに対する操作指示によって商品Ａ３の販売中止の指示があったと判定した場合には（ステップＳ１８：Ｎｏ）、ステップＳ１１へ処理を戻す。
なお、正規品と認識されなかった商品について値引き販売する場合に用いられる値引率または値引額は、段階的に設定されるものであっても良い。値引率または値引額は、例えばＰＬＵファイルＦ１に予め記憶した複数の閾値（類似度：0.XX）と対応付けることにより、類似度に応じて段階的に設けることが可能である。また、値引率または値引額に対応する閾値の値は、所定の範囲を持たせても良い。例えば、閾値（類似度）が０．３０〜０．５０のものは２０％引き、閾値（類似度）が０．５０〜０．６０のものは１０％引きとする。
このように本実施形態のチェックアウトシステム１によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。
なお、本実施形態においては、認識する物体は、ＰＬＵファイルＦ１に格納されている販売商品であるとしたが、これに限るものではなく、販売促進に用いる販促品などであっても良い。
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４が主記憶装置上に生成されるようになっている。
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。
なお、本実施形態においては、ＰＯＳ端末１１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４を備えるようにしても良い。この場合、商品読取装置１０１が店舗システムである。
また、本実施形態においては、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしても良い。この場合、ＰＯＳ端末１１が店舗システムである。
さらに、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるとともに、ＰＯＳ端末１１で行ったような売上登録を商品読取装置１０１側において行うようにしてもよい。
なお、実施形態においては、ステップＳ１８においてキーボード２２の操作指示などによる販売中止の指示があったか否かを判定するようにしたが、これに限るものではなく、オブジェクト認識結果に応じてダイレクトに値引き処理および販売中止処理を実行するようにしても良い。例えば、正規品と認識しなかった場合、キーボード２２の操作指示などによる値引き販売の指示がなくとも、オブジェクト認識結果に応じて値引き額を確定して値引き処理を実行する（または、オブジェクト認識結果に応じて販売中止処理を実行する）。
１ 店舗システム
１６４ 撮像手段
６１１ 物体認識手段
６１３ 類似度判定手段
６１４ 不良品報知手段
１６１３ 画像出力手段
特開平０６−２２３２７１号公報

Claims (12)

  1. 撮像手段が撮像した画像を出力する画像出力手段と、
    出力された前記画像の特徴量を読み取ることによって前記出力された画像に含まれる物体を認識する物体認識手段と、
    前記出力された画像に含まれる物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
    前記画像に含まれる複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が予め定められた閾値を超えていないと判定した場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する報知手段と、
    を備えることを特徴とする店舗システム。
  2. 前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
    ことを特徴とする請求項１記載の店舗システム。
  3. 前記類似度判定手段は、前記物体毎に各々定められている前記閾値に基づき、前記物体の前記類似度を判定する、
    ことを特徴とする請求項１記載の店舗システム。
  4. 前記報知手段によって前記物体の前記類似度が予め定められた閾値を超えていないことが報知された場合に、前記類似度が予め定められた閾値を超えていない前記物体の売上単価を値引きして登録する商品登録手段を更に備える、
    ことを特徴とする請求項１記載の店舗システム。
  5. 前記報知手段によって前記物体の前記類似度が予め定められた閾値を超えていないことが報知された後、値引き販売の指示があった場合に、前記類似度が予め定められた閾値を超えていない前記物体の売上単価を値引きして登録する商品登録手段を更に備える、
    ことを特徴とする請求項１記載の店舗システム。
  6. 前記報知手段によって前記物体の前記類似度が予め定められた閾値を超えていないことが報知された場合に、前記類似度が予め定められた閾値を超えていない前記物体の売上登録を中止する商品登録手段を更に備える、
    ことを特徴とする請求項１記載の店舗システム。
  7. 前記報知手段によって前記物体の前記類似度が予め定められた閾値を超えていないことが報知された後、販売中止の指示があった場合に、前記類似度が予め定められた閾値を超えていない前記物体の売上登録を中止する商品登録手段を更に備える、
    ことを特徴とする請求項１記載の店舗システム。
  8. 前記商品登録手段は、前記類似度が予め定められた閾値を超えていない前記物体の売上単価を値引きする際に用いる値引率または値引額を、複数の前記閾値と対応付けることによって段階的に設ける、
    ことを特徴とする請求項４または５記載の店舗システム。
  9. 撮像部と、
    前記撮像部が撮像した画像を出力する画像出力手段と、
    出力された前記画像の特徴量を読み取ることによって前記出力された画像に含まれる物体を認識する物体認識手段と、
    前記出力された画像に含まれる物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
    前記画像に含まれる複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が予め定められた閾値を超えていないと判定した場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する報知手段と、
    を備えることを特徴とする店舗システム。
  10. コンピュータを、
    撮像手段が撮像した画像の特徴量を読み取ることによって前記撮像した画像に含まれる物体を認識する物体認識手段と、
    前記撮像した画像に含まれる物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
    前記画像に含まれる複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が予め定められた閾値を超えていないと判定した場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する報知手段と、
    として機能させることを特徴とするプログラム。
  11. 前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
    ことを特徴とする請求項１０記載のプログラム。
  12. 前記類似度判定手段は、前記物体毎に各々定められている前記閾値に基づき、前記物体の前記類似度を判定する、
    ことを特徴とする請求項１０または１１記載のプログラム。
JP2011153244A 2010-08-23 2011-07-11 店舗システムおよびプログラム Active JP5194149B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011153244A JP5194149B2 (ja) 2010-08-23 2011-07-11 店舗システムおよびプログラム
EP11178137.3A EP2423891B1 (en) 2010-08-23 2011-08-19 Store system and a sales registration method
US13/214,368 US9245424B2 (en) 2010-08-23 2011-08-22 Store system and sales registration method
CN201110241316.6A CN102376136B (zh) 2010-08-23 2011-08-22 店铺***及商品销售数据处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010186527 2010-08-23
JP2010186527 2010-08-23
JP2011153244A JP5194149B2 (ja) 2010-08-23 2011-07-11 店舗システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2012069094A JP2012069094A (ja) 2012-04-05
JP5194149B2 true JP5194149B2 (ja) 2013-05-08

Family

ID=44759434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011153244A Active JP5194149B2 (ja) 2010-08-23 2011-07-11 店舗システムおよびプログラム

Country Status (4)

Country Link
US (1) US9245424B2 (ja)
EP (1) EP2423891B1 (ja)
JP (1) JP5194149B2 (ja)
CN (1) CN102376136B (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5544332B2 (ja) 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
JP5235228B2 (ja) 2010-08-23 2013-07-10 東芝テック株式会社 ラベル発行装置およびプログラム
JP5631369B2 (ja) * 2012-01-31 2014-11-26 東芝テック株式会社 情報検出装置および情報検出プログラム
JP2013250768A (ja) * 2012-05-31 2013-12-12 Toshiba Tec Corp 商品認識装置及び商品認識プログラム
JP5675722B2 (ja) * 2012-07-23 2015-02-25 東芝テック株式会社 認識辞書処理装置及び認識辞書処理プログラム
JP5612645B2 (ja) * 2012-09-06 2014-10-22 東芝テック株式会社 情報処理装置及びプログラム
JP5747014B2 (ja) * 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5707375B2 (ja) * 2012-11-05 2015-04-30 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5781554B2 (ja) * 2013-02-07 2015-09-24 東芝テック株式会社 情報処理装置及びプログラム
JP2014153894A (ja) * 2013-02-07 2014-08-25 Toshiba Tec Corp 情報処理装置及びプログラム
JP5927147B2 (ja) 2013-07-12 2016-05-25 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6122805B2 (ja) * 2013-07-16 2017-04-26 東芝テック株式会社 情報処理装置及びプログラム
CN106408800B (zh) * 2013-07-16 2019-04-19 东芝泰格有限公司 信息处理装置及其控制方法
JP5826800B2 (ja) * 2013-07-17 2015-12-02 東芝テック株式会社 認識辞書評価装置及び認識辞書評価プログラム
JP5826801B2 (ja) * 2013-07-19 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6360350B2 (ja) 2013-08-08 2018-07-18 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP2015099550A (ja) * 2013-11-20 2015-05-28 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6141207B2 (ja) * 2014-01-07 2017-06-07 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6141208B2 (ja) 2014-01-08 2017-06-07 東芝テック株式会社 情報処理装置及びプログラム
JP6193136B2 (ja) * 2014-01-21 2017-09-06 東芝テック株式会社 画像情報処理装置及びプログラム
US9432421B1 (en) 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
JP6503670B2 (ja) * 2014-09-22 2019-04-24 カシオ計算機株式会社 商品登録装置、商品登録方法、および商品登録プログラム
JP6375924B2 (ja) * 2014-12-15 2018-08-22 カシオ計算機株式会社 商品登録装置、商品特定方法及びプログラム
JP6302849B2 (ja) * 2015-01-23 2018-03-28 東芝テック株式会社 物品認識装置、販売データ処理装置および制御プログラム
US20180293635A1 (en) * 2015-03-16 2018-10-11 Nec Corporation System, image recognition method, and recording medium
JP6565252B2 (ja) * 2015-03-23 2019-08-28 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US10282722B2 (en) * 2015-05-04 2019-05-07 Yi Sun Huang Machine learning system, method, and program product for point of sale systems
JP6272810B2 (ja) * 2015-09-30 2018-01-31 東芝テック株式会社 情報処理装置およびプログラム
US10650368B2 (en) * 2016-01-15 2020-05-12 Ncr Corporation Pick list optimization method
JP6838903B2 (ja) * 2016-09-13 2021-03-03 東芝テック株式会社 物品読取装置およびプログラム
JP6291091B2 (ja) * 2017-01-04 2018-03-14 東芝テック株式会社 商品販売データ処理装置およびプログラム
JP6949611B2 (ja) * 2017-08-03 2021-10-13 東芝テック株式会社 商品登録装置及びそのプログラム
JP7197971B2 (ja) * 2017-08-31 2022-12-28 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6908491B2 (ja) * 2017-10-10 2021-07-28 東芝テック株式会社 商品情報読取装置およびプログラム
CN109544175A (zh) * 2018-10-25 2019-03-29 珠海市视微网络科技有限公司 一种防盗图的电子商务销售与运营***
CN112535408B (zh) * 2019-09-23 2022-04-01 佛山市顺德区美的电热电器制造有限公司 辅助烹饪方法、装置和计算机存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238252A (ja) * 1991-01-21 1992-08-26 Iseki & Co Ltd 青果物の品質検定装置
JPH0519695A (ja) * 1991-07-17 1993-01-29 Matsushita Electric Ind Co Ltd 商品ラベルおよびｐｏｓシステム
JPH06223271A (ja) 1993-01-25 1994-08-12 Tokyo Electric Co Ltd 商品販売データ処理装置
JPH07152961A (ja) * 1993-11-29 1995-06-16 Nitsuko Corp Ｐｏｓ装置
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US6069696A (en) * 1995-06-08 2000-05-30 Psc Scanning, Inc. Object recognition system and method
CA2179338C (en) * 1995-08-07 2000-04-25 Gordon Albert Thomas Apparatus and method for spectroscopic product recognition and identification
JP3472443B2 (ja) 1997-06-23 2003-12-02 沖電気工業株式会社 実装部品検査装置
US6363366B1 (en) * 1998-08-31 2002-03-26 David L. Henty Produce identification and pricing system for checkouts
JP3942293B2 (ja) * 1998-12-24 2007-07-11 東芝テック株式会社 商品販売登録データ処理装置
US6658138B1 (en) * 2000-08-16 2003-12-02 Ncr Corporation Produce texture data collecting apparatus and method
US8042740B2 (en) * 2000-11-24 2011-10-25 Metrologic Instruments, Inc. Method of reading bar code symbols on objects at a point-of-sale station by passing said objects through a complex of stationary coplanar illumination and imaging planes projected into a 3D imaging volume
JP3765250B2 (ja) * 2001-06-22 2006-04-12 株式会社寺岡精工 商品生産データ及び販売データ管理方法並びに商品生産データ及び販売データ管理システム
US20050027487A1 (en) * 2003-07-15 2005-02-03 Supriya Iyer Product defect analysis and resolution system
US7246745B2 (en) * 2004-02-27 2007-07-24 Evolution Robotics Retail, Inc. Method of merchandising for checkout lanes
US7765231B2 (en) * 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
JP2008052431A (ja) * 2006-08-23 2008-03-06 Casio Comput Co Ltd 商品管理装置、商品管理システム及びプログラム
US9135491B2 (en) * 2007-08-31 2015-09-15 Accenture Global Services Limited Digital point-of-sale analyzer
WO2009091353A1 (en) * 2008-01-14 2009-07-23 Henty David L Produce identification and pricing system for checkouts
US8194985B2 (en) * 2008-10-02 2012-06-05 International Business Machines Corporation Product identification using image analysis and user interaction
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
JP5053396B2 (ja) 2010-02-15 2012-10-17 東芝テック株式会社 コードシンボル読取装置及びその制御プログラム
US8620092B2 (en) * 2010-03-04 2013-12-31 Hewlett-Packard Development Company, L.P. Determining similarity of two images
JP5132732B2 (ja) 2010-08-23 2013-01-30 東芝テック株式会社 店舗システムおよびプログラム
JP5132733B2 (ja) 2010-08-23 2013-01-30 東芝テック株式会社 店舗システムおよびプログラム
JP5544332B2 (ja) 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
US8807084B2 (en) 2010-09-30 2014-08-19 Aspect Imaging Ltd. MRI device with a plurality of individually controllable entry ports and inserts therefor

Also Published As

Publication number Publication date
CN102376136B (zh) 2015-06-03
JP2012069094A (ja) 2012-04-05
EP2423891A1 (en) 2012-02-29
EP2423891B1 (en) 2017-02-15
US20120047037A1 (en) 2012-02-23
US9245424B2 (en) 2016-01-26
CN102376136A (zh) 2012-03-14

Similar Documents

Publication Publication Date Title
JP5194149B2 (ja) 店舗システムおよびプログラム
JP5544332B2 (ja) 店舗システムおよびプログラム
JP5132732B2 (ja) 店舗システムおよびプログラム
JP5132733B2 (ja) 店舗システムおよびプログラム
JP5235228B2 (ja) ラベル発行装置およびプログラム
JP5483622B2 (ja) 店舗システム及びプログラム
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5722963B2 (ja) 店舗システムおよびプログラム
JP5620416B2 (ja) 情報処理装置及びプログラム
JP6208091B2 (ja) 情報処理装置およびプログラム
JP2013186548A (ja) 情報処理装置、店舗システム及びプログラム
JP2012053708A (ja) 店舗システム、売上登録装置及びプログラム
JP5571633B2 (ja) 健康度報知装置、プログラム及び健康度報知方法
JP5256260B2 (ja) 店舗システムおよびプログラム
JP5501305B2 (ja) 混雑度報知装置、プログラム、および混雑度報知方法
JP5529948B2 (ja) 店舗システムおよびプログラム
JP5521019B2 (ja) 店舗システムおよびプログラム
JP5329493B2 (ja) ラベル発行装置およびプログラム
JP2013008103A (ja) 提供商品確認装置、プログラム、および提供商品確認方法
JP2015043182A (ja) 店舗システムおよびプログラム
JP5820011B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2013089258A (ja) 情報処理装置
JP2014139836A (ja) 情報処理装置、情報処理システムおよび情報処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

R150 Certificate of patent or registration of utility model

Ref document number: 5194149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3