JP2019526848A - 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備 - Google Patents

畳み込みニューラルネットワーク画像認識技術による会計方法及び設備 Download PDF

Info

Publication number
JP2019526848A
JP2019526848A JP2018567956A JP2018567956A JP2019526848A JP 2019526848 A JP2019526848 A JP 2019526848A JP 2018567956 A JP2018567956 A JP 2018567956A JP 2018567956 A JP2018567956 A JP 2018567956A JP 2019526848 A JP2019526848 A JP 2019526848A
Authority
JP
Japan
Prior art keywords
product
classification
classification result
accounting
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018567956A
Other languages
English (en)
Other versions
JP6709862B2 (ja
JP6709862B6 (ja
Inventor
一黎 ▲呉▼
一黎 ▲呉▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Tunnel Beijing Technology Co Ltd
Original Assignee
Yi Tunnel Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Tunnel Beijing Technology Co Ltd filed Critical Yi Tunnel Beijing Technology Co Ltd
Publication of JP2019526848A publication Critical patent/JP2019526848A/ja
Publication of JP6709862B2 publication Critical patent/JP6709862B2/ja
Application granted granted Critical
Publication of JP6709862B6 publication Critical patent/JP6709862B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本発明は、畳み込みニューラルネットワーク画像認識技術による会計方法及び設備が開示されている。該方法は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の画像を取得することと、画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得することと、複数枚の矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて複数枚の画像の１次分類結果を取得することと、１次分類結果とされる１回目の分類結果から会計を行うことと、を含む。該設備は、取得装置と、目標検出装置と、第１分類装置と、確認装置と、会計装置と、を含む。本発明は、商品を確実に認識でき、自助会計に便利である。

Description

本発明は、画像認識技術分野に関し、特に畳み込みニューラルネットワーク画像認識技術による会計方法及び設備に関する。
顧客は、スーパーやレストラン等のショッピング場所で自分が好き又は必要な商品を見るとき、購入するためにはレジカウンターで会計することが必要である。
従来技術において、よく使う会計方法は、２種類がある。第１種類は、バーコードに基づく会計方法である。該方法では、商品におけるバーコードを走査することによって商品を認識し、認識された商品を会計し、走査操作がキャッシャ又は顧客自助（セルフサービス）で完成される。しかし、該方法は、以下のような欠点がある。即ち、走査は面倒であり、人力が浪費され、かつ操作に所定の条件がある。また、通常１回当たり一件の商品のみを走査でき、複数件の商品を同時に走査できなくて、效率が低い。第２種類は、ＲＦＩＤに基づく会計方法である。該方法では、電池を必要としない小さい無線周波数モジュール（ＲＦＩＤ）を商品に貼り付け、該商品がレジカウンターを通すとき、レジカウンターが該商品に無線信号を送信し、該小さい無線周波数モジュールは、該信号を受信した後レジカウンターに１つの信号をフィードバックし、該フィードバック信号には商品のＩＤ情報が携帯され、そしてそれに基づいて会計を行う。しかし、該方法は、以下の欠点がある。即ち、商品ごとには小さい無線周波数モジュールが貼り付けられる必要があるので、面倒であって、また小さい無線周波数モジュールが自然に落ちても人為的に引き剥がされても、商品から落ちると、店側は損害が発生する。なお、商品が金属商品であるときは、該金属商品にＲＦＩＤが貼り付けられると、信号がブロックされる虞がある。
従来技術に存在する問題を少なくとも解決するために、本発明の一側面により、畳み込みニューラルネットワーク画像認識技術による会計方法が提供されている。該会計方法は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得ステップと、前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出ステップと、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類ステップと、前記１次分類結果を１回目の分類結果とする確認ステップと、前記１回目の分類結果に基づいて会計を行う会計ステップと、を含んでいる。
上記の会計方法において、好ましくは、前記会計方法は、前記１次分類結果が類似する商品であるとき、第１分類ステップの後、確認ステップの前に、複数枚の前記矩形領域画像と、訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果として、前記確認ステップを移行する、第２分類ステップをさらに含んでいる。前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。
上記の会計方法において、好ましくは、前記会計方法は、確認ステップの後、会計ステップの前に、複数枚の前記矩形領域画像と前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、前記会計ステップを移行し、そうではないときは、商品は在庫がないことを顧客に提示するステップをさらに含んでいる。
上記の会計方法において、好ましくは、分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品品を斜め上から撮像して画像を取得する。
本発明の他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得装置と、前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出装置と、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類装置と、前記１次分類結果を１回目の分類結果とする確認装置と、前記１回目の分類結果に基づいて会計を行う会計装置と、を備える。
上記の会計設備において、好ましくは、前記会計設備は、前記１次分類結果が類似する商品であるとき、複数枚の前記矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とする第２分類装置とをさらに備え、前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり、対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行う。
上記の会計設備において、好ましくは、前記会計設備は、複数枚の前記矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置とをさらに備える。
上記の会計設備において、好ましくは、前記取得装置は撮像ヘッドであり、分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得する、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得する。
本発明の更に他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する画像を取得する撮像ヘッドと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリと、を備え、前記プロセッサは、前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得し、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得し、前記１次分類結果を１回目の分類結果として、前記１回目の分類結果に基づいて会計を行うように構成されている。
上記の会計設備において、好ましくは、前記プロセッサは、さらに、前記１次分類結果が類似する商品であるときは、複数枚の前記矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とし、そうではないときは、前記１次分類結果を１回目の分類結果とするように構成されている。前記２次分類モデルは、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。
本発明の実施例は、上記技術案により以下のような有益な効果をもたらした。
商品を確実に認識でき、自助会計に便利である。
本発明の１つの実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。 本発明の他の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。 本発明のまた別の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。 本発明の実施例による畳み込みニューラルネットワーク画像認識技術による会計設備の構造模式図である。
本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。
図１を参照して、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計方法の一実施例を説明する。この実施例による該会計方法は、
レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の画像を取得する取得ステップ１０１と、
画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出ステップ１０２と、
複数枚の矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の画像の１次分類結果を取得する第１分類ステップ１０３と、
１次分類結果を１回目の分類結果とする確認ステップ１０４と、
１回目の分類結果に基づいて会計を行う会計ステップ１０５と、を含んでいる。
要するに、一個の商品に対して複数枚の画像を取得し、１次分類モデルを利用して画像ごとに対して処理を行い、対応的に複数の分類結果を取得し、そして１つの最終的な結果を出力するように複数の分類結果をデータ融合し、つまり、線形回帰モデルを利用して処理を行い、該商品がどの商品であるかを得ることができ、よって、商品認識の正確率を高める。
図２を参照して、本発明にかかる畳み込みニューラルネットワーク画像認識技術による会計方法の他の実施例を説明する。以下において、本実施例に含まれるステップ２０１〜ステップ２０７を詳細に説明する。
ステップ２０１において、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の画像を取得する。
具体的には、該ステップにおいて、１つの撮像角度から該商品を撮像し、１枚の画像を取得する。１つの撮像角度が１枚の画像に対応するため、異なる撮像角度に変えることで、異なる撮像角度に対応する画像を取得できる。撮像角度の数が複数であるとき、複数枚の画像を取得でき、このように商品を認識するためのキー情報を捕えることが確保できる。該キー情報とは、商品の外観で商品識別（又は分類と称する）に重要な役割を果たす情報を意味している。例えば、商品がミネラルウォーターであるとき、さまざまな種類のミネラルウォーターがあるので、異なる種類のミネラルウォーターを区別することは、ミネラルウォーター瓶に貼られているプラスチック紙上の図案を主に依存している。該図案は、ミネラルウォーターのキー情報である。
レジカウンターに複数の撮像角度を形成するように複数の撮像ヘッド、例えば、５つ、４つ又は６つを配置し、撮像ヘッドの数は、画像の枚数と同一である。撮像ヘッド数量が５つとされる場合の撮像ヘッドの撮像角度を説明すると、分類しようとする商品の真上に１つの撮像ヘッドを配置し、真上から下に向いて商品を撮像し、分類しようとする商品の周りに４つの撮像ヘッドを均一に配置し、いずれも斜め上から商品を撮像してもよく、または分類しようとする商品の周りに５つの撮像ヘッドを均一に配置し、そのうちの２つの撮像ヘッドが斜め下から商品を撮像し、ほかの３つの撮像ヘッドが斜め上から商品を撮像してもよい。本実施例は、撮像ヘッドの数及び配置方式を限定しない。通常、撮像ヘッドの数が多ければ多いほど取得した画像の数が多くなり、画像全体に含まれた商品の情報も多くなる。このように商品の分類に有利になる。しかし、これは、ハードウェアの複雑度を増加させ、演算量を増大させるため、実際の状況に応じて撮像ヘッドの数を選択できる。
なお、本文中の撮像角度は、撮像方向の１つの要素を指してもよく、撮像方向及び撮像距離の２つの要素を指してもよく、さらに他の要素又は他の数値の要素を指してもよい。本実施例は、これに対して限定しない。
取得動作（又は撮像動作と称する）は、レジカウンターに配置される秤により触発され得る。例えば、秤は、圧力センサーを備える秤であり、秤が感知した重量の変化に基づいて撮像を触発するか否かを決定する。秤が重量の変化を感知し、また該変化が既に安定したと感知したとき、撮像ヘッドは、撮像を始める。このように条件を満たす画像を撮像することが保証できる。つまり、顧客が商品を載置した後、その時刻の画像を撮像できる。他の実施例において、撮像ヘッドの撮像動作の触発は、図形認識や計算機視覚の技術手段を利用してもよい。撮像ヘッドは、まず、物品が載置される領域を継続的に観察及び撮像し、例えば、顧客の手が差し込み、１つの商品を下ろし、そして手を離すこのような１つの動作をビデオから捕らえることができたとき、撮像が指令されて、撮像ヘッドは触発されて撮像する。
ステップ２０２において、画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する。
具体的には、画像ごとに目標検出を行う時に、画像ごとに１つの商品を含む矩形枠（または矩形領域と称する）を切り出し、該矩形枠に対応する画像は、商品の分類を行うための画像であり、ステップ２０３に出力される。画像の数が５枚であるとき、該５枚の画像から、商品を含む矩形領域に対応する５枚の画像を取得する。
ステップ２０３において、複数枚の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、事前訓練された１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。
具体的には、データを取得してデータセットを作成する。データを取得する過程は、１）ショッピング場所における全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含む。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術によるフレームワークのモデルであり、ショッピング場所における全ての商品のデータを用いて１次分類モデルが訓練される。訓練する時に勾配降下の方式で行うことができる。
訓練された１次分類モデルは、各矩形領域画像中の商品を分類し、プライマリー分類結果を得る。該プライマリー分類結果は、１つのｎ次元ベクトルである。ｎは、ショッピング場所における商品の総数を表す。ベクトルにおける各元素の意味は、１次分類モデルは分類しようとする一個の商品がｎ個の商品の中の各商品に属することを認定する確率を表している。ベクトルにおける１つの要素が最大値であるということは、モデルは分類しようとする商品が該要素に対応する商品であることを認定するという意味である。矩形領域画像が５枚であるとき、プライマリー分類結果の数は、５つのｎ次元ベクトルである。
ステップ２０４において、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて複数枚の画像の１次分類結果を取得し、１次分類結果が類似する商品であるとき、下記ステップ２０５に移行し、そうではないとき、１次分類結果を１回目の分類結果とし、ステップ２０６に移行する。
具体的には、ステップ２０３において、１次分類モデルを訓練しているときに、１次分類モデルが出力するプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることで、１次線形回帰モデルを訓練する。訓練された１次線形回帰モデルによって複数のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を示している。
ショッピング場所における商品は多種である。該多種の商品の中ではいくらか外観が類似し、また視覚で混同しやすい商品が存在しており、これらの商品を類似する商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（Ｇｏｌｄｅｎ Ｄｅｌｉｃｉｏｕｓ Ａｐｐｌｅ）と黄色い雪梨（Ｓｎｏｗｆｌａｋｅ Ｐｅａｒ）がある。分類しようとする一個の商品が類似する商品であるときに、１次分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類してしまう。したがって、下記のステップ２０５を実行する必要がある。類似する商品ではないとき、１次分類結果を直接に１回目の分類結果とし、会計に応用する。
第２分類ステップ２０５において、複数枚の矩形領域画像と、訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組の商品で訓練されたモデルであり、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする。
具体的には、ステップ２０３において作成したデータセット中の類似する商品のデータで２次分類モデルを訓練する。訓練する時に勾配降下の方式によって行うことができる。２次分類モデルは、訓練する時に用いるデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータはショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータはショッピング場所における類似する商品のデータである。
訓練された２次分類モデルによって、各矩形領域画像中の商品を分類し、セカンダリー分類結果を得る。該セカンダリー分類結果も１つのｍ次元ベクトルであり、ベクトル中の各元素の意味は、２次分類モデルは分類しようとする一個の商品がｍ個類似する商品の中の各商品に属することを認定する確率を表している。５枚の矩形領域画像がある時に、セカンダリー分類結果の数は５つのｍ次元ベクトルであり、ｍはｎ以下であり、且つショッピング場所における類似する商品の総数を表している。
実際において、ショッピング場所における類似する商品は複数組がある。例えば、１組の類似する商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似する商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似する商品は、ソーダ灰と普通の小麦粉を含んでいる。全ての組の類似する商品に対して１つの２次分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似する商品に対して１つの２次分類モデルを訓練するとき、１次分類結果が類似する商品であれば、該１次分類結果に対応する２次分類モデルを使用する。
２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像中に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、複数のセカンダリー分類結果のデータ融合を行い、１つのセカンダリー分類結果を得るとともに、これを１回目の分類結果とする。該セカンダリー分類結果は、２次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を表している。
ステップ２０６において、１回目の分類結果に基づいて会計を行う。
具体的には、１回目の分類結果を取得した後、１回目の分類結果に対応する商品の価格を取得すれば、顧客がレジカウンターに載置した商品のために支払うべき費用を確定することができる。商品名称と、商品価格と、支払い費用と、をレジカウンターに備えられているディスプレイに表示してもよく、また音声によって商品名称を顧客に提示してもよい。顧客が費用を支払うとき、ディスプレイに表示される二次元コードを走査することによって、又は携帯端末に表示される自分の口座の二次元コードをレジカウンターに備えられているコードスキャナ端末に合わせて走査させることによって支払いを済ませることが可能である。
図３に示されているように、分類エラーを回避し、会計の正確率を高めるために、ステップ２０６の前に、さらに、ステップ２０７を含んでもよい。
ステップ２０７においては、複数枚の矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断し、一致であるときは、上記ステップ２０６に移行し、そうではないときは、商品は在庫がないことを顧客に提示する。
具体的には、ショッピング場所における商品ごとにサポートベクトルマシンの機械学習モデル（又はサポートベクトルマシンモデルと称する）を構築する。即ち、商品ごとは、それに対応するサポートベクトルマシンモデルを有し、ステップ２０３において作成されたデータセット中の商品に対応するデータを用いて該モデルを訓練する。１次分類モデルを構築するときに、１つの中間計算結果が存在し、それは、長さが１０２４となるベクトルである。該ベクトルは、画像の１つの特徴と見なすことができ、そうすることによって該ベクトルから該商品はある類別の商品に属するか否かを判断するための１つのサポートベクトルマシンモデルを構築する。
１回目の分類結果を取得した後、該１回目の分類結果に対応するサポートベクトルマシンモデルを用いて矩形領域画像ごとに含まれる商品を判断し、初歩的な判断結果を得る。該初歩的な判断結果は、該画像中の商品が１回目の分類結果に一致するか否かを表す。矩形領域画像の数は複数枚であると、初歩的な判断結果は複数個がある。複数の初歩的な判断結果における一致する数が予め設定された閾値以上であるときは、該画像中の商品は１回目の分類結果に一致することを判断し、そうではないときは、該商品は在庫がないことを顧客に提示し、つまり、会計することができない。例えば画像の枚数が５枚であり、予め設定された閾値が３であり、５つの初歩的な判断結果は、順に一致、一致、不一致、不一致、一致となると、一致となる数は３である。一致となる数は予め設定された閾値に等しいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に一致することを判断し、前述の分類過程は正しいと認定する。即ち、一種の正しい商品を識別した。この時、顧客は、会計を通して該商品を取得できる。仮に５つの初歩的な判断結果は、順に、不一致、不一致、不一致、不一致、一致なると、一致となる数が１である。一致となる数は、予め設定された閾値より小さいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に不一致となることを判断し、前述の分類過程は不成功だと認定する。即ち、識別が失敗した。このとき、音声及び／又は画面による「在庫には該商品がない、該商品を識別できない」等の提示によって該商品を会計できないことが顧客に提示される。
以下において、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の一実施例を説明する。この会計設備は、取得装置３０１と、目標検出装置３０２と、第１分類装置３０３と、確認装置３０４と、会計装置３０５と、を備えている。
取得装置３０１は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の画像を取得する。
好ましくは、取得装置３０１は、撮像ヘッドであり、分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得する。
目標検出装置３０２は、画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する。
第１分類装置３０３は、複数枚の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の画像の１次分類結果を取得する。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。
確認装置３０４は、１次分類結果を１回目の分類結果とする。
会計装置３０５は、１回目の分類結果に基づいて会計を行う。
該会計設備は、１次分類結果が類似する商品であるとき、複数枚の矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする第２分類装置をさらに備え、対応的に、会計装置は、１次分類結果が類似する商品であるとき、第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、第１分類装置で取得された１次分類結果に基づいて会計を行う。
該会計設備は、複数枚の矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、会計装置３０５を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置とをさらに備えている。
なお、取得装置３０１についての具体的な説明は、上記の実施例におけるステップ１０１と２０１に関連する内容を参照し得る。目標検出装置３０２についての具体的な説明は、上記の実施例におけるステップ１０２と２０３に関連する内容を参照し得る。第１分類装置３０３についての具体的な説明は、上記の実施例におけるステップ１０３と２０３に関連する内容を参照し得る。確認装置３０４についての具体的な説明は、上記の実施例におけるステップ１０４と２０４に関連する内容を参照し得る。会計装置３０５についての具体的な説明は、上記の実施例におけるステップ１０５と２０６に関連する内容を参照し得る。第２分類装置についての具体的な説明は、上記の実施例におけるステップ２０５に関連する内容を参照し得る。判断装置と選別装置についての具体的な説明は、上記の実施例におけるステップ２０７に関連する内容を参照し得る。ここで一々その詳細な重複説明を省略する。
また、下記においては、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の他の実施例を説明する。この会計設備は、撮像ヘッドと、プロセッサ及びメモリを備えている。
撮像ヘッドは、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する画像を取得するためである。メモリは、プロセッサが実行可能なコマンドを記憶するためである。プロセッサは、画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得し、複数枚の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルであり、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の画像の１次分類結果を取得し、１次分類結果を１回目の分類結果として、１回目の分類結果に基づいて会計を行うように構成されている。
プロセッサは、さらに、１次分類結果が類似する商品であるときは、複数枚の矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、２次分類モデルは、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうではないときは、１次分類結果を１回目の分類結果とするように構成されている。
以下、１本のミネラルウォーターを購入することを例として本方法の具体的な動作過程を説明する。
顧客が清算する過程において、秤量台に１本のミネラルウォーターが載置される。秤量台の電子秤が重量の変化を検出し、そして重量領域が安定になった時に、５つの撮像ヘッドからデータを取得し始め、５枚の写真を取得した。まず、この５枚の写真を画一的にある予め設定された寸法まで縮小／拡大し、そして目標検出モデルによりこの５枚の写真でミネラルウォーターである物体を検出する。検出結果は、写真における見つかった物体を含む１つの矩形領域である。その後、各矩形領域を画一的にある予め設定された寸法まで縮小／拡大し、そして１次分類モデルにより各矩形領域を分類することで、該物体が各類別の商品に属する確率を得る。その後、全ての確率結果は、１つの１次線形回帰モデルの使用により全ての商品類別における該物体の１次分類結果が得られる。該１次分類結果が２次分類モデルでさらに分類される必要がある商品類別に属する場合、対応の２次分類モデルを使用し、各矩形領域を分類し、該物体が各類別に属するそれぞれの確率値を得る。そして２次線形回帰モデルの使用により該物体は全ての商品類別での分類結果が得られる。最後には、該類別のサポートベクトルマシンモデル（又は小モデルと称する）によって、５枚の写真中の矩形領域を判断し、該商品が該類別に属するか否かを判別する。そうであると判別するときは、該商品類別に戻り、そうではないと判別するときは、該物品がいずれかの商品類別に属しないと認定する。
以上のように、本発明の実施例は、以下のような有益な効果をもたらすことができる。
商品を確実に認識でき、自助会計に便利である。
技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない範囲内の他の実施案によって実現することができる。したがって、上記開示された各実施例は、各側面については、例示に過ぎず、唯一のものではないと理解すべきである。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

Claims (10)

  1. レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得ステップと、
    前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出ステップと、
    複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類ステップと、
    前記１次分類結果を１回目の分類結果とする確認ステップと、
    前記１回目の分類結果に基づいて会計を行う会計ステップと、を含むことを特徴とする畳み込みニューラルネットワーク画像認識技術による会計方法。
  2. 前記１次分類結果が類似する商品であるとき、前記第１分類ステップの後、前記確認ステップの前に、複数枚の前記矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果として、前記確認ステップへ移行する、第２分類ステップをさらに含み、
    前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであることを特徴とする請求項１に記載の会計方法。
  3. 前記確認ステップの後、前記会計ステップの前に、
    複数枚の前記矩形領域画像と前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、前記会計ステップへ移行し、そうではないときは、商品は在庫がないことを顧客に提示するステップをさらに含むことを特徴とする請求項１又は２に記載の会計方法。
  4. 分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得することを特徴とする請求項１に記載の会計方法。
  5. レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得装置と、
    前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出装置と、
    複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類装置と、
    前記１次分類結果を１回目の分類結果とする確認装置と、
    前記１回目の分類結果に基づいて会計を行う会計装置と、を備えることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。
  6. 前記１次分類結果が類似する商品であるとき、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とする第２分類装置と、をさらに備え、
    対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行うことを特徴とする請求項５に記載の会計設備。
  7. 複数枚の前記矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、
    一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置と、をさらに備えることを特徴とする請求項５に記載の会計設備。
  8. 前記取得装置は撮像ヘッドであり、
    分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、
    分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得することを特徴とする請求項５に記載の会計設備。
  9. レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する画像を取得する撮像ヘッドと、
    プロセッサと、
    プロセッサが実行可能なコマンドを記憶するメモリと、を備え、
    前記プロセッサは、
    前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得し、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得し、前記１次分類結果を１回目の分類結果として、前記１回目の分類結果に基づいて会計を行うように構成されていることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。
  10. 前記プロセッサは、さらに、
    前記１次分類結果が類似する商品であるときは、
    複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とし、
    そうではないときは、前記１次分類結果を１回目の分類結果とするように構成されていることを特徴とする請求項９に記載の会計設備。
JP2018567956A 2017-07-24 2017-09-08 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備 Active JP6709862B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710607759 2017-07-24
CN201710607759.X 2017-07-24
PCT/CN2017/100999 WO2019019291A1 (zh) 2017-07-24 2017-09-08 基于卷积神经网络的图像识别技术的结算方法和装置

Publications (3)

Publication Number Publication Date
JP2019526848A true JP2019526848A (ja) 2019-09-19
JP6709862B2 JP6709862B2 (ja) 2020-06-17
JP6709862B6 JP6709862B6 (ja) 2020-07-22

Family

ID=63804471

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018567956A Active JP6709862B6 (ja) 2017-07-24 2017-09-08 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
JP2019502005A Active JP6709320B6 (ja) 2017-07-24 2017-12-11 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019502005A Active JP6709320B6 (ja) 2017-07-24 2017-12-11 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備

Country Status (4)

Country Link
US (2) US10853702B2 (ja)
JP (2) JP6709862B6 (ja)
CN (3) CN109299715B (ja)
WO (2) WO2019019291A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034897A1 (en) 2017-07-26 2019-01-31 Sbot Technologies Inc. Self-Checkout Anti-Theft Vehicle Systems and Methods
JP6821009B2 (ja) * 2017-12-25 2021-01-27 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 会計方法、装置及びシステム
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
JP7218984B2 (ja) * 2018-04-27 2023-02-07 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和***
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
CN109816045A (zh) * 2019-02-11 2019-05-28 青岛海信智能商用***股份有限公司 一种商品识别方法及装置
JP7398779B2 (ja) * 2019-02-12 2023-12-15 株式会社イシダ 計量機
US11170186B2 (en) * 2019-03-29 2021-11-09 Ncr Corporation Scanner bar
CN110032654B (zh) * 2019-04-19 2021-02-09 浪潮集团有限公司 一种基于人工智能的超市商品录入方法及***
CN110414559B (zh) * 2019-06-26 2021-09-03 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
US11128737B1 (en) * 2019-08-28 2021-09-21 Massachusetts Mutual Life Insurance Company Data model monitoring system
CN110718016A (zh) * 2019-09-02 2020-01-21 上海理工大学 一种生鲜自助售卖***
CN110706075B (zh) * 2019-09-27 2022-04-29 支付宝(杭州)信息技术有限公司 一种基于ai模型的物料铺设的方法和设备
CN110781823B (zh) * 2019-10-25 2022-07-26 北京字节跳动网络技术有限公司 录屏检测方法、装置、可读介质及电子设备
US11743418B2 (en) 2019-10-29 2023-08-29 Accel Robotics Corporation Multi-lighting conditions rapid onboarding system for visual item classification
US11205094B2 (en) * 2019-10-29 2021-12-21 Accel Robotics Corporation Multi-angle rapid onboarding system for visual item classification
CN111062786B (zh) * 2019-12-25 2023-05-23 创新奇智(青岛)科技有限公司 一种基于建立商品外观特征映射表的模型更新方法
CN111104988B (zh) * 2019-12-28 2023-09-29 Oppo广东移动通信有限公司 图像识别方法及相关装置
CN111401499A (zh) * 2020-02-11 2020-07-10 王娅雯 一种基于ai条形码防伪的方法
US11809999B2 (en) * 2020-02-24 2023-11-07 Zebra Technologies Corporation Object recognition scanning systems and methods for implementing artificial based item determination
CN111368900A (zh) * 2020-02-28 2020-07-03 桂林电子科技大学 一种图像目标物识别方法
CN111401422B (zh) * 2020-03-09 2024-03-08 南京览笛信息科技有限公司 一种基于多角度深度推理的深度网络图像分类方法
US20210398097A1 (en) * 2020-03-09 2021-12-23 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
CN111613225A (zh) * 2020-04-27 2020-09-01 深圳壹账通智能科技有限公司 基于语音及图像处理的道路违规自动上报方法及***
CN111428698A (zh) * 2020-06-10 2020-07-17 北京云迹科技有限公司 一种模型样本采集方法、更新方法、电子设备及存储介质
CN111860219B (zh) * 2020-06-30 2024-01-05 杭州科度科技有限公司 一种高速占道判断方法、装置及电子设备
US20220277313A1 (en) * 2021-02-26 2022-09-01 Ncr Corporation Image-based produce recognition and verification
CN113095228B (zh) * 2021-04-13 2024-04-30 地平线(上海)人工智能技术有限公司 图像中的目标检测方法、装置及计算机可读存储介质
CN113688893A (zh) * 2021-08-19 2021-11-23 西交利物浦大学 一种图片分类的方法、装置、电子设备及存储介质
CN113743481B (zh) * 2021-08-20 2024-04-16 北京电信规划设计院有限公司 类人化图像识别方法和***
US11681997B2 (en) * 2021-09-30 2023-06-20 Toshiba Global Commerce Solutions Holdings Corporation Computer vision grouping recognition system
JP2023077805A (ja) * 2021-11-25 2023-06-06 東芝テック株式会社 決済者監視装置及びそのプログラム、決済者監視方法
CN114660112B (zh) * 2022-05-25 2022-09-02 河南源宏高分子新材料有限公司 一种再生聚酯材料温度阻隔性能的检测方法
CN114813635B (zh) * 2022-06-28 2022-10-04 华谱智能科技(天津)有限公司 煤炉燃烧参数的优化方法及电子设备
CN117077083B (zh) * 2023-10-10 2024-01-05 上海英内物联网科技股份有限公司 装箱物品自动识别统计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038796A (ja) * 2014-08-08 2016-03-22 東芝テック株式会社 情報処理装置及びプログラム
US20160328660A1 (en) * 2015-05-04 2016-11-10 Yi Sun Huang Machine Learning System, Method, and Program Product for Point of Sale Systems

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729623A (en) * 1993-10-18 1998-03-17 Glory Kogyo Kabushiki Kaisha Pattern recognition apparatus and method of optimizing mask for pattern recognition according to genetic algorithm
US5497314A (en) * 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
JP2007293575A (ja) * 2006-04-25 2007-11-08 Shigeru Furuno 電子商取引システム
CN104408076B (zh) * 2008-08-08 2018-04-03 株式会社尼康 检索辅助***、检索辅助方法以及检索辅助程序
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别***及方法
JP2012247968A (ja) 2011-05-27 2012-12-13 Toshiba Tec Corp 情報処理装置、情報処理方法及び制御プログラム
JP5554796B2 (ja) 2011-09-06 2014-07-23 東芝テック株式会社 情報処理装置およびプログラム
EP2859716B1 (en) * 2012-06-11 2017-09-20 Stylinity Inc. Photographic stage
CN103034839B (zh) * 2012-12-04 2016-08-03 南京航空航天大学 基于图像识别技术的食堂支付***及方法
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US10296814B1 (en) * 2013-06-27 2019-05-21 Amazon Technologies, Inc. Automated and periodic updating of item images data store
CN103412938B (zh) 2013-08-22 2016-06-29 成都数之联科技有限公司 一种基于图片交互式多目标提取的商品比价方法
CN103632460A (zh) 2013-11-08 2014-03-12 青岛中科英泰商用***有限公司 同步向顾客提供交易过程视频的超市自助结算用防损方法
CN103729777A (zh) * 2013-12-12 2014-04-16 福建伊时代信息科技股份有限公司 基于图像识别技术的网络购物方法、购物装置及购物***
JP6145416B2 (ja) 2014-02-28 2017-06-14 富士フイルム株式会社 商品検索装置及び方法、商品検索システム
US9275293B2 (en) * 2014-02-28 2016-03-01 Thrift Recycling Management, Inc. Automated object identification and processing based on digital imaging and physical attributes
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
CN104077842B (zh) * 2014-07-02 2017-02-15 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
CN106355188B (zh) * 2015-07-13 2020-01-21 阿里巴巴集团控股有限公司 图像检测方法及装置
CN106023220B (zh) * 2016-05-26 2018-10-19 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106096932A (zh) 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别***的计价方法
US9928448B1 (en) * 2016-09-23 2018-03-27 International Business Machines Corporation Image classification utilizing semantic relationships in a classification hierarchy
CA3040345A1 (fr) * 2016-10-20 2018-04-26 Jes Labs Systeme d'identification ou d'aide a l'identification d'un produit ou ensemble de produits
CN106548145A (zh) * 2016-10-31 2017-03-29 北京小米移动软件有限公司 图像识别方法及装置
US20180197218A1 (en) * 2017-01-12 2018-07-12 Verizon Patent And Licensing Inc. System and method for object detection in retail environment
WO2018144650A1 (en) * 2017-01-31 2018-08-09 Focal Systems, Inc. Automated checkout system through mobile shopping units
CN109409175B (zh) * 2017-08-16 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和***
JP6821009B2 (ja) * 2017-12-25 2021-01-27 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 会計方法、装置及びシステム
MX2020008117A (es) * 2018-01-31 2021-08-24 Walmart Apollo Llc Sistemas y metodos para verificar etiquetas legibles por maquina asociadas con mercancias.
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
US10867186B2 (en) * 2018-05-15 2020-12-15 Genetec Inc. Transaction monitoring
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示***和方法
US11741703B2 (en) * 2018-09-11 2023-08-29 Pointivo, Inc. In data acquisition, processing, and output generation for use in analysis of one or a collection of physical assets of interest
US11080559B2 (en) * 2018-09-18 2021-08-03 Focal Systems, Inc. Product onboarding machine
US11423648B2 (en) * 2018-09-27 2022-08-23 Ncr Corporation Item recognition processing over time
US10783403B2 (en) * 2018-10-29 2020-09-22 EMC IP Holding Company LLC Automated design testing through deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038796A (ja) * 2014-08-08 2016-03-22 東芝テック株式会社 情報処理装置及びプログラム
US20160328660A1 (en) * 2015-05-04 2016-11-10 Yi Sun Huang Machine Learning System, Method, and Program Product for Point of Sale Systems

Also Published As

Publication number Publication date
JP6709320B6 (ja) 2020-08-05
JP6709862B2 (ja) 2020-06-17
CN109299715A (zh) 2019-02-01
US20190244055A1 (en) 2019-08-08
US20190220692A1 (en) 2019-07-18
CN109299715B (zh) 2021-07-13
JP6709862B6 (ja) 2020-07-22
US10853702B2 (en) 2020-12-01
WO2019019291A1 (zh) 2019-01-31
CN209028742U (zh) 2019-06-25
JP2019536121A (ja) 2019-12-12
US11151427B2 (en) 2021-10-19
WO2019019525A1 (zh) 2019-01-31
CN109300263A (zh) 2019-02-01
JP6709320B2 (ja) 2020-06-10
CN207993164U (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
JP6709862B6 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
US11501523B2 (en) Goods sensing system and method for goods sensing based on image monitoring
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
JP6743291B2 (ja) 会計方法、装置及びシステム
CN109508974B (zh) 一种基于特征融合的购物结账***和方法
US11120265B2 (en) Systems and methods for verifying machine-readable label associated with merchandise
US10628695B2 (en) Fast item identification for checkout counter
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
US20200193404A1 (en) An automatic in-store registration system
CN110555356A (zh) 自助结帐***、方法与装置
WO2019127618A1 (zh) 结算方法、装置和***
EP3901841A1 (en) Settlement method, apparatus, and system
CN111222870B (zh) 结算方法、装置和***
US20230037427A1 (en) Identifying barcode-to-product mismatches using point of sale devices and overhead cameras
CN110909698A (zh) 电子秤识别结果输出方法、***、装置以及可读存储介质
CN109934569B (zh) 结算方法、装置和***
CN111222388B (zh) 基于视觉识别的结算方法和***
JP2022528022A (ja) スーパーマーケット商品棚上の商品の分析方法及びシステム
CN109300263B (zh) 基于卷积神经网络的图像识别技术的结算方法和装置
KR102655145B1 (ko) 무인 결제 시스템
Gorai et al. Automated Shopping Cart: Reducing Long Queues One Cart At A Time

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R150 Certificate of patent or registration of utility model

Ref document number: 6709862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250