CN111178379B - 示教数据生成方法及生成装置、以及商品识别装置 - Google Patents

示教数据生成方法及生成装置、以及商品识别装置 Download PDF

Info

Publication number
CN111178379B
CN111178379B CN201911096334.2A CN201911096334A CN111178379B CN 111178379 B CN111178379 B CN 111178379B CN 201911096334 A CN201911096334 A CN 201911096334A CN 111178379 B CN111178379 B CN 111178379B
Authority
CN
China
Prior art keywords
image
learning
images
teaching data
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911096334.2A
Other languages
English (en)
Other versions
CN111178379A (zh
Inventor
堤弘法
广濑修
樽本祥宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Publication of CN111178379A publication Critical patent/CN111178379A/zh
Application granted granted Critical
Publication of CN111178379B publication Critical patent/CN111178379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Processing (AREA)

Abstract

本发明提供示教数据生成方法及生成装置、以及商品识别装置，能够区分重叠的商品。示教数据(40)的生成方法是用于根据拍摄了一种或多种商品(G)的集合图像来运算集合图像中包括的各商品的数量的商品识别装置(10)的在运算器(X)的生成中使用的示教数据的生成方法。示教数据包括多个学习用集合图像(41)以及分别赋予于多个学习用集合图像的标签(42)。示教数据的生成方法具有：获取拍摄了各种一个商品的个别图像43a1～43a6、43b1～43b6、43c1～43c6的第一步骤；通过随机地配置个别图像而生成包括一个或多个商品的多个学习用集合图像的第二步骤。在第二步骤中生成的多个学习用集合图像包括个别图像彼此至少部分重叠的学习用集合图像。

Description

示教数据生成方法及生成装置、以及商品识别装置
技术领域
本发明涉及示教数据生成方法、示教数据生成程序、示教数据生成装置以及商品识别装置。
背景技术
专利文献1(日本特开2017-27136号公报)所公开的店铺***通过图像识别来识别商品。预期这样的***会应用于商店的结账部门等。
专利文献1：日本特开2017-27136号公报
在拍摄显示有多个商品的图像时，有时商品会部分重叠。在这样的情况下，在以往的图像处理中，有时会难以区分重叠的多个商品。该问题在使用了近年来备受关注的机器学习的图像处理中也同样存在。
本发明的课题在于，在识别多个商品的商品识别装置等中，使运算商品数量的运算器在通过机器学习进行学习时，能够区分重叠的商品。
发明内容
第一观点涉及的示教数据的生成方法是用于商品识别装置的在运算器的生成中使用的示教数据的生成方法，商品识别装置根据拍摄了一种或多种商品的集合图像来运算集合图像中包括的各种商品的数量，示教数据包括多个学习用集合图像以及分别赋予于多个学习用集合图像的标签，生成方法具有：获取拍摄了各种商品的一个商品的个别图像的第一步骤；和通过随机地配置个别图像而生成包括一个或多个商品的多个学习用集合图像的第二步骤，在第二步骤中生成的多个学习用集合图像包括个别图像彼此至少部分重叠的学习用集合图像。
根据该方法，作为学习用集合图像的至少一部分，存在个别图像彼此至少部分重叠的学习用集合图像。因此，能够得到构成能够识别重叠的商品的运算器的示教图像数据。
第二观点涉及的示教数据的生成方法为，在第一观点涉及的示教数据的生成方法中，还具有如下的第三步骤：将在第二步骤中生成的学习用集合图像中包括的各种商品的数量作为标签而赋予于学习用集合图像。
根据该方法，示教数据包括各商品的数量作为标签。因此，能够训练运算器以能够识别商品的数量。
第三观点涉及的示教数据的生成方法为，在第一观点涉及的示教数据的生成方法中，还具有如下的第三步骤：将在第二步骤中生成的学习用集合图像中包括的个别图像各自所对应的重心的坐标作为标签而赋予于学习用集合图像。
根据该方法，示教数据包括个别图像的重心的坐标作为标签。因此，能够训练运算器以不会将多个商品误识别为单一的商品。
第四观点涉及的示教数据的生成方法为，在第一观点涉及的示教数据的生成方法中，还具有如下的第三步骤：将把在第二步骤中生成的集合图像中包括的个别图像分别用各自对应的代表图像替换后的替换图像作为标签而赋予于学习用集合图像。
根据该方法，示教数据包括将把个别图像用代表图像替换后的替换图像作为标签。
第五观点涉及的示教数据的生成方法为，在第四观点涉及的示教数据的生成方法中，代表图像是表示个别图像各自的重心的像素。
根据该方法，示教数据包括将把个别图像用其重心像素替换后的替换图像作为标签。
第六观点涉及的示教数据的生成方法为，在第四观点涉及的示教数据的生成方法中，代表图像是个别图像各自的轮廓。
根据该方法，示教数据包括将把个别图像用其轮廓替换后的替换图像作为标签。
第七观点涉及的示教数据的生成方法为，是一种第一观点至第六观点中任一项的示教数据的生成方法，在第二步骤中，能够指定由重叠部位的面积相对于个别图像的面积的比例规定的重叠率的上限值以及下限值。
根据该方法，指定学习用集合图像中的个别图像的重叠程度。因此，能够进行适用于现实中可能发生的重叠程度的运算器的学习。
第八观点涉及的示教数据的生成方法为，是一种第一观点至第七观点中任一项的示教数据的生成方法，在第二步骤中，在配置个别图像时，针对每个个别图像进行以下处理中的至少一个：以随机的比率放大或缩小个别图像的处理；以随机的角度旋转个别图像的处理；以随机的大小改变个别图像的对比度的处理；以及使个别图像随机地翻转的处理。
根据该方法，示教数据的量增加。因此，能够提高运算器的识别精度。
第九观点涉及的示教数据的生成方法为，是一种第一观点至第八观点中任一项的示教数据的生成方法，商品是食品。
根据该方法，能够提高运算器对于食品的识别精度。
第十观点涉及的存储介质存储示教数据的生成程序，示教数据的生成程序是用于商品识别装置的在运算器的生成中使用的示教数据的生成程序，商品识别装置根据拍摄了一种或多种商品的集合图像来运算集合图像中包括的各种商品的数量，示教数据包括多个学习用集合图像以及分别赋予于多个学习用集合图像的标签，生成程序使计算机作为以下部分发挥作用：获取拍摄了各种商品的一个商品的个别图像的个别图像获取部；和通过随机地配置个别图像而生成包括一个或多个商品的多个学习用集合图像的学习用集合图像生成部，学习用集合图像中包括个别图像彼此至少部分重叠的学习用集合图像。
根据该结构，作为学习用集合图像的至少一部分，存在个别图像彼此至少部分重叠的学习用集合图像。因此，能够得到构成能够识别重叠的商品的运算器的示教图像数据。
第十一观点涉及的示教数据的生成装置是用于商品识别装置的在运算器的生成中使用的示教数据的生成装置，商品识别装置根据拍摄了一种或多种商品的集合图像来运算集合图像中包括的各种商品的数量，示教数据包括多个学习用集合图像以及分别赋予于多个学习用集合图像的标签，示教数据的生成装置具有：获取拍摄了各种商品的一个商品的个别图像的个别图像获取部；和通过随机地配置个别图像而生成包括一个或多个商品的多个学习用集合图像的学习用集合图像生成部，学习用集合图像生成部使个别图像彼此至少部分重叠。
根据该结构，作为学习用集合图像的至少一部分，存在个别图像彼此至少部分重叠的学习用集合图像。因此，能够得到构成能够识别重叠的商品的运算器的示教图像数据。
第十二观点涉及的商品识别装置是根据拍摄了一种或多种商品的集合图像来运算集合图像中包括的各种商品的数量的商品识别装置，商品识别装置具有：摄像头；和处理摄像头的输出的神经网络，神经网络是使用示教数据进行学习而得到的，示教数据包括多个学习用集合图像以及分别赋予于多个学习用集合图像的标签，多个学习用集合图像包括：包括至少部分重叠的多个商品的个别图像的学习用集合图像。
根据该结构，在神经网络的学习中，使用包括重叠了多个商品的个别图像的示教数据。因此，神经网络的识别精度提高。
根据本发明，能够得到构成能够识别重叠的商品的运算器的示教图像数据。
附图说明
图1是表示商品识别装置10的示意图。
图2是识别计算机30的框图。
图3是表示示教数据40的示意图。
图4是表示个别图像43a～43c的示意图。
图5是表示商品识别装置10的学习阶段的示意图。
图6是表示商品识别装置10的推论阶段的示意图。
图7是表示本发明的第一实施方式涉及的示教数据生成装置50的示意图。
图8是生成计算机60的框图。
图9是示教数据40的生成方法的流程图。
图10是表示第一实施方式涉及的示教数据40的生成方法(用于获取个别图像的拍摄)的示意图。
图11是表示第一实施方式涉及的示教数据40的生成方法(个别图像的剪切)的示意图。
图12是表示第一实施方式涉及的示教数据40的生成方法(学习用集合图像的生成以及标签的赋予)的示意图。
图13是表示第二实施方式涉及的示教数据40的生成方法(学习用集合图像的生成以及标签的赋予)的示意图。
图14是表示第三实施方式涉及的示教数据40的生成方法(学习用集合图像的生成以及标签的赋予)的示意图。
图15是表示第四实施方式涉及的示教数据40的生成方法(学习用集合图像的生成以及标签的赋予)的示意图。
附图标记说明：
10…商品识别装置；20…拍摄装置；30…识别计算机；40…示教数据；41…学习用集合图像；42…标签；43a(43a1～43a6)…个别图像；43b(43b1～43b6)…个别图像；43c(43c1～43c6)…个别图像；45…集合图像；50…示教数据生成装置；60…生成计算机；61…个别图像获取部；62…学习用集合图像生成部；63…标签赋予部；104…步骤；106…步骤；108…步骤；110…步骤；G(G1～G3)…商品；L1～L3…重叠部位；M…模型；N…网络；O…轮廓图像；P…重心像素；X…运算器。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。需要说明的是，以下的实施方式是本发明的具体例，并不限定本发明的技术范围。
＜第一实施方式＞
(1)商品识别装置10
(1-1)结构
图1是表示商品识别装置10的示意图。商品识别装置10用于识别放置在托盘T上的商品G。商品G典型的是面包和家常菜等食品。商品识别装置10例如设置于面包销售店或者超市的家常菜卖场等的店铺的结账部门。商品识别装置10的用户是这些店铺的店员等。
商品识别装置10具有拍摄装置20以及识别计算机30。拍摄装置20和识别计算机30经由网络N连接。这里所说的网络N可以是LAN，也可以是WAN。拍摄装置20和识别计算机30也可以相互远离地设置。例如，识别计算机30也可以构成为云服务器。或者，拍摄装置20和识别计算机30也可以不经由网络N而直接连接。
(1-1-1)拍摄装置20
拍摄装置20具有基座21、支撑部22、光源23、摄像头24、显示部25、输入部26。基座21作为用于载置托盘T的台子发挥机能。支撑部22支撑光源23以及摄像头24。光源23用于照射放置在托盘T上的商品。摄像头24用于拍摄放置在托盘T上的商品G。显示部25用于显示商品G的识别结果。输入部26用于输入商品G的名称等。
(1-1-2)识别计算机30
如图2所示，识别计算机30通过执行专用的程序，作为图像获取部32、商品判定部35发挥机能。图像获取部32与摄像头24进行通信，获取放置了商品G的托盘T的静态图像。商品判定部35识别静态图像中包括的商品G，并计算商品G的数量。
商品判定部35具有运算器X。运算器X是能够学习输入输出的关系的函数近似器。运算器X典型的是构成为多层神经网络。运算器X获得已学习模型M作为事先的机器学习的结果。机器学习典型的是作为深度学习来进行，但并不限定于该方式。
(1-2)学习和推论
(1-2-1)示教数据
识别计算机30的运算器X用于获得已学习模型M的学习阶段通过有示教学习来进行。有示教学习使用图3所示的示教数据40来执行。示教数据40由多个学习用集合图像41以及分别赋予于该多个学习用集合图像41的标签42构成。学习用集合图像41表示输入到运算器X的图像的示例。标签42表示输入了学习用集合图像41的运算器X应该输出的回答的内容。
在本实施方式中，各学习用集合图像41由图4所示的个别图像43a～43c的组合构成。个别图像43a～43c分别是拍摄了一个一种商品的图像。在该例中，个别图像43a是牛角面包(商品G1)的图像，个别图像43b是玉米面包(商品G2)的图像，个别图像43c是面包卷(商品G3)的图像。图3所示的学习用集合图像41表示放置在托盘T上的一个或多个商品G1～G3。另外，在本实施方式中，标签42表示对应的学习用集合图像41中包括的各商品G1～G3的数量。
(1-2-2)学习阶段
如图5所示，在学习阶段中，使用示教数据40，使运算器X进行有示教学习。由此，例如通过误差反向传播法，运算器X获得已学习模型M。
(1-2-3)推论阶段
如图6所示，推论阶段是实际使用商品识别装置10的场景。在店铺中，顾客将想要购买的商品G放在托盘T上。顾客把托盘T拿到结账部门，并放置在拍摄装置20的基座21上。作为用户的店员使商品识别装置10工作。摄像头24拍摄托盘T上的商品的集合图像。需要说明的是，这里所说的“集合图像”也包括仅拍摄了一个商品的图像。摄像头24拍摄的集合图像经由网络N被发送到识别计算机30的图像获取部32。集合图像被发送到商品判定部35。商品判定部35推论集合图像中包括的各商品G1～G3的数量。推论的结果经由网络N被传送到拍摄装置20。推论的结果被显示在显示部25上，并且被用于结账处理。
(2)示教数据生成装置50
(2-1)结构
图7所示的示教数据生成装置50生成在商品识别装置10的学习阶段中使用的示教数据40(图3)。示教数据生成装置50具有与在商品识别装置10中使用的装置相同或类似的拍摄装置20、以及生成计算机60。拍摄装置20和生成计算机60经由网络N连接。这里所说的网络N可以是LAN，也可以是WAN。拍摄装置20和生成计算机60也可以相互远离地设置。例如，拍摄装置20也可以设置于厨房。生成计算机60也可以构成为云服务器。或者，拍摄装置20和生成计算机60也可以不经由网络N而直接连接。生成计算机60是搭载有专用的程序的计算机。如图8所示，生成计算机60通过执行该程序，作为个别图像获取部61、学习用集合图像生成部62、标签赋予部63发挥机能。
(2-2)示教数据的生成
示教数据生成装置50按照图9所示的步骤生成示教数据40。首先，个别图像获取部61获取商品的个别图像(步骤104)。具体而言，如图10所示，将排列有一个或多个同一种类的商品G1的托盘T设置于商品识别装置10。接着，从输入部26输入商品G1的名称。在图10中，输入“牛角面包”作为商品G1的名称。接着，拍摄同一种类的商品G1的集合图像。集合图像被发送到生成计算机60。如图11所示，生成计算机60的个别图像获取部61从集合图像45中除去背景，将一个或多个个别图像与商品名称相关联地获取。由此，六个个别图像43a1～43a6与商品名称“牛角面包”相关联地获取。需要说明的是，在同时获取的个别图像43a1～43a6中包括大小或形状与其他个别图像相比有很大差异的个别图像的情况下，也可以废弃该个别图像。这可能在例如两个商品G1未适当地接触等情况下发生。
对于商品G2、G3也进行该个别图像的获取。
接着，将设定输入到示教数据生成装置50(步骤106)。设定例如是如下的值。
·图像张数：所生成的示教数据40包括几张学习用集合图像41。
·重叠率的上限值以及下限值：关于个别图像的重叠，重叠部位的面积相对于个别图像的面积的比例。其上限值和下限值。
·个别图像的含有数：一张学习用集合图像41最大包括几个个别图像43a1～43a6、43b1～43b6、43c1～43c6。
接着，学习用集合图像生成部62通过随机地配置个别图像，生成一张学习用集合图像41(步骤108)。具体而言，如图12所示，学习用集合图像生成部62使用多种个别图像43a1～43a6、43b1～43b6、43c1～43c6，生成一张学习用集合图像41。学习用集合图像41中包括的各商品的数量以及所配置的各个别图像的位置在设定的范围内随机地选择。在配置个别图像时，进行以下的处理：
·以随机的比率放大或缩小个别图像的处理；
·以随机的角度旋转个别图像的处理；
·以随机的程度改变个别图像的对比度的处理；
·随机地翻转个别图像的处理。
这些处理意在再现食品中常见的个体差异。个体差异是指，对于同一商品，例如在大小、形状、颜色(面包的烘焙程度)等方面产生差异。此外，通过旋转处理，能够处理商品G的配置方向的变化。
此外，如图12所示，在配置个别图像时，允许一个个别图像与其他个别图像重叠。在学习用集合图像41中的部位L1、部位L2、部位L3中发生重叠。该重叠的重叠率介于在步骤106中输入的重叠率的上限值以及下限值之间。典型的是，重叠构成为以一定的比例发生。在多个学习用集合图像41中的一部分中包括重叠的个别图像。
接着，标签赋予部63生成标签42，将该标签42赋予于学习用集合图像41(步骤110)。具体而言，标签赋予部63根据配置于学习用集合图像41的个别图像的记录，生成标签42。在本实施方式中，标签42是各商品G1～G3的数量。标签42被赋予于学习用集合图像41，即，与学习用集合图像41相关联地记录。
示教数据生成装置50重复步骤108和步骤110，直到赋予了标签42的学习用集合图像41的张数达到所设定的张数为止。由此，生成多个学习用集合图像41和标签42的组。
(3)特征
(3-1)作为多个学习用集合图像41的至少一部分，存在个别图像43a1～43a6、43b1～43b6、43c1～43c6彼此至少部分重叠的学习用集合图像。因此，根据本发明涉及的示教数据40的生成方法、示教数据40的生成程序、示教数据生成装置50，能够得到构成能够识别重叠的商品G的运算器X的示教数据40。
(3-2)示教数据40包括各商品G的数量作为标签。因此，能够训练运算器X以能够识别商品G的数量。
(3-3)指定学习用集合图像41中的个别图像43a1～43a6、43b1～43b6、43c1～43c6的重叠程度。因此，能够进行适用于现实中可能发生的重叠程度的运算器X的学习。
(3-4)在配置于学习用集合图像41中之前，个别图像43a1～43a6、43b1～43b6、43c1～43c6被实施放大缩小、旋转、改变对比度、翻转。因此，示教数据40的量增加，所以能够提高运算器X的识别精度。
(3-5)能够提高运算器X对于食品的识别精度。
(3-6)根据本发明涉及的商品识别装置10，在神经网络的学习中，使用包括重叠了多个商品G的个别图像43a1～43a6、43b1～43b6、43c1～43c6的示教数据40。因此，神经网络的识别精度提高。
＜第二实施方式＞
(1)示教数据的生成
图13表示本发明的第二实施方式涉及的示教数据40的生成方法。本实施方式涉及的示教数据40的生成方法，标签42的格式与第一实施方式不同，其他方面与第一实施方式相同。
在本实施方式中，标签42包括配置于学习用集合图像41的个别图像43a1～43a6、43b1～43b6、43c1～43c6的重心的坐标。在图9的步骤110中，对学习用集合图像41赋予这样的标签42。
使用该示教数据40获得了已学习模型M的商品识别装置10，在推论阶段中，首先得到各商品G的重心的坐标。通过存储在识别计算机30中的其他专用程序来进行从重心的坐标到商品G的数量的换算。
(2)特征
示教数据40包括个别图像43a1～43a6、43b1～43b6、43c1～43c6的重心的坐标作为标签42。因此，能够训练运算器X以不会将多个商品G误识别为单一的商品。
＜第三实施方式＞
(1)示教数据的生成
图14表示本发明的第三实施方式涉及的示教数据40的生成方法。在本实施方式涉及的示教数据40的生成方法中，标签42的格式与第一实施方式不同，其他方面与第一实施方式相同。
在本实施方式中，标签42是把学习用集合图像41中包括的个别图像43a1～43a6、43b1～43b6、43c1～43c6用代表图像替换后的替换图像。在本实施方式中，代表图像是个别图像43a1～43a6、43b1～43b6、43c1～43c6的重心像素P。在图9的步骤110中，对学习用集合图像41赋予这样的标签42。
对标签42的格式进一步进行说明。标签42例如是与学习用集合图像41相同尺寸的图像。在学习用集合图像41具有排列成X列以及Y行的X×Y个像素的情况下，标签42也具有排列成X列以及Y行的X×Y个像素。标签42的像素不是由RGB构成，而是作为N维的向量而构成。在此，N是在示教数据生成装置50中登记的商品G的种类的数量。(例如在登记有商品G1、G2、G3的情况下，N＝3。)第x列、第y行的像素表示为下述的向量。
[数学式1]
A(x，y)＝(axy1，axy2，...axyi，...axyN)
在此，axyi是坐标(x，y)中的第i个种类的商品G的数量，即，是相当于存在于坐标(x，y)的第i个种类的商品G的重心像素P的个数。
使用该示教数据40获得了已学习模型M的商品识别装置10，在推论阶段中，首先得到替换图像。该替换图像也由以向量A表示的像素构成。从替换图像到商品G的数量的换算，通过存储在识别计算机30中的其他专用程序来进行。例如，程序通过下述的数学式求出学习用集合图像41中包括的第i个种类的商品G的数量Hi。
[数学式2]
(2)特征
示教数据40包括将把学习用集合图像41中包括的个别图像43a1～43a6、43b1～43b6、43c1～43c6用重心像素P替换后的替换图像作为标签42。因此，能够训练运算器X以不会将多个商品G误识别为单一的商品。
(3)变形例
(3-1)
在上述的第三实施方式中，使用一个重心像素P作为表示一个个别图像的代表图像。取而代之，也可以使用由表示重心位置的多个像素构成的区域作为表示一个个别图像的代表图像。在该情况下，为了能够正确地计算第i个种类的商品G的数量Hi，例如通过乘以系数等方法适当地修正上述的数学式。
(3-2)
在上述的第三实施方式中，使用重心像素P作为代表图像。取而代之，代表图像也可以是其他像素。例如，代表图像也可以是包围个别图像的四边形的区域(区域的四边分别通过个别图像的上下左右的端点)的中心点的像素。或者，代表图像也可以是包围个别图像的四边形的区域的一个顶点(例如左下的顶点)的像素。
＜第四实施方式＞
(1)示教数据的生成
图15表示本发明的第四实施方式涉及的示教数据40的生成方法。本实施方式涉及的示教数据40的生成方法，标签42的格式与第一实施方式不同，其他方面与第一实施方式相同。
在本实施方式中，标签42是把学习用集合图像41中包括的个别图像43a1～43a6、43b1～43b6、43c1～43c6用代表图像替换后的替换图像。在本实施方式中，代表图像是个别图像43a1～43a6、43b1～43b6、43c1～43c6的轮廓图像O。在图9的步骤110中，对学习用集合图像41赋予这样的标签42。
使用该示教数据40获得了已学习模型M的商品识别装置10，在推论阶段中，首先得到替换图像。从替换图像到商品G的数量的换算，通过存储在识别计算机30中的其他专用程序来进行。
(2)特征
示教数据40包括将把学习用集合图像41中包括的个别图像43a1～43a6、43b1～43b6、43c1～43c6用该个别图像43a1～43a6、43b1～43b6、43c1～43c6的轮廓图像O替换后的替换图像作为标签42。因此，可以训练运算器X，从而不会将多个商品误识别为单一的商品。

Claims (11)

1.一种示教数据的生成方法，是用于商品识别装置的在运算器的生成中使用的示教数据的生成方法，所述商品识别装置根据拍摄了一种或多种商品的集合图像来运算所述集合图像中包括的各种所述商品的数量，
所述示教数据的生成方法的特征在于，
所述示教数据包括多个学习用集合图像以及分别赋予于多个所述学习用集合图像的标签，
所述生成方法具有：
获取拍摄了各种商品的一个所述商品的个别图像的第一步骤；
通过随机地配置所述个别图像而生成包括一个或多个所述商品的多个所述学习用集合图像的第二步骤；以及
第三步骤：根据在所述第二步骤中随机地配置的所述个别图像的记录，将所述学习用集合图像中包括的所述商品的数量作为所述标签而赋予于所述学习用集合图像，
在所述第二步骤中生成的多个所述学习用集合图像包括所述个别图像彼此至少部分重叠的所述学习用集合图像。
2.根据权利要求1所述的示教数据的生成方法，其特征在于，
所述第三步骤中的所述标签包括所述个别图像的重心的坐标。
3.根据权利要求1所述的示教数据的生成方法，其特征在于，
所述第三步骤中的所述标签包括将所述个别图像用对应的代表图像替换后的替换图像。
4.根据权利要求3所述的示教数据的生成方法，其特征在于，
所述代表图像是表示所述个别图像各自的重心的像素。
5.根据权利要求3所述的示教数据的生成方法，其特征在于，
所述代表图像是所述个别图像各自的轮廓。
6.根据权利要求1至5中任一项所述的示教数据的生成方法，其特征在于，
在所述第二步骤中，能够指定将所述个别图像中的一个与其他所述个别图像重叠时的面积的比例规定的重叠率的上限值以及下限值。
7.根据权利要求1至5中任一项所述的示教数据的生成方法，其特征在于，
在所述第二步骤中，在配置所述个别图像时，针对每个所述个别图像进行以下处理中的至少一个：
以随机的比率放大或缩小所述个别图像的处理；
以随机的角度旋转所述个别图像的处理；
以随机的大小改变所述个别图像的对比度的处理；以及
使所述个别图像随机地翻转的处理。
8.根据权利要求1至5中任一项所述的示教数据的生成方法，其特征在于，
所述商品是食品。
9.一种存储介质，存储示教数据的生成程序，所述示教数据的生成程序是用于商品识别装置的在运算器的生成中使用的示教数据的生成程序，所述商品识别装置根据拍摄了一种或多种商品的集合图像来运算所述集合图像中包括的各种所述商品的数量，
所述存储介质的特征在于，
所述示教数据包括多个学习用集合图像以及分别赋予于多个所述学习用集合图像的标签，
所述生成程序使计算机作为以下部分发挥作用：
获取拍摄了各种商品的一个所述商品的个别图像的个别图像获取部；
通过随机地配置所述个别图像而生成包括一个或多个所述商品的多个所述学习用集合图像的学习用集合图像生成部；以及
标签赋予部，根据在所述学习用集合图像生成部随机地配置的所述个别图像的记录，将所述学习用集合图像中包括的所述商品的数量作为所述标签而赋予于所述学习用集合图像，
所述学习用集合图像中包括所述个别图像彼此至少部分重叠的学习用集合图像。
10.一种示教数据的生成装置，是用于商品识别装置的在运算器的生成中使用的示教数据的生成装置，所述商品识别装置根据拍摄了一种或多种商品的集合图像来运算所述集合图像中包括的各种所述商品的数量，
所述示教数据的生成装置的特征在于，
所述示教数据包括多个学习用集合图像以及分别赋予于多个所述学习用集合图像的标签，
所述示教数据的生成装置具有：
获取拍摄了各种商品的一个所述商品的个别图像的个别图像获取部；
通过随机地配置所述个别图像而生成包括一个或多个所述商品的多个所述学习用集合图像的学习用集合图像生成部；以及
标签赋予部，根据在所述学习用集合图像生成部随机地配置的所述个别图像的记录，将所述学习用集合图像中包括的所述商品的数量作为所述标签而赋予于所述学习用集合图像，
所述学习用集合图像生成部使所述个别图像彼此至少部分重叠。
11.一种商品识别装置，具有：
权利要求10所述的示教数据的生成装置；
拍摄所述集合图像的摄像头；
处理所述集合图像的神经网络；
推论所述集合图像中包括的所述商品的数量的商品判定部；以及
显示所述商品判定部的推论结果的显示部，
所述神经网络是使用所述示教数据进行学习而得到的。
CN201911096334.2A 2018-11-12 2019-11-11 示教数据生成方法及生成装置、以及商品识别装置 Active CN111178379B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-212304 2018-11-12
JP2018212304A JP7300699B2 (ja) 2018-11-12 2018-11-12 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置

Publications (2)

Publication Number Publication Date
CN111178379A CN111178379A (zh) 2020-05-19
CN111178379B true CN111178379B (zh) 2024-04-05

Family

ID=68840846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911096334.2A Active CN111178379B (zh) 2018-11-12 2019-11-11 示教数据生成方法及生成装置、以及商品识别装置

Country Status (4)

Country Link
US (1) US20200151511A1 (zh)
EP (1) EP3651067A1 (zh)
JP (1) JP7300699B2 (zh)
CN (1) CN111178379B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121678A1 (ja) * 2018-12-14 2020-06-18 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
CN111797896B (zh) * 2020-06-01 2023-06-27 锐捷网络股份有限公司 基于智慧烘焙的商品识别方法及装置
US11790650B2 (en) * 2020-08-20 2023-10-17 Adobe Inc. Contrastive captioning for image groups
JP2022122364A (ja) * 2021-02-10 2022-08-23 日本電気株式会社 データ生成装置、データ生成方法、及びプログラム
CN117063061A (zh) * 2021-03-29 2023-11-14 雅马哈发动机株式会社 对象物个数检查用学习模型生成方法及程序
KR102557870B1 (ko) * 2021-04-30 2023-07-21 주식회사 서연이화 자동차 부품의 성능 검증 결과를 예측하는 인공지능 모델의 학습 데이터를 생성하는 방법 및 장치
WO2022244787A1 (ja) 2021-05-19 2022-11-24 京セラ株式会社 情報処理方法、プログラム及び情報処理装置
JP7336503B2 (ja) * 2021-12-27 2023-08-31 Ｆｓｘ株式会社 サーバ及びおしぼり管理システム
CN114866162B (zh) * 2022-07-11 2023-09-26 中国人民解放军国防科技大学 信号数据增强方法、***及通信辐射源的识别方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679764A (zh) * 2012-08-31 2014-03-26 西门子公司 一种图像生成方法及装置
JP2017062623A (ja) * 2015-09-24 2017-03-30 富士通株式会社 画像検出プログラム、画像検出方法、及び画像検出装置
CN106781014A (zh) * 2017-01-24 2017-05-31 广州市蚁道互联网有限公司 自动售货机及其运行方法
CN107862775A (zh) * 2017-11-29 2018-03-30 深圳易伙科技有限责任公司 一种基于人工智能的超市商品防盗预警***及方法
CN108269371A (zh) * 2017-09-27 2018-07-10 缤果可为（北京）科技有限公司 商品自动结算方法、装置、自助收银台

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930393A (en) * 1997-08-11 1999-07-27 Lucent Technologies Inc. Method and apparatus for enhancing degraded document images
US6707464B2 (en) * 2001-01-31 2004-03-16 Harris Corporation System and method for identifying tie point collections used in imagery
JP5510924B2 (ja) 2010-02-22 2014-06-04 株式会社ブレイン パンの識別装置とそのプログラム
US9158995B2 (en) * 2013-03-14 2015-10-13 Xerox Corporation Data driven localization using task-dependent representations
US9875431B2 (en) 2013-06-28 2018-01-23 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
JP6473056B2 (ja) 2015-07-16 2019-02-20 株式会社ブレイン 店舗システムとそのプログラム
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US11238362B2 (en) * 2016-01-15 2022-02-01 Adobe Inc. Modeling semantic concepts in an embedding space as distributions
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10817509B2 (en) * 2017-03-16 2020-10-27 Massachusetts Institute Of Technology System and method for semantic mapping of natural language input to database entries via convolutional neural networks
US10489688B2 (en) * 2017-07-24 2019-11-26 Adobe Inc. Personalized digital image aesthetics in a digital medium environment
US10817711B2 (en) * 2018-06-20 2020-10-27 International Business Machines Corporation Determining a need for a workspace graphical notation to increase user engagement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679764A (zh) * 2012-08-31 2014-03-26 西门子公司 一种图像生成方法及装置
JP2017062623A (ja) * 2015-09-24 2017-03-30 富士通株式会社 画像検出プログラム、画像検出方法、及び画像検出装置
CN106781014A (zh) * 2017-01-24 2017-05-31 广州市蚁道互联网有限公司 自动售货机及其运行方法
CN108269371A (zh) * 2017-09-27 2018-07-10 缤果可为（北京）科技有限公司 商品自动结算方法、装置、自助收银台
CN107862775A (zh) * 2017-11-29 2018-03-30 深圳易伙科技有限责任公司 一种基于人工智能的超市商品防盗预警***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Patrick Follmann 等.MVTec D2S：Densely Segmented Supermarket Dataset.arXiv.org.2018,第1、3-5、10-12页. *
商品图像检测方法的研究;王智慧;中国优秀硕士学位论文全文数据库信息科技辑;20181015(10);全文 *

Also Published As

Publication number Publication date
JP7300699B2 (ja) 2023-06-30
CN111178379A (zh) 2020-05-19
US20200151511A1 (en) 2020-05-14
EP3651067A1 (en) 2020-05-13
JP2020080003A (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
CN111178379B (zh) 示教数据生成方法及生成装置、以及商品识别装置
JP2020080003A5 (zh)
CN111315670B (zh) 货架标签检测装置、货架标签检测方法、以及记录介质
JP7147921B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111295684A (zh) 货架监视装置、货架监视方法及货架监视程序
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
CN106203225B (zh) 基于深度的图像元素删除
JP6268350B1 (ja) 情報処理システム
CN113256917A (zh) 用于标识从物品库存中选择的物品的方法和设备
EP3726430A2 (en) Learned model generating method, learned model generating device, product identifying method, product identifying device, product identifying system, and measuring device
JP2001216571A (ja) 料金精算方法および装置
CN110610149A (zh) 一种信息处理方法、装置及计算机存储介质
WO2019064925A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022183305A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022528022A (ja) スーパーマーケット商品棚上の商品の分析方法及びシステム
JP2017102574A (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
JP2024023957A (ja) 処理装置、処理方法及びプログラム
CN110955797A (zh) 用户位置确定方法、装置、电子设备及存储介质
CN109857880B (zh) 一种基于模型的数据处理方法、装置及电子设备
US20240046597A1 (en) System that calculates available shelf space based on images projected onto the shelf surface
WO2024105716A1 (ja) 商品管理装置、商品管理方法、および記録媒体
JP7388531B2 (ja) 物品特定装置、物品特定方法、及びプログラム
JP6877806B6 (ja) 情報処理装置、プログラム及び情報処理方法
CN112532874B (zh) 生成平面热力图的方法、装置、存储介质和电子设备
WO2023068252A1 (ja) 対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant