CN110097715A

CN110097715A - 商品管理服务器、自动收银***及商品管理方法

Info

Publication number: CN110097715A
Application number: CN201811288037.3A
Authority: CN
Inventors: 大贺昭司; 大村昌史; 福井幸男; 佐鸟新; 伊藤那知
Original assignee: Xing Fu Kexue; Big Black Sky Property Co Ltd
Current assignee: Xing Fu Kexue; Big Black Sky Property Co Ltd
Priority date: 2018-01-29
Filing date: 2018-10-31
Publication date: 2019-08-06
Also published as: JP6330115B1; JP2019133232A

Abstract

提供在抑制数据通信量和运算处理量的同时提高移出和移入购物筐的商品的识别率从而能够自动地进行管理、结算的商品管理服务器、自动收银***和商品管理方法。对相对于购物筐移出和移入的商品进行管理的商品管理服务器(1)具有：手位置数据获取部(41)，其从手位置检测装置获取手位置数据；手动作判断部(42)，其判断手是从购物筐的外部移动至内部还是从内部移动至外部；手图像组数据获取部(43)，其在手向购物筐的内部外部移动的情况下获取手图像组数据；以及购入商品管理部(46)，其在商品正在由移动至内部的手把持的情况下，将商品注册到购物筐数据存储部(33)，并在商品正在移动至外部的手把持的情况下，将注册的商品删除。

Description

商品管理服务器、自动收银***及商品管理方法

技术领域

本发明涉及用于能够对购物者在店铺购物时移出和移入购物筐的商品自动地进行管理、结算的商品管理服务器、自动收银***、商品管理方法及存储介质。

背景技术

近年来，已经开发了对容纳在购物筐中的商品自动地进行结算的自动收银***。例如，在日本特开2016-57813号公报中公开了一种商品管理***，其具有对商品的商品信息进行管理的服务器以及供商品投入或取出的购物筐，设置在购物筐上的通信设备包括拍摄购物筐内的动画的摄像部、以及将通过摄像部拍摄的动画发送至服务器的无线通信部，服务器包括基于动画对投入至购物筐中的商品进行物体识别并对商品的位置进行追踪的物体识别部、以及基于动画对商品进行图像识别并对商品进行辨识的图像识别部，物体识别部持续追踪商品的位置，直到至少由图像识别部识别出来商品为止(专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2016-57813号公报

发明内容

本发明要解决的问题

然而，在上述专利文献1中，需要在购物期间持续地向服务器发送购物筐内的动画。另外，在该服务器中，需要对接收的全部的动画进行物体识别处理以及图像识别处理。因此，由于存在数据通信量以及运算处理量庞大从而对服务器施加巨大负荷的问题，因此不具备实用性。

另外，在上述专利文献1中，需要在从将商品投入到购物筐起到识别到商品的期间持续地对商品的位置进行追踪。因此，在接连地将商品投入到购物筐内、追踪中的商品被其他商品等隐藏的情况下，存在商品的识别变得无法进行的新问题。

本发明是为了解决这些问题而完成的发明，其目的在于提供在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐的商品的识别率从而能够自动地进行管理、结算的商品管理服务器、自动收银***、商品管理方法以及存储介质。

用于解决问题的手段

本发明所涉及的商品管理服务器，是为了解决在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐的商品的识别率从而自动地进行管理的问题而对移出和移入购物筐的商品进行管理的商品管理服务器，其具有：手位置数据获取部，其从所述购物筐的开口部附近设置的手位置检测装置获取表示手的位置的手位置数据；手动作判断部，其基于所述手位置数据判断所述手是从所述购物筐的外部移动至内部、还是从内部移动至外部；手图像组数据获取部，其在所述手从所述购物筐的外部移动至内部、或者从内部移动至外部的情况下，从所述购物筐的开口部附近设置的摄像装置来获取由所述手的图像组构成的手图像组数据；以及购入商品管理部，其基于所述手图像组数据，在所述商品正在由从所述购物筐的外部移动至内部的手把持的情况下，将所述商品注册到购物筐数据存储部，并在所述商品正在由从所述购物筐的内部移动至外部的手把持的情况下，将注册到所述购物筐数据存储部的所述商品删除。

另外，作为本发明的一个方式，为了解决仅高精度地提取相当于商品的商品区域从而降低商品的误识别率的问题，可具有商品区域提取部，其基于所述手图像组数据的光流，提取沿上下方向移动的上下移动区域，并且提取所述上下移动区域中的所述手以外的区域作为相当于所述商品的商品区域。

进一步地，作为本发明的一个方式，为了解决正确地确定上下移动区域中的除手以外的区域，所述商品区域提取部可通过从所述上下移动区域中去除具有与所述手的形状类似的形状的区域和/或具有与所述手的颜色信息类似的颜色信息的区域，来提取所述商品区域。

另外，作为本发明的一个方式，为了解决进一步提高商品的识别率的问题，可具有基于所述商品区域识别所述商品的商品识别部，所述商品识别部可利用下述的(a)和(b)中的任意一项或两项的模式来识别商品；

(a)识别码模式，基于包含在所述商品区域中的识别码来识别所述商品；

(b)深度学习模式，基于将与所述商品区域有关的数值数据分别输入到通过深度学习得到的每个所述商品的商品判别式时的输出值来识别所述商品。

进一步地，作为本发明的一个方式，为了解决自动且高精度地判断购物顾客的手是从购物筐的外部移动至内部、还是从购物筐的内部移动至外部的问题，所述手位置检测装置分上下两层地设置在所述购物筐的开口部附近，并由检测通光状态或遮光状态的上层检测面和下层检测面构成；所述手动作判断部可在所述上层检测面从通光状态变化为遮光状态之后所述下层检测面从通光状态变化为遮光状态的情况下，判断所述手从所述购物筐的外部移动至内部，并可在所述下层检测面从遮光状态变化为通光状态之后所述上层检测面从遮光状态变化为通光状态的情况下，判断所述手从所述购物筐的内部移动至外部。

另外，作为本发明的一个方式，为了解决在从动画图像中获取大致相同数量的手图像组数据的同时高精度地提取与上下移动的手相对应的区域的问题，所述手动作判断部可基于所述上层检测面和所述下层检测面之间的距离、以及在所述上层检测面从通光状态变化为遮光状态之后所述下层检测面从通光状态变化为遮光状态的时间，来计算所述手从所述购物筐的外部移动至内部时的下方移动速度，并可基于所述上层检测面和所述下层检测面之间的距离、以及在所述下层检测面从遮光状态变化为通光状态之后所述上层检测面从遮光状态变化为通光状态的时间，来计算所述手从所述购物筐的内部移动至外部时的上方移动速度。

本发明所涉及的自动收银***，为了解决在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐的商品的识别率从而自动地进行结算的问题，而具有上述任一方式的商品管理服务器、设置有所述手位置检测装置和所述摄像装置的购物车、以及对注册在所述购物筐数据存储部中的所述商品进行结算的收银装置。

本发明所涉及的存储介质，其中存储的商品管理程序是为了解决在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐的商品的识别率从而自动地进行管理的问题而对移出和移入购物筐的商品进行管理的商品管理程序，该商品管理程序使计算机作为以下项而发挥功能：手位置数据获取部，其从所述购物筐的开口部附近设置的手位置检测装置获取表示手的位置的手位置数据；手动作判断部，其基于所述手位置数据判断所述手是从所述购物筐的外部移动至内部、还是从内部移动至外部；手图像组数据获取部，其在所述手从所述购物筐的外部移动至内部、或者从内部移动至外部的情况下，从所述购物筐的开口部附近设置的摄像装置来获取由所述手的图像组构成的手图像组数据；以及购入商品管理部，其基于所述手图像组数据，在所述商品正在由从所述购物筐的外部移动至内部的手把持的情况下，将所述商品注册到购物筐数据存储部，并在所述商品正在由从所述购物筐的内部移动至外部的手把持的情况下，将注册到所述购物筐数据存储部的所述商品删除。

本发明所涉及的商品管理方法，是为了解决在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐的商品的识别率从而自动地进行管理的问题而对移出和移入购物筐的商品进行管理的商品管理方法，其具有：手位置数据获取步骤，从所述购物筐的开口部附近设置的手位置检测装置获取表示手的位置的手位置数据；手动作判断步骤，基于所述手位置数据判断所述手是从所述购物筐的外部移动至内部、还是从内部移动至外部；手图像组数据获取步骤，在所述手从所述购物筐的外部移动至内部、或者从内部移动至外部的情况下，从所述购物筐的开口部附近设置的摄像装置来获取由所述手的图像组构成的手图像组数据；以及购入商品管理步骤，基于所述手图像组数据，在所述商品正在由从所述购物筐的外部移动至内部的手把持的情况下，将所述商品注册到购物筐数据存储部，并在所述商品正在由从所述购物筐的内部移动至外部的手把持的情况下，将注册到所述购物筐数据存储部的所述商品删除。

发明效果

根据本发明，能够在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐的商品的识别率从而自动地进行管理、结算。

附图说明

图1是表示本发明所涉及的包含商品管理服务器的自动收银***的一个实施方式的整体构成图。

图2是表示本实施方式的手位置检测装置的图，图2中的(a)是表示上层检测面和下层检测面的配置的图，图2中的(b)是表示光束传感器和反射板的配置的图。

图3是表示本实施方式中的商品数据的一个例子的图。

图4是表示本实施方式中的购物筐数据的一个例子的图。

图5中的(a)是表示本实施方式中的手从购物筐的外部向内部移动的动作的图，图5中的(b)是表示本实施方式中的手从购物筐的内部向外部移动的动作的图。

图6中的(a)是表示本实施方式中的购物车移动时的光流的一个例子的图，图6中的(b)是表示本实施方式中的将商品移入购物筐时的光流的一个例子的图，图6中的(c)是表示本实施方式中的将商品移出购物筐时的光流的一个例子的图。

图7是表示本实施方式中的从上下移动区域提取商品区域的样态的图。

图8是表示本实施方式的商品管理服务器以及商品管理程序所执行的商品管理方法的流程图。

图9是表示本实施方式中的判断手的动作的处理的流程图。

附图标记说明

1 商品管理服务器

1a 商品管理程序

2 通信装置

3 存储装置

4 运算处理装置

10 购物筐

11 购物车

12 收银装置

13 通信单元

14 手位置检测装置

14a 上层检测面

14b 下层检测面

15a 摄像机

15b 闪光光源

15 摄像装置

31 程序存储部

32 商品数据存储部

33 购物筐数据存储部

34 商品判别式存储部

41 手位置数据获取部

42 手动作判断部

43 手图像组数据获取部

44 商品区域提取部

45 商品识别部

46 购入商品管理部

47 购入商品发送部

100 自动收银***

141 光束传感器

142 反射板

具体实施方式

下面利用附图对本发明所涉及的商品管理服务器、自动收银***、商品管理程序以及商品管理方法的一个实施方式进行说明。

本实施方式的自动收银***100对移入购物筐10中的商品自动地进行结算，如图1所示，自动收银***100由使购物筐10移动的购物车11、对移出和移入购物筐10的商品进行管理的商品管理服务器1、以及对购物筐10内的商品进行结算的收银装置12构成。下面，对各构成进行详细说明。

收银装置12由POS(Point Of Sale，销售点)收银机构成，对移入购物筐10中的商品进行结算。在本实施方式中，收银装置12具有从商品管理服务器1接收商品的商品名称、价格、数量等的通信功能、对购入的商品的合计金额进行合计并结算的结算功能、以及对商品名称、合计金额等进行显示的显示功能等。

购物车11放置购物筐10并使购物筐10移动。在本实施方式中，如图1所示，购物车11具有用于经由无线LAN等与商品管理服务器1进行通信的通信单元13、以及在购物筐10的开口部附近设置的手位置检测装置14以及摄像装置15。此外，在本实施方式中，购物车11和购物筐10是分开构成的，但并不限于该构成，也可以将购物车11的一部分作为购物筐10。

手位置检测装置14对购物筐10的开口部附近的手的位置进行检测。在本实施方式中，如图2中的(a)所示，手位置检测装置14分上下两层地设置在购物筐10的开口部附近，并由检测通光状态或遮光状态的上层检测面14a和下层检测面14b构成。

如图2中的(b)所示，上层检测面14a以及下层检测面14b中的每一个由集成有发光元件和受光元件的光束传感器141、以及使从发光元件输出的红外光向发光元件反射的反射板142构成。而且，沿着购物车11的上端边缘的一边并排排列有上下两列光束传感器141，并且，在与各个光束传感器141对置的位置，沿着购物车11的上端边缘设置有多个反射板142。此外，在图2中的(b)中，为了便于观察仅示出了一列。

由此，由于红外光以覆盖购物筐10的开口部的方式形成为平面状地往复的状态，因此作为上层检测面14a以及下层检测面14b而发挥功能。即，上层检测面14a以及下层检测面14b在购物筐10的开口部处不存在任何东西时对通光状态进行检测，另一方面，在物体通过购物筐10的开口部时对遮光状态进行检测。然后，通过在下文中叙述的手位置数据获取部41来获取表示通光状态或遮光状态的信息作为表示手的位置的手位置数据。

此外，在本实施方式中，手位置检测装置14由光束传感器141和反射板142所形成的上层检测面14a以及下层检测面14b构成，但是只要能够检测到手的位置，则不限于该构成。例如，可以像通过手势来操作计算机的Leap Motion(注册商标)等那样，将由两台红外线照相机和红外线LED构成的输入设备作为手位置检测单元14。

摄像装置15对手、商品进行拍摄。在本实施方式中，如图1所示，摄像装置15由摄像机15a和闪光光源15b构成，并且被设置成从大致水平的方向对购物筐10的开口部附近的动画图像进行拍摄。而且，每当手上下地通过购物筐10的开口部时，在下文中叙述的手图像组数据获取部43就会剪切短动画图像，并且从该动画图像中提取出多个闪光光源15b发光瞬间的静止图像，并将其获取为由手的图像组构成的手图像组数据。

此外，在本实施方式中，摄像装置15由摄像机15a和闪光光源15b构成，但并不限于该构成。即，只要能够获取手的动作来作为图像组，也可以利用能够高速连续拍摄的高灵敏度照相机等。在这种情况下，获取对手进行高速连续拍摄得到的一系列静止图像组作为手图像组数据。

商品管理服务器1对购入的商品自动地进行管理。在本实施方式中，商品管理服务器1由服务器等的计算机构成，如图1所示，其主要由以下项构成：通信装置2，其进行购物车11、收银装置12之间的通信；存储装置3，其对本实施方式的商品管理程序1a、各种数据进行存储，并且作为运算处理装置4进行各种运算处理时的工作区域而发挥功能；以及运算处理装置4，其通过执行安装在存储装置3中的商品管理程序1a来执行各种运算处理。下面，对各构成装置进行详细说明。

通信装置2由无线通信模块等构成，用于在商品管理服务器1中安装通信功能。在本实施方式中，通信装置2通过无线LAN、蓝牙(注册商标)等的无线通信，从购物车11接收上述手位置数据、手图像组数据，或者向收银装置12发送与购入的商品相关的各种数据。

存储装置3由硬盘、ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、闪存等构成，存储各种数据，并且作为运算处理装置4进行各种处理时的工作区域而发挥功能。在本实施方式中，如图1所示，存储装置3具有程序存储部31、商品数据存储部32、购物筐数据存储部33和商品判别式存储部34。

在程序存储部31中，安装有用于控制本实施方式的商品管理服务器1的商品管理程序1a。而且，运算处理装置4通过执行该商品管理程序1a使作为商品管理服务器1的计算机作为在下文中叙述的各构成部而发挥功能。

此外，商品管理程序1a的使用形式不限于上述构成。例如，可以将商品管理程序1a存储在诸如CD-ROM、USB存储器等的计算机可读非暂时性存储介质中，并从该存储介质中直接读取并执行该商品管理程序1a。还可以从外部服务器等通过云计算方式、ASP(Application Service Provider，应用服务提供商)方式等来利用该商品管理程序1a。

商品数据存储部32存储作为与店铺中正在处理的全部商品相关的各种数据的商品数据。在本实施方式中，如图3所示，作为商品数据，以与识别各商品的商品ID相对应的方式存储有商品名称、价格以及商品基准值。此外，商品基准值在下文中叙述的深度学习模式中对商品进行识别时使用，其是各商品应当满足的最低限度的阈值。

购物筐数据存储部33存储作为与移入购物筐10中的商品相关的各种数据的购物筐数据。在本实施方式中，如图4所示，作为购物筐数据，针对移入购物筐10中的每个商品分别存储商品名称、价格以及数量。

商品判别式存储部34对在通过图像处理来识别商品时使用的商品判别式进行存储。在本实施方式中，在商品判别式存储部34中存储有针对店铺正在处理的全部商品通过深度学习(Deep Learning)而得到的每个商品的商品判别式。而且，在下文中叙述的深度学习模式中对商品进行识别时使用该商品判别式。

接下来，运算处理装置4由CPU(Central Processing Unit，中央处理单元)等构成，通过执行安装在存储装置3中的商品管理程序1a，如图1所示，作为手位置数据获取部41、手动作判断部42、手图像组数据获取部43、商品区域提取部44、商品识别部45、购入商品管理部46和购入商品发送部47而发挥功能。以下，对各构成部进行更详细的说明。

手位置数据获取部41获取表示手的位置的手位置数据。在本实施方式中，手位置数据获取部41分别从设置在购物车11上的作为手位置检测装置14的上层检测面14a以及下层检测面14b中获取通光状态或遮光状态作为手位置数据，并将其顺次提供给手动作判断部42。

手动作判断部42基于手位置数据判断手是从购物筐10的外部移动至内部、还是从内部移动至外部。在本实施方式中，手动作判断部42始终对由手位置数据获取部41获取的上层检测面14a以及下层检测面14b的各个手位置数据进行监视。而且，在通光状态或遮光状态发生变化的情况下，基于该变化对手的动作进行判断。

具体地，如图5中的(a)所示，在上层检测面14a从通光状态变化为遮光状态之后下层检测面14b从通光状态变化为遮光状态的情况下，手动作判断部42判断为手从购物筐10的外部移动至内部。由此，检测出在将商品移入购物筐10的情况下的动作、为了返还商品而将手移入购物筐10的情况下的动作。

另一方面，如图5中的(b)所示，在下层检测面14b从遮光状态变化为通光状态之后上层检测面14a从遮光状态变化为通光状态的情况下，手动作判断部42判断为手从购物筐10的内部移动至外部。由此，检测出在将商品移入购物筐10后将手移出的情况下的动作、将商品从购物筐10取出的情况下的动作。

另外，在本实施方式中，手动作判断部42对手从购物筐10的外部移动至内部时的下方移动速度、以及手从购物筐10的内部移动至外部时的上方移动速度进行计算。

具体地，手动作判断部42对以下的4个时刻t1、t2、t3和t4进行记录。

上层检测面14a从通光状态变化为遮光状态的时刻(t1)

下层检测面14b从通光状态变化为遮光状态的时刻(t2)

下层检测面14b从遮光状态变化为通光状态的时刻(t3)

上层检测面14a从遮光状态变化为通光状态的时刻(t4)

然后，手动作判断部42基于上层检测面14a和下层检测面14b之间的距离S、以及上层检测面14a从通光状态变化为遮光状态之后下层检测面14b从通光状态变化为遮光状态的时间(t2-t1)，利用下式(1)来计算下方移动速度Vd。

Vd＝S/(t2-t1)···式(1)

另外，手动作判断部42基于上层检测面14a和下层检测面14b之间的距离S、以及下层检测面14b从遮光状态变化为通光状态之后上层检测面14a从遮光状态变化为通光状态的时间(t4-t3)，利用下式(2)来计算上方移动速度Vu。

Vu＝S/(t4-t3)···式(2)

此外，在本实施方式中，在上层检测面14a为通光状态且下层检测面14b为遮光状态的情况下，购物筐10内的商品有可能对下层检测面14b进行遮光、或者有可能输出错误的手位置数据，因此手动作判断部42会输出错误信号。

手图像组数据获取部43获取由手的图像组构成的手图像组数据。在本实施方式中，每当手通过购物筐10的开口部时，手图像组数据获取部43就从摄像装置15获取短时间的动画图像，并从该动画图像提取手图像组数据。具体地，在手从购物筐10的外部移动至内部的情况下，剪切从上述时刻t2起几秒左右的动画图像，在手从购物筐10的内部移动至外部的情况下，剪切从上述时刻t4起几秒左右的动画图像。

此外，在本实施方式中，手图像组数据获取部43所剪切的动画图像的长度根据由手动作判断部42计算的手的移动速度来确定。即，在上方移动速度或下方移动速度较大的情况下，缩短动画图像的剪切时间，在上方移动速度或下方移动速度较小的情况下，拉长动画图像的剪切时间。由此，由于无论从哪个动画图像都能提取出大致相同数量的静止图像作为手图像组数据，因此可适当地算出在下文中叙述的光流。

商品区域提取部44从手图像组数据中提取出相当于商品的商品区域。在本实施方式中，如图6所示，商品区域提取部44首先算出在连续的手图像组数据中以向量来表示对应的各点的运动而成的光流。此外，图6是在水平方向的视线方向上算出的购物筐10的开口部的正上方附近的光流的示意图，其中箭头位置处的方向和大小表示各点处的移动方向和移动速度。

接下来，商品区域提取部44基于手图像组数据的光流提取沿上下方向移动的上下移动区域。具体地，商品区域提取部44参照手图像组数据的各点处的光流，提取移动方向的主分量为上方向或下方向的区域作为上下移动区域。此时，商品区域提取部44仅在光流的移动方向和移动速度与由手动作判断部42算出的方向和速度(上方移动速度或下方移动速度)大致相同的情况下进行提取，以作为上下移动区域。由此，高精度地提取与上下移动的手相对应的区域。

接下来，商品区域提取部44从提取的上下移动区域中提取除手之外的区域作为商品区域。具体地，如图7所示，商品区域提取部44将上下移动区域中的具有与手的形状类似的形状且具有与手的颜色信息类似的颜色信息的区域确定为手区域，并将该手区域从上下移动区域中去除。然后，如果残留手区域以外的区域，则将该区域提取为商品区域。

此外，对于作为确定具有与手的形状类似的形状的区域的方法而言，例如，作为移出和移入购物筐10的手的形状而预先存储把持商品的状态、张开的状态等多个类型作为基准数据。然后，对该基准数据和上下移动区域进行比较，并将相似度高于规定的阈值的区域确定为相当于手的手区域即可。

另外，在本实施方式中，将具有与手的形状类似的形状且具有与手的颜色信息类似的颜色信息的区域推定为相当于手的手区域，但并不限定于该构成，也可以将具有与手的形状类似的形状的区域或者具有与手的颜色信息类似的颜色信息的区域推定为手区域。在此种情况下，例如，可以算出根据形状推定的确信度以及根据颜色信息推定的确信度，并将该确信度高的一方作为手区域。

商品识别部45基于商品区域来识别商品。在本实施方式中，商品识别部45在分别使用下列的(a)、(b)两种模式的同时对商品进行识别。

(a)识别码模式：基于包含在商品区域中的识别码来识别商品

(b)深度学习模式：基于将与商品区域有关的数值数据分别输入到通过深度学习得到的每个商品分类的商品判别式时的输出值来识别商品

具体地，商品识别部45在从商品区域检测到条形码等识别码的情况下，以识别模式来识别商品，如果未从商品区域检测到条形码等识别码，则以深度学习模式来识别商品。

在识别码模式中，商品识别部45通过从商品区域读取识别码来确定商品ID。然后，通过将该商品ID与注册在商品数据存储部32中的商品数据进行核对，来识别商品。

此外，作为识别码，并不限于JAN码等可视觉辨认的条形码，只要是能对商品进行识别的码就都可以。例如，可以使用采用对黑光(紫外线)起反应的特殊墨水印刷的所谓的不可见的条形码、数字水印方式的条形码等。如果使用这种条形码，则可以在商品的整个表面大量地印刷，从而提高识别码的检测率。

另一方面，在深度学习模式中，商品识别部45采用多层的神经网络进行商品的识别。在本实施方式中，神经网络是包含卷积层、汇聚层的、利用程序库来构建的多级卷积神经网络，其对预先知晓被分类为哪个商品的图像数据进行深度学习作为教师数据。

具体地，首先准备多个针对每个商品剪切的图像，并对全部图像中的像素数进行统一化。然后，以使各像素中的灰度值的平均值为0、标准偏差为1的方式进行标准化，在学习中使用该标准化的图像中的各像素的标准化的数值数据组，并确定商品判别式。

此外，作为在商品判别式中使用的线性近似式，例如，存在如下式(3)所示那样的在多变量分析中使用的线性判别函数。

z₁＝a₁₁x₁+a₁₂x₂+a₁₃x₃+a₁₄x₄+b₁···式(3)

其中，各符号表示以下内容。

z₁：输出变量

x₁,x₂,x₃,x₄：输入变量

a₁₁,a₁₂,a₁₃,a₁₄：权重

b₁：任意变量

在上面的式(3)中，由于在输入2×2像素的图像的情况下像素数是4，因此对各权重进行修正以使得将各像素的灰度值作为输入值时的输出值成为表示该图像的商品的商品值的作业相当于“学习”。此外，使用在一般的图像处理中使用的数据集并提高了识别精度之后，从实际的商品图像创建教师数据和测试用数据，并反复进行学习、测试实验，由此导出各权重。

此外，神经网络为由多个单元连接成网状的结构，由于在各单元中存在非线性的激活函数等，因此整体变得极其复杂。但是，如果以简单的线性近似式来表示一个单元，则排列多个上述式(3)作为商品判别式而构成一级，通过将任意级中的来自各单元的输出值作为下一级的输入值而连接成网状，由此在最后一级得到多个输出值。然后，得到该输出值为最大的商品判别式的商品作为识别结果。

如上所述，在深度学习模式中，商品识别部45首先将与商品区域有关的数值数据组(各像素的灰度值等)分别输入到商品判别式存储部34中存储的每个商品的商品判别式中，来算出输出值。然后，将该输出值为最大的商品确定为商品区域中包含的商品。

另外，在本实施方式中，为了防止对商品进行误识别，在商品数据存储部32中设定有每个商品应当满足的最低限度的输出值的阈值作为商品基准值。由此，即使是输出值为最大的商品，在该输出值小于商品基准值的情况下，商品识别部45也判断为不存在相应的商品，并执行在下文中叙述的错误处理。

此外，作为错误处理，例如，可以额外地记录由手图像组数据获取部43剪切的动画图像的前后的时间段内的动画图像并针对该动画图像重复上述的处理以对商品进行识别。或者，可以由安装在购物车11上的扬声器、显示器等(未图示)警告商品识别失败的情况、再次执行识别处理、促使用户手动输入商品的信息。

购入商品管理部46对想要购入的商品进行管理。在本实施方式中，购入商品管理部46基于手图像组数据，在商品正在由从购物筐10的外部移动至内部的手把持的情况下，判断该商品已移动至购物筐10内，并将该商品注册到购物筐数据存储部33。另一方面，购入商品管理部46基于手图像组数据，在商品正在由从购物筐10的内部移动至外部的手把持的情况下，判断该商品已从购物筐10取出，并将注册到购物筐数据存储部33的该商品删除。

具体地，当由商品识别部45识别出商品的情况下，购入商品管理部46参照手动作判断部42的判断结果，若手的移动方向是向内方向的，则从商品数据存储部32读出识别到的商品的商品名称以及价格，并连同其数量注册到购物筐数据存储部33。另一方面，若手的移动方向是向外方向的，则将与识别到的商品有关的数据从购物筐数据存储部33中删除。由此，进行更新以使移入至购物筐10中的商品与购物筐数据始终对应。

购入商品发送部47将想要购入的商品的数据发送至收银装置12。在本实施方式中，购入商品发送部47经由通信装置2将针对存储在购物筐数据存储部33中的全部的商品的商品名称、价格以及数量发送至收银装置12。

接下来，在参照图8的同时对本实施方式的商品管理服务器1、自动收银***100、商品管理程序1a以及商品管理方法的作用进行说明。

在使用本实施方式的自动收银***100对商品进行自动结算的情况下，相对于放置在购物车11上的购物筐10对商品进行移出和移入。此时，在手位置数据获取部41从手位置检测装置14获取到手位置数据时(步骤S1)，手动作判断部42基于该手位置数据判断手的动作(步骤S2)。下面，在参照图9的同时对涉及步骤S2的手动作判断处理进行说明。

首先，在手从购物筐10离开的状态下，由于上层检测面14a以及下层检测面14b处于通光状态，因此手动作判断部42判断上层检测面14a是否从通光状态变化为遮光状态(步骤S21)。在该判断的结果为上层检测面14a从通光状态变化为遮光状态的情况下(步骤S21：是)，手动作判断部42记录发生该变化的时刻(t1)(步骤S22)。

接下来，手动作判断部42进一步判断下层检测面14b是否从通光状态变化为遮光状态(步骤S23)。在该判断的结果为下层检测面14b也从通光状态变化为遮光状态的情况下(步骤S23：是)，手动作判断部42记录发生该变化的时刻(t2)(步骤S24)，并且判断手从购物筐10的外部移动至内部(步骤S25)。之后，在手动作判断部42使用上述式(1)算出手的下方移动速度之后(步骤S26)，结束本处理。

另一方面，在上述步骤S21中的判断结果为上层检测面14a未从通光状态向遮光状态变化的情况下(步骤S21：否)，或者在上述步骤S23中的判断结果为下层检测面14b未从通光状态向遮光状态变化的情况下(步骤S23：否)，存在手处于购物筐10的内部、上层检测面14a以及下层检测面14b为遮光状态的可能性。

因此，手动作判断部42判断下层检测面14b是否从遮光状态变化为通光状态(步骤S27)。在该判断的结果为下层检测面14b从遮光状态变化为通光状态的情况下(步骤S27：是)，手动作判断部42记录发生该变化的时刻(t3)(步骤S28)。

接下来，手动作判断部42进一步判断上层检测面14a是否从遮光状态变化为通光状态(步骤S29)。在该判断的结果为上层检测面14a也从遮光状态变化为通光状态的情况下(步骤S29：是)，手动作判断部42记录发生该变化的时刻(t4)(步骤S30)，并且判断手从购物筐10的内部移动至外部(步骤S31)。之后，在手动作判断部42使用上述式(2)算出手的上方移动速度之后(步骤S32)，结束本处理。

另一方面，在上述步骤S27中的判断结果为下层检测面14b未从遮光状态向通光状态变化的情况下(步骤S27：否)，或者在上述步骤S29中的判断结果为上层检测面14a未从遮光状态向通光状态变化的情况下(步骤S29：否)，视为未发生手的动作，结束本处理。根据如上所述的手动作判断处理，可自动且高精度地判断购物顾客的手是从购物筐10的外部移动至内部、还是从购物筐10的内部移动至外部。

返回至图8，在由手动作判断部42判断出手是从购物筐10的外部移动至内部的情况下、或者在手动作判断部42判断出手是从购物筐10的内部移动至外部的情况下(步骤S3：是)，手图像组数据获取部43剪切来自摄像装置15的动画图像并获取手图像组数据(步骤S4)。由此，可以可靠地获取手相对于购物筐10移出和移入时的手图像组数据。另外，由于不会获取未拍到手的无用的图像数据，因此可抑制数据通信量以及运算处理量。

另外，在本实施方式中，手图像组数据获取部43以与手动作判断部42所算出的上方移动速度或下方移动速度相应的长度来对动画图像进行剪切。由此，由于无论从哪个动画图像都能提取出大致相同数量的手图像组数据，因此可适当地算出光流。

另一方面，若步骤S3中的判断结果为手并未相对于购物筐10向内、向外移动(步骤S3：否)，只要不存在结算的指示(步骤S12：否)，则返回至步骤S1的处理。由此，始终对手相对于购物筐10的动作进行监视。

接下来，商品区域提取部44基于在步骤S4中获取的手图像组数据的光流，提取在上下方向上移动的上下移动区域(步骤S5)。由此，可提取出相对于购物筐10朝上方或下方移动的手的区域。另外，在本实施方式中，商品区域提取部44仅在光流的移动方向和移动速度与由手动作判断部42算出的方向和速度大致相同的情况下进行提取，以作为上下移动区域。由此，可高精度地提取与上下移动的手对应的区域。

接下来，商品区域提取部44从在步骤S5中提取出的上下移动区域中去除手区域，并判断是否存在手以外的区域(步骤S6)。此时，在本实施方式中，由于将上下移动区域中的具有与手的形状类似的形状、且具有与手的颜色信息类似的颜色信息的区域确定为手区域，因此可正确地确定手以外的区域。

若步骤S6中的判断结果为存在手以外的区域(步骤S6：是)，则商品区域提取部44提取该区域作为商品区域(步骤S7)。由此，由于仅高精度地提取相当于商品的商品区域，因此可降低商品的误识别率。另一方面，若不存在手以外的区域(步骤S6：否)，只要不存在结算的指示(步骤S12：否)，则返回步骤S1的处理。由此，由于针对未把持商品的手图像组数据不执行商品的识别处理，因此可降低运算处理量。

接下来，商品识别部45基于在步骤S7中提取的商品区域来识别商品(步骤S8)。此时，在本实施方式中，若从商品区域检测到识别码，则商品识别部45以识别码模式来识别商品，若从商品区域未检测到识别码，则商品识别部45以深度学习模式来识别商品，因此可提高商品的识别率。

接下来，购入商品管理部46基于由手动作判断部42判断出的手的移动方向，在存在从外部向内部的移动时(步骤S9：内方向)，将由商品识别部45识别到的商品注册到购物筐数据存储部33(步骤S10)。另一方面，在存在手的移动方向从内部向外部的移动时(步骤S9：外方向)，购入商品管理部46将由商品识别部45识别到的商品从购物筐数据存储部33删除(步骤S11)。由此，可几乎实时地将移出和移入购物筐10的商品反映在购物筐数据存储部33内的购物筐数据中，从而对想要购入的商品自动地进行管理。

另一方面，在步骤S8中的识别处理的结果为未能识别到商品的情况下(步骤S8：否)，执行各种错误处理(步骤S12)。由此，由于针对全部的商品可注册正确的购物筐数据，因此能够正确地进行结算。

此后，只要不存在结算的指示(步骤S13：否)，就重复进行上述从步骤S1至步骤S12的处理。另一方面，如果指示结算，则购入商品发送部47将针对购物筐数据存储部33中存储的全部的商品的商品名称、价格以及数量发送给收银装置12。由此，在收银装置12中，无需对移入购物筐10的商品逐一进行确认即可算出全部商品的合计金额，从而能够自动且正确地进行结算。

根据如上所述的本实施方式的商品管理服务器1、自动收银***100、商品管理程序1a以及商品管理方法，获得以下的效果。

1.在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐10的商品的识别率，从而能够自动地进行管理。

2.仅高精度地提取相当于商品的商品区域，从而能够降低商品的误识别率。

3.能够正确地确定上下移动区域中的手以外的区域，从而能够高精度地提取商品区域。

4.由于区别地使用多个用于识别商品的模式，从而能够进一步提高商品的识别率。

5.能够自动且高精度地判断购物顾客的手是从购物筐10的外部移动至内部、还是从内部移动至外部。

6.通过使用手的上方移动速度或下方移动速度，能够从动画图像获取大致相同数量的手图像组数据，并且能够高精度地提取与上下移动的手相对应的区域。

7.在抑制数据通信量以及运算处理量的同时提高移出和移入购物筐10的商品的识别率，从而能够自动地进行结算。

此外，本发明所涉及的商品管理服务器1、自动收银***100、商品管理程序1a以及商品管理方法并不限于上述实施方式，可以适当地进行变更。

例如，在上述的实施方式中，手位置检测装置14由光束传感器141和反射板142所形成的上层检测面14a以及下层检测面14b构成，但是如上所述，也可以将由两台红外线照相机和红外线LED构成的输入设备作为手位置检测装置14。在此情况下，利用两台红外线照相机对红外线LED所照射的手进行拍摄，并输出图像分析得到的手的三维位置作为手位置数据。并且，通过利用该三维位置的时间序列数据来确定手的移动方向、移动速度。

另外，在上述构成的情况下，作为剪切动画图像的基准时刻(上述的时刻t2、t4)，可将覆盖购物筐10的开口部的虚拟平面设置成三维的，将手指尖的位置到达比该虚拟平面靠下侧的位置时的时刻作为上述时刻t2，并将手指尖的位置到达比虚拟平面靠上侧的位置时的时刻作为上述时刻t4。

进一步地，在上述构成的情况下，可将构成手位置检测装置14的红外线照相机兼用作摄像装置15。在此情况下，手图像组数据获取部43获取来自红外线照相机的红外线图像数据作为手图像组数据。

Claims

1.一种商品管理服务器，其是对移出和移入购物筐的商品进行管理的商品管理服务器，其具有：

手位置数据获取部，其从所述购物筐的开口部附近设置的手位置检测装置获取表示手的位置的手位置数据；

手动作判断部，其基于所述手位置数据判断所述手是从所述购物筐的外部移动至内部、还是从内部移动至外部；

手图像组数据获取部，其在所述手从所述购物筐的外部移动至内部、或者从内部移动至外部的情况下，从所述购物筐的开口部附近设置的摄像装置来获取由所述手的图像组构成的手图像组数据；以及

购入商品管理部，其基于所述手图像组数据，在所述商品正在由从所述购物筐的外部移动至内部的手把持的情况下，将所述商品注册到购物筐数据存储部，并在所述商品正在由从所述购物筐的内部移动至外部的手把持的情况下，将注册到所述购物筐数据存储部的所述商品删除。

2.根据权利要求1所述的商品管理服务器，其具有：

商品区域提取部，其基于所述手图像组数据的光流，提取沿上下方向移动的上下移动区域，并且提取所述上下移动区域中的所述手以外的区域作为相当于所述商品的商品区域。

3.根据权利要求2所述的商品管理服务器，其中，

所述商品区域提取部通过从所述上下移动区域中去除具有与所述手的形状类似的形状的区域和/或具有与所述手的颜色信息类似的颜色信息的区域，来提取所述商品区域。

4.根据权利要求2或3所述的商品管理服务器，其具有：

商品识别部，其基于所述商品区域识别所述商品，所述商品识别部利用下述的(a)和(b)中的任意一项或两项的模式来识别商品；

5.根据权利要求1至4中任一项所述的商品管理服务器，其中，

所述手位置检测装置分上下两层地设置在所述购物筐的开口部附近，并由检测通光状态或遮光状态的上层检测面和下层检测面构成，

所述手动作判断部：

在所述上层检测面从通光状态变化为遮光状态之后所述下层检测面从通光状态变化为遮光状态的情况下，判断所述手从所述购物筐的外部移动至内部，

在所述下层检测面从遮光状态变化为通光状态之后所述上层检测面从遮光状态变化为通光状态的情况下，判断所述手从所述购物筐的内部移动至外部。

6.根据权利要求5所述的商品管理服务器，其中，

所述手动作判断部：

基于所述上层检测面和所述下层检测面之间的距离、以及在所述上层检测面从通光状态变化为遮光状态之后所述下层检测面从通光状态变化为遮光状态的时间，来计算所述手从所述购物筐的外部移动至内部时的下方移动速度，

并基于所述上层检测面和所述下层检测面之间的距离、以及在所述下层检测面从遮光状态变化为通光状态之后所述上层检测面从遮光状态变化为通光状态的时间，来计算所述手从所述购物筐的内部移动至外部时的上方移动速度。

7.一种自动收银***，其具有：

如权利要求1至6中任一项所述的商品管理服务器、设置有手位置检测装置和摄像装置的购物车、以及对注册在购物筐数据存储部中的商品进行结算的收银装置。

8.一种存储介质，其中存储有对移出和移入购物筐的商品进行管理的商品管理程序，该商品管理程序使计算机作为以下项而发挥功能：

9.一种商品管理方法，其是对移出和移入购物筐的商品进行管理的商品管理方法，其包括：

手位置数据获取步骤，从所述购物筐的开口部附近设置的手位置检测装置获取表示手的位置的手位置数据；

手动作判断步骤，基于所述手位置数据判断所述手是从所述购物筐的外部移动至内部、还是从内部移动至外部；

手图像组数据获取步骤，在所述手从所述购物筐的外部移动至内部、或者从内部移动至外部的情况下，从所述购物筐的开口部附近设置的摄像装置来获取由所述手的图像组构成的手图像组数据；以及

购入商品管理步骤，基于所述手图像组数据，在所述商品正在由从所述购物筐的外部移动至内部的手把持的情况下，将所述商品注册到购物筐数据存储部，并在所述商品正在由从所述购物筐的内部移动至外部的手把持的情况下，将注册到所述购物筐数据存储部的所述商品删除。