CN105827954B - 用于容器的图像获取装置及图像处理*** - Google Patents

Abstract

本申请公开了用于容器的图像获取装置及图像处理***。所述装置的一具体实施方式包括：传感器，设置在所述容器本体上，用于监测进出所述容器本体储物区的物体和测量所述容器盖和容器本体之间的打开角度；摄像头，设置在所述容器本体和容器盖上，用于获取所述容器本体储物区和容器盖储物区的图像；控制器，设置在所述容器本体或容器盖上，分别与所述摄像头和传感器连接，用于在所述传感器监测到有物体进出所述容器本体储物区或者容器盖储物区时，控制所述摄像头分别获取所述容器本体储物区的图像或者容器盖储物区的图像。该实施方式能够大大降低信息重复率，提高了获取信息的效率。

Description

用于容器的图像获取装置及图像处理***

技术领域

本申请涉及图像处理技术领域，具体涉及图像识别技术领域，尤其涉及用于容器的图像获取装置及图像处理***。

背景技术

用于放置物品的容器广泛应用在家居环境中，为使用者提供了各种存储便利服务。以家用冰箱为例，用户借助其存储食品、蔬菜、饮料等各种生活物品。在使用过程中，冰箱内物品的不断地消耗，用户需要定期或者不定期地购买和补充物品放入冰箱。通常，容器会放入较多的物品，由于物品在放置时经常相互叠加或相互遮挡，这就导致用户不能有效地获取物品信息。

物品识别方法是指对容器内的物品进行图像处理，得到物品信息的一种方法。例如，通过物品识别方法对冰箱内的食物定期进行识别，可以得知冰箱内食物的种类和数量，甚至可以得知食物是否过期等信息。

现有的物品识别方法还存在一些不足，例如，有些物品识别方法采用定期扫描的方式对容器内的物品进行识别，但这种设备处理的数据量大，并且经常出现对同一物品的多次采集等现象，信息重复率很高。

发明内容

本申请提供了用于容器的图像获取装置及图像处理***，以解决背景技术中提到的问题。

第一方面，本申请提供了一种用于容器的图像获取装置，所述容器包括容器本体和容器盖，所述容器本体包括容器本体储物区且所述容器盖包括容器盖储物区，所述装置包括：传感器，设置在所述容器本体上，用于监测进出所述容器本体储物区的物体和测量所述容器盖和容器本体之间的打开角度；摄像头，设置在所述容器本体和容器盖上，用于获取所述容器本体储物区和容器盖储物区的图像；控制器，设置在所述容器本体或容器盖上，分别与所述摄像头和传感器连接，用于在所述传感器监测到有物体进出所述容器本体储物区或者容器盖储物区时，控制所述摄像头分别获取所述容器本体储物区的图像和/或容器盖储物区的图像。

在一些实施例中，所述摄像头包括第一全局摄像头和分区摄像头；所述第一全局摄像头设置在所述容器盖上，用于获取所述容器本体储物区的图像，所述容器本体储物区包括至少一个子储物区；所述分区摄像头设置在所述子储物区上，用于获取对应所述子储物区的图像。

在一些实施例中，所述摄像头还包括第二全局摄像头，所述第二全局摄像头设置在所述容器本体上，用于获取所述容器盖储物区的图像。

在一些实施例中，所述传感器包括距离传感器，所述距离传感器设置在所述子储物区的内壁上，用于监测进出所述子储物区的物体。

在一些实施例中，所述控制器在所述距离传感器监测到有物体进出所述子储物区时，控制所述分区摄像头获取所述子储物区的图像。

在一些实施例中，所述传感器还包括角度传感器，所述角度传感器设置在所述容器本体和容器盖之间连接的转轴上，用于测量所述容器盖与容器本体之间的打开角度。

在一些实施例中，所述控制器在所述打开角度小于第一预设角度，并且所述距离传感器监测到有物体进出所述子储物区时，控制所述第一全局摄像头和第二全局摄像头分别获取所述容器本体储物区的图像和所述容器盖储物区的图像。

在一些实施例中，所述装置还包括数据传输器，所述数据传输器与所述控制器连接，用于将所述容器本体储物区的图像、子储物区的图像和/或者容器盖储物区的图像发送给图像处理装置，并接收所述图像处理装置发来的对应所述容器本体储物区的图像的物品信息、对应所述子储物区的图像的物品信息和/或者对应所述容器盖储物区的图像的物品信息。

在一些实施例中，所述装置还包括：显示模组，与所述控制器连接，用于显示所述物品信息。

第二方面，本申请提供了一种图像处理***，所述***包括：包括图像处理装置和上述第一方面的所述图像获取装置，所述图像处理装置用于对所述图像获取装置发来的图像进行处理，得到对应所述图像的物品信息，并将所述物品信息发送给所述图像获取装置。

本申请的用于容器的图像获取装置通过传感器来监测进出所述容器本体储物区的物体和测量所述容器盖和容器本体之间的打开角度；控制器在传感器监测到有物体进出所述容器本体储物区或者容器盖储物区时，控制所述摄像头分别获取所述容器本体储物区的图像或者容器盖储物区的图像，能够大大降低信息重复率，提高了获取信息的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的用于容器的图像获取装置的一个实施例结构示意图；

图2是图1的图像获取装置的一个应用场景的示意图；

图3是图2应用场景对应的装置结构图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了用于容器的图像获取装置的一个实施例的结构图100。本实施例的上述容器包括容器本体和容器盖，上述容器本体包括容器本体储物区且上述容器盖包括容器盖储物区。

如图1所示，本实施例的用于容器的图像获取装置包括传感器101、摄像头102和控制器103。其中，传感器101用于监测进出上述容器本体储物区的物体和测量上述容器盖和容器本体之间的打开角度，传感器101通常设置在上述容器本体上，传感器101的具***置可根据容器本体的结构，选择最有效监测进出容器本体储物区的物体的位置。例如，将传感器101设置在进入容器本体储物区的位置等。传感器101可以设置在容器本体的内表面，还可以设置在容器本体储物区的内壁内，能够避免传感器101与物品的直接接触，导致传感器101监测信息不精确或失灵等故障。

摄像头102用于获取上述容器本体储物区和容器盖储物区的图像，摄像头102设置在上述容器本体和容器盖上，通常选取能够获取最全面最清晰的物品图像的位置和角度，例如，设置在容器本体储物区和容器盖储物区的顶部。为了尽量减小空间占用，摄像头102优选体积较小的针孔摄像头。

控制器103分别与上述摄像头和传感器连接，用于在上述传感器监测到有物体进出上述容器本体储物区或者容器盖储物区时，控制上述摄像头分别获取上述容器本体储物区的图像和/或容器盖储物区的图像。控制器103通常设置在上述容器本体或容器盖上，并通过独立的电源或容器的电源供电。

在本实施例的一些可选的实现方式中，为了对容器内物品的整体情况和某一具体储物区的情况进行了解，摄像头101按拍摄的图像内容，可以进一步分为用于获取整体图像的摄像头和获取局部图像的摄像头。本实施例的摄像头可以包括第一全局摄像头和分区摄像头；上述第一全局摄像头设置在上述容器盖上，用于获取上述容器本体储物区的图像，通常，第一全局摄像头在容器关闭时获取容器本体储物区的图像，以便对本次容器的物品变化有总体了解。上述容器本体储物区包括至少一个子储物区；第一全局摄像头用于获取整个容器本体储物区的图像，因此，第一全局摄像头选用一个摄像头即可。

上述分区摄像头设置在上述子储物区上，用于获取对应上述子储物区的图像。分区摄像头需要获取每个子储物区的图像，因此，分区摄像头的数量与子储物区的数量相同。实际中，子储物区可能通过挡板等装置进行分割或合并，这就要求分区摄像头的位置和数量能随意控制。本实施例的分区摄像头可选用无线摄像头，通过磁铁或粘条等部件附着在子储物区的特定位置上，然后通过无线信号建立与控制器的无线连接，使得本实施例的分区摄像头具有很强的位置移动性和数量扩展性。

在本实施例的一些可选的实现方式中，除了容器的容器本体具有储物能力外，容器盖也可以具有储物区。通常，容器盖储物区通常较小，物品之间不易遮挡，不需要配置分区摄像头，只要一个获取容器盖储物区整体图像的摄像头就能了解容器盖储物区内的所有物品。因此，本实施例的摄像头还包括第二全局摄像头，上述第二全局摄像头设置在上述容器本体上，用于获取上述容器盖储物区的图像。和上述第一全局摄像头类似，第二全局摄像头也是在容器关闭时获取容器盖储物区的图像的。

在本实施例的一些可选的实现方式中，传感器101需要监测进入容器本体储物区的物体，此处的物体可以是物品，例如，将物品扔进容器本体储物区，此时，传感器101只能监测到扔进传感器101的物品；还可以是手或其他物体，例如，手拿着物品放入容器本体储物区，此时，传感器101会首先监测到进入传感器101的物体。实际中，容器本体储物区是一个三维空间，即，可以通过长、宽和高还限定容器本体储物区。因此，可以通过测量物体与容器本体储物区的空间位置来判断该物体是否进入了容器本体储物区。本实施例的传感器包括距离传感器，上述距离传感器设置在上述子储物区的内壁上，用于监测进出上述子储物区的物体。距离传感器可以监测到物体与自身的距离，根据距离传感器所处的位置，就可以确定物体是否进入容器本体储物区。由上述描述可知，容器本体储物区包括至少一个子储物区，为了分别对子储物区的物品进行监控，也需要在每个子储物区设置距离传感器。此外，子储物区的大小和形状可能各不相同，因此，距离传感器的位置和测量信号(用于探测距离传感器与物体之间的距离)需要根据实际情况设定，本实施例不做限定。距离传感器在容器未打开前可以处于掉电状态，这样可以显著减低能耗，同时延长了距离传感器的寿命。当容器被打开时，距离传感器被启动起来，并开始监测是否有物体进入该距离传感器对应的储物区。此时，控制器在距离传感器监测到有物体进出上述子储物区时，控制上述分区摄像头获取上述子储物区的图像，即，分区摄像头只有在有物体进入子储物区的时候才获取图像，在物体进入子储物区前和进入子储物区后都不获取图像，这样就避免了图像的多次获取，降低了信息(此处是图像)的重复率，提高了获取信息的效率。例如，用手将物品放入冰箱时，分区摄像头在手和物品进入子储物区时和手伸出子储物区时获取图像，在手进入到子储物区前和进入子储物区后都不获取图像。需要说明的是，此处的分区摄像头和距离传感器都在同一子储物区。

在本实施例的一些可选的实现方式中，由上述描述可知，距离传感器在容器被打开时启动，因此，也需要对容器的开启状态进行监测。本实施例的传感器还包括角度传感器，上述角度传感器设置在上述容器本体和容器盖之间连接的转轴上，用于测量上述容器盖与容器本体之间的打开角度。当打开角度大于零度和设定角度时，认为容器被打开，否则，认为容器处于关闭状态，距离传感器的开启状态与容器的打开状态相对应。类似的，第一全局摄像头、分区摄像头和第二全局摄像头各自的开启状态也可以与容器的打开状态对应。

在本实施例的一些可选的实现方式中，本实施例的图像获取装置需要获取容器内物品的有效图像。实际中，进出容器的物品会有多种情况。例如，容器可能被打开，但打开只是为了查看容器内的物品，并不放入或取出物品。这种情况下，打开角度通常较小，即便打开角度超过了设定角度并启动了传感器101和摄像头102，由于没有放入或取出物品，距离传感器也监测不到进出子储物区的物体，控制器也不会控制分区摄像头获取图像，也没有必要在关闭容器时获取容器的容器本体储物区的图像和容器盖储物区的图像。相应的，上述控制器在上述打开角度小于第一预设角度，并且上述距离传感器监测到有物体进出上述子储物区时，控制上述第一全局摄像头和第二全局摄像头分别获取上述容器本体储物区的图像和上述容器盖储物区的图像。其中，第一预设角度为容器关闭时的角度，当角度传感器监测到容器的打开角度一直减小并小于第一预设角度时，认为容器正在关闭。此时，控制器查看距离传感器是否监测到有物体进出子储物区，若有，则说明有物品进出，此时，需要获取容器本体储物区的图像和容器盖储物区的图像，否则，说明容器被打开但没有物品放入或取出，没有必要获取容器本体储物区的图像和容器盖储物区的图像。

在本实施例的一些可选的实现方式中，本实施例的图像获取装置获取到相关的图像后，可以将图像发送给图像处理装置。相应地，图像获取装置还可以包括数据传输器，上述数据传输器与上述控制器连接，用于将上述容器本体储物区的图像、子储物区的图像和/或者容器盖储物区的图像发送给图像处理装置，并接收上述图像处理装置发来的对应上述容器本体储物区的图像的物品信息、对应上述子储物区的图像的物品信息和/或者对应上述容器盖储物区的图像的物品信息。数据传输器可以采用有线或无线的方式与图像处理装置进行数据传递。

在本实施例的一些可选的实现方式中，当图像获取装置获取到图像处理装置发来的物品信息后，可以将物品信息直接通过显示模组显示出来，显示模组可以设置在容器的容器本体或容器盖上，通过文字、图片或语音的方式对物品信息进行说明。本实施例的显示模组与上述控制器连接，用于显示上述物品信息。显示模组可以是能够显示文字和图片的显示屏，该显示屏还可以包括声音播放组件，用于通过语音对物品信息进行说明。

实际中，有可能出现图像处理装置无法识别图像或识别出的物品信息错误的情况，为此，本实施例的图像获取装置还可以配置信息修改模块，对图像处理装置发来的物品信息进行修改。修改的方式可以是文字修改、图片修改或语音修改等。相应的，图像获取装置还可以配置物理键盘、具有信息输入和编辑功能的显示屏或电子笔等器件，还可以是其他类型的信息修改器件，此处不再一一赘述。

本实施例还提供了一种图像处理***，上述***包括图像处理装置和上述的图像获取装置，上述图像处理装置用于对上述图像获取装置发来的图像进行处理，得到对应上述图像的物品信息，并将上述物品信息发送给上述图像获取装置。其中，图像处理装置可以是网络端的图像处理服务器，也可以是图像获取装置自带的图像处理模块。

在本实施例的一些可选的实现方式中，图像处理***除了通过图像获取装置的显示模组显示物品信息外，还可以通过移动显示终端来显示物品信息。移动显示终端通过互联网与图像获取装置连接，能够将物品信息及时告知远端的用户。

本申请的用于容器的图像获取装置通过传感器来监测进出上述容器本体储物区的物体和测量上述容器盖和容器本体之间的打开角度；控制器在传感器监测到有物体进出上述容器本体储物区或者容器盖储物区时，控制上述摄像头分别获取上述容器本体储物区的图像或者容器盖储物区的图像，能够大大降低信息重复率，提高了获取信息的效率。

继续参见图2，图2是对应图1的图像获取装置的一个应用场景的示意图。图2通过一个冰箱的实施例来对上述的图像获取装置进行说明。由图2可知，该冰箱可分为冷藏柜210(相当于上述的容器本体)和冰箱门220(相当于上述的容器盖)两部分。其中，冷藏柜210内部包括A区、B区、C区和D区(相当于上述的子储物区)。摄像头包括摄像头201、摄像头202、摄像头203、摄像头204和摄像头205。摄像头201、摄像头202、摄像头203、摄像头204和摄像头205和位置如图2所示。其中，摄像头201(相当于上述的分区摄像头)用于获取A区内的图像；摄像头202(相当于上述的分区摄像头)用于获取B区内的图像；摄像头203(相当于上述的分区摄像头)用于获取C区内的图像；摄像头204(相当于上述的第二全局摄像头)用于获取冰箱门220内侧的图像；摄像头205(相当于上述的第一全局摄像头)位于冰箱门220内侧，用于获取冷藏柜210的A区、B区、C区和D区的图像。距离传感器206设置在冷藏柜210内测的靠近冰箱门220的一侧，用于监测A区、B区、C区和D区的距离变化信息(如有需要，也可以分别在A区、B区、C区和D区设置距离传感器，每个区的距离传感器监测所在区的距离变化信息)；角度传感器207设置在冰箱门220的转轴上。显示器(图中未示出)一般设置在冰箱门220的外侧。本实施例的D区为抽屉式存储区，摄像头208(相当于上述的分区摄像头)用于获取D区打开时的图像。

当冰箱门220被打开时，角度传感器207测量冰箱门220的打开角度，当打开角度小于预设打开角度时，认为物品无法被放入或取出，不启动传感器和摄像头；当打开角度大于预设打开角度时，认为可以放入或取出物品，启动传感器和摄像头；继续通过距离传感器206监测冰箱的是否有物体放入或取出；当角度传感器207监测到冰箱的打开角度由大到小发生变化，并且在打开角度小于预设关闭角度时没有物体放入或取出，说明冰箱正在关闭，并且物品没有放入或取出，控制摄像头不获取物品图像；当有物体放入或取出时，控制器控制摄像头获取冷藏柜210和冰箱门220内的物品图像以及放入或取出物品时的物品图像。进一步，当A区、B区、C区和D区分别设置距离传感器时，可以具体控制对应A区、B区、C区和/或D区，以及其他区域的摄像头采集物品图像。

需要说明的是，对于不同的容器，上述的各个传感器和摄像头的数量和位置可以根据实际情况进行调整，本实施例的附图不构成对传感器和摄像头的数量以及位置的限制。

控制器可以将物品图像发送给云端的图像处理服务器，并接收图像处理服务器发来对物品图像处理后得到的物品信息，将物品信息显示在显示器上。

本实施例的图像获取装置还可以包括：信息修改器，用于对物品信息进行修改。信息修改器可以通过键盘、语音等方式对物品信息的文字修改，还可以为物品信息增加图片，以便后续对相同物品的物品图像的识别。

继续参见图3，图3是图2应用场景对应的装置结构图。图3的装置包括传感器组、摄像头组、主控装置、云端图像识别***、用户终端和冰箱供电单元。主控装置分别与传感器组、摄像头组、云端图像识别***和冰箱供电单元连接；云端图像识别***与用户终端连接。传感器组包括图2中所描述的多个传感器(包括距离传感器206、角度传感器207)；摄像头组包括图2中所描述的多个摄像头(摄像头201、摄像头202、摄像头203、摄像头204、摄像头205和摄像头208)。主控装置包括动作判断模块、控制器、图像采集模块、显示模块、信息修改模块和网络传输模块。控制器分别与判断模块、图像采集模块、显示模块、信息修改模块和网络传输模块连接。其中，动作判断模块，用于基于距离传感器206监测到的距离变化信息判断物品被放入容器或取出容器；控制器根据上述动作判断模块做出的判断来控制图像采集模块获取物品图像，当容器处于关闭状态时，将物品图像通过网络传输模块发送给云端图像识别***，云端图像识别***将识别出的物品信息发送给主控装置的显示模块进行显示，还可以发送给用户终端。当物品信息识别错误或无法识别时，还可以通过信息修改模块对物品信息进行修改。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于容器的图像获取装置，其特征在于，所述容器包括容器本体和容器盖，所述容器本体包括容器本体储物区且所述容器盖包括容器盖储物区，所述装置包括：

传感器，设置在所述容器本体上，用于监测进出所述容器本体储物区的物体和测量所述容器盖和容器本体之间的打开角度；

摄像头，设置在所述容器本体和容器盖上，用于获取所述容器本体储物区和容器盖储物区的图像；

控制器，设置在所述容器本体或容器盖上，分别与所述摄像头和传感器连接，用于在所述传感器监测到有物体进出所述容器本体储物区或者容器盖储物区时，控制所述摄像头分别获取所述容器本体储物区的图像和/或容器盖储物区的图像。

2.根据权利要求1所述的装置，其特征在于，所述摄像头包括第一全局摄像头和分区摄像头；

所述第一全局摄像头设置在所述容器盖上，用于获取所述容器本体储物区的图像，所述容器本体储物区包括至少一个子储物区；

所述分区摄像头设置在所述子储物区上，用于获取对应所述子储物区的图像。

3.根据权利要求2所述的装置，其特征在于，所述摄像头还包括第二全局摄像头，所述第二全局摄像头设置在所述容器本体上，用于获取所述容器盖储物区的图像。

4.根据权利要求3所述的装置，其特征在于，所述传感器包括距离传感器，所述距离传感器设置在所述子储物区的内壁上，用于监测进出所述子储物区的物体。

5.根据权利要求4所述的装置，其特征在于，所述控制器在所述距离传感器监测到有物体进出所述子储物区时，控制所述分区摄像头获取所述子储物区的图像。

6.根据权利要求5所述的装置，其特征在于，所述传感器还包括角度传感器，所述角度传感器设置在所述容器本体和容器盖之间连接的转轴上，用于测量所述容器盖与容器本体之间的打开角度。

7.根据权利要求6所述的装置，其特征在于，所述控制器在所述打开角度小于第一预设角度，并且所述距离传感器监测到有物体进出所述子储物区时，控制所述第一全局摄像头和第二全局摄像头分别获取所述容器本体储物区的图像和所述容器盖储物区的图像。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括数据传输器，所述数据传输器与所述控制器连接，用于将所述容器本体储物区的图像、子储物区的图像和/或者容器盖储物区的图像发送给图像处理装置，并接收所述图像处理装置发来的对应所述容器本体储物区的图像的物品信息、对应所述子储物区的图像的物品信息和/或者对应所述容器盖储物区的图像的物品信息。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

显示模组，与所述控制器连接，用于显示所述物品信息。

10.一种图像处理***，其特征在于，所述***包括图像处理装置和权利要求1-9任一的所述图像获取装置，所述图像处理装置用于对所述图像获取装置发来的图像进行处理，得到对应所述图像的物品信息，并将所述物品信息发送给所述图像获取装置。