CN111914659A - 一种物品检测方法、装置、设备及介质 - Google Patents
一种物品检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111914659A CN111914659A CN202010641007.7A CN202010641007A CN111914659A CN 111914659 A CN111914659 A CN 111914659A CN 202010641007 A CN202010641007 A CN 202010641007A CN 111914659 A CN111914659 A CN 111914659A
- Authority
- CN
- China
- Prior art keywords
- illegal
- image
- determining
- moving
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 238000003062 neural network model Methods 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 abstract description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种物品检测的方法、装置、设备及介质，用以解决现有物品检测存在的漏检、误检现象以及无法准确识别大小件行李的问题。该方法包括：根据双目相机采集的每帧图像，确定图像中运动物品及其大小，根据运动物品的大小，确定其是否为第一违规物品，并通过训练完成的神经网络模型，获取每帧图像中存在的第二违规物品，当根据第一违规物品和第二违规物品确定的目标违规物品进入预设区域时，控制报警设备报警。由于本发明通过对双目相机获取的图像中的运动物品的大小检测，以及通过神经网络模型对物品进行检测，从而确定目标违规物品，有效地避免了检测过程中存在的漏检、误检的现象，进而提高了违规物品检测的准确性。
Description
技术领域
本发明涉及图像处理技术以及智能监控技术领域，尤其涉及一种物品检测的方法、装置、设备及介质。
背景技术
随着社会的不断发展，人们生活水平逐渐提高，方便人们出行的车站地铁等公共交通场所建设也逐渐增多。为满足人们日常购物等需求，车站、地铁、商场等场所大多提供扶梯设施以方便人们出行购物，然而婴儿车、大件行李、购物车等违规上扶梯导致意外事件屡有发生，商场超市等虽然设置了安全提醒标识，但是部分人仍然存在侥幸心理。婴儿车、购物车、大件行李上扶梯之所以存在安全隐患主要是扶梯存在一定坡度，扶梯运行是存在一定惯性，如果在扶梯口对婴儿车等违规物品进行检测识别，当发现违规物品存在上扶梯的可能时，停止扶梯运行，在一定程度上预防减少危险事件发生。
现有技术通过物品检测，来确定是否存在违规物品，具体的检测方法包括：
一、获取安检机扫描待检测物品生成的待识别图像，将目标区域图像中像素点的红、绿、蓝(RGB)值转换为HSV值，将所述目标区域图像转换为灰度图，将灰度图输入物品检测模型识别各个待检测物品是否属于违禁物品。因为该方法是采用颜色特征，基于灰度图像和BP神经网络模型进行识别，基于训练的方法容易出现误检漏检，而且该方法也无法识别大件行李。
二、基于生成式对抗网络(GAN)模型进行识别，其中，GAN模型包括：分割网络模型和判别网络模型，获取第一图像特征信息以及第二图像特征信息，判别网络模型基于所述第一图像特征信息、所述第二图像特征信息以及所述物品图像，获得判别结果。因为该方法采用简单的神经网络进行学习识别，对目标实际尺寸不能准确估量，没有充分利用违规物品的尺寸信息，无法有效过滤误检同时也无法区别行李的大小。
由此可知，现有的技术在检测违规物品时，一定程度上存在漏检、误检的风险，并且无法有效地识别存在风险的大件行李。
发明内容
本发明提供了一种物品检测的方法、装置、设备及介质，用以解决现有技术中检测违规物品时，容易漏检、误检以及无法识别大件行李的问题。
第一方面，本发明提供了一种物品检测方法，所述方法包括：
根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小；根据确定的每个运动物品的大小，确定每个第一违规物品；
通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品；
若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
进一步地，所述确定每个运动物品的大小包括：
根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像运动物品的大小。
进一步地，所述根据确定的每个运动物品的大小，确定每个第一违规物品包括：
针对每个运动物品，若该运动物品的体积大于预设的体积阈值，则确定该运动物品为第一违规物品。
进一步地，所述根据确定的每个运动物品的大小，确定每个第一违规物品包括：
针对每个运动物品，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
进一步地，所述神经网络模型通过以下方式训练：
第二方面，本发明还提供了一种物品检测装置，所述装置包括：
确定模块，用于根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小；根据确定的每个运动物品的大小，确定每个第一违规物品；
识别模块，用于通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品；
控制模块，用于若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
进一步地，所述确定模块，具体用于根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像运动物品的大小。
进一步地，所述确定模块，具体用于针对每个运动物品，若该运动物品的体积大于预设的体积阈值，则确定该运动物品为第一违规物品。
进一步地，所述确定模块，具体用于针对每个运动物品，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
进一步地，所属装置还包括：
训练模块，用于获取样本集中的任一样本图像，以及所述样本图像中包含的每个违规物品的第一位置信息以及第一位置信息包含的违规物品的第一标识信息；将所述样本图像输入到原始神经网络模型中，获取所述样本图像中包含的每个违规物品第二位置信息以及第二位置信息包含的违规物品的第二标识信息；根据所述第一位置信息和第二位置信息，以及所述第一标识信息以及对应的所述第二标识信息，对所述原始神经网络模型进行训练。
第三方面，本发明还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述物品检测方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述物品检测方法的步骤。
本发明实施例提供了一种物品检测的方法、装置、设备及介质，该方法包括：根据双目相机采集的每帧图像，确定图像中运动物品及其大小，根据运动物品的大小，确定其是否为第一违规物品，并通过训练完成的神经网络模型，获取每帧图像中存在的第二违规物品，当根据第一违规物品和第二违规物品确定的目标违规物品进入预设区域时，控制报警设备报警。由于本发明实施例通过对双目相机获取的图像中的运动物品的大小进行判断，以及通过神经网络模型对物品进行检测，从而确定目标违规物品，因此可以有效地检测出违规物品，避免了检测过程中存在的漏检、误检的现象，进而提高了违规物品检测的准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种物品检测方法的过程示意图；
图2为本发明实施例提供的物品检测的具体流程图；
图3为本发明实施例提供的一种物品检测装置的结构示意图；
图4为本发明实施例提供的一种电子设备。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了避免对违规物品的误检、漏检，提高物品检测的准确性，本发明实施例提供了一种物品检测方法、装置、设备及介质。
实施例1：
图1为本发明实施例提供的一种物品检测过程示意图，该过程包括以下步骤：
S101：根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小，根据确定的每个运动物品的大小，确定每个第一违规物品。
本发明实施例提供的物品检测应用于电子设备，该电子设备可以是图像采集设备，PC或者服务器等智能设备。
为了提高违规物品检测的准确性，本发明实施例中采用双目相机进行图像采集，为了能够从双目相机采集的图像中确定物品的大小，首先对双目相机进行标定和校正。
在双目相机标定和校正之前，首先固定双目相机，固定双目相机后，对该双目相机进行标定，对双目相机进行标定后，获取双目相机的左右视差图像以及点云信息，之后对双目相机进行校正。具体的对双目相机进行标定和校正的过程属于现有技术，具体是为了实现标定、校正后的双目相机采集的左图像中的每个像素点，与右图像中的每个像素点相互对应。
在实际检测过程中，双目相机按照设定的时间间隔进行每帧图像的采集，针对双目相机采集的每帧图像，根据每相邻两帧之间物品的在图像中的位置，可以确定出该物品是否为运动物品。具体的运动物品的确定过程属于现有技术，在本发明实施例中不再进行赘述。
当检测到运动物品后，因为图像中每个像素点和双目相机之间的距离确定，每个像素点代表的实际高度确定，所以当确定图像中存在运动物品时，可以确定该图像中运动物品的大小。
本发明实施例为了有效的识别大件行李等违规物品，预设设置有物品大小阈值，如果运动物品的大小超过预设的大小阈值，则判断该运动物品为第一违规物品。
S102：通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品。
为了进一步提高物品检测的准确性，针对双目相机采集的每帧图像，将双目相机采集的每帧图像输入到神经网络模型中，采用神经网络模型对输入的图像中违规物品进行检测。这个神经网络模型是预先训练完成的，能够识别图像中存在的违规物品的位置及种类，并且也可以对图像中出现的非违规物品，例如行人等进行识别。在本发明实施例中违规物品一般为婴儿车、购物车、大件行李等物品。
输入到神经网络模型中的图像可以是双目相机采集的左图像，也可以是双目相机采集的右图像，具体的在对神经网络模型进行训练时，采用了左、右图像中的哪一个，在进行检测时就采用对应的图像。例如，在对神经网络模型进行训练时，采用了左图像，则在进行检测时，将双目相机采集的左图像输入到神经网络模型中进行检测，如果在对神经网络模型进行训练时，采用了右图像，则在进行检测时，将双目相机采集的右图像输入到神经网络模型中进行检测。
S103:若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
基于双目相机采集的每帧图像，识别图像中的运动物品及运动物品的大小，确定第一违规物品后，并且基于训练完成的神经网络模型，对图像中的第二违规物品进行识别后，可能存在第一违规物品与第二违规物品相同的情况，也可能也存在第一违规物品与第二违规物品不同的情况，为了保证检测的准确性，可以将第一违规物品与第二违规物品的交集确定为目标违规物品；同时为了保证不再出现漏检的情况，也可以将第一违规物品与第二违规物品的并集确定为目标违规物品。
当目标违规物品确定后，对该目标违规物品进行跟踪，具体的跟踪过程属于现有技术，在本发明实施例中对该过程不进行赘述。针对任一目标违规物品，若确定该目标违规物品进入到预设区域内时，则控制报警设备报警。
预设区域是预先设置的进行报警检测的区域，因为本发明实施例提供的该物品检测方法，一般用于对扶梯上等可能出现的违规物品进行检测，因此该预设区域可以是进入扶梯前的区域。
该电子设备在控制报警设备报警时，可以是控制自身报警，也可以是控制其他报警设备报警。在该电子设备控制自身报警时，可以是通过声音、灯光等向工作人员报警。在该电子设备控制其他设备报警时，例如可以是该电子设备向工作人员的终端发送报警信号，控制工作人员的终端报警，通知工作人员用户存在危险，以便工作人员控制扶梯停止运行，从而避免危险事故的发生。或者电子设备也可以向控制台发送报警信息，控制控制台作为报警设备进行报警，并且控制台能够控制扶梯的启停，当控制台接收到该报警信息，在进行报警时，还可以控制扶梯停止运行。
由于本发明实施例通过对双目相机获取的图像中的运动物品的大小进行判断，以及通过神经网络模型对物品进行检测，从而确定目标违规物品，因此可以有效地检测出违规物品，避免了检测过程中存在的漏检、误检的现象，进而提高了违规物品检测的准确性。
实施例2：
为了准确的确定物品大小，在上述实施例的基础上，在本发明实施例中，所述确定每个运动物品的大小包括：
根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像中运动物品的大小。
在本发明实施例中为了准确的识别运动物品的大小，采用了双目相机，因为基于双目相机采集的图像能够获取到物品的三维信息。在本发明实施例中，一般将双目相机安装在扶梯口顶部。为了准确的获取到物品的三维信息，需要预先对安装的双目相机进行标定。在对双目相机进行标定时，首先获取双目相机左图像和右图像的内参数以及相机焦距等信息，并且测量双目相机的安装高度和角度，采用标定板完成外参数等双目相机标定。具体的双目相机的标定过程属于现有技术，在此不再赘述。
当双目相机标定完成后，对双目相机进行校正。具体的校正过程包括：获取双目相机采集的左图像和右图像，采用双目立体匹配算法(SGBM)获取双目相机的左、右图像的视差信息，根据双目相机标定以及视差信息，计算双目相机采集的图像中每两个相邻像素点的实际距离以及每一个像素点距离地面的实际高度，经过计算可得知图像中每个像素点距离双目相机的距离和高度。标定、校正后的双目相机采集的左图像中的每个像素点，与右图像中的每个像素点相互对应。
因为双目相机采集的图像中每个像素点和双目相机之间的距离确定，每个像素点代表的实际高度确定，所以当确定图像中存在运动物品时，可以根据图像中运动物品所在的区域，确定该运动物品的大小，该运动物品的大小指的是该运动物品的实际物理大小。
为了方便进行判断，在本发明实施例中，所述根据确定的每个运动物品的大小，确定每个第一违规物品还包括：
针对每个运动物品，若该运动物品的体积大于预设的体积阈值，则确定该运动物品为第一违规物品。
由于位于商场、超市等场所的扶梯在运行过程中，位于扶梯上的一些体积较大，重量较大的物品惯性比较大，容易在扶梯运行过程中发生危险。因此，在本发明实施例中为了准确的识别出出现在商场、超市等场所的大件物品，避免大件物品上扶梯出现危险，可以对出现在商场、超市等场所的运动物品进行判断，判断运动物品是否为大件物品。
在本发明实施例中为了有效的判断运动物品是否为大件物品，预先设置有体积阈值，当获取到运动物品的三维信息后，可以基于运动物品的三维信息获取运动物品的体积，判断运动物品的体积是否大于预设的体积阈值，若运动物品的体积大于预设的体积阈值，则确定该运动物品为大件物品，属于第一违规物品。
在基于运动物品的三维信息，确定运动物品的体积时，如果该运动物品为形状规则物品，例如为长方体、正方体、球体等规则形状，则直接基于运动物品的三维信息，确定运动物品的体积；若运动物品非规则形状，在确定运动物品的体积时，可以基于运动物品的最小外接立方体的大小，确定运动物品的体积。具体的确定物品的最小外接立方体的过程属于现有技术，在本发明实施例中不再赘述。
为了提高检测的准确性，在本发明实施例中，所述根据确定的每个运动物品的大小，确定每个第一违规物品还包括：
针对每个运动物品，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
由于出现在扶梯上可能存在危险的违规物品大多都是婴儿车、购物车等，并且这些违规物品的高度大多都是在不同的高度范围内，所以可以根据场景中常出现的违规物品，确定这些违规物品的高度，从而设置对应的违规物品高度范围。当获取到运动物品的高度时，判断该运动物品的高度是否位于预设的任一违规物品高度范围内，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
在检测运动物品是否为第一违规物品时，为了提高效率，可以采用上述实施例中的任一方式进行判断，但为了增加判断的准确性，避免意外发生，可以基于上述每个实施例分别进行判断，只要基于任一实施例判断运动物品为第一违规物品，则确定该运动物品即为第一违规物品。例如，确定图像中存在的某一运动物品A，根据获取的该运动物品A的体积，确定该运动物品A非第一违规物品，但该运动物品A的高度在预设的某一违规物品高度范围内，则确定该运动物品A为第一违规物品。
另外，为了避免违规物品检测的时对于重叠区域的检测误差，可以对双目相机所采集到的每一帧图像的左图像采用高斯背景建模获取物品的运动区域，获取每个运动区域后，首先基于高度的不同对运动区域进行区分，将运动区域划分到不同的高度范围内，针对同一高度范围内的运动区域的像素点对应的实际三维信息，采用kmeans聚类方法，以及预设的不同的聚类中心，对每个运动区域的三维信息进行聚类，从而获取到每个运动物品的运动区域信息，基于每个运动物品的运动区域信息，在双目相机采集的图像中确定对应的运动物品，并确定运动物品的体积和/或高度，根据确定的运动物品的体积和/或高度，判断该运动物品是否为第一违规物品。
实施例3：
为了准确的检测到图像中存在的第二违规物品，在上述各实施例的基础上，在本发明实施例中，所述神经网络模型通过以下方式训练：
获取样本集中的任一样本图像，以及所述样本图像中包含的每个违规物品的第一位置信息以及第一位置信息包含的违规物品的第一标识信息；
将所述样本图像输入到原始神经网络模型中，获取所述样本图像中包含的每个违规物品第二位置信息以及第二位置信息包含的违规物品的第二标识信息；
根据所述第一位置信息和第二位置信息，以及所述第一标识信息以及对应的所述第二标识信息，对所述原始神经网络模型进行训练。
为了实现对神经网络模型的训练，本发明实施例中保存有进行训练用的样本集，该样本集中的样本图像中包括有不同的婴儿车、购物车、大件行李等违规物品的图像，例如该样本集的样本图像中包含不同颜色、不同材质、不同大小的婴儿车，不同种类的购物车以及各种种类的大件行李等，如红色婴儿车、蓝色婴儿车、绿色婴儿车、木质婴儿车、塑料质婴儿车、复合材料质婴儿车、大一点的婴儿车、小一点的婴儿车等各种各样的婴儿车，超市普遍使用的购物车、老人买菜自行携带的购物车等各种各样的购物车。
为了方便对神经网络模型进行训练，该样本集中还针对每个样本图像，保存有该样本图像中包含的违规物品的第一位置信息以及第一标识信息，具体的该第一标识信息可以用于标识该样本图像中包含的违规物品的类型，例如01 为婴儿车，02为购物车等。并且在该样本图像中还可以包含非违规物品的位置信息以及标识信息，例如包含有行人的位置信息，以及标识该位置信息对应的为行人的标识信息。
在本发明实施例中该神经网络模型包括多个卷积层和池化层，具体的在本发明实施例中对神经网络模型的结构不进行限定。
在本发明实施例中，在获取到样本集中的任一样本图像及该样本图像中包含的违规物品的第一位置信息和第一标识信息后，将该样本图像、第一位置信息和第一标识信息输入到原始神经网络模型中，该原始神经网络模型输出该样本图像包含的违规物品的第二位置信息以及第二位置信息对应的违规物品的第二标识信息。
在该原始神经网络模型确定出该样本图像中包含的违规物品的第二位置信息，以及第二位置信息的违规物品的第二标识信息后，根据样本图像中的第一位置信息以及第一标识信息，以及原始神经网络模型输出的第二位置信息，以及对应的第二标识信息，对该原始神经网络模型进行训练。
对神经网络模型采用上述方式进行训练，当满足预设的条件时，得到训练完成的神经网络模型。其中，该预设的条件可以是，样本集中的样本图像通过原始神经网络模型训练后得到的第二位置信息及第二标识信息与第一位置信息和第一标识信息一致的样本图像的数量大于设定数量；也可以是对原始神经网络模型进行训练的迭代次数达到设置的最大迭代次数等。具体的，本发明实施例对此不做限制。
实施例4：
下面结合一个具体实施例，对本发明实施例提供的物品检测过程进行详细说明。
图2为本发明实施例提供的该物品检测的详细实施过程示意图，该过程包括：
本发明实施例中采用双目相机进行图像采集，为了能够从双目相机采集的图像中确定物品的大小，首先对双目相机进行标定和校正。
对双目相机进行标定和校正后，根据双目相机采集的每帧图像，对图像中的物品进行运动检测，在检测到运动物品后，获取双目相机采集每帧图像中左图像和右图像，获取每帧图像对应的左右视差图。根据标定和校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像中运动物品的三维信息。
根据该运动物品的三维信息，获取运动物品的体积以及高度，将运动物品的体积和高度，分别与对应的体积阈值和预设的任一违规物品高度范围进行比较，从而确定该运动物品是否为第一违规物品。
另一方面，通过训练完成的神经网络模型，该神经网络模型例如为CNN 模型，基于该CNN模型进行CNN检测，对双目相机采集的每帧图像中左图像或右图像进行检测，判断该左图像或右图像中是否存在第二违规物品。
根据第一违规物品和第二违规物品确定最终的目标违规物品，对目标违规物品进行跟踪，当目标违规物品进入到预设区域时，控制控制台进行报警，并且使控制台控制扶梯停止运行。
实施例5：
图3为本发明实施例提供的一种物品检测装置结构示意图，该装置包括：
确定模块301，用于根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小；根据确定的每个运动物品的大小，确定每个第一违规物品；
识别模块302，用于通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品；
控制模块303，用于若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
在一种可能的实施方式中，所述确定模块301，具体用于根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像运动物品的大小。
在一种可能的实施方式中，所述确定模块301，具体用于针对每个运动物品，若该运动物品的体积大于预设的体积阈值，则确定该运动物品为第一违规物品。
在一种可能的实施方式中，所述确定模块301，具体用于针对每个运动物品，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
所述装置还包括：
训练模块，用于获取样本集中的任一样本图像，以及所述样本图像中包含的每个违规物品的第一位置信息以及第一位置信息包含的违规物品的第一标识信息；将所述样本图像输入到原始神经网络模型中，获取所述样本图像中包含的每个违规物品第二位置信息以及第二位置信息包含的违规物品的第二标识信息；根据所述第一位置信息和第二位置信息，以及所述第一标识信息以及对应的所述第二标识信息，对所述原始神经网络模型进行训练。
由于本发明实施例通过对双目相机获取的图像中的运动物品的大小进行判断，以及通过神经网络模型对物品进行检测，从而确定目标违规物品，因此可以有效地检测出违规物品，避免了检测过程中存在的漏检、误检的现象，进而提高了违规物品检测的准确性。
实施例6：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图4 所示，包括：处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。
所述存储器403中存储有计算机程序，当所述程序被所述处理器401执行时，使得所述处理器401执行如下步骤：
根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小；根据确定的每个运动物品的大小，确定每个第一违规物品；
通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品；
若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
进一步地，所述处理器401，还用于根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像运动物品的大小。
进一步地，所述处理器401，还用于针对每个运动物品，若该运动物品的体积大于预设的体积阈值，则确定该运动物品为第一违规物品。
进一步地，所述处理器401，还用于针对每个运动物品，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
进一步的，所述处理器401，还用于获取样本集中的任一样本图像，以及所述样本图像中包含的每个违规物品的第一位置信息以及第一位置信息包含的违规物品的第一标识信息；将所述样本图像输入到原始神经网络模型中，获取所述样本图像中包含的每个违规物品第二位置信息以及第二位置信息包含的违规物品的第二标识信息；根据所述第一位置信息和第二位置信息，以及所述第一标识信息以及对应的所述第二标识信息，对所述原始神经网络模型进行训练。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口402用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如下步骤：
根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小；根据确定的每个运动物品的大小，确定每个第一违规物品；
通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品；
若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
进一步地，所述确定每个运动物品的大小包括：根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像运动物品的大小。
进一步地，所述根据确定的每个运动物品的大小，确定每个第一违规物品包括：针对每个运动物品，若该运动物品的体积大于预设的体积阈值，则确定该运动物品为第一违规物品。
进一步地，所述根据确定的每个运动物品的大小，确定每个第一违规物品包括：针对每个运动物品，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
进一步的，所述神经网络模型通过以下方式训练：获取样本集中的任一样本图像，以及所述样本图像中包含的每个违规物品的第一位置信息以及第一位置信息包含的违规物品的第一标识信息；将所述样本图像输入到原始神经网络模型中，获取所述样本图像中包含的每个违规物品第二位置信息以及第二位置信息包含的违规物品的第二标识信息；根据所述第一位置信息和第二位置信息，以及所述第一标识信息以及对应的所述第二标识信息，对所述原始神经网络模型进行训练。
由于本发明实施例通过对双目相机获取的图像中的运动物品的大小进行判断，以及通过神经网络模型对物品进行检测，从而确定目标违规物品，因此可以有效地检测出违规物品，避免了检测过程中存在的漏检、误检的现象，进而提高了违规物品检测的准确性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
对于***/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种物品检测方法，其特征在于，所述方法包括：
根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小；根据确定的每个运动物品的大小，确定每个第一违规物品；
通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品；
若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
2.根据权利要求1所述的方法，其特征在于，所述确定每个运动物品的大小包括：
根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像运动物品的大小。
3.根据权利要求1所述的方法，其特征在于，所述根据确定的每个运动物品的大小，确定每个第一违规物品包括：
针对每个运动物品，若该运动物品的体积大于预设的体积阈值，则确定该运动物品为第一违规物品。
4.根据权利要求1或3所述的方法，其特征在于，所述根据确定的每个运动物品的大小，确定每个第一违规物品包括：
针对每个运动物品，若该运动物品的高度位于任一预设的违规物品高度范围内，则确定该运动物品为第一违规物品。
5.根据权利要求1所述的方法，其特征在于，所述神经网络模型通过以下方式训练：
获取样本集中的任一样本图像，以及所述样本图像中包含的每个违规物品的第一位置信息以及第一位置信息包含的违规物品的第一标识信息；
将所述样本图像输入到原始神经网络模型中，获取所述样本图像中包含的每个违规物品第二位置信息以及第二位置信息包含的违规物品的第二标识信息；
根据所述第一位置信息和第二位置信息，以及所述第一标识信息以及对应的所述第二标识信息，对所述原始神经网络模型进行训练。
6.一种物品检测装置，其特征在于，所述装置包括：
确定模块，用于根据双目相机采集的每帧图像，确定图像中的运动物品，并确定每个运动物品的大小；根据确定的每个运动物品的大小，确定每个第一违规物品；
识别模块，用于通过训练完成的神经网络模型，获取输入的任意一帧图像中存在的第二违规物品；
控制模块，用于若识别到根据所述第一违规物品和所述第二违规物品确定的目标违规物品处于预设区域内时，控制报警设备报警。
7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于根据校正后的双目相机采集的图像中每个像素点与双目相机的物理距离，以及距离地面的高度，确定图像运动物品的大小。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
训练模块，用于获取样本集中的任一样本图像，以及该样本图像中包含的每个违规物品的第一位置信息以及第一位置信息包含的违规物品的第一标识信息；将样本图像输入到原始神经网络模型中，获取该样本图像中包含的每个违规物品第二位置信息以及第二位置信息包含的违规物品的第二标识信息；根据所述第一位置信息和第二位置信息，以及所述第一标识信息以及对应的所述第二标识信息，对原始神经网络模型进行训练。
9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时执行权利要求1-5中任一所述物品检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时执行权利要求1-5中任一所述物品检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010641007.7A CN111914659A (zh) | 2020-07-06 | 2020-07-06 | 一种物品检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010641007.7A CN111914659A (zh) | 2020-07-06 | 2020-07-06 | 一种物品检测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111914659A true CN111914659A (zh) | 2020-11-10 |
Family
ID=73227438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010641007.7A Pending CN111914659A (zh) | 2020-07-06 | 2020-07-06 | 一种物品检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914659A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733985A (zh) * | 2021-01-27 | 2021-04-30 | 昆山善思光电科技有限公司 | 一种自动识别大小料盘的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996890B1 (en) * | 2017-07-14 | 2018-06-12 | Synapse Technology Corporation | Detection of items |
| CN109753977A (zh) * | 2017-11-01 | 2019-05-14 | 菜鸟智能物流控股有限公司 | 物品尺寸信息的测量方法、终端、服务器及*** |
| CN109884721A (zh) * | 2018-12-10 | 2019-06-14 | 深圳极视角科技有限公司 | 基于人工智能的安检违禁物品检测方法、装置及电子设备 |
| CN109975885A (zh) * | 2019-03-28 | 2019-07-05 | 上海中通吉网络技术有限公司 | 一种快递违禁物品识别方法及安检*** |
| CN110059618A (zh) * | 2019-04-17 | 2019-07-26 | 北京易达图灵科技有限公司 | 一种违禁物品的识别方法及装置 |
| CN110738096A (zh) * | 2019-08-23 | 2020-01-31 | 银河水滴科技（北京）有限公司 | 一种智能安检方法、设备和计算机可读存储介质 |
| CN110956225A (zh) * | 2020-02-25 | 2020-04-03 | 浙江啄云智能科技有限公司 | 一种违禁品检测方法及***、一种计算设备及存储介质 |
| CN111160220A (zh) * | 2019-12-26 | 2020-05-15 | 厦门市美亚柏科信息股份有限公司 | 一种基于深度学习的包裹检测方法、装置、存储介质 |
-
2020
- 2020-07-06 CN CN202010641007.7A patent/CN111914659A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996890B1 (en) * | 2017-07-14 | 2018-06-12 | Synapse Technology Corporation | Detection of items |
| US20190019318A1 (en) * | 2017-07-14 | 2019-01-17 | Synapse Technology Corporation | Generating Graphical Representations of Scanned Objects |
| CN109753977A (zh) * | 2017-11-01 | 2019-05-14 | 菜鸟智能物流控股有限公司 | 物品尺寸信息的测量方法、终端、服务器及*** |
| CN109884721A (zh) * | 2018-12-10 | 2019-06-14 | 深圳极视角科技有限公司 | 基于人工智能的安检违禁物品检测方法、装置及电子设备 |
| CN109975885A (zh) * | 2019-03-28 | 2019-07-05 | 上海中通吉网络技术有限公司 | 一种快递违禁物品识别方法及安检*** |
| CN110059618A (zh) * | 2019-04-17 | 2019-07-26 | 北京易达图灵科技有限公司 | 一种违禁物品的识别方法及装置 |
| CN110738096A (zh) * | 2019-08-23 | 2020-01-31 | 银河水滴科技（北京）有限公司 | 一种智能安检方法、设备和计算机可读存储介质 |
| CN111160220A (zh) * | 2019-12-26 | 2020-05-15 | 厦门市美亚柏科信息股份有限公司 | 一种基于深度学习的包裹检测方法、装置、存储介质 |
| CN110956225A (zh) * | 2020-02-25 | 2020-04-03 | 浙江啄云智能科技有限公司 | 一种违禁品检测方法及***、一种计算设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733985A (zh) * | 2021-01-27 | 2021-04-30 | 昆山善思光电科技有限公司 | 一种自动识别大小料盘的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10282847B2 (en) | Monitoring system of a passenger conveyor and monitoring method thereof | |
| CN108241844B (zh) | 一种公交客流统计方法、装置及电子设备 | |
| JP4456086B2 (ja) | 車両周辺監視装置 | |
| CN110980197B (zh) | 物料检测方法、装置及电子设备 | |
| JP2007334751A (ja) | 車両周辺監視装置 | |
| CN108363953B (zh) | 一种行人检测的方法及双目监控设备 | |
| JP2005352974A (ja) | 車両周辺監視装置 | |
| US20150161447A1 (en) | Vision based pedestrian and cyclist detection method | |
| CN107516423B (zh) | 一种基于视频的车辆行驶方向检测方法 | |
| CN108021849B (zh) | 一种行人预警方法及装置 | |
| Kim et al. | System and method for detecting potholes based on video data | |
| CN112798811A (zh) | 速度测量方法、装置和设备 | |
| CN113792586A (zh) | 车辆事故检测方法、装置及电子设备 | |
| CN113469115B (zh) | 用于输出信息的方法和装置 | |
| CN114842560B (zh) | 基于计算机视觉的建筑工地人员危险行为识别方法 | |
| JP2015064752A (ja) | 車両監視装置、および車両監視方法 | |
| CN111914659A (zh) | 一种物品检测方法、装置、设备及介质 | |
| JP2014056295A (ja) | 車両周辺監視装置 | |
| JP4813304B2 (ja) | 車両周辺監視装置 | |
| CN110147748A (zh) | 一种基于道路边缘检测的移动机器人障碍物识别方法 | |
| CN117392611A (zh) | 工地安全监测方法、***、设备及存储介质 | |
| CN110634120B (zh) | 一种车辆损伤判别方法及装置 | |
| CN103839035A (zh) | 人数统计方法和人数统计*** | |
| CN116343085A (zh) | 一种公路上的障碍物检测方法、***、存储介质及终端 | |
| CN111914704B (zh) | 一种三轮车载人的识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |