CN116883998A - 基于毫米波图像的物品标注方法、装置、电子设备 - Google Patents

基于毫米波图像的物品标注方法、装置、电子设备 Download PDF

Info

Publication number
CN116883998A
CN116883998A CN202310737145.9A CN202310737145A CN116883998A CN 116883998 A CN116883998 A CN 116883998A CN 202310737145 A CN202310737145 A CN 202310737145A CN 116883998 A CN116883998 A CN 116883998A
Authority
CN
China
Prior art keywords
pixel
value
color
dimensional
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310737145.9A
Other languages
English (en)
Other versions
CN116883998B (zh
Inventor
唐红强
高伟
罗俊
刘文冬
周春元
张慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Weidu Xinchuang Technology Co ltd
Original Assignee
Zhuhai Weidu Xinchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Weidu Xinchuang Technology Co ltd filed Critical Zhuhai Weidu Xinchuang Technology Co ltd
Priority to CN202310737145.9A priority Critical patent/CN116883998B/zh
Publication of CN116883998A publication Critical patent/CN116883998A/zh
Application granted granted Critical
Publication of CN116883998B publication Critical patent/CN116883998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于毫米波图像的物品标注方法、装置、电子设备，该方法包括：获取三维毫米波样本图像的三维像素点的像素三维数据；对像素三维数据进行对数映射和归一化处理后在深度方向进行最大值投影，得到二维投影数据、像素归一化灰度值和像素归一化索引值；对色彩矩阵在深度方向上采样得到深度色彩索引表；基于像素归一化索引值在深度色彩索引表中匹配出的深度色彩值，结合像素归一化灰度值确定像素色彩值；基于像素色彩值和二维投影数据得到的色彩二维毫米波图像得到物品标注结果。本发明实施例通过像素的深度信息对图像进行颜色映射，能够将三维毫米波图像压缩成二维彩色图像，利用图像的颜色突出物品形态特征与边界，提高标注效率。

Description

基于毫米波图像的物品标注方法、装置、电子设备
技术领域
本发明涉及毫米波图像检测技术领域，特别涉及一种基于毫米波图像的物品标注方法、装置、电子设备。
背景技术
随着科技的发展，基于毫米波成像技术的人体安检设备在公共安全领域的应用正处于蓬勃发展时期。深度学习技术的应用在较大程度上提高了人体安检产品的识别效率。但是深度学习技术需要海量的图像样本进行模型训练，由于毫米波人体安检设备生成的毫米波图像分辨率较差，且很容易受到周围环境干扰，同时被检人员穿着的衣物、携带的物品具有多样性和复杂性，这就要求具备丰富经验的人员对图像样本进行标注，耗费的人力成本较高，而且效率较低。
为了提高图像标注的效率，相关技术将三维毫米波图像数据处理成二维平面图像，通过目标检测技术提取物品图像，再通过图像识别技术识别物品类别。但是相关技术的二维平面图像通常为灰度图，由于毫米波图像的内容具有多样性和复杂性，灰度图的人体特征和物品特征的三维像素点很容易相互融合，导致物品边界模糊，影响标注效率和准确性。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于毫米波图像的物品标注方法、装置、电子设备，能够实现人体和物品的三维像素点着色，突出物品的形态特征与边界，提高标注效率。
第一方面，本发明实施例提供了一种基于毫米波图像的物品标注方法，包括：
获取三维毫米波样本图像，确定所述三维毫米波样本图像的每个三维像素点的像素三维数据；
对所述像素三维数据进行对数映射和归一化处理，得到像素归一化数据；
根据所述像素归一化数据在深度方向进行最大值投影，得到所述三维像素点的二维投影数据、像素归一化灰度值和像素归一化索引值，其中，所述像素归一化灰度值为最大深度值所对应的位置的灰度值，所述像素归一化索引值为所述最大深度值；
对预设的色彩矩阵进行深度方向的上采样，得到深度色彩索引表；
根据所述像素归一化索引值在所述深度色彩索引表中匹配出深度色彩值，根据所述像素归一化灰度值和所述深度色彩值确定像素色彩值；
遍历所述三维毫米波样本图像得到每个所述三维像素点的所述像素色彩值后，基于所述像素色彩值和所述二维投影数据生成色彩二维毫米波图像；
基于所述色彩二维毫米波图像进行目标检测，得到物品标注结果。
根据本发明的一些实施例，所述像素三维数据包括像素高度数据、像素宽度数据和像素深度数据，所述对所述像素三维数据进行对数映射和归一化处理，得到像素归一化数据，包括：
对所述像素三维数据取绝对值后进行对数映射得到所述三维像素点的三维映射数据，所述三维映射数据包括高度映射数据、宽度映射数据和深度映射数据；
根据所述三维映射数据，确定所述三维像素点的映射最大值和映射最小值，所述映射最大值由所述三维映射数据中高度映射数据的最大值、宽度映射数据的最大值和深度映射数据的最大值组成，所述映射最小值由所述三维映射数据中高度映射数据的最小值、宽度映射数据的最小值和深度映射数据的最小值组成；
根据所述映射最大值、所述映射最小值和所述三维映射数据确定每个所述三维像素点的所述像素归一化数据，所述像素归一化数据包括像素高度归一化数据、像素宽度归一化数据和像素深度归一化数据。
根据本发明的一些实施例，所述根据所述像素归一化数据在深度方向进行最大值投影，得到所述三维像素点的二维投影数据、像素归一化灰度值和像素归一化索引值，包括：
将所述像素深度归一化数据中的像素深度归一化数据的最大值确定为所述像素归一化索引值；
将所述像素高度归一化数据和所述像素宽度归一化数据投影至所述像素深度归一化数据的最大值所指示的位置，得到所述二维投影数据；
将所述像素深度归一化数据的最大值所指示的位置所对应的灰度值确定为所述像素归一化灰度值。
根据本发明的一些实施例，所述对预设的色彩矩阵进行深度方向的上采样，得到深度色彩索引表，包括：
获取由多种颜色元素组成的色彩序列；
根据所述色彩序列构造出所述色彩矩阵，所述色彩矩阵的行数为3，所述色彩矩阵的列数为所述颜色元素的数量；
基于双线性插值法对所述色彩矩阵在深度方向进行上采样，将得到的采样矩阵确定为所述深度色彩索引表，其中，所述采样矩阵的行数为3，所述采样矩阵的列数为所述三维毫米波图像数据的最大深度。
根据本发明的一些实施例，所述根据所述像素归一化索引值在所述深度色彩索引表中匹配出深度色彩值，包括：
根据所述像素归一化索引值确定所述深度色彩索引表的目标列；
获取所述目标列所对应的第一目标行数值、第二目标行数值和第三目标行数值；
将所述第一目标行数值、所述第二目标行数值和所述第三目标行数值确定为所述深度色彩值，其中，所述第一目标行数值用于指示R色彩值、所述第二目标行数值用于指示G色彩值，所述第三目标行数值用于指示B色彩值。
根据本发明的一些实施例，所述根据所述像素归一化灰度值和所述深度色彩值确定像素色彩值，包括：
将所述像素归一化灰度值与所述第一目标行数值的乘积确定为目标R色彩值；
将所述像素归一化灰度值与所述第二目标行数值的乘积确定为目标G色彩值；
将所述像素归一化灰度值与所述第三目标行数值的乘积确定为目标B色彩值；
根据所述目标R色彩值、所述目标G色彩值和所述目标R色彩值得到所述像素色彩值。
根据本发明的一些实施例，所述基于所述色彩二维毫米波图像进行目标检测，得到物品标注结果，包括：
当所述色彩二维毫米波图像中相邻的二维像素点的所述像素色彩值之间的差值大于预设的色彩阈值，将对应的所述二维像素点确定为边界像素点；
基于多个所述边界像素点确定物品边界，对所述物品边界中的内容进行图像识别，将识别出的结果确定为所述物品标注结果。
第二方面，本发明实施例提供了一种基于毫米波图像的物品标注装置，包括少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的基于毫米波图像的物品标注方法。
第三方面，本发明实施例提供了一种电子设备，包括有如上述第二方面所述的基于毫米波图像的物品标注装置。
第四方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的基于毫米波图像的物品标注方法。
根据本发明实施例的基于毫米波图像的物品标注方法，至少具有如下有益效果：获取三维毫米波样本图像，确定所述三维毫米波样本图像的每个三维像素点的像素三维数据；对所述像素三维数据进行对数映射和归一化处理，得到像素归一化数据；根据所述像素归一化数据在深度方向进行最大值投影，得到所述三维像素点的二维投影数据、像素归一化灰度值和像素归一化索引值，其中，所述像素归一化灰度值为最大深度值所对应的位置的灰度值，所述像素归一化索引值为所述最大深度值；对预设的色彩矩阵进行深度方向的上采样，得到深度色彩索引表；根据所述像素归一化索引值在所述深度色彩索引表中匹配出深度色彩值，根据所述像素归一化灰度值和所述深度色彩值确定像素色彩值；遍历所述三维毫米波样本图像得到每个所述三维像素点的所述像素色彩值后，基于所述像素色彩值和所述二维投影数据生成色彩二维毫米波图像；基于所述色彩二维毫米波图像进行目标检测，得到物品标注结果。根据本发明实施例的技术方案，通过每个像素的深度信息对图像进行颜色映射，能够将三维毫米波图像压缩成二维彩色图像，利用图像的颜色突出物品形态特征与边界，提高标注效率。
附图说明
图1是本发明一个实施例提供的基于毫米波图像的物品标注方法的流程图；
图2是本发明一个实施例提供的彩色二维图和灰度二维图的物品标注的对比图；
图3是本发明另一个实施例提供的对数映射和归一化处理的流程图；
图4是本发明另一个实施例提供的最大值投影的流程图；
图5是本发明另一个实施例提供的确定深度色彩索引表的流程图；
图6是本发明另一个实施例提供的确定深度色彩值的流程图；
图7是本发明另一个实施例提供的确定像素色彩值的流程图；
图8是本发明另一个实施例提供的进行物品标注的流程图；
图9是本发明另一个实施例提供的基于毫米波图像的物品标注装置的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明实施例提供了一种基于毫米波图像的物品标注方法、装置、电子设备，其中，基于毫米波图像的物品标注方法包括：获取三维毫米波样本图像，确定所述三维毫米波样本图像的每个三维像素点的像素三维数据；对所述像素三维数据进行对数映射和归一化处理，得到像素归一化数据；根据所述像素归一化数据在深度方向进行最大值投影，得到所述三维像素点的二维投影数据、像素归一化灰度值和像素归一化索引值，其中，所述像素归一化灰度值为最大深度值所对应的位置的灰度值，所述像素归一化索引值为所述最大深度值；对预设的色彩矩阵进行深度方向的上采样，得到深度色彩索引表；根据所述像素归一化索引值在所述深度色彩索引表中匹配出深度色彩值，根据所述像素归一化灰度值和所述深度色彩值确定像素色彩值；遍历所述三维毫米波样本图像得到每个所述三维像素点的所述像素色彩值后，基于所述像素色彩值和所述二维投影数据生成色彩二维毫米波图像；基于所述色彩二维毫米波图像进行目标检测，得到物品标注结果。根据本发明实施例的技术方案，通过每个像素的深度信息对图像进行颜色映射，能够将三维毫米波图像压缩成二维彩色图像，利用图像的颜色突出物品形态特征与边界，提高标注效率。
下面基于附图对本发明实施例的控制方法作进一步阐述。
参照图1，图1为本发明实施例提供的一种基于毫米波图像的物品标注方法的流程图，该基于毫米波图像的物品标注方法包括但不限于有以下步骤：
S11，获取三维毫米波样本图像，确定三维毫米波样本图像的每个三维像素点的像素三维数据；
S12，对像素三维数据进行对数映射和归一化处理，得到像素归一化数据；
S13，根据像素归一化数据在深度方向进行最大值投影，得到三维像素点的二维投影数据、像素归一化灰度值和像素归一化索引值，其中，像素归一化灰度值为最大深度值所对应的位置的灰度值，像素归一化索引值为最大深度值；
S14，对预设的色彩矩阵进行深度方向的上采样，得到深度色彩索引表；
S15，根据像素归一化索引值在深度色彩索引表中匹配出深度色彩值，根据像素归一化灰度值和深度色彩值确定像素色彩值；
S16，遍历三维毫米波样本图像得到每个三维像素点的像素色彩值后，基于像素色彩值和二维投影数据生成色彩二维毫米波图像；
S17，基于色彩二维毫米波图像进行目标检测，得到物品标注结果。
需要说明的是，三维毫米波样本图像可以通过毫米波人体安检设备采集，也可以直接通过毫米波人体安检设备直接采集到三维毫米波样本图像的图像数据，即每个三维像素点的数据，具体的数据采集方式可以根据采集设备的不同进行调整，本实施例对数据采集方式不作限定。
需要说明的是，本实施例的像素三维数据可以包括高度数据、宽度数据和深度数据，像素三维数据的表达式为：Data＝d(h,w,c)，0≤h≤H,0≤w≤W,0≤c≤C,其中，H为像素三维数据的高度最大值，h为像素三维数据的高度数据，W为像素三维数据的宽度最大值，w为像素三维数据的宽度数据，C为像素三维数据的深度(或者通道)最大值，c为像素三维数据的深度数据(或者通道数)。
需要说明的是，对数映射是将实数映射到一个正实数的过程，由于三维数据是基于空间坐标系的，因此将数值映射到正实数，能够降低后续深度投影的计算复杂度，提高计算效率。同理，本实施例通过深度信息对颜色进行映射，因此只需要对不同像素点之间的深度差异进行表征即可，通过归一化能够有效减少计算的深度投影时的计算复杂度。
需要说明的是，在毫米波成像安检领域，在同一个平面内，人体、衣物或物品由于大小的差异，其三维的深度信息是不同，因此，为了将三维图像压缩成彩色的二维图像，本实施例建立深度和色彩的映射关系，利用每个像素点的三维深度确定其色彩值，从而得到具有色彩的二维图像，在此情况下，不同的物品由于具有不同的深度，在二维图像上能够具备不同的色彩值，因此无论是采用目标检测算法进行自动标注还是人工标注，都能够基于色彩边界进行快速的物品分割，根据物体轮廓进行物品标注，提高标注效率。为了实现上述效果，本实施例通过预设的色彩矩阵在深度方向进行上采样得到深度色彩索引表，使得深度色彩索引表的每个色彩值都与深度信息建立映射关系，便于根据三维像素点归一化后的深度值索引出对应的深度色彩值，即不同深度的像素点匹配出的颜色值不同，提高色彩二维毫米波图像的可分辨性。
需要说明的是，根据上述描述，在完成数据预处理得到像素归一化数据后，实际上得到了每个三维像素点归一化后的三维坐标，深度方向即Z轴方向，基于Z轴方向进行最大值投影得到二维投影数据。在二维投影数据中，高度数据和宽度数据仍然具有一定的取值范围，即满足上述的0≤h≤H,0≤w≤W，但是深度方向的c的数值为固定，从而将其投影到一个平面中。由于毫米波成像的标注并不需要精准地得到物品的实际轮廓，只需要能够根据物品的大致轮廓确定其物品类型即可，因此本实施例通过深度方向(Z轴)进行最大值投影，能够体现每个三维像素点的最大深度，使得相同深度的三维像素点的色彩近似，不同深度的三维像素点的色彩具有较大差异，更有利于进行物品区分，避免色彩过于相似而影响标注。
需要说明的是，本实施例的像素归一化索引值为深度方向的最大深度值，根据上述实施例的描述，深度色彩索引表针对不同的深度能够索引出不同的色彩值，本实施例通过像素归一化索引值索引出深度色彩值后，根据深度色彩值与归一化得到的像素归一化灰度值进行相乘，从而得到整个像素点的像素色彩值，在具备像素色彩值和投影到某个平面的二维像素数据的情况下，本领域技术人员熟知如何构建色彩二维毫米波图像，在此对具体图像构建过程不做限定。
需要说明的是，上述操作均是针对三维毫米波样本图像的其中一个三维像素点，为了得到整个色彩二维毫米波图像，以遍历的方式对三维毫米波样本图像的每个三维像素点重复执行上述步骤，在确定每个三维像素点对应的像素色彩值后，生成色彩二维毫米波图像。
需要说明的是，相比起相关技术中的灰度图容易发生边界混淆，本实施例基于色彩二维毫米波图像进行目标检测和标注，通过颜色的区别能够快速确定物品边界，例如图2所示，图2的左侧为本实施例基于色彩二维毫米波图像的物品标注，方框中的物品与图像中的其余部分在色彩层面能够具有明显差异，因此无论通过目标检测算法还是通过人工标注都能够快速进行物品识别，有效提高物品标注结果。
另外，在一实施例中，像素三维数据包括像素高度数据、像素宽度数据和像素深度数据，参照图3，步骤S12还包括但不限于有以下步骤：
S31，对像素三维数据取绝对值后进行对数映射得到三维像素点的三维映射数据，三维映射数据包括高度映射数据、宽度映射数据和深度映射数据；
S32，根据三维映射数据，确定三维像素点的映射最大值和映射最小值，映射最大值由三维映射数据中高度映射数据的最大值、宽度映射数据的最大值和深度映射数据的最大值组成，映射最小值由三维映射数据中高度映射数据的最小值、宽度映射数据的最小值和深度映射数据的最小值组成；
S33，根据映射最大值、映射最小值和三维映射数据确定每个三维像素点的像素归一化数据，像素归一化数据包括像素高度归一化数据、像素宽度归一化数据和像素深度归一化数据。
需要说明的是，根据图1所示实施例的描述，三维像素点的像素三维数据分别具有高度、宽度和深度三个维度的数据，本实施例针对每个维度的数据分别进行取绝对值后进行对数映射，能够使得三维映射数据更好地反映其特性，具体可以通过以下公式计算得到：d1(h,w,c)＝|d(h,w,c)|,d2(h,w,c)＝10×log10(d1(h,w,c))，其中，d1(h,w,c)为像素三维数据取绝对值后的数据，d2(h,w,c)为三维映射数据。
需要说明的是，为了实现归一化处理，需要确定数据边界，因此本实施例三维像素点的映射最大值和映射最小值，即在高度、宽度和深度三个维度的最大值和最小值，具体可以通过以下公式得到：dmax＝max{d2(h,w,c)，0≤h≤H,0≤w≤W,0≤c≤C}，dmin＝min{d2(h,w,c)，0≤h≤H,0≤w≤W,0≤c≤C}，其中，dmax为映射最大值，dmin为映射最小值，d3(h,w,c)为像素归一化数据。
需要说明的是，在上述计算过程中，可以对每个维度分别进行计算，从而得到像素归一化数据所对应的像素高度归一化数据、像素宽度归一化数据和像素深度归一化数据。
另外，在一实施例中，参照图4，步骤S13还包括但不限于有以下步骤：
S41，将像素深度归一化数据中的像素深度归一化数据的最大值确定为像素归一化索引值；
S42，将像素高度归一化数据和像素宽度归一化数据投影至像素深度归一化数据的最大值所指示的位置，得到二维投影数据；
S43，将像素深度归一化数据的最大值所指示的位置所对应的灰度值确定为像素归一化灰度值。
需要说明的是，根据图1所示实施例的描述，像素归一化索引值为最大深度值，因此，在根据图3所示实施例的方式计算出像素归一化数据后，可以通过数值大小的简单判断，将像素深度归一化数据的最大值确定为像素归一化索引值。
需要说明的是，根据图1所示实施例的描述，最大值投影是确定三维坐标中的最大深度值后，将剩余两个坐标投影到最大深度值所对应的Z轴平面，例如，对于三维像素点d(h,w,c)，在根据上述步骤确定深度最大值为10，则投影后得到的二维投影数据为d4(h,w,10)，
需要说明的是，为了提高区分效果，像素归一化灰度值可以是二维投影数据中的最大灰度值，即满足以下表达式：G＝max{d3(h,e,c),0≤c≤C}，同理，像素归一化索引值满足以下表达式：ID＝argmax{d3(h,w,c),0≤c≤C}，其中，G为素归一化灰度值，ID为像素归一化索引值。
另外，在一实施例中，参照图5，步骤S14还包括但不限于有以下步骤：
S51，获取由多种颜色元素组成的色彩序列；
S52，根据色彩序列构造出色彩矩阵，色彩矩阵的行数为3，色彩矩阵的列数为颜色元素的数量；
S53，基于双线性插值法对色彩矩阵在深度方向进行上采样，将得到的采样矩阵确定为深度色彩索引表，其中，采样矩阵的行数为3，采样矩阵的列数为三维毫米波图像数据的最大深度。
需要说明的是，本实施例的色彩序列可以采用常见的彩虹色彩，并从中获取6种颜色作为颜色元素，例如选择红、橙、黄、绿、青、蓝形成色彩序列，由于图像颜色主要是确定RGB色彩值，因此构造出的色彩矩阵可以为3行的矩阵，每一行分别对应R色彩值、G色彩值和B色彩值，色彩矩阵表达式为：rgb＝[红、橙、黄、绿、青、蓝]3×6，其中色彩矩阵的列数为6，行数为3。
需要说明的是，本实施例通过双线性差值进行上采样，能够在高度和宽度两个方向进行线性插值，提高上采样的准确性，使得深度色彩索引表在高度和宽度两个维度的颜色表征更加准确。进行上采样之后，得到的深度色彩索引表为RGB＝[upsample(rgb)]3×C。
另外，在一实施例中，参照图6，步骤S15还包括但不限于有以下步骤：
S61，根据像素归一化索引值确定深度色彩索引表的目标列；
S62，获取目标列所对应的第一目标行数值、第二目标行数值和第三目标行数值；
S63，将第一目标行数值、第二目标行数值和第三目标行数值确定为深度色彩值，其中，第一目标行数值用于指示R色彩值、第二目标行数值用于指示G色彩值，第三目标行数值用于指示B色彩值。
需要说明的是，根据上述实施例的描述，深度色彩索引表中的每个元素为与深度映射的色彩值，像素归一化索引值为最大深度值，本实施例以像素归一化索引值从深度索引表中确定出目标列，该列所对应的3行数值为三维像素点对应的以深度为表征的色彩值，即本实施例的深度色彩值，像素点的深度不同，匹配出的深度色彩值不同，例如像素归一化索引值为5，从深度色彩索引表选取出第5列的元素作为深度色彩值。
需要说明的是，根据上述实施例的描述，深度色彩索引表为3行的矩阵，因此可以获取到第一目标行数值、第二目标行数值和第三目标行数值，本实施例以第一目标行数值用于指示R色彩值、第二目标行数值用于指示G色彩值，第三目标行数值用于指示B色彩值，当然，也可以调整每一行所对应的色彩值，本实施例对此不多做限定。
另外，在一实施例中，参照图7，步骤S15还包括但不限于有以下步骤：
S71，将像素归一化灰度值与第一目标行数值的乘积确定为目标R色彩值；
S72，将像素归一化灰度值与第二目标行数值的乘积确定为目标G色彩值；
S73，将像素归一化灰度值与第三目标行数值的乘积确定为目标B色彩值；
S74，根据目标R色彩值、目标G色彩值和目标R色彩值得到像素色彩值。
需要说明的是，根据上述实施例的描述，由于本实施例的灰度值进行了归一化，因此在确定深度色彩值之后，与灰度值相乘即可得到像素色彩值，具体可以通过以下公式得到：Pixel＝[G×RGB(ID)[0],G×RGB(ID)[1]，G×RGB(ID)[2]]，其中，RGB(ID)为深度色彩值，[0]为第一目标行数值，[1]为第二目标行数值，[2]为第三目标行数值，Pixel为像素色彩值。
另外，在一实施例中，参照图8，步骤S17还包括但不限于有以下步骤：
S81，当色彩二维毫米波图像中相邻的二维像素点的像素色彩值之间的差值大于预设的色彩阈值，将对应的二维像素点确定为边界像素点；
S82，基于多个边界像素点确定物品边界，对物品边界中的内容进行图像识别，将识别出的结果确定为物品标注结果。
需要说明的是，在得到色彩二维毫米波图像后，可以通过相邻的二维像素点的像素色彩值的差异确定边界像素点，例如两件物品由于深度不同，而本实施例的色彩与深度映射，因此两件物品的色彩不同，在图像中的体现为边界像素点的色彩值差异较大，因此本实施例可以通过预设色彩阈值进行边界判断，从而实现物品分割。
需要说明的是，在进行物品分割后，可以通过相关技术中的图像识别确定物品的种类，从而进行物品标注，本实施例对此不多做赘述。
如图9所示，图9是本发明一个实施例提供的基于毫米波图像的物品标注装置的结构图。本发明还提供了一种基于毫米波图像的物品标注装置，包括：
处理器901，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器902，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器902可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的基于毫米波图像的物品标注方法；
输入/输出接口903，用于实现信息输入及输出；
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种电子设备，包括如上所述的基于毫米波图像的物品标注装置。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于毫米波图像的物品标注方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，实现了以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (10)

1.一种基于毫米波图像的物品标注方法，其特征在于，包括：
获取三维毫米波样本图像，确定所述三维毫米波样本图像的每个三维像素点的像素三维数据；
对所述像素三维数据进行对数映射和归一化处理，得到像素归一化数据；
根据所述像素归一化数据在深度方向进行最大值投影，得到所述三维像素点的二维投影数据、像素归一化灰度值和像素归一化索引值，其中，所述像素归一化灰度值为最大深度值所对应的位置的灰度值，所述像素归一化索引值为所述最大深度值；
对预设的色彩矩阵进行深度方向的上采样，得到深度色彩索引表；
根据所述像素归一化索引值在所述深度色彩索引表中匹配出深度色彩值，根据所述像素归一化灰度值和所述深度色彩值确定像素色彩值；
遍历所述三维毫米波样本图像得到每个所述三维像素点的所述像素色彩值后，基于所述像素色彩值和所述二维投影数据生成色彩二维毫米波图像；
基于所述色彩二维毫米波图像进行目标检测，得到物品标注结果。
2.根据权利要求1所述的基于毫米波图像的物品标注方法，其特征在于，所述像素三维数据包括像素高度数据、像素宽度数据和像素深度数据，所述对所述像素三维数据进行对数映射和归一化处理，得到像素归一化数据，包括：
对所述像素三维数据取绝对值后进行对数映射得到所述三维像素点的三维映射数据，所述三维映射数据包括高度映射数据、宽度映射数据和深度映射数据；
根据所述三维映射数据，确定所述三维像素点的映射最大值和映射最小值，所述映射最大值由所述三维映射数据中高度映射数据的最大值、宽度映射数据的最大值和深度映射数据的最大值组成，所述映射最小值由所述三维映射数据中高度映射数据的最小值、宽度映射数据的最小值和深度映射数据的最小值组成；
根据所述映射最大值、所述映射最小值和所述三维映射数据确定每个所述三维像素点的所述像素归一化数据，所述像素归一化数据包括像素高度归一化数据、像素宽度归一化数据和像素深度归一化数据。
3.根据权利要求2所述的基于毫米波图像的物品标注方法，其特征在于，所述根据所述像素归一化数据在深度方向进行最大值投影，得到所述三维像素点的二维投影数据、像素归一化灰度值和像素归一化索引值，包括：
将所述像素深度归一化数据中的像素深度归一化数据的最大值确定为所述像素归一化索引值；
将所述像素高度归一化数据和所述像素宽度归一化数据投影至所述像素深度归一化数据的最大值所指示的位置，得到所述二维投影数据；
将所述像素深度归一化数据的最大值所指示的位置所对应的灰度值确定为所述像素归一化灰度值。
4.根据权利要求1所述的基于毫米波图像的物品标注方法，其特征在于，所述对预设的色彩矩阵进行深度方向的上采样，得到深度色彩索引表，包括：
获取由多种颜色元素组成的色彩序列；
根据所述色彩序列构造出所述色彩矩阵，所述色彩矩阵的行数为3，所述色彩矩阵的列数为所述颜色元素的数量；
基于双线性插值法对所述色彩矩阵在深度方向进行上采样，将得到的采样矩阵确定为所述深度色彩索引表，其中，所述采样矩阵的行数为3，所述采样矩阵的列数为所述三维毫米波图像数据的最大深度。
5.根据权利要求4所述的基于毫米波图像的物品标注方法，其特征在于，所述根据所述像素归一化索引值在所述深度色彩索引表中匹配出深度色彩值，包括：
根据所述像素归一化索引值确定所述深度色彩索引表的目标列；
获取所述目标列所对应的第一目标行数值、第二目标行数值和第三目标行数值；
将所述第一目标行数值、所述第二目标行数值和所述第三目标行数值确定为所述深度色彩值，其中，所述第一目标行数值用于指示R色彩值、所述第二目标行数值用于指示G色彩值，所述第三目标行数值用于指示B色彩值。
6.根据权利要求5所述的基于毫米波图像的物品标注方法，其特征在于，所述根据所述像素归一化灰度值和所述深度色彩值确定像素色彩值，包括：
将所述像素归一化灰度值与所述第一目标行数值的乘积确定为目标R色彩值；
将所述像素归一化灰度值与所述第二目标行数值的乘积确定为目标G色彩值；
将所述像素归一化灰度值与所述第三目标行数值的乘积确定为目标B色彩值；
根据所述目标R色彩值、所述目标G色彩值和所述目标R色彩值得到所述像素色彩值。
7.根据权利要求1所述的基于毫米波图像的物品标注方法，其特征在于，所述基于所述色彩二维毫米波图像进行目标检测，得到物品标注结果，包括：
当所述色彩二维毫米波图像中相邻的二维像素点的所述像素色彩值之间的差值大于预设的色彩阈值，将对应的所述二维像素点确定为边界像素点；
基于多个所述边界像素点确定物品边界，对所述物品边界中的内容进行图像识别，将识别出的结果确定为所述物品标注结果。
8.一种基于毫米波图像的物品标注装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于毫米波图像的物品标注方法。
9.一种电子设备，其特征在于，包括权利要求8所述的基于毫米波图像的物品标注装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于毫米波图像的物品标注方法。
CN202310737145.9A 2023-06-20 2023-06-20 基于毫米波图像的物品标注方法、装置、电子设备 Active CN116883998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310737145.9A CN116883998B (zh) 2023-06-20 2023-06-20 基于毫米波图像的物品标注方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310737145.9A CN116883998B (zh) 2023-06-20 2023-06-20 基于毫米波图像的物品标注方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN116883998A true CN116883998A (zh) 2023-10-13
CN116883998B CN116883998B (zh) 2024-04-05

Family

ID=88267169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310737145.9A Active CN116883998B (zh) 2023-06-20 2023-06-20 基于毫米波图像的物品标注方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN116883998B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184709A1 (zh) * 2018-03-29 2019-10-03 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN112634244A (zh) * 2020-12-28 2021-04-09 博微太赫兹信息科技有限公司 一种用于目标检测的三维复数图像处理方法及***
CN114140517A (zh) * 2021-11-19 2022-03-04 深圳市优必选科技股份有限公司 物***姿识别方法及装置、视觉处理设备和可读存储介质
CN114707013A (zh) * 2022-04-08 2022-07-05 Oppo广东移动通信有限公司 图像配色方法与装置、终端及可读存储介质
CN115174774A (zh) * 2022-06-29 2022-10-11 上海飞机制造有限公司 一种深度图像的压缩方法、装置、设备及存储介质
CN115797665A (zh) * 2023-02-02 2023-03-14 深圳佑驾创新科技有限公司 基于图像特征的图像和单帧毫米波雷达目标的匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184709A1 (zh) * 2018-03-29 2019-10-03 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN112634244A (zh) * 2020-12-28 2021-04-09 博微太赫兹信息科技有限公司 一种用于目标检测的三维复数图像处理方法及***
CN114140517A (zh) * 2021-11-19 2022-03-04 深圳市优必选科技股份有限公司 物***姿识别方法及装置、视觉处理设备和可读存储介质
CN114707013A (zh) * 2022-04-08 2022-07-05 Oppo广东移动通信有限公司 图像配色方法与装置、终端及可读存储介质
CN115174774A (zh) * 2022-06-29 2022-10-11 上海飞机制造有限公司 一种深度图像的压缩方法、装置、设备及存储介质
CN115797665A (zh) * 2023-02-02 2023-03-14 深圳佑驾创新科技有限公司 基于图像特征的图像和单帧毫米波雷达目标的匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仲红玉;尹丽菊;高明亮;邹国锋;申晋;王炫;: "多参数亮度值重映射的颜色传递方法", 红外与激光工程, no. 05, 25 May 2018 (2018-05-25), pages 159 - 166 *
张健;王卫民;唐洋;: "利用深度学习进行毫米波图像违禁物体识别", 计算机与数字工程, no. 07, 20 July 2020 (2020-07-20), pages 219 - 224 *

Also Published As

Publication number Publication date
CN116883998B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US11443133B2 (en) Computer vision system for industrial equipment gauge digitization and alarms
WO2019169772A1 (zh) 图片处理方法、电子装置及存储介质
US20170147902A1 (en) System for determining alignment of a user-marked document and method thereof
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
CN102739951A (zh) 图像处理装置及图像处理方法
CN109753960A (zh) 基于分形理论的孤立森林水下人工目标检测方法
CN109272546B (zh) 一种鱼苗长度测量方法及***
CN102739911A (zh) 图像处理装置及图像处理方法
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及***
CN110189347B (zh) 一种测量物体体积的方法及终端
CN104463240B (zh) 一种仪表定位方法及装置
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
CN111325184B (zh) 一种遥感影像智能解译与变化信息检测方法
Rahimzadeganasl et al. Automatic building detection based on CIE LUV color space using very high resolution pleiades images
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN109658523A (zh) 利用ar增强现实应用实现车辆各功能使用说明的方法
CN107145892B (zh) 一种基于自适应融合机制的图像显著性物体检测方法
CN109492573A (zh) 一种指针读取方法及装置
CN113807364A (zh) 一种基于三光融合成像的电力设备缺陷检测方法及***
CN113469147A (zh) 答题卡识别方法、装置、电子设备以及存储介质
CN116883998B (zh) 基于毫米波图像的物品标注方法、装置、电子设备
CN114638996A (zh) 基于对抗学习的模型训练方法、装置、设备和存储介质
CN116402781A (zh) 缺陷检测方法、装置、计算机设备及介质
CN115294035A (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN112036268B (zh) 构件识别方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant