CN114255271A - 电子装置以及物件侦测方法 - Google Patents
电子装置以及物件侦测方法 Download PDFInfo
- Publication number
- CN114255271A CN114255271A CN202111600306.7A CN202111600306A CN114255271A CN 114255271 A CN114255271 A CN 114255271A CN 202111600306 A CN202111600306 A CN 202111600306A CN 114255271 A CN114255271 A CN 114255271A
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- coordinate
- estimation
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种电子装置以及物件侦测方法。电子装置包括储存装置以及处理器。储存装置储存估计模块。处理器耦接储存装置,并且用以执行估计模块。处理器取得由影像感测器提供的感测影像,并且处理器将感测影像输入估计模块,以使估计模块输出多个估计参数。处理器根据多个估计参数计算感测影像中的物件影像的二维影像中心坐标,并且处理器根据二维影像中心坐标以及多个估计参数中的偏移参数计算对应于物件影像的三维立体物件中心坐标。由此,可对于感测影像中的物件影像进行正确的位置判断。
Description
技术领域
本发明有关于一种影像分析技术,且特别有关于一种电子装置以及物件侦测方法。
背景技术
对于现有的影像物件侦测技术,如要对影像中的物件进行正确的位置判断,则影像中的物件必须为完整物件影像,以使处理器可正确通过完整物件影像的物件范围来进行分析,以判断正确的物件中心。换言之,若影像中的物件为截断影像(truncated image),则处理器将无法正确地判断物件中心,而取得错误的位置信息。对此,例如在行车距离感测的相关应用中,若行车影像中的车辆影像为截断影像,则使用者所驾驶的车辆将无法判断此车辆影像的正确位置,而可能导致后续的例如车辆自动警示、车辆距离侦测或车辆自动驾驶等功能发生错误判断。这个问题在只利用单一的单眼摄影机(monocular camera)的行车距离感测的相关应用中尤其需要解决。
发明内容
有鉴于此,本发明提供一种电子装置以及物件侦测方法,可对于感测影像中的物件影像进行正确的位置判断。
本发明的电子装置包括储存装置以及处理器。储存装置储存估计模块。处理器耦接储存装置,并且用以执行估计模块。处理器取得由影像感测器提供的感测影像。处理器将感测影像输入估计模块,以使估计模块输出多个估计参数。处理器根据多个估计参数计算感测影像中的物件影像的二维影像中心坐标。处理器根据二维影像中心坐标以及多个估计参数中的偏移参数计算对应于物件影像的三维立体中心坐标。
本发明的物件侦测方法包括以下步骤:执行估计模块;取得由影像感测器提供的感测影像;将感测影像输入估计模块,以使估计模块输出多个估计参数;根据多个估计参数计算感测影像中的物件影像的二维影像中心坐标;以及根据二维影像中心坐标以及多个估计参数中的偏移参数计算对应于物件影像的三维立体中心坐标。
基于上述,本发明的电子装置以及物件侦测方法,可判断对应于感测影像中的物件影像的物件的三维立体中心坐标,以使可正确地判断物件的位置。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1是本发明的一实施例的电子装置的示意图。
图2是本发明的一实施例的参考影像的示意图。
图3是本发明的一实施例的物件侦测方法的流程图。
图4是本发明的一实施例的感测影像的示意图。
图5是使用现有物件侦测方法的感测影像结果的示意图。
其中,附图中符号的简单说明如下:
100:电子装置;110:处理器;120:储存装置;121:估计模块;200:影像感测器;210、220:参考影像;201:参考物件影像;202、402、502:矩形标记;203、205、403、405、503、505:中心点;204、404、504:立方体标记;410、500:感测影像;420:感测影像之外的真实世界示意图;401:物件影像;501:物件;S310~S350:步骤。
具体实施方式
为了使本发明的内容可以被更容易明了,以下特举实施例作为本发明确实能够据以实施的范例。另外,凡可能之处,在图式及实施方式中使用相同标号的元件/构件/步骤,代表相同或类似部件。
现有物件侦测方法普遍无法正确地判断截断物件影像中的物件位置信息。图5是使用现有物件侦测方法的单眼摄影机的感测影像结果的示意图,其中感测影像500包含物件501的截断影像。现有物件侦测方法判断出的矩形标记502标示出物件501在感测影像500中的影像范围,而503是矩形标记502的中心;现有物件侦测方法判断出的立方体标记504标示出物件501在三维空间中的范围,而505是立方体标记504在三维空间中的中心。由图5可以看出,现有物件侦测方法所判断出的物件501在三维空间中的范围(即立方体标记504)明显与物件501的真实位置有差距。有些应用中会通过使用多个摄影机取得全景(panoramic)影像以避免出现截断影像,但这些做法会提高成本与影像***的复杂度。本发明旨在不提高成本与影像***复杂度的前提下,改善只利用单一的单眼摄影机的物件侦测方法对于截断影像的物件位置信息的判断的准确度。
图1是本发明的一实施例的电子装置的示意图。参考图1,电子装置100包括处理器110以及储存装置120。处理器110耦接储存装置120以及外部的影像感测器200。储存装置120用以储存估计模块121。在本实施例中,电子装置100可例如是整合在车辆的嵌入式设备,并且影像感测器200可例如是设置在车辆上的车用摄影机,以用于拍摄车辆前方或周围车况的影像。处理器110可例如通过分析由影像感测器200提供的即时影像,以侦测车辆附近的其他车辆物件的位置,来提供例如车辆自动警示或车辆自动驾驶等功能的相关数据运算使用。然而,本发明的电子装置的实施态样并不限于此。在一实施例中,电子装置100也可以是设置在其他可移动设备上或静态设备上,并且通过影像感测器200感测周围影像,而使处理器110可通过分析由影像感测器200提供的即时影像来进行周围的物件侦测操作。
在本实施例中,估计模块121可为物件侦测神经网络(Neural Network,NN)模块,并且可例如是使用关键点估计网络(Keypoint estimation network),其中关键点估计网络还可例如是采用CenterNet演算法或ExtermeNet演算法来实现之。关键点估计网络可以将影像中的物件侦测为影像中的关键点,并将物件的其他性质(例如物件大小或位置等)当成是该关键点的回归问题(regression problem)来进行估计。然而,本发明的估计模块121并不限于上述说明。在本发明的另一些实施例中,估计模块121也可采用其他神经网络模型或其他类似的可估计影像中的多个关键点的演算法来实现之。
在本实施例中,处理器110可例如是中央处理器(Central Processing Unit,CPU)、微处理器(Microprocessor Control Unit,MCU)或现场可编程门阵列(FieldProgrammable Gate Array,FPGA)等诸如此类的处理电路或控制电路,并且本发明并不限于此。在本实施例中,储存装置120可例如是存储器(Memory),并且用以储存估计模块121、由影像感测器200所提供的影像数据以及相关软件程序或演算法,以供处理器110存取并执行之。影像感测器200可为CMOS影像感测器(CMOS Image Sensor,CIS)或感光耦合元件(Charge Coupled Device,CCD)的摄影机。
图2是本发明的一实施例的参考影像的示意图。参考图1以及图2。在本实施例中,估计模块121可预先使用多组参考影像以及对应于多组参考影像的多组参考估计参数来训练,并且多组参考影像的每一个包括至少一个参考物件影像,每一参考物件对应一组参考估计参数。每一组参考影像可包括由一参考影像收集***(例如是具有多个外部摄影机的影像收集车辆)的多个不同的影像感测器来分别取得的多个参考影像所组成,例如由前(主)摄影机与侧(辅助)摄影机分别取得的多个参考影像所组成,如此一来在前(主)摄影机的影像中为截断影像的物件可以在侧(辅助)摄影机的影像中取得物件被截断的其他影像部分,以得到物件的完整影像以训练估计模块121。每一参考物件对应的参考估计参数可由多个不同的感测器来收集之,例如包含距离感测器,以对每一参考物件标注(annotate)对应的参考估计参数。在本实施例中,用于训练估计模块121的每一组参考影像与参考估计参数可例如是NuScenes数据集或是KITTI数据集,但本发明并不限于此。
如图2所示,图2的参考影像210以及参考影像220可为一组参考影像。参考影像210以及参考影像220可分别由两个不同的影像感测器来分别取得。在本实施例中,参考影像210可例如由前(主)摄影机取得,并且参考影像220可例如由侧(辅助)摄影机取得。并且,参考影像210以及参考影像220可对应于一组参考估计参数,并且一组参考估计参数例如包括如以下表1的多个估计参数。
表1
参考估计参数 | 数值范围 |
x_Left | 0~影像(图框)宽度 |
y_Top | 0~影像(图框)高度 |
x_Right | 0~影像(图框)宽度 |
y_Bottom | 0~影像(图框)高度 |
H<sub>cub</sub> | >0 |
W<sub>cub</sub> | >0 |
L<sub>cub</sub> | >0 |
Loc_Z | >0 |
Rot_Y | -π~π |
δx | -∞~∞ |
δy | -∞~∞ |
参考上述表1,一组参考估计参数中包括对应于如图2所示的矩形标记202的第一边界坐标x_Left、第二边界坐标y_Top、第三边界坐标x_Right以及第四边界坐标y_Bottom。矩形标记202用于定义前(主)摄影机所取得的参考影像210中的部分的参考物件影像201的影像范围,并且第一边界坐标x_Left、第二边界坐标y_Top、第三边界坐标x_Right以及第四边界坐标y_Bottom可用于决定矩形标记202的中心点203的二维影像中心坐标(xC2D,yC2D)。第一边界坐标x_Left可用于描述矩形标记202的左侧边界的位置。第二边界坐标y_Top可用于描述矩形标记202的上侧边界的位置。第三边界坐标x_Right可用于描述矩形标记202的右侧边界的位置。第四边界坐标y_Bottom可用于描述矩形标记202的下侧边界的位置。另外,第一边界坐标x_Left、第二边界坐标y_Top、第三边界坐标x_Right以及第四边界坐标y_Bottom的单位可为像素(pixel)数目。
参考上述表1,一组参考估计参数中还包括对应于如图2所示的参考影像210以及参考影像220中的立方体标记204的高度参数Hcub、宽度参数Wcub、长度参数Lcub、相机坐标位置参数以及旋转参数Rot_Y。立方体标记204用于定义参考物件影像201在三维空间中所对应的立体物件范围,并且高度参数Hcub、宽度参数Wcub、长度参数Lcub、相机坐标位置参数以及旋转参数Rot_Y用于决定立方体标记204的中心点205在影像平面中的投影的三维立体中心坐标(xC3D,yC3D)。高度参数Hcub可用于描述立方体标记204的高度。宽度参数Wcub可用于描述立方体标记204的宽度。长度参数Lcub可用于描述立方体标记204的长度。旋转参数Rot_Y可用于描述立方体标记204在中心点205绕前(主)摄影机的相机坐标Y轴旋转的角度,即立方体标记204长轴方向在相机坐标X-Z平面上与X轴的夹角。另外,高度参数Hcub、宽度参数Wcub以及长度参数Lcub的单位可为米(meter)。
参考上述表1,相机坐标位置参数可包括参数Loc_Z。相机坐标位置参数Loc_Z可用于描述参考物件影像201在三维空间中所对应的立体物件与前(主)摄影机之间的相机坐标Z轴上的空间距离,亦即参考物件影像201在三维空间中所对应的立体物件的深度。另外,相机坐标位置参数Loc_Z的单位可为米(meter)。在其他实施例中,相机坐标位置参数还可包括参数Loc_X以及Loc_Y以用于描述参考物件影像201在三维空间中所对应的立体物件在相机坐标X轴与Y轴上的空间位置。
参考上述表1,偏移参数可包括在对应于参考影像210的影像平面上的水平方向的第一偏移参数δx以及垂直方向的第二偏移参数δy。偏移参数的第一偏移参数δx以及第二偏移参数δy可根据三维立体中心坐标(xC3D,yC3D)以及二维影像中心坐标(xC2D,yC2D)来决定。偏移参数的第一偏移参数δx以及第二偏移参数δy可用于描述在参考影像210的影像平面中的矩形标记202的中心点203的二维影像中心坐标(xC2D,yC2D)与立方体标记204的中心点205的三维立体中心坐标(xC3D,yC3D)之间的坐标距离。另外,偏移参数的第一偏移参数δx以及第二偏移参数δy的单位可为像素数目。
当用于训练估计模块121的参考影像与参考估计参数(例如NuScenes数据集或KITTI数据集)并未标注对应的偏移参数时,可针对各参考物件由其三维立体中心坐标(xC3D,yC3D)以及二维影像中心坐标(xC2D,yC2D)来算出其偏移参数并对各参考物件进行标注。详细而言,二维影像中心坐标(xC2D,yC2D)可由以下公式(1)的计算所获得。根据公式(2)的前(主)摄影机的相机校正矩阵(Camera calibration matrix)P,立方体标记204的中心点205在相机坐标(camera coordinates)空间中的坐标(xcub,ycub,zcub)可由以下公式(3)至公式(5)的计算所获得。立方体标记204经由旋转参数Rot_Y后的长度、宽度、高度尺寸C可由以下公式(6)来描述之。立方体标记204在三维的相机坐标空间中的八个顶点坐标可由以下公式(7)来描述之。立方体标记204的八个顶点在二维的影像平面上的投影坐标可由以下公式(9)来描述之,其中公式(9)可基于公式(7)以及公式(8)的计算而产生。立方体标记204的中心点205在影像平面中的投影的三维立体中心坐标(xC3D,yC3D)可由以下公式(10)的计算而获得。最后,偏移参数(δx,δy)可由以下公式(11)的计算而获得。
zcub=Loc_Z-P23……(3)
(δx,δy)=(xC3D-xC2D,yC3D-yC2D)……(11)
另外,在一实施例中,若偏移参数的第一参数δx以及第二参数δy在参考估计参数中已标注(例如预先通过其他感测器取得),则上述公式(1)-(11)的计算可不需要进行。在其他实施例中,估计参数还可以包含其他参数,例如物件类型、物件截断状态、物件遮蔽(occlusion)状态等。
在本实施例中,估计模块121还使用L1损失函数(L1 loss function)来训练之,其中可例如通过以下公式(12)的L1损失函数来训练神经网络模型以使其能回归得出偏移参数(δx,δy)。在公式(12)中,N代表影像中的关键点的数量。代表物件k的偏移参数(δx,δy)的预测结果。δk代表物件k的真实偏移参数。因此,估计模块121经由上述公式(12)的损失函数进行模型训练后,估计模块121可实现准确的偏移参数的回归估计功能。然而,本发明的估计模块121并不限于上述L1损失函数(L1 loss function)的训练方式,估计模块121也可利用其他损失函数来训练之,例如均方误差(Mean Squared Error,MSE)损失函数或均方根对数误差(Mean Squared Logarithmic Error,MSLE)损失函数。表1中的其他的估计参数如物件位置或物件大小相关的参数等也可用类似方法训练估计模块121以回归得出该些估计参数,在此不赘述。
上述的估计模块121的训练过程中包含了在前(主)摄影机的影像中所有出现的物件及其在空间中的位置与大小,不论该些物件为截断影像与否,而且在前(主)摄影机的影像中为截断影像的物件可以在侧(辅助)摄影机的影像中取得物件被截断的其他影像部分以训练估计模块121辨识截断影像。因此,通过以上训练的估计模块121可以更准确地针对影像中的截断物件进行辨识与定位,以便后续能够只根据单一的单眼摄影机影像(而非多个摄影机影像)即可正确判断出截断物件在三维空间中的范围,而不会出现前述图5中的误差。如此一来,估计模块121经训练完成后,只要例如将单一的单眼摄影机所感测的影像输入至估计模块121,估计模块121即可输出如同上述表1的多个侦测估计参数。处理器110可根据估计模块121输出的多个侦测估计参数来计算二维影像中心坐标(xC2D,yC2D),并且可根据二维影像中心坐标(xC2D,yC2D)以及估计模块121输出的偏移参数(δx,δy)来进一步计算出三维立体中心坐标(xC3D,yC3D)。
图3是本发明的一实施例的物件侦测方法的流程图。图4是本发明的一实施例的感测影像的示意图。参考图1、图3以及图4,电子装置100可执行以下步骤S310~S350来实现物件侦测功能,并且图4示出影像感测器200(例如是一单眼摄影机)的感测影像410以及在感测影像410范围之外的(即影像感测器200未拍摄到的)真实世界示意图420以辅助说明。感测影像410可包括物件影像401,并且物件影像401为车辆影像。值得注意的是,物件影像401在感测影像410中为截断影像。在步骤S310,处理器110可执行估计模块121。在步骤S320,处理器110可取得由影像感测器200提供的感测影像410。在本实施例中,电子装置100在实际物件侦测应用中仅需通过单一的影像感测器200来进行物件侦测。在步骤S330,处理器110可将感测影像410输入估计模块121,以使估计模块121输出多个关键点以及对应的多组侦测估计参数,其中各关键点分别对应于从感测影像410中侦测出的各个物件。图4仅示出一个物件影像401作为说明,但本领域人员可理解感测影像410中也可能侦测出多个物件(例如多个车辆)的物件影像。
在本实施例中,对应的侦测估计参数可包括如上述表1的多个估计参数。详细而言,处理器110后续可对物件影像401定义矩形标记402,并且多个估计参数包括对应于矩形标记402的第一边界坐标、第二边界坐标、第三边界坐标以及第四边界坐标。第一边界坐标可用于描述矩形标记402的左侧边界的位置。第二边界坐标可用于描述矩形标记402的上侧边界的位置。第三边界坐标可用于描述矩形标记402的右侧边界的位置。第四边界坐标可用于描述矩形标记402的下侧边界的位置。在本实施例中,处理器110后续可对物件影像401定义立方体标记404,并且多个估计参数还包括对应于立方体标记404的高度参数、宽度参数、长度参数、相机坐标位置参数以及旋转参数。如图4所示,矩形标记402是物件影像401在感测影像410中的影像范围,而立方体标记404是物件影像401的物件在三维空间中的范围,可以有部分位于感测影像410范围之外。
在步骤S340,处理器110可根据多个估计参数计算感测影像410中的物件影像401的二维影像中心坐标(xC2D,yC2D)。在本实施例中,处理器110可根据第一边界坐标、第二边界坐标、第三边界坐标以及第四边界坐标计算矩形标记402的中心点403的二维影像中心坐标(xC2D,yC2D)。
在步骤S350,处理器110可根据二维影像中心坐标(xC2D,yC2D)以及偏移参数(δx,δy)计算对应于物件影像401的立体物件中心的三维立体中心坐标(xC3D,yC3D)(即立方体标记404的中心点405在影像平面上的投影)。在本实施例中,处理器110可将二维影像中心坐标(xC2D,yC2D)以及偏移参数(δx,δy)相加,以取得三维立体中心坐标(xC3D,yC3D)。在一实施例中,处理器110还可根据立方体标记404的中心点405的三维立体中心坐标(xC3D,yC3D)以及估计模块121输出的对应的高度参数、宽度参数、长度参数、相机坐标位置参数以及旋转参数来计算对应于物件影像401的立方体标记404的各顶点坐标,其计算方法可由上述公式(1)-(11)的计算过程反推,在此不赘述。
值得注意的是,由于物件影像401在感测影像410中为截断影像,因此偏移参数的第一参数以及第二参数的至少其中之一不为0。换言之,因为矩形标记402仅标示出物件影像401在感测影像410中的影像范围,而立方体标记404则是标示出物件影像401的物件在三维空间中的完整范围,可能会有部分位于感测影像410之外,故矩形标记402的中心点403与立方体标记404的中心点405不会重叠,如图4所示,立方体标记404的中心点405甚至可能在感测影像410的影像范围之外。反之,当物件影像为完整影像时,偏移参数的第一参数以及第二参数一般皆为0。另外,在其他实施例中,立方体标记404的中心点405也可能在感测影像410的影像范围之内或之外,而不限于图4所示。矩形标记402的中心点403与立方体标记404的中心点405之间的距离(即偏移参数(δx,δy)的量值)受物件影像401的截断程度影响。矩形标记402的中心点403与立方体标记404的中心点405之间的距离与物件影像401的截断程度可为正相关。如此一来,电子装置100可取得实际物件在感测影像410的影像平面中正确的真实位置,以使后续的例如车辆自动警示、车辆距离侦测或车辆自动驾驶等功能可利用正确的物件距离侦测结果来有效执行之。
从另一角度而言,当车辆执行车辆自动警示、车辆距离侦测或车辆自动驾驶等功能时,处理器110无需等待影像感测器200取得具有完整车体影像的感测影像才可执行正确的距离及/或位置判断,而可针对截断车体影像立即进行正确的距离及/或位置判断。因此,本发明的电子装置以及物件侦测方法还可具有可提升物件侦测效率与缩短反应时间的效果。
另外,关于本实施例的多个估计参数以及相关参数运算,可参考上述图2实施例所述的多个估计参数以及相关参数运算来对应推得及类推适用,而可获致足够的教示、建议以及实施方式,因此在此不多加赘述。
综上所述,本发明的电子装置以及物件侦测方法可对感测影像中的截断物件影像提供实际物件在感测影像的影像平面中的真实位置信息的具有高可靠度的估计结果。本发明通过在估计模块的训练过程中包含多个摄影机的影像中所有出现的物件及其在空间中的位置与大小,而且在一摄影机的影像中为截断影像的物件可以在另一摄影机的影像中取得物件被截断的其他影像部分以训练估计模块辨识截断影像,因此可以更准确地针对影像中的截断物件进行辨识与定位,以便能够只根据单一的单眼摄影机影像即可正确判断出截断物件在三维空间中的范围。
以上所述仅为本发明较佳实施例,然其并非用以限定本发明的范围,任何熟悉本项技术的人员,在不脱离本发明的精神和范围内,可在此基础上做进一步的改进和变化,因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。
Claims (20)
1.一种电子装置,其特征在于,包括:
储存装置,储存估计模块;以及
处理器,耦接该储存装置,并且用以执行该估计模块,
其中该处理器取得由影像感测器提供的感测影像,并且该处理器将该感测影像输入该估计模块,以使该估计模块输出多个估计参数,
其中该处理器根据该多个估计参数计算该感测影像中的物件影像的二维影像中心坐标,并且该处理器根据该二维影像中心坐标以及该多个估计参数中的偏移参数计算对应于该物件影像的三维立体中心坐标。
2.如权利要求1所述的电子装置,其中该偏移参数包括在对应于该感测影像的影像平面上的水平方向的第一参数以及垂直方向的第二参数。
3.如权利要求2所述的电子装置,其中当该物件影像为完整影像时,该第一参数以及该第二参数为0,
其中当该物件影像为截断影像时,该第一参数以及该第二参数的至少其中之一不为0。
4.如权利要求1所述的电子装置,其中该处理器对该物件影像定义矩形标记,并且该多个估计参数包括对应于该矩形标记的第一边界坐标、第二边界坐标、第三边界坐标以及第四边界坐标,
其中该处理器根据该第一边界坐标、该第二边界坐标、该第三边界坐标以及该第四边界坐标计算该二维影像中心坐标。
5.如权利要求1所述的电子装置,其中该处理器对该物件影像定义立方体标记,并且该多个估计参数包括对应于该立方体标记的高度参数、宽度参数、长度参数、相机坐标位置参数以及旋转参数,
其中该处理器根据该高度参数、该宽度参数、该长度参数、该相机坐标位置参数、该旋转参数以及该三维立体中心坐标来计算该立方体标记的顶点坐标。
6.如权利要求1所述的电子装置,其中对应于该物件影像的该三维立体中心坐标在该物件影像之外。
7.如权利要求1所述的电子装置,其中该处理器将该二维影像中心坐标以及该偏移参数相加,以取得该三维立体中心坐标。
8.如权利要求1所述的电子装置,其中该影像感测器为单一的单眼摄影机。
9.如权利要求8所述的电子装置,其中该估计模块经由多个摄影机所取得的多组参考影像以及对应于该多组参考影像的多组参考估计参数来训练,并且该多组参考影像的每一个至少包括参考物件的影像,其中每一参考物件对应一组该参考估计参数。
10.如权利要求9所述的电子装置,其中用于训练该估计模块的该参考估计参数中的该偏移参数由该参考估计参数中的其他估计参数计算得出。
11.一种物件侦测方法,其特征在于,包括:
执行估计模块;
取得由影像感测器提供的感测影像;
将该感测影像输入该估计模块,以使该估计模块输出多个估计参数;
根据该多个估计参数计算该感测影像中的物件影像的二维影像中心坐标;以及
根据该二维影像中心坐标以及该多个估计参数中的偏移参数计算对应于该物件影像的三维立体中心坐标。
12.如权利要求11所述的物件侦测方法,其中该偏移参数包括在对应于该感测影像的影像平面上的水平方向的第一参数以及垂直方向的第二参数。
13.如权利要求12所述的物件侦测方法,其中当该物件影像为完整影像时,该第一参数以及该第二参数为0,
其中当该物件影像为截断影像时,该第一参数以及该第二参数的至少其中之一不为0。
14.如权利要求11所述的物件侦测方法,其中计算该影像中心坐标的步骤包括:
对该物件影像定义矩形标记,其中该多个估计参数包括对应于该矩形标记的第一边界坐标、第二边界坐标、第三边界坐标以及第四边界坐标;以及
根据该第一边界坐标、该第二边界坐标、该第三边界坐标以及该第四边界坐标计算该二维影像中心坐标。
15.如权利要求11所述的物件侦测方法,还包括:
对该物件影像定义立方体标记,其中该多个估计参数包括对应于该立方体标记的高度参数、宽度参数、长度参数、相机坐标位置参数以及旋转参数;以及
根据该高度参数、该宽度参数、该长度参数、该相机坐标位置参数、该旋转参数以及该三维立体中心坐标来计算该立方体标记的顶点坐标。
16.如权利要求11所述的物件侦测方法,其中对应于该物件影像的该三维立体中心坐标在该物件影像之外。
17.如权利要求11所述的物件侦测方法,其中计算该物件影像的三维立体中心坐标的步骤包括:
将该二维影像中心坐标以及该偏移参数相加,以取得该三维立体中心坐标。
18.如权利要求11所述的物件侦测方法,其中该影像感测器为单一的单眼摄影机。
19.如权利要求18所述的物件侦测方法,还包括:
经由多个摄影机所取得的多组参考影像以及对应于该多组参考影像的多组参考估计参数来训练该估计模块,其中该多组参考影像的每一个至少包括参考物件的影像,其中每一参考物件对应一组该参考估计参数。
20.如权利要求19所述的物件侦测方法,其中训练该估计模块的步骤包括:
由该参考估计参数中的其他估计参数计算得出该参考估计参数中的该偏移参数。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163175582P | 2021-04-16 | 2021-04-16 | |
US63/175,582 | 2021-04-16 | ||
TW110138434 | 2021-10-15 | ||
TW110138434A TWI784754B (zh) | 2021-04-16 | 2021-10-15 | 電子裝置以及物件偵測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114255271A true CN114255271A (zh) | 2022-03-29 |
Family
ID=80797525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111600306.7A Pending CN114255271A (zh) | 2021-04-16 | 2021-12-24 | 电子装置以及物件侦测方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220366593A1 (zh) |
CN (1) | CN114255271A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079619B (zh) * | 2019-12-10 | 2023-04-18 | 北京百度网讯科技有限公司 | 用于检测图像中的目标对象的方法和装置 |
CN116097316A (zh) * | 2020-06-24 | 2023-05-09 | 奇跃公司 | 用于非模态中心预测的对象识别神经网络 |
-
2021
- 2021-12-24 CN CN202111600306.7A patent/CN114255271A/zh active Pending
-
2022
- 2022-03-04 US US17/686,623 patent/US20220366593A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220366593A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109918977B (zh) | 确定空闲车位的方法、装置及设备 | |
JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
JP4341564B2 (ja) | 対象物判定装置 | |
US11625842B2 (en) | Image processing apparatus and image processing method | |
US20160117824A1 (en) | Posture estimation method and robot | |
CN112270719B (zh) | 相机标定方法、装置及*** | |
CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
CN110490936A (zh) | 车辆摄像头的标定方法、装置、设备及可读存储介质 | |
CN111996883B (zh) | 一种检测公路路面宽度的方法 | |
CN112017231B (zh) | 基于单目摄像头的人体体重识别方法、装置及存储介质 | |
CN111243003B (zh) | 车载双目摄像机及其检测道路限高杆的方法、装置 | |
CN113256729A (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
CN109455619B (zh) | 集装箱姿态的定位方法、装置及吊具控制器 | |
JP5228614B2 (ja) | パラメータ計算装置、パラメータ計算システムおよびプログラム | |
KR20180098945A (ko) | 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치 | |
TW201830336A (zh) | 位置姿勢推定裝置以及位置姿勢推定方法 | |
CN112348869A (zh) | 通过检测和标定恢复单目slam尺度的方法 | |
CN114821497A (zh) | 目标物位置的确定方法、装置、设备及存储介质 | |
CN110197104B (zh) | 基于车辆的测距方法及装置 | |
CN109902695B (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
CN114255271A (zh) | 电子装置以及物件侦测方法 | |
CN111046795A (zh) | 一种基于双目视觉的实时车辆压线行为检测方法 | |
CN115239789B (zh) | 用于确定液体体积的方法及装置、存储介质、终端 | |
TWI784754B (zh) | 電子裝置以及物件偵測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |