CN110706282B - 全景***自动标定方法、装置、可读存储介质及电子设备 - Google Patents
全景***自动标定方法、装置、可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN110706282B CN110706282B CN201911054090.1A CN201911054090A CN110706282B CN 110706282 B CN110706282 B CN 110706282B CN 201911054090 A CN201911054090 A CN 201911054090A CN 110706282 B CN110706282 B CN 110706282B
- Authority
- CN
- China
- Prior art keywords
- image
- panoramic
- vehicle
- quality evaluation
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013441 quality evaluation Methods 0.000 claims abstract description 93
- 230000008569 process Effects 0.000 claims description 14
- 239000003550 marker Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种全景***自动标定方法、装置、可读存储介质及电子设备。该方法包括：获取车辆的全景***当前输出的全景图像；对所述全景图像进行图像质量评价；若图像质量评价值小于第一预设阈值，则根据全景图像和多帧图像，更新车辆的图像采集装置的目标参数；按照所述目标参数，重新对多帧图像进行拼接，以得到更新后的全景图像；重新执行对全景图像进行图像质量评价的步骤，直至图像质量评价值大于或等于第一预设阈值；按照目标参数，对车辆的全景***进行标定。如此，在全景图像的质量下降后，可及时自动对全景***进行重新标定，恢复全景图像的质量，以避免因全景图像的质量下降，用户无法清楚地观察车辆周围的场景，而导致发生安全事故。
Description
技术领域
本公开涉及车辆技术领域，具体地，涉及一种全景***自动标定方法、装置、可读存储介质及电子设备。
背景技术
在日常驾驶过程中，驾驶员位于车舱内，在观察车身周边情况时需要依靠左右后视镜、中央后视镜、车窗、风挡去观察车身周边情况，因此存在很多的视觉盲区，且无法合理判断车身与周边的距离。为了实现合理判断车身与周边的距离，车辆视觉辅助***已经从后视摄像头观察车后的倒车图像，发展到通过车辆前后左右四个摄像头观察车辆四周图像的全景***。
全景***又称为全景环视***，其通常采用4个超广角摄像头，安装于汽车的前、后、左、右位置以覆盖车辆周边所有视角。其对同一时刻采集到的多路视频进行去畸变、投影、拼接、融合、色彩矫正，形成一个LUT(Look Up Table，查询表)。在车辆行驶过程中，直接通过查询LUT将摄像头视频里每一帧视频中的像素映射到显示屏上，最后形成一幅车辆周边360度的车身鸟瞰图和3DARView角度图，并显示在车内中控屏上，让驾驶员能够发现车身周边是否存在障碍物、以及障碍物的相对方位与距离，从而帮助驾驶员泊车、通过狭窄路段，有效减少刮蹭、碰撞、陷落等事故的发生。
发明内容
本公开的目的是提供一种全景***自动标定方法、装置、可读存储介质及电子设备，以在全景图像的质量下降后，可及时自动对全景***进行标定。
为了实现上述目的，本公开第一方面提供一种全景***自动标定方法，包括：
获取车辆的全景***当前输出的全景图像；
对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值；
若所述图像质量评价值小于第一预设阈值，则根据所述全景图像和多帧图像，更新所述车辆的图像采集装置的目标参数，其中，所述多帧图像为拼接成所述全景图像的图像；
按照所述目标参数，重新对所述多帧图像进行拼接，以得到更新后的全景图像；
重新执行所述对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值的步骤，直至所述图像质量评价值大于或等于所述第一预设阈值；
按照所述目标参数，对所述车辆的全景***进行标定。
可选地，所述方法还包括：
在车辆行驶的过程中，检测所述车辆当前行驶道路上是否存在满足标定条件的目标区域；
若所述车辆当前行驶道路上存在所述目标区域，则获取所述图像采集装置在当前时刻所采集的所述目标区域的多帧图像；
将所述多帧图像输入至所述车辆的全景***，以得到所述全景图像。
可选地，所述在车辆行驶的过程中，检测所述车辆当前行驶道路上是否存在满足标定条件的目标区域，包括：
在车辆行驶的过程中，至少通过所述图像采集装置获取所述车辆当前行驶道路的场景数据；
根据所述场景数据，确定所述车辆当前行驶道路上是否存在预设标志物；
若存在所述预设标志物，则确定所述车辆当前行驶道路上存在满足标定条件的目标区域。
可选地，所述方法还包括：
检测所述图像采集装置的位姿是否发生变化；
所述若所述图像质量评价值小于预设阈值，则根据所述全景图像和多帧图像，更新所述图像采集装置的目标参数，包括：
若所述图像质量评价值小于预设阈值，且所述图像采集装置的位姿发生变化，则根据所述全景图像和多帧图像，更新所述图像采集装置的目标参数。
可选地，所述检测所述图像采集装置的位姿是否发生变化，包括：
在第一预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
若所述次数大于预设次数，则确定所述图像采集装置的位姿发生变化。
可选地，所述检测所述图像采集装置的位姿是否发生变化，包括：
在第二预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
在所述次数大于预设次数时，通过SLAM技术检测所述图像采集装置的位姿是否发生变化。
可选地，所述方法还包括：
在检测到所述图像采集装置的位姿发生变化时，输出第一提示信息，以提示车主所述图像采集的位姿发生变化。
可选地，所述图像采集装置包括多个摄像头，所述方法还包括：
对每一摄像头所采集的图像进行图像质量评价；
若存在至少一个摄像头所采集的图像的图像质量评价值小于第二预设阈值，则输出第二提示信息，其中，所述第二提示信息包括所述图像质量评价值小于所述第二预设阈值的图像对应的摄像头的标识。
本公开第二方面提供一种全景***自动标定装置，包括：
第一获取模块，用于获取车辆的全景***当前输出的全景图像；
第一评价模块，用于对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值；
更新模块，用于若所述图像质量评价值小于第一预设阈值，则根据所述全景图像和多帧图像，更新所述车辆的图像采集装置的目标参数，其中，所述多帧图像为拼接成所述全景图像的图像；
拼接模块，用于按照所述目标参数，重新对所述多帧图像进行拼接，以得到更新后的全景图像；
驱动模块，用于驱动所述评价模块重新执行所述对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值的步骤，直至所述图像质量评价值大于或等于所述第一预设阈值；
标定模块，用于按照所述目标参数，对所述车辆的全景***进行标定。
可选地，所述装置还包括：
第一检测模块，用于在车辆行驶的过程中，检测所述车辆当前行驶道路上是否存在满足标定条件的目标区域；
第二获取模块，用于若所述车辆当前行驶道路上存在所述目标区域，则获取所述图像采集装置在当前时刻所采集的所述目标区域的多帧图像；
输入模块，用于将所述多帧图像输入至所述车辆的全景***，以得到所述全景图像。
可选地，所述第一检测模块包括：
获取子模块，用于在车辆行驶的过程中，至少通过所述图像采集装置获取所述车辆当前行驶道路的场景数据；
第一确定子模块，用于根据所述场景数据，确定所述车辆当前行驶道路上是否存在预设标志物；
第二确定子模块，用于若存在所述预设标志物，则确定所述车辆当前行驶道路上存在满足标定条件的目标区域。
可选地，所述装置还包括：
第二检测模块，用于检测所述图像采集装置的位姿是否发生变化；
所述更新模块，用于若所述图像质量评价值小于预设阈值，且所述图像采集装置的位姿发生变化，则根据所述全景图像和多帧图像，更新所述图像采集装置的目标参数。
可选地，所述第二检测模块包括：
第一统计子模块，用于在第一预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
第三确定子模块，用于若所述次数大于预设次数，则确定所述图像采集装置的位姿发生变化。
可选地，所述第二检测模块包括：
第二统计子模块，用于在第二预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
检测子模块，用于在所述次数大于预设次数时，通过SLAM技术检测所述图像采集装置的位姿是否发生变化。
可选地，所述装置还包括：
第一输出模块，用于在检测到所述图像采集装置的位姿发生变化时，输出第一提示信息，以提示车主所述图像采集的位姿发生变化。
可选地，所述图像采集装置包括多个摄像头，所述装置还包括：
第二评价模块，用于对每一摄像头所采集的图像进行图像质量评价；
第二输出模块，用于若存在至少一个摄像头所采集的图像的图像质量评价值小于第二预设阈值，则输出第二提示信息，其中，所述第二提示信息包括所述图像质量评价值小于所述第二预设阈值的图像对应的摄像头的标识。
本公开第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所提供的所述方法的步骤。
本公开第四方面还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所提供的所述方法的步骤。
通过上述技术方案，首先，对全景***当前输出的全景图像进行图像质量评价，接着，该全景图像的图像质量评价值小于第一预设阈值，则根据全景图像和多帧图像，更新车辆的图像采集装置的目标参数，并按照目标参数，重新对多帧图像进行拼接，以得到更新后的全景图像，然后，重新对该更新后的全景图像进行图像质量评价，直至图像质量评价值大于或等于第一预设阈值，最后，按照该目标参数，对车辆的全景***进行标定。即，可以根据全景图像的图像质量评价值自动确定是否更新图像采集装置的目标参数，并在更新目标参数之后，还可以对按照该更新后的目标参数生成的全景图像再次进行图像质量评价，以确定更新后的目标参数是否准确。如此，在全景图像的质量下降后，全景***控制器可以及时自动对全景***进行标定，恢复全景图像的质量，以避免因全景图像的质量下降，用户无法清楚地观察该车辆周围的场景，而导致发生安全事故。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种全景***自动标定方法的流程图。
图2是根据另一示例性实施例示出的一种全景***自动标定方法的流程图。
图3是根据另一示例性实施例示出的一种全景***自动标定方法的流程图。
图4是根据一示例性实施例示出的一种全景***自动标定装置的框图。
图5是根据一示例性实施例示出的一种电子设备的框图
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
配置有全景***的车辆，技术人员对其进行标定，是依据设置在车辆前后左右四个摄像头所拍摄的场景的图像进行标定的，如果用户在使用该车辆的过程中，任一摄像头的位置发生变化，其所拍摄图像的角度或范围将会发生变化，如果该车辆的全景***仍按照该车辆在生产线下线之前己完成的标定结果，将车辆前后左右四个摄像头所拍摄的场景的图像进行拼接，将会导致全景图像畸形，用户无法清楚地观察该车辆周围的场景，严重时会造成安全事故。
相关技术中，在车辆出厂后，若仍需要对全景***进行重新标定，则需要将车辆送至4S店中通过专业技术人员进行重新标定。具体地，技术人员会在地上简单地排放棋盘格，并执行一遍自动标定程序，对LUT进行更新，以使更新后的LUT符合该车辆当时的摄像头位置和角度。但是，由于4S店标定流程与原厂标定相比，存在光线、摆放位置、专业人员技术上的差异，导致效果会比原厂标定的效果差。
可见，采用上述方法对全景***进行标定时，会导致全景图像质量下降，出现重影、色彩和亮度不均匀，图像失真等现象。另外，只有在车辆保养的时候，才能对全景***进行重新标定，若在非保养期间摄像头发生松动，则不能及时对全景***进行矫正。并且，在4S店内进行标定，使得车辆保养成本较高。
鉴于此，本公开提供一种全景***自动标定方法、装置、可读存储介质及电子设备，以解决现有技术中存在的上述问题。
图1是根据一示例性实施例示出的一种全景***自动标定方法的流程图，该方法可以用于具有处理能力的电子设备，例如，该电子设备可以是整车控制器，全景***控制器，等等。如图1所示，该方法可以包括以下步骤。
在步骤101中，获取车辆的全景***当前输出的全景图像。
其中，该全景图像是全景***对多帧图像进行去畸变、投影、拼接、融合、色彩矫正的操作后生成的可以表征车辆四周场景的图像。
在步骤102中，对全景图像进行图像质量评价，以得到全景图像的图像质量评价值。
在本公开中，可以选用图像质量评价方法对步骤101中获取到的全景图像进行质量评价。其中，该图像质量评价方法可以是全参考图像质量评价方法，半参考图像质量评价方法，以及无参考图像质量评价方法。目前较为经典的图像质量评价方法有MSE(Mean-Square Error，均方误差)、SSIM(Structural Similarity Index，结构相似性)、FSIM(Feature Similarity，特征相似度)、BLINDS、BIQI等。本公开对图像质量评价方法不作具体限定。并且，由于该图像质量评价是目前较为成熟热门的技术，本公开对图像质量评价的具体方式不作详细说明。
在步骤103中，若图像质量评价值小于第一预设阈值，则根据全景图像和多帧图像，更新车辆的图像采集装置的目标参数。其中，该多帧图像为拼接成全景图像的图像。
为了表征多帧图像拼接成全景图像时的拼接效果，在本公开中预先设定第一预设阈值，该第一预设阈值为表征全景图像质量的参数。具体地，在该全景图像的图像质量评价值大于或等于第一预设阈值时，表征该全景图像的拼接效果较好，全景图像质量较好，车主可以通过该全景图像清楚明了地观察到车辆周围的场景；在该全景图像的图像质量评价值小于第一预设阈值时，表征该全景图像的拼接效果较差，不能清楚地反映车辆周围的场景，此时，需要对全景***进行重新标定，即，调整该车辆的图像采集装置的目标参数。
其中，图像采集装置可以包括摄像头、超声波雷达、毫米波雷达、激光雷达、IMU(Inertial Measurement Unit，惯性测量单元)传感器、GPS(Global Positioning System，全球定位***)传感器等等，本公开对图像采集装置不作具体限定。为了便于描述，本公开以图像采集装置为摄像头为例进行说明。
此外，目标参数可以是摄像头的位置、角度、内参等。考虑到全景***拼接的全景图像的效果主要与图像采集装置的位置、角度、摄像头的曝光度有关，因此，在本公开中，该目标参数可以包括目标位置、目标角度和目标曝光度。
需要说明的是，根据全景图像和多帧图像对车辆的图像采集装置的目标参数进行更新的方式属于本领域的公知常识，此处不再详细描述。
在步骤104中，按照该目标参数，重新对多帧图像进行拼接，以得到更新后的全景图像。
在步骤105中，重新执行对全景图像进行图像质量评价，以得到全景图像的图像质量评价值的步骤，直至图像质量评价值大于或等于第一预设阈值。
为了检测按照更新后的摄像头的目标参数所拼接成的全景图像的质量是否符合要求，在本公开中，在更新摄像头的目标参数之后，还需按照该更新后的目标参数，重新对多帧图像进行拼接，以得到更新后的全景图像，并对该更新后的全景图像进行图像质量评价，以确定该图像质量评价值是否大于或等于第一预设阈值。
若更新后的全景图像的图像质量评价值仍小于第一预设阈值，则继续更新目标参数、重新对多帧图像进行拼接得到更新后的全景图像、以及对全景图像进行图像质量评价的操作，直至所得到的图像质量评价值大于或等于第一预设阈值，结束更新目标参数。
在步骤106中，按照目标参数，对车辆的全景***进行标定。
在图像质量评价值大于或等于第一预设阈值时，表明全景***拼接形成的全景图像的质量满足要求，此时，可以结束对目标参数的更新，并将最后一次得到的目标参数确定为对车辆的全景***进行标定时所使用的参数。
采用上述技术方案，首先，对全景***当前输出的全景图像进行图像质量评价，接着，该全景图像的图像质量评价值小于第一预设阈值，则根据全景图像和多帧图像，更新车辆的图像采集装置的目标参数，并按照目标参数，重新对多帧图像进行拼接，以得到更新后的全景图像，然后，重新对该更新后的全景图像进行图像质量评价，直至图像质量评价值大于或等于第一预设阈值，最后，按照该目标参数，对车辆的全景***进行标定。即，可以根据全景图像的图像质量评价值自动确定是否更新图像采集装置的目标参数，并在更新目标参数之后，还可以对按照该更新后的目标参数生成的全景图像再次进行图像质量评价，以确定更新后的目标参数是否准确。如此，在全景图像的质量下降后，全景***控制器可以及时自动对全景***进行标定，恢复全景图像的质量，以避免因全景图像的质量下降，用户无法清楚地观察该车辆周围的场景，而导致发生安全事故。
为了便于更好的理解本公开所提供的全景***自动标定方法，下面以一个完整的实施例进行说明。
考虑到对全景***进行标定时需识别多帧图像中的特征点对，以及，对全景图像进行图像质量评价时需检测该特征点对在全景图像中的重合效果，因此，在本公开中，为了便于识别出多帧图像中的特征点对，在车辆行驶过程中，对车辆的全景***进行标定之前，还需检测车辆当前行驶道路上的场景数据，以确定该当前行驶道路上是否存在易于识别出特征点对的目标区域。
具体地，如图2所示，在步骤101之前，该方法还可以包括步骤107至109。
在步骤107中，在车辆行驶的过程中，检测车辆当前行驶道路上是否存在满足标定条件的目标区域。
具体地，检测是否存在满足标定条件的目标区域的具体实施方式可以是：首先，在车辆行驶过程中，至少通过图像采集装置获取车辆当前行驶道路的场景数据。其中，该场景数据可以是道路上的一些标志物的数据，示例地，其可以包括车道线的宽度，斑马线的宽度，栏杆的位置以及其高度、宽度等，柱子的位置以及其直径等。接着，根据场景数据，确定车辆当前行驶道路上是否存在预设标志物，该预设标志物可以是车道线、斑马线、车位、栏杆、柱子等有标志的物体。示例地，可以根据深度学习、图像处理以及SLAM技术(Simultaneous Localization and Mapping，同步定位与地图构建)等对场景数据进行分析，以确定该当前行驶道路上是否存在预设标志物。最后，若存在预设标志物，则确定车辆当前行驶道路上存在满足标定条件的目标区域。
此外，在车辆行驶过程中，至少通过图像采集装置获取车辆当前行驶道路的场景数据的具体实施方式有且不限于以下两种。
在第一种实施方式中，控制车辆上的图像采集装置拍摄当前行驶道路的场景图像，利用图像处理技术，从该场景图像中获取场景数据。在第二种实施方式中，为了提高所获取的场景数据的准确度，在控制车辆上的图像采集装置拍摄当前行驶道路的场景图像之后，可以从该场景图像中识别出表征该道路的标识，根据该标识在预设的数据库(例如，高精地图、网络图片)中查找到与该标识对应的场景数据。
在步骤108中，若车辆当前行驶道路上存在目标区域，则获取图像采集装置在当前时刻所采集的目标区域的多帧图像。
在步骤109中，将多帧图像输入至车辆的全景***，以得到全景图像。
在车辆当前行驶道路上存在目标区域，表征该当前行驶道路的图像中存在易于识别的特征点对，此时，可以执行检测全景图像质量的步骤，从而可以获取图像采集装置在当前时刻所采集的目标区域的多帧图像，并将该多帧图像输入至全景***中，以得到全景图像。
此外，如图3所示，该方法还可以包括步骤110。在步骤110中，检测图像采集装置的位姿是否发生变化。
在实际应用中，主要是由于摄像头发送松动，使得其的位置和角度发生变化，导致全景图像的质量下降，因此，在本公开中，在调整图像采集装置的目标参数之前，还需要检测图像采集装置的是否发生松动，即，检测图像采集装置的位姿是否发生变化。
在本公开中，可以通过检测在预设的时长内全景图像质量在调整后又急剧下降的频率来检测图像采集装置的位姿是否发生变化。示例地，若该频率较大则表明调整摄像头的目标参数之后，车辆上的摄像头的位置又发生了变化，仍需要重新对全景***进行标定，如此，可以认为车辆的摄像头出现了松动，即在车辆行驶过程中车辆的摄像头的位姿发生变化。
具体地，在一种实施方式中，在第一预设时长内，统计全景***输出的全景图像的图像质量评价值小于第一所述预设阈值的次数，若该次数大于预设次数，则确定图像采集装置的位姿发生变化。
在另一种实施方式中，在第二预设时长内，统计全景***输出的全景图像的图像质量评价值小于第一预设阈值的次数，在该次数大于预设次数时，通过SLAM技术检测图像采集装置的位姿是否发生变化。在该实施例中，在确定出图像质量评价值小于第一预设阈值的次数之后，还可以进一步通过SLAM技术来检测图像采集装置的位姿是否发生变化。
需要说明的是，还可以通过其他的方式来检测图像采集装置的位姿是否变化，本公开对此不作具体限定。
在按照上述方式中的任一方式检测到图像采集装置发生变化后，执行步骤1031。
在步骤1031中，若图像质量评价值小于预设阈值，且图像采集装置的位姿发生变化，则根据全景图像和多帧图像，更新图像采集装置的目标参数。
在该实施例中，若图像质量评价值小于预设阈值，则还可以进一步检测图像采集装置是否发生松动，进而在图像质量评价值小于预设阈值，并且图像采集装置的位姿发生变化时，根据全景图像和多帧图像，更新图像采集装置的目标参数。如此，在检测到全景图像质量下降时还可以进一步确定导致该全景图像质量下降的原因，进而有针对性地进行调整，以得到质量较好的全景图像。
此外，如图3所示，在检测到图像采集装置发生变化后，还可以执行步骤111。
在步骤111中，在检测到图像采集装置的位姿发生变化时，输出第一提示信息，以提示车主图像采集的位姿发生变化。
在该实施例中，为了使车主及时获知该图像采集装置发生松动，进而及时维修，在检测到图像采集装置的位姿发生变化时，还可以输出第一提示信息，以提示车主图像采集装置的位姿发生变化。
进一步地，图像采集装置可以包括多个图像采集部件，为了进一步确定出该多个图像采集部件中哪些部件出现异常，在本公开中，还可以对每一个图像采集部件采集的图像进行图像质量评价。具体地，该图像采集装置包括多个摄像，对每一摄像头所采集的图像进行图像质量评价，若存在至少一个摄像头所采集的图像的图像质量评价值小于第二预设阈值，则输出第二提示信息，其中，第二提示信息可以包括图像质量评价值小于第二预设阈值的图像对应的摄像头的标识。
此外，上述第二预设阈值可以小于第一预设阈值，如此，在某一摄像头所采集的图像的图像质量评价值小于该第二预设阈值时，可认为该图像质量无法通过调整摄像头的目标参数有效改善，此时，可认为该摄像头出现故障，需要更换摄像头。并且，由于该第二提示信息中包括出现故障的摄像头的标识，因此，车主在接收到该第二提示信息之后，可以及时获知出现故障的摄像头，进而可以及时更换摄像头。
基于同一发明构思，本公开还提供一种全景***自动标定装置。图4是根据一示例性实施例示出的一种全景***自动标定装置的框图。该装置可以包括：
第一获取模块401，用于获取车辆的全景***当前输出的全景图像；
第一评价模块402，用于对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值；
更新模块403，用于若所述图像质量评价值小于第一预设阈值，则根据所述全景图像和多帧图像，更新所述车辆的图像采集装置的目标参数，其中，所述多帧图像为拼接成所述全景图像的图像；
拼接模块404，用于按照所述目标参数，重新对所述多帧图像进行拼接，以得到更新后的全景图像；
驱动模块405，用于驱动所述评价模块重新执行所述对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值的步骤，直至所述图像质量评价值大于或等于所述第一预设阈值；
标定模块406，用于按照所述目标参数，对所述车辆的全景***进行标定。
可选地，所述装置还可以包括：
第一检测模块，用于在车辆行驶的过程中，检测所述车辆当前行驶道路上是否存在满足标定条件的目标区域；
第二获取模块，用于若所述车辆当前行驶道路上存在所述目标区域，则获取所述图像采集装置在当前时刻所采集的所述目标区域的多帧图像；
输入模块，用于将所述多帧图像输入至所述车辆的全景***，以得到所述全景图像。
可选地，所述第一检测模块可以包括：
获取子模块，用于在车辆行驶的过程中，至少通过所述图像采集装置获取所述车辆当前行驶道路的场景数据；
第一确定子模块，用于根据所述场景数据，确定所述车辆当前行驶道路上是否存在预设标志物；
第二确定子模块，用于若存在所述预设标志物，则确定所述车辆当前行驶道路上存在满足标定条件的目标区域。
可选地，所述装置还可以包括：
第二检测模块，用于检测所述图像采集装置的位姿是否发生变化；
所述更新模块，用于若所述图像质量评价值小于预设阈值，且所述图像采集装置的位姿发生变化，则根据所述全景图像和多帧图像，更新所述图像采集装置的目标参数。
可选地，所述第二检测模块可以包括：
第一统计子模块，用于在第一预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
第三确定子模块，用于若所述次数大于预设次数，则确定所述图像采集装置的位姿发生变化。
可选地，所述第二检测模块可以包括：
第二统计子模块，用于在第二预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
检测子模块，用于在所述次数大于预设次数时，通过SLAM技术检测所述图像采集装置的位姿是否发生变化。
可选地，所述装置还可以包括：
第一输出模块，用于在检测到所述图像采集装置的位姿发生变化时，输出第一提示信息，以提示车主所述图像采集的位姿发生变化。
可选地，所述图像采集装置包括多个摄像头，所述装置还可以包括：
第二评价模块，用于对每一摄像头所采集的图像进行图像质量评价；
第二输出模块，用于若存在至少一个摄像头所采集的图像的图像质量评价值小于第二预设阈值，则输出第二提示信息，其中，所述第二提示信息包括所述图像质量评价值小于所述第二预设阈值的图像对应的摄像头的标识。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备500的框图。如图5所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。
其中，处理器501用于控制该电子设备500的整体操作，以完成上述的全景***自动标定方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的全景***自动标定方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的全景***自动标定方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的全景***自动标定方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的全景***自动标定方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种全景***自动标定方法，其特征在于，包括：
获取车辆的全景***当前输出的全景图像；
对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值；
检测图像采集装置的位姿是否发生变化；
若所述图像质量评价值小于第一预设阈值，且所述图像采集装置的位姿发生变化，则根据所述全景图像和多帧图像，更新所述车辆的图像采集装置的目标参数，其中，所述多帧图像为拼接成所述全景图像的图像；
按照所述目标参数，重新对所述多帧图像进行拼接，以得到更新后的全景图像；
重新执行所述对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值的步骤，直至所述图像质量评价值大于或等于所述第一预设阈值；
按照所述目标参数，对所述车辆的全景***进行标定。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在车辆行驶的过程中，检测所述车辆当前行驶道路上是否存在满足标定条件的目标区域；
若所述车辆当前行驶道路上存在所述目标区域，则获取所述图像采集装置在当前时刻所采集的所述目标区域的多帧图像；
将所述多帧图像输入至所述车辆的全景***，以得到所述全景图像。
3.根据权利要求2所述的方法，其特征在于，所述在车辆行驶的过程中，检测所述车辆当前行驶道路上是否存在满足标定条件的目标区域，包括：
在车辆行驶的过程中，至少通过所述图像采集装置获取所述车辆当前行驶道路的场景数据；
根据所述场景数据，确定所述车辆当前行驶道路上是否存在预设标志物；
若存在所述预设标志物，则确定所述车辆当前行驶道路上存在满足标定条件的目标区域。
4.根据权利要求1所述的方法，其特征在于，所述检测图像采集装置的位姿是否发生变化，包括：
在第一预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
若所述次数大于预设次数，则确定所述图像采集装置的位姿发生变化。
5.根据权利要求1所述的方法，其特征在于，所述检测图像采集装置的位姿是否发生变化，包括：
在第二预设时长内，统计所述全景***输出的全景图像的图像质量评价值小于所述第一预设阈值的次数；
在所述次数大于预设次数时，通过SLAM技术检测所述图像采集装置的位姿是否发生变化。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在检测到所述图像采集装置的位姿发生变化时，输出第一提示信息，以提示车主所述图像采集的位姿发生变化。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述图像采集装置包括多个摄像头，所述方法还包括：
对每一摄像头所采集的图像进行图像质量评价；
若存在至少一个摄像头所采集的图像的图像质量评价值小于第二预设阈值，则输出第二提示信息，其中，所述第二提示信息包括所述图像质量评价值小于所述第二预设阈值的图像对应的摄像头的标识。
8.一种全景***自动标定装置，其特征在于，包括：
第一获取模块，用于获取车辆的全景***当前输出的全景图像；
第一评价模块，用于对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值；
更新模块，用于检测图像采集装置的位姿是否发生变化；若所述图像质量评价值小于第一预设阈值，且所述图像采集装置的位姿发生变化，则根据所述全景图像和多帧图像，更新所述图像采集装置的目标参数，其中，所述多帧图像为拼接成所述全景图像的图像；
拼接模块，用于按照所述目标参数，重新对所述多帧图像进行拼接，以得到更新后的全景图像；
驱动模块，用于驱动所述评价模块重新执行所述对所述全景图像进行图像质量评价，以得到所述全景图像的图像质量评价值的步骤，直至所述图像质量评价值大于或等于所述第一预设阈值；
标定模块，用于按照所述目标参数，对所述车辆的全景***进行标定。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911054090.1A CN110706282B (zh) | 2019-10-31 | 2019-10-31 | 全景***自动标定方法、装置、可读存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911054090.1A CN110706282B (zh) | 2019-10-31 | 2019-10-31 | 全景***自动标定方法、装置、可读存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110706282A CN110706282A (zh) | 2020-01-17 |
| CN110706282B true CN110706282B (zh) | 2020-09-15 |
Family
ID=69203248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911054090.1A Active CN110706282B (zh) | 2019-10-31 | 2019-10-31 | 全景***自动标定方法、装置、可读存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110706282B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652938B (zh) * | 2020-04-10 | 2024-03-19 | 摩登汽车(盐城)有限公司 | 自动泊车标定方法和*** |
| CN111885373B (zh) * | 2020-06-29 | 2022-08-19 | 广州四为电子科技有限公司 | 一种用于产品测试视频链路的自动检测方法及装置 |
| CN111953939B (zh) * | 2020-07-31 | 2021-06-22 | 中标慧安信息技术股份有限公司 | 提高监控视频存证正确率的方法及*** |
| CN111967370B (zh) * | 2020-08-12 | 2021-12-07 | 广州小鹏自动驾驶科技有限公司 | 一种交通灯识别的方法和装置 |
| CN112783995B (zh) * | 2020-12-31 | 2022-06-03 | 杭州海康机器人技术有限公司 | 一种v-slam地图校验方法、装置及设备 |
| CN113194309B (zh) * | 2021-06-02 | 2022-11-08 | 重庆渝微电子技术研究院有限公司 | 一种360度全景环视设备成像质量评估方法 |
| CN113470116B (zh) * | 2021-06-16 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 对摄像装置标定数据的验证方法、装置、设备及存储介质 |
| CN113628160B (zh) * | 2021-06-30 | 2023-08-08 | 中汽研汽车检验中心（天津）有限公司 | 汽车全景影像监测***平面拼接视图拼接质量测评方法 |
| CN113259597B (zh) * | 2021-07-16 | 2021-11-02 | 上海豪承信息技术有限公司 | 图像处理方法、装置、设备、介质及程序产品 |
| US20230024474A1 (en) * | 2021-07-20 | 2023-01-26 | Nvidia Corporation | Stitching quality assessment for surround view systems |
| CN114549321A (zh) * | 2022-02-25 | 2022-05-27 | 小米汽车科技有限公司 | 图像处理方法和装置、车辆、可读存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469387B (zh) * | 2015-11-13 | 2018-11-30 | 深圳进化动力数码科技有限公司 | 一种拼接质量的量化方法和量化装置 |
| CN105447865B (zh) * | 2015-11-23 | 2018-06-01 | 深圳进化动力数码科技有限公司 | 一种评估全景拼接算法静态拼接质量的方法和装置 |
| CN105608693B (zh) * | 2015-12-18 | 2018-08-28 | 上海欧菲智能车联科技有限公司 | 车载全景环视的标定***及方法 |
| GB2556344A (en) * | 2016-10-17 | 2018-05-30 | Nctech Ltd | Camera controller |
| CN107154022B (zh) * | 2017-05-10 | 2019-08-27 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
| CN108198133B (zh) * | 2017-12-06 | 2021-09-17 | 云南联合视觉科技有限公司 | 一种车辆全景图像快速拼接方法 |
| CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视***及全景环视图像生成方法 |
| CN109166151B (zh) * | 2018-07-27 | 2022-06-24 | 深圳六滴科技有限公司 | 全景相机的远程标定方法、装置、计算机设备和存储介质 |
| CN109712196B (zh) * | 2018-12-17 | 2021-03-30 | 北京百度网讯科技有限公司 | 摄像头标定处理方法、装置、车辆控制设备及存储介质 |
-
2019
- 2019-10-31 CN CN201911054090.1A patent/CN110706282B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110706282A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110706282B (zh) | 全景***自动标定方法、装置、可读存储介质及电子设备 | |
| CN112965503B (zh) | 多路摄像头融合拼接方法、装置、设备及存储介质 | |
| US20220284629A1 (en) | System and method of calibrating an optical sensor mounted on board of a vehicle | |
| US10204277B2 (en) | Electronic device, traveling lane identifying system, and traveling lane identifying method | |
| WO2016056197A1 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
| Goldbeck et al. | Lane detection and tracking by video sensors | |
| CN110796711B (zh) | 全景***标定方法、装置、计算机可读存储介质及车辆 | |
| CN108860045B (zh) | 驾驶辅助方法、驾驶辅助装置及存储介质 | |
| EP3816967A1 (en) | Automatic parking method, apparatus and system, and vehicle | |
| US11244173B2 (en) | Image display apparatus | |
| JP2008530667A (ja) | 赤外画像と可視画像との融合により車両の周辺を可視化するための方法および装置 | |
| JP2009085651A (ja) | 画像処理システム | |
| CN110378836B (zh) | 获取对象的3d信息的方法、***和设备 | |
| US10996469B2 (en) | Method and apparatus for providing driving information of vehicle, and recording medium | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN111169381A (zh) | 一种车辆影像显示方法、装置、车辆和存储介质 | |
| CN105809669A (zh) | 一种用于校准图像检测设备的方法和装置 | |
| DE102017223284A1 (de) | Verfahren zum assistierten Betreiben eines Fahrzeugs und Fahrzeugassistentsystem | |
| CN112001208A (zh) | 用于车辆盲区的目标检测方法、装置和电子设备 | |
| CN112330755A (zh) | 环视***的标定评价方法及装置、存储介质、终端 | |
| US20160050342A1 (en) | Image processing apparatus | |
| US20220157088A1 (en) | Automotive sensor calibration system and related methodology | |
| WO2019053929A1 (ja) | 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム | |
| DE102006051539A1 (de) | Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen | |
| CN113614810A (zh) | 图像处理装置、车辆控制装置、方法和程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |