CN112215033B - 车辆全景环视图像的生成方法、装置、***及存储介质 - Google Patents

车辆全景环视图像的生成方法、装置、***及存储介质 Download PDF

Info

Publication number
CN112215033B
CN112215033B CN201910616903.5A CN201910616903A CN112215033B CN 112215033 B CN112215033 B CN 112215033B CN 201910616903 A CN201910616903 A CN 201910616903A CN 112215033 B CN112215033 B CN 112215033B
Authority
CN
China
Prior art keywords
scene
information
image
vehicle
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910616903.5A
Other languages
English (en)
Other versions
CN112215033A (zh
Inventor
王泽文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910616903.5A priority Critical patent/CN112215033B/zh
Publication of CN112215033A publication Critical patent/CN112215033A/zh
Application granted granted Critical
Publication of CN112215033B publication Critical patent/CN112215033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车辆全景环视图像的生成方法及、装置、***及存储介质，属于车辆技术领域。所述方法包括：若检测到车辆从所处的第一场景切换为第二场景，则基于第一场景信息和第二场景信息，确定残差场景信息，第一场景信息包括车辆周围的第一场景图像，第二场景信息包括车辆周围的第二场景图像；基于残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，基于第二场景图像和第二立体场景模型，确定第二场景中所述车辆的全景环视图像。本申请可以自适应地根据动态场景信息对立体场景模型更新，得到能够适应场景变化的动态立体场景模型，有效避免了基于固定立体场景模型生成全景环视图像时导致的物体出现严重拉伸变形的问题。

Description

车辆全景环视图像的生成方法、装置、***及存储介质
技术领域
本申请涉及车辆技术领域，特别涉及一种车辆全景环视图像的生成方法、装置、***及存储介质。
背景技术
车辆的全景环视图像是指能够展示车辆周围360度景象的全景图，可以通过对设置在车辆周围的多个摄像头采集的图像进行处理，以将采集的多张图像映射到三维空间中得到。通过车辆的全景环视图像，驾驶员能够直观地查看车辆周边各个角度是否存在障碍物，并了解障碍物的相对方位与距离，从而可以扩大驾驶员的视野，有效减少刮蹭、碰撞、陷落等事故的发生。
相关技术中，通常基于固定的立体场景模型，来生成车辆的全景环视图像。具体地，当车辆处于低速行驶状态或停车状态时，可以获取车辆所处场景的场景信息，该场景信息包括设置在车辆周围的多个摄像头采集的车辆周围的场景图像。然后，基于获取的场景信息，构建一个用于在三维空间中表征当前场景的立体场景模型，并基于场景图像和摄像参数，确定场景图像与实际场景之间的空间映射关系，再基于该空间映射关系，将场景图像映射到该立体场景模型中，即可得到车辆在当前场景下的全景环视图像。而且，在此之后将已构建的立体场景模型作为一个固定的立体场景模型，并将之后任一时刻获取到的场景图像，映射到该立体场景模型中，得到任一时刻场景下该车辆的全景环视图像。
但是，车辆所处的场景并不是固定不变的，在所处场景发生变化后，如果仍将变化后的场景图像映射到原来的固定立体场景模型中，由于固定立体场景模型仅能用于在三维空间中表征变化前的场景，并不能准确表征变化后的场景，因此，将会导致得到的全景环视图像中物体出现严重的拉伸和变形。
发明内容
本申请实施例提供了一种车辆全景环视图像的生成方法、装置、***及存储介质，可以用于解决相关技术中存在的基于固定立体场景模型生成全景环视图像时，容易导致图像中物体出现严重拉伸和变形的问题。所述技术方案如下：
一方面，提供了一种车辆全景环视图像的生成方法，所述方法包括：
若检测到车辆从所处的第一场景切换为第二场景，则基于第一场景信息和第二场景信息，确定残差场景信息；
其中，所述残差场景信息用于指示所述第二场景相对于所述第一场景的场景变化情况，所述第一场景信息包括所述车辆周围的第一场景图像，所述第二场景信息包括所述车辆周围的第二场景图像；
基于所述残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，所述第一立体场景用于在三维空间中表征所述第一场景，所述第二立体场景模型用于在三维空间中表征所述第二场景；
基于所述第二场景图像和所述第二立体场景模型，确定所述第二场景中所述车辆的全景环视图像。
可选地，所述基于第一场景信息和第二场景信息，确定残差场景信息，包括：
基于所述第二场景信息，确定第二点云信息，所述第二点云信息用于指示所述第二场景在三维空间的坐标集合；
确定所述第二点云信息与第一点云信息之间的残差，得到残差点云信息，所述第一点云信息用于指示所述第一场景在三维空间的坐标集合；
将所述残差点云信息确定为所述残差场景信息。
可选地，所述基于所述残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，包括：
对所述残差场景信息进行量化，得到量化后的残差场景信息；
基于所述量化后的残差场景信息，对所述第一立体场景模型进行更新，得到所述第二立体场景模型。
可选地，所述残差场景信息为残差点云信息，所述残差点云信息是指第二点云信息与第一点云信息之间的残差，所述第一点云信息用于指示所述第一场景在三维空间的坐标集合，所述第二点云信息用于指示所述第二场景在三维空间的坐标集合；
所述对所述残差场景信息进行量化，得到量化后的残差场景信息，包括：
对所述残差点云信息进行量化，得到量化后的残差点云信息；
所述基于所述量化后的残差场景信息，对所述第一立体场景模型进行更新，得到所述第二立体场景模型，包括：
将所述量化后的残差点云信息与所述第一立体场景模型进行求和，得到所述第二立体场景模型。
可选地，所述基于所述第二场景图像和所述第二立体场景模型，确定所述第二场景中所述车辆的全景环视图像，包括：
获取所述第一场景图像与实际场景之间的第一空间映射关系；
基于所述残差场景信息和摄像参数，确定第一子图像与实际场景之间的第二空间映射关系，所述第一子图像是指所述第二场景图像中与变化场景对应的部分图像，所述变化场景是指所述第二场景相对于所述第一场景发生变化的部分场景；
基于所述第一映射关系和所述第二映射关系，将所述第二场景图像映射到所述第二立体场景模型中，得到所述第二场景中所述车辆的全景环视图像。
可选地，所述基于所述第一映射关系和所述第二映射关系，将所述第二场景图像映射到所述第二立体场景模型中，包括：
基于所述第一映射关系，将所述第二场景图像中的第二子图像映射到所述第二立体场景模型中，所述第二子图像是指所述第二场景图像中与未变化场景对应的部分图像，所述未变化场景是指所述第二场景相对于所述第一场景未发生变化的部分场景；
基于所述第二映射关系，将所述第二场景图像中的所述第一子图像映射到所述第二立体场景模型中。
可选地，所述基于第一场景信息和第二场景信息，确定残差场景信息之前，还包括：
获取所述车辆所处的第一场景对应的所述第一场景信息；
基于所述第一场景信息，构建所述第一立体场景模型；
基于所述第一场景信息和摄像参数，确定所述第一场景图像与实际场景之间的第一空间映射关系。
可选地，所述基于所述第一场景信息和摄像参数，确定所述第一场景图像与实际场景之间的第一空间映射关系之后，还包括：
基于所述第一空间映射关系，将所述第一场景图像映射到所述第一立体场景模型中，得到所述第一场景中所述车辆的全景环视图像。
一方面，提供了一种车辆全景环视图像的生成装置，所述装置包括：
第一确定模块，用于若检测到车辆从所处的第一场景切换为第二场景，则基于第一场景信息和第二场景信息，确定残差场景信息；
其中，所述残差场景信息用于指示所述第二场景相对于所述第一场景的场景变化情况，所述第一场景信息包括所述车辆周围的第一场景图像，所述第二场景信息包括所述车辆周围的第二场景图像；
更新模块，用于基于所述残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，所述第一立体场景用于在三维空间中表征所述第一场景，所述第二立体场景模型用于在三维空间中表征所述第二场景；
第二确定模块，用于基于所述第二场景图像和所述第二立体场景模型，确定所述第二场景中所述车辆的全景环视图像。
可选地，所述第一确定模块用于：
基于所述第二场景信息，确定第二点云信息，所述第二点云信息用于指示所述第二场景在三维空间的坐标集合；
确定所述第二点云信息与第一点云信息之间的残差，得到残差点云信息，所述第一点云信息用于指示所述第一场景在三维空间的坐标集合；
将所述残差点云信息确定为所述残差场景信息。
可选地，所述更新模块包括：
量化单元，用于对所述残差场景信息进行量化，得到量化后的残差场景信息；
更新单元，用于基于所述量化后的残差场景信息，对所述第一立体场景模型进行更新，得到所述第二立体场景模型。
可选地，所述残差场景信息为残差点云信息，所述残差点云信息是指第二点云信息与第一点云信息之间的残差，所述第一点云信息用于指示所述第一场景在三维空间的坐标集合，所述第二点云信息用于指示所述第二场景在三维空间的坐标集合；
所述量化单元，用于对所述残差点云信息进行量化，得到量化后的残差点云信息；
所述更新单元，用于将所述量化后的残差点云信息与所述第一立体场景模型进行求和，得到所述第二立体场景模型。
可选地，所述第二确定模块包括：
获取单元，用于获取所述第一场景图像与实际场景之间的第一空间映射关系；
确定单元，用于基于所述残差场景信息和摄像参数，确定第一子图像与实际场景之间的第二空间映射关系，所述第一子图像是指所述第二场景图像中与变化场景对应的部分图像，所述变化场景是指所述第二场景相对于所述第一场景发生变化的部分场景；
映射单元，用于基于所述第一映射关系和所述第二映射关系，将所述第二场景图像映射到所述第二立体场景模型中，得到所述第二场景中所述车辆的全景环视图像。
可选地，所述映射单元用于：
基于所述第一映射关系，将所述第二场景图像中的第二子图像映射到所述第二立体场景模型中，所述第二子图像是指所述第二场景图像中与未变化场景对应的部分图像，所述未变化场景是指所述第二场景相对于所述第一场景未发生变化的部分场景；
基于所述第二映射关系，将所述第二场景图像中的所述第一子图像映射到所述第二立体场景模型中。
可选地，所述装置还包括：
获取模块，用于获取所述车辆所处的第一场景对应的所述第一场景信息；
构建模块，用于基于所述第一场景信息，构建所述第一立体场景模型；
第三确定模块，用于基于所述第一场景信息和摄像参数，确定所述第一场景图像与实际场景之间的第一空间映射关系。
可选地，所述装置还包括：
映射模块，用于基于所述第一空间映射关系，将所述第一场景图像映射到所述第一立体场景模型中，得到所述第一场景中所述车辆的全景环视图像。
一方面，提供了一种车辆全景环视***，所述***包括感知元件、处理器和显示器，所述感知器件包括设置在车辆周围的多个摄像头；
所述感知元件，用于采集所述车辆所处场景的场景信息，所述场景信息包括所述车辆周围的场景图像；
所述处理器，用于实现上述任一项所述的车辆全景环视图像的生成方法；
所述显示器，用于显示所述车辆的全景环视图像。
可选地，所述感知器件还包括设置在所述车辆上的距离传感器，所述距离传感器包括光学距离传感器、红外距离传感器和超声波距离传感器中的至少一种。
一方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行上述任一项所述的车辆全景环视图像的生成方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例中，若检测到车辆从所处的第一场景切换为第二场景，则可以基于第一场景信息和第二场景信息，来确定能够指示第二场景相对于第一场景的场景变化情况的残差场景信息，然后基于残差场景信息，对第一场景对应的第一立体场景模型进行更新，从而得到适应第二场景的第二立体场景模型，再基于第二场景图像和第二立体场景模型，确定第二场景中车辆的全景环视图像。也即是，本申请可以自适应地根据动态变化的场景信息对立体场景模型进行更新，得到能够适应场景变化的动态立体场景模型，之后，基于变化后的场景信息和动态立体场景模型，即可生成能够准确反映场景变化的全景环视图像，有效避免了基于固定立体场景模型生成全景环视图像时导致的图像中物体出现严重拉伸和变形的问题。另外，由于基于残差场景信息对第一立体场景模型进行更新时，只需要对发生变化的部分场景进行更新，对未发生变化的部分场景则不需要更新，因此提高了模型更新效率，进而提高了全景环视图像的生成效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种全景环视***的示意图；
图2是本申请实施例提供的一种全景环视***的示意图；
图3是本申请实施例提供的一种车辆全景环视图像的生成方法的流程图；
图4是本申请实施例提供的一种立体场景模型重建过程的示意图；
图5是本申请实施例提供的一种点云信息量化前后的对比示意图；
图6是本申请实施例提供的一种全景环视图像生成过程的示意图；
图7是本申请实施例提供的一种车辆全景环视图像的生成装置框图；
图8是本申请实施例提供的一种车辆全景环视图像的生成装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前，先对本申请实施例的应用场景予以说明。
本申请实施例提供的车辆全景环视图像的生成方法可以应用于驾驶员驾驶车辆时，需要查看车辆周围环境的场景中。示例的，可以应用于倒车、山路行驶、弯道行驶或拥堵行驶等特殊驾驶场景中，当然也可以应用于正常驾驶场景中，本申请实施例对此不做限定。
例如，在狭隘拥堵的市区和停车场等容易出现碰撞和刮蹭事件的场景中，为扩大驾驶员视野，也就可以通过本申请实施例提供的方法生成车辆的全景环视图，并将全景环视图展示给驾驶员，以便驾驶员能够更加清楚直观地感知车辆周围360°全方位的环境，避免视野盲点，进而避免碰撞和刮蹭。
接下来，对本申请实施例涉及的实施环境进行简单介绍。
图1是本申请实施例提供的一种实施环境的示意图，参见图1，该实施环境包括安装在车辆上的车载环视***100。车载环视***100包括但不限于感知元件110和车载环视设备120，车载环视设备120可以包括通信元件121、处理器122和显示器123。
感知元件110可以包括但不限于摄像头、光学传感器、红外传感器、超声波传感器、里程计、轮脉冲等。感知元件110可以获取车辆四周的多张拍摄图像、周围的物体信息、车辆的速度或车辆的车轮转角等信息。作为一种示例，光学传感器可以为激光传感器，超声波传感器可以为雷达。示例性地，参见图2，感知元件110包括的摄像头可以是安装在车辆四周的摄像头11、摄像头12、摄像头13和摄像头14。感知元件110可以通过这4个摄像头在同一时刻拍摄车辆四周的4张拍摄图像。
通信元件121用于将感知元件110获取的包括车辆四周的多张拍摄图像的场景信息传输至处理器122。可选地，通信元件121还可以将用户发送的指令信息传输至处理器122。其中，当显示器123为可触摸的电阻式显示器或电容式显示器时，用户可以通过点击或滑动显示界面，选择需要显示的图像，从而触发指令信息。
处理器122在接收到场景信息后，可以按照本申请实施例提供的方法，生成车辆的全景环视图像。示例性地，处理器122可以是一个通用中央处理器(Central ProcessingUnit，CPU)、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)，或者可以是一个或多个用于控制本申请方案程序执行的集成电路。
显示器123用于显示生成的全景环视图像等。示例性地，显示器123可以是电阻式显示器、电容式显示器、液晶显示器(liquid crystal display，LCD)、发光二级管(lightemitting diode，LED)显示器、阴极射线管(cathode ray tube，CRT)显示器或投影仪(projector)等。
接下来，本申请实施例提供的车辆全景环视图像的生成方法进行详细介绍。图3是本申请实施例提供的一种车辆全景环视图像的生成方法的流程图，该方法可以应用于图1所示的车载环视设备中，如图3所示，该方法包括如下步骤：
步骤301：获取车辆所处的第一场景对应的第一场景信息，第一场景信息包括车辆周围的第一场景图像。
所述车辆为待获取全景环视图像的车辆，具体可以为汽车、货车或客车等。车辆所处的第一场景是指车辆周围的环境。
第一场景信息是指第一场景的场景信息，用于指示第一场景，其至少包括车辆周围的第一场景图像。第一场景图像可以为车辆的环视图像，比如通过设置在车辆周围的多个摄像头采集的图像。另外，第一场景信息还可以包括通过设置在车辆上的距离传感器采集的物体信息，基于该物体信息可以获取车辆周围的物体的距离和角度。
在一些示例中，车辆周围安装有多个摄像头，且车辆上还安装有雷达，该车载环视设备可以获取该多个摄像头采集的车辆周围的场景图像和雷达信息，将获取的场景图像和雷达信息作为第一场景信息。
在一些示例中，可以实时地、周期地或者在满足信息获取条件时，获取车辆的第一场景信息。示例的，该信息获取条件可以为车辆处于静止状态或低速行驶状态等，或者为检测到全景环视功能启动等。
步骤302：基于第一场景信息，构建第一立体场景模型，第一立体场景用于在三维空间中表征第一场景。
基于获取的第一场景信息，可以先构建第一场景对应的第一立体场景模型。
在一些示例中，可以基于第一场景信息，确定第一点云信息，第一点云信息是指第一场景的点云信息，然后基于第一点云信息，构建第一立体场景模型。第一点云信息用于指示第一场景在三维空间的坐标集合，即指示第一立体场景模型的坐标集合，因此，基于第一点云信息，即可构建得到第一立体场景模型。
在一种可能实现方式中，可以基于第一场景信息，通过运动结构恢复技术恢复出第一点云信息。当然，也可以通过其他方式确定第一点云信息，本申请实施例对此不作限定。
在一些示例中，得到第一点云信息之后，还可以对第一点云信息进行量化，得到量化后的第一点云信息，然后基于量化后的第一点云信息，构建第一立体场景模型。通过对第一点云信息进行量化处理，可以降低第一场景对应的点云密度，过滤掉点云奇异点，使得点云分布的更加均匀。在一种可能实现方式中，可以通过对第一点云信息进行平滑采样等处理，来对第一点云信息进行量化。
示例的，第一点云信息包括的任一坐标点通常包括3个维度的坐标值，如x轴、y轴和z轴的坐标值，在对任一坐标点进行量化时，需要对该坐标的每个维度的坐标值进行量化。例如，对于每个维度的坐标值，可以预先设置坐标值与量化后的坐标值之间的对应关系，然后根据每个维度的坐标值和该对应关系，确定每个维度的坐标值的量化后的坐标值。其中，该对应关系包括多个坐标区间以及每个坐标区间对应的量化后的坐标值，每个坐标区间对应的量化后的坐标值通常为该坐标区间中的某个特定坐标值，比如可以为位于该坐标区间的头部位置、中间位置或尾部位置的坐标值，或者为该坐标区间的坐标均值等。
示例的，对于第一点云信息包括的任一坐标点A(x，y，z)，可以通过如下公式对坐标点A的各个维度的坐标值进行处理，分别得到在x轴、y轴和z轴上量化后的坐标值：
x轴坐标的量化：
其中，x为量化前的x轴坐标值；xth0，xth1，xth2，…，xthn为预先针对x轴设置的n+1个阈值，用于将x轴坐标划分为多个坐标区间；X为量化后的x轴坐标值。
y轴坐标的量化：
其中，y为量化前的y轴坐标值；yth0，yth1，yth2…，ythn为预先针对y轴设置的n+1个阈值，用于将y轴坐标划分为多个坐标区间；Y为量化后的y轴坐标值。
z轴坐标的量化：
其中，z为量化前的z轴坐标值；zth0，zth1，zth2…，zthn为预先针对z轴设置的n+1个阈值，用于将z轴坐标划分为多个坐标区间；Z为量化后的z轴坐标值。
步骤303：基于第一场景信息和摄像参数，确定第一场景图像与实际场景之间的第一空间映射关系。
第一空间映射关系是指第一场景图像与实际场景之间的空间映射关系，用于指第一场景图像中的某个点映射在实际场景空间的哪个位置。摄像参数用于指示实际场景与场景图像之间的成像原理，基于该成像原理，可以确定第一场景图像与实际场景之间的第一空间映射关系。例如，摄像参数可以为拍摄第一场景图像的摄像头的参数。
在一些示例中，摄像参数包括内参和外参，内参用于指示图像空间与相机空间之间的空间映射关系，外参用于指示相机空间与实际空间之间的空间映射关系，因此，基于第一场景信息、内参和外参，即可得到该第一空间映射关系。
在一些示例中，在步骤303之后，还可以基于第一空间映射关系，将第一场景图像映射到第一立体场景模型中，得到第一场景中车辆的全景环视图像。
步骤304：若检测到车辆从所处的第一场景切换为第二场景，则基于第一场景信息和第二场景信息，确定残差场景信息，残差场景信息用于指示第二场景相对于第一场景的场景变化情况，第二场景信息包括车辆周围的第二场景图像。
本申请实施例中，当检测到车辆所处的场景发生变化时，可以获取变化后的场景信息，并计算变化后的场景信息与变化前的场景信息之间的残差场景信息，然后基于残差场景信息对变化前的第一立体场景模型进行更新，得到能够适应变化后场景的第二立体场景模型。
在一些示例中，可以先基于第二场景信息，确定第二点云信息，然后确定第二点云信息与第一点云信息之间的残差点云信息，将残差点云信息确定为残差场景信息。其中，第一点云信息用于指示第一场景在三维空间的坐标集合，第二点云信息用于指示第二场景在三维空间的坐标集合。
步骤305：基于残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，第一立体场景用于在三维空间中表征第一场景，第二立体场景模型用于在三维空间中表征第二场景。
基于残差场景信息进行模型更新的优势是当场景变化较小时，只需要更新立体场景模型中发生变化的小部分，没有发生变化的部分则不需要更新，如此，可以提高模型更新速度，进而提高全景环视图像的生成效率。
在一些示例中，还可以先对残差场景信息进行量化，得到量化后的残差场景信息，然后基于量化后的残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型。通过对残差场景信息进行量化，可以过滤掉奇异场景信息，使得残差场景信息更加平滑和均匀。
在一种可能的实现方式中，若残差场景信息为残差点云信息，则还可以先对残差点云信息进行量化，得到量化后的残差点云信息，然后将量化后的残差点云信息与第一立体场景模型进行求和，得到第二立体场景模型。作为一个示例，第二立体场景模型的重建过程可以如图4所示。
其中，对残差点云信息进行量化，得到量化后的残差点云信息的实现方式，与上述对第一点云信息进行量化，得到量化后的第一点云信息的实现方式同理，具体过程可以参考上述相关描述，本申请实施例在此不再赘述。
例如，请参考图5，对于残差点云信息中的点云①，点云②和点云③，其量化前与量化后的位置可以如图5所示。由图5可知，量化前的点云①，点云②和点云③与其他点云之间的位置偏差较大，通过对其进行量化，可以缩小位置偏差，使得残差点云信息更加平滑和均匀。
步骤306：基于第二场景图像和第二立体场景模型，确定第二场景中车辆的全景环视图像。
在一些示例中，可以先获取第一场景图像与实际场景之间的第一空间映射关系，然后基于残差场景信息和摄像参数，确定第一子图像与实际场景之间的第二空间映射关系，基于第一映射关系和第二映射关系，将第二场景图像映射到第二立体场景模型中，得到第二场景中车辆的全景环视图像。其中，第一子图像是指第二场景图像中与变化场景对应的部分图像，变化场景是指第二场景相对于第一场景发生变化的部分场景。
在一些示例中，基于第一映射关系和第二映射关系，将第二场景图像映射到所述第二立体场景模型中的操作可以包括：基于第一映射关系，将第二场景图像中的第二子图像映射到第二立体场景模型中，基于第二映射关系，将第二场景图像中的第一子图像映射到第二立体场景模型中。其中，第二子图像是指第二场景图像中与未变化场景对应的部分图像，未变化场景是指第二场景相对于第一场景未发生变化的部分场景。
如此，在完成立体场景模型重建后，只需要重新计算重建部分与场景图像之间的映射关系，即可根据新的映射关系进行全景环视图像的渲染，未重建部分依然采用原始映射关系进行渲染。这样当场景发生变化时，能够迅速进行立体场景模型重构和全景环视图像的渲染。
作为一个示例，在场景动态变化的过程中，车辆的全景环视图像的生成过程可以如图6所示。也即是，在场景动态变化的过程中，可以采用运动结构恢复技术，对摄像头采集到的当前场景的环视图像进行运动结构恢复，得到当前场景的点云信息，然后基于当前场景的点云信息，对变化前场景的立体场景模型进行重建，再基于当前场景的环视图像和重建后的立体场景模型，确定得到当前场景中车辆的全景环视图像。
本申请实施例中，若检测到车辆从所处的第一场景切换为第二场景，则可以基于第一场景信息和第二场景信息，来确定能够指示第二场景相对于第一场景的场景变化情况的残差场景信息，然后基于残差场景信息，对第一场景对应的第一立体场景模型进行更新，从而得到适应第二场景的第二立体场景模型，再基于第二场景图像和第二立体场景模型，确定第二场景中车辆的全景环视图像。也即是，本申请可以自适应地根据动态变化的场景信息对立体场景模型进行更新，得到能够适应场景变化的动态立体场景模型，之后，基于变化后的场景信息和动态立体场景模型，即可生成能够准确反映场景变化的全景环视图像，有效避免了基于固定立体场景模型生成全景环视图像时导致的图像中物体出现严重拉伸和变形的问题。另外，由于基于残差场景信息对第一立体场景模型进行更新时，只需要对发生变化的部分场景进行更新，对未发生变化的部分场景则不需要更新，因此提高了模型更新效率，进而提高了全景环视图像的生成效率。
图7是本申请实施例提供的一种车辆全景环视图像的生成装置框图，如图7所示，该装置包括：第一确定模块701，更新模块702和第二确定模块703。
第一确定模块701，用于若检测到车辆从所处的第一场景切换为第二场景，则基于第一场景信息和第二场景信息，确定残差场景信息；
其中，该残差场景信息用于指示该第二场景相对于该第一场景的场景变化情况，该第一场景信息包括该车辆周围的第一场景图像，该第二场景信息包括该车辆周围的第二场景图像；
更新模块702，用于基于该残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，该第一立体场景用于在三维空间中表征该第一场景，该第二立体场景模型用于在三维空间中表征该第二场景；
第二确定模块703，用于基于该第二场景图像和该第二立体场景模型，确定该第二场景中该车辆的全景环视图像。
可选地，该第一确定模块701用于：
基于该第二场景信息，确定第二点云信息，该第二点云信息用于指示该第二场景在三维空间的坐标集合；
确定该第二点云信息与第一点云信息之间的残差，得到残差点云信息，该第一点云信息用于指示该第一场景在三维空间的坐标集合；
将该残差点云信息确定为该残差场景信息。
可选地，该更新模块702包括：
量化单元，用于对该残差场景信息进行量化，得到量化后的残差场景信息；
更新单元，用于基于该量化后的残差场景信息，对该第一立体场景模型进行更新，得到该第二立体场景模型。
可选地，该残差场景信息为残差点云信息，该残差点云信息是指第二点云信息与第一点云信息之间的残差，该第一点云信息用于指示该第一场景在三维空间的坐标集合，该第二点云信息用于指示该第二场景在三维空间的坐标集合；
该量化单元，用于对该残差点云信息进行量化，得到量化后的残差点云信息；
该更新单元，用于将该量化后的残差点云信息与该第一立体场景模型进行求和，得到该第二立体场景模型。
可选地，该第二确定模块703包括：
获取单元，用于获取该第一场景图像与实际场景之间的第一空间映射关系；
确定单元，用于基于该残差场景信息和摄像参数，确定第一子图像与实际场景之间的第二空间映射关系，该第一子图像是指该第二场景图像中与变化场景对应的部分图像，该变化场景是指该第二场景相对于该第一场景发生变化的部分场景；
映射单元，用于基于该第一映射关系和该第二映射关系，将该第二场景图像映射到该第二立体场景模型中，得到该第二场景中该车辆的全景环视图像。
可选地，该映射单元用于：
基于该第一映射关系，将该第二场景图像中的第二子图像映射到该第二立体场景模型中，该第二子图像是指该第二场景图像中与未变化场景对应的部分图像，该未变化场景是指该第二场景相对于该第一场景未发生变化的部分场景；
基于该第二映射关系，将该第二场景图像中的该第一子图像映射到该第二立体场景模型中。
可选地，该装置还包括：
获取模块，用于获取该车辆所处的第一场景对应的该第一场景信息；
构建模块，用于基于该第一场景信息，构建该第一立体场景模型；
第三确定模块，用于基于该第一场景信息和摄像参数，确定该第一场景图像与实际场景之间的第一空间映射关系。
可选地，该装置还包括：
映射模块，用于基于该第一空间映射关系，将该第一场景图像映射到该第一立体场景模型中，得到该第一场景中该车辆的全景环视图像。
本申请实施例中，若检测到车辆从所处的第一场景切换为第二场景，则可以基于第一场景信息和第二场景信息，来确定能够指示第二场景相对于第一场景的场景变化情况的残差场景信息，然后基于残差场景信息，对第一场景对应的第一立体场景模型进行更新，从而得到适应第二场景的第二立体场景模型，再基于第二场景图像和第二立体场景模型，确定第二场景中车辆的全景环视图像。也即是，本申请可以自适应地根据动态变化的场景信息对立体场景模型进行更新，得到能够适应场景变化的动态立体场景模型，之后，基于变化后的场景信息和动态立体场景模型，即可生成能够准确反映场景变化的全景环视图像，有效避免了基于固定立体场景模型生成全景环视图像时导致的图像中物体出现严重拉伸和变形的问题。另外，由于基于残差场景信息对第一立体场景模型进行更新时，只需要对发生变化的部分场景进行更新，对未发生变化的部分场景则不需要更新，因此提高了模型更新效率，进而提高了全景环视图像的生成效率。
需要说明的是：上述实施例提供的车辆全景环视图像的生成装置在生成车辆全景环视图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车辆全景环视图像的生成装置与车辆全景环视图像的生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本申请实施例提供的一种车辆全景环视图像的生成装置的结构示意图，该车辆全景环视图像的生成装置800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由该处理器801加载并执行。当然，该车辆全景环视图像的生成装置800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该车辆全景环视图像的生成装置800还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由车辆全景环视图像的生成装置中的处理器执行以完成上述实施例中车辆全景环视图像的生成方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种车辆全景环视图像的生成方法，其特征在于，所述方法包括：
若检测到车辆从所处的第一场景切换为第二场景，则基于第一场景信息和第二场景信息，确定残差场景信息；
其中，所述残差场景信息用于指示所述第二场景相对于所述第一场景的场景变化情况，所述第一场景信息包括所述车辆周围的第一场景图像，所述第二场景信息包括所述车辆周围的第二场景图像；
基于所述残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，所述第一立体场景模型用于在三维空间中表征所述第一场景，所述第一立体场景模型是使用所述第一场景的点云信息获得的立体模型，所述点云信息用于指示所述第一立体场景模型的坐标集合，所述第二立体场景模型用于在三维空间中表征所述第二场景；
基于所述第二场景图像和所述第二立体场景模型，确定所述第二场景中所述车辆的全景环视图像。
2.如权利要求1所述的方法，其特征在于，所述基于第一场景信息和第二场景信息，确定残差场景信息，包括：
基于所述第二场景信息，确定第二点云信息，所述第二点云信息用于指示所述第二场景在三维空间的坐标集合；
确定所述第二点云信息与第一点云信息之间的残差，得到残差点云信息，所述第一点云信息用于指示所述第一场景在三维空间的坐标集合；
将所述残差点云信息确定为所述残差场景信息。
3.如权利要求1所述的方法，其特征在于，所述基于所述残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，包括：
对所述残差场景信息进行量化，得到量化后的残差场景信息；
基于所述量化后的残差场景信息，对所述第一立体场景模型进行更新，得到所述第二立体场景模型。
4.如权利要求3所述的方法，其特征在于，所述残差场景信息为残差点云信息，所述残差点云信息是指第二点云信息与第一点云信息之间的残差，所述第一点云信息用于指示所述第一场景在三维空间的坐标集合，所述第二点云信息用于指示所述第二场景在三维空间的坐标集合；
所述对所述残差场景信息进行量化，得到量化后的残差场景信息，包括：
对所述残差点云信息进行量化，得到量化后的残差点云信息；
所述基于所述量化后的残差场景信息，对所述第一立体场景模型进行更新，得到所述第二立体场景模型，包括：
将所述量化后的残差点云信息与所述第一立体场景模型进行求和，得到所述第二立体场景模型。
5.如权利要求1所述的方法，其特征在于，所述基于所述第二场景图像和所述第二立体场景模型，确定所述第二场景中所述车辆的全景环视图像，包括：
获取所述第一场景图像与实际场景之间的第一空间映射关系；
基于所述残差场景信息和摄像参数，确定第一子图像与实际场景之间的第二空间映射关系，所述第一子图像是指所述第二场景图像中与变化场景对应的部分图像，所述变化场景是指所述第二场景相对于所述第一场景发生变化的部分场景；
基于所述第一空间映射关系和所述第二空间映射关系，将所述第二场景图像映射到所述第二立体场景模型中，得到所述第二场景中所述车辆的全景环视图像。
6.如权利要求5所述的方法，其特征在于，所述基于所述第一空间映射关系和所述第二空间映射关系，将所述第二场景图像映射到所述第二立体场景模型中，包括：
基于所述第一空间映射关系，将所述第二场景图像中的第二子图像映射到所述第二立体场景模型中，所述第二子图像是指所述第二场景图像中与未变化场景对应的部分图像，所述未变化场景是指所述第二场景相对于所述第一场景未发生变化的部分场景；
基于所述第二空间映射关系，将所述第二场景图像中的所述第一子图像映射到所述第二立体场景模型中。
7.如权利要求1所述的方法，其特征在于，所述基于第一场景信息和第二场景信息，确定残差场景信息之前，还包括：
获取所述车辆所处的第一场景对应的所述第一场景信息；
基于所述第一场景信息，构建所述第一立体场景模型；
基于所述第一场景信息和摄像参数，确定所述第一场景图像与实际场景之间的第一空间映射关系。
8.如权利要求7所述的方法，其特征在于，所述基于所述第一场景信息和摄像参数，确定所述第一场景图像与实际场景之间的第一空间映射关系之后，还包括：
基于所述第一空间映射关系，将所述第一场景图像映射到所述第一立体场景模型中，得到所述第一场景中所述车辆的全景环视图像。
9.一种车辆全景环视图像的生成装置，其特征在于，所述装置包括：
若检测到车辆从所处的第一场景切换为第二场景，则基于第一场景信息和第二场景信息，确定残差场景信息；
其中，所述残差场景信息用于指示所述第二场景相对于所述第一场景的场景变化情况，所述第一场景信息包括所述车辆周围的第一场景图像，所述第二场景信息包括所述车辆周围的第二场景图像；
基于所述残差场景信息，对第一立体场景模型进行更新，得到第二立体场景模型，所述第一立体场景模型用于在三维空间中表征所述第一场景，所述第一立体场景模型是使用所述第一场景的点云信息获得的立体模型，所述点云信息用于指示所述第一立体场景模型的坐标集合，所述第二立体场景模型用于在三维空间中表征所述第二场景；
基于所述第二场景图像和所述第二立体场景模型，确定所述第二场景中所述车辆的全景环视图像。
10.一种车辆全景环视图像的生成装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-8所述的任一项方法的步骤。
11.一种车载环视***，其特征在于，所述***包括感知元件、处理器和显示器，所述感知元件包括设置在车辆周围的多个摄像头；
所述感知元件，用于采集所述车辆所处场景的场景信息，所述场景信息包括所述车辆周围的场景图像；
所述处理器，用于实现权利要求1-8任一项所述的车辆全景环视图像的生成方法；
所述显示器，用于显示所述车辆的全景环视图像。
12.一种非临时性计算机可读存储介质，所述存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-8所述的任一项车辆全景环视图像的生成方法的步骤。
CN201910616903.5A 2019-07-09 2019-07-09 车辆全景环视图像的生成方法、装置、***及存储介质 Active CN112215033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616903.5A CN112215033B (zh) 2019-07-09 2019-07-09 车辆全景环视图像的生成方法、装置、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616903.5A CN112215033B (zh) 2019-07-09 2019-07-09 车辆全景环视图像的生成方法、装置、***及存储介质

Publications (2)

Publication Number Publication Date
CN112215033A CN112215033A (zh) 2021-01-12
CN112215033B true CN112215033B (zh) 2023-09-01

Family

ID=74047372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616903.5A Active CN112215033B (zh) 2019-07-09 2019-07-09 车辆全景环视图像的生成方法、装置、***及存储介质

Country Status (1)

Country Link
CN (1) CN112215033B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
CN106355546A (zh) * 2015-07-13 2017-01-25 比亚迪股份有限公司 车辆全景图像的生成方法和装置
CN106875467A (zh) * 2015-12-11 2017-06-20 中国科学院深圳先进技术研究院 三维城市模型快速更新方法
WO2018121333A1 (zh) * 2016-12-30 2018-07-05 艾迪普（北京）文化科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
CN109685891A (zh) * 2018-12-28 2019-04-26 鸿视线科技(北京)有限公司 基于深度图像的建筑物三维建模与虚拟场景生成***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650608B2 (en) * 2008-10-08 2020-05-12 Strider Labs, Inc. System and method for constructing a 3D scene model from an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
CN106355546A (zh) * 2015-07-13 2017-01-25 比亚迪股份有限公司 车辆全景图像的生成方法和装置
CN106875467A (zh) * 2015-12-11 2017-06-20 中国科学院深圳先进技术研究院 三维城市模型快速更新方法
WO2018121333A1 (zh) * 2016-12-30 2018-07-05 艾迪普（北京）文化科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
CN109685891A (zh) * 2018-12-28 2019-04-26 鸿视线科技(北京)有限公司 基于深度图像的建筑物三维建模与虚拟场景生成***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D车载环视全景生成方法;刘冬;秦瑞;陈曦;李庆;;计算机科学(第04期);302-305 *

Also Published As

Publication number Publication date
CN112215033A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
CN110163930B (zh) 车道线生成方法、装置、设备、***及可读存储介质
CN106462996B (zh) 无失真显示车辆周边环境的方法和装置
CN111582080B (zh) 车辆360度环视监控实现方法及装置
JP2019096072A (ja) 物体検出装置、物体検出方法およびプログラム
CN111046762A (zh) 一种对象定位方法、装置电子设备及存储介质
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
CN114111568B (zh) 动态目标外观尺寸的确定方法及装置、介质及电子设备
CN112802092B (zh) 一种障碍物感知方法、装置以及电子设备
EP4386676A1 (en) Method and apparatus for calibrating cameras and inertial measurement unit, and computer device
CN112116655A (zh) 目标对象的图像的位置信息确定方法和装置
CN113658262B (zh) 相机外参标定方法、装置、***及存储介质
CN112215033B (zh) 车辆全景环视图像的生成方法、装置、***及存储介质
CN110222557B (zh) 路况的实时检测方法、装置、***和存储介质
JP2003009141A (ja) 車両周辺画像処理装置及び記録媒体
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
CN114312577B (zh) 一种车辆底盘透视方法、装置及电子设备
CN113409405B (zh) 评估相机标定位置的方法、装置、设备和存储介质
CN115171384A (zh) 一种车载显示过程中关键车位置延迟补偿方法及装置
JP2022544348A (ja) 対象を識別する方法とシステム
CN115861316B (zh) 行人检测模型的训练方法及其装置、行人检测方法
JP2023101089A (ja) 情報処理装置
CN116940801A (zh) 信息处理设备、信息处理方法和程序
CN113850881A (zh) 图像生成方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant