CN106104629A - 用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法 - Google Patents
用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法 Download PDFInfo
- Publication number
- CN106104629A CN106104629A CN201580012771.5A CN201580012771A CN106104629A CN 106104629 A CN106104629 A CN 106104629A CN 201580012771 A CN201580012771 A CN 201580012771A CN 106104629 A CN106104629 A CN 106104629A
- Authority
- CN
- China
- Prior art keywords
- perspective plane
- single image
- image
- point
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 235000012364 Peperomia pellucida Nutrition 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法,所述方法包括:提供具有第一几何形状的第一投影面(G')和具有第二几何形状的第二投影面(G),其中,所述第一投影面(G')的每个点(P'0‑P'7)对应于所述第二投影面(G)上的一个点(P0‑P7);检测位置信息,所述位置信息描述显示在所述单个图像中的对象(30)相对于所述摄像机***的布置;基于所检测的位置信息变换所述第一投影面(G')的第一几何形状;将所述单个图像的纹理信息分配给经变换的第一投影面(G')的面区域;传输所述第一投影面(G')的点(P'0‑P'7)的纹理信息到所述第二投影面(G)的相应对应点(P0‑P7)上;由所述第二投影面(G)的视图产生共同的图像。
Description
技术领域
本发明涉及一种用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法。
背景技术
这样的方法例如用于驾驶辅助***中。驾驶辅助***旨在,在车辆运动期间支持车辆驾驶员。
这样的支持可以通过以下方式实现:
为驾驶员显示在车辆附近区域中的环境,以便避免与不位于驾驶员视野中的障碍物的碰撞;
接管驾驶员的一些操作,以便提高在车辆运动期间的行驶舒适性;
监视驾驶员的操作并且在危险情况下进行干预;和/或
自动驾驶,而不需要驾驶员在车辆上。
本发明尤其旨在在环视***中成像组合的视图。
在具有多个摄像机的***中,多个摄像机图像的合并被证实是困难的任务。图像由不同位置的传感器检测的事实导致图像基于视角更换而不同。两个传感器相互越远离,则视角更换越大,由此两个图像相互的区别增大。
用于合并多个摄像机图像的不同方法针对此设计,即产生多个图像的共同的视图。这些图像通常或者通过在相同时间激活的不同传感器检测,或者通过在连续的时刻在不同位置上激活的单个传感器检测。
用于合并不同视图的图像的现有技术基于间距估计,该间距估计提供用于校正在各个图像之间的大区别的影响的单元。间距估计可以直接由图像数据实现或者是与另外的传感器数据融合的结果(例如来自超声波***、激光雷达***或雷达***)。
用于在确定视图中显示机动车环境的方法由文献DE102011082881A1已知。在此,借助车辆摄像机***的至少一个车辆摄像机检测机动车环境的第一图像信息。在该方法中,确定关于所拍摄的第一图像信息的空间信息,例如深度信息或空间坐标。在使用空间信息的情况下,根据所期望的视图转变第一第二图像信息。最后,在所期望的视图中基于第二图像信息显示机动车环境。
在环视***中,每个经组合的视图通过基于图像的渲染(IBR-image basedrendering)而产生,其中,真实图像用于使假定的投影面设有纹理。典型地基于间距信息来描述该投影面,所述间距信息由不同传感器可用。
已经表明,投影面的基于间距信息的变形减小两个图像的区别,其方式是,使相似的点相互接近地投影。
尽管如此,该解决方案的已知问题在于,必须动态改变投影面,由此偶尔产生清晰的棱边,所述棱边引起不利的视觉效果。
发明内容
根据本发明的用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法,所述方法包括:提供具有第一几何形状的第一投影面和具有第二几何形状的第二投影面,其中,所述第一投影面的每个点对应于所述第二投影面上的一个点;检测位置信息,所述位置信息描述显示在所述单个图像中的对象相对于所述摄像机***的布置;基于所检测的位置信息变换(umformen)所述第一投影面的第一几何形状;将所述单个图像的纹理信息分配给经变换的第一投影面的面区域;传输所述第一投影面的点的纹理信息到所述第二投影面的相应对应点上;并且由所述第二投影面的视图产生共同的图像。在此,第一和第二投影面是虚拟面。
这是有利的,因为通过这种方式减小图像在其接合区域中的大的区别。此外,通过第二投影面的最小的几何改变或无几何改变实现更流畅的可视化效果。减小了图像伪影。此外,在产生共同图像的情况下实现运算成本的降低。
从属权利要求示出本发明的优选的扩展方案。
在此有利的是,第一投影面由多个多边形或基元形成,所述多边形的或基元的位置分别通过一个向量或一个顶点(Vertex)限定。因此可能的是,使得需要的运算能力最小化。此外因此可执行第一投影面的几何分辨率的简单匹配。
此外有利的是,所述单个图像成像如下叠加区域:所述叠加区域示出在所述摄像机***的周围环境中的共同的区域。通过这样的叠加区域可以实现在两个单个图像之间的特别流畅的视觉过渡。
同样有利的是,与所述单个图像同时地检测所述位置信息。因此使得在几何数据与图像数据之间的偏差最小化并且因此防止基于所述偏差产生的图像伪影。
优选地,摄像机***是车辆的环视***。这是有利的,因为在这样的环境中经常已经存在用于检测位置信息的必要传感器。
此外有利的是,通过所述摄像机***的相同摄像机时间错开地检测所述单个图像。因此降低需要的摄像机的数量并且因此获得另一成本优势。
设置用于执行根据本发明的方法的图像处理单元或计算机同样是有利的。这样的图像处理单元具有根据本发明方法的所有优点。此外通过以下方式实现如下单元:通过所述单元可以通过简单方式扩展已经存在的摄像机***。
此外,一种计算机程序产品是有利的,其包括程序部分,所述程序部分适合用于当加载在计算机上时实施根据本发明的方法。通过这样的计算机程序产品实现用于扩展存在的图像处理单元的简单可能性。
附图说明
以下参照附图更详细地阐述本发明的实施例。附图示出:
图1:具有图像处理单元的车辆,所述图像处理单元设置用于执行根据本发明的方法;
图2:第一和第二投影面的示图;
图3:经变换的第一投影面的示图;以及
图4:具有所传输的纹理信息的第二投影面的示图。
具体实施方式
图1示出具有图像处理单元2的车辆1,所述图像处理单元设置用于执行根据本发明的方法。
车辆1配备有环视***,所述环视***包括摄像机***。摄像机***包括检测车辆1的完整环境的四个摄像机11至14:第一摄像机11,其光学轴线沿着车辆的纵轴线向前定向;第二摄像机12,其光学轴线沿着车辆的纵轴线向后定向;第三摄像机13,其光学轴线沿着车辆的横轴线向右定向;以及第四摄像机14,其光学轴线沿着车辆的横轴线向左定向。通过摄像机11至14中的每一个检测单个图像,所述单个图像分别示出车辆环境的一个区段,所述区段位于相应摄像机的视野中。相邻摄像机的视野重叠。因此,例如在右边位于车辆之前的区域不仅由第一摄像机11而且由第三摄像机13检测。因此,通过摄像机11至14的每个所检测的单个图像成像一个重叠区域,所述重叠区域示出在摄像机***的环境中的也由分别相邻的摄像机检测的一个区域。由摄像机11至14检测的单个图像经由分别一个图像数据线传输给图像处理单元2。
车辆还配备有间距传感机构。所述间距传感机构包括多个超声波传感器20。这些超声波传感器布置在车辆1的外周边上并且分别如此相互间隔开,使得这些超声波传感器在其总体上检测车辆1的全部环境并且因此检测位于车辆1的环境中的对象30的位置信息。因为不仅摄像机***并因此摄像机11至14而且间距传感机构并因此超声波传感器20布置在车辆1上的分别一个固定的位置上,所以间距传感机构为此能够检测对象30相对于摄像机***的位置信息。由超声波传感器20检测的位置信息经由分别一个数据线传输给图像处理单元2。图像处理单元2是电子运算单元。
通过图像处理单元2执行根据本发明的用于将单个图像合并成一个共同的图像的方法。在此,基本构思在于,应用双组几何成形的投影面,其中,投影面之一没有被渲染,而是仅仅用作用于单个图像的合并的支持。所支持的几何成形的投影面以一对一的关联连接成可见的投影面,在如下意义上,即这些投影面具有在它们之间的相同数量的顶点和连接。
为此,在第一步骤中首先提供具有第一几何形状的第一投影面G'和具有第二几何形状的第二投影面G。不仅第一投影面G'而且第二投影面G是在虚拟三维空间中的几何结构,其几何形状例如可以通过向量示出。虚拟三维空间在此在最简单情况下是环绕车辆的真实存在的空间的成像。这表示:给虚拟三维空间中的每一个位置点分配在环绕车辆的真实存在的空间中的一个位置点。所述第一投影面G'和第二投影面G例如可以通过分别多个多边形和分别一个对应的顶点限定。
图2示出在虚拟三维空间中第一投影面G'和第二投影面G的视图。为简单起见,在此示出虚拟三维空间的仅仅一个二维平面,在所述虚拟三维空间中第一投影面G'和第二投影面G撑开。第一投影面G'由多个点P'0至P'7组成。第二投影面G由多个点P0至P7组成。明显的是,点的数量不限于在此描述的八个点,而是可以匹配于相应的要求。第一投影面G'的每个点P'0-P'7对应于第二投影面G上的一个点P0至P7。在附图中示出的例子中,给第一投影面G'的点P'0分配第二投影面G的点P0。给第一投影面G'的点P'1分配第二投影面G的点P1。给第一投影面G'的点P'2分配第二投影面G的点P2。给第一投影面G'的点P'3分配第二投影面G的点P3,等。
第二投影面的几何形状在此例如如此选择,使得第二投影面的每个点可以由在虚拟三维空间中的如下点看到:所述点是虚拟摄像机的位置。虚拟摄像机在此是将检测如下图像的摄像机:所述图像相应于由单个图像合并的共同的图像。因此,第二投影面例如可以球形地环绕虚拟摄像机的位置延伸,其中,虚拟摄像机的位置不必位于所述球的中心。然而,在其他例子中,第二投影面G的几何形状也可以以其他方式确定。因此,所述几何形状同样可以具有其他圆形形状或三角形形状,所述形状完全或仅仅部分地包围车辆1或者专门匹配于由摄像机11至14检测的区域。
在第二步骤S2中,由间距传感机构检测位置信息并且将位置信息传输给图像处理单元2,所述位置信息描述显示在单个图像中的对象30相对于摄像机***的布置。
在第三步骤S3中基于所检测的位置信息变换第一投影面G'的第一几何形状。这可以例如通过以下方式实现,即首先将位置信息同样传输到虚拟三维空间中,在所述虚拟三维空间中第一投影面G'也撑开。
这示例性地在图3中示出。图3是经变换的第一投影面G'的示图。显示在单个图像中的对象30借助于涉及所述对象30的位置信息被传输到虚拟三维空间中。这是可能的,因为在虚拟三维空间中的每个位置点分配有在环绕车辆的真实存在的空间中的一个位置点。
在这里描述的示例性情况下,对象30是位于车辆1右边的对象。对象30由超声波传感器20检测,并且描述对象30的形状和对象30相对于车辆1和相对于摄像机***的位置的位置信息被传输给图像处理单元。在那儿产生对象30在虚拟三维空间中的成像。
通过如下方式变换第一投影面G'的几何形状:即如此减小位于第一投影面上的所有点相对于虚拟摄像机的位置的间距,使得这些点位于对象20的在虚拟摄像机上预备的表面上。在此明显的是,当对象30的与车辆1背向的侧并因此对象的完整形状例如不能够完全由间距传感机构检测的时候,也能够实现第一投影面G'的这样的变换。尤其通过以下方式改变点的位置,即多边形——个点位于其上——在其位置方面被改变,亦即对应的顶点被改变。因此,基于间距信息使第一投影面G'的支持的几何形状变形。
在第四步骤S4中,将单个图像的纹理信息分配给经变换的第一投影面G'的面区域。纹理信息在所述例子中相应于由摄像机11至13中之一的单个图像获得的颜色信息。
这同样示例性地在图3中示出。在此,在虚拟三维空间中示出第三摄像机13的光学中心31。因为给在虚拟三维空间中的每个位置点分配在环绕车辆的真实存在的空间中的一个位置点,所以在虚拟三维空间中摄像机***的第三摄像机13的位置同样已知。由第三摄像机13检测的单个图像在摄像机投影面32中位于第三摄像机13的光学中心31之前。在真实存在的空间中,所述摄像机投影面32相应于第三摄像机13的图像传感器并且因此也相应于由第三摄像机13检测的单个图像。第三摄像机13的单个图像的每个点是在摄像机投影面32上的一个点。这些点例如可以通过坐标(u,v)来描述,所述坐标又与颜色信息关联。摄像机投影面32位于对象30与第三摄像机13的光学中心31之间。这同时表示:对象30显示在第三摄像机13的单个图像中。
给第一投影面G'的每个点P'0-P'7分配颜色信息,其方式是,在相应的点P'0至P'7与第三摄像机13的光学中心31之间拉直线并且给相应的点P'0-P'7分配单个图像的点的颜色信息,分别对应的直线延伸通过所述点。因此,给每个点P'0至P'7分配第三摄像机13的单个图像中的坐标(u,v),颜色信息又与所述坐标关联。
给第一点P'0分配第三摄像机13的单个图像中的第一坐标(u0,v0),给第二点P'1分配第三摄像机13的单个图像中的第二坐标(u1,v1),给第三点P'2分配第三摄像机13的单个图像中的第三坐标(u2,v2),等。因此也给第一投影面G'的点中的每一个分配颜色信息并因此分配纹理。
在以下情况——即对象30显示在摄像机***的两个摄像机的单个图像中,因为所述对象位于所述摄像机的单个图像的叠加区域中——下可能的是,可以给第一投影面的各个点分配两个摄像机的纹理信息。如果对象30例如不仅显示在第三摄像机13的单个图像中而且显示在第一摄像机11的单个图像中,则可以给所述区域或者分配第一摄像机11的单个图像的或者第三摄像机13的单个图像的纹理信息(颜色信息)。在所述情况下,可以区分摄像机的优先级,或者给一个这样的点分配例如一个这样的颜色值:所述颜色值由两个可能的颜色值的平均值形成。
在此不是必然需要的是,单个算出对于每个单个点的纹理信息。同样也可以将单个图像的区域并因此多个点的颜色信息分别分配给第一投影面G'的一个多边形或分配给属于该多边形的一个顶点。
在第五方法步骤中,传输所述第一投影面的点的纹理信息到所述第二投影面的相应对应点上。这通过以下方式实现,即将分配给第一投影面G'的一个点的坐标(u,v)或者将至少与该坐标关联的颜色信息传输到第二投影面G的对应点上。因此,纹理信息被传输到第二投影面G上,所述第二投影面不经受变形。
在以下情况——即不是对于每个单个的点单个地而是多边形式地算出纹理信息——下,将第一投影面G'的多边形的颜色信息分别传输到第二投影面G的对应多边形上。
这在图4中示出。图4是具有所传输的纹理信息的第二投影面G的视图。可以看出,给第一点P0分配第三摄像机13的单个图像中的第一坐标(u0,v0),给第二点P1分配第三摄像机13的单个图像中的第二坐标(u1,v1),给第三点P2分配第三摄像机13的单个图像中的第三坐标(u2,v2),等。因此也给第二投影面G的点P0至P7中的每一个分配颜色信息并因此纹理。
在第六方法步骤中,由第二投影面的视图产生共同的图像。所述视图在此是从虚拟摄像机的位置的视图。这表示,当对于所述虚拟摄像机仅仅第二投影面G可见而第一投影面G'不可见的时候,算出或渲染如下图像:虚拟摄像机从其在虚拟三维空间中的位置拍摄所述图像。因此,第二投影面G可以视为可见的投影面,所述可见的投影面完全地或部分区段地示出。在此应注意,在所述时刻必要时可以重新选择虚拟摄像机的位置。
接着,将共同的图像输出给图像输出装置,例如在车辆1内部中的屏幕。
总而言之,因此根据本发明首先接收间距信息,间距信息由不同传感器数据获得。然后,从间距信息提取所需要的参数用于变换第一投影面G'的几何形状。借助于其实现第一投影面的几何形状的变换。紧接着,以对于第一投影面G'的每个多边形/顶点的坐标的形式算出纹理信息。将所述以坐标形式的纹理信息传输到第二投影面G上。最后,借助所算出的纹理信息实现来自第二投影面G的图像的渲染。
尽管在此根据车辆上的环视***描述了本发明,但根据本发明的方法也可以用于其他领域中,其中,将单个图像组合成一个共同的图像。
除了上述文字公开内容之外,明确地也参阅图1至4的公开内容。
Claims (9)
1.一种用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法,所述方法包括:
提供具有第一几何形状的第一投影面(G')和具有第二几何形状的第二投影面(G),其中,所述第一投影面(G')的每个点(P'0-P'7)对应于所述第二投影面(G)上的一个点(P0-P7);
检测位置信息,所述位置信息描述显示在所述单个图像中的对象(30)相对于所述摄像机***的布置;
基于所检测的位置信息变换所述第一投影面(G')的第一几何形状;
将所述单个图像的纹理信息分配给经变换的第一投影面(G')的面区域;
传输所述第一投影面(G')的点(P'0-P'7)的纹理信息到所述第二投影面(G)的相应对应点(P0-P7)上;
由所述第二投影面(G)的视图产生所述共同的图像。
2.根据权利要求1所述的方法,其特征在于,由多个多边形或基元形成所述第一投影面(G'),所述多个多边形的或基元的位置分别通过一个向量或一个顶点限定。
3.根据以上权利要求中任一项所述的方法,其特征在于,所述单个图像成像如下叠加区域:所述叠加区域示出在所述摄像机***的周围环境中的共同的区域。
4.根据以上权利要求中任一项所述的方法,其特征在于,与所述单个图像同时地检测所述位置信息。
5.根据以上权利要求中任一项所述的方法,其特征在于,由车辆(1)的环视***包括所述摄像机***。
6.根据以上权利要求中任一项所述的方法,其特征在于,通过所述摄像机***的相同摄像机时间错开地检测所述单个图像。
7.一种图像处理单元(2),其设置用于执行根据以上权利要求中任一项所述的方法。
8.一种计算机,其设置用于执行根据权利要求1至6中任一项所述的方法。
9.一种计算机程序产品,其包括程序部分,所述程序部分适合用于当加载在计算机上时实施根据权利要求1至6中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014204303.4 | 2014-03-10 | ||
DE102014204303.4A DE102014204303A1 (de) | 2014-03-10 | 2014-03-10 | Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild |
PCT/EP2015/050978 WO2015135670A1 (de) | 2014-03-10 | 2015-01-20 | Verfahren zum zusammenfügen von einzelbildern, die von einem kamerasystem aus unterschiedlichen positionen aufgenommen wurden, zu einem gemeinsamen bild |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106104629A true CN106104629A (zh) | 2016-11-09 |
CN106104629B CN106104629B (zh) | 2021-01-01 |
Family
ID=52394245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580012771.5A Active CN106104629B (zh) | 2014-03-10 | 2015-01-20 | 用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10384606B2 (zh) |
EP (1) | EP3117399B1 (zh) |
JP (1) | JP6587626B2 (zh) |
CN (1) | CN106104629B (zh) |
DE (1) | DE102014204303A1 (zh) |
WO (1) | WO2015135670A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9948914B1 (en) * | 2015-05-06 | 2018-04-17 | The United States Of America As Represented By The Secretary Of The Air Force | Orthoscopic fusion platform |
WO2017045129A1 (zh) * | 2015-09-15 | 2017-03-23 | 华为技术有限公司 | 图像畸变校正方法及装置 |
DE102017200965A1 (de) * | 2017-01-20 | 2018-07-26 | Robert Bosch Gmbh | Verfahren zur Darstellung einer Umgebung eines Fahrzeuges |
JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
RU2716896C1 (ru) * | 2019-04-01 | 2020-03-17 | Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" | Способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения |
DE102019204656A1 (de) * | 2019-04-02 | 2020-10-08 | Conti Temic Microelectronic Gmbh | Parkassistenzsystem |
DE102020214093A1 (de) | 2020-11-10 | 2022-05-12 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Detektieren eines bewegten Objekts |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6680689B1 (en) * | 2003-03-28 | 2004-01-20 | Visteon Global Technologies, Inc. | Method for determining object classification from side-looking sensor data |
EP2192552A1 (en) * | 2008-11-28 | 2010-06-02 | Fujitsu Limited | Image processing apparatus, image processing method, and recording medium |
CN102792334A (zh) * | 2010-04-12 | 2012-11-21 | 住友重机械工业株式会社 | 图像生成装置及操作支持*** |
WO2013175753A1 (ja) * | 2012-05-22 | 2013-11-28 | 三菱電機株式会社 | 画像処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10303015A1 (de) * | 2003-01-27 | 2004-08-12 | Daimlerchrysler Ag | System aus laserscanner und katadioptrischer Kamera |
US6811264B2 (en) * | 2003-03-21 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Geometrically aware projector |
JP4583883B2 (ja) * | 2004-11-08 | 2010-11-17 | パナソニック株式会社 | 車両用周囲状況表示装置 |
JP4928956B2 (ja) | 2007-01-18 | 2012-05-09 | 三洋電機株式会社 | 俯瞰画像提供装置、車両、および俯瞰画像提供方法 |
JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
DE102011082881A1 (de) | 2011-09-16 | 2013-03-21 | Bayerische Motoren Werke Aktiengesellschaft | Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information |
JP5682788B2 (ja) * | 2011-09-27 | 2015-03-11 | アイシン精機株式会社 | 車両周辺監視装置 |
JP6079131B2 (ja) * | 2012-10-25 | 2017-02-15 | 富士通株式会社 | 画像処理装置、方法、及びプログラム |
-
2014
- 2014-03-10 DE DE102014204303.4A patent/DE102014204303A1/de active Pending
-
2015
- 2015-01-20 EP EP15700867.3A patent/EP3117399B1/de active Active
- 2015-01-20 JP JP2016551714A patent/JP6587626B2/ja active Active
- 2015-01-20 WO PCT/EP2015/050978 patent/WO2015135670A1/de active Application Filing
- 2015-01-20 CN CN201580012771.5A patent/CN106104629B/zh active Active
- 2015-01-20 US US15/124,649 patent/US10384606B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6680689B1 (en) * | 2003-03-28 | 2004-01-20 | Visteon Global Technologies, Inc. | Method for determining object classification from side-looking sensor data |
EP2192552A1 (en) * | 2008-11-28 | 2010-06-02 | Fujitsu Limited | Image processing apparatus, image processing method, and recording medium |
CN102792334A (zh) * | 2010-04-12 | 2012-11-21 | 住友重机械工业株式会社 | 图像生成装置及操作支持*** |
WO2013175753A1 (ja) * | 2012-05-22 | 2013-11-28 | 三菱電機株式会社 | 画像処理装置 |
Non-Patent Citations (2)
Title |
---|
QIFA KE等: "Transforming camera geometry to a virtual downward-looking camera: robust ego-motion estimation and ground-layer detection", 《IEEE XPLORE》 * |
宋荆洲 等: "多投影面沉浸式虚拟环境***的颜色校正", 《计算机工程》 * |
Also Published As
Publication number | Publication date |
---|---|
US20170018085A1 (en) | 2017-01-19 |
US10384606B2 (en) | 2019-08-20 |
JP6587626B2 (ja) | 2019-10-09 |
WO2015135670A1 (de) | 2015-09-17 |
EP3117399B1 (de) | 2021-03-10 |
EP3117399A1 (de) | 2017-01-18 |
JP2017512334A (ja) | 2017-05-18 |
CN106104629B (zh) | 2021-01-01 |
DE102014204303A1 (de) | 2015-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106104629A (zh) | 用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法 | |
RU2679964C1 (ru) | Визуализация изображений по данным лазерного сканирования | |
US10229539B2 (en) | Component assembly work support system and component assembly method | |
JP5550970B2 (ja) | 画像生成装置及び操作支援システム | |
JP6287237B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4315968B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP2008048345A (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP2008083786A (ja) | 画像生成装置および画像生成方法 | |
JPWO2017122294A1 (ja) | 周囲監視装置、画像処理方法、及び画像処理プログラム | |
EP3418122B1 (en) | Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program | |
WO2016140016A1 (ja) | 車両の周囲監視装置 | |
EP3547677B1 (en) | Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program | |
US20240078778A1 (en) | Apparatus and method with content visualizing | |
US6518966B1 (en) | Method and device for collision detection and recording medium recorded with collision detection method | |
JP5861871B2 (ja) | 俯瞰画像提示装置 | |
CN111527517A (zh) | 图像处理装置及其控制方法 | |
US11055865B2 (en) | Image acquisition device and method of operating image acquisition device | |
JP6029459B2 (ja) | 画像合成装置、および画像合成方法 | |
JP2001184526A (ja) | 3次元形状データにおける面生成方法 | |
JP3703073B2 (ja) | 図形表示装置及びその方法 | |
JP2018116579A (ja) | 区画線検出装置、区画線検出システム、及び区画線検出方法 | |
CN110248845A (zh) | 用于显示车辆的周围环境的方法和设备 | |
Mallick et al. | Estimation of the orientation and distance of a mirror from Kinect depth data | |
US20230148231A1 (en) | Rapid target acquisition using gravity and north vectors | |
JP6700222B2 (ja) | 画像作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |