CN101828394A - 影像显示装置以及影像显示方法 - Google Patents
影像显示装置以及影像显示方法 Download PDFInfo
- Publication number
- CN101828394A CN101828394A CN200880111644A CN200880111644A CN101828394A CN 101828394 A CN101828394 A CN 101828394A CN 200880111644 A CN200880111644 A CN 200880111644A CN 200880111644 A CN200880111644 A CN 200880111644A CN 101828394 A CN101828394 A CN 101828394A
- Authority
- CN
- China
- Prior art keywords
- image
- relative position
- cameras
- mobile cameras
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000014509 gene expression Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000394635 Acetomicrobium mobile Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004922 lacquer Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明提供一种影像显示装置以及影像显示方法。由固定照相机A进行拍摄并且由移动照相机B进行拍摄，由相对位置计算部1根据从用于获得移动体U的位置信息的传感器输入的检测信号来掌握移动体U的当前位置和方向，并且通过该移动体U的当前位置和方向与设置固定照相机A的规定的场所的比较，计算出移动照相机B相对于固定照相机A的相对位置关系。基于该相对位置关系，由影像合成部2将固定照相机A拍摄的影像和移动照相机B拍摄的影像合成为一个，并将来自假想的视点P的合成影响显示于显示器3。
Description
技术领域
本发明涉及影像显示装置以及影像显示方法，特别是涉及将来自多个照相机的影像合成并进行显示的装置和方法。
背景技术
在日本特开平9-114979号公报中提出了以下的照相机***，其中该照相机***利用相互配置在不同位置的多个照相机对拍摄对象进行拍摄，并使用从上述多个照相机获得的多个图像，生成从与各照相机的位置不同的视点看到的假想的摄像图像。获得各照相机的摄像图像中的拍摄对象的三次元位置坐标，并根据该坐标再次构成从任意视点看到的图像。
然而，在日本特开平9-114979号公报的***中，使用被固定在各个位置的多个照相机拍摄的摄像图像来生成视点不同的假想的图像，例如在将车辆驻车于驻车空间时，当想要生成易于驾驶操作的俯视影像等假想的影像时，则需要在驻车空间侧设置有固定位置的多个照相机。这样就必须确保多个照相机的设置场所，因此导致设置多个照相机的费用提高，设置多个照相机需要花费时间这样的问题。
近年来，基于提高驾驶的安全性、操作性普遍使用以下装置：即在车辆上搭载用于拍摄车辆后方和侧方的照相机，例如在车辆后退时将来自该照相机的影像显示于配置在驾驶席的显示器上。
如果能够利用这样的搭载于车辆的照相机，并且在驻车空间侧只设置一个固定照相机并生成俯视图像等，则容易且便宜地使驻车时的驾驶操作变得容易，然而伴随车辆的移动，由于搭载于车辆的照相机与驻车空间侧的固定照相机的相对位置关系发生改变，因此在日本特开平9-114979号公报的***中难以生成俯视影像等。
发明内容
本发明是鉴于上述以往的问题而做出的，其目的在于提供一种即使使用相互的相对位置关系变化的多个照相机，也能够显示规定视点下的影像的影像显示装置和影像显示方法。
本发明涉及的影像显示装置具备：多个照相机，它们相互的相对位置关系变化；相对位置计算部，其计算出多个照相机相互的相对位置关系；影像合成部，其根据由相对位置计算部计算出的相对位置关系将来自多个照相机的影像相互合成，而制成规定视点下的影像；显示器，其显示由影像合成部制成的影像。
本发明涉及的影像显示方法如下：计算出相互的相对位置关系变化的多个照相机的相互的相对位置关系，并根据计算出的相对位置关系将来自多个照相机的影像相互合成，而制成规定视点下的影像，并显示所制成的规定视点下的影像。
根据本发明，由于通过相对位置计算部计算出多个照相机相互的相对位置关系，并根据该相对位置关系通过影像合成部将来自多个照相机的影像相互合成，因此即使使用相互的相对位置关系发生改变的多个照相机，也能够显示规定视点下的影像。
附图说明
图1是本发明的实施方式1涉及的影像显示装置的构成的框图。
图2是表示实施方式1的作用的流程图。
图3是表示实施方式2涉及的影像显示装置的构成的框图。
图4是表示实施方式2的相对位置计算部的构成的框图。
图5是表示在实施方式2中使用的标记的图。
图6是表示在计算出实施方式2的移动照相机和固定照相机的相对位置关系的步骤的作用的流程图。
图7是表示实施方式3涉及的影像显示装置的构成的框图。
图8是表示实施方式3的作用的流程图。
图9是表示实施方式3的显示器的画面的图。
图10是表示实施方式3的显示器的画面的图。
图11是表示实施方式4涉及的影像显示装置的构成的框图。
图12是表示实施方式4的相对位置计算部的构成的框图。
图13是表示实施方式4的作用的流程图。
图14是表示实施方式4涉及的影像显示装置的构成的框图。
具体实施方式
以下，基于附图说明本发明的实施方式。
实施方式1
图1表示本发明的实施方式1涉及的影像显示装置的构成。预先在规定的场所设置固定照相机A，并且在与该固定照相机A不同的场所配置移动照相机B。移动照相机B搭载于车辆等移动体U，并且构成为能够与移动体U一起自由移动。
在移动体U上连接有相对位置计算部1，相对位置计算部1用于计算移动照相机B相对于固定照相机A的相对位置关系，在相对位置计算部1和固定照相机A以及移动照相机B上连接有影像合成部2。此外，在影像合成部2上连接有显示器3。
另外，移动体U具有未图示的传感器，该传感器用于获得自身的当前位置和方向等位置信息，该传感器的检测信号被输入相对位置计算部1。
接下来，参照图2的流程图说明实施方式1的作用。首先，在步骤S1中，由固定照相机A进行拍摄，接着在步骤S2中由移动照相机B进行拍摄。
进而，在步骤S3中，由相对位置计算部1计算出移动照相机B相对于固定照相机A的相对位置关系。此时，来自用于获得移动体U的位置信息的传感器的检测信号被输入到相对位置计算部1，因此相对位置计算部1能够根据所输入的检测信号来掌握移动体U的当前位置和方向。因此，通过对该移动体U的当前位置和方向与设置固定照相机A的规定场所进行比较，由此，相对位置计算部1计算出移动照相机B相对于固定照相机A的相对位置关系。
这样当计算出固定照相机A与移动照相机B的相对位置关系时，在步骤S4中，由影像合成部2基于该相对位置关系将固定照相机A拍摄的影像和移动照相机B拍摄的影像合成为一个，并制成从上方向下方俯视的俯视影像作为合成影像。
而且，在步骤S5中将俯视影像显示于显示器3。
这里，作为固定照相机A拍摄的影像和移动照相机B拍摄的影像的合成以及俯视影像的制成的例子，可以例举出日本特开平3-99952号公报。
另外，作为用于获得移动体U的位置信息的传感器，只要是能够掌握移动体U的移动位置和方向的传感器即可，例如，能够使用车速传感器或移动量传感器和偏航传感器，或者GPS传感器和偏航传感器、或者向移动体U搭载的位置不同的两个GPS传感器等。
相对位置传感器1、影像合成部2以及显示器3能够搭载于移动体U。此时，固定照相机A和影像合成部2之间的连接，也能够通过有线进行连接，或者还能够通过无线进行连接。在固定照相机A和影像合成部2之间用无线进行连接时，需要在固定照相机A和影像合成部2上分别具备通信单元。
另外，也可以不将相对位置计算部1、影像合成部2以及显示器3搭载于移动体U而是设置于规定的场所。此时，用于获得移动体U的位置信息的传感器和相对位置计算部1通过有线或无线进行连接，并且固定照相机A和移动照相机B与影像合成部2之间通过有线或无线进行连接。
此外，也可以在移动体U上只搭载相对位置计算部1而将影像合成部2和显示器3设置在规定场所，或者在移动体U上搭载相对位置计算部1和影像合成部2而只将显示器3设置在规定场所。
实施方式2
图3中表示本发明的实施方式2涉及的影像显示装置的构成。本实施方式2的构成为：在图1表示的实施方式1的装置中预先在规定的固定位置设置作为固定目标的标记M，由此来代替具有用于获得移动体U位置信息的传感器，相对位置计算部1根据由移动照相机B拍摄的标记M的图像计算出固定照相机A与移动照相机B的相对位置关系。
如图4所示，相对位置计算部1包括：依次与移动照相机B连接的图像处理单元4、位置参数计算单元5以及相对位置确定单元6。
另外，作为固定目标的标记M是固定设置在与固定照相机A具有规定的位置关系的规定场所，并预先掌握标记M相对于固定照相机A的规定的位置关系的标记。作为该标记M，例如如图5所示，可以使用四个直角等腰三角形相互抵接的具有正方形状的外形的图形。相互邻接的直角等腰三角形用不同的颜色涂饰区分，该标记M具有由多条边的交点构成的5个特征点C1～C5。
如上所述，只要能够预先掌握标记M相对于固定照相机A的位置关系，则可以将标记M配置在固定照相机A的视野以外。
在本实施方式2中，也是按照图2表示的流程图的步骤S1～S5，将俯视影像等的合成图像显示于显示器3，然而步骤3的固定照相机A与移动照相机B的相对位置关系的计算方法与实施方式1不同，是按照图6的流程图表示的步骤S6～S8，并以如下方式进行相对位置关系的计算。
即，首先在步骤S6中，相对位置计算部1的图像处理单元4，从由移动照相机B拍摄的标记M的图像中抽出标记M的5个特征点C1～C5，且分别识别并取得图像上的这些特征点C1～C5的二次元坐标。
然后，在步骤S7中，位置参数计算单元5根据由图像处理单元4识别出的特征点C1～C5的各个二次元坐标，计算出由6个参数构成的位置参数，这6个参数是以标记M为基准的移动照相机B的三次元坐标(x，y，z)、倾角(俯角)、水平角(方向角)、转向角(旋转角)。
在此，说明位置参数计算单元5的位置参数的计算方法。
首先，以从移动体U上的规定位置相对于路面垂直向下而得到的地面上的点作为原点O，假设水平方向设定了x轴和y轴、垂直方向设定了z轴的路面坐标系，并且假设在由移动照相机B拍摄的图像上设定了X轴和Y轴的图像坐标系。
图像坐标系中标记M的特征点C1～C5的坐标值Xm和Ym(m＝1～5)，是根据路面坐标系中标记M的特征点C1～C5的6个位置参数，即坐标值xm、ym和zm以及上述倾角(俯角)、水平角(方向角)、转向角(旋转角)的角度参数Kn(n＝1～3)，并用函数F和G，以下列关系式来表示。
Xm＝F(xm，ym，zm，Kn)+DXm
Ym＝G(xm，ym，zm，Kn)+DYm
在此，DXm和DYm是用函数F和G计算出的特征点C1～C5的X坐标和Y坐标与由图像处理单元4识别出的特征点C1～C5的坐标值Xm和Ym的偏差。
即，通过分别表示5个特征点C1～C5的X坐标和Y坐标，对6个位置参数(xm，ym，zm，Kn)制成共计10个关系式。
因此，求出使偏差DXm和DYm的平方和S＝∑(DXm2+DYm2)为最小的位置参数(xm，ym，zm，Kn)。即，解决使S最小化的最佳化问题。公知的最佳化法例如可以用：单工法、缩减梯度法、牛顿法、准牛顿法等。
这里，通过制成比要计算的位置参数(xm，ym，zm，Kn)的个数“6”更多的关系式来决定位置参数，因此能够获得高精度的位置参数(xm，ym，zm，Kn)。
在本实施方式2中，虽然通过5个特征点C1～C5对6个位置参数(xm，ym，zm，Kn)制成了10个关系式，然而关系式的数量比要计算的位置参数(xm，ym，zm，Kn)的个数越多越好，如果通过最少3个特征点制成6个关系式，就能够计算出6个位置参数(xm，ym，zm，Kn)。
在步骤S8中，相对位置确定单元6使用这样计算出的移动照相机B的位置参数来确定移动照相机B相对于固定照相机A的相对位置关系。即，根据使用位置参数计算单元5计算出的位置参数，确定移动照相机B与标记M的相对位置关系，由于预先掌握了标记M相对于固定照相机A的规定的位置关系，从而进一步确定移动照相机B与固定照相机A的相对位置关系。
如上所述，将由相对位置计算部1计算出的固定照相机A和移动照相机B的相对位置关系发送到影像合成部2，影像合成部根据该相对位置关系将固定照相机A拍摄的影像与移动照相机B拍摄的影像合成为一个并制成俯视影像显示于显示器3。
这里，在本实施方式2中，由于计算出由6个参数构成的位置参数，即，以标记M为基准的移动照相机B的三次元坐标(x，y，z)、倾角(俯角)、水平角(方向角)、转向角(旋转角)，因此即使配置标记M的地面与移动体U当前位置的地面之间存在高低差或倾斜，也能够正确地确定标记M与移动照相机B的相对位置关系，进而正确地确定固定照相机A与移动照相机B的相对位置关系，因此能够制成高精度的俯视影像。
然而，在配置标记M的地面与移动体U当前位置的地面之间不存在倾斜时，只要至少计算出由以标记M为基准的移动照相机B的三次元坐标(x，y，z)和水平角(方向角)4个参数构成的位置参数，就能够确定标记M与移动照相机B的相对位置关系。此时，只要用标记M的最少两个特征点的二次元坐标来制成4个关系式就能够求出4个位置参数，然而，优选地，使用更多特征点的二次元坐标并利用最小二乘法等，高精度地计算出4个位置参数。
此外，在标记M和移动体U位于同一平面上，并且配置标记M的地面与移动体U当前位置的路面之间不存在高低差和倾斜时，只要至少计算出由以标记M为基准的移动照相机B的二次元坐标(x，y)和水平角(方向角)3个参数构成的位置参数，就能够确定标记M与移动照相机B的相对位置关系。此时，只要用标记M的最少两个特征点的二次元坐标来制成4个关系式就能够求出3个位置参数，然而优选为，用更多特征点的二次元坐标并利用最小二乘法等，高精度地计算出3个位置参数。
实施方式3
图7中表示本发明的实施方式3涉及的影像显示装置的构成。本实施方式3表示了将固定照相机A固定在车库等驻车空间侧并且将移动照相机B搭载于向驻车空间进行驻车的车辆上，并将图3表示的实施方式2的装置用于驻车辅助的例子。
在驻车空间S 的内部或附近配置驻车空间侧装置11，并在向驻车空间S进行驻车的车辆上搭载有车辆侧装置12。
驻车空间侧装置11具有固定照相机A，固定照相机A配置在驻车空间S的内部、用于拍摄驻车空间S的入口附近，在固定照相机A上经由编码器13而连接有通信部14。编码器13用于将由固定照相机A拍摄的影像压缩成适于无线传输的形式，通信部14主要用于将由编码器13压缩的映像数据向车辆侧装置12发送。在固定照相机A和通信部14上连接有控制部15。此外，驻车空间侧装置11具有固定设置在驻车空间S入口附近的地面的标记M。
这里，固定照相机A的内部参数(焦点距离、变形常数等)和外部参数(相对于驻车空间S的相对位置、角度等)是预先已知的。同样，相对于固定照相机A的标记M的相对位置也是已知的。
另一方面，车辆侧装置12具有移动照相机B，移动照相机B设置在车辆的后部、用于拍摄车辆的后方，在向驻车空间S后退驻车时，由该移动照相机B拍摄驻车空间S的标记M。在移动照相机B上连接有相对位置计算部1。另外，车辆侧装置12具有与驻车空间侧装置11的通信部14之间进行通信的通信部16，在该通信部16上连接有译码器17。译码器17用于对由通信部16接收的来自驻车空间侧装置11的压缩的映像数据进行译码。
影像合成部2与译码器17连接，影像选择部18与影像合成部2和移动照相机B双方连接，并配置于该车辆驾驶席的显示器3与影像选择部18连接。
另外，控制部19与移动照相机B、相对位置计算部1、通信部16以及影像选择部18连接。
移动照相机B的内部参数(焦点距离、变形常数等)以及相对于车辆的相对位置和角度等是预先已知的。
如图4所示，车辆侧装置12的相对位置计算部1包括：顺次连接于移动照相机B与影像合成部2之间的图像处理单元4、位置参数计算单元5、相对位置计算单元6。
接下来，参照图8的流程图说明实施方式3的作用。
首先，作为步骤S11，在使车辆位于驻车空间S附近且标记M进入移动照相机B的视野内的状态下，通过车辆侧装置12的控制部19使移动照相机B动作进行标记M的拍摄。
由移动照相机B拍摄的图像被输入到相对位置计算部1，然后在步骤S12中，相对位置计算部1按照图6表示的流程图计算出移动照相机B与固定照相机A的相对位置关系。
于是，控制部19根据由相对位置计算部1计算出的相对位置关系，计算出移动照相机B相对于固定照相机A的相对距离L，并在步骤S13中将该相对距离L与规定值Lth进行比较，在相对距离L大于规定值Lth时，在步骤S14中使影像选择部18选择移动照相机B的映像数据。由此，如图9所示，在驾驶席的显示器3的画面上显示由移动照相机B拍摄的车辆后方的影像。
另一方面，在移动照相机B相对于固定照相机A的相对距离L小于规定值Lth时，在步骤S15中控制部19从通信部16向驻车空间侧装置11发送映像数据的请求信号。
在驻车空间侧装置11中，当由通信部14从车辆侧装置12接收到映像数据的请求信号时，在步骤S16中，通过控制部15使固定照相机A动作，并在驻车空间S的入口附近进行拍摄。而且，由编码器13将由固定照相机A拍摄的影像数据压缩成适于无线传输的形式后，从通信部14向车辆侧装置12发送。
在步骤S17中，当由车辆侧装置12的通信部16从驻车空间侧装置11接收到映像数据时，该映像数据在被译码器17译码后发送到影像合成部2。
在步骤S18中，影像合成部2根据固定照相机A和移动照相机B的相对位置关系，将固定照相机A的影像和移动照相机B的影像合成为一个从而制成俯视影像。
根据移动照相机B相对于固定照相机A的相对距离L小于规定值Lth的结果，在步骤S19中，控制部19使影像选择部18选择影像合成部2的映像数据。由此，如图10所示，在驾驶席的显示器3的画面上显示由影像合成部2制成的俯视影像。
这里，在步骤S13中使用的规定值Lth为，例如假设驻车空间S的两侧部和内部被墙面等分割的车库，并将后退驻车中的车辆V的一部分开始进入固定照相机A的视野内时的移动照相机B与固定照相机A的相对距离设定为基准即可。
只要这样设定规定值Lth，则在车辆V未进入固定照相机A的视野内时，如图9所示，在显示器3的画面上显示由移动照相机B拍摄的车辆后方的影像，在车辆V进入到固定照相机A的视野内之后，如图10所示，在显示器3的画面上显示俯视影像。因此，能够一边看着显示器3上显示的俯视影像一边进行车辆V的驾驶操作，因而易于掌握车辆V与驻车空间S的相对位置关系，从而能够使车辆V高精度地驻车于驻车空间S内。
实施方式4
图11中表示本发明的实施方式4涉及的影像显示装置的构成。本实施方式4的构成为，在图3所示的实施方式2的装置中配置搭载于第一移动体U1的第一移动照相机B1和搭载于第二移动体U2的第二移动照相机B2，由此来代替固定照相机A和移动照相机B，并且在移动照相机B1和B2上连接相对位置计算部21来代替相对位置计算部1，由上述移动照相机B1和B2双方来拍摄共同的标记M。
如图12所示，相对位置计算部21具有：与第一移动照相机B1连接的第一计算部22、与第二移动照相机B2连接的第二计算部23、与上述第一计算部22和第二计算部23连接的第三计算部24，且第三计算部24与影像合成部2连接。
接下来，参照图13的流程图说明实施方式4的作用。
首先，在步骤S21中，在标记M进入第一移动照相机B1的视野内的状态下，由第一移动照相机B1进行拍摄。然后，在步骤S22中，相对位置计算部21的第一计算部22，从第一移动照相机B1拍摄的标记M的图像中抽出标记M的5个特征点C1～C5，并在分别识别、取得图像上的这些特征点C1～C5的二次元坐标之后，在步骤S23中，基于这些特征点C1～C5的二次元坐标计算出由6个参数构成的位置参数，这6个参数为：以标记M为基准的第一移动照相机B1的三次元坐标(x，y，z)、倾角(俯角)、水平角(方向角)、转向角(旋转角)。
然后，在步骤S24中在标记M进入到第二移动照相机B2的视野内的状态下，由第二移动照相机B2进行拍摄。接着，在步骤S25中，相对位置计算部21的第二计算部23，从第二移动照相机B2拍摄的标记M的图像中抽出标记M的5个特征点C1～C5，并在分别识别、取得图像上的这些特征点C1～C5的二次元坐标之后，在步骤S26中，基于这些特征点C1～C5的二次元坐标计算出由6个参数构成的位置参数，这6个参数为：以标记M为基准的第二移动照相机B2的三次元坐标(x，y，z)、倾角(俯角)、水平角(方向角)、转向角(旋转角)。
此外，相对位置计算部21的第三计算部24，根据由第一计算部22和第二计算部23计算出的第一移动照相机B1和第二移动照相机B2的位置参数，在步骤S27中确定第一移动照相机B1和第二移动照相机B2的相对位置关系。
这样，由相对位置计算部21计算出的第一移动照相机B1与第二移动照相机B2的相对位置关系被发送到影像合成部2，影像合成部2基于该相对位置关系，在步骤S28中，将第一移动照相机B1拍摄的影像和第二移动照相机B2拍摄的影像合成为一个从而制成俯视影像，在步骤S29中，将该俯视影像显示于显示器3。
实施方式5
图14中表示本发明的实施方式5涉及的影像显示装置的构成。本实施方式5的构成为，在图11所示的实施方式4的装置中，在不同的位置分别设置多个标记M1和M2，并由第一移动照相机B1和第二移动照相机B2分别拍摄不同的标记，来代替由第一移动照相机B1和第二移动照相机B2拍摄共同的标记M。
标记M1和标记M2的相对位置关系是预先掌握的。例如，可以预先将标记M1和标记M2的相对位置关系存储于相对位置计算部21。或者，通过条形码等单元预先记录标记M1和M2各自的位置信息，以便从由各照相机拍摄的图像中识别其位置信息。或者也可以从配置在各标记附近的无线发送机来发送标记M1和M2各自的位置信息，并由第一移动体U1和第二移动体U2接收，从而识别其位置信息。
在由第一移动照相机B1拍摄标记M1、由第二移动照相机B2拍摄标记M2时，相对位置计算部21的第一计算部22基于由第一移动照相机B1拍摄的标记M1的图像，计算出以标记M1为基准的第一移动照相机B1的位置参数，相对位置计算部21的第二计算部23基于由第二移动照相机B2拍摄的标记M2的图像，计算出以标记M2为基准的第二移动照相机B2的位置参数。
在此，由于预先掌握了标记M1和标记M2的相对位置关系，因此相对位置计算部21的第三计算部24能够根据由第一计算部22和第二计算部23分别计算出的位置参数和标记M1与M2之间的相对位置关系，确定第一移动照相机B1与第二移动照相机B2的相对位置关系。
其结果是，影像合成部2能够基于该相对位置关系将由第一移动照相机B1拍摄的影像和由第二移动照相机B2拍摄的影像合成为一个制成俯视影像，并将该俯视影像显示于显示器3。
这里，在由各移动照相机B1、B2拍摄的标记被确定为不是标记M1和M2中任一个时，或同时拍摄到两个标记M1和M2时，为了判别所拍摄的标记是否为标记M1和M2中的任一个的图像，优选地，使双方的标记M1和M2的形状、色彩等相互不同。
其他实施方式
在上述各实施方式中，由影像合成部2制成的合成影像不限于俯视影像，影像合成部2能够制成与各照相机的视点不同的来自任意假想视点P的影像。另外，也不一定限于来自与各照相机的视点不同的假想视点P的影像，影像合成部2可以制成来自多个照相机中的任一个照相机的视点的影像。例如，在上述实施方式3中影像合成部2将驻车空间侧的固定照相机A的影像转换成来自车载的移动照相机B的视点的影像，并与移动照相机B的影像进行合成，由此能够获得如下的合成图像，该合成图像是对图9所示的、在仅由车载的移动照相机B拍摄的影像中被墙壁遮挡而成为死角的驻车空间S内的区域进行透视而增加的图像。或者，获得增加了在仅由车载的移动照相机B拍摄的影像中因在拍摄范围外而成为死角区域的合成图像。
在上述各实施方式中，虽然是将来自一台固定照相机A和一台移动照相机B、或者来自两台移动照相机B1和B2的影像进行合成，将来自相互的相对位置关系发生改变的三台以上的照相机的影像进行合成，从而制成来自任意假想视点P的影像。
另外，移动体U、U1、U2不限于车辆等移动装置，例如也可以是拿着照相机步行的人。
实施方式2～5中所使用的标记具有使4个直角等腰三角形相互抵接的正方形状的外形，然而不限于此，也可以使用各种标记。然而优选为，对自然界存在的形状容易判别、具备特殊的形状、色彩等，通过图像处理单元4的图像识别而容易认知其存在的标记，且容易识别内部包含的特征点的标记。
另外，为了能够基于所识别的特征点的二次坐标而高精度地计算出照相机和标记的相对位置关系，优选设置在具有足够的大小并且照相机容易认知的场所。具体而言，能够将照相机设置在所配置的场所的周边地面、墙面、顶面等。
Claims (9)
1.一种影像显示装置，其特征在于，具备：
多个照相机，它们相互的相对位置关系变化；
相对位置计算部，其计算出所述多个照相机的相互的相对位置关系；
影像合成部，其根据由所述相对位置计算部计算出的相对位置关系将来自所述多个照相机的影像相互合成，而制成规定视点下的影像；
显示器，其显示由所述影像合成部制成的影像。
2.根据权利要求1所述的影像显示装置，其特征在于，所述多个照相机包括至少一个移动照相机和至少一个固定照相机。
3.根据权利要求1所述的影像显示装置，其特征在于，所述多个照相机分别由移动照相机构成。
4.根据权利要求2或3所述的影像显示装置，其特征在于，具有至少一个特征点的固定目标预先被设置在规定的固定位置，
所述相对位置计算部根据由所述移动照相机拍摄的所述固定目标的图像，计算出以所述固定目标为基准的所述移动照相机的位置参数，并根据所计算出的位置参数计算出所述移动照相机相对于其他照相机的相对位置关系。
5.根据权利要求4所述的影像显示装置，其特征在于，所述固定目标由规定形状的标记构成。
6.根据权利要求1至5中任意一项所述的影像显示装置，其特征在于，
所述影像合成部制成来自与所述多个照相机的视点不同的假想视点的影像，以作为规定视点下的影像。
7.根据权利要求6所述的影像显示装置，其特征在于，
所述影像合成部制成俯视影像，以作为规定视点下的影像。
8.根据权利要求1至5中任意一项所述的影像显示装置，其特征在于，
所述影像合成部通过从所述多个照相机中任意一个照相机的视点观察并对死角区域增加影像来制成影像，以作为规定视点下的影像。
9.一种影像显示方法，其特征在于，
计算出相互的相对位置关系变化的多个照相机的相互的相对位置关系，
根据计算出的相对位置关系将来自所述多个照相机的影像相互合成，而制成规定视点下的影像，
显示所制成的规定视点下的影像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007272654A JP2009101718A (ja) | 2007-10-19 | 2007-10-19 | 映像表示装置及び映像表示方法 |
| JP2007-272654 | 2007-10-19 | ||
| PCT/JP2008/068152 WO2009051028A1 (ja) | 2007-10-19 | 2008-10-06 | 映像表示装置及び映像表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101828394A true CN101828394A (zh) | 2010-09-08 |
Family
ID=40567297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200880111644A Pending CN101828394A (zh) | 2007-10-19 | 2008-10-06 | 影像显示装置以及影像显示方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20100201810A1 (zh) |
| EP (1) | EP2200312A4 (zh) |
| JP (1) | JP2009101718A (zh) |
| KR (1) | KR20100053694A (zh) |
| CN (1) | CN101828394A (zh) |
| TW (1) | TW200926067A (zh) |
| WO (1) | WO2009051028A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102469291A (zh) * | 2010-11-05 | 2012-05-23 | 屈世虎 | 视频通话***和方法 |
| CN103512557A (zh) * | 2012-06-29 | 2014-01-15 | 联想(北京)有限公司 | 电子设备间相对位置确定方法及电子设备 |
| CN104285238A (zh) * | 2012-01-04 | 2015-01-14 | 标致·雪铁龙汽车公司 | 车载摄像头的图像处理方法及相应的处理装置 |
| CN109974667B (zh) * | 2017-12-27 | 2021-07-23 | 宁波方太厨具有限公司 | 一种室内人体定位方法 |
| CN113225487A (zh) * | 2020-02-06 | 2021-08-06 | 佳能株式会社 | 摄像设备、图像处理设备的控制方法及介质、摄像*** |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011086111A (ja) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | 撮像装置校正方法及び画像合成装置 |
| JP2011237532A (ja) * | 2010-05-07 | 2011-11-24 | Nec Casio Mobile Communications Ltd | 端末装置及び端末通信システム並びにプログラム |
| KR101214471B1 (ko) | 2011-04-11 | 2012-12-24 | 주식회사 이미지넥스트 | 감시 영상의 3차원 정합 방법 및 시스템 |
| JP5725953B2 (ja) * | 2011-04-13 | 2015-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法、並びに情報処理装置 |
| JP5957838B2 (ja) * | 2011-09-30 | 2016-07-27 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9635950B2 (en) * | 2013-06-18 | 2017-05-02 | Dreamwell, Ltd. | Display device for a plunger matrix mattress |
| CN107406072B (zh) | 2015-03-03 | 2019-12-17 | 沃尔沃卡车集团 | 车辆辅助*** |
| JP6601489B2 (ja) * | 2015-03-31 | 2019-11-06 | 株式会社ニコン | 撮像システム、撮像装置、撮像方法、及び撮像プログラム |
| JP6730177B2 (ja) * | 2016-12-28 | 2020-07-29 | 株式会社デンソーテン | 画像生成装置および画像生成方法 |
| US11394949B2 (en) * | 2018-06-12 | 2022-07-19 | Disney Enterprises, Inc. | See-through operator awareness tool using synthesized viewpoints |
| US11263780B2 (en) * | 2019-01-14 | 2022-03-01 | Sony Group Corporation | Apparatus, method, and program with verification of detected position information using additional physical characteristic points |
| US20200226787A1 (en) * | 2019-01-14 | 2020-07-16 | Sony Corporation | Information processing apparatus, information processing method, and program |
| EP3982325A4 (en) * | 2019-06-06 | 2022-08-03 | NEC Corporation | TREATMENT SYSTEM, TREATMENT PROCEDURE AND PROGRAM |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0399952A (ja) | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
| JP3328478B2 (ja) | 1995-10-18 | 2002-09-24 | 日本電信電話株式会社 | カメラシステム |
| JP2002135765A (ja) * | 1998-07-31 | 2002-05-10 | Matsushita Electric Ind Co Ltd | カメラキャリブレーション指示装置及びカメラキャリブレーション装置 |
| EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
| EP1038734B1 (en) * | 1998-10-08 | 2019-05-15 | Panasonic Intellectual Property Corporation of America | Driving assisting device and recording medium |
| DE10035223A1 (de) * | 2000-07-20 | 2002-01-31 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts |
| JP2002054320A (ja) * | 2000-08-10 | 2002-02-20 | Yazaki Corp | 駐車補助装置 |
| JP4643860B2 (ja) * | 2001-06-12 | 2011-03-02 | クラリオン株式会社 | 車両用視覚支援装置及び支援方法 |
| JP3972722B2 (ja) * | 2002-04-24 | 2007-09-05 | 株式会社エクォス・リサーチ | 車載画像処理装置 |
| JP2004064696A (ja) * | 2002-07-31 | 2004-02-26 | Nissan Motor Co Ltd | 駐車支援装置 |
| JP2004351977A (ja) * | 2003-05-27 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 車外映像表示装置 |
| JP2006341641A (ja) * | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
-
2007
- 2007-10-19 JP JP2007272654A patent/JP2009101718A/ja active Pending
-
2008
- 2008-10-06 KR KR1020107008238A patent/KR20100053694A/ko not_active Application Discontinuation
- 2008-10-06 WO PCT/JP2008/068152 patent/WO2009051028A1/ja active Application Filing
- 2008-10-06 CN CN200880111644A patent/CN101828394A/zh active Pending
- 2008-10-06 EP EP08839973A patent/EP2200312A4/en not_active Withdrawn
- 2008-10-06 US US12/676,063 patent/US20100201810A1/en not_active Abandoned
- 2008-10-17 TW TW097139821A patent/TW200926067A/zh unknown
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102469291A (zh) * | 2010-11-05 | 2012-05-23 | 屈世虎 | 视频通话***和方法 |
| CN104285238A (zh) * | 2012-01-04 | 2015-01-14 | 标致·雪铁龙汽车公司 | 车载摄像头的图像处理方法及相应的处理装置 |
| CN104285238B (zh) * | 2012-01-04 | 2018-05-01 | 标致·雪铁龙汽车公司 | 车载摄像头的图像处理方法及相应的处理装置 |
| CN103512557A (zh) * | 2012-06-29 | 2014-01-15 | 联想(北京)有限公司 | 电子设备间相对位置确定方法及电子设备 |
| CN103512557B (zh) * | 2012-06-29 | 2016-12-21 | 联想(北京)有限公司 | 电子设备间相对位置确定方法及电子设备 |
| CN109974667B (zh) * | 2017-12-27 | 2021-07-23 | 宁波方太厨具有限公司 | 一种室内人体定位方法 |
| CN113225487A (zh) * | 2020-02-06 | 2021-08-06 | 佳能株式会社 | 摄像设备、图像处理设备的控制方法及介质、摄像*** |
Also Published As
| Publication number | Publication date |
|---|---|
| TW200926067A (en) | 2009-06-16 |
| EP2200312A4 (en) | 2010-10-20 |
| EP2200312A1 (en) | 2010-06-23 |
| WO2009051028A1 (ja) | 2009-04-23 |
| US20100201810A1 (en) | 2010-08-12 |
| KR20100053694A (ko) | 2010-05-20 |
| JP2009101718A (ja) | 2009-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101828394A (zh) | 影像显示装置以及影像显示方法 | |
| CN105916758B (zh) | 自主泊车方法、用于执行所述方法的驾驶员辅助设备以及具有所述驾驶员辅助设备的车辆 | |
| US10384612B2 (en) | Dynamic camera view to aid with trailer attachment | |
| US8854231B2 (en) | Parking assistance system and method | |
| EP3096290B1 (en) | Method and system for determining camera pose | |
| JP4892965B2 (ja) | 移動体判定システム、移動体判定方法、及びコンピュータプログラム | |
| US8184160B2 (en) | Image processor, driving assistance system, and out-of-position detecting method | |
| US20110199461A1 (en) | Flow line production system, flow line production device, and three-dimensional flow line display device | |
| JP5603835B2 (ja) | 車両周囲監視装置 | |
| US20090309970A1 (en) | Vehicle Operation System And Vehicle Operation Method | |
| US8648879B2 (en) | Apparatus and method for tracking augmented reality content | |
| US20070003162A1 (en) | Image generation device, image generation method, and image generation program | |
| CN103171552A (zh) | 基于avm俯视图的停车辅助*** | |
| US20110311127A1 (en) | Motion space presentation device and motion space presentation method | |
| EP2128821A1 (en) | Moving object recognizing device | |
| JP2017517174A (ja) | 車両周辺イメージ生成装置および方法 | |
| CN103907147A (zh) | 在辅助***中采用来自基于图像数据的地图服务的数据 | |
| US10712566B2 (en) | Information displaying system provided with head-mounted type display | |
| CN102917205A (zh) | 车辆环绕视图*** | |
| EP2757781B1 (en) | Optical axis ascertaining device for in-vehicle camera | |
| JP5825713B2 (ja) | 車両用危険場面再現装置 | |
| JP4735242B2 (ja) | 注視対象物体特定装置 | |
| KR20130071842A (ko) | 차량의 주변 정보 제공 장치 및 방법 | |
| JP2014044730A (ja) | 画像処理装置 | |
| JP4742695B2 (ja) | 視線認識装置、及び視線認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20100908 |