CN107403404A - 车辆的三维环景***及其方法 - Google Patents
车辆的三维环景***及其方法 Download PDFInfo
- Publication number
- CN107403404A CN107403404A CN201610329549.4A CN201610329549A CN107403404A CN 107403404 A CN107403404 A CN 107403404A CN 201610329549 A CN201610329549 A CN 201610329549A CN 107403404 A CN107403404 A CN 107403404A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- image data
- flake
- correcting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000005855 radiation Effects 0.000 claims abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 38
- 230000003068 static effect Effects 0.000 claims abstract description 38
- 238000013519 translation Methods 0.000 claims abstract description 34
- 241000251468 Actinopterygii Species 0.000 claims description 60
- 241001269238 Data Species 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 15
- 238000009434 installation Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 49
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种车辆的三维环景***及其方法，所述***包括：鱼眼影像校正设定模块，用以接收拍摄校正板所产生的鱼眼影像数据；将鱼眼影像数据校正成为校正影像数据而产生鱼眼校正查找表；将相邻关系的校正影像数据的辐射垂直参考线旋转及平移成为相同的辐射角度的重叠而产生旋转平移查找表；以及静态三维拼接影像产生模块，用以根据旋转平移查找表及鱼眼校正查找表产生拼接影像查找表，根据鱼眼影像数据中的每一像素的像素值计算校正影像数据中的每一像素的像素值，并将相邻的校正影像数据进行影像拼接，以产生静态拼接影像数据。
Description
技术领域
本发明属于车辆领域，特别是关于一种车辆的三维环景***及其方法。
背景技术
传统的“环景***(Around View Monitoring(AVM)System)”，通过影像拼接的方式，将车子前、后、左、右四个方向的近距离(3～5米)影像以2D方式呈现拼接结果，协助驾驶知悉车子四周的情况，以避免伤害车子四周的物体。此种呈现方式(2D-AVM)使得环景***仅限于车辆低速运行时使用。
为了弥补这个缺点，近年来已有厂商朝向三维环景影像(3D-AVM)***发展。但是，传统3D-AVM还有一些缺点，例如：在拼接影像时会产生一些拼接的死角，换句话说，实际出现在车辆四周的物体，在影像拼接的区域会消失不见，或者，传统3D-AVM在拼接影像时，会产生物体重复出现的情况，且距离越远的地方发生影像重复出现的情况会越明显。
发明内容
有鉴于上述问题，本发明的目的在于提供一种车辆的三维环景***及其方法，其在拼接影像时减少拼接死角的产生，使实际出现在车辆四周的物体在影像拼接的区域不会消失不见，亦不会产生物体重复出现的情况。
本发明的第一方面提供一种车辆的三维环景方法，其包括下列步骤：
接收拍摄一校正板所产生的多个鱼眼影像数据，所述校正板上具有呈直线的多个水平参考线及多个辐射垂直参考线，所述水平参考线及辐射垂直参考线在所述鱼眼影像数据中呈圆弧线条；
将具有呈圆弧线条的水平参考线及辐射垂直参考线的所述多个鱼眼影像数据校正成为具有呈直线的水平参考线及辐射垂直参考线的多个校正影像数据而产生一鱼眼校正查找表，根据所述鱼眼校正查找表得到所述多个校正影像数据中的每一像素对应所述多个鱼眼影像数据中的每一像素的坐标位置；
将相邻关系的校正影像数据的呈直线的所述辐射垂直参考线旋转及平移成为相同的辐射角度的重叠而产生一旋转平移查找表，根据所述旋转平移查找表及所述鱼眼校正查找表得到经旋转及平移的所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置；以及
根据所述旋转平移查找表及所述鱼眼校正查找表产生一拼接影像查找表，根据所述拼接影像查找表得到所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置，根据所述鱼眼影像数据中的每一像素的像素值计算所述校正影像数据中的每一像素的像素值，并将相邻的所述校正影像数据进行影像拼接，以产生一静态拼接影像数据。
本发明的第二方面提供一种车辆的三维环景***，其包括：
一鱼眼影像校正设定模块，用以接收拍摄一校正板所产生的多个鱼眼影像数据，将具有呈圆弧线条的多个水平参考线及多个辐射垂直参考线的所述多个鱼眼影像数据校正成为具有呈直线的水平参考线及辐射垂直参考线的多个校正影像数据而产生一鱼眼校正查找表，将为相邻关系的校正影像数据的呈直线的所述辐射垂直参考线旋转及平移成为相同的辐射角度的重叠而产生一旋转平移查找表，其中，所述校正板上具有呈直线的所述多个水平参考线及所述多个辐射垂直参考线，所述鱼眼影像数据中的所述水平参考线及所述辐射垂直参考线呈圆弧线条，根据所述鱼眼校正查找表得到所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置，根据所述旋转平移查找表及所述鱼眼校正查找表得到经旋转及平移的所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置；以及
一静态三维拼接影像产生模块，用以根据所述旋转平移查找表及所述鱼眼校正查找表产生一拼接影像查找表，根据所述鱼眼影像数据中的每一像素的像素值计算所述校正影像数据中的每一像素的像素值，并将相邻的校正影像数据进行影像拼接，以产生一静态拼接影像数据，其中，根据所述拼接影像查找表得到所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置。
附图说明
图1为本发明车辆的三维环景***的方块图；
图2A为本发明鱼眼镜头拍摄角度的示意图；
图2B为本发明鱼眼镜头拍摄影像的图标；
图3A及图3B为本发明校正板的示意图；
图4A为本发明水平参考线的鱼眼影像的示意图；
图4B为图4A多条水平参考线中的一条水平参考线的示意图；
图5为本发明辐射垂直参考线的鱼眼影像的示意图；
图6A为本发明拍摄校正板所得到的鱼眼影像的示意图；
图6B为将图6A的鱼眼影像进行校正后所得到的校正影像的示意图；
图6C为图6A的鱼眼影像中的一像素坐标位置的示意图；
图6D为对应图6C的鱼眼影像中的一像素校正影像中的一像素坐标位置的示意图；
图7A及图7B为本发明的建立鱼眼校正查找表示意图；
图8A及图8B为本发明的建立旋转平移查找表示意图；
图9为本发明根据辐射垂直参考线来重叠相邻校正影像的示意图；
图10A为本发明的计算拼接影像中影像无重叠区域的像素值的示意图；
图10B为本发明的计算未拼接影像中影像无重叠区域的像素值的示意图；
图11A为本发明的计算拼接影像中影像重叠区域的像素值的示意图；
图11B为本发明的计算未拼接影像中影像重叠区域的像素值的示意图；
图12为本发明的确定影像的影像重叠区域的宽度的示意图；
图13为本发明的影像未进行压缩及移动的图式；
图14为本发明的影像进行压缩及移动的图式；
图15A为本发明的计算拼接影像的像素值的示意图；
图15B为本发明的计算未拼接影像的像素值的示意图；
图16为本发明的拼接多张影像而成的三维影像的图标；以及
图17为本发明的车辆的三维环景方法的流程图。
附图标记列表：
100 三维环景***
102 鱼眼镜头
104 缓冲存储器
106 数据显示装置
108 数据处理装置
110 影像输入与输出模块
112 摄影机安装校正模块
114 鱼眼影像校正设定模块
116 静态三维拼接影像产生模块
118 特征撷取模块
120 动态参数调整模块
122 动态三维拼接影像产生模块
130 车辆
132 校正板
134 校正板
136 水平参考线
138 辐射垂直参考线
140 水平参考线
142 辐射垂直参考线
144 水平参考线
146 辐射垂直参考线
148 水平参考线
150 辐射垂直参考线
152 校正影像
154 影像无重叠区域
156 影像重叠区域
158 拼接影像
160 动态拼接影像
162 影像无重叠区域
164 影像重叠区域
具体实施方式
为使本发明所属技术领域的技术人员能更进一步了解本发明，下文特列举本发明较佳实施例，并配合所附图式，详细说明本发明的构成内容及所欲达成的功效。
图1为本发明车辆的三维环景***的方块图。在图1中，三维环景***100包括多个鱼眼镜头102、一缓冲存储器104、一数据显示装置106及一数据处理装置108。数据处理装置108包括一影像输入与输出模块110、一摄影机安装校正模块112、一鱼眼影像校正设定模块114、一静态三维拼接影像产生模块116、一特征撷取模块118、一动态参数调整模块120及一动态三维拼接影像产生模块122。
在本实施例中，在车辆的前后左右分别安装有鱼眼镜头102以拍摄车辆四周的影像。多个鱼眼镜头102将所拍摄的影像分别转换为鱼眼影像数据，并储存在缓冲存储器104中。数据显示装置106将影像数据显示成影像，例如将鱼眼镜头102所转换的鱼眼影像数据显示成鱼眼镜头102所拍摄的影像。
校正位于车辆的前、后、左、右的四个方位的每一鱼眼镜头102的安装位置，如图2A为本发明的鱼眼镜头拍摄角度的示意图及图2B为本发明的鱼眼镜头拍摄影像的图标所示，通过数据显示装置106显示图2B的影像以校正每一鱼眼镜头102的安装位置，使每一鱼眼镜头102所拍摄的影像为车底部分的影像在整个影像的底部的八分之一处。
在进行静态三维影像拼接程序时，如图3A及图3B为本发明校正板的示意图所示，每一鱼眼镜头102拍摄车辆130周围的校正板132、134，以图3A的校正板132为例，每一鱼眼镜头102拍摄到一条呈直线的水平参考线136及一条呈直线的辐射垂直参考线138的景物，以图3B的校正板134为例，每一鱼眼镜头102拍摄到多条呈直线的水平参考线140及多条呈直线的辐射垂直参考线142的景物。本发明以下实施例的说明是以图3B的校正板134为例。
每一鱼眼镜头102拍摄图3B的校正板134所获得的鱼眼影像为多条呈圆弧线条的水平参考线144(如图4A为本发明的水平参考线的鱼眼影像的示意图所示)及多条呈圆弧线条的辐射垂直参考线146(如图5为本发明的辐射垂直参考线的鱼眼影像的示意图所示)的影像，并将多条呈圆弧线条的水平参考线144及辐射垂直参考线146的影像转换成鱼眼影像数据。每一鱼眼镜头102将多个鱼眼影像数据储存在缓冲存储器104中。
摄影机安装校正模块112经由影像输入与输出模块110接收多个鱼眼镜头102所转换的多个鱼眼影像数据(多条呈圆弧线条的水平参考线144及辐射垂直参考线146的鱼眼影像数据)，或者在缓冲存储器104中读取多个鱼眼影像数据。
图4B为图4A多条水平参考线中的一条水平参考线的示意图。摄影机安装校正模块112根据图4B的呈圆弧线条的水平参考线144的两个端点的高度h1及h2，在使水平参考线144的两个端点的高度h1及h2相同时以调整每一鱼眼镜头102的水平位置呈水平状态。
摄影机安装校正模块112根据呈圆弧线条的辐射垂直参考线146，以调整每一鱼眼镜头102的左右角度位置，使每一鱼眼镜头102的左右两端能拍摄到校正板134的辐射垂直参考线142。
图6A为本发明的拍摄校正板所得到的鱼眼影像的示意图，图6B为将图6A的鱼眼影像进行校正后所得到的校正影像的示意图，图6C为图6A的鱼眼影像中的一像素的坐标位置示意图，图6D为对应图6C的鱼眼影像中的一像素的校正影像中的一像素的坐标位置示意图。
每一鱼眼镜头102拍摄图3B的校正板134而得到的鱼眼影像如图6A所示，而鱼眼影像中的水平参考线144以及辐射垂直参考线146因鱼眼镜头102的关系而以圆弧线条的方式呈现。鱼眼镜头102将如图6A所示的鱼眼影像转换成鱼眼影像数据，并将鱼眼影像数据储存在缓冲存储器104。
鱼眼影像校正设定模块114经由影像输入与输出模块110接收每一鱼眼镜头102所转换的鱼眼影像数据或读取缓冲存储器104的鱼眼影像数据。鱼眼影像校正设定模块114利用已知的影像校正技术将图6A的呈圆弧线条的水平参考线144以及辐射垂直参考线146校正成图6B的呈直线的水平参考线148以及辐射垂直参考线150。
校正板134的水平参考线140及辐射垂直参考线142从圆弧线条还原成直线的呈现方式，则代表完成鱼眼影像的校正程序。简而言之，鱼眼影像校正的程序主要是在鱼眼影像的X与Y轴各自决定一组最适当的椭圆弧度参数，然后依据该参数将鱼眼影像数据中的所有像素往影像中心点压缩，如图6C及图6D所示。假设图6C为鱼眼影像，经过鱼眼影像校正程序后得到图6D的校正影像，因此，在图6D的校正影像的校正影像数据的一像素坐标(x1,y1)对应图6C的鱼眼影像的鱼眼影像数据的坐标(x2,y2)。
鱼眼影像校正设定模块114在进行鱼眼影像校正时会产生一鱼眼校正查找表(Lookup Table)，该鱼眼校正查找表主要是帮忙找出鱼眼影像校正后的校正影像数据中的每个像素的坐标(x1,y1)对应鱼眼影像数据中的每个像素的坐标(x2,y2)。因此，基本上至少会有“X坐标”以及“Y坐标”两个鱼眼校正查找表。
图7A及图7B为本发明的建立鱼眼校正查找表的示意图。图7A及图7B中黑色粗线上的坐标(x1,y1)表示为校正影像数据中的像素的坐标位置及坐标(x2,y2)表示为鱼眼影像数据中的像素的坐标位置，其中，x2与y2为未知值。
图7A中的h1与h2分别代表Y坐标点y1与y2到影像中心线的高度值。依据等比原理，可以求得公式(1)，经过推导可得公式(2)，换句话说，y2即为“Y坐标鱼眼校正查找表”中对应坐标(x1,y1)的值。
使用同样的方法(如图7B)，根据公式(3)可推导出x2为“X坐标鱼眼校正查找表”中对应坐标(x1,y1)的值，其中w1与w2分别代表X坐标点x1与x2到影像中心线的宽度值。
鱼眼影像校正设定模块114在将鱼眼影像校正为校正影像后，鱼眼影像校正设定模块114将相邻的校正影像中的辐射垂直参考线150的辐射角度调整为相同角度且可以重叠，在进行校正影像的旋转及平移的过程中会产生一旋转平移查找表。
图8A及图8B为本发明的建立旋转平移查找表的示意图。图8A中的校正影像的原点(0,0)在影像的左下角处，将校正影像平移到新坐标(xs,ys)的位置，并以(xs,ys)为原点做逆时针旋转θ角，如图8B所示。欲求得旋转且平移后校正影像数据中的像素的坐标(x2,y2)与原校正影像数据中的像素的坐标(x1,y1)的关系，可由公式(4)、(5)求得，同时，也会有“X坐标”以及“Y坐标”两个不同的旋转平移查找表。换句话说，根据“X坐标”以及“Y坐标”两个旋转平移查找表可以得知经旋转且平移后校正影像数据中的每个像素的坐标位置与原始校正影像数据中的每个像素的坐标位置的位置关系。
x2＝(x1-xs)cosθ+(y1-ys)sinθ (4)
y2＝-(x1-xs)sinθ+(y1-ys)cosθ (5)
鱼眼影像校正设定模块114依据两两相邻的校正影像(例如：左侧校正影像与后面校正影像、及右侧校正影像与后面校正影像)中的“辐射垂直参考线”，基于如上述旋转及平移左右两侧的校正影像的校正影像数据中每一像素的坐标位置，使重叠后的两两相邻的校正影像中的“辐射垂直参考线”能尽量重叠在一起(如图9为本发明的根据辐射垂直参考线来重叠相邻校正影像的示意图所示)。在本实施例中，左右两侧的校正影像的旋转角度θ较佳是在5°≤θ≤45°范围之内，本实施例所述的这个旋转角度与已知的大幅度的旋转角度(大于65度)有明显的不同。
在上述将两两相邻的校正影像进行影像重叠时，静态三维拼接影像产生模块116根据鱼眼校正查找表及旋转平移查找表来产生一拼接影像查找表。当静态三维拼接影像产生模块116将图9所示的校正影像进行影像拼接时，静态三维拼接影像产生模块116根据该拼接影像查找表得知欲进行影像拼接的每一校正影像数据中的每一像素对应每一鱼眼影像数据中的每一像素的坐标位置。
图10A为本发明的计算拼接影像中影像无重叠区域的像素值的示意图，图10B为本发明的计算未拼接影像中影像无重叠区域的像素值的示意图，图11A为本发明的计算拼接影像中影像重叠区域的像素值的示意图，图11B为本发明的计算未拼接影像中影像重叠区域的像素值的示意图。每一校正影像152默认有一影像无重叠区域154及一影像重叠区域156，如图10B及图11B所示。
静态三维拼接影像产生模块116产生静态三维拼接影像的方式基本上将依据图10A及图11A的拼接影像158中的像素所在位置，分别计算出每一校正影像数据的影像无重叠区域154及影像重叠区域156中的每一像素的像素值(即r(红色)、g(绿色)、b(蓝色)的像素值)。
静态三维拼接影像产生模块116计算拼接影像158在影像无重叠区域154中的校正影像数据的像素的像素值，该计算只需要参考一张校正影像，因此根据拼接影像查找表找到校正影像152在影像无重叠区域154中的像素与鱼眼影像中的像素相对应的坐标位置，再依据该相对应的坐标位置的像素值可求得拼接影像158在影像无重叠区域154中的拼接影像数据的像素的像素值(如图10A所示)。
假设要求得图10A的拼接影像158中影像无重叠区域154内的像素的坐标(x,y)的像素值(r,g,b)，根据拼接影像查找表找到对应拼接影像158中的像素的坐标(x,y)的鱼眼影像中的像素的坐标位置为(x1+α1,y1+β1)，如图10B所示，其中加权值α1,β1的数值为0≤α1＜1以及0≤β1＜1。静态三维拼接影像产生模块116计算拼接影像的像素的坐标(x,y)的像素值将会使用到鱼眼影像中的四个像素的坐标(x1,y1)、(x1+1,y1)、(x1,y1+1)、以及(x1+1,y1+1)的像素值，并可由公式(6)、(7)、(8)求得。
r＝r1(1-α1)(1-β1)+r2α1(1-β1)+r3(1-α1)β1+r4α1β1 (6)
g＝g1(1-α1)(1-β1)+g2α1(1-β1)+g3(1-α1)β1+g4α1β1 (7)
b＝b1(1-α1)(1-β1)+b2α1(1-β1)+b3(1-α1)β1+b4α1β1 (8)
静态三维拼接影像产生模块116计算拼接影像158在影像重叠区域156中的像素的像素值，该计算需要参考两张校正影像(如图11B所示)，因此根据拼接影像查找表找到欲拼接的两个校正影像152在影像重叠区域156中的像素与鱼眼影像中的像素相对应的坐标位置，再依据该相对应的坐标位置的像素值可求得拼接影像158在影像重叠区域156中的拼接影像数据的像素的像素值(如图11A所示)。
假设要求得图11A的拼接影像158中的影像重叠区域156内的像素的坐标(x,y)的像素值(r,g,b)，根据拼接影像查找表找到与图11A的拼接影像数据在影像重叠区域156中的像素所对应的鱼眼影像数据中的像素的坐标位置，找到鱼眼影像数据中的像素的坐标位置而可得知对应该坐标位置的像素的像素值。需要参考两个鱼眼影像数据的像素的像素值(如图11B所示)，且使用公式(6)～(8)以在两个鱼眼影像数据中分别得到与像素相对应的像素值(ra,ga,ba)以及(rb,gb,bb)。在拼接影像158于影像重叠区域156中的像素进行影像拼接时的像素的像素值可由公式(9)～(11)求得。
r＝0.5*ra+0.5*rb (9)
g＝0.5*ga+0.5*gb (10)
b＝0.5*ba+0.5*bb (11)
静态三维拼接影像产生模块116在计算获得拼接影像158在影像无重叠区域154及影像重叠区域156中的像素的像素值，便完成由多张鱼眼影像经校正、旋转及平移而成的静态三维拼接影像，并可产生拼接影像查找表以供下述进行动态三维影像拼接的使用。
在进行动态三维影像拼接程序时，每一鱼眼镜头102拍摄在该车辆行驶中的影物而得到鱼眼影像，鱼眼镜头102将所拍摄的鱼眼影像转换成鱼眼影像数据，并将鱼眼影像数据储存在缓冲存储器104。
特征撷取模块118经由影像输入与输出模块110接收每一鱼眼镜头102所转换的鱼眼影像数据或读取缓冲存储器104中的鱼眼影像数据。特征撷取模块118参考多个鱼眼影像来进行动态三维影像拼接，并根据上述拼接影像查找表得知一动态拼接影像的一动态拼接影像数据中的每一像素对应多个鱼眼影像数据中的每一像素的坐标位置。
针对两两相邻的鱼眼影像的影像重叠区域(如图12为本发明的确定影像的影像重叠区域的宽度的示意图中的L以及R的区域)藉由分析“边缘方向(Edge Direction)”及“梯度强度(Gradient Intensity)”以得到“边缘类型分类地图(Edge Style ClassificationMap,ESCM)”。在本实施例中，若影像重叠区域(图12中标示为L及R的区域)的宽度Wd2与鱼眼影像的宽度Wd1符合公式12的关系时，可以达到使用最少的运算而求得最佳的结果。
特征撷取模块118计算鱼眼影像数据的影像重叠区域的每一像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，且将鱼眼影像数据的影像重叠区域的每一像素的水平梯度绝对值、垂直梯度绝对值及边缘方向值与多个门限值进行比较，而将鱼眼影像数据的影像重叠区域的每一像素分类为多个边缘类型中的一种。
亦即，特征撷取模块118对鱼眼影像数据进行特征撷取主要是撷取鱼眼影像数据的影像重叠区域的每一像素的梯度(Gradient)特征。在较复杂的鱼眼影像中(例如：含有车辆、阴影、人造物…等)会侦测出过多的边缘像素(Edge Pixel)，并增加后续特征比对的困难度。有鉴于此，本实施例利用“边缘类型分类地图”可以有效率地将鱼眼影像数据的影像重叠区域的像素依据其特性分成至少四类的“边缘类型(Edge Style)”。以下是ESCM的分类公式如下所示：
其中，ES(x,y)为鱼眼影像数据的影像重叠区域的像素坐标位置(x,y)点的“边缘类型”分类结果；ΔAHG(x,y)以及ΔAVG(x,y)分别为像素点(x,y)的“水平梯度绝对值(Horizontal Gradient Absolute Value)”以及“垂直梯度绝对值(Vertical GradientAbsolute Value)”，其值范围为0≤ΔAHG(x,y)≤255以及0≤ΔAVG(x,y)≤255；HdV(x,y)为的值，其范围为0≤HdV(x,y)≤∞；ThE1、ThE2、ThE3分别为三种门限值(threshold)。经多次实验发现，以下的门限值设定在3D-AVM应用上能提供最佳的结果。
5≤ThE1≤10 (14)
0.3≤ThE2≤0.7 (15)
1.5≤ThE3≤2.5 (16)
图13为本发明的影像未进行压缩及移动的图式。在上述由特征撷取模块118求得两两相邻的影像(例如：“左侧影像与后面影像”、“右侧影像与后面影像”)的影像重叠区域中的梯度特征后，先找出影像重叠区域中的对象(如车道线、或是车子)，再根据对象在两个相邻的影像中的大小，决定动态调整的两个重要参数：“压缩影像大小的比例”、以及“移动影像的程度”。
在静态影像拼接时，会发现在影像拼接处会有不一致的现象，例如图13(a)中，“左侧影像与后面影像”以及“右侧影像与后面影像”的拼接处道路上的车道线有很明显的不一致现象，除了车道线没有连结之外，车道线也有粗细明显的不同。
在本实施例中进行动态影像的调整，以解决上述问题。首先，动态参数调整模块120将在相邻影像的影像重叠区域中找出对应的对象，判断出相邻影像中的一影像进行压缩的比例。例如：图13(b)与(c)分别为图13(a)的左侧影像与后面影像，而“影像浅白”部分为“影像重叠区域”。通过上述梯度特征的分类，可以找出相邻影像的影像重叠区域中比较有代表性的对象(如车道线的直线线段)，通过分析直线的平均宽度(粗细程度)，以决定影像需要实施大小压缩的参数。例如：图13(d)与(e)分别为图13(b)与(c)的车道线宽度的图示。
假设图13(d)及(e)的线段平均宽度(粗细)各自为5与3个像素宽度。动态参数调整模块120可以决定压缩影像的参数将会是3/5＝0.6，换句话说，需要把图13(b)的影像大小压缩到原本的0.6倍的大小，这样的影像拼接结果才会比较完美。
图14为本发明的影像进行压缩及移动的图式。经过“压缩影像大小比例”的动态调整后，以及移动影像产生拼接影像的示意图如图14所示。假设原始左侧影像的长度为500像素单位(如图14(a)所示)，压缩比例设为0.6，压缩后的影像长度变为300像素单位(如图14(b)所示)。
图14(c)为“左侧影像”与“后方影像”在影像移动之前的示意图，移动影像之后的结果如图14(d)所示。在本实施例中，动态参数调整模块120在影像重叠区域内确定可信赖的物体时，若同时找到一组以上的对象，动态参数调整模块120将依据这些对象的所在位置，而决定其重要性，基本上，在下方(Bottom)位置的对象的特征会比在上方(Up)位置的对象的特征重要。
动态参数调整模块120将多个鱼眼影像数据中的每一像素进行边缘检测而获得一平均梯度绝对值强度。举例说明，表1(a)、(b)为两张鱼眼影像中的部分影像(7×7大小)的影像数据的像素的梯度特征，而表1(a)、(b)的中间粗体画底线的像素则为目前所要运算的像素的位置。表1(c)、(d)则是两个影像数据的像素经过水平索贝尔边缘检测(Sobel EdgeDetection)所侦测后的结果。假设所要运算的像素的参考的默认区域为5×5大小，动态参数调整模块120求得两张鱼眼影像中对应所要运算的像素的“平均梯度绝对值强度”分别为(Ma＝3600/25＝144)以及(Mb＝360/25＝14.4)，如表1(c)、(d)所示。其中，表1(e)为索贝尔边缘检测的3×3模板(Mark)数值。
表1
在进行动态三维拼接影像时，动态三维拼接影像产生模块122根据拼接影像查找表得知动态拼接影像数据中的每一像素对应每一鱼眼影像数据中的每一像素的坐标位置。
图15A为本发明的计算拼接影像的像素值的示意图，图15B为本发明的计算未拼接影像的像素值的示意图。在图15A中，动态三维拼接影像产生模块122计算动态拼接影像160在影像无重叠区域162中的影像数据的像素的像素值的方式如同上述静态三维拼接影像产生模块116计算拼接影像158在影像无重叠区域162中的影像数据的像素的像素值的方式，该计算只需要参考一张鱼眼影像，因此根据拼接影像查找表找到动态拼接影像160在影像无重叠区域162中的像素与鱼眼影像中的像素相对应的坐标位置，再依据该相对应的坐标位置的像素值可求得动态拼接影像160在影像无重叠区域162中的动态拼接影像数据的像素的像素值。
假设要求得图15A的动态拼接影像160中的影像重叠区域164内的像素的坐标(x,y)的像素值(r,g,b)，根据拼接影像查找表找到与图15A的动态拼接影像数据在影像重叠区域164中的像素所对应的鱼眼影像数据中的像素的坐标位置，找到鱼眼影像数据中的像素的坐标位置而可得知对应该坐标位置的像素的像素值。需要参考两个鱼眼影像数据的像素的像素值，且使用公式(6)～(8)以在两个鱼眼影像数据中分别得到与像素(xa,ya)及(xb,yb)(如图15B所示)相对应的像素值(ra,ga,ba)以及(rb,gb,bb)。
动态三维拼接影像产生模块122根据拼接影像查找表在两个鱼眼影像数据中分别得到与像素(xa,ya)及(xb,yb)(如图15B所示)相对应的像素值(ra,ga,ba)以及(rb,gb,bb)，并由此计算动态拼接影像160在影像重叠区域164中的影像数据的像素的像素值，其可由公式(17)～(19)求得。其中：
Ma与Mb为鱼眼影像数据中对应所要计算的像素(xa,ya)及(xb,yb)周围的“平均梯度绝对值强度”的数值。
r＝ra*RatioMa+rb*RatioMb (17)
g＝ga*RatioMa+gb*RatioMb (18)
b＝ba*RatioMa+bb*RatioMb (19)
图16为本发明的拼接多张影像而成的三维影像的图标。动态三维拼接影像产生模块122将计算获得的动态拼接影像数据(包含动态拼接影的影像无重叠区域及影像重叠区域的影像数据)经由影像输入与输出模块110传送至数据显示装置106，而由数据显示装置106显示由多张鱼眼影像(如图16(a)、(b)、(c)所示)经动态压缩及移动而形成的动态三维拼接影像(如图16(d)所示)。
参照上述车辆的三维环景***的方块图及与车辆的三维环景***相关的示意图，以说明本发明的车辆的三维环景方法的操作。
图17为本发明的车辆的三维环景方法的流程图。在本实施例中，在车辆的前后左右分别安装有鱼眼镜头102以拍摄车辆四周的影像(步骤S20)。由多个鱼眼镜头102将所拍摄的影像分别转换为鱼眼影像数据，并储存在缓冲存储器104中。
校正位于车辆的前、后、左、右的四个方位的每一鱼眼镜头102的安装位置，如图2A及图2B所示，根据数据显示装置106显示图2B的影像来校正每一鱼眼镜头102的安装位置，使每一鱼眼镜头102所拍摄的影像为车底部分的影像在整个影像的底部的八分之一处。
在进行静态三维影像拼接程序时，如图3A及图3B所示，由每一鱼眼镜头102拍摄车辆130周围的校正板132、134，如图3B的校正板134所示，每一鱼眼镜头102拍摄到多条呈直线的水平参考线140及多条呈直线的辐射垂直参考线142的景物。
由每一鱼眼镜头102拍摄校正板134所获得的鱼眼影像为多条呈圆弧线条的水平参考线144(如图4A所示)及多条呈圆弧线条的辐射垂直参考线146(如图5所示)的影像，并将多条呈圆弧线条的水平参考线144及辐射垂直参考线146的影像转换成鱼眼影像数据。每一鱼眼镜头102将多个鱼眼影像数据储存在缓冲存储器104中。
由摄影机安装校正模块112经由影像输入与输出模块110接收多个鱼眼镜头102所转换的多个鱼眼影像数据(多条呈圆弧线条的水平参考线144及辐射垂直参考线146的鱼眼影像数据)，或者在缓冲存储器104中读取多个鱼眼影像数据。
由摄影机安装校正模块112根据图4B的呈圆弧线条的水平参考线144的两个端点的高度h1及h2，在使水平参考线144的两个端点的高度h1及h2相同时以调整每一鱼眼镜头102的水平位置呈水平状态。
由摄影机安装校正模块112根据呈圆弧线条的辐射垂直参考线146，以调整每一鱼眼镜头102的左右角度位置，使每一鱼眼镜头102的左右两端能拍摄到校正板134的辐射垂直参考线142。
由每一鱼眼镜头102拍摄图3B的校正板134而得到鱼眼影像如图6A所示，而鱼眼影像中的水平参考线144以及辐射垂直参考线146因鱼眼镜头102的关系而以圆弧线条的方式呈现。鱼眼镜头102将如图6A所示的鱼眼影像转换成鱼眼影像数据，并将鱼眼影像数据储存在缓冲存储器104。
由鱼眼影像校正设定模块114经由影像输入与输出模块110接收每一鱼眼镜头102所转换的鱼眼影像数据或读取缓冲存储器104的鱼眼影像数据。鱼眼影像校正设定模块114利用已知的影像校正技术将图6A的呈圆弧线条的水平参考线144以及辐射垂直参考线146校正成图6B的呈直线的水平参考线148以及辐射垂直参考线150(步骤S22)。
校正板134的水平参考线140及辐射垂直参考线142从圆弧线条还原成直线的呈现方式，则代表完成鱼眼影像的校正程序。简而言之，鱼眼影像校正的程序主要是在鱼眼影像的X与Y轴各自决定一组最适当的椭圆弧度参数，然后依据该参数将鱼眼影像数据中的所有像素往影像中心点压缩，如图6C及图6D所示。假设图6C为鱼眼影像，经过鱼眼影像校正程序后得到图6D的校正影像，因此，在图6D的校正影像的校正影像数据的一像素的坐标(x1,y1)对应图6C的鱼眼影像的鱼眼影像数据的坐标(x2,y2)。
由鱼眼影像校正设定模块114在进行鱼眼影像校正时会产生一鱼眼校正查找表(步骤S24)，该鱼眼校正查找表主要是帮忙找出鱼眼影像校正后的校正影像数据中的每个像素的坐标(x1,y1)对应鱼眼影像数据中的每个像素的坐标(x2,y2)。因此，基本上至少会有“X坐标”以及“Y坐标”两个鱼眼校正查找表。
图7A中的h1与h2分别代表Y坐标点y1与y2到影像中心线的高度值。依据等比原理，可以求得公式(1)，经过推导可得公式(2)，以获得y2为“Y坐标鱼眼校正查找表”中对应坐标(x1,y1)的值。使用同样的方法(如图7B)，根据公式(3)可推导出x2为“X坐标鱼眼校正查找表”中对应坐标(x1,y1)之值。
鱼眼影像校正设定模块114在将鱼眼影像校正为校正影像后，由鱼眼影像校正设定模块114将相邻的校正影像中的辐射垂直参考线150的辐射角度调整为相同角度且可以重叠，在进行校正影像的旋转及平移的过程中会产生一旋转平移查找表(步骤S26)。
图8A中的校正影像的原点(0,0)在影像的左下角处，将校正影像平移到新坐标(xs,ys)的位置，并以(xs,ys)为原点做逆时针旋转θ角，如图8B所示。欲求得旋转且平移后校正影像数据中的像素的坐标(x2,y2)与原校正影像数据中的像素的坐标(x1,y1)的关系，可由公式(4)、(5)求得，同时，也会有“X坐标”以及“Y坐标”两个不同的旋转平移查找表。换句话说，根据“X坐标”以及“Y坐标”两个旋转平移查找表可以得知经旋转且平移后校正影像数据中的每个像素的坐标位置与原始校正影像数据中的每个像素的坐标位置的位置关系。
由鱼眼影像校正设定模块114依据两两相邻的校正影像(如左侧校正影像与后面校正影像、及右侧校正影像与后面校正影像)中的“辐射垂直参考线”，根据如上述旋转及平移左右两侧的校正影像的校正影像数据中每一像素的坐标位置，使重叠后的两两相邻的校正影像中的“辐射垂直参考线”能尽量重叠在一起(如图9所示)。在本实施例中，左右两侧的校正影像的旋转角度θ较佳是在5°≤θ≤45°范围之内。
在上述将两两相邻的校正影像进行影像重叠时，由静态三维拼接影像产生模块116根据鱼眼校正查找表及旋转平移查找表以产生一拼接影像查找表。当静态三维拼接影像产生模块116将图9所示的校正影像进行影像拼接时，静态三维拼接影像产生模块116根据该拼接影像查找表得知欲进行影像拼接的每一校正影像数据中的每一像素对应每一鱼眼影像数据中的每一像素的坐标位置。
依据图10A及图11A的拼接影像158中的像素所在位置，由静态三维拼接影像产生模块116分别计算出每一校正影像数据的影像无重叠区域154及影像重叠区域156中的每一像素的像素值(即r、g、b像素值)。
由静态三维拼接影像产生模块116计算拼接影像158在影像无重叠区域154中的校正影像数据的像素的像素值，该计算只需要参考一张校正影像，因此根据拼接影像查找表找到校正影像152在影像无重叠区域154中的像素与鱼眼影像中的像素相对应的坐标位置，再依据该相对应的坐标位置的像素值可求得拼接影像158在影像无重叠区域154中的拼接影像数据的像素的像素值(如图10A所示)。
假设要求得图10A的拼接影像158中影像无重叠区域154内的像素的坐标(x,y)的像素值(r,g,b)，根据拼接影像查找表找到对应拼接影像158中的像素的坐标(x,y)的鱼眼影像中的像素的坐标位置为(x1+α1,y1+β1)，其中加权值α1,β1的数值为0≤α1＜1以及0≤β1＜1。由静态三维拼接影像产生模块116计算拼接影像的像素的坐标(x,y)的像素值将会使用到鱼眼影像中的四个像素的坐标(x1,y1)、(x1+1,y1)、(x1,y1+1)、以及(x1+1,y1+1)的像素值，如图10B所示，并可由公式(6)、(7)、(8)求得。
由静态三维拼接影像产生模块116计算拼接影像158在影像重叠区域156中的像素的像素值，该计算需要参考两张校正影像(如图11B所示)，因此根据拼接影像查找表找到欲拼接的两个校正影像152在影像重叠区域156中的像素与鱼眼影像中的像素相对应的坐标位置，再依据该相对应的坐标位置的像素值可求得拼接影像158在影像重叠区域156中的拼接影像数据的像素的像素值(如图11A所示)。
假设要求得图11A的拼接影像158中的影像重叠区域156内的像素的坐标(x,y)的像素值(r,g,b)，根据拼接影像查找表找到与图11A的拼接影像数据在影像重叠区域156中的像素所对应的鱼眼影像数据中的像素的坐标位置，找到鱼眼影像数据中的像素的坐标位置而可得知对应该坐标位置的像素的像素值。需要参考两个鱼眼影像数据的像素的像素值(如图11B所示)，且使用公式(6)～(8)以在两个鱼眼影像数据中分别得到与像素相对应的像素值(ra,ga,ba)以及(rb,gb,bb)。在拼接影像158于影像重叠区域156中的像素进行影像拼接时的像素的像素值可由公式(9)～(11)求得。
静态三维拼接影像产生模块116在计算获得拼接影像158在影像无重叠区域154及影像重叠区域156中的像素的像素值，便完成由多张鱼眼影像经校正、旋转及平移而成的静态三维拼接影像，并可产生拼接影像查找表以供下述进行动态三维影像拼接的使用(步骤S28)。
在进行动态三维影像拼接程序时，由每一鱼眼镜头102拍摄在该车辆行驶中的影物而得到鱼眼影像，鱼眼镜头102将所拍摄的鱼眼影像转换成鱼眼影像数据，并将鱼眼影像数据储存在缓冲存储器104(步骤S30)。
由特征撷取模块118经由影像输入与输出模块110接收每一鱼眼镜头102所转换的鱼眼影像数据或读取缓冲存储器104中的鱼眼影像数据。特征撷取模块118参考多个鱼眼影像来进行动态三维影像拼接，并根据上述拼接影像查找表得知一动态拼接影像的一动态拼接影像数据中的每一像素对应多个鱼眼影像数据中的每一像素的坐标位置。
针对两两相邻的鱼眼影像的影像重叠区域(如图12中的L以及R的区域)通过分析“边缘方向”及“梯度强度”以得到“边缘类型分类地图”。
由特征撷取模块118计算鱼眼影像数据的影像重叠区域的每一像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，且将鱼眼影像数据的影像重叠区域的每一像素的水平梯度绝对值、垂直梯度绝对值及边缘方向值与多个门限值进行比较，而将鱼眼影像数据的影像重叠区域的每一像素分类为多个边缘类型中的一种(步骤S32)。
亦即，由特征撷取模块118对鱼眼影像数据进行特征撷取主要是撷取鱼眼影像数据的影像重叠区域的每一像素的梯度特征，本实施例利用上述“边缘类型分类地图”可以有效率地将鱼眼影像数据的影像重叠区域的像素依据其特性分成至少四类的“边缘类型”。
在上述由特征撷取模块118求得两两相邻的影像(例如：左侧影像与后面影像、右侧影像与后面影像)的影像重叠区域中的梯度特征后，先找出影像重叠区域中的对象(如车道线、或是车子)，再根据对象在两个相邻的影像中的大小，以决定动态调整的两个重要参数：“压缩影像大小的比例”、以及“移动影像的程度”(步骤S34)。
由动态参数调整模块120将在相邻影像的影像重叠区域中找出对应的对象，判断出相邻影像中的一影像进行压缩的比例。例如：图13(b)与(c)分别为图13(a)的左侧影像与后面影像，而“影像浅白”部分为“影像重叠区域”。通过上述梯度特征的分类，可以找出相邻影像的影像重叠区域中比较有代表性的对象(如车道线的直线线段)，通过分析直线的平均宽度(粗细程度)，以决定影像需要实施大小压缩的参数，如图13(d)与(e)分别为图13(b)与(c)的车道线宽度的图示及上述线段平均宽度例子的说明。
经过“压缩影像大小比例”的动态调整后，以及移动影像产生拼接影像的示意图如图14所示。假设原始左侧影像的长度为500像素单位(如图14(a)所示)，压缩比例设为0.6，压缩后的影像长度变为300像素单位(如图14(b)所示)。
图14(c)为“左侧影像”与“后方影像”在影像移动之前的示意图，移动影像之后的结果如图14(d)所示。在本实施例中，由动态参数调整模块120在影像重叠区域内确定可信赖的物体时，若同时找到一组以上的对象，动态参数调整模块120将依据这些对象的所在位置，而决定其重要性，基本上，在下方位置的对象的特征会比在上方位置的对象的特征重要。
在上述表1的说明，可由动态参数调整模块120将多个鱼眼影像数据中的每一像素进行边缘检测而获得一平均梯度绝对值强度。
在进行动态三维拼接影像时，由动态三维拼接影像产生模块122根据拼接影像查找表得知动态拼接影像数据中的每一像素对应每一鱼眼影像数据中的每一像素的坐标位置。
在图15A中，由动态三维拼接影像产生模块122计算动态拼接影像160在影像无重叠区域162中的影像数据的像素的像素值的方式如同上述静态三维拼接影像产生模块116计算拼接影像158在影像无重叠区域162中的影像数据的像素的像素值的方式，该计算只需要参考一张鱼眼影像，因此根据拼接影像查找表找到动态拼接影像160在影像无重叠区域162中的像素与鱼眼影像中的像素相对应的坐标位置，再依据该相对应的坐标位置的像素值可求得动态拼接影像160在影像无重叠区域162中的动态拼接影像数据的像素的像素值。
假设要求得图15A的动态拼接影像160中的影像重叠区域164内的像素的坐标(x,y)的像素值(r,g,b)，根据拼接影像查找表找到与图15A的动态拼接影像数据在影像重叠区域164中的像素所对应的鱼眼影像数据中的像素的坐标位置，找到鱼眼影像数据中的像素的坐标位置而可得知对应该坐标位置的像素的像素值。需要参考两个鱼眼影像数据的像素的像素值，且使用公式(6)～(8)以在两个鱼眼影像数据中分别得到与像素(xa,ya)及(xb,yb)(如图15B所示)相对应的像素值(ra,ga,ba)以及(rb,gb,bb)。
由动态三维拼接影像产生模块122根据拼接影像查找表在两个鱼眼影像数据中分别得到与像素(xa,ya)及(xb,yb)(如图15B所示)相对应的像素值(ra,ga,ba)以及(rb,gb,bb)，并由此计算动态拼接影像160在影像重叠区域164中的影像数据的像素的像素值，其可由公式(17)～(19)求得(步骤S36)。
由动态三维拼接影像产生模块122将计算获得的动态拼接影像数据(包含动态拼接影的影像无重叠区域及影像重叠区域的影像数据)经由影像输入与输出模块110传送至数据显示装置106，而由数据显示装置106显示由多张鱼眼影像(如图16(a)、(b)、(c)所示)经动态地压缩及移动而成的动态三维拼接影像(如图16(d)所示)(步骤S38)。
本发明提供一种车辆的三维环景***及其方法，其特点在拼接影像时减少拼接死角的产生，使实际出现在车辆四周的物体在影像拼接的区域不会消失不见，亦不会产生物体重复出现的情况。
虽然本发明已参照较佳具体实施例及举例性附图叙述如上，然而不应以此为限。本领域技术人员对其形态及具体实施例的内容做各种修改、省略及变化，均不脱离本发明权利要求所主张的范围。
Claims (10)
1.一种车辆的三维环景方法，其特征在于，包括下列步骤：
接收拍摄一校正板所产生的多个鱼眼影像数据，所述校正板上具有呈直线的多个水平参考线及多个辐射垂直参考线，所述水平参考线及辐射垂直参考线在所述鱼眼影像数据中呈圆弧线条；
将具有呈圆弧线条的水平参考线及辐射垂直参考线的所述多个鱼眼影像数据校正成为具有呈直线的水平参考线及辐射垂直参考线的多个校正影像数据而产生一鱼眼校正查找表，根据所述鱼眼校正查找表得到所述多个校正影像数据中的每一像素对应所述多个鱼眼影像数据中的每一像素的坐标位置；
将相邻关系的校正影像数据的呈直线的所述辐射垂直参考线旋转及平移成为相同的辐射角度的重叠而产生一旋转平移查找表，根据所述旋转平移查找表及所述鱼眼校正查找表得到经旋转及平移的所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置；以及
根据所述旋转平移查找表及所述鱼眼校正查找表产生一拼接影像查找表，根据所述拼接影像查找表得到所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置，根据所述鱼眼影像数据中的每一像素的像素值计算所述校正影像数据中的每一像素的像素值，并将相邻的所述校正影像数据进行影像拼接，以产生一静态拼接影像数据。
2.如权利要求1所述的方法，其特征在于，在撷取所述校正板的影像的步骤中包括下列步骤：
调整多个鱼眼镜头的安装位置，使所述鱼眼镜头拍摄影像所产生的所述鱼眼影像数据的影像底部的八分之一处为一车辆的底部的影像；
根据所述鱼眼影像数据中的呈圆弧线条的所述水平参考线中的一个的两个端点的高度，调整所述鱼眼镜头的水平位置；
根据所述鱼眼影像数据中的呈圆弧线条的所述辐射垂直参考线调整每一鱼眼镜头，使所述鱼眼镜头的左右两端拍摄到所述校正板的所述辐射垂直参考线；以及
根据所述鱼眼镜头拍摄的所述校正板的影像产生所述鱼眼影像数据。
3.如权利要求1所述的方法，其特征在于，旋转所述校正影像数据的呈直线的所述辐射垂直参考线的旋转角度在5°至45°之间。
4.如权利要求1所述的方法，其特征在于，进行影像拼接的步骤包括下列步骤：
根据所述拼接影像查找表得到所述多个校正影像数据中的每一个的所预设的一影像无重叠区域及一影像重叠区域中的每一像素对应所述多个鱼眼影像数据中的每一像素的坐标位置；
根据所述鱼眼影像数据中的每一像素的像素值计算所述校正影像数据的所述影像无重叠区域的每一像素的像素值，以得到所述静态拼接影像数据的影像无重叠区域中的每一像素的像素值；以及
根据所述鱼眼影像数据中的每一像素的像素值计算所述校正影像数据的所述影像重叠区域的每一像素的像素值，并根据计算出的像素值计算所述校正影像数据中进行影像重叠的所述影像重叠区域中的每一像素的像素值，以得到所述静态拼接影像数据的影像重叠区域中的每一像素的像素值。
5.如权利要求1所述的方法，其特征在于，在产生一静态拼接影像数据的步骤之后，进一步包括下列步骤：
接收在车辆行驶中所拍摄的鱼眼影像数据；
根据所述拼接影像查找表得到一动态拼接影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置；
计算所述鱼眼影像数据的一影像重叠区域的每一像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，将所述鱼眼影像数据的所述影像重叠区域的每一像素的所述水平梯度绝对值、垂直梯度绝对值及边缘方向值与多个门限值进行比较，以将所述鱼眼影像数据的所述影像重叠区域的每一像素分类为多个边缘类型中的一个；
根据所述鱼眼影像数据的所述影像重叠区域的每一像素的边缘类型，得到在相邻影像的所述影像重叠区域中的一对象的大小，以确定所述动态拼接影像数据的一压缩影像大小比例参数及一移动影像程度参数，而对所述动态拼接影像数据中为相邻影像中的一个的影像数据进行影像压缩及移动；
根据所述鱼眼影像数据的一影像无重叠区域的每一像素的像素值计算一动态拼接影像数据的所述影像无重叠区域的每一像素的像素值；以及
将根据所述鱼眼影像数据的所述影像重叠区域的每一像素的像素值所计算的相邻影像的影像数据的所述影像重叠区域的每一像素的像素值乘以一平均梯度绝对值强度，以获得所述动态拼接影像数据的所述影像重叠区域的每一像素的像素值，其中对所述鱼眼影像数据的所述影像重叠区域的每一像素进行边缘检测而获得所述平均梯度绝对值强度。
6.一种车辆的三维环景***，其特征在于，包括：
一鱼眼影像校正设定模块，用以接收拍摄一校正板所产生的多个鱼眼影像数据，将具有呈圆弧线条的多个水平参考线及多个辐射垂直参考线的所述多个鱼眼影像数据校正成为具有呈直线的水平参考线及辐射垂直参考线的多个校正影像数据而产生一鱼眼校正查找表，将为相邻关系的校正影像数据的呈直线的所述辐射垂直参考线旋转及平移成为相同的辐射角度的重叠而产生一旋转平移查找表，其中，所述校正板上具有呈直线的所述多个水平参考线及所述多个辐射垂直参考线，所述鱼眼影像数据中的所述水平参考线及所述辐射垂直参考线呈圆弧线条，根据所述鱼眼校正查找表得到所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置，根据所述旋转平移查找表及所述鱼眼校正查找表得到经旋转及平移的所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置；以及
一静态三维拼接影像产生模块，用以根据所述旋转平移查找表及所述鱼眼校正查找表产生一拼接影像查找表，根据所述鱼眼影像数据中的每一像素的像素值计算所述校正影像数据中的每一像素的像素值，并将相邻的校正影像数据进行影像拼接，以产生一静态拼接影像数据，其中，根据所述拼接影像查找表得到所述校正影像数据中的每一像素对应所述鱼眼影像数据中的每一像素的坐标位置。
7.如权利要求6所述的***，其特征在于，还包括：
一摄影机安装校正模块，用以调整多个鱼眼镜头的安装位置，使所述鱼眼镜头拍摄影像所产生的所述鱼眼影像数据的影像底部的八分之一处为一车辆的底部的影像，根据所述鱼眼影像数据中的呈圆弧线条的所述水平参考线中的一个的两个端点的高度，调整所述鱼眼镜头的水平位置，并根据所述鱼眼影像数据中的呈圆弧线条的所述辐射垂直参考线调整每一鱼眼镜头使该鱼眼镜头的左右两端拍摄到所述校正板的所述辐射垂直参考线；以及
一影像输入与输出模块，所述摄影机安装校正模块及鱼眼影像校正设定模块经由所述影像输入与输出模块接收所述鱼眼镜头传送的所述鱼眼影像数据，静态三维拼接影像产生模块经由所述影像输入与输出模块传送所述静态拼接影像数据至一数据显示装置。
8.如权利要求7所述的***，其特征在于，还包括：
一特征撷取模块，用以接收在车辆行驶中所拍摄的所述鱼眼影像数据，计算所述鱼眼影像数据的一影像重叠区域的每一像素的一水平梯度绝对值、一垂直梯度绝对值及一边缘方向值，将所述鱼眼影像数据的所述影像重叠区域的每一像素的所述水平梯度绝对值、垂直梯度绝对值及边缘方向值与多个门限值进行比较，以将所述鱼眼影像数据的所述影像重叠区域的每一像素分类为多个边缘类型中的一个；
一动态参数调整模块，用以根据所述鱼眼影像数据的所述影像重叠区域的每一像素的边缘类型，得到在相邻影像的所述影像重叠区域中的一对象的大小，以确定一动态拼接影像数据的一压缩影像大小比例参数及一移动影像程度参数，将所述鱼眼影像数据的所述影像重叠区域的每一像素进行边缘检测而获得一平均梯度绝对值强度；以及
一动态三维拼接影像产生模块，用以根据所述压缩影像大小比例参数及所述移动影像程度参数而对相邻影像中的一个进行影像压缩及移动，根据所述鱼眼影像数据的一影像无重叠区域的每一像素的像素值计算所述动态拼接影像数据的影像无重叠区域的每一像素的像素值，将根据所述鱼眼影像数据的所述影像重叠区域的每一像素的像素值所计算出的相邻影像的影像数据的所述影像重叠区域的每一像素的像素值乘以一平均梯度绝对值强度，以获得所述动态拼接影像数据的所述影像重叠区域的每一像素的像素值。
9.如权利要求6所述的***，其特征在于，所述鱼眼影像校正设定模块旋转所述校正影像数据的呈直线的所述辐射垂直参考线的旋转角度在5°至45°之间。
10.如权利要求6所述的***，其特征在于，所述静态三维拼接影像产生模块执行以下功能：
根据所述拼接影像查找表得到所述多个校正影像数据中的每一个的所预设的一影像无重叠区域及一影像重叠区域中的每一像素对应所述多个鱼眼影像数据中的每一像素的坐标位置；
计算所述校正影像数据的所述影像无重叠区域的每一像素所对应的所述鱼眼影像数据中的每一像素的像素值，以得到所述拼接影像数据的影像无重叠区域中的每一像素的像素值；以及
计算所述校正影像数据的所述影像重叠区域的每一像素所对应的所述鱼眼影像数据中的每一像素的像素值，并根据所计算出的像素值计算影校正影像数据中进行影像重叠的所述影像重叠区域中的每一像素的像素值，以得到所述拼接影像数据的所述影像重叠区域中的每一像素的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610329549.4A CN107403404A (zh) | 2016-05-18 | 2016-05-18 | 车辆的三维环景***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610329549.4A CN107403404A (zh) | 2016-05-18 | 2016-05-18 | 车辆的三维环景***及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107403404A true CN107403404A (zh) | 2017-11-28 |
Family
ID=60394080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610329549.4A Pending CN107403404A (zh) | 2016-05-18 | 2016-05-18 | 车辆的三维环景***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107403404A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993686A (zh) * | 2017-12-29 | 2019-07-09 | 爱唯秀股份有限公司 | 一种辅助驾驶的六分割环景*** |
| US20220371510A1 (en) * | 2021-05-24 | 2022-11-24 | Aeon Motor Co., Ltd. | Vehicle rearview warning system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072288A (zh) * | 2007-06-15 | 2007-11-14 | 林进灯 | 取得鱼眼影像校正关系与鱼眼校正的方法 |
| JP2008048443A (ja) * | 2007-09-21 | 2008-02-28 | Fujitsu Ltd | 魚眼レンズカメラ装置及びその画像抽出方法 |
| TW201019715A (en) * | 2008-11-12 | 2010-05-16 | Avisonic Technology Corp | Fisheye correction with perspective distortion reduction method and related image processor |
| CN102143302A (zh) * | 2010-01-29 | 2011-08-03 | 财团法人工业技术研究院 | 全周鸟瞰影像无缝接合方法与*** |
| CN103295231A (zh) * | 2013-05-14 | 2013-09-11 | 杭州海康希牧智能科技有限公司 | 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 |
-
2016
- 2016-05-18 CN CN201610329549.4A patent/CN107403404A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072288A (zh) * | 2007-06-15 | 2007-11-14 | 林进灯 | 取得鱼眼影像校正关系与鱼眼校正的方法 |
| JP2008048443A (ja) * | 2007-09-21 | 2008-02-28 | Fujitsu Ltd | 魚眼レンズカメラ装置及びその画像抽出方法 |
| TW201019715A (en) * | 2008-11-12 | 2010-05-16 | Avisonic Technology Corp | Fisheye correction with perspective distortion reduction method and related image processor |
| CN102143302A (zh) * | 2010-01-29 | 2011-08-03 | 财团法人工业技术研究院 | 全周鸟瞰影像无缝接合方法与*** |
| CN103295231A (zh) * | 2013-05-14 | 2013-09-11 | 杭州海康希牧智能科技有限公司 | 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993686A (zh) * | 2017-12-29 | 2019-07-09 | 爱唯秀股份有限公司 | 一种辅助驾驶的六分割环景*** |
| US20220371510A1 (en) * | 2021-05-24 | 2022-11-24 | Aeon Motor Co., Ltd. | Vehicle rearview warning system |
| US11618379B2 (en) * | 2021-05-24 | 2023-04-04 | Aeon Motor Co., Ltd. | Vehicle rearview warning system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11477395B2 (en) | Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images | |
| CN108600576B (zh) | 图像处理装置、方法和***以及计算机可读记录介质 | |
| CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
| CN106462944B (zh) | 高分辨率全景vr生成器及方法 | |
| US8134608B2 (en) | Imaging apparatus | |
| KR101592740B1 (ko) | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 | |
| US20170295354A1 (en) | Efficient determination of optical flow between images | |
| CN110139084A (zh) | 车辆周围影像处理方法及装置 | |
| US10397524B1 (en) | Three-dimensional around view monitoring system of vehicle and method thereof | |
| CN103685917A (zh) | 图像处理器、图像处理方法和成像*** | |
| JP2006100965A (ja) | 車両の周辺監視システム | |
| CN103295231A (zh) | 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 | |
| DE102017118714A1 (de) | Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme | |
| KR101714213B1 (ko) | 렌즈 영상 왜곡 보정 장치 | |
| CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接***及方法 | |
| CN107403404A (zh) | 车辆的三维环景***及其方法 | |
| US10388001B2 (en) | Apparatus and method for compensating image distortion | |
| CN104363421A (zh) | 实现多角度摄像头监控效果的方法和装置 | |
| CN107071391B (zh) | 一种增强显示3d裸眼图形的方法 | |
| CN113114975A (zh) | 图像拼接方法、装置、电子设备和存储介质 | |
| Zhu et al. | Expanding a fish-eye panoramic image through perspective transformation | |
| CN116777755A (zh) | 一种畸变矫正方法、装置、车载设备及车辆 | |
| CN204652529U (zh) | 车辆环绕视频处理*** | |
| CN115908511A (zh) | 用于图像配准的方法和装置 | |
| CN118279203A (zh) | 图像处理方法及其装置、车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210105 Address after: 9 / F, 97 Jingye 1st Road, Zhongshan District, Taipei, Taiwan, China Applicant after: Aiweixiu Co.,Ltd. Address before: Tortola, British Virgin Islands Applicant before: Aiweixiu Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171128 |