CN108805807B - 环景图像的拼接方法及其*** - Google Patents
环景图像的拼接方法及其*** Download PDFInfo
- Publication number
- CN108805807B CN108805807B CN201710351699.XA CN201710351699A CN108805807B CN 108805807 B CN108805807 B CN 108805807B CN 201710351699 A CN201710351699 A CN 201710351699A CN 108805807 B CN108805807 B CN 108805807B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- coordinates
- corrected
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 102100031699 Choline transporter-like protein 1 Human genes 0.000 description 5
- 101000940912 Homo sapiens Choline transporter-like protein 1 Proteins 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 102100035954 Choline transporter-like protein 2 Human genes 0.000 description 1
- 101000948115 Homo sapiens Choline transporter-like protein 2 Proteins 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Abstract
环景图像的拼接方法包含:取得多个第一图像;依据世界空间坐标***,将所述第一图像中的每一第一图像对应的相机坐标转换为图像坐标,以形成第二图像;辨识第二图像内的多个特征点;依据世界空间坐标***,校正所述特征点在第二图像上的坐标;依据所述特征点在第二图像上校正后的坐标,产生校正后的第二图像;将多个校正后的第二图像拼接,以形成环景图像。
Description
技术领域
本发明公开了一种环景图像的拼接方法,尤指一种利用图像对位技术加强环景图像的拼接质量的方法。
背景技术
随着科技日新月异,各种图像监控装置以及图像辨识***已被用于日常生活中。图像监控装置以及图像辨识***可执行物体监控、环境监控、行车图像记录等等。为了达成无死角的监控效果,许多图像监控装置会将多个镜头拍摄的图像进行合成,或是将单一镜头在不同角度所拍摄的图像进行合成,以形成一张环景图像。环景图像可以是具有360度视角的鸟瞰图像。
然而,利用单一镜头在不同角度所拍摄的图像进行合成,以形成环景图像会有一些缺点。原因为单一镜头在不同角度所拍摄需要花费时间,因此所形成的环景图像无法达到实时处理(Real-Time Process)的需求。利用多个镜头拍摄的图像进行合成,以形成环景图像的处理速度较快。然而,利用多个镜头拍摄的图像进行合成时,容易因每个镜头的图像失真条件不同而发生双重图像的问题。当环景图像中有很明显的双重图像时,除了所监控的物体容易无法被明显辨识之外,环景图像也容易出现一些死角,降低了监控的安全性。
发明内容
本发明的一个实施例提出一种环景图像的拼接方法,包含取得多个第一图像;依据世界空间坐标***,将所述第一图像中的每一第一图像对应的相机坐标转换为图像坐标,以形成第二图像;辨识第二图像内的多个特征点;依据世界空间坐标***,校正所述特征点在第二图像上的坐标;依据所述特征点在第二图像上校正后的坐标,产生校正后的第二图像;及将多个校正后的第二图像拼接,以形成环景图像。
本发明的另一实施例提出一种环景图像***,包含多个图像撷取设备、存储器、处理器、及图像输出装置。多个图像撷取设备用以撷取多个第一图像,存储器用以储存世界空间坐标***的数据,处理器耦接于所述图像撷取设备及存储器,用以处理所述第一图像。处理器根据世界空间坐标***,将所述第一图像转换为多个第二图像,辨识所述第二图像中的每一个第二图像内的多个特征点,依据世界空间坐标***,校正所述特征点在第二图像上的坐标,以形成校正后的第二图像,及将多个校正后的第二图像拼接,以形成环景图像。
附图说明
图1是本发明的环景图像***的框图。
图2是图1的环景图像***应用于车中,以监控周遭环境的示意图。
图3是图1的环景图像***,单一图像撷取设备所对应的第二图像的示意图。
图4是图1的环景图像***,在第二图像中辨识对象的特征点的示意图。
图5是图1的环景图像***,校正对象的特征点,以产生校正后的第二图像的示意图。
图6是图1的环景图像***,将相邻的校正后的第二图像进行图像拼接的示意图。
图7是图1的环景图像***,将相邻的校正后的第二图像进行图像拼接后,所产生的拼接图像的示意图。
图8是图1的环景图像***,利用分区图像对位技术辨识对象的特征点的示意图。
图9是图1的环景图像***,执行环景图像的拼接方法的流程图。
具体实施方式
图1为本发明的环景图像***100的框图。环景图像***100包含多个图像撷取设备C1至C4、处理器11、存储器12、以及图像输出装置13。图像撷取设备C1至C4用以撷取多个第一图像。环景图像***100的图像撷取设备可以是相机镜头、摄影机、或是行车纪录器的广角镜头等等。环景图像***100也也不限于使用4个图像撷取设备C1至C4,其它实施例也可使用N个图像撷取设备,且N为大于2的正整数。图像撷取设备C1至C4中每一个图像撷取设备可以撷取角度超过(360/4)度的图像。存储器12用以储存后文所述的世界空间坐标***(World Coordinate System,WCS)的数据以及查询表(Look up Table,LUT)的数据。存储器12可以是任何形式的储存装置,例如随机存取存储器(Random Access Memory,RAM)、硬盘、或非挥发式存储器等等。处理器11耦接于图像撷取设备C1至C4及存储器12,用以处理每一个图像撷取设备所产生的第一图像。处理器11可以是任何种类的处理装置,例如中央处理器、微处理器、处理芯片、或可程序化逻辑单元等等。处理器11可利用存储器12所储存的世界空间坐标***的数据以及查询表,将图像撷取设备C1至C4所撷取的第一图像转换为符合图像坐标的第二图像,并将第二图像进行图像对位处理,进而拼接为环景图像。详细的图像处理过程将于后文详述。图像输出装置13耦接于该处理器11,用以输出环景图像。图像输出装置13可以是任何形式的显示设备或是投影装置。用户将可以在图像输出装置13上看到鸟瞰视角的二维环景图像。
图2为环景图像***100应用于车10中,以监控周围环境的示意图。本发明的环景图像***100可应用于任何合理的硬设备,而应用于车10仅是本发明的一种实施例,并不限制本发明的应用范围。在图2中,当环景图像***100应用于车10中时,图像撷取设备C1至C4可置放于车中的四个方向。举例而言,图像撷取设备C1可置放于车10的前侧,用以撷取对应于车10前侧的第一图像M1。图像撷取设备C2可置放于车10的右侧,用以撷取对应于车10右侧的第一图像M2。图像撷取设备C3可置放于车10的后侧,用以撷取对应于车10后侧的第一图像M3。图像撷取设备C4可置放于车10的左侧,用以撷取对应于车10左侧的第一图像M4。当第一图像M1至M4被截取后,环景图像***100内的处理器11可先将第一图像M1至M4进行坐标转换,以产生第二图像P1至P4,描述如下。为了简化描述,与此仅将以第一图像M1转换为第二图像P1的过程进行说明。由于第一图像M1是由图像撷取设备C1直接撷取,因此第一图像M1的平面会受到图像撷取设备C1所放置的角度、高度或是位置不同而有所偏斜。举例而言,当图像撷取设备C1与地面高度差为H,且图像撷取设备C1的焦点在地面上时,第一图像M1的平面将会为下底较长且上底较短的梯形的平面。换句话说,第一图像M1的坐标为对应相机(图像撷取设备C1)坐标,坐标轴会受到图像撷取设备C1内的感光组件的位置、高度或角度而偏斜。处理器11会利用第一转换函数,将第一图像M1对应的图像撷取设备C1的坐标转换为与世界空间坐标***相符的第一坐标。举例而言,第一转换函数可以是转换矩阵Hi -1,第一图像M1对应的图像撷取设备C1的坐标通过转换矩阵Hi -1即可转换为与世界空间坐标***相符的第一坐标。应当理解的是,世界空间坐标***为一种绝对的坐标***,表示对象在真实世界的相对位置,因此不会受到图像撷取设备C1内的感光组件的位置、高度或角度而偏斜。接着,处理器11会利用第二转换函数,将第一坐标转换为图像坐标,以形成第二图像。举例而言,第二转换函数可以是转换矩阵Hv,第一坐标可通过转换矩阵Hv转换为图像坐标。如前文提及的,第一图像的平面可能为下底较长且上底较短的梯形的平面。因此,为了让三维的第一图像变为二维的第二图像,第一图像可通过转换矩阵Hv,将偏斜的图像平面进行修正,以成为正视角的第二图像。然而,任何将第一图像M1对应的图像撷取设备C1的坐标(相机坐标)转换为正视角的图像坐标的手段皆属于本发明所公开的范畴。举例而言,处理器11可利用存储器12存储器的查询表,直接进行坐标转换。或者,处理器11可利用单一的转换函数,例如转换矩阵(例如平面投影转换矩阵,Homography matrix)Hiv,直接将图像撷取设备C1的坐标(相机坐标)转换为正视角(鸟瞰视角)的图像坐标。
前文提及,处理器11可将环景图像***100内,图像撷取设备C1所撷取的第一图像M1转换为第二图像P1,而第二图像P1为正视角。然而,处理器11可以对每一个图像撷取设备所撷取到的图像做类似的图像处理。亦即,处理器11可将第一图像M2转换为第二图像P2。处理器11可将第一图像M3转换为第二图像P3。处理器11可将第一图像M4转换为第二图像P4。
图3为环景图像***100,单一图像撷取设备C1所对应的第二图像P1的示意图。如前述,环景图像***100中的图像撷取设备C1至C4可以是车用广角镜头。广角镜头虽然可以撷取大视角的图像,然而,广角镜头所撷取的图像边缘会有广角失真的情况。这种广角失真一般又称为桶状失真(Barrel Distortion)。因此,处理器11可利用图像扭曲校正函数,以校正第二图像P1的广角失真。然而,即便处理器11使用了图像扭曲校正函数或是扭曲模型还原图像的失真,第二图像P1的广角失真并无法被完全还原,尤其在第二图像P1的边缘区域更为明显。原因如下,在第二图像P1发生广角失真时,由于第二图像P1的边缘区域的像素网格线扭曲会较为严重,因此图像的信息量不足。利用图像扭曲校正函数将第二图像P1的边缘区域还原时,会发生画质劣化以及失真无法完全被还原的情况。如图3所示,处理器11将第二图像P1调整后,图像中央区域CTL1的失真已经明显改善,但是中央区域CTL1以外的区域OVL1仍有广角失真。由于环景图像***100最后会将第二图像P1至P4拼接在一起,若每一张第二图像的中央区域之外的区域都未进行优化处理(后文所述的图像对位处理),则相邻的第二图像在拼接时(例如第二图像P1至P2),会产生明显的双重图像,而导致对象模糊或无法辨识。因此,环景图像***100将会对每一张第二图像的中央区域之外的区域进行优化处理(后文所述的图像对位处理)。在后文的描述中,如图3所示,中央区域CTL1定义为进行图像拼接时不重叠的部分。而中央区域CTL1以外的区域OVL1(后文称为图像重叠区域OVL1)定义为进行图像拼接时与相邻的第二图像的重叠的部分。
图4为环景图像***100在第二图像P2中辨识对象Obj的特征点A至D的示意图。为了简化描述,图4仅以第二图像P2为代表进行说明。然而,应当理解的是,第二图像P1至P4的每一个第二图像都会被处理器11进行图像对位处理。如前文提及,第二图像P2包含了图像重叠区域,于此的代号为OVL2。图像重叠区域OVL2位于第二图像P2的边缘区域,有较严重的广角失真。图像重叠区域OVL2内有对象Obj,此对象原为矩形对象,但是因广角失真而造成对象的边缘图像扭曲。处理器11会先针对第二图像P2进行图像辨识,辨识第二图像P2内的多个特征点A至D。特征点A至D的定义可以是对象Obj的边缘转折点或是顶点。对象Obj的图像区域会被所述特征点A至D围绕。然而,本发明非局限于使用一维的特征点进行对象Obj定位,二维的特征线段或夹角点都可以当成对象Obj定位的参考依据。在图4中,特征点A的坐标为(x1,y1),特征点B的坐标为(x2,y2),特征点C的坐标为(x3,y3),特征点D的坐标为(x4,y4)。而特征点A及D所连成的线段,与特征点B及C所连成的线段的交点坐标为(x5,y5)。
图5为环景图像***100,校正对象Obj的特征点A至D,以产生校正后的第二图像P2’的示意图。如前所述,图4中对象Obj的特征点A至D为广角失真的坐标。处理器11可依据世界空间坐标***,将特征点A至D的坐标校正至与世界空间坐标***相符的多个定位坐标。举例而言,图4中特征点A的坐标(x1,y1)被校正至图5中特征点A’的坐标(x1’,y1’)。图4中特征点B的坐标(x2,y2)被校正至图5中特征点B’的坐标(x2’,y2’)。图4中特征点C的坐标(x3,y3)被校正至图5中特征点C’的坐标(x3’,y3’)。图4中特征点D的坐标(x4,y4)被校正至图5中特征点D’的坐标(x4’,y4’)。交线坐标(x5,y5)也依此被校正至(x5’,y5’)。接着,处理器11会将这些校正后的定位点(特征点A’至特征点D’)之间的至少一个像素进行内插,以产生校正后的第二图像P2’。内插的方式可使用线性内插或非线性内插。如前述,若对象Obj为正方形的对象,则以特征点A’的坐标(x1’,y1’)为基准,特征点B’的坐标可以是(x1’+n,y1’),即特征点B’比特征点A’往右平移了n个像素。特征点C’的坐标可以是(x1’,y1’+n),即特征点C’比特征点A’往下平移了n个像素。特征点D’的坐标可以是(x1’+n,y1’+n),即特征点D’比特征点A’往下平移了n个像素且也往右平移了n个像素。简单来说,处理器11依据世界空间坐标***,校正特征点A至D在第二图像P2上的坐标(x1,y1)至(x4,y4)。再依据特征点A’至D’在第二图像P2上校正后的坐标(x1’,y1’)至(x4’,y4’),产生校正后的第二图像P2’。因此,校正后的第二图像P2’的失真将会被大幅度地缓和。而第二图像P1、P3及P4也可以利用类似的方法进行坐标校正,以产生校正后的第二图像P1’、P3’及P4’。
图6为环景图像***100,将相邻的校正后的第二图像P1’及P2’进行图像拼接的示意图。如同前述提及,环景图像***100会进行图像拼接处理,以产生环景图像。为了描述方便,图6仅以相邻的校正后的第二图像P1’及P2’进行图像拼接来说明。然而应当理解的是,图4以及图5的依据世界空间坐标***将失真的特征点坐标还原的方法,可应用于所有的第二图像P1至P4。环景图像***100即可对校正后的第二图像P1’至P4’进行图像拼接处理,以产生环景图像。在图6中,校正后的第二图像P1’可以是对应车10的前侧图像,校正后的第二图像P2’可以是对应车10的右侧图像。对象Obj的位置可以是在车10的右上角。因此,对象Obj会位于第二图像P1’右边的图像重叠区域OVL1中,对象Obj会位于第二图像P2’左边的图像重叠区域OVL2中。由于校正后的第二图像P1’的图像重叠区域OVL1内的对象Obj的坐标已经利用图像对位处理而优化。校正后的第二图像P2’的图像重叠区域OVL2内的对象Obj的坐标也已经利用图像对位处理而优化。因此当校正后的第二图像P1’与校正后的第二图像P2’拼接时,图像重叠区域OVL1与图像重叠区域OVL2将可以无偏差地叠合。因此,将可避免对象Obj的双重图像的失真问题。
图7为图1的环景图像***,将相邻的校正后的第二图像P1’及P2’进行图像拼接后,所产生的拼接图像P12’的示意图。如前述,由于图像重叠区域OVL1与图像重叠区域OVL2可以无偏差地叠合,因此拼接图像P12’的图像重叠区域OVL内的对象Obj不会发生双重图像的问题。换句话说,拼接图像P12’包含了校正后的第二图像P1’的非图像重叠区域CTL1、图像重叠区域OVL、以及校正后的第二图像P2’的非图像重叠区域CTL2。然而,图7的拼接图像P12’仅为校正后的第二图像P1’及P2’进行图像拼接后的结果。在环景图像***100中,处理器11会对校正后的第二图像P1’至P4’进行环状图像拼接。因此,环景图像***100中最后输出的环景图像即为360度的鸟瞰环景图像。
图8为环景图像***100,利用分区图像对位技术辨识对象Obj及ObjA的特征点A至H的示意图。如前文提及,图像重叠区域OVL2未使用本发明对位技术调整前仍有失真的情况,且越靠近边缘的失真越严重。如图8所示,第二图像P2的图像重叠区域OVL2被分为两个区域,图像重叠子区域OVL21以及图像重叠子区域OVL22。图像重叠子区域OVL22较图像重叠子区域OVL21更靠近图像中央区域,因此图像重叠子区域OVL21的失真情况会比图像重叠子区域OVL22更严重。处理器11会找出对应于对象Obj的特征点A至D,以及对应于对象ObjA的特征点E至H。为了将图像重叠区域OVL2中的所有特征点A至H对位至优化的坐标,处理器11会将坐标失真较为轻微的特征点E至H,利用对应的转换函数或查询表,将其坐标转换为与世界空间坐标***相符的图像坐标(鸟瞰视角)。处理器11也会将坐标失真较为严重的特征点A至D,利用对应的转换函数或查询表,将其坐标转换为与世界空间坐标***相符的图像坐标(鸟瞰视角)。换句话说,在失真程度不同的图像重叠子区域OVL21及OVL22中,处理器11可利用不同权重的内插函数或是不同系数的转换函数,分别对不同的图像重叠子区域中的辨识对象进行处理,以使不同的图像重叠子区域中的辨识对象都能投影到优化的图像坐标。
图9为环景图像***100,执行环景图像的拼接方法的流程图。环景图像的拼接方法包含步骤S901至步骤S906。任何合理的步骤顺序变动以及步骤修正皆属于本发明所揭露的范畴。
步骤S901:取得多个第一图像M1至M4;
步骤S902:依据世界空间坐标***,将所述第一图像M1至M4中的每一个第一图像对应的相机坐标转换为图像坐标,以形成第二图像P1至P4;
步骤S903:辨识第二图像P1至P4的多个特征点(例如第二图像P2内的特征点A至D);
步骤S904:依据世界空间坐标***,校正所述特征点A至D在第二图像上的坐标(x1,y1)至(x4,y4);
步骤S905:依据所述特征点A至D在第二图像上校正后的坐标(x1’,y1’)至(x4’,y4’),产生校正后的第二图像;
步骤S906:将多个校正后的第二图像P1’至P4’拼接,以形成环景图像。
本发明环景图像的拼接方法的步骤S901至步骤S906已于前文详述,故于此将不再赘述。如上所述,图像捕获设备所撷取到的图像,先经过步骤S901至步骤S902的坐标转换,将图像的相机坐标转换为对应鸟瞰图的图像坐标。接着,无须重复执行步骤S901至步骤S902,只要再利用步骤S903至步骤S906的图像对位技术,即可将广角失真的坐标进行修正。因此,在步骤S906中,由于多个校正后的第二图像的广角失真都已经缓和,因此进行图像拼接而形成环景图像时会有很高的图像质量,且可达到实时图像处理的速度。
综上所述,本发明描述了一种环景图像的拼接方法,可将多个图像捕获设备所撷取的图像进行图像处理,最后产生几乎无拼接痕迹的环景图像。环景图像的拼接方法利用了分区图像对位技术,辨识图像重叠区域中的特征点,并针对特征点进行坐标校正,以校正特征点的广角失真的坐标偏移量。由于图像重叠区域中的特征点的坐标都已经被校正。因此,将多个对应图像捕获设备的图像进行图像拼接不会产生双重图像的问题(也避免了图像模糊或是鬼影)。因此,依据本发明的拼接方法所产生的环景图像会影很高的图像质量。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (10)
1.一种环景图像的拼接方法,其包含:
取得多个第一图像;
依据世界空间坐标***,将所述第一图像中的每一第一图像对应的相机坐标转换为图像坐标,以形成第二图像;
辨识该第二图像内的多个特征点;
依据该世界空间坐标***,利用分区图像对位技术,校正所述特征点在该第二图像上的坐标;
依据所述特征点在该第二图像上校正后的坐标,产生校正后的第二图像;及
将多个校正后的第二图像拼接,以形成环景图像;
其中该分区图像对位技术将所述特征点对应的失真程度不同的图像子区域,利用不同的内插函数或不同系数的转换函数进行所述特征点的坐标转换,以使该失真程度不同的图像子区域以分区几何转换的方式还原。
2.如权利要求1所述的方法,其中,依据该世界空间坐标***,将所述第一图像中的该每一第一图像对应的该相机坐标转换为该图像坐标,以形成该第二图像,包含:
利用第一转换函数,将该每一第一图像对应的该相机坐标转换为与该世界空间坐标***相符的第一坐标;及
利用第二转换函数,将该第一坐标转换为该图像坐标,以形成该第二图像。
3.如权利要求2所述的方法,其中:
依据该世界空间坐标***,校正所述特征点在该第二图像上的坐标,包含依据该世界空间坐标***,将所述特征点的坐标校正至与该世界空间坐标***相符的多个定位坐标;及
依据所述特征点在该第二图像上校正后的坐标,产生该校正后的第二图像,包含将所述定位坐标之间的至少一像素进行内插,以产生该校正后的第二图像。
4.如权利要求1所述的方法,其包含:
利用图像扭曲校正函数以校正所述第一图像的该每一第一图像的广角失真。
5.如权利要求1所述的方法,其中所述第一图像中两相邻第一图像包含相同的对象,以使所述第一图像被转换为所述校正后的第二图像后,得以拼接为该环景图像。
6.如权利要求1所述的方法,其中该第二图像内的对象具有图像区域,该对象具有多个特征点,该图像区域被所述特征点围绕。
7.一种环景图像***,其包含:
多个图像撷取设备,用以撷取多个第一图像;
存储器,用以储存世界空间坐标***的数据;
处理器,耦接于所述图像撷取设备及该存储器,用以处理所述第一图像;及
图像输出装置,耦接于该处理器,用以输出环景图像;
其中,该处理器根据该世界空间坐标***,将所述第一图像转换为多个第二图像,辨识所述第二图像中的每一第二图像的多个特征点,依据该世界空间坐标***,利用分区图像对位技术,校正所述特征点的坐标,以形成校正后的第二图像,及将多个校正后的第二图像拼接,以形成该环景图像;
其中该分区图像对位技术将所述特征点对应的失真程度不同的图像子区域,利用不同的内插函数或不同系数的转换函数进行所述特征点的坐标转换,以使该失真程度不同的图像子区域以分区几何转换的方式还原。
8.如权利要求7所述的***,其中该存储器还包含查询表,该查询表用于校正所述特征点在该第二图像上的坐标。
9.如权利要求7所述的***,其中所述图像撷取设备为多个车用广角镜头,且该环景图像是鸟瞰环车图像。
10.如权利要求9所述的***,其中该存储器还包含图像扭曲校正函数,该处理器利用该图像扭曲校正函数,校正所述第一图像的该每一第一图像的广角失真。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106113896A TWI602154B (zh) | 2017-04-26 | 2017-04-26 | 環景影像的拼接方法及其系統 |
TW106113896 | 2017-04-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805807A CN108805807A (zh) | 2018-11-13 |
CN108805807B true CN108805807B (zh) | 2023-03-24 |
Family
ID=61010968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710351699.XA Active CN108805807B (zh) | 2017-04-26 | 2017-05-18 | 环景图像的拼接方法及其*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US10321054B2 (zh) |
CN (1) | CN108805807B (zh) |
TW (1) | TWI602154B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109767473B (zh) * | 2018-12-30 | 2022-10-28 | 惠州华阳通用电子有限公司 | 一种全景泊车装置标定方法及装置 |
CN110659638B (zh) * | 2019-09-24 | 2023-04-07 | 北京精英路通科技有限公司 | 车牌的识别方法、装置、计算机设备及存储介质 |
GB2591278A (en) * | 2020-01-24 | 2021-07-28 | Bombardier Transp Gmbh | A monitoring system of a rail vehicle, a method for monitoring and a rail vehicle |
CN111738923B (zh) * | 2020-06-19 | 2024-05-10 | 京东方科技集团股份有限公司 | 图像处理方法、设备及存储介质 |
CN114445502A (zh) * | 2020-11-06 | 2022-05-06 | 财团法人工业技术研究院 | 多摄影机定位调度***及方法 |
CN113850905B (zh) * | 2021-09-29 | 2024-04-12 | 中国科学院长春光学精密机械与物理研究所 | 一种用于周扫型光电预警***的全景图像实时拼接方法 |
TWI818426B (zh) * | 2022-01-27 | 2023-10-11 | 黃英俊 | 圖片產生方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5960108A (en) * | 1997-06-12 | 1999-09-28 | Apple Computer, Inc. | Method and system for creating an image-based virtual reality environment utilizing a fisheye lens |
WO2012060271A1 (ja) * | 2010-11-04 | 2012-05-10 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
CN102479379A (zh) * | 2010-11-19 | 2012-05-30 | 义晶科技股份有限公司 | 图像校正方法与相关图像校正*** |
CN104729422A (zh) * | 2013-12-24 | 2015-06-24 | 林宗翰 | 用于校正激光测量装置的方法及其*** |
CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技(北京)有限公司 | 一种全景辅助泊车***、装置及全景图像显示方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4307934B2 (ja) * | 2003-08-13 | 2009-08-05 | 株式会社トプコン | 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法 |
US7499586B2 (en) * | 2005-10-04 | 2009-03-03 | Microsoft Corporation | Photographing big things |
US9105080B2 (en) * | 2008-10-01 | 2015-08-11 | Hi-Key Limited | Method and a system for calibrating an image capture device |
US8368762B1 (en) * | 2010-04-12 | 2013-02-05 | Adobe Systems Incorporated | Methods and apparatus for camera calibration based on multiview image geometry |
JP5178797B2 (ja) * | 2010-09-13 | 2013-04-10 | キヤノン株式会社 | 表示制御装置及び表示制御方法 |
CN102045546B (zh) * | 2010-12-15 | 2013-07-31 | 广州致远电子股份有限公司 | 一种全景泊车辅助*** |
JPWO2013001941A1 (ja) * | 2011-06-27 | 2015-02-23 | 日本電気株式会社 | 物体検知装置、物体検知方法および物体検知プログラム |
US9754161B2 (en) * | 2012-05-10 | 2017-09-05 | Pointgrab Ltd. | System and method for computer vision based tracking of an object |
US9445011B2 (en) * | 2012-10-22 | 2016-09-13 | GM Global Technology Operations LLC | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation |
TWI499999B (zh) * | 2014-03-27 | 2015-09-11 | Univ Shu Te | The 3D ring car image system based on probability calculation and its obtaining method |
US10198865B2 (en) * | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
TWM520036U (zh) * | 2015-11-27 | 2016-04-11 | 樹德科技大學 | 立體環景影像之監控系統 |
-
2017
- 2017-04-26 TW TW106113896A patent/TWI602154B/zh active
- 2017-05-18 CN CN201710351699.XA patent/CN108805807B/zh active Active
- 2017-10-03 US US15/723,170 patent/US10321054B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5960108A (en) * | 1997-06-12 | 1999-09-28 | Apple Computer, Inc. | Method and system for creating an image-based virtual reality environment utilizing a fisheye lens |
WO2012060271A1 (ja) * | 2010-11-04 | 2012-05-10 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
CN102479379A (zh) * | 2010-11-19 | 2012-05-30 | 义晶科技股份有限公司 | 图像校正方法与相关图像校正*** |
CN104729422A (zh) * | 2013-12-24 | 2015-06-24 | 林宗翰 | 用于校正激光测量装置的方法及其*** |
CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技(北京)有限公司 | 一种全景辅助泊车***、装置及全景图像显示方法 |
Non-Patent Citations (3)
Title |
---|
Fisheye lens calibration using virtual grid;Arfaoui等;《APPLIED OPTICS》;20130420;全文 * |
基于双灭点的图像透视变换方法;罗晓晖等;《计算机工程》;20090805(第15期);全文 * |
基于标定配准的图像拼接算法设计与实现;赵凯等;《微电子学与计算机》;20150305(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
US20180316857A1 (en) | 2018-11-01 |
CN108805807A (zh) | 2018-11-13 |
TW201839716A (zh) | 2018-11-01 |
TWI602154B (zh) | 2017-10-11 |
US10321054B2 (en) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805807B (zh) | 环景图像的拼接方法及其*** | |
US10748243B2 (en) | Image distortion transformation method and apparatus | |
US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
JP4297111B2 (ja) | 撮像装置、画像処理方法及びそのプログラム | |
EP3425587A1 (en) | Method and device for generating a panoramic image | |
US7773819B2 (en) | Image processing apparatus | |
JP2021533507A (ja) | 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体 | |
US20130141526A1 (en) | Apparatus and Method for Video Image Stitching | |
WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
JP2003178298A (ja) | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム | |
JP6812862B2 (ja) | 画像処理システム、撮像装置、画像処理方法及びプログラム | |
CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
KR100948872B1 (ko) | 카메라 영상 보정 방법 및 장치 | |
JP2004135209A (ja) | 広視野高解像度映像の生成装置及び方法 | |
JP5866146B2 (ja) | 全方位監視画像表示処理システム | |
CN108876717B (zh) | 图像视角转换方法及其*** | |
JPWO2007108081A1 (ja) | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 | |
KR101011704B1 (ko) | 광각의 이미지를 생성하는 영상 처리 장치 및 방법 | |
JP2020194532A (ja) | 歪み画像内の対象物を検出するための方法、システム、およびデバイス | |
Zhu et al. | Expanding a fish-eye panoramic image through perspective transformation | |
JP2018207254A (ja) | 撮像装置、制御方法、プログラム及び撮像システム | |
JP6273881B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11010945B2 (en) | Augmented reality system and image display method thereof | |
JP2017017672A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2003143473A (ja) | 背景画像生成装置およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |