CN102479379A - 图像校正方法与相关图像校正*** - Google Patents

图像校正方法与相关图像校正*** Download PDF

Info

Publication number
CN102479379A
CN102479379A CN2010105581173A CN201010558117A CN102479379A CN 102479379 A CN102479379 A CN 102479379A CN 2010105581173 A CN2010105581173 A CN 2010105581173A CN 201010558117 A CN201010558117 A CN 201010558117A CN 102479379 A CN102479379 A CN 102479379A
Authority
CN
China
Prior art keywords
image
pixels
pixel
corrected
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105581173A
Other languages
English (en)
Other versions
CN102479379B (zh
Inventor
游启昌
林盟淳
陈宏铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AviSonic Tech Corp
Original Assignee
AviSonic Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AviSonic Tech Corp filed Critical AviSonic Tech Corp
Priority to CN201010558117.3A priority Critical patent/CN102479379B/zh
Publication of CN102479379A publication Critical patent/CN102479379A/zh
Application granted granted Critical
Publication of CN102479379B publication Critical patent/CN102479379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种图像校正方法与相关的图像校正***,其可用以对通过鱼眼镜头或超广角镜头所撷取的画面进行校正,以减轻画面中的几何失真现象,且可符合使用者的需求而对画面进行几何上的调整,其中,本发明更通过一存储器配置技巧,来增进图像校正的处理效能。

Description

图像校正方法与相关图像校正***
技术领域
本发明涉及图像处理,尤其涉及一种用以校正因鱼眼镜头与超广角镜头所引起的几何失真的图像处理方法与相关的图像处理***。
背景技术
鱼眼镜头与超广角镜头广泛地应用于监视摄影机或一般数字相机中等。然而,虽然于这类型的镜头可撷取相当大视角内的景物,但其所形成的图像往往伴随着严重的几何失真(geometrical distortion),这些几何失真会使用者无法轻易地与清晰地的辨识出图像中的某些细节,甚至是无法辨识。因此,通过鱼眼镜头与超广角镜头所生成的图像必须经过适当的图像处理技巧,才能还原出较为符合原始景物的图像,以利使用者观察。
发明内容
因此,本发明提供一种图像校正方法与相关的校正***,其用以对通过鱼眼镜头或超广角镜头所撷取的画面进行校正,以减轻画面中的几何失真的现象。再者,本发明的图像处理方法与相关的图像处理***运用一种参考数据排列特性的存储器配置技巧,进而提升增进图像校正中的内插运算的处理速度。此外,由于处理几何失真时需通过坐标转换方法,本发明亦对坐标转换方法所使用的参数提出一种参数估计方法,通过本发明所提出的参数估计方法,可以简化参数取得的复杂过程。
依据本发明的一实施例,其提供一种图像校正方法,该图像校正方法用以依据一待校正图像以输出一校正后图像,其中该校正后图像包含有多个校正后像素区块。再者,该图像校正方法进行多次像素值计算操作,其中,每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值。该像素值计算操作包含有:建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值;依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块,其中,该待处理像素区块具有多列(row)的待处理像素;将每一待处理像素的像素值分别暂存至具有多个存储器库(memory bank)的一存储器中,其不同列的待处理像素的像素值会分别暂存于该存储器中的不同存储器库中;以及,利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并自该存储器读取该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。其中,该多个特定待处理像素的该多个像素值暂存至不同的存储器库中。
依据本发明的另一实施例,其提供一种图像校正方法,该图像校正方法用以依据一待校正图像以输出一校正后图像,其中该校正后图像包含有多个校正后像素区块,并且该待校正图像通过一鱼眼镜头所撷取。再者,该图像校正方法进行多次像素值计算操作,每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值。该像素值计算操作包含有:建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值,其中,该坐标转换关系至少由一透视失真(perspective distortion)校正坐标转换所决定,而于该透视校正坐标转换中,对应于一物平面(Objectplane)与一像平面(Image plane)之间的一角度参数,以该待校正图像所对应的一入射光线的一入射角来决定,其中,该入射光线系穿透该鱼眼镜头的一光心(optical center);依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块;以及,利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并利用该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。
依据本发明的又一实施例,其提供一种图像校正***,该图像校正***用以依据一待校正图像以输出一校正后图像。其中,该校正后图像包含有多个校正后像素区块,且该图像校正***进行多次像素值计算操作,而每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值。该图像校正***包含有:一坐标转换关系产生电路、一区块选取电路、一存储器以及一内插运算电路。该坐标转换关系产生电路用以建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值。该区块选取电路耦接于该坐标转换关系产生电路,并且用以依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块。该存储器耦接于该区块选取电路,具有多个存储器库(memory bank),并且将每一待处理像素的像素值分别暂存于该多个存储器库中,其中该待处理像素区块具有多列(row)的待处理像素。该内插运算单元耦接于该存储器与该坐标转换关系产生电路,而该内插运算单元系而利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并自该存储器读取该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。其中,不同列的待处理像素的像素值会分别暂存于该存储器中的不同存储器库中。
依据本发明的再一实施例,其提供一种图像校正***,该图像校正***用以依据一待校正图像以输出一校正后图像。其中,该校正后图像包含有多个校正后像素区块,并且该待校正图像通过一鱼眼镜头所撷取。再者,该图像校正***用以进行多次像素值计算操作,每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值,且该图像校正***包含有:一坐标转换关系产生电路、一区块选取电路以及一内插运算电路。该坐标转换关系产生电路用以建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值,其中,该坐标转换关系产生电路包含至少一透视失真(perspective distortion)校正坐标转换电路,并且该坐标转换关系至少由该透视失真校正坐标转换电路所决定,而于该透视校正坐标转换电路所使用的对应于一物平面(Object plane)与一像平面(Image plane)之间的一角度参数,以该待校正图像所对应的一入射光线的一入射角来决定,其中,该入射光线系穿透该鱼眼镜头的一光心(optical center)。该区块选取电路耦接于该坐标转换关系产生电路,并且用以依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块。该内插运算单元耦接于该存储器与该坐标转换关系产生电路,并且,该内插运算单元利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并利用该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。
附图说明
图1为本发明图像校正方法的一实施例的流程图。
图2是绘示本发明中待校正图像与校正后图像间的坐标转换关系。
图3是绘示本发明存储器配置方式。
图4是绘示本发明中待校正图像与校正后图像的关系。
图5是绘示本发明的实施例中坐标转换关系的决定方式。
图6是绘示透视失真的形成原因。
图7是绘示本发明的参数估计方式的原理。
图8为本发明图像校正***的一实施例的功能方块示意图。
【主要元件符号说明】
101~107        步骤
201、203        虚线框
202             实线框
2031~2034      像素列
300、803        存储器
600             透镜
700             鱼眼镜头
800             图像校正***
801             坐标转换关系产生电路
802             区块选取电路
804             内插运算电路
810             图像来源
具体实施方式
本发明的图像校正最终目的在于降低通过鱼眼镜头或超广角镜头所撷取的一待校正图像中的几何失真,以产生一校正后图像。其中,在产生该校正后图像之前,该校正后图像的画面尺寸必须预先决定(但仍可依据不同需求来改变),并再将该校正后图像分割成多个大小相同的校正后像素区块,并通过内插运算的方法,逐一产生每一校正后像素区块中,每一像素的像素值(即:灰阶值),最后便可依据所有运算出的像素值,来输出校正后图像。
举例来说,本发明图像校正可能将一校正后图像的画面尺寸预先设定为640*480像素,而后再将该校正后图像分割成大小相同的8*8个校正后像素区块,因此,其中每一个待校正像素区块会包含80*60个像素(请注意,此处所列举的数值仅为说明之用,并非本发明的限制)。而于该校正后图像中,产生每一个校正后像素的像素值的内插运算则需通过坐标转换来找出其原本于待校正图像中的相关位置(即,坐标值),并于依据该相关位置,来找出邻近于该相关位置的多个待校正像素的多个像素值,再利用这些像素值来进行内插运算以求出该校正后像素的像素值。因此,本发明图像校正必须进行多次像素值计算操作,其中,每一像素值计算操作会产生一校正后像素区块中每一校正后像素的像素值,以前文中列举的数值为列,每一次像素值计算操作将得到80x60个校正后像素的像素值。关于这些操作的进一步说明,请参考图1,其为本发明图像校正方法中的像素值计算操作的流程图。
请注意,图1所示的流程图仅代表本发明图像校正方法的像素值计算操作的一可能实施方式;于本发明其他可能实施方式中,也可能包含图1所示的步骤以外的其他步骤。
首先,在步骤101中,本发明的像素值计算操作会建立起该待校正图像与该校正后图像之间一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值(Xc,Yc)对应至该待校正图像中的一第二坐标值(Xd,Yd)。举例来说,如果以图2为例,校正后图像中的一校正后像素区块A的多个边界像素(虚线框201所包含的像素),会通过坐标转换关系来得到其于待校正图像上的相关坐标(实线框202上坐标点)。换句话说,在校正后图像中的虚线框201所包含的每一个校正后像素的第一坐标值(Xc,Yc)值会映射至该待校正图像中的一第二坐标值(Xd,Yd)。从另一个角度来看,该待校正图像中第二坐标值(Xd,Yd)上的图像,将通过该坐标转换关系来还原,而这个图像会被建立在该校正后图像中第一坐标值(Xc,Yc)的位置上,因此,坐标转换关系将会决定几何失真的改善方式。
接着,当该坐标转换关系建立之后,步骤103会进一步依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块。具体来说,由于该坐标转换关系可得到该校正后像素区块中每一个校正后像素于该待校正图像中的相关坐标(即,该第二坐标值),因此,如果需计算出该校正后像素区块中所有校正后像素的像素值就必须利用相关坐标,来决定该校正后像素区块相关于该待校正图像中哪一部分的画面信息,亦即,决定该校正后像素区块代表该待校正图像中哪一部分的画面还原结果。因此,会通过该校正后像素区块的边界像素所对应的第二坐标值,来决定出其于该待校正图像中所欲校正的部分的画面信息。关于这个步骤的细节请参考图2,校正后像素区块A的边界像素(虚线框201所包含的像素)会通过步骤101所建立的该坐标转换关系对应至待校正图像中实线框202上的多个坐标点,而实线框202所包围的区域(即,待校正像素区块A’)中的画面信息,即为校正后像素区块A所欲校正的画面信息。接着,当决定待校正像素区块A’后,为了方便对待校正像素区块A’进行数据缓冲(buffering),本发明会进一步地图选出至少包含待校正像素区块A’的具有矩形状的一待处理像素区块A”。而待处理像素区块A”中的待处理像素的像素值将会是内插运算出校正后像素区块A的每一像素的像素值的必要信息。
在步骤105中,当待处理像素区块A”所包含的像素被决定后,本发明会进一步依据待处理像素区块A”中多个待处理像素的排列关系,将每一待处理像素的像素值暂存于一具有多个存储器库(memory bank)的存储器(如:静态随机存取存储器(static random access memory,SRAM))中,从而等待后续的内插运算的利用。这个步骤运用了本发明所提供的存储器配置技巧,其主要目的在于加速所存储的像素值被读取出来进行内插运算的速度。举例来说,以校正后像素区块A中的一像素P为例,其于待校正图像中的第二坐标位置为点P’,因此,当内插运算在计算像素P的像素值时,必须运用虚线框203(亦即,待处理像素区块A”)所包含的邻近于点P’的多个特定待处理像素(4*4个)的像素值来进行内插。依此,本发明存储器配置技巧的概念在于一个存储器读取周期中,将所有该多个特定待处理像素的4*4个像素值读取出来,故步骤105会依据待处理像素区块A”中的待处理像素的排列关系来将所有的像素值存入存储器内,并且将多个特定待处理像素的该多个像素值暂存至不同的存储器库中。
关于这种存储器配置的技巧的说明请进一步参考图2与图3。以图2为例,由于一次内插运算所需的信息为4*4个待处理像素的像素值,故虚线框203(待处理像素区块A”)中的4*4个待处理像素的像素值会依其所在的列分别被存储于图3中,存储器300的存储器库A~D中。举例来说,虚线框203(待处理像素区块A”)中的4*4个待处理像素中的第一列2031的待处理像素的像素值会被存储至存储器库A中,第二列2032的待处理像素的像素值会被存储至存储器库B中,第三列2033的待处理像素的像素值会被存储至存储器库C中以及第四列2034的待处理像素的像素值会被存储至存储器库D中。请注意,以上的配置方式仅为说明用,并非限制,广义上来说,本发明存储器配置技巧的特征为:(1)于该存储器中,用于进行一次内插运算所需的多个特定待处理像素的多个像素值中,不同列的待处理像素的像素值会分别暂存于该存储器中的不同存储器库中,换句话说,就一待处理区块(待处理像素区块A”)而言,并未有不同列的像素的像素值被暂存于同一存储器库的不同列地址(row address)以及(2)若用于一次内插运算所需的该多个特定待处理像素的数目为m*n,则该存储器的存储器库的数目为m,其中m与n均为正整数。是此,在通过本发明的存储器配置技巧后,用于一次内插运算所需的多个特定待处理像素的像素值将可在一个存储器读取周期被读出,进而提升内插运算的处理速度。最后,步骤107会针对每一校正后像素,先利用该校正后像素(如像素P)所对应的该第二坐标值(如点P”的坐标值)以决定该校正后像素(如像素P)所对应的多个特定待处理像素(虚线框203所包含的4*4个像素),并自该存储器读取该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。请注意,尽管前文中列举了部分实际数值来进行说明,但于本发明中,内插运算所利用的像素个数并未有所限制,故于不同考量下,本发明中内插运算所采用的像素个数可能有所不同。
以上步骤101~107代表了本发明一次像素值计算操作的流程,在这个流程中,可通过多次内插运算来产生一校正后像素区块中所有校正后像素的像素值,因此当多次像素值计算操作被执行后,则可产生出相较于校正前,具较少的几何失真的校正后图像。
由于通过鱼眼镜头或超广角镜头所撷取的待校正图像包含有相当大范围的图像信息,而这些图像信息却被投射到一个相对狭小的图像感测区域上,因此造成原始的待校正图像中会有相当多部分的线条遭受挤压与扭曲,有着相当明显的几何失真。故本发明运用鱼眼失真校正的技巧来还原待校正图像中扭曲的线条中。再者,由于通过鱼眼镜头或超广角镜头撷取图像时,因为撷取景物的范围过大,使得景物并非完全平行于图像感测区域所处的平面,因而使得撷取出的图像往往也伴随着透视失真(perspectivedistortion)。为解决透视失真的问题,本发明亦通过透视失真校正的技巧来还原待校正图像。因此,本发明图像处理方法至少需进行鱼眼失真校正(fisheye distortion correction)与透视失真校正(perspective distortioncorrection),所以,本发明中的坐标转换关系至少由鱼眼失真校正坐标转换与透视失真校正坐标转换所决定。最广义来说,前述的校正后像素的第一坐标值(Xc,Yc)会通过鱼眼失真校正坐标转换与透视失真校正坐标转换以转换至第二坐标值(Xd,Yd),然而,为了更贴近使用者对于几何上的画面调整的需求,在本发明的其它实施例中,坐标转换关系还进一步由比例缩放(scaling)坐标转换、区域缩放(zoom)坐标转换、透视补偿(perspectivecompensation)坐标转换、垂直线与水平线补偿(vertical and horizontal linecompensation)坐标转换与旋转(rotation)坐标转换所决定,而其中的参数可由使用者依视觉上的观感来自行调整。举例来说,如果使用者感觉校正后画面所显示的物体比例不够大,则使用者可以选择去调整适当的垂直与水平的缩放参数值(scaling ratio),而这些参数会被用以进行比例缩放坐标转换,进而图像整体坐标转换关系,改变校正后画面的大小比例。再者,使用可也可自行决定,待校正图像中所欲还原的部分,举例来说,以图4的待校正图像以及校正后图像为例,可以从图4中看出,校正后图像所包含的图像数据仅是原始的待校正图像的一部分而已。关于这个操作,可以通过使用者自行于待校正图像中选定一个参考中心,而这个参考中心的位置会于建立该坐标转换关系时被参考,当这个参考中心被决定后,只有由该参考中心向外延伸一特定范围内的图像会被还原,因此当建立该坐标转换关系时,校正后图像中最***的校正后像素,仅对应至该特定范围的边界位置。故,随着不同的参考中心的选定,使用者可选择待校正图像中所欲还原的部分。
图5是绘示了关于不同坐标转换与坐标值间的关系,鉴于这种坐标转换的细节为熟习本发明所属技术领域的人熟知,故在此不多作赘述。
此外,本发明特别针对透视失真校正坐标转换所采用的参数,提出一个较为简单的估计方法,可增进图像校正过程的效能。首先,请参考图6,其简单地绘示了透视失真的形成原因。基本上,透视失真的引发原因在于物平面(Object plane)OP与像平面(Image plane)IP之间并非平行,由于两者间具有一夹角Ψ,所以造成当物平面OP上两段不等长的线段R1与R2,通过透镜600投射在像平面IP上时会形成具有相同长度的像R1’与R2’。故像平面IP上的成像与物平面上的实物有所落差,造成透视失真。是此,如果需校正透视失真,则必须了解夹角Ψ的实际数值。然而,对鱼眼镜头或超广角镜头而言,由于这类型镜头的特性与一般镜头相去甚远,故夹角Ψ的估计方式甚为复杂。因此,本发明提供了一种较为简易的估计方式来取得夹角Ψ的数值。
关于上述的估计方式的详细说明请参考图7。如图所示,物平面OP与像平面IP间存在夹角Ψ。源自于物平面上之一点X而穿透鱼眼镜头600的光心(Optical center)OC的入射光线LN理论上会成像于像平面IP上X’的位置,然而,如果假设入射光线LN穿透光心OC的入射角θ等于折射光线LN’的折射角θ时,则折射光线LN’与一虚拟曲面FLR会因而相交于交点X”。因此,由图观察可知,与虚拟曲面FLR上的点X”相切的一虚拟像平面IP’与原本像平面的夹角Ψ’会相同于夹角Ψ以及入射角θ。简言之,本发明通过虚拟曲面FLR来补偿对于简化鱼眼镜头的入射角与折射角的关系的假设,故可轻易的利用Ψ=θ的现象来决定透视失真校正所需的角度参数Ψ。此外,使用者可凭着视觉上的感受,如:对校正后图像的观感,还进一步自行微幅调整上述估计方法所估计出的角度参数Ψ,提升角度参数Ψ的精准度。
本发明的实施例还提供一种基于以上的图像校正方法所设计的图像校正***,请参考图8所示的图像校正***800的功能方块示意图。如图所示,图像校正***800包含有一坐标转换关系产生电路801、一区块选取电路802、一存储器803以及一内插运算电路804。图像校正***800用以依据一图像来源810中的一待校正图像Pic以输出一校正后图像Pic’,其中,图像来源810可能为通过鱼眼镜头或超广角镜头所拍摄的实时(real-time)图像,或者是存储于一存储装置中的静态图像。再者,图像校正***800用以进行多次像素值计算操作,每一像素值计算操作用以产生校正后图像Pic’中的一校正后像素区块中每一校正后像素的像素值。再者,坐标转换关系产生电路801用以建立待校正图像Pic与校正后图像Pic’之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值,而坐标转换关系产生电路801会参考校正后图像Pic’的画面尺寸与坐标转换参数(例如:参考中心,角度参数Ψ)来决定该坐标转换关系。区块选取电路802耦接于坐标转换关系产生电路801,并且用以依据该坐标转换关系,自待校正图像Pic中选取至少包含该待校正像素区块的一待处理像素区块。存储器803耦接于区块选取电路802,具有多个存储器库,并且用以将每一待处理像素的像素值分别暂存于该多个存储器库中,其中该待处理像素区块具有多列(row)的待处理像素,而不同列的待处理像素的像素值会分别暂存于存储器803中的不同存储器库中。存储器803可能为一静态随机存取存储器(static random access memory,SRAM)。再者,内插运算电路804耦接于存储器803与坐标转换关系产生电路801,并且内插运算单元804利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并自存储器803读取该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。所以,通过图像校正***800多次执行像素值计算操作,可取得校正后图像Pic’中所有像素的像素值,进而输出校正后图像Pic’。由于图像校正***800乃基于上述的图像校正方法所设计,因此,关于图像校正***800中每一电路的详细功能与操作原理接相似于以上所描述的图像校正方法,请读者自行参考上述针对图像校正方法的说明段落,在此不多作赘述。
以下仅针对坐标转换关系产生电路801进行说明。由于,本发明图像校正至少需进行鱼眼失真校正(fisheye correction)与透视失真校正(perspective correction),故本发明中的坐标转换关系产生电路801至少包含鱼眼失真校正坐标转换电路与透视失真校正坐标转换电路(未示出),故最广义来说,坐标转换关系产生电路801所决定的该坐标转换关系至少鱼眼失真校正坐标转换电路与透视失真校正坐标转换电路所决定。然而,为了更贴近使用者对于几何上的画面调整的需求,在本发明图像校正***的其它实施例中,坐标转换关系产生电路801还进一步包含比例缩放坐标转换电路、区域缩放坐标转换电路、透视补偿坐标转换电路、垂直线与水平线补偿坐标转换电路与旋转坐标转换电路。而这些电路与第一、第二坐标值间的关系则可参考图5。应当注意的是,本发明图像校正***并未对决定坐标转换关系产生电路的内部的坐标转换电路的种类与数量有所限制,换句话说,在不违背本发明主要概念的前提下,本发明的坐标转换关系产生电路可能包含有多于图5所示的坐标转换的种类,或者是少于图5所示的坐标转换的种类,而使用者所能进行的几何上的调整亦会因之而有所改变。
总而言之,本发明针对鱼眼镜头或超广角镜头所撷取的图像,提供一种拥有良好计算速度与校正效果的图像校正***与方法,并可供使用者以个人喜好来调整输出的校正后图像,进而获得视觉上的最佳感受。
以上所述仅为本发明的优选实施例,凡依本发明权利要求书所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (10)

1.一种图像校正方法,用以依据一待校正图像以输出一校正后图像,其中该校正后图像包含有多个校正后像素区块,该图像校正方法进行多次像素值计算操作,每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值,且包含有:
建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值;
依据一坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块,其中该待处理像素区块具有多列的待处理像素;
将每一待处理像素的像素值分别暂存至具有多个存储器库的一存储器中,其中不同列的待处理像素的像素值会分别暂存于该存储器中的不同存储器库中;以及
利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并自该存储器读取该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值;
其中该多个特定待处理像素的该多个像素值暂存至不同的存储器库中。
2.如权利要求1所述的图像校正方法,其中该多个特定待处理像素的数目为m*n,该存储器的该多个存储器库的数目为m,以及m与n均为正整数。
3.如权利要求1所述的图像校正方法,其中该待校正图像通过一鱼眼镜头所撷取。
4.如权利要求3所述的图像校正方法,其中该坐标转换关系至少由一透视失真校正坐标转换所决定;以及在该透视校正坐标转换中,对应于一物平面与一像平面之间的一角度参数,以该待校正图像所对应的一入射光线的一入射角来决定,其该入射光线系穿透该鱼眼镜头的一光心。
5.一种图像校正方法,用以依据一待校正图像以输出一校正后图像,其中该校正后图像包含有多个校正后像素区块,并且该待校正图像通过一鱼眼镜头所撷取,该图像校正方法进行多次像素值计算操作,每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值,且包含有:
建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值,其中,该坐标转换关系至少由一透视失真校正坐标转换所决定,而于该透视校正坐标转换中,对应于一物平面与一像平面之间的一角度参数,以该待校正图像所对应的一入射光线的一入射角来决定,且该入射光线系穿透该鱼眼镜头的一光心;
依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块;以及
利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并利用该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。
6.一种图像校正***,用以依据一待校正图像以输出一校正后图像,其中该校正后图像包含有多个校正后像素区块,该图像校正***进行多次像素值计算操作,每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值,且该图像校正***包含有:
一坐标转换关系产生电路,用以建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值;
一区块选取电路,耦接于该坐标转换关系产生电路,用以依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块,其中该待处理像素区块具有多列的待处理像素;
一存储器,耦接于该区块选取电路,具有多个存储器库,用以将每一待处理像素的像素值分别暂存于该多个存储器库中;以及
一内插运算电路,耦接于该存储器与该坐标转换关系产生电路,该内插运算单元利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并自该存储器读取该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值;
其中,不同列的待处理像素的像素值会分别暂存于该存储器中的不同存储器库中。
7.如权利要求6所述的图像校正***,其中该多个特定待处理像素的数目为m*n,该存储器的该多个存储器库的数目为m,以及m与n均为正整数。
8.如权利要求6所述的图像校正***,其中该待校正图像通过一鱼眼镜头所撷取。
9.如权利要求8所述的图像校正***,其中该坐标转换关系产生电路包含至少一透视失真校正坐标转换电路,并且该坐标转换关系至少由该透视失真校正坐标转换电路所决定,以及在该透视校正坐标转换电路中,其所采用的对应于一物平面与一像平面之间的一角度参数,以该待校正图像所对应的一入射光线的一入射角来决定,且该入射光线系穿透该鱼眼镜头的一光心。
10.一种图像校正***,用以依据一待校正图像以输出一校正后图像,其中该校正后图像包含有多个校正后像素区块,并且该待校正图像通过一鱼眼镜头所撷取,该图像校正***进行多次像素值计算操作,每一像素值计算操作用以产生一校正后像素区块中每一校正后像素的像素值,且该图像校正***包含有:
一坐标转换关系产生电路,用以建立该待校正图像与该校正后图像之间的一坐标转换关系,使该校正后像素区块的每一校正后像素的一第一坐标值对应至该待校正图像中的一第二坐标值,其中,该坐标转换关系产生电路包含至少一透视失真校正坐标转换电路,并且该坐标转换关系至少由该透视失真校正坐标转换电路所决定,而于该透视校正坐标转换电路所使用的对应于一物平面与一像平面之间的一角度参数,以该待校正图像所对应的一入射光线的一入射角来决定,且该入射光线系穿透该鱼眼镜头的一光心;
一区块选取电路,耦接于该坐标转换关系产生电路,用以依据该坐标转换关系,决定对应于该校正后像素区块的一待校正像素区块,以自该待校正图像中选取至少包含该待校正像素区块的一待处理像素区块;以及
一内插运算电路,耦接于该存储器与该坐标转换关系产生电路,该内插运算单元利用该校正后像素所对应的该第二坐标值以决定该校正后像素所对应的多个特定待处理像素,并利用该多个特定待处理像素的多个像素值进行一内插运算以产生该校正后像素的一像素值。
CN201010558117.3A 2010-11-19 2010-11-19 图像校正方法与相关图像校正*** Active CN102479379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010558117.3A CN102479379B (zh) 2010-11-19 2010-11-19 图像校正方法与相关图像校正***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010558117.3A CN102479379B (zh) 2010-11-19 2010-11-19 图像校正方法与相关图像校正***

Publications (2)

Publication Number Publication Date
CN102479379A true CN102479379A (zh) 2012-05-30
CN102479379B CN102479379B (zh) 2014-09-03

Family

ID=46092012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010558117.3A Active CN102479379B (zh) 2010-11-19 2010-11-19 图像校正方法与相关图像校正***

Country Status (1)

Country Link
CN (1) CN102479379B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295370A (zh) * 2012-09-13 2013-09-11 上海工融贸易有限公司 监视人眼离屏幕距离防近视的方法和***
CN103778617A (zh) * 2012-10-23 2014-05-07 义晶科技股份有限公司 动态图像处理方法以及动态图像处理***
CN103810684A (zh) * 2012-11-02 2014-05-21 义晶科技股份有限公司 产生车用影像的影像处理方法及影像处理装置
CN104135608A (zh) * 2014-05-21 2014-11-05 张家港恩达通讯科技有限公司 一种鱼眼镜头图像的展平方法及***
CN105608712A (zh) * 2015-12-11 2016-05-25 中国航空工业集团公司西安航空计算技术研究所 一种3d图形处理透视校正处理方法
CN106570842A (zh) * 2016-11-10 2017-04-19 浙江大华技术股份有限公司 一种鱼眼图像的矫正方法和装置
WO2018102990A1 (en) * 2016-12-06 2018-06-14 SZ DJI Technology Co., Ltd. System and method for rectifying a wide-angle image
CN108307089A (zh) * 2017-01-13 2018-07-20 晨星半导体股份有限公司 扭曲画面校正装置及方法
CN108805807A (zh) * 2017-04-26 2018-11-13 伟诠电子股份有限公司 环景图像的拼接方法及其***
CN110660013A (zh) * 2018-06-28 2020-01-07 瑞萨电子株式会社 半导体器件、图像识别***和图像处理方法
TWI824321B (zh) * 2021-07-02 2023-12-01 創惟科技股份有限公司 影像控制器、影像處理系統及影像修正方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516292A (zh) * 2017-08-30 2017-12-26 广州视源电子科技股份有限公司 图像校正方法、装置、设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963838A (zh) * 2006-11-07 2007-05-16 中国物品编码中心 二维条码图形畸变校正的方法
CN101031052A (zh) * 2006-02-28 2007-09-05 上海奇码数字信息有限公司 图像在存储器中的地址映射方法
US20090226047A1 (en) * 2008-03-04 2009-09-10 Chi-Chang Yu Apparatus and Method of Processing Image and Human Face Detection System using the smae
CN101685537A (zh) * 2008-09-25 2010-03-31 八方科技股份有限公司 利用区域增益校正以加强图像的方法
CN101697105A (zh) * 2009-10-26 2010-04-21 广东威创视讯科技股份有限公司 一种摄像式触摸检测定位方法及摄像式触摸检测***
CN101742125A (zh) * 2008-11-27 2010-06-16 义晶科技股份有限公司 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031052A (zh) * 2006-02-28 2007-09-05 上海奇码数字信息有限公司 图像在存储器中的地址映射方法
CN1963838A (zh) * 2006-11-07 2007-05-16 中国物品编码中心 二维条码图形畸变校正的方法
US20090226047A1 (en) * 2008-03-04 2009-09-10 Chi-Chang Yu Apparatus and Method of Processing Image and Human Face Detection System using the smae
CN101685537A (zh) * 2008-09-25 2010-03-31 八方科技股份有限公司 利用区域增益校正以加强图像的方法
CN101742125A (zh) * 2008-11-27 2010-06-16 义晶科技股份有限公司 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置
CN101697105A (zh) * 2009-10-26 2010-04-21 广东威创视讯科技股份有限公司 一种摄像式触摸检测定位方法及摄像式触摸检测***

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295370B (zh) * 2012-09-13 2015-07-22 上海凯融信息科技有限公司 监视人眼离屏幕距离防近视的方法和***
CN103295370A (zh) * 2012-09-13 2013-09-11 上海工融贸易有限公司 监视人眼离屏幕距离防近视的方法和***
CN103778617A (zh) * 2012-10-23 2014-05-07 义晶科技股份有限公司 动态图像处理方法以及动态图像处理***
CN103778617B (zh) * 2012-10-23 2016-08-03 义晶科技股份有限公司 动态图像处理方法以及动态图像处理***
CN103810684A (zh) * 2012-11-02 2014-05-21 义晶科技股份有限公司 产生车用影像的影像处理方法及影像处理装置
CN103810684B (zh) * 2012-11-02 2016-08-17 义晶科技股份有限公司 产生车用影像的影像处理方法及影像处理装置
CN104135608A (zh) * 2014-05-21 2014-11-05 张家港恩达通讯科技有限公司 一种鱼眼镜头图像的展平方法及***
CN104135608B (zh) * 2014-05-21 2017-07-14 张家港恩达通讯科技有限公司 一种鱼眼镜头图像的展平方法及***
CN105608712B (zh) * 2015-12-11 2018-10-26 中国航空工业集团公司西安航空计算技术研究所 一种3d图形处理透视校正处理方法
CN105608712A (zh) * 2015-12-11 2016-05-25 中国航空工业集团公司西安航空计算技术研究所 一种3d图形处理透视校正处理方法
CN106570842B (zh) * 2016-11-10 2019-11-15 浙江大华技术股份有限公司 一种鱼眼图像的矫正方法和装置
CN106570842A (zh) * 2016-11-10 2017-04-19 浙江大华技术股份有限公司 一种鱼眼图像的矫正方法和装置
WO2018102990A1 (en) * 2016-12-06 2018-06-14 SZ DJI Technology Co., Ltd. System and method for rectifying a wide-angle image
CN109964245A (zh) * 2016-12-06 2019-07-02 深圳市大疆创新科技有限公司 用于校正广角图像的***和方法
US11195252B2 (en) 2016-12-06 2021-12-07 SZ DJI Technology Co., Ltd. System and method for rectifying a wide-angle image
CN108307089A (zh) * 2017-01-13 2018-07-20 晨星半导体股份有限公司 扭曲画面校正装置及方法
CN108307089B (zh) * 2017-01-13 2020-06-12 联发科技股份有限公司 扭曲画面校正装置及方法
CN108805807A (zh) * 2017-04-26 2018-11-13 伟诠电子股份有限公司 环景图像的拼接方法及其***
CN108805807B (zh) * 2017-04-26 2023-03-24 伟诠电子股份有限公司 环景图像的拼接方法及其***
CN110660013A (zh) * 2018-06-28 2020-01-07 瑞萨电子株式会社 半导体器件、图像识别***和图像处理方法
CN110660013B (zh) * 2018-06-28 2024-04-26 瑞萨电子株式会社 半导体器件、图像识别***和图像处理方法
TWI824321B (zh) * 2021-07-02 2023-12-01 創惟科技股份有限公司 影像控制器、影像處理系統及影像修正方法

Also Published As

Publication number Publication date
CN102479379B (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
CN102479379B (zh) 图像校正方法与相关图像校正***
US9153014B2 (en) Image correction method and related image correction system thereof
US11743416B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
CN105957015B (zh) 一种螺纹桶内壁图像360度全景拼接方法及***
CN104917955B (zh) 一种图像转换和多视图输出***及方法
CN110363116B (zh) 基于gld-gan的不规则人脸矫正方法、***及介质
JP4077869B2 (ja) 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
CN106815807B (zh) 一种基于gpu‑cpu协同的无人机影像快速镶嵌方法
WO2014005783A1 (en) A method and system for correcting a distorted input image
CN101365077A (zh) 图像缩放方法及装置
CN110473159A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109359618A (zh) 一种图像处理方法及其装置、设备和存储介质
CN114175091A (zh) 利用基于上下文分割层的自适应去扭曲的最优身体或面部保护的方法
CN103902730B (zh) 一种缩略图生成方法和***
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN107871329A (zh) 一种相机光学中心的快速标定方法及装置
CN106303477A (zh) 一种自适应的投影仪图像校正方法及***
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
Ha et al. Embedded panoramic mosaic system using auto-shot interface
CN111767752A (zh) 一种二维码识别方法及装置
JP2005277732A (ja) 矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体
CN101729739A (zh) 一种图像纠偏处理方法
CN102843479A (zh) 文件扫描方法、文件扫描装置及便携式电子装置
CN102469249A (zh) 影像校正方法及影像校正装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant