CN104917955B - 一种图像转换和多视图输出***及方法 - Google Patents
一种图像转换和多视图输出***及方法 Download PDFInfo
- Publication number
- CN104917955B CN104917955B CN201510097364.0A CN201510097364A CN104917955B CN 104917955 B CN104917955 B CN 104917955B CN 201510097364 A CN201510097364 A CN 201510097364A CN 104917955 B CN104917955 B CN 104917955B
- Authority
- CN
- China
- Prior art keywords
- output
- mapping
- image data
- distortion
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 90
- 238000012937 correction Methods 0.000 claims abstract description 39
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 claims abstract description 3
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 description 8
- 241000226585 Antennaria plantaginifolia Species 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000452638 Parasaissetia nigra Species 0.000 description 2
- 241000700647 Variola virus Species 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Abstract
一种图像转换和多视图输出***以及相关的方法，其使用将输出视图数据的像素逆映射到原始图像数据的坐标映射，而从原始图像数据产生输出视图数据。坐标映射被储存在查找表中，并将透视校正和/或失真校正加以结合，以供捕捉原始图像数据的广角镜头使用。查找表以及反向映射的使用改进了图像转换和多视图输出***的表现，而得以对于图像之多视图视频串流的透视和失真中之一者或两者进行校正。
Description
背景技术
数字成像***通常包括一个或多个透镜和数字图像传感器。该数字图像传感器从经由透镜被成像的对象或场景而将光加以捕捉，并将光转换成电子信号。前述电子信号被数字化并被储存在半导体内存中的作为数字图像数据。这样的数字成像***被用于在各种消费性产品、工业和科学应用，包括移动电话、数字静止图像和视频摄影机、网络摄影机以及其他设备，以产生静止图像和/或视频。
现今大多数的图像传感器是由互补金属氧化物半导体(CMOS)图像传感器或电荷耦合装置(CCD)图像传感器所组成的二维像素阵列。现今的数字图像传感器可包括数以百万计的像素，以提供高分辨率的图像。
数字图像，包括由数字成像***所产生的静态图像和视频图像，其质量可取决于各种因素。在具有广角摄影镜(例如鱼眼镜头)的数字成像***，镜头扭曲可显著影响数字图像的质量。镜头扭曲会造成在场景中被拍摄到的直线或物体于影像中出现弯曲。扭曲最常见的形式是径向对称，径向对称是从透镜的对称性而产生。径向扭曲可被分类为两种主要类型中之一者：桶形失真和枕形失真。桶形失真是由广角镜头所拍摄的常见图像，而枕形失真通常是存在于由缩放或远摄镜头所拍摄的图像。
在桶形失真中，图像的放大倍数随着至光轴的距离而减小。其效果是图像看起来被映射至球体或桶之周围。在枕形失真中，图像放大倍率随着至光轴的距离而增大。视觉上的效果是未经过图像中心的线条会向内弯、朝向图像的中心，就像一个针垫。复合失真，其为桶形失真和枕形失真的组合，始于如靠近图像中心发生的桶形失真，且逐渐变为朝向图像边缘的枕形失真。
在一般的数字成像***中，由透镜失真所产生的误差可借由形成于半导体芯片晶粒上的图像信号处理器(ISP)进行信号处理而校正。ISP接收来自数字图像传感器的数字图像数据，数字图像传感器也普遍地形成在半导体芯片晶粒上。为启动失真数字图像数据的校正程序，大量的缓冲内存用于储存几百行的失真图像数据。所需的内存必须够大且不能被包括在作为ISP的芯片的一部分里。因此，额外的内存芯片是必要的，例如动态随机存取内存(DRAM)装置。前述附加装置会影响数字图像***的大小与成本。另外，前述附加装置存取内存时会造成延迟，并使内存存取带宽问题复杂化。
发明内容
在一实施例中，图像转换和多视图输出方法是从原始图像产生输出视图。原始图像被接收，且输出视图中的每个像素的坐标是借由使用坐标映射而被逆映射到原始图像的位置。坐标映射校正原始图像中(a)透视和(b)失真中的至少一者。输出视图中每个像素的强度是根据原始图像相应的映射像素位置信息而决定的。
在另一实施例中，图像转换和多视图输出***是从原始图像产生输出视图。该***包括查找表，其储存在非挥发性记忆器中，包含将输出视图坐标映射至原始图像；以及逆映射器，其供借由查找表的使用从原始图像产生输出视图。坐标映射校正原始图像中的(a)透视和(b)失真中的至少一者。
在另一实施例中，提供一种用以产生储存在查找表中且被图像转换和多视图输出***所使用之坐标映射的方法，前述***具有成像透镜；图像传感器，用于从透镜捕捉的原始图像；以及输出装置，用于显示校正后的图像。接收包括成像透镜的失真曲线和失真中心之图像转换和多视图输出***的参数。逆透视校正是根据摄影镜头的光轴相对于主光线从透镜视野中的物体入射到透镜的角度方位而决定的。逆失真校正是根据失真曲线和失真中心的一或两者而决定。根据逆透视校正和逆失真校正产生坐标映射；其中坐标映射包括供转换和多视图输出***使用的逆转换，借以从原始图像产生输出视图。
附图说明
图1显示在一个实施例中配置有具有后视摄影机、显示器以及可选多视图选择开关之一车辆的示例性图像转换和多视图输出***。
图2更详细地显示在图1实施例中的图像转换和多视图输出***的示意图。
图3显示由图1的摄影机所成像且由图1的图像转换和多视图输出***所处理的示例性线栅。
图4显示成像配置图，其中图1的摄影机是捕捉物体的原始图像数据。
图5显示由图4的摄影机所捕捉到图3物体的原始图像。
图6显示借由图1的图像转换和多视图输出***从图5的原始图像所产生的输出视图。
图7显示在一实施例中一种示例性的图像转换和多视图输出方法。
图8显示由图1的图像转换和多视图输出***所产生的示例性原始图像和三个示例性输出视图。
图9显示一失真的原始图像和由图1***执行图7的透视和失真校正方法所产生的输出视图。
图10系为显示一实施例中供产生图2的查找表所使用的坐标映射产生器之示意图。
图11显示在一实施例中用于产生图2查找表的方法。
具体实施方式
在采用宽视角的透镜视频成像***中，例如对汽车驾驶辅助摄影机，图框与图框间的延迟会降低***的实用性。延迟会降低观看者适当响应由***所捕捉图像的能力。从这样的延迟所造成的不连贯或溅射视频流会阻止潜在使用者，如驾驶，观看到完整的图像。因此，如配合图1到图11与下文所述者，校正失真图像的同时又能以「平稳」的图框速率显示图像的能力，是该等视频技术所具有价值的功能。
已有涉及逆映射的失真去除方法辅助视频技术。逆映射将输出图像中的像素映射回原始失真图像的位置。在正向映射算算法中，在失真图像中的每个像素被映射到在校正后图像中的像素。然而，这样的算法在计算上的效率并不高，因为许多失真图像中的像素不会被映射到校正后的图像。考虑到在原始图像中只映射像素的情况，逆映射法不仅更有效、更快速，且比正向映射法需要更少的计算资源。
一种在成像***中加快失真移除的方式是将逆映射预先进行计算且将结果储存查找表上。例如，包括一个CMOS图像传感器的成像***可在的芯片上对每一拍摄图像执行映射算法(正向或逆向)，然后将转换后的图像加以显示。用包含前述算法结果的查找表替换前述算法能减少图像失真修正的所需时间，且能应用于其他的图像转换。
对于从具有失真的拍摄图像，例如那些由鱼眼摄影透镜捕捉的图像，产生直播无失真视频串流的快速图像转换是重要的。对于某些成像应用，如下所述，具有一种“多视图”功能的优点在于此功能可让用户选择和查看一个原始图像中一个或多个转换的区域。例如，汽车后视摄影机和监视视频***，其因使用广角摄像透镜而造成明显的失真将会从此等选择和转换所得益。以计算昂贵的失真移除算法，从被捕捉视频提供一多视图的功能将会限制视频框率，因而导致不连贯的视频输出。此不连贯的输出会使观看视频的质量降低且妨碍用户对现有信息快速反应的能力。先前技术的图像失真修正***缺乏多个可转换图像与动态(或「实时」)可重组多视图输出的组合。
本发明所揭露是关于供将原始数字图像加以转换以去除图像伪影的方法和相关***，例如与由广角镜头如鱼眼镜头所拍摄的图像有关的失真和透视误差。一个能实现多视图视频串流的图像校正且选择子视图区域的示例性方法，使得多个显示视图的选择能实时更改。
图1显示配置成具有后视摄影机110、显示器120和可选多视图选择开关122的汽车102的示例性图像转换和多视图输出***100。摄影机110具有成像透镜112和图像传感器116。成像透镜112是广角镜头，例如以鱼眼镜头为例。图像传感器116例如可在CMOS中加以实施，但也可以其他技术而不悖离本发明范围的情况下加以实施。***100例如可在单个集成电路中加以实施，其中其可被配置于摄影机110或显示器120中。
在一操作实例中，成像透镜112将其视野113中的物体成像至图像传感器116，其产生原始图像数据117并将其发送至图像转换和多视图输出***100。图像转换和多视图输出***100将原始图像数据117的至少一部分转换为输出视图数据121，其是作为输出视图123而被显示于显示器120。若包括于其中，可选多视图选择开关122可使用在对由图像转换和多视图输出***100所产生的视图作替代输出视图的选择，且将相应原始图像数据117的转换版本显示在显示器120上。图像转换和多视图输出***100还可从原始图像数据117同时将输出视图123中的多个视图产生且显示于显示器120。
数字图像数据可借由含有二维像素阵列的图像传感器加以捕捉。图像传感器116具有，例如，一个二维的像素阵列，每个像素具有一位置和一强度。像素位置是像素阵列中像素的二维坐标位置。例如，在一VGA图像感射器中的像素阵列具有640×480的维度，且其像素位置使用以零为基准加以编号，范围从(0,0)至(639,479)。由该传感器捕捉的原始图像数据包含像素强度值所对应的二维阵列。除少数例外，由一个映射所决定的原始图像数据中的位置将具有相对应于像素间位置的非整数坐标。像素强度是当将数字图像数据例如以一个包含于0和255之间的整数显示时的像素亮度。
显示设备120将输出视图数据121加以显示，其被表示为一个像素值的二维阵列，每一者皆具有一个位置和强度值。因此，当参考数字图像数据(例如原始图像数据117或输出视图数据121)时，此规范将建构出可被表示为图像数据的参考像素。构成该等数据的每个像素皆具有一像素位置和一像素强度值。
图2是图1显示的图像转换和多视图输出***100的进一步示例性细节示意图。图像转换和多视图输出***100包括内存202、逆映射器206以及可选择的多视图选择模块208。内存202供储存所接收到的原始图像数据117(例如，从摄影机110的图像传感器116)、查找表204与产生的输出视图数据121。内存202至少一部分以非挥发性内存(例如用于储存查找表204者)的方式执行，且至少一部分以挥发性内存(例如用于暂时储存原始图像数据117和输出视图数据121者)的方式执行。查找表204包含至少一个坐标映射205，其将输出视图数据121映射至原始图像数据117的至少一部分，借以根据输出视图数据121校正原始图像数据117中的透视。坐标映射205也可校正经由成像透镜112所带来的失真，借以改善从原始图像数据117所产生输出视图123的质量和清晰度。
逆映射器206包括坐标映射模块212和强度设定模块216。坐标映射模块212是根据查找表204而将输出视图数据121的每一像素映射到原始图像数据117的相应部分。强度设定模块216从原始图像数据117中的映射部分检索像素强度值，并根据这些强度值设定输出视图数据121中的像素强度值。在一个实例中，将逆映射器206执行于硬件中，在从原始图像数据117产生输出视图数据121可达到高图框速率。即，使用查找表204执行原始图像数据117的透视和失真校正，于够高速下形成输出视图数据121，因而使得输出视图123的更新不延迟，且借以使感知移动维持平稳，使得使用者察觉不到任何转换过程。
在操作中的一实例中，对于在输出视图数据121中的每一像素，坐标映射模块212利用查找表204内的坐标映射205而决定原始图像数据117中的位置。强度设定模块216根据在被决定位置的原始图像数据117的信息，决定对输出视图数据121的像素强度值。因为仅将对应至输出视图数据121中像素的原始图像数据117中的像素进行处理，因此，计算负载得以降低且节省功率，且没有映射到输出视图数据121的原始图像数据117的像素并不进行处理。逆映射器206之所以能便于在硬件中执行是因为：(a)其直接将输出视图数据121的像素映射到原始图像数据117，且(b)使用查找表204的单个映射操作是用于同时执行透视校正和失真校正中的一者或两者。
为确保来自图像传感器116的图像信息至少部分被转移至输出视图123，在输出视图数据中的每一像素位置被「向后」映射至原始图像数据117的位置。由于输出视图数据的属性被映射到输入数据的属性，此映射被认为是「逆」映射。
在一实施例中，查找表204包含多个坐标映射205，其中每个坐标映射205从原始图像数据117中产生不同的输出视图123。使用者可选择使用多视图选择开关122，例如，以一个特定的坐标映射205产生所期望的输出图123。可选择地，坐标映射205还可被配置以产生多个位于输出视图123中的子视图，其中，每个子视图被映射到原始图像数据117中的一部分。如以下的实例所示，将原始图像数据117的各部分同时进行映射的动作是可以重迭的，以在输出视图123中形成多个子视图。
在一个使用实例中，多个输出视图中之一者是根据一个或多个相对于车辆之感测条件所自动选择的。例如，对于装有超声波接近侦测的车辆，图像转换和多视图输出***100可被控制，借以当侦测到接近于外部物体时，能显示一个或多个预先定义的视图。借此，使得外部物体的适当视图可自动显示给车辆的驾驶观看。
多种类型的图像校正的可在查找表204中执行。例如，查找表204可执行圆柱型视图，其具有沿着一方向(例如，垂直或水平)上而忽略在正交方向上视野耗损的校正。在另一个实例中，查找表204可以执行直线视图，前述直线视图包括沿着两个正交轴进行失真校正，但也伴随着沿着这些轴的视野减小，于此，借由产生与原始图像不同区域有关的多个直线视图中心，以补偿任何视野的减少。
坐标映射205还可以包括图像处理操作，例如旋转操作和缩放操作(改变焦距)。
坐标映射205是例如由坐标映射产生器1000(图10)所产生，坐标映射产生器1000可执行成像透镜112的校准以及执行每个坐标映射205中的透视和失真校正，然后将坐标映射205于图像转换和多视图输出***100的查找表204中进行使用。
在一个实施例中，逆映射器206采用最近相邻算法以将输出视图像素强度值设定到位于坐标(xm,yn)的像素的原始图像像素强度，其中(xm,yn)是最接近被映射原始图像坐标(xraw,yraw)的坐标。其他实施例中，可采用能接近被映射原始图像坐标强度的更准确方法。例如，多个相邻内插算法，其包含最接近被映射原始图像坐标(xraw,yraw)的三、四或N个像素的强度。这些方法包括但不限于：例如双线性插值和双三次插值等内插算法。
在一实施例中，内插算法的结果是预先计算并储存在查找表204中的坐标映射205中。例如，坐标映射205中的每个元素可包括可识别相应于原始图像像素位置与每一位置权重值的阵列。逆映射器206根据所识别像素的位置与储存在坐标映射205中的权重值，而计算像素强度的加权平均值。
图3至图6显示图1、2的***100操作实例。图3至图6最佳配合以下描述加以观看。
图3显示一个示例性线栅300，其由图1的摄影机110加以成像，且由图像转换和多视图输出***100进行处理。为了更佳地说明图像转换和多视图输出***100的功能，因此以一个具有由水平线301与垂直线302相交形成的8×8正方形网格的平面作为线栅300，水平线301(4)和垂直线302(4)于交叉点315交叉，且水平线301(2)和302(4)于交叉点317交叉。
图4显示成像配置400，于此摄像机110捕捉被显示为沿着线434横截面的线栅300的原始图像数据117。摄影机110经定位而使得成像透镜112的光轴432与线栅300在交叉点315相交，且摄影机110是垂直于线栅300的平面。借此，成像透镜112将线栅300成像至图像传感器116，而将原始图像数据117加以捕捉。在右手坐标轴430中，y轴是垂直于xz平面。
图5显示当线栅300是如图4所显示的配置时，由线栅300的摄影机110所捕捉到的原始图像数据117。右手坐标轴534是将坐标轴430往x轴旋转90°，使得坐标轴534的z轴垂直于x-y平面。坐标轴534显示出原始图像512相对于摄影机110和线栅300的方位。
在原始图像数据117中，垂直线502(4)是中心垂直线302(4)的镜像，且水平线501(4)是水平线301(4)的镜像。原始图像数据117所具有桶形失真是通常使用广角镜头所拍摄图像所一般具有者，其造成水平线301(0)-(3)、301(5)-(8)的弯曲以及垂直线502(0)-(3)、502(5)-(8)的弯曲。垂直线302(4)和水平线301(4)在原始图像数据117的中心交叉点515交叉，因为在原始图像数据117中在此位置的桶形失真为最小，所以能维持相对直的状态。交点515是交叉点315的镜像，且交叉点517是交叉点317的镜像。如图4所示，从线栅300中心的主光线沿着成像透镜112的光轴432行进。
在图3-6的实例中，输出视图数据121是以线栅300的交叉点317为中心，因而产生坐标映射205，借以映射输出视图数据121至由原始图像数据117的虚线所限定的区域516。
图6显示一输出视图123，其对应于区域516，其由图像转换和多视图输出***100所产生。在输出视图123中，垂直线602(4)对应于线栅300的垂直线302(4)，且水平线601(4)对应于线栅300的水平线301(2)。水平线601(4)和垂直线602(4)的交叉点617因而对应于线栅300的交叉点317。由于交叉点317不位于摄影机110的光轴432，主光线从交点317向摄影机110的方向具有至光轴432的非零视角角度436。因此，坐标映射205包括透视和失真校正，使得逆映射器206从具有透视和失真校正的原始图像数据117的区域516产生输出视图数据121。如图所示，输出视图数据121的线601(2)和602(4)实质上是直的。应注意的是，当输出视图数据121是直线型时，原始图像数据117中的区域516不必是直的。
为了产生输出视图数据121，逆映射器206使用查找表204将输出视图数据121的像素坐标映射至原始图像数据117中的位置。例如，显示交叉点617的像素被逆映射到原始图像数据117中交叉点517的位置。同样的，显示水平线601(4)和垂直线602(4)的像素被映射到原始图像数据117中的弯曲水平线501(2)和弯曲垂直线502(4)内相应的位置。
图7显示经由使用图2的查找表204供从原始图像数据117产生图1的输出视图数据121的示例性图像转换和多视图输出方法700。举例而言，方法700是，在图像转换和多视图输出***100中的逆映射器206中加以执行。步骤701是可选的。如果包括，在步骤701中，方法700会决定输出视图的选择。在步骤701的一个实例中，多视图选择模块208决定将来自多视图选择开关122的输出视图数据121加以选择，借以选择查找表204中的坐标映射205。在步骤702中，方法700将原始图像数据加以接收。在步骤702的一个实例中，图像转换和多视图输出***100接收来自图像传感器116的原始图像数据117。
在步骤706中，方法700将每个输出像素逆映射至原始图像数据中的位置。在步骤706的实例中，逆映射器206使用查找表204而将输出视图数据121的输出像素逆映射到原始图像数据117中的位置。在步骤708中，方法700根据位于映射位置的原始图像数据决定对于输出视图像素的像素强度值。在步骤708的实例中，逆映射器206的强度设定模块216使用像素内插法而借此接近原始图像数据117中的映射位置，以决定对应输出视图数据121中像素的值。如虚线轮廓704所指示的，重复进行步骤706和708，直到输出视图数据121的所有像素都被映射且被分配到一个值为止。每个输出像素可根据逆映射器206的执行程序，按顺序地或并行地进行映射。
在步骤710中，方法700将输出视图数据加以输出。在步骤710的一个实例中，图像转换和多视图输出***100将输出视图数据121发送至显示器120。当应用于视频图框的处理时，对每个接收到的原始图像数据(视频图框)重复进行方法700的步骤。
图8显示一示例性的原始图像802中，其表示原始图像数据117，以及三个示例性输出视图804、806和808，其皆由图像转换和多视图输出***100所产生。在图8的实例中，输出视图806形成两个示例性的子视图810(1)和810(2)，其是使用单个坐标映射205所产生的。输出视图804、806和808是例如使用图7的方法700借由图1的图像转换和多视图输出***100从原始图像802所产生的。输出视图804和输出视图806的每个子视图810(1)和810(2)分别显示原始图像802的中心、左和右视图的直线校正。输出图808显示原始图像802的垂直校正，其中在原始图像802中只有校正垂直失真的部分，同时维持几乎完整的水平视角。
图9显示借由使用查找表204中的透视和失真校正且根据图7的方法700，由图像转换和多视图输出***100所产生的扭曲图像904和输出视图902。扭曲图像904代表图1的原始图像数据图117，且输出视图902代表输出视图数据121。借由使用方法700，***100将相对应输出视图902的球体908的像素，逆映射至相对应扭曲图像904中球体906的位置。
扭曲图像904展现出桶形失真，即如天花板线909自图像中心弯曲远离所显示者。坐标映射205将透视和/或失真校正加以结合，使得在输出视图902中，天花板线907是直的。虽然只展示桶形失真，坐标映射205也可在不悖离本发明的范围下，应用于其它类型的失真校正。例如，坐标映射205可以应用于枕形失真校正，且可校正桶形和枕形失真的任意组合(即复合失真)。
图10是显示一个用于产生供图2查找表204中使用的坐标映射205的示例性坐标映射产生器1000的示意图。坐标映射产生器1000例如是一计算机，其包括处理器1002和将软件1020加以储存的内存1010，前述软件包括透视校正算法1014。内存1010表示本领域习知的挥发性和非挥发性内存中的一者或两者。软件1020具有由处理器1002所执行且机器可读的指令，借以执行如下所述坐标映射产生器1000的功能。内存1010还示出了储存成像透镜数据1012的功能，其包括成像透镜112(图1)的失真曲线1030和失真中心1032的一者或两者。成像透镜数据1012还可决定成像透镜112的视野(例如：视野113)。
内存1010还储存有原始图像数据参数1038，其定义原始图像数据117和输出视图参数1040的特征，输出视图参数1040则定义输出视图数据121的特征。例如，原始图像数据参数1038包括对应于图像传感器116像素阵列的原始图像数据117的像素阵列维度，输出视图参数1040定义输出视图123的像素阵列尺寸。
输出视图参数1040还可包括输出视图尺寸，即，关于原始图像区域的数字变焦。几何形状的部分，是借由横跨子视图516的垂直线502(图5)部分在x-z平面上的角度范围436(图4)与跨越子视图516中弯曲水平线501(2)部分所对应y-z平面角度的范围而定义。
举例而言，透视角度1016为，使用对应于相对摄影机110光轴432所需输出视图123的延着x轴旋转(pitch)、延着y轴旋转(yaw)和延着z轴旋转(roll)旋转而加以定义。经由使用者输入设备1018而由使用者提供成像透镜数据1012和透视角度1016中的一者或两者。成像透镜数据1012可经由成像透镜112的量测来决定。如图4所示，延着x轴旋转、延着y轴旋转和延着z轴旋转是分别围绕着x轴、y轴和z轴进行旋转。
子视图810(1)和810(2)(图8)显示输出视图123的透视视角。每个子视图810(1)和810(2)中的垂直透视视角(pitch)是零，因为它们与原始图像802的垂直透视并无不同。子视图810(1)和810(2)的水平透视视角(yaw)两者彼此并不同，且此两者也与原始图像802的水平透视视角(yaw)也不同。
透视校正算法1014，当由处理器1002执行时，是根据原始图像数据参数1038和透视视角1016中的一者或多者，在输出视图参数1040上执行数学逆透视校正，借以在内存1010中产生中间映射数据1050。然后，由处理器1002执行失真校正算法1015，而根据中间映射数据1050、原始图像数据参数1038；和失真曲线1030与失真中心1032中的一者或两者，将坐标映射205产生。坐标映射205因而包含透视校正和失真校正，以将输出视图数据121的像素坐标逆映射至原始图像数据117。
图11是说明供于查找表204中使用用于产生坐标映射205的示例性方法1100的流程图。举例而言，方法1100是，在图10的软件1020中执行，以根据成像透镜112和原始图像数据117的特征，产生对一或多个所需输出视图123中的每一者的坐标映射205。
在步骤1101中，方法1100将成像透镜参数加以接收。在步骤1101的实例中，坐标映射产生器1000从使用者接收指示成像透镜112视野的输入。
在步骤1102中，方法1100将原始图像数据的参数加以接收。在步骤1102的一个实例中，坐标映射产生器1000将来自用户指示原始图像数据117属性的输入加以接收，例如像素阵列维度、像素数目与像素间距。
在步骤1103中，方法1100决定透镜的失真曲线。在步骤1103的实例中，坐标映射产生器1000控制和/或指示校准设备，借以测量成像透镜112的失真曲线1030。在步骤1103的另一实例中，坐标映射产生器1000是从第三方接收失真曲线1030，如经由成像透镜112的制造商所提供的用户输入数据。
在步骤1104中，方法1100决定对应于透镜的失真中心。在步骤1104的一个实例中，坐标映射产生器1000控制和/或指示校准设备，借以测量成像透镜112的失真中心1032而产生所述失真中心。在步骤1104的另一实例中，坐标映射产生器1000从第三方接收失真中心1032，如经由成像透镜112的制造商所提供的用户输入数据。
在步骤1106中，方法1100接收用于产生输出视图中的至少一透视角度。至少一透视角度的每一者是代表成像透镜视野中的角度。在步骤1106的一实例中，坐标映射产生器1000自使用者接收一指示，其代表经延着x轴旋转、延着z轴旋转和延着y轴旋转的透视角度。在步骤1106的一个实例中，坐标映射产生器1000自使用者接收一指示，其代表透视角度经延着x轴旋转、延着z轴旋转和延着y轴旋转的一者或两者的指定値，其中未被指定的透视角度被设置为零。
在步骤1107，方法1100将输出视图尺寸加以接收。在步骤1107的实例中，输出视图尺寸被定义，且由使用者借由在正交平面、相对于步骤1106中接收的透视角度所定义的轴的两个视野角度而加以输入。
在步骤1106和1107所提供的信息定义成像透镜112视野的子视野，其中子视野是由***100转换为输出视图123。
在步骤1108中，方法1100使用根据由步骤1106所接收的至少一透视角度的数学计算，而借由被选择的输出视图数据的逆映射像素坐标(例如像素坐标xout,yout)将透视校正应用于中间映射数据。在步骤1108的一实例中，处理器1002根据输出视图参数1040而执行透视校正算法1014的指令，借以产生中间映射数据1050。
在步骤1112中，方法1100使用失真曲线和/或失真中心，借由将在步骤1108所产生的中间映射数据加以逆映射，将失真校正应用于原始图像数据位置。在步骤1112中的实例中，坐标映射产生器1000的失真校正算法1015将中间映射数据1050进行处理，借以将失真曲线1030和失真中心1032中的一者或两者加以结合，此分别在步骤1103和1104加以决定。在步骤1114中，方法1100将坐标映射输出。在步骤1114的实例中，坐标映射产生器1000将坐标映射205输出而供查找表204中使用。例如，在此图像转换和多视图输出***100是被用作为单一封装(如，一个单一集成电路)，坐标映射产生器1000可将坐标映射205写入图像转换多视图输出***100的内存202。
重复步骤1106到步骤1114，如虚线轮廓1105所示，借以产生用于每个输出视图的坐标映射205。例如，为了产生一个对应每个输出视图804、806和808的坐标映射205，将步骤1106至1114重复进行三次：首先，产生对应于输出视图804的坐标映射205；第二，产生对应于输出视图806的坐标映射205；以及第三，产生对应于输出视图808的坐标映射205。对于第二次重复，坐标映射205将原始图像802转换成子视图810(1)和810(2)，步骤1106至1112可以对每个子视图810重复进行，且步骤1114将多个坐标映射205结合而产生单一的坐标映射205，以供于查找表204中使用。
方法1100中的步骤顺序可以在不脱离本发明的范围下加以改变。例如，步骤1104可以在步骤1103之前，且步骤1107可以在步骤1106之前。
可将以上方法和***进行改变而不脱离本发明的范畴。因此应注意，以上描述中所含有及随附图式中所展示之内容应被解读为说明性而非限制性的。以上权利要求意欲涵盖本文所描述之所有一般及特定的特征，以及本发明的方法及***范畴的所有陈述，其以语言角度可被视为若入其间范围内。
Claims (24)
1.一种用于图像转换和至显示设备的多视图输出的方法，包括：
将由图像传感器产生的原始图像数据接收到***的内存中，所述***包括逆映射器和存储在非挥发性内存中的查找表；
使用校正原始图像中(a)透视和(b)失真二者的坐标映射，并使用逆映射器的坐标映射模块和查找表，将存储在内存中的输出视图数据的每一个像素坐标映射至原始图像数据中的位置，其中，根据原始图像数据参数和透视视角中的一者或多者，在输出视图参数上执行数学逆透视校正，借以在所述非挥发性内存中产生中间映射数据，然后根据所述中间映射数据、所述原始图像数据参数和成像透镜的失真曲线与失真中心中的一者或两者执行失真校正算法，以产生所述坐标映射；以及
根据该原始图像数据中最接近该位置的信息，使用逆映射器的强度设定模块决定该输出视图数据中的每一个输出像素强度；以及
将输出视图数据输出至显示设备。
2.如权利要求1所述的方法，更包括从储存于该查找表内的多个坐标映射中选择该坐标映射。
3.如权利要求1所述的方法，其中在映射的步骤中，在该输出视图数据中产生至少两个子视图。
4.如权利要求1所述的方法，其中该原始图像数据中的该位置是识别该原始图像数据中的像素。
5.如权利要求1所述的方法，其中该原始图像数据中的该位置是识别该原始图像数据中的像素群组。
6.如权利要求1所述的方法，其中该映射步骤是沿着该图像平面的轴校正失真。
7.如权利要求1所述的方法，其中该映射步骤是校正沿着该图像平面两个正交轴的失真。
8.如权利要求1所述的方法，其中该映射步骤包括选自由缩放和旋转功能所组成群组中的图像转换。
9.如权利要求1所述的方法，其中该决定步骤包括内插算法。
10.一种图像转换和多视图输出的***，包括：
查找表，其储存在非挥发性内存中且包含将输出视图数据的像素映射到原始图像数据中位置的坐标映射；以及
逆映射器，其使用该坐标映射而从该原始图像数据中产生该输出视图数据，其中，根据原始图像数据参数和透视视角中的一者或多者，在输出视图参数上执行数学逆透视校正，借以在所述非挥发性内存中产生中间映射数据，然后根据所述中间映射数据、所述原始图像数据参数和成像透镜的失真曲线与失真中心中的一者或两者执行失真校正算法，以产生所述坐标映射；
其中该坐标映射包括(a)透视校正和(b)失真校正二者。
11.如权利要求10所述的***，其中该逆映射器包括强度设定模块，其供于该原始图像数据中的至少两个输入像素间进行内插以产生该输出视图数据的每一个输出像素强度值。
12.如权利要求10所述的***，其中该逆映射器能校正沿着该图像平面的轴的失真。
13.如权利要求10所述的***，其中该逆映射器能校正沿着该图像平面的两个正交轴的失真。
14.如权利要求10所述的***，其中该输出视图数据包括该原始图像数据的两个独立子视图。
15.如权利要求10所述的***，更包括：
至少一个附加的坐标映射，其储存在该查找表中；以及
多视图选择模块，供(a)接收选择性输出视图的输入指示，和(b)选择该坐标映射与该附加坐标映射中的一个，而供该逆映射器使用以产生该输出视图数据。
16.如权利要求10所述的***，其中该坐标映射能执行一个或多个缩放和旋转。
17.如权利要求10所述的***，其中该查找表和逆映射器被配置为单一集成电路。
18.如权利要求10所述的***，其中该输出视图数据被发送到显示设备而供显示给用户观看。
19.如权利要求10所述的***，其中该原始图像数据是输入视频序列数据中的图框，且其中该输出视图数据是在直播视频串流中作为图框而被显示。
20.一种供产生坐标映射供用于被图像转换和多视图输出***所使用于查找表中的方法，包括：
接收成像透镜的参数，该参数包括该成像透镜的失真曲线和失真中心；
接收原始图像数据的参数；
接收对应于该图像转换和多视图输出***的输出视图中的至少一个透视角度；
根据该至少一个透视角度而将逆透视校正应用至输出视图数据，以产生中间映射数据；
根据该失真曲线和该失真中心中的至少一个而将逆失真校正应用至该中间映射数据，以产生该坐标映射；以及
将供该图像转换和多视图输出***中所使用的该坐标映射输出，其中该坐标映射校正(a)透视和(b)失真二者。
21.如权利要求20所述的方法，其中该参数包括该成像透镜的视图的视野。
22.如权利要求20所述的方法，其中原始图像数据参数包括像素位置。
23.如权利要求20所述的方法，其中该坐标映射包括介于该原始图像数据与该输出视图数据间的缩放操作。
24.如权利要求20所述的方法，其中该坐标映射是将该输出视图数据的每一个像素映射至该原始图像数据中的位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/203,016 | 2014-03-10 | ||
| US14/203,016 US9196022B2 (en) | 2014-03-10 | 2014-03-10 | Image transformation and multi-view output systems and methods |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104917955A CN104917955A (zh) | 2015-09-16 |
| CN104917955B true CN104917955B (zh) | 2019-07-12 |
Family
ID=54017845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510097364.0A Active CN104917955B (zh) | 2014-03-10 | 2015-03-05 | 一种图像转换和多视图输出***及方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9196022B2 (zh) |
| CN (1) | CN104917955B (zh) |
| HK (1) | HK1209541A1 (zh) |
| TW (1) | TWI524306B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2960864B1 (en) * | 2014-06-23 | 2018-12-05 | Harman Becker Automotive Systems GmbH | Device and method for processing a stream of video data |
| US20160189350A1 (en) * | 2014-12-30 | 2016-06-30 | Texas Instruments Incorporated | System and method for remapping of image to correct optical distortions |
| US10196005B2 (en) | 2015-01-22 | 2019-02-05 | Mobileye Vision Technologies Ltd. | Method and system of camera focus for advanced driver assistance system (ADAS) |
| US9930315B2 (en) | 2015-04-29 | 2018-03-27 | Lucid VR, Inc. | Stereoscopic 3D camera for virtual reality experience |
| US9536287B1 (en) * | 2015-07-09 | 2017-01-03 | Intel Corporation | Accelerated lens distortion correction with near-continuous warping optimization |
| US9836809B2 (en) * | 2015-09-25 | 2017-12-05 | Intel Corporation | Method and apparatus for adaptive pixel hashing for graphics processors |
| US10140687B1 (en) | 2016-01-27 | 2018-11-27 | RAPC Systems, Inc. | Real time wide angle video camera system with distortion correction |
| US10142544B1 (en) | 2016-01-27 | 2018-11-27 | RAPC Systems, Inc. | Real time wide angle video camera system with distortion correction |
| US10692050B2 (en) * | 2016-04-06 | 2020-06-23 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN106204480B (zh) * | 2016-07-08 | 2018-12-18 | 石家庄域联视控控制技术有限公司 | 基于圆锥曲线的图像畸变矫正方法及实时矫正装置 |
| TWI599989B (zh) | 2016-11-29 | 2017-09-21 | 財團法人工業技術研究院 | 用於交通工具之影像處理方法及影像系統 |
| CN106600528B (zh) * | 2016-12-23 | 2020-04-14 | 首都师范大学 | 一种全画幅微单鱼眼相机畸变改正算法 |
| KR102467882B1 (ko) * | 2017-11-28 | 2022-11-16 | 엘지디스플레이 주식회사 | 개인 몰입형 표시장치와 이의 구동방법 |
| KR102650217B1 (ko) * | 2017-12-07 | 2024-03-21 | 삼성전자주식회사 | 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치 |
| JP7081265B2 (ja) * | 2018-03-29 | 2022-06-07 | 株式会社富士通ゼネラル | 画像処理装置 |
| CN108761777B (zh) * | 2018-03-30 | 2021-04-20 | 京东方科技集团股份有限公司 | 一种确定光学装置畸变量、畸变校正的方法及设备 |
| EP3861533A4 (en) * | 2018-10-05 | 2022-12-21 | Magic Leap, Inc. | CROSS REALITY SYSTEM |
| CN109472750B (zh) * | 2018-10-29 | 2021-11-30 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
| FR3091946B1 (fr) * | 2019-01-18 | 2021-10-01 | Renault Sas | Procédé de création de vues à partir d’une image capturée par une caméra grand angle |
| US11277544B2 (en) * | 2019-08-07 | 2022-03-15 | Microsoft Technology Licensing, Llc | Camera-specific distortion correction |
| CN112489114B (zh) * | 2020-11-25 | 2024-05-10 | 深圳地平线机器人科技有限公司 | 图像转换方法、装置、计算机可读存储介质及电子设备 |
| CN112907462A (zh) * | 2021-01-28 | 2021-06-04 | 黑芝麻智能科技(上海)有限公司 | 超广角摄像器件畸变校正方法、***及包括其的拍摄装置 |
| CN115131224A (zh) * | 2021-03-29 | 2022-09-30 | 北京小米移动软件有限公司 | 图像校正方法及装置、电子设备及存储介质 |
| US11663704B2 (en) | 2021-04-28 | 2023-05-30 | Microsoft Technology Licensing, Llc | Distortion correction via modified analytical projection |
| DE102021115253A1 (de) | 2021-06-14 | 2022-12-15 | Connaught Electronics Ltd. | Reduzierung von Effekten der radialen Verzeichnung nicht-geradliniger Kameras |
| CN113487500B (zh) * | 2021-06-28 | 2022-08-02 | 北京紫光展锐通信技术有限公司 | 图像畸变校正方法与装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201019715A (en) * | 2008-11-12 | 2010-05-16 | Avisonic Technology Corp | Fisheye correction with perspective distortion reduction method and related image processor |
| CN103514628A (zh) * | 2012-06-29 | 2014-01-15 | 中国船舶重工集团公司第七0九研究所 | 一种基于3d建模和位置查表技术的图像非线性几何校正方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4630773A (en) * | 1984-11-06 | 1986-12-23 | Soil Teq., Inc. | Method and apparatus for spreading fertilizer |
| US5321797A (en) | 1990-06-11 | 1994-06-14 | Eastman Kodak Company | Apparatus and method for performing coordinate transformation employing stored values and interpolation |
| US6173087B1 (en) | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
| US7333238B2 (en) * | 2003-03-28 | 2008-02-19 | Hewlett-Packard Development Company, L.P. | Rendering a printing device pixel map |
| JP2005339313A (ja) * | 2004-05-28 | 2005-12-08 | Toshiba Corp | 画像提示方法及び装置 |
| WO2009013845A1 (ja) | 2007-07-20 | 2009-01-29 | Techwell Japan K.K. | 画像処理装置及びカメラシステム |
| KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
| TWI423659B (zh) | 2010-11-09 | 2014-01-11 | Avisonic Technology Corp | 影像校正方法與相關影像校正系統 |
| TWI538473B (zh) * | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
| CN103247030A (zh) * | 2013-04-15 | 2013-08-14 | 丹阳科美汽车部件有限公司 | 基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法 |
-
2014
- 2014-03-10 US US14/203,016 patent/US9196022B2/en active Active
-
2015
- 2015-02-12 TW TW104104839A patent/TWI524306B/zh active
- 2015-03-05 CN CN201510097364.0A patent/CN104917955B/zh active Active
- 2015-10-12 HK HK15109950.2A patent/HK1209541A1/zh unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201019715A (en) * | 2008-11-12 | 2010-05-16 | Avisonic Technology Corp | Fisheye correction with perspective distortion reduction method and related image processor |
| CN103514628A (zh) * | 2012-06-29 | 2014-01-15 | 中国船舶重工集团公司第七0九研究所 | 一种基于3d建模和位置查表技术的图像非线性几何校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150254818A1 (en) | 2015-09-10 |
| CN104917955A (zh) | 2015-09-16 |
| TW201535318A (zh) | 2015-09-16 |
| US9196022B2 (en) | 2015-11-24 |
| HK1209541A1 (zh) | 2016-04-01 |
| TWI524306B (zh) | 2016-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104917955B (zh) | 一种图像转换和多视图输出***及方法 | |
| JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
| KR100914211B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
| JP6168794B2 (ja) | 情報処理方法および装置、プログラム。 | |
| US9998659B2 (en) | Method and system for adaptive perspective correction of ultra wide-angle lens images | |
| US9946955B2 (en) | Image registration method | |
| KR101408426B1 (ko) | 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 | |
| JP5438579B2 (ja) | 画像処理装置及びその制御方法 | |
| EP3016065B1 (en) | Coordinate computation device and method, and image processing device and method | |
| KR101521008B1 (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
| EP1600890A2 (en) | Distortion correction of fish-eye image | |
| CN108805807A (zh) | 环景图像的拼接方法及其*** | |
| CN108053375B (zh) | 图像数据修正方法、装置及其汽车 | |
| US20130265468A1 (en) | Camera, distortion correction device and distortion correction method | |
| CN105894448B (zh) | 蒙板矩阵的生成方法、泊车图像的合成方法及装置 | |
| CN112399033B (zh) | 摄像机组件和监控摄像机 | |
| JP2010171914A (ja) | 画像データ変換装置 | |
| CN111652937B (zh) | 车载相机标定方法和装置 | |
| EP3523777A1 (en) | System and method for rectifying a wide-angle image | |
| US20210118104A1 (en) | Image processing | |
| TWI443604B (zh) | 影像校正方法及影像校正裝置 | |
| US20160189350A1 (en) | System and method for remapping of image to correct optical distortions | |
| KR20060041116A (ko) | 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템 | |
| CN115210749A (zh) | 几何校正引擎中的错误处理 | |
| US9092840B2 (en) | Image processing apparatus, control method of the same and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1209541 Country of ref document: HK |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: American California Applicant after: OmniVision Technologies, Inc. Address before: American California Applicant before: Full Vision Technology Co., Ltd. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |