CN102939764B - 图像处理器、图像显示装置和图像拍摄装置 - Google Patents
图像处理器、图像显示装置和图像拍摄装置 Download PDFInfo
- Publication number
- CN102939764B CN102939764B CN201180025916.7A CN201180025916A CN102939764B CN 102939764 B CN102939764 B CN 102939764B CN 201180025916 A CN201180025916 A CN 201180025916A CN 102939764 B CN102939764 B CN 102939764B
- Authority
- CN
- China
- Prior art keywords
- parallax
- image
- anaglyph
- disparity
- main object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理器,生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像,并且易于调节三维图像中任意部分的三维效果。视差校正部101在预定范围内校正输入视差图像的视差,并向视差转换部103输出存储经校正视差的视差图像。视差转换部103转换视差图像的视差,使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值,并且向图像生成部104输出转换后获得的视差图像。图像生成部104基于输入的视差图像和输入的捕获图像,生成左眼图像和右眼图像,并且向显示装置输出图像。因此,对视差进行了转换,使得主对象的三维效果增强。
Description
技术领域
本发明涉及一种生成三维图像的图像处理器、一种包括该图像处理器的图像显示装置、以及一种包括该图像处理器的图像拍摄装置。
背景技术
提出了一种设备,利用并排布置的左眼和右眼摄像机同时拍摄相同对象(在下文中简单称作同一对象)的图像,通过对两个摄像机生成的两个图像数据(在下文中,简单称作图像)执行不同图像处理,来生成三维图像(也被称作立体图像)(参见专利文献1)。
通过交叠两个图像而生成的图像之间间隙被称作视差。该视差根据摄像机到对象的距离而变化。
例如,假定两个摄像机置于一条直线上,其中,两个摄像机的光轴平行布置以拍摄同一对象的图像。在这种情况下,如果对象相距较远,则对象的视差基本上为零。随着摄像机与对象之间距离的缩短,对象的视差增大。因此,如果基于包括具有较大视差的对象在内的两个图像生成和输出三维图像从而进行显示,则对象的投影量增加(看起来更接近),并且三维效果增强。
然而,如果增大的视差大于特定级别,则左眼感知到的图像不会与右眼感知到的图像融合,出现双图像,不可能实现立体观看(融合界限)。已知由于过度视差而引起的双图像引起视觉疲劳。因此。为了舒适地观看三维图像,在显示图像时必须限制对象的深度(投影、下压)。该限制在非专利文献1中公开。
例如,专利文献1公开了一种生成三维图像而不会由于过度视差而导致生成双图像的技术。在专利文献1中公开的技术中,对深度范围进行非线性控制,使得在观察者的三维可观看范围内显示三维图像,以生成观察者易于以三维方式观看到的图像。
现有技术文献
专利文献
专利文献1:日本待审专利公开No.2005-91508
非专利文献
非专利文献1:3D consortium 3DC Safety Guidelines,URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidelineJ_200812.pdf
发明内容
本发明要解决的问题
如果期望实现一种增强的三维效果的主对象不具有接近最大与最小可拍摄视差之间的中间值的视差,则存在无法充分获取主对象的三维效果的问题。具体参照图16和17描述该问题。
图16是主对象1600、主对象1601和背景1602的示意图,并且从摄像机(未示出)到主对象1600的距离最短,按照主对象1601和背景1602的顺序,到摄像机的距离增大。
如上所述,针对通过置于一条直线上的两个摄像机拍摄主对象1600、1601和背景1602而获取的图像,执行不同图像处理,以生成三维图像,输出该三维图像以在三维图像显示装置(在下文中,简单称作显示装置)上显示。
由于到摄像机的距离按照主对象1600、1601和背景1602的顺序增大,因此当γ表示主对象1600的视差,β表示主对象1601的视差时,满足γ>β。假定主对象1600的视差γ和主对象1601的视差β不是接近最大与最小可拍摄视差之间的中间值的视差。背景1602位于到摄像机最远的距离,因此背景1602具有最小视差α。
图17是当通过对拍摄图16中所示主对象1600、1601和背景1602而获取的图像执行不同图像处理生成三维图像时观看者感知到的并在显示装置的显示平面P上显示的三维图像的状态的示意图。显示平面P上的字符“a”指示显示平面的位置。
在位置1700附近感知到主对象1600;在位置1701附近感知到主对象1601;并且在位置1702附近感知到背景1602。
当以这样的方式在显示平面P上显示图16中所示主对象1600、1601和背景1602的三维图像时,观察者感知到三维图像,使得主对象1600和1601被下压(depressed)在背景1602附近。因此,无法充分获取对象的三维效果,导致将削弱的三维效果感知作为三维图像。
具体地,当主对象的视差与背景或前景的视差基本上相同时,主对象的三维效果显著劣化。
本发明的目的是解决上述问题,并且提供一种图像处理器,生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像,并可以容易地调节三维图像中任意部分的三维效果。
解决问题的手段
本发明的第一技术手段是一种图像处理器,接收来自一个视点的捕获图像和与捕获图像相对应的视差图像的输入,所述图像处理器包括:模糊处理部,对捕获图像的与具有等于或小于第一预定值或等于或大于第二预定值的视差图像的视差的对象相对应的像素,与所述视差的绝对值成比例地执行模糊处理;视差校正部,用于使视差图像中预定范围之外的视差饱和;视差转换部,用于将与捕获图像的至少一个主对象相对应的视差转换为预定值;以及图像生成部,基于经过模糊处理部的模糊处理的捕获图像、以及通过视差校正部校正且具有与视差转换部所转换的主对象相对应的视差的视差图像,来生成三维图像,所述图像处理器生成三维图像。
本发明的第二技术手段是第一技术手段的图像处理器,其中,捕获图像是通过从两个观看位置拍摄同一对象而获取的两个捕获图像之一,以及视差图像是根据所述两个捕获图像计算的视差图像。
第三技术手段是第一或第二技术手段的图像处理器,其中,视差转换部基于规定了输入视差与输出视差之间的关系的线性函数,将与主对象相对应的视差转换为预定值,并通过连接具有不同斜率的多个线段来做出示出了输入视差与输出视差之间的关系的图。
第四技术手段是第一或第二技术手段的图像处理器,其中,预定值是零或基于零的预定范围内的值。
第五技术手段是第一至或第二技术手段的图像处理器,其中,视差图像的预定范围具有等于或小于第一预定值的最小值和等于或大于第二预定值的最大值。
第六技术手段是一种图像显示装置,包括:第一或第二技术手段的图像处理器。
第七技术手段是一种图像拍摄装置,包括:第一或第二技术手段的图像处理器。
本发明的效果
本发明的图像处理器生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像,并且可以通过视差转换容易地调节三维图像中任意部分的三维效果,并且可以容易地增强三维效果并改变主对象的深度感知。
附图说明
图1是第一实施例中描述的图像处理器的功能框图。
图2是用于说明视差图像的图。
图3是对视差归一化的视差校正等式的图。
图4是削减视差的视差校正等式的图。
图5是当观察者观看显示装置时左图像与右图像之间的视差和深度量的关系图。
图6是说明当以设置为零并且增加/减小到正值/负值的视差显示对象时观察者如何感知对象的示意图。
图7是对通过归一化校正的视差执行视差转换的视差转换等式的图。
图8是对通过削减校正的视差执行视差转换的视差转换等式的图。
图9是对通过削减校正的视差执行视差转换的视差转换等式的图。
图10是观看者感知到的视差转换之后的三维图像的状态的示意图。
图11是第二实施例中描述的图像处理器的功能框图。
图12是视差扩大的示例的图。
图13是对通过归一化校正的视差执行视差转换的视差转换等式的图。
图14是第三实施例中描述的图像处理器的功能框图。
图15是削减视差的视差校正等式的图。
图16是主对象和背景的示意图。
图17是观察者感知到的三维图像的状态的示意图。
具体实施方式
[第一实施例]
现在参照附图详细描述本发明。附图中的配置夸张地示出以便于理解,并且具有与实际配置不同的间隔和尺寸。
图1是第一实施例中描述的本发明的图像处理器100的功能框图。
图像处理器100包括视差校正部101、主对象确定部102、视差转换部103和图像生成部104,并且使用来自一个视点的捕获图像和与捕获图像相对应的视差图像作为输入,以基于捕获图像和视差图像来生成三维图像。
向视差校正部101输入从外部设备(未示出)等输入的视差图像。向主对象确定部102和图像生成部104输入从外部设备等输入的捕获图像。
视差校正部101在预定范围内校正输入视差图像的视差,并向视差转换部103输出存储经校正视差的视差图像。稍后描述视差图像。
主对象确定部102确定输入的捕获图像的主对象,并向视差转换部103输出主对象的位置信息。
视差转换部103基于从主对象确定部102输入的主对象的位置信息,从自视差校正部101输入的视差图像中提取与主对象的图像相对应的(经校正)视差。视差转换部103基于预定的转换等式来转换提取的视差,并向图像生成部104输出存储经转换视差的视差图像。具体地,视差转换部103对视差图像的视差进行转换,使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值。预定值是当在三维显示装置上显示主对象时使得在显示屏上或附近显示主对象的值。具体地,例如,预定值是零、或者基于零的预定范围内的值。预定值是可调节的。
因此,对视差进行转换,使得主对象的三维效果增强。
图像生成部104基于输入的视差图像和输入的捕获图像生成左眼图像(左图像)和右眼图像(右图像),并且向显示装置(未示出)输出图像。
因此,图像生成部104基于使用视差转换部103转换的视差的视差图像、以及捕获图像来生成三维图像。
在下文中详细描述功能框的细节。首先,参照图2描述输入至视差校正部101的视差图像。
图2(A)是摄像机202和203拍摄对象201的状态的示意图。摄像机202和203的光轴(虚线)平行,并且摄像机202和203置于一条直线上。
图2(B)是左侧摄像机202所拍摄的对象201的捕获图像204(在下文中称作左图像)以及右侧摄像机203所拍摄的对象201的捕获图像(下文中称作右图像)205的示意图。
图2(C)是示意性示出了通过将右图像205与左图像204交叠而获取的图像,以及图2(D)示出了视差图像206。
如图2(C)所示,将右图像205中的对象201(矩形虚线)相对于左图像204中的对象201(矩形虚线)向左移动X个像素。X个像素对应于对两个捕获图像(左图像204和右图像205)中同一对象201的间隙加以指示的视差。
视差图像意味着针对每个像素对应于对象的像素存储视差的图像,所述视差指示从两个观看位置拍摄的同一对象的两个捕获图像中同一对象的间隙。在上述示例中,针对视差图像的每个像素,对应于左图像204的对象存储对象的视差。
图2(D)示意性示出了在视差图像206的像素206a中存储对象201的视差X的状态。
视差图像206的另一像素206b也存储了左图像204的对象的与像素206b相对应的视差。
视差可以基于像素或距离。
视差校正部101校正视差图像的视差,以抑制过度视差。按照稍后描述的公知方法来执行视差校正。
视差校正方法包括两个典型方法。一个方法是对视差进行归一化,另一个方法是削减视差。视差归一化的特征在于,保留总深度关系,而不使视差饱和;而视差削减的特征在于,保持视差在三维可观看范围的对象的深度量。
图3示出了利用归一化方法执行视差校正的示例,图4示出了利用削减方法执行视差校正的示例。
图3示出了归一化视差的视差校正等式的图,并且该视差校正方法由(等式1)表示。
[等式1]
图4示出了削减视差的视差校正等式的图,并且该视差校正方法由(等式2)至(等式4)表示。
[等式2]
当Dout_min<din<Dout_max时
dout=din (等式2)
[等式3]
当din≤Dout_min时
dout=Dout_min (等式3)
[等式4]
当Dout_max≤din时
dout=Dout_max (等式4)
水平轴指示输入视差Din,垂直轴指示输出视差Dout。输入视差意味着输入至视差校正部101的视差图像的视差(未校正视差),输出视差意味着从视差校正部101输出的视差图像的视差(经校正视差)。在等式中,din对应于输入视差Din,等式中的dout对应于输出视差Dout。
Din_min是输入视差图像的最小视差,Din_max是输入视差图像的最大视差。
Dout_min是三维可观看视差的最小值,Dout_max是三维可观看视差的最大值并且对应于融合界限的视差。
线300表示执行视差校正之前输入视差与输出视差之间的关系,并且输入视差和输出视差在执行视差校正之前具有相同值。线301表示视差校正之前的输入视差Din与视差校正之后的输出视差Dout之间的关系。
在图3的方法中,向Dout_max(三维可观看视差的最大值)分配Din_max(输入视差的最大值),并向Dout_min(三维可观看视差的最小值)分配Din_max(输入视差的最小值),以在三维可观看范围内校正视差,同时保持总深度关系,而不使视差饱和。
在图4的方法中,将等于或大于Dout_max(三维可观看视差的最大值)的输入视差校正为Dout_max,并且将等于或小于Dout_min(三维可观看视差的最小值)的输入视差校正为Dout_min。通过以这样的方式使三维不可观看视差饱和达到三维可观看视差,在三维可观看范围内校正视差,而同时保持深度量。
三维可观看双目视差的范围依赖于显示装置的屏幕尺寸以及到观看者的观看距离,非专利文献1描述了,三维可观看双目视差的范围(融合界限)高达大约两度,而实现舒适观看三维图像的双目视差的范围等于或小于一度。
当基于显示三维图像的显示装置的屏幕尺寸和与屏幕尺寸相对应的标准视差距离确定Dout_min和Dout_max时,如果使用非专利文献1的准则在例如40英寸HD(1920×1080)分辨率的情况下,基于显示装置(显示面板)的位置,最小视差为-130个像素,并且最大视差是130个像素。
向视差转换部103输出存储了视差校正部101所校正的视差的视差图像。
主对象确定部102确定输入的捕获图像的对象中的主对象,并且向视差转换部103输出主对象的位置信息,例如,对主对象的像素位置加以指示的坐标信息。主对象的确定可以通过公知的方法来实现。例如,方法可以是:从捕获图像中选择焦点上的对象以将该对象确定为主对象的方法,对捕获图像执行模式识别过程以将提取的对象确定为主对象的方法,或者用户他/她自己确定主对象的方法。备选地,脸部识别技术可以用于将特定人确定为主对象。
视差转换部103执行转换,使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值。具体地,对视差进行转换,使得对象的三维效果增强。在图2的示例中假定对象201是主对象,对象201的视差X是与主对象的图像相对应的视差(要转换的视差)。
参照图5和6描述当在显示装置上以被设置为零并且增大/减小到大正值/负值的视差显示对象时观察者如何感知对象。
图5是当观察者观看显示装置时左图像与右图像之间视差和深度量的关系图。深度量是投影量或下压量,并且投影量是给出比实际显示位置更接近观察者出现的量,而下压量是给出比实际显示位置更远离观察者出现的量。
具体地,当在显示装置上显示对象时,当对象的视差增大到正值时对象看起来更多地被投影,而当视差增加到负值时对象看起来更多地被下压。由于具有零视差的对象在左图像与右图像之间没有间隙,因此当在显示装置上显示对象时,感知到的位置在显示屏幕上,使得与以二维方式感知到的深度位置没有区别。因此,即使在显示装置上显示具有零视差的图像,观察者也不会感知到深度的存在,而是感知到该图像是在与实际显示位置相同位置处以二维方式显示的。在显示装置上显示具有零视差的对象意味着在显示屏幕上显示对象。零或者值在基于零的预定范围内的视差对应于预定值。
图6是说明当在显示装置上以被设置为零并增大/减小到正值/负值的视差显示对象时观察者如何感知对象的示意图。
假定Din(输入视差)是图6中所示对象A的前侧表面的视差。如果将视差Din的值转换为零,即,将经转换的视差设置为零(在下文中,经转换的视差由Dout表示),并且在显示装置P上显示具有零视差的对象A,则观察者在位置600附近感知到对象A,位置600在显示装置P的图像显示表面上。
如果将Dout设置为正值,则感知到对象A被投影在图像显示表面的前侧上,如位置601所指示。如果将Dout设置为负值,则感知到对象A被下压在图像显示表面的后侧上,如位置602所指示。
例如,可以利用图7和8中示出的视差转换等式来执行视差转换。
图7是对通过归一化校正的视差执行视差转换的视差转换等式的图。图8是对通过削减校正的视差执行视差转换的视差转换等式的图。
图7的视差转换等式由(等式5)和(等式6)表示。
[等式5]
当din≤Din0时
[等式6]
当Din0<din时
图8的视差转换等式由(等式7)至(等式10)表示。
[等式7]
当din≤Dout_min时
dout=Dout_min (等式7)
[等式8]
当Dout_min<din<Din0时
[等式9]
当Din0≤din<Dout_max时
[等式10]
当Dout_max≤din时
dout=Dout_max (等式10)
在这种情况下,输入视差Din表示视差转换之前的视差,Din_max和Din_min分别表示视差转换之前的最大视差和视差转换之前的最小视差。
输出视差Dout表示视差转换之后的视差,Dout_max和Dout_min分别表示视差转换之后的最大视差和视差转换之后的最小视差。
线302表示视差转换之前的输入视差Din与视差转换之后的输出视差Dout之间的关系。可以将Din0和Dout0设置为任何值。
在等式中,din对应于视差转换之前的输入视差,等式中的dout对应于视差转换之后的输出视差。
参照图6描述图7和8的图。
在图7的图中,输入视差减小,并且在图8的图中,输入视差减小。
当在位置600附近感知到参照图6描述的对象A时,如果图7的图所表示的视差转换等式用于将对象A的视差减小并转换为负值,则感知到对象A被下压在图像显示表面的后侧上,如位置602所指示。
当在位置600附近感知到参照图6描述的对象A时,如果图8的图所表示的视差转换等式用于将对象A的视差增大并转换为正值,则感知到对象A被投影在图像显示表面的前侧上,如位置601所指示。
如图7和8所示,使用Din0作为小于Din0的视差范围与大于Din0的视差范围之间的边界来改变转换等式。因此可以增加或减小从主对象到背景的深度量,从而易于增强三维效果。
在下文中参照图9和10描述当例如使用图8中描述视差转换等式来转换图16中示出的主对象的视差以在显示装置上显示视差转换之后的主对象时观察者如何感知主对象。图9的视差转换等式与图8的视差转换等式是相同的转换等式。
通过图9中示出的视差转换等式将图16的主对象1600的视差γ增大到视差γ′。通过图9中示出的视差转换等式将图16的主对象1601的视差β增大到视差β′。
图10是如何感知到视差转换之后的三维图像的示意图。
通过增大视差,在位置1000附近感知到主对象1600,并且在位置1001附近感知到主对象1601。这样,可以扩大深度量,以增强三维效果。
与图17相比,通过增大视差,可以清楚地感知到背景1602的位置与主对象1600和1601的位置之间的差异。因此,可以以增强的三维效果显示图像。
这种对主对象视差的转换可以增强主对象以及主对象周围部分的三维效果。如果主对象具有一定厚度,则将主对象的最大和最小视差的平均值定义为主对象的视差。如果存在多个主对象,则将多个主对象的最大和最小视差的平均值定义为主对象的视差。这是优选地,因为可以考虑主对象的厚度来转换主对象的视差(显示位置)。优选地,考虑区域面积来计算视差的平均值,这是因为可以考虑主对象的重心来转换显示位置。
如上所述,视差转换部103从输入自视差校正部101的视差图像中提取针对主对象确定部102所确定的主对象的每个像素的视差,基于图7或8中示出的预定转换等式来转换提取的每个像素视差,并且针对相应主对象的每个像素存储经转换的视差。视差转换部103向图像生成部104输出存储了经转换的视差的视差图像。
图像生成部104基于从外部装置等输入的捕获图像以及从视差转换部103输入的视差图像来生成三维图像。
在下文中描述三维图像生成方法。捕获图像、视差图像和输出图像分别表示为I、D和O。图像中坐标(x,y)处的像素值由I(x,y)和D(x,y)表示。使用(等式11)创建从捕获图像I到输出图像O水平移动了一定视差的图像。
[等式11]
O(x+D(x,y),y)=I(x,y) (等式11)
在这一点上,如果像素彼此交叠,则使用具有较大视差的像素(位于更接近摄像机位置处的对象),并且如果像素没有被填充,则使用上、下、左和右像素来对该像素进行内插。输出捕获图像I和输出图像O分别作为左图像和右图像。
利用上述配置,即使主对象与前景或背景之间的视差值较小,也能转换视差以扩大主对象与前景或背景之间的视差差值。
因此,可以转换主对象与前景或背景之间的深度量,以对于观察者生成在三维可观看范围内具有增强三维效果的图像。
尽管在本实施例中线性转换用于视差校正部101和视差转换部103中的视差转换和转换,但是非线性转换也可以用于转换视差以获取相同效果。
尽管在本实施例中使用输入和输出视差Din0和Dout0的一个集合,但是可以使用两个或更多个集合来转换视差以获取相同效果。
(第二实施例)
在下文中参照附图详细描述本发明的第二实施例。然而,具有与第一实施例相同功能的部分由相同的附图标记表示。
图11是第二实施例中描述的图像处理器1100的功能框图。
图像处理器1100通过向参照图1描述的图像处理器100添加视差计算部1101来形成,并且使用通过从两个观看位置拍摄同一对象而获取的两个捕获图像作为输入,以基于捕获图像生成三维图像。
向视差计算部1101输入通过从至少两个观看位置拍摄同一对象而获取的两个捕获图像。向主对象确定部102和图像生成部104输入两个捕获图像中的任一个。两个捕获图像中的一个捕获图像是面对对象的左侧摄像机拍摄的捕获图像,并且该图像称作左图像。另一捕获图像是面对对象的右侧摄像机拍摄的捕获图像,并且该图像称作右图像。
向视差计算部1101输入左图像和右图像,并且向主对象确定部102和图像生成部104输入左图像。
视差计算部1101基于左图像和右图像计算视差。视差计算部1101基于计算的视差生成第一实施例中描述的视差图像。可以使用公知技术来计算视差,例如可以使用块匹配方法。块匹配方法是一种基于适当确定的块通过将左图像和右图像彼此进行检查来计算视差以将图像之间的最相似块定义为相应块的方法。
视差计算部1101向视差校正部101输出生成的视差图像。
视差校正部101在预定范围内校正从视差计算部1101输入的视差图像的视差。换言之,在预定范围内校正视差校正部101所计算的视差。
在该校正时,可以调节视差,使得超过拍摄左图像的摄像机与拍摄右图像的摄像机之间的间隔(基线长度)。当拍摄三维图像时,通常将基线长度设置为65mm。这是因为人眼之间的宽度大约为65mm。
然而,在一些情况下,因为摄像机的排列位置的关系,必须以等于或小于65mm的基线长度来拍摄图像。当以相同布局下拍摄相同对象时,视差随着基线长度的减小而减小,因此对深度的感知降低。视差校正部101通过执行校正来防止对深度的感知的降低,使得输入视差的最小值和最大值扩大。因此,可以根据利用固定基线长度拍摄的图像生成利用视差基线长度拍摄的图像。
图12是视差扩大的示例的图。图12的水平轴和垂直轴等与图3相同,并不再描述。基于利用短基线长度拍摄的左图像和右图像而生成的视差图像的视差由线300指示。例如,假定Din_max(视差图像的最大视差)和Dout_max(三维可观看视差的最大值)分别为100和200。视差校正之前的值仅允许100的视差范围内的显示。因此,上述(等式1)用于将线300指示的视差校正到线301指示的视差。
当使用(等式1)校正视差时,Din_max将校正到Dout_max。视差校正之后的值允许在显示装置中显示输出视差的最大值。换言之,可以根据利用固定基线长度拍摄的图像生成利用任意基线长度拍摄的图像。根据显示装置的深度量也可以增强三维效果。
视差校正部101向视差转换部103输出存储了经校正视差的视差图像。
如上所述,视差转换部103通过图13中所示与图7相对应的视差转换来转换主对象的视差,并且向图像生成部104输出存储了经转换视差的视差图像。对于图13的视差转换,使用上述(等式5)和(等式6)。
具体地,视差转换部103对视差计算部1101所计算的视差(视差计算部1101创建的视差图像的视差)进行转换,使得与主对象确定部102所确定的主对象相对应的视差达到预定值。例如,预定值是零或基于零的预定范围内的值。预定值是可调节的。
图像生成部104基于从外部装置等输入的左图像和从视差转换部103输入的视差图像生成三维图像。在第一实施例中已经描述了三维图像的生成,因此不再描述。
利用上述配置,可以易于生成具有对于观看者而言三维可观看范围内增强的三维效果的图像。可以对基于利用较短基线长度拍摄的左图像和右图像而生成的视差图像的视差进行校正,以生成就好像利用较长基线长度拍摄的图像的图像。这一点在基于并不使基线长度更长情况下拍摄的左图像和右图像(例如,内窥摄像机或内置于小型设备中的摄像机的左图像和右图像)生成三维图像时特别有效,并且增强了对象的三维效果。
(第三实施例)
在下文中参照附图详细描述本发明第三实施例。然而,具有与第一实施例相同功能的部分由相同附图标记表示。
图14是第三实施例中描述的本发明的图像处理器100的功能框图。
图14的图像处理器1400通过向参照图1描述的图像处理器100添加模糊处理部1401来形成。
向视差校正部101和图像生成部104输入从外部装置等输入的视差图像。向主对象确定部102和模糊处理部1401输入从外部装置等输入的捕获图像。
模糊处理部1401基于输入视差和捕获图像,对与具有等于或小于第一预定值或等于或大于第二预定值的视差的对象相对应的捕获图像的像素值执行模糊处理。模糊处理部1401向图像生成部104输入经过模糊处理的捕获图像。满足第一预定值<第二预定值。在这种情况下,模糊处理部1401与捕获图像中主对象的视差的绝对值成比例地增大与主对象的像素值相对应的量。
在图2的示例中,如果对象201的视差X等于或小于第一预定值或者等于或大于第二预定值,则模糊处理部1401针对与对象201相对应的捕获图像的像素值执行模糊处理。
参照图15描述第一预定值和第二预定值。图15是与图4的图相对应的图。等于或小于第一预定值的视差对应于由附图标记1500指示的视差范围,并且等于或大于第二预定值的视差对应于由附图标记1501指示的范围。
如果要经过模糊处理部1401进行模糊处理的对象是具有等于或小于第一预定值的视差(在附图标记1500指示的范围中)的对象,即,视差等于或小于Dout_min(三维可观看视差的最小值)的对象,则模糊处理部1401在对象的视差更小时(例如对象远离摄像机位置)使得对象的模糊量更大。
该处理在与三维可观看视差的范围相比被感知为下压的区域中生成模糊的图像。显示经过该模糊处理的图像,就好像视野深度比实际拍摄的视野深度浅。在视野深度减小的图像中,可以容易地感知到深度感知,这是因为根据对象与摄像机之间的距离模糊背景。
如果要经过模糊处理部1401模糊处理的对象是具有等于或大于第二预定值的视差(在附图标记1501指示的范围中)的对象,即,视差等于或大于Dout_max(三维可观看视差的最大值)的对象,则随着对象的视差变大(例如对象接近摄像机位置),模糊处理部1401使得对象的模糊量更大。
该处理可以模糊难以用于三维观看的范围,因此可以获取易于观看的三维图像。如果同时模式视差等于或小于第一预定值的对象和视差等于或大于第二预定值的对象,则可以利用具有更高视觉吸引力的三维可观看范围来获取三维图像。
可以利用公知的方法来实现模糊处理。模糊处理的典型方法包括平滑滤波器、高斯滤波器等。平滑滤波是使用感兴趣像素周围的像素值来对像素值平均从而获取被处理图像的像素值的技术。对于要经过模糊的对象的感兴趣像素,3×3像素中八个相邻像素值可以用于平均,或者5×5像素中24个相邻像素值可以用于平均。随着用于平均的***像素的个数的增加,经处理像素值的模糊量变得更大。
因此,如果具有等于或小于第一预定值的视差(等于或小于Dout_min)的对象是要经过模糊处理的对象,则模糊量与视差成反比例,如果具有等于或大于第二预定值的视差(等于或大于Dout_max)的对象是要经过模糊处理的对象,则模糊量与视差成比例。
因此,模糊处理部1401与捕获图像中主对象视差的绝对值成比例地增加与主对象的像素值相对应的模糊量。
通过执行该模糊处理,即使削减难以用于三维观看的范围中包括的视差,也可以保持深度关系。由于根据捕获图像的每个像素的视差来执行模糊处理,因此每个像素的模糊级别根据视差而变化,并且获取与通过摄像机拍摄的图像相同的模糊效果而不是统一模糊。
模糊处理部1401向图像生成部104输出执行模糊处理之后的捕获图像。
视差校正部101利用如参照图4描述的削减方法来校正视差,并且向视差转换部103输出存储了经校正视差的视差图像。如上所述,视差转换部103对主对象的视差进行转换,并且向图像生成部104输出存储了经转换视差的视差图像。
图像生成部104基于从模糊处理部1401输入的捕获图像和从视差转换部103输入的视差图像生成三维图像。
通过利用上述配置执行视差转换,可以易于生成具有对于观看者而言三维可观看范围内增强的三维效果的图像。通过基于执行视差校正之前的视差图像对捕获图像执行模糊处理,甚至在具有饱和视差的范围内模糊量也不会变为恒定,并且生成具有增强三维效果的三维图像。
本发明的图像处理器可以容易地在三维可观看范围内生成对象与背景(或前景)之间增强的三维(深度)效果的三维视频。
上述实施例也可应用于图像处理器中安装的集成电路/芯片组。
本发明的图像处理器可应用于能够显示三维图像的图像显示装置。通过包括本发明的图像处理器可以显示具有增强三维效果的图像。本发明的图像处理器可应用于具有尺寸和分辨率不同的显示表面的各种图像显示装置。
本发明的图像处理器也可应用于能够拍摄三维图像的图像拍摄装置,并且这一点是优选地,因为在预览拍摄三维图像的结果时可以拍摄图像。
附图标记说明
100、1100、1400...图像处理器;101...视差校正部;102...主对象确定部;103...显示转换部;104...图像生成部;1101...视差计算部;1401...模糊处理部;201...对象;202、203...摄像机;204..左图像;205...右图像;206...视差图像;和206a、206b...像素
Claims (7)
1.一种图像处理器,接收来自一个视点的捕获图像和与捕获图像相对应的视差图像的输入,所述图像处理器包括:
模糊处理部,对捕获图像的与具有等于或小于第一预定值或者等于或大于第二预定值的视差图像的视差的对象相对应的像素,与所述视差的绝对值成比例地执行模糊处理;
视差校正部,用于使视差图像中预定范围之外的视差饱和;
视差转换部,用于将与捕获图像的至少一个主对象相对应的视差转换为预定值;以及
图像生成部,基于经过模糊处理部的模糊处理的捕获图像、以及通过视差校正部校正且具有与视差转换部所转换的主对象相对应的视差的视差图像,来生成三维图像,所述图像处理器生成三维图像。
2.根据权利要求1所述的图像处理器,其中,捕获图像是通过从两个观看位置拍摄同一对象而获取的两个捕获图像之一,以及视差图像是根据所述两个捕获图像计算的视差图像。
3.根据权利要求1或2所述的图像处理器,其中,视差转换部基于规定了输入视差与输出视差之间的关系的线性函数,将与主对象相对应的视差转换成预定值,并通过连接具有不同斜率的多个线段来做出示出了输入视差与输出视差之间的关系的图。
4.根据权利要求1或2所述的图像处理器,其中,预定值是零或基于零的预定范围内的值。
5.根据权利要求1或2所述的图像处理器,其中,视差图像的预定范围具有等于或小于第一预定值的最小值和等于或大于第二预定值的最大值。
6.一种图像显示装置,包括:权利要求1或2中定义的图像处理器。
7.一种图像拍摄装置,包括:权利要求1或2中定义的图像处理器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-120216 | 2010-05-26 | ||
JP2010120216A JP4875762B2 (ja) | 2010-05-26 | 2010-05-26 | 画像処理装置、画像表示装置および画像撮像装置 |
PCT/JP2011/061821 WO2011148921A1 (ja) | 2010-05-26 | 2011-05-24 | 画像処理装置、画像表示装置および画像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102939764A CN102939764A (zh) | 2013-02-20 |
CN102939764B true CN102939764B (zh) | 2015-04-15 |
Family
ID=45003911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180025916.7A Expired - Fee Related CN102939764B (zh) | 2010-05-26 | 2011-05-24 | 图像处理器、图像显示装置和图像拍摄装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8831338B2 (zh) |
JP (1) | JP4875762B2 (zh) |
CN (1) | CN102939764B (zh) |
WO (1) | WO2011148921A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4787369B1 (ja) * | 2010-03-30 | 2011-10-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
WO2012056685A1 (ja) * | 2010-10-27 | 2012-05-03 | パナソニック株式会社 | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 |
JP5838775B2 (ja) * | 2011-12-14 | 2016-01-06 | コニカミノルタ株式会社 | 画像処理方法、画像処理システムおよび画像処理プログラム |
JP6017144B2 (ja) * | 2012-02-06 | 2016-10-26 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP5572647B2 (ja) | 2012-02-17 | 2014-08-13 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
JP2013219421A (ja) * | 2012-04-04 | 2013-10-24 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
JP6016061B2 (ja) * | 2012-04-20 | 2016-10-26 | Nltテクノロジー株式会社 | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム |
WO2014013805A1 (ja) * | 2012-07-18 | 2014-01-23 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに画像表示装置 |
JP5745183B2 (ja) * | 2012-07-30 | 2015-07-08 | オリンパス株式会社 | 撮像装置及び撮像方法 |
JP5949314B2 (ja) * | 2012-08-20 | 2016-07-06 | 株式会社日本自動車部品総合研究所 | 視差マップ生成装置および視差マップ生成装置用のプログラム |
US9317958B2 (en) * | 2013-03-07 | 2016-04-19 | Mediatek Inc. | Auto-convergence system with active learning and related method and machine-readable medium thereof |
TWI547142B (zh) | 2013-04-02 | 2016-08-21 | 杜比實驗室特許公司 | 引導的3d顯示器適配 |
JP2014220704A (ja) * | 2013-05-09 | 2014-11-20 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6313569B2 (ja) * | 2013-11-07 | 2018-04-18 | 日本放送協会 | 立体映像生成装置、そのプログラム及び立体映像表示装置 |
EP3070941A4 (en) | 2014-01-24 | 2017-03-08 | Olympus Corporation | Stereoscopic endoscope image processing apparatus |
JP6415179B2 (ja) * | 2014-08-20 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 |
KR102290301B1 (ko) * | 2015-05-06 | 2021-08-17 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
CN105100772B (zh) * | 2015-07-16 | 2017-03-15 | 深圳市华星光电技术有限公司 | 一种三维图像处理方法及装置 |
WO2017022303A1 (ja) * | 2015-08-03 | 2017-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN108601511B (zh) | 2016-02-12 | 2021-07-27 | 索尼公司 | 医疗图像处理装置、***、方法以及程序 |
US10469821B2 (en) * | 2016-06-17 | 2019-11-05 | Altek Semiconductor Corp. | Stereo image generating method and electronic apparatus utilizing the method |
KR20220107831A (ko) | 2021-01-26 | 2022-08-02 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282492A (zh) * | 2008-05-23 | 2008-10-08 | 清华大学 | 三维影像显示深度调整方法 |
CN101393497A (zh) * | 2008-10-30 | 2009-03-25 | 上海交通大学 | 基于双目立体视觉的多点触摸方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3182009B2 (ja) * | 1992-12-24 | 2001-07-03 | 日本電信電話株式会社 | 両眼立体視装置 |
AUPN003894A0 (en) * | 1994-12-13 | 1995-01-12 | Xenotech Research Pty Ltd | Head tracking system for stereoscopic display apparatus |
US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
JPH10191397A (ja) * | 1996-12-27 | 1998-07-21 | Sanyo Electric Co Ltd | 意図適応型の2次元映像を3次元映像に変換する装置 |
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
JP2004221700A (ja) * | 2003-01-09 | 2004-08-05 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2005091508A (ja) | 2003-09-12 | 2005-04-07 | Advanced Telecommunication Research Institute International | 立体画像表示装置および立体画像表示方法 |
US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7599547B2 (en) * | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
KR20110015452A (ko) * | 2008-06-06 | 2011-02-15 | 리얼디 인크. | 입체 이미지의 블러 향상 |
-
2010
- 2010-05-26 JP JP2010120216A patent/JP4875762B2/ja not_active Expired - Fee Related
-
2011
- 2011-05-24 US US13/696,774 patent/US8831338B2/en not_active Expired - Fee Related
- 2011-05-24 CN CN201180025916.7A patent/CN102939764B/zh not_active Expired - Fee Related
- 2011-05-24 WO PCT/JP2011/061821 patent/WO2011148921A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282492A (zh) * | 2008-05-23 | 2008-10-08 | 清华大学 | 三维影像显示深度调整方法 |
CN101393497A (zh) * | 2008-10-30 | 2009-03-25 | 上海交通大学 | 基于双目立体视觉的多点触摸方法 |
Also Published As
Publication number | Publication date |
---|---|
US20130051660A1 (en) | 2013-02-28 |
WO2011148921A1 (ja) | 2011-12-01 |
US8831338B2 (en) | 2014-09-09 |
JP2011250059A (ja) | 2011-12-08 |
CN102939764A (zh) | 2013-02-20 |
JP4875762B2 (ja) | 2012-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102939764B (zh) | 图像处理器、图像显示装置和图像拍摄装置 | |
US8890934B2 (en) | Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same | |
US9007442B2 (en) | Stereo image display system, stereo imaging apparatus and stereo display apparatus | |
US8116557B2 (en) | 3D image processing apparatus and method | |
EP2693759A2 (en) | Stereoscopic image display device, image processing device, and stereoscopic image processing method | |
US20120293489A1 (en) | Nonlinear depth remapping system and method thereof | |
WO2012086120A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
US9338426B2 (en) | Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN102404592B (zh) | 图像处理设备和方法以及立体图像显示设备 | |
US20140055580A1 (en) | Depth Of Field Maintaining Apparatus, 3D Display System And Display Method | |
US20110181593A1 (en) | Image processing apparatus, 3d display apparatus, and image processing method | |
US20170104978A1 (en) | Systems and methods for real-time conversion of video into three-dimensions | |
US20120007949A1 (en) | Method and apparatus for displaying | |
JP5840022B2 (ja) | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 | |
US9838672B2 (en) | Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview | |
CN107155102A (zh) | 3d自动对焦显示方法及其*** | |
CN103609104A (zh) | 用于立体效应调整的交互式用户接口 | |
US9041781B2 (en) | Image processing apparatus, image processing method, and program | |
JP5347987B2 (ja) | 映像処理装置 | |
JP2012105172A (ja) | 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体 | |
JP5546690B2 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置 | |
JP2016054415A (ja) | 立体撮像装置および立体撮像プログラム | |
JP6424947B2 (ja) | 表示装置、およびプログラム | |
JP2019050583A (ja) | 表示装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150415 |
|
CF01 | Termination of patent right due to non-payment of annual fee |