CN102792703A - 影像处理装置、影像处理方法 - Google Patents

Abstract

一种影像处理装置，根据第1影像信号生成帧速率高于第1影像信号的第2影像信号，该第1影像信号包括混合存在有与彼此不同的多个视点相对应的像素的图像，该影像处理装置具有：视点控制部（120），按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据；以及图像生成部（130），根据由所述视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点生成插补用像素数据，由此生成插补图像。

Description

影像处理装置、影像处理方法

技术领域

本发明涉及根据包括混合存在有与彼此不同的多个视点相对应的像素的图像的第1影像信号来生成插补图像的影像处理装置及影像处理方法。

背景技术

近年来，电视接收机所使用的显示部普遍采用平板显示器，这其中液晶面板所占的比率非常大。其中，能够弥补液晶的较低的动态图像响应性来实现高画质的倍速驱动液晶电视机的比较正在增加。在倍速驱动中，显示帧速率是原来的影像信号的帧速率的2倍。

另一方面，作为下一代电视机，3D（立体视觉）电视机备受关注，并提出了各种方案。关于立体显示的方式有使用1个通道的影像进行立体显示的方式（例如，采用通过液晶闸门进行开闭的眼镜的CRT方式的立体显示）、使用2个通道的影像进行立体显示的方式（例如，采用两台投影仪的立体显示）等各种立体显示方式。例如，在专利文献1中公开了一种数字广播接收机，该数字广播接收机能够应对多种广播方式，而且在立体显示中能够以用户指定的立体显示方式进行再现显示。

另外，对于平板显示器，除了上述的采用通过液晶闸门进行开闭的眼镜的方式之外，也有采用具有角度因左眼和右眼而异的偏光板的眼镜的方式。在这种情况下，平板显示器的全部显示像素被均等地划分为左眼用像素和右眼用像素，并配置角度因左眼用像素和右眼用像素而异的偏光板。

现有技术文献

专利文献

专利文献1：日本特开平10－257526号公报

发明概要

发明要解决的问题

但是，如果根据使人的左眼和右眼产生视差的3D格式的影像信号生成插补图像，则存在产生画质变差的问题。通常，在生成二维影像的插补图像时，例如利用前后两个帧的运动矢量来插补帧图像。可是，对于在1帧内混合存在左眼用像素和右眼用像素的3D格式，将不能正确检测运动矢量，产生画质变差。

图9A是被称为方格格式的3D格式的说明图。在该3D格式的像素排列中，左眼用像素（图中的白色表示的像素）和右眼用像素（图中的黑色表示的像素）被交替地配置于行方向上和列方向上。对于使表示立体物体的左眼用像素和右眼用像素，在用于使产生视差的相对应的左眼用像素和右眼用像素的位置赋予了偏移量（也称为偏置：offset）。由于被赋予了该偏移量的左眼用像素和右眼用像素相邻接地混合存在，因而该格式中的立体物体发生偏移，形成了两个图像错位重合的二维图像。因此，在过去的运动矢量检测处理中不能正确检测运动矢量。

图9B是被称为行顺序格式的3D格式的说明图。在该3D格式中，左眼用像素（图中涂白的像素）和右眼用像素（图中涂黑的像素）仅交替地配置于列方向上。在该3D格式中，基于与上述情况相同的理由，在过去的运动矢量检测处理中也不能正确检测运动矢量，产生画质变差。

这种画质变差不限于采用运动矢量生成插补图像时，例如在针对图9A的格式通过线性插补来生成插补图像时也有可能产生。

发明内容

本发明的目的在于，提供一种能够不损害3D显示的质量地生成插补图像的影像处理装置。

为了解决上述问题，本发明的一个方面的影像处理装置，根据第1影像信号来生成插补图像，该第1影像信号包括混合存在有与彼此不同的多个视点相对应的像素的图像，该影像处理装置具有：视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据；以及图像生成部，根据由所述视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点生成插补用像素数据，由此生成插补图像。

根据这种结构，视点控制部按每个视点从所述第1影像信号取出对应于该视点的像素数据，图像生成部根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。这样按每个视点独立地生成插补图像，因而可在不受到与视点之间的视差对应的偏移量的影响地生成插补图像，从而能够防止损害3D图像的质量。

其中，也可以是，所述图像生成部生成包括所述插补图像的、与显示面板的像素排列对应的、由对应于所述多个视点的像素数据构成的第2影像信号，所述视点控制部按所述多个视点中的每个视点，以按照所述多个视点中的每个视点与第2影像信号中的像素排列对应的方式来取出所述第1影像信号的像素。

根据这种结构，能够在不损害3D图像的质量的情况下进行插补图像的生成，并且在第1影像信号的像素排列与第2影像信号的像素排列不同的情况下，能够高效地进行从前者的像素排列向后者的像素排列的变换（格式变换）。

其中，也可以是，所述视点控制部使第1影像信号的像素配置中的像素地址与第2影像信号的像素配置中的像素地址相对应，由此按照所述第2影像信号的像素排列中的像素地址，按所述多个视点中的每个视点从所述第1影像信号取出像素。

根据这种结构，能够通过由所述视点控制部进行的像素地址的建立对应，高速地实现将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换。而且，存储第2影像信号的图像的存储器不需要双重地存储格式变换前的图像和格式变换后的图像，因而能够将格式变换所需要的存储区域抑制为最小限度，能够降低成本。

其中，也可以是，所述影像处理装置还具有运动信息检测部，该运动信息检测部根据由所述视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点检测图像的运动信息，所述图像生成部使用所述每个视点的运动信息，按所述多个视点中的每个视点生成插补用像素数据，由此按所述多个视点中的每个视点生成插补图像。

根据这种结构，能够高精度地检测运动信息，能够在不损害插补图像乃至3D图像的质量的情况下生成插补图像。

其中，也可以是，所述视点控制部还具有：第1视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据，并提供给所述图像生成部；以及第2视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据，并提供给所述运动信息检测部。

根据这种结构，能够使运动检测部的运动检测和图像生成部的图像生成流水线化，适合于更高的帧速率化。例如，适合于向高于2倍速的帧速率的变换、将电影影像变换为显示面板的帧速率的变换。

其中，也可以是，所述影像处理装置具有暂时存储所述第1影像信号中的1帧以上的图像的图像存储部，所述视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述图像生成部。

根据这种结构，能够在不损害3D图像的质量的状态下进行将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换。

其中，也可以是，所述影像处理装置具有暂时存储所述第1影像信号的图像存储部，所述图像存储部存储所述第1影像信号中的1帧以上的图像，所述第1视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述图像生成部，所述第2视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述运动信息检测部。

根据这种结构，能够使运动检测部的运动检测和图像生成部的图像生成流水线化。例如，适合于向高于2倍速的帧速率的变换、从电影影像向显示面板的变换，而且适合于高速化。

其中，也可以是，所述第1视点控制部使第1影像信号的像素配置中的像素地址与第2影像信号的像素配置中的像素地址相对应，由此按照所述第2影像信号的像素排列中的像素地址，按所述多个视点中的每个视点从所述第1影像信号取出像素。

根据这种结构，通过对图像存储部的区域进行地址变换，能够高速地实现将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换。而且，图像存储部不需要双重地存储格式变换前的图像和格式变换后的图像，因而能够将格式变换所需要的存储区域抑制为最小限度，能够降低成本。

其中，也可以是，所述图像生成部针对由所述视点控制部取出的每个视点的像素数据，采用（a）使用运动信息的插补、（b）线性插补以及（c）基于帧的拷贝的插补中的至少一种插补，生成所述插补图像。

根据这种结构，在（b）通过线性插补来生成插补图像的情况下，能够减轻插补图像生成的处理量和处理负荷，能够减小硬件规模。在（c）通过拷贝来生成插补图像的情况下，能够大大减轻插补图像生成的处理量和处理负荷，不需增加硬件规模即可实现插补图像的生成。并且，通过组合（a）～（c）中一种以上的方式进行插补，能够灵活应对处理量及处理速度。

其中，也可以是，所述图像生成部通过在所述第1影像信号的图像之间***所述插补图像来生成所述第2影像信号，所述第2影像信号的帧速率高于所述第1影像信号的帧速率。

其中，也可以是，所述第2影像信号的帧速率是所述第1影像信号的帧速率的2倍或者4倍。

根据这种结构，能够实现帧速率的n倍速变换（例如2倍速变换、4倍速变换）。

其中，也可以是，所述第1影像信号具有对应于电影胶片的帧速率，所述第2影像信号具有对应于电视广播或者显示面板的帧速率。

根据这种结构，适合于将电影胶片(film)的影像信号变换为显示面板的帧速率。

其中，也可以是，所述第1影像信号具有对应于PAL（Phase Alternationby Line：逐行倒相制式）电视广播的帧速率，所述第2影像信号具有对应于NTSC（National Television Systems Committee：美国全国电视***委员会制式）电视广播的帧速率。

根据这种结构，能够将PAL影像信号变换为NTSC影像信号。

其中，也可以是，所述图像生成部生成包括所述第1影像信号的一部分图像和所述插补图像的所述第2影像信号，所述第2影像信号的帧速率为所述第1影像信号的帧速率以下。

根据这种结构，能够实现第1影像信号的低帧速率化、或者以相同帧速率将帧置换为插补图像。

其中，也可以是，所述第1影像信号具有对应于NTSC（NationalTelevision Systems Committee）电视广播的帧速率，所述第2影像信号具有对应于PAL（Phase Alternation by Line）电视广播的帧速率。

根据这种结构，能够将NTSC影像信号变换为PAL影像信号。

其中，也可以是，所述图像生成部生成包括所述插补图像的所述第2影像信号，所述第2影像信号与第1影像信号具有相同的帧速率，所述图像生成部将第1影像信号中的图像的一部分图像置换为所述插补图像，由此生成所述第2影像信号。

根据这种结构，例如对于通过拷贝被实施了2：3下拉变换的第1影像信号，能够实现基于采用了运动矢量的插补图像的颤动削减，能够使第2影像信号的运动比第1影像信号平滑顺畅。

另外，本发明的一个方面的影像处理方法，根据第1影像信号来生成插补图像，该第1影像信号包括混合存在有与至少包含第1视点和第2视点的彼此不同的多个视点相对应的像素的图像，该影像处理方法包括以下步骤：从所述第1影像信号取出对应于所述第1视点的像素数据的步骤；根据所取出的第1视点的像素数据，生成对应于所述第1视点的插补用像素数据的步骤；从所述第1影像信号取出对应于所述第2视点的像素数据的步骤；根据所取出的第2视点的像素数据，生成对应于所述第2视点的插补用像素数据的步骤；以及根据对应于所述第1视点的插补用像素数据和对应于所述第2视点的插补用像素数据，生成插补图像的步骤。

根据这种结构，按每个视点从所述第1影像信号取出对应于该视点的像素数据，根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。这样按每个视点独立地生成插补图像，因而不会受到视点之间的偏移量（或者错位量）的影响，因此能够不会损害3D图像的质量地生成插补图像。

发明效果

根据本发明的影像处理装置，由于在不受视点之间的偏移量的影响的情况下生成插补图像，因而能够在不损害3D图像的质量的情况下生成插补图像。

并且，能够在不损害3D图像的质量的情况下，实现高帧速率化、和从第1影像信号的像素排列向显示面板的像素排列的变换这两者。

另外，通过对图像存储部的区域进行地址变换，能够高速地实现将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换。

并且，不需要双重地存储格式变换前的图像和格式变换后的图像，因而能够将格式变换所需要的存储区域抑制为最小限度，能够降低成本。

附图说明

图1是表示实施方式1的影像处理装置的主要部分的结构的框图。

图2A是实施方式1中的方格格式的说明图。

图2B是实施方式1中的另一种方格格式的说明图。

图2C是实施方式1中的行顺序格式的说明图。

图2D是实施方式1中的另一种行顺序格式的说明图。

图2E是实施方式1中的垂直隔行格式的说明图。

图2F是实施方式1中的另一种垂直隔行格式的说明图。

图3A是实施方式1中的并排格式（全速率）的说明图。

图3B是实施方式1中的并排格式（半速率）的说明图。

图3C是实施方式1中的帧顺序格式（隔行）的说明图。

图3D是实施方式1中的帧顺序格式（逐行）的说明图。

图4是表示实施方式2的影像处理装置的主要部分的结构的框图。

图5是表示实施方式2的影像处理装置的主要部分的变形例的框图。

图6是表示实施方式3的影像处理装置的主要部分的结构的框图。

图7A是表示基于帧拷贝的2：3下拉变换的说明图。

图7B是表示实施方式3的基于运动补偿插补的颤动削减处理的说明图。

图8A是表示实施方式3的基于运动补偿插补的从PAL向NTSC的变换的说明图。

图8B是表示实施方式3的基于运动补偿插补的从NTSC向PAL的变换的说明图。

图8C是表示从第1影像信号生成相同帧速率的第2影像信号的处理的说明图。

图9A是被称为方格格式的3D格式的说明图。

图9B是被称为行顺序格式的3D格式的说明图。

具体实施方式

（实施方式1）

一种影像处理装置，根据第1影像信号生成帧速率高于第1影像信号的第2影像信号，该第1影像信号包括混合存在有与彼此不同的多个视点相对应的像素的图像，该影像处理装置按每个视点，从所述第1影像信号取出对应于该视点的像素数据，根据按每个视点而取出的像素数据，对每个视点生成插补用像素数据，再生成插补图像。对这种结构的影像处理装置进行说明。这样按每个视点独立地生成插补图像，因而在不会受到视点之间的偏移量（或者错位量）的影响，所以能够实现高帧速率化，而且不会损害3D图像的质量。图像生成部130具有第1插补部31、第2插补部32、…第n插补部3n、和输出控制部131。

图1是表示实施方式1的影像处理装置的主要部分的结构的框图。该影像处理装置例如是具有液晶显示面板、等离子显示面板、有机EL显示面板等平板显示器的数字电视机，在该图中示出了与本发明相关联的主要部分的结构。如该图所示，影像处理装置具有1F延迟部110、视点控制部120和图像生成部130。

1F延迟部110是使所输入的第1影像信号延迟1帧时间的延迟缓冲器，存储第1影像信号的当前输入图像的前1帧时间的图像。其中，第1影像信号是由混合存在有与彼此不同的多个视点相对应的像素的图像构成的影像信号。多个视点为两个视点以上。图2A～图2F、图3A～图3D示例了表示多个视点为两个视点时的第1影像信号的像素排列的具体格式。

图2A和图2B是方格格式(checker format)的说明图。左眼用像素和右眼用像素在行方向和列方向上交替地排列配置。在图2A和图2B中像素的重心位置不同。

图2C和图2D是行顺序格式(line sequential format)的说明图。左眼用像素和右眼用像素仅在列方向上交替地排列配置。在图2C和图2D中像素的重心位置不同。

图2E和图2F是垂直隔行(interleave)格式的说明图。左眼用像素和右眼用像素仅在行方向上交替地排列配置。在图2E和图2F中像素的重心位置不同。

图3A和图3B是并排(side by side)格式的说明图。左眼用像素和右眼用像素被划分为图像的左半部分和右半部分。在图3A和图3B中，根据是全速率(full rate)还是半速率(half rate)而不同。

图3C和图3D是帧顺序格式的说明图。在图3C和图3D中，根据是隔行还是逐行(progressive)而不同。

视点控制部120按多个视点中的每个视点，从第1影像信号的当前输入的图像以及在1F延迟部110中保存的图像中，取出对应于该视点的像素数据。

图像生成部130根据由视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点生成插补用像素数据，由此生成插补图像。图像生成部130对第1影像信号进行帧间插补，由此生成第2影像信号。

为此，图像生成部130也可以构成为具有第1插补部31、第2插补部32、…第n插补部3n、输出控制部131。n表示2以上的视点的数量，只要是第1影像信号的多个视点的数量以上的数量即可。下面为了方便，将多个视点称为第1视点、第2视点、…第n视点。在n＝2的情况下，第1视点和第2视点分别对应于左眼用图像和右眼用图像。另外，第1插补部31～第n插补部3n在图1中被记述为n个独立的块，但也可以构成为设置一个插补部，以时分方式进行n次处理。在具有一个插补部的结构中能够降低电路规模。相反，在具有n个插补部的结构中能够通过并行动作实现高速化。

第1插补部31生成由视点控制部120取出的第1视点的像素数据。插补像素数据是帧插补用的数据。第2插补部32、第n插补部3n除了视点不同之外，与第1插补部31相同，因而省略说明。

输出控制部131按照显示面板的动作定时（垂直同步、水平同步等）输出第2影像信号。

如以上说明的那样，实施方式1中的视点控制部120按每个视点从所述第1影像信号取出对应于该视点的像素数据，图像生成部130根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。这样按每个视点独立地生成插补图像，因而不会受到视点之间的偏移量（或者错位量）的影响，能够实现高帧速率化，而且不会损害3D图像的质量。

另外，关于帧插补的方法，第1插补部31～第n插补部3n能够采用检测运动矢量并使用运动矢量的运动补偿插补、或线性插补等。

并且，除了帧插补之外，图像生成部130也可以根据需要对第1影像信号的原来图像进行帧内插补。并且，除了帧插补之外，图像生成部130也可以根据需要对第2影像信号的插补帧进行帧内插补。通过进行帧内插补，即使是在第2影像信号的格式与第1影像信号不同的情况下，也容易进行格式变换。

（实施方式2）

在本实施方式中对这样的影像处理装置进行说明，该影像处理装置根据第1影像信号的每个视点的像素数据，按多个视点中的每个视点检测图像的运动信息，并使用每个视点的运动信息按多个视点中的每个视点生成插补用像素数据。

此外，对这样的影像处理装置进行说明，在第2影像信号中的对应于多个视点的像素排列（第2格式）与第1影像信号中的对应于多个视点的像素排列（第1格式）不同的情况下，该影像处理装置对像素排列进行变换。第1格式的具体示例可以是图2A～图2F、图3A～图3D所示的任意一种格式。对于与在各个显示像素上具有偏光板的显示面板对应的第2影像信号，第2格式可以是图2C～图2F所示的任意一种格式。

图4是表示实施方式2的影像处理装置的主要部分的结构的框图。该图的影像处理装置与图1相比的不同之处在于，设置ME视点控制部120a和MC视点控制部120b来取代视点控制部120，以及设置运动估计部130a和运动补偿插补部130b来取代图像生成部130。运动估计部130a具有第1ME部31a、第2ME部32a、…、第n ME部3na。运动补偿插补部130b具有第1MC部31b、第2MC部32b、…、第n MC部3nb、输出控制部131。下面，省略相同部分的说明，以不同的部分为中心进行说明。

ME视点控制部120a按多个视点中的每个视点，从第1影像信号取出对应于该视点的像素数据，并提供给运动估计部130a。

MC视点控制部120b按多个视点中的每个视点，从第1影像信号取出对应于该视点的像素数据，并提供给运动补偿插补部130b。并且，在第2影像信号中的对应于多个视点的像素排列（第2格式）与第1影像信号中的对应于多个视点的像素排列（第1格式）不同的情况下，MC视点控制部120b以变换为第2影像信号的像素排列的方式，按多个视点中的每个视点取出第1影像信号的像素，并提供给所述运动补偿插补部130b。由此，在高帧速率化的基础上，还能够进行将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换，而且不会损害3D图像的质量。

对这种情况时的运动补偿插补部130b的结构示例进行说明。MC视点控制部120b具有使第2影像信号的像素配置中的像素地址、与第1影像信号的像素配置中的像素地址建立对应的对应表部，以将第1影像信号的像素排列变换为第2影像信号的像素排列的方式进行使用了所述对应表部的地址变换，通过变换地址按所述多个视点中的每个视点取出像素。

运动估计部130a是运动信息检测部，根据由视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点检测图像的运动信息（运动矢量）。

运动补偿插补部130b使用每个视点的运动信息，按所述多个视点中的每个视点生成插补用像素数据，由此按所述多个视点中的每个视点生成插补图像。

第1ME部31a根据由视点控制部取出的第1视点的像素数据，对第1视点检测图像的运动信息（运动矢量）。关于第2ME部32a、第n ME部3na，除了视点不同之外，其功能与第1ME部31a相同，因而省略说明。

另外，第1ME部31a～第n ME部3na被记述为n个独立的块，但也可以构成为设置一个ME部，以时分方式进行n次处理。在具有一个ME部的结构中能够降低电路规模。相反，在具有n个ME部的结构中能够通过并行动作实现高速化。

第1MC部31b使用由第1ME部31a检测到的运动信息，生成第1视点的插补用像素数据。关于第2MC部32b、第n MC部3nb，除了视点不同之外，其功能与第1MC部31b相同，因而省略说明。另外，第1MC部31b～第n MC部3nb被记述为n个独立的块，但也可以构成为设置一个MC部，以时分方式进行n次处理。在具有一个MC部的结构中能够降低电路规模。相反，在具有n个MC部的结构中能够通过并行动作实现高速化。

上述的第1ME部31a和第1MC部31b相当于进行运动补偿插补时的实施方式1的第1插补部31。

根据如上所述构成的实施方式2的影像处理装置，能够高精度地检测运动信息，能够实现高帧速率化，而且不会损害插补图像乃至3D图像的质量。

另外，在将第1格式的第1影像信号变换为第2格式的第2影像信号的格式变换中，能够通过地址变换实现高速变换。而且，由于不需要双重地存储格式变换前的图像和格式变换后的图像，因而能够将格式变换所需要的存储器容量抑制为最小限度，能够降低成本。

另外，1F延迟部110也可以使用通用的DRAM等图像存储部构成。

图5是表示设置图像存储部100来取代1F延迟部110的影像处理装置的主要部分的变形例的框图。

该图与图4相比的不同之处在于，1F延迟部110的功能是由图像存储部100实现的。省略相同部分的说明，下面以不同的部分为中心进行说明。图像存储部100是DRAM等存储器。另外，图像存储部100也可以具有高速缓存。由此，能够使从ME视点控制部120a、MC视点控制部120b进行的读出高速化。另外，在实施方式2中说明了通过地址变换将第1格式变换为第2格式的结构，但也可以是，在由运动补偿插补部130b进行插补之前，将第2格式的图像以帧单位展开到存储器（例如图像存储部100）中。

（实施方式3）

在实施方式3中对设置2级的1F延迟部的影像处理装置进行说明。由此，实现更高帧速率化，例如适合于向高于2倍速的帧速率的变换、将电影影像变换为显示面板的帧速率等。

图6是表示实施方式3的影像处理装置的主要部分的结构的框图。该图的影像处理装置与图5相比的不同之处在于，明确记述了1F延迟部110、111，追加了ME信息存储部139，以及MC视点控制部120b取出像素数据的目的地是1F延迟部110和1F延迟部111。下面省略相同部分的说明，以不同部分为中心进行说明。另外，图中的“0F”表示当前输入的帧图像，“1F”表示当前输入的图像的1帧之前的帧图像，“2F”表示当前输入的图像的2帧之前的帧图像。

1F延迟部111是图像存储部100的存储区域，用于存储比第1影像信号的当前输入的图像靠前2帧时间的图像。

暂时（此处至少为1帧时间）存储由第1ME部31a～第n ME部3na检测到的运动矢量。

通过形成这种结构，能够对不同的帧图像并行执行运动检测部的运动检测和图像生成部的图像生成，即能够实现流水线(pipeline)化。由此，适合于更高帧速率化。例如，适合于向高于2倍速的帧速率的变换、将电影影像变换为显示面板的帧速率等。

下面，作为更具体的动作示例，对（A）2：3下拉变换、（B）从PAL向NTSC的变换、（C）从NTSC向PAL的变换进行说明。

对（A）2：3下拉变换进行说明。

图7A是表示基于通常的帧拷贝的2：3下拉(down pull)变换的说明图。

第1影像信号具有对应于电影胶片的帧速率，假设该帧速率是每秒24帧。第2影像信号具有对应于NTSC电视方式的帧速率，假设帧速率是每秒60场（每秒30帧）。图中的P1、P2等框线表示帧图像。

在该图所示的2：3下拉变换中，对第1影像信号的帧P1进行部分拷贝，由此生成第2影像信号用的2个场p1，对第1影像信号的帧P2进行部分拷贝，由此生成第2影像信号用的3个场p2。反复进行这种拷贝。在这种情况下，存在运动的平滑程度受损、即产生颤抖的运动（颤动，judder）的缺点。

图7B是表示实施方式3的基于运动补偿插补的颤动削减处理的说明图。第1影像信号、第2影像信号的帧速率分别与图7A相同，但插补图像的生成方式与图7A不同。

第2影像信号中的细线框的场p1、p3表示通过拷贝而生成的（插补）图像。与此相对，第2影像信号中的粗线框的场p12a、p12b、p23a、p23b表示通过运动补偿插补而生成的插补图像。例如，运动估计部130a和运动补偿插补部130b使用帧P1的运动矢量和帧P2的运动矢量中至少一方，对图7B的第2影像信号中的场p12a生成与场p12a的场时刻对应的插补图像。同样对场p12b、p23a、p23b生成插补图像。

插补图像p12a、p12b、p23a、p23b与图17A的插补图像p1、p2相比，体现出了在各个插补图像的场的时刻的运动，因而能够表现平滑的运动，画质提高。

如上所述，在第1影像信号具有对应于电影胶片的帧速率、第2影像信号是对应于电视广播或者显示面板的帧速率的情况下，ME视点控制部120a按每个视点从所述第1影像信号中取出对应于该视点的像素数据，图像生成部（运动估计部130a和运动补偿插补部130b）根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。由于这样按每个视点独立地生成插补图像，因而在生成插补图像时不易受到与视点之间的视差对应的偏移量的影响，从而能够实现不会损害3D图像的质量的帧速率变换。

另外，第1影像信号（电影胶片）的帧速率也可以是每秒25帧、每秒18帧等其它帧速率。第2影像信号的帧速率也可以不是每秒60场。在这种情况下，图像生成部生成数量与第1影像信号和第2影像信号的帧速率之比对应的插补图像即可。

另外，在图7B中，在第2影像信号的帧速率为第1影像信号的n倍的情况下，能够进行n倍速变换。n是2、4等整数或者实数。

对（B）从PAL（Phase Alternation by Line：逐行倒相制式）向NTSC（National Television Systems Committee：美国全国电视***委员会制式）的变换进行说明。

图8A是表示基于运动补偿插补的从PAL向NTSC的变换的说明图。在该图中，所述第1影像信号具有对应于PAL电视广播的帧速率，假设该帧速率是每秒50场。第2影像信号具有对应于NTSC电视广播的帧速率，假设该帧速率是每秒60场。

第2影像信号中的细线框的场Q1、Q3表示通过拷贝而生成的（插补）图像。与此相对，图8A中的粗线框的场Q2、Q3、Q4表示通过运动补偿插补而生成的插补图像。例如，运动估计部130a和运动补偿插补部130b对图8A的第2影像信号中的场Q2，使用场P1的运动矢量和场P2的运动矢量中至少一方，作为场Q2的帧时刻所对应的插补图像来生成。同样对场Q3～Q5生成插补图像。插补图像Q2～Q5体现出了各个场的时刻的运动，因而能够表现平滑的运动，画质提高。

如上所述，在第1影像信号具有对应于PAL电视广播的帧速率、所述第2影像信号是对应于NTSC电视广播的帧速率的情况下，ME视点控制部120a按每个视点从所述第1影像信号中取出对应于该视点的像素数据，图像生成部（运动估计部130a和运动补偿插补部130b）根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。由于这样按每个视点独立地生成插补图像，因而在生成插补图像时不会受到与视点之间的视差对应的偏移量的影响，从而不需防止3D图像的质量受损，即可从PAL变换为NTSC。

对（C）从NTSC向PAL的变换进行说明。

图8B是表示基于运动补偿插补的从NTSC向PAL的变换的说明图。在该图中，所述第1影像信号具有对应于NTSC电视广播的帧速率，假设该帧速率是每秒60场。第2影像信号具有对应于PAL电视广播的帧速率，假设该帧速率是每秒50场。

第2影像信号中的细线框的场P1、P5表示通过拷贝而生成的（插补）图像。与此相对，图8B中的粗线框的场P2、P3、P4表示通过运动补偿插补而生成的插补图像。例如，运动估计部130a和运动补偿插补部130b对图8A的第2影像信号中的场P2，使用场Q2的运动矢量和场Q3的运动矢量中至少一方，作为与场P2的帧时刻对应的插补图像来生成。同样对场P2～P4生成插补图像。插补图像P2～P4体现出了各个插补图像的场的时刻的运动，因而能够表现平滑的运动，画质提高。

如上所述，在第1影像信号具有对应于NTSC电视广播的帧速率、所述第2影像信号是对应于PAL电视广播的帧速率的情况下，ME视点控制部120a按每个视点从所述第1影像信号中取出对应于该视点的像素数据，图像生成部（运动估计部130a和运动补偿插补部130b）根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。由于这样按每个视点独立地生成插补图像，因而在生成插补图像时不会受到与视点之间的视差对应的偏移量的影响，从而不需防止3D图像的质量受损，即可从NTSC变换为PAL。

另外，在上述（A）～（C）的动作示例中对运动补偿插补进行了说明，然而对于线性插补、基于拷贝的插补，虽然会损害运动的平滑度，但是能够防止损害3D图像的画质。

并且，上述（A）～（C）的动作示例也可以适用于实施方式1和实施方式2。并且，也可以是，图像生成部130针对由视点控制部100取出的每个视点的像素数据，将（a）使用运动信息的插补、（b）线性插补以及（c）基于帧的拷贝的插补中至少一种插补进行组合，生成插补图像。当然，该组合是可以动态变更的。

另外，第1影像信号和第2影像信号也可以是相同的帧速率。在这种情况下，能够使第1影像信号的运动变平滑。

图8C是表示对第1影像信号生成相同帧速率的第2影像信号的处理的说明图。图8C的第1影像信号表示例如图7A下段（2：3下拉后的影像信号），图8C的第2影像信号表示例如图7B下段（运动补偿插补后的影像信号）。

在图8C的处理中，图像生成部（运动估计部130a和运动补偿插补部130b）通过将第1影像信号中的图像的一部分图像置换为基于运动补偿插补的插补图像，生成第2影像信号。具体地讲，进行将第1影像信号中的场p1（第2个p1）置换为插补图像p12a、将第1影像信号中的一个图像P2（第1个p2）置换为插补图像p12b、将第1影像信号中的场p2（第2个p2）置换为插补图像p12b、…的处理。由此，第2影像信号能够表现出比第1影像信号平滑的运动。在图8C中，通过使用了运动矢量的插补图像，将通过拷贝而实施了2：3下拉变换的第1影像信号变换为第2影像信号，因而能够降低颤动。

这样，本实施方式的影像处理装置能够将包括不平滑且不自然的运动的影像信号、变换为表现出平滑的运动的影像信号。另外，包括不平滑且不自然的运动的第1影像信号不限于图7A下段（2：3下拉变换后的第1影像信号）。例如，在通过拷贝对影像信号内的帧进行了插补时有可能产生不平滑且不自然的运动。也可以仅将这种通过影像信号的拷贝而插补的图像置换为通过运动补偿插补而生成的插补图像。

另外，也可以是，图像生成部130具有：第1放大缩小部，对图像进行垂直方向（纵向）的放大或者缩小；第2放大缩小部，对图像进行水平方向（横向）的放大或者缩小。第1放大缩小部和第2放大缩小部中至少一方针对按照每个视点而独立地生成的插补图像，按照每个视点进行放大或者缩小，由此也能够容易应对第1影像信号中的图像的分辨率与第2影像信号中的图像的分辨率不同的情况。

另外，在包括插补图像的第2影像信号的帧速率高于第1影像信号的情况下、低于第1影像信号的情况下、与第1影像信号相同的情况下，各个实施方式中的影像处理装置都能够适用。

另外，图像存储部100也可以构成为具有：第1存储区域，存储比第1影像信号的当前输入的图像靠前1帧时间的一个图像；第2存储区域，存储比第1影像信号的当前输入的图像靠前2帧时间的另一个图像。第1及第2存储区域也可以与1F延迟部110和111相同地存储1帧时间前图像和2帧时间前图像，还可以存储规定帧数或者间隔规定帧数的多个图像。并且，图像存储部100也可以构成为具有3个以上的1F延迟部，并存储多个图像。在这种情况下，运动估计部和运动补偿部能够分别选用多个图像中的任意图像。

另外，在图2A～图2F、图3A～图3D中示出了视点数为2时的格式示例，对于视点数为3以上的所谓多眼式的情况，可以按照视点数来扩展这些格式。

如以上说明的那样，本发明的一个方面的影像处理装置，根据第1影像信号来生成插补图像，该第1影像信号包括混合存在有与彼此不同的多个视点相对应的像素的图像，该影像处理装置具有：视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据；以及图像生成部，根据由所述视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点生成插补用像素数据，由此生成插补图像。

根据这种结构，视点控制部按每个视点从所述第1影像信号取出对应于该视点的像素数据，图像生成部根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。这样按每个视点独立地生成插补图像，因而可在不受到与视点之间的视差对应的偏移量的影响地生成插补图像，从而能够防止损害3D图像的质量。

其中，也可以是，所述图像生成部生成包括所述插补图像的、与显示面板的像素排列对应的、由对应于所述多个视点的像素数据构成的第2影像信号，所述视点控制部按所述多个视点中的每个视点，以按照所述多个视点中的每个视点与第2影像信号中的像素排列对应的方式来取出所述第1影像信号的像素。

根据这种结构，能够在不损害3D图像的质量的情况下进行插补图像的生成，并且在第1影像信号的像素排列与第2影像信号的像素排列不同的情况下，能够高效地进行从前者的像素排列向后者的像素排列的变换（格式变换）。

其中，也可以是，所述视点控制部使第1影像信号的像素配置中的像素地址与第2影像信号的像素配置中的像素地址相对应，由此按照所述第2影像信号的像素排列中的像素地址，按所述多个视点中的每个视点从所述第1影像信号取出像素。

根据这种结构，能够通过由所述视点控制部进行的像素地址的建立对应，高速地实现将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换。而且，存储第2影像信号的图像的存储器不需要双重地存储格式变换前的图像和格式变换后的图像，因而能够将格式变换所需要的存储区域抑制为最小限度，能够降低成本。

其中，也可以是，所述影像处理装置还具有运动信息检测部，该运动信息检测部根据由所述视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点检测图像的运动信息，所述图像生成部使用所述每个视点的运动信息，按所述多个视点中的每个视点生成插补用像素数据，由此按所述多个视点中的每个视点生成插补图像。

根据这种结构，能够高精度地检测运动信息，能够在不损害插补图像乃至3D图像的质量的情况下生成插补图像。

其中，也可以是，所述视点控制部还具有：第1视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据，并提供给所述图像生成部；以及第2视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据，并提供给所述运动信息检测部。

根据这种结构，能够使运动检测部的运动检测和图像生成部的图像生成流水线化，适合于更高的帧速率化。例如，适合于向高于2倍速的帧速率的变换、将电影影像变换为显示面板的帧速率的变换。

其中，也可以是，所述影像处理装置具有暂时存储所述第1影像信号中的1帧以上的图像的图像存储部，所述视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述图像生成部。

根据这种结构，能够在不损害3D图像的质量的状态下进行将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换。

其中，也可以是，所述影像处理装置具有暂时存储所述第1影像信号的图像存储部，所述图像存储部存储所述第1影像信号中的1帧以上的图像，所述第1视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述图像生成部，所述第2视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述运动信息检测部。

根据这种结构，能够使运动检测部的运动检测和图像生成部的图像生成流水线化。例如，适合于向高于2倍速的帧速率的变换、从电影影像向显示面板的变换，而且适合于高速化。

其中，也可以是，所述第1视点控制部使第1影像信号的像素配置中的像素地址与第2影像信号的像素配置中的像素地址相对应，由此按照所述第2影像信号的像素排列中的像素地址，按所述多个视点中的每个视点从所述第1影像信号取出像素。

根据这种结构，通过对图像存储部的区域进行地址变换，能够高速地实现将第1影像信号的像素排列变换为第2影像信号的像素排列的格式变换。而且，图像存储部不需要双重地存储格式变换前的图像和格式变换后的图像，因而能够将格式变换所需要的存储区域抑制为最小限度，能够降低成本。

其中，也可以是，所述图像生成部针对由所述视点控制部取出的每个视点的像素数据，采用（a）使用运动信息的插补、（b）线性插补以及（c）基于帧的拷贝的插补中的至少一种插补，生成所述插补图像。

根据这种结构，在（b）通过线性插补来生成插补图像的情况下，能够减轻插补图像生成的处理量和处理负荷，能够减小硬件规模。在（c）通过拷贝来生成插补图像的情况下，能够大大减轻插补图像生成的处理量和处理负荷，不需增加硬件规模即可实现插补图像的生成。并且，通过组合（a）～（c）中一种以上的方式进行插补，能够灵活应对处理量及处理速度。

其中，也可以是，所述图像生成部通过在所述第1影像信号的图像之间***所述插补图像来生成所述第2影像信号，所述第2影像信号的帧速率高于所述第1影像信号的帧速率。

其中，也可以是，所述第2影像信号的帧速率是所述第1影像信号的帧速率的2倍或者4倍。

根据这种结构，能够实现帧速率的n倍速变换（例如2倍速变换、4倍速变换）。

其中，也可以是，所述第1影像信号具有对应于电影胶片的帧速率，所述第2影像信号具有对应于电视广播或者显示面板的帧速率。

根据这种结构，适合于将电影胶片(film)的影像信号变换为显示面板的帧速率。

其中，也可以是，所述第1影像信号具有对应于PAL（Phase Alternationby Line：逐行倒相制式）电视广播的帧速率，所述第2影像信号具有对应于NTSC（National Television Systems Committee：美国全国电视***委员会制式）电视广播的帧速率。

根据这种结构，能够将PAL影像信号变换为NTSC影像信号。

其中，也可以是，所述图像生成部生成包括所述第1影像信号的一部分图像和所述插补图像的所述第2影像信号，所述第2影像信号的帧速率为所述第1影像信号的帧速率以下。

根据这种结构，能够实现第1影像信号的低帧速率化、或者以相同帧速率将帧置换为插补图像。

其中，也可以是，所述第1影像信号具有对应于NTSC（NationalTelevision Systems Committee）电视广播的帧速率，所述第2影像信号具有对应于PAL（Phase Alternation by Line）电视广播的帧速率。

根据这种结构，能够将NTSC影像信号变换为PAL影像信号。

其中，也可以是，所述图像生成部生成包括所述插补图像的所述第2影像信号，所述第2影像信号与第1影像信号具有相同的帧速率，所述图像生成部将第1影像信号中的图像的一部分图像置换为所述插补图像，由此生成所述第2影像信号。

根据这种结构，例如对于通过拷贝被实施了2：3下拉变换的第1影像信号，能够实现基于采用了运动矢量的插补图像的颤动削减，能够使第2影像信号的运动比第1影像信号平滑顺畅。

另外，本发明的一个方面的影像处理方法，根据第1影像信号来生成插补图像，该第1影像信号包括混合存在有与至少包含第1视点和第2视点的彼此不同的多个视点相对应的像素的图像，该影像处理方法包括以下步骤：从所述第1影像信号取出对应于所述第1视点的像素数据的步骤；根据所取出的第1视点的像素数据，生成对应于所述第1视点的插补用像素数据的步骤；从所述第1影像信号取出对应于所述第2视点的像素数据的步骤；根据所取出的第2视点的像素数据，生成对应于所述第2视点的插补用像素数据的步骤；以及根据对应于所述第1视点的插补用像素数据和对应于所述第2视点的插补用像素数据，生成插补图像的步骤。

根据这种结构，按每个视点从所述第1影像信号取出对应于该视点的像素数据，根据按照每个视点而取出的像素数据，按每个视点生成插补用像素数据，再生成插补图像。这样按每个视点独立地生成插补图像，因而不会受到视点之间的偏移量（或者错位量）的影响，因此能够不会损害3D图像的质量地生成插补图像。

产业上的可利用性

本发明应用于根据包括混合存在有与彼此不同的多个视点相对应的像素的图像的第1影像信号来生成插补图像的影像处理装置及影像处理方法。

标号说明

31第1插补部；32第2插补部；3n第n插补部；31a第1ME部；32a第2ME部；3na第n ME部；31b第1MC部；32b第2MC部；3nb第n MC部；100图像存储部；1101F延迟部；1111F延迟部；120视点控制部；120aME视点控制部；120b MC视点控制部；130图像生成部；130a运动估计部；130b运动补偿插补部；131输出控制部；139ME信息存储部。

Claims (11)

1.一种影像处理装置，根据第1影像信号来生成插补图像，该第1影像信号包括混合存在有与彼此不同的多个视点相对应的像素的图像，

该影像处理装置具有：

视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据；以及

图像生成部，根据由所述视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点生成插补用像素数据，由此生成插补图像。

2.根据权利要求1所述的影像处理装置，

所述图像生成部生成包括所述插补图像的、与显示面板的像素排列对应的、由对应于所述多个视点的像素数据构成的第2影像信号，

所述视点控制部按所述多个视点中的每个视点，以按照所述多个视点中的每个视点与第2影像信号中的像素排列对应的方式来取出所述第1影像信号的像素。

3.根据权利要求2所述的影像处理装置，

所述视点控制部使第1影像信号的像素配置中的像素地址与第2影像信号的像素配置中的像素地址相对应，由此按照所述第2影像信号的像素排列中的像素地址，按所述多个视点中的每个视点从所述第1影像信号取出像素。

4.根据权利要求1所述的影像处理装置，

所述影像处理装置还具有运动信息检测部，该运动信息检测部根据由所述视点控制部取出的每个视点的像素数据，按所述多个视点中的每个视点检测图像的运动信息，

所述图像生成部使用所述每个视点的运动信息，按所述多个视点中的每个视点生成插补用像素数据，由此按所述多个视点中的每个视点生成插补图像。

5.根据权利要求4所述的影像处理装置，

所述视点控制部还具有：

第1视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据，并提供给所述图像生成部；以及

第2视点控制部，按所述多个视点中的每个视点，从所述第1影像信号取出对应于该视点的像素数据，并提供给所述运动信息检测部。

6.根据权利要求2所述的影像处理装置，

所述影像处理装置具有暂时存储所述第1影像信号中的1帧以上的图像的图像存储部，

所述视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述图像生成部。

7.根据权利要求5所述的影像处理装置，

所述影像处理装置具有暂时存储所述第1影像信号的图像存储部，

所述图像存储部存储所述第1影像信号中的1帧以上的图像，

所述第1视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述图像生成部，

所述第2视点控制部按所述多个视点中的每个视点，从所述图像存储部取出对应于该视点的像素数据，并提供给所述运动信息检测部。

8.根据权利要求7所述的影像处理装置，

所述第1视点控制部使第1影像信号的像素配置中的像素地址与第2影像信号的像素配置中的像素地址相对应，由此按照所述第2影像信号的像素排列中的像素地址，按所述多个视点中的每个视点从所述第1影像信号取出像素。

9.根据权利要求1所述的影像处理装置，

所述图像生成部针对由所述视点控制部取出的每个视点的像素数据，采用（a）使用运动信息的插补、（b）线性插补以及（c）基于帧的拷贝的插补中的至少一种插补，生成所述插补图像。

10.根据权利要求2所述的影像处理装置，

所述图像生成部针对由所述视点控制部取出的每个视点的像素数据，采用（a）使用运动信息的插补、（b）线性插补以及（c）基于帧的拷贝的插补中的至少一种插补，生成所述插补图像。

11.一种影像处理方法，根据第1影像信号来生成插补图像，该第1影像信号包括混合存在有与至少包含第1视点和第2视点的彼此不同的多个视点相对应的像素的图像，该影像处理方法包括以下步骤：

从所述第1影像信号取出对应于所述第1视点的像素数据的步骤；

根据所取出的第1视点的像素数据，生成对应于所述第1视点的插补用像素数据的步骤；

从所述第1影像信号取出对应于所述第2视点的像素数据的步骤；

根据所取出的第2视点的像素数据，生成对应于所述第2视点的插补用像素数据的步骤；以及

根据对应于所述第1视点的插补用像素数据和对应于所述第2视点的插补用像素数据，生成插补图像的步骤。

Images