CN102857785A - 视频显示装置、视频显示方法及计算机程序产品 - Google Patents

Abstract

根据一实施方式，提供了一种视频显示装置、视频显示方法及计算机程序产品，该视频显示装置包括相机、显示器、第一显示模块、检测器、计算器以及第二显示模块。相机拍摄图像。显示器显示图像。第一显示模块基于显示器上的预定显示坐标来显示预定图案。检测器检测相机图像上的镜像的坐标，该相机图像是通过利用相机拍摄镜子中的图案的图像而获得的。计算器基于图案的显示坐标与镜像的坐标之间的相对位置关系，计算用于校正显示器上的相机图像的显示坐标的校正系数。第二显示模块利用校正系数校正相机图像的显示坐标，并在显示器上显示相机图像。

Description

视频显示装置、视频显示方法及计算机程序产品

技术领域

本文所述实施方式通常涉及一种视频显示装置及视频显示方法。

背景技术

近些年，已知配置有内置相机的数字电视(TV)。这种数字TV通过相机拍摄观看者的图像，并在显示器上显示该图像。由于该相机通常被固定至TV，所以与外部相机不同，该相机的位置、光轴等无法被精细调整。

已知一种常规技术，其中，为了显示由相机拍摄的相机图像，通过图像处理来校正显示位置、旋转角、图像失真等，并将校正后的图像显示在显示器上。

在该常规技术中，仍在研究如何校准由固定至TV的相机拍摄的相机图像。因此，对简易的相机校准技术存在需求。

因此，本发明的一个目的是提供一种视频显示装置及视频显示方法，能够使固定至TV的相机的校准变得容易。

发明内容

根据一实施方式，视频显示装置包括相机、显示器、第一显示模块、检测器、计算器以及第二显示模块。相机被构造为拍摄图像。显示器被构造为显示图像。第一显示模块被构造为基于显示器上的预定显示坐标来显示预定图案。检测器被构造为检测相机图像上的镜像的坐标，该相机图像是通过利用相机拍摄镜子中的图案的图像而获得的。计算器被构造为基于图案的显示坐标与镜像的坐标之间的相对位置关系，计算用于校正显示器上的相机图像的显示坐标的校正系数。第二显示模块被构造为利用校正系数校正相机图像的显示坐标，并在显示器上显示相机图像。

附图说明

现将参照附图对实现本发明各种特征的一般结构进行描述。提供附图以及相关描述以阐明本发明的实施方式，但并不限定本发明的范围。

图1是作为根据实施方式的视频显示装置的一个实例的电视机(TV)的示例性外观斜视图；

图2是该实施方式中TV的信号处理***的示例性框图；

图3是用于说明该实施方式中相机光轴与显示器光轴之间的差异的示意图；

图4是该实施方式中TV的软件结构的示例性框图；

图5是该实施方式中由TV执行的校正系数计算处理的示例性流程图；

图6是用于说明该实施方式中如何计算相机与镜子之间的相对位置关系的示意图；

图7是用于说明该实施方式中通过仿射变换获得变换矩阵的示意图；

图8是用于说明该实施方式中如何计算镜子与镜像之间的相对位置关系的示意图；

图9是用于说明该实施方式中相机图像中的坐标与显示器的显示坐标之间的相对位置关系的示意图；

图10是示出该实施方式中TV的用于校正相机图像并在显示器上显示校正后的相机图像的操作的示例性框图；以及

图11是该实施方式中由TV执行的视频显示处理的示例性流程图。

具体实施方式

图1是作为根据实施方式的视频显示装置的一个实例的电视机(TV)1的外观斜视图。如图1所示，TV1从前方看(在前方平面视图中)具有矩形外观。TV1包括外壳2和显示器3。显示器3例如包括液晶显示器(LCD)或裸眼显示器(glasses-free display)。当从视频处理器17(见图2)接收到视频信号时(稍后将描述)，显示器3显示包括静态图像和动态图像的视频。外壳2配置有相机(camera，摄像机)4，相机4例如可用于拍摄TV1的观看者的图像并检测TV 1的观看者。外壳2由支撑部5支撑。

图2是TV1的信号处理***的框图。如图2所示，TV1通过天线12接收数字电视广播信号，随后经由输入端13将该信号供给调谐器14，在其中选择所需频道的广播信号。调谐器14包括用于接收地面数字广播的调谐器A 141和调谐器B 142，以及用于接收广播卫星(BS)/通信卫星(CS)数字广播的调谐器C 143。尽管图2示出了三个调谐器，但调谐器的数量不限于三个。

调谐器14输出广播信号至解调器/解码器15。解调器/解码器15将广播信号解码成数字视频信号和数字音频信号，并输出这些信号至输入信号处理器16。

TV1还配置有输入端21，用于直接接收来自TV1外部的数字视频和音频信号。经由输入端21接收的数字视频和音频信号被供给记录/再生处理器29。

外壳2配置有操作模块24，其包括用于开/关TV1的开关、用于切换频道的转换器等。接收器26接收来自远程控制器25的信号，并将其输出至控制器40。根据用户在操作模块24或远程控制器25上的操作，控制器40接收用于再生数据、切换频道、记录节目等的指令。

磁盘驱动器27针对诸如数字多功能光盘(DVD)的光盘28读/写数字数据。根据来自控制器40的指令，磁盘驱动器27从光盘28读取数字视频和音频信号，并将其输出至记录/再生处理器29。磁盘驱动器27还将从记录/再生处理器29接收到的数字视频和音频信号写入光盘28。

硬盘驱动器(HDD)20针对内置硬盘读/写数字数据。根据来自控制器40的指令，HDD 20从硬盘读取数字视频和音频信号，并将其输出至记录/再生处理器29。HDD 20还将从记录/再生处理器29接收到的数字视频和音频信号写入硬盘。

记录/再生处理器29对从解调器/解码器15、输入端21、磁盘驱动器27、HDD 20以及网络接口(未示出)接收到的数字视频和音频信号进行编码，将该信号转换成预定记录格式，并随后输出该信号至磁盘驱动器27或HDD 20。记录/再生处理器29还对从磁盘驱动器27或HDD 20读取的数字视频和音频信号进行解码，并输出该信号至输入信号处理器16。

输入信号处理器16对从解调器/解码器15或记录/再生处理器29接收到的数字视频信号和数字音频信号执行预定的数字信号处理。输入信号处理器16输出数字视频信号至视频处理器17，并输出数字音频信号至音频处理器18。

视频处理器17将从输入信号处理器16或控制器40接收到的数字视频信号转换成可在显示器3上显示的格式的模拟视频信号，并将其输出至显示器3。显示器3基于来自视频处理器17的模拟视频信号显示节目观看画面、视频图像等。

音频处理器18将从输入信号处理器16接收到的数字音频信号转换成可由扬声器19再生的格式的模拟音频信号，并将其输出至扬声器19。扬声器19基于从音频处理器18接收到的模拟音频信号再生声音。

控制器40经由总线或接口连接至调谐器14、记录/再生处理器29、输入信号处理器16、操作模块24、接收器26、磁盘驱动器27、HDD 20、网路接口(未示出)等，以控制它们的操作。根据用户在操作模块24或远程控制器25上的操作，控制器40控制连接至其的模块，以再生要被观看的节目、切换频道、预约节目记录、处理视频内容等。

如图2所示，控制器40包括中央处理单元(CPU)40a、存储由CPU40a执行的控制程序的只读存储器(ROM)40b、以及为CPU 40a提供工作区的随机存取存储器(RAM)40c。

下文中，将对由相机4拍摄的相机图像与由显示器3显示的显示图像之间的位置差异给以描述。图3是用于说明本实施方式中相机光轴与显示器光轴之间的差异的示意图。由相机4拍摄的相机图像的中心相当于相机4的镜头的中心。另一方面，由显示器3显示的显示图像的中心相当于显示器3的中心。因此，这些中心之间的距离随着显示器3的宽度和高度而变化。如图3所示，由于要拍摄显示器3前方的观看者，相机4被设置成使得其光轴倾斜于显示器3的中心。因此，相机4的镜头表面的法向量51的方向不同于显示面的法向量52的方向。鉴于此原因，要在显示器3上显示相机图像以及要检测并估计显示器3前方的观看者的位置，就必须根据相机图像与显示器3上的显示图像之间、或相机的位置与显示器3的位置之间的相对位置关系，来校正位置和方向差异。此外，相机4可能被设置在各TV的不同位置处，因此相机4的设置位置和方向需针对各TV进行校正。

图4是TV1的软件结构的框图。通过将来自ROM 40b的程序加载进RAM 40c并执行，控制器40的CPU 40a(见图2)执行图案生成器41、图案检测器42、坐标分析器43以及校准模块44的功能，如图4所示。控制器40在非易失性存储区中配置有校正系数存储模块45。下文将示意性描述各模块的功能。

图案生成器41生成用于校准的图案图像(校准图案图像)。图案检测器42检测镜子上绘制的校准图案图像或显示器3上显示的图案图像的镜像，即，镜中图案图像的反射。

坐标分析器43通过仿射变化获得相机图像中的坐标(x，y，z)与显示器3上的显示图像中的坐标(Xp，Yp，Zp)之间的相对关系，并将该仿射变换的变换矩阵存储在校正系数存储模块45中作为校正系数。该仿射变换包括诸如原图像的旋转和平移的不改变形状的几何变换。原图像上的坐标与变换后图像上的坐标之间的相对位置关系由校正系数而呈线性关系。仿射变换还包括缩放倍数在纵向和横向之间不同的变换，以及图像被镜像反转或被纵向反转的变换。

即，相机图像中的点的坐标(x，y，z)与显示器3上的显示图像中对应于该点的坐标(Xp，Yp，Zp)之间的相对位置关系可用仿射变换矩阵R表示如下：

(x，y，z)＝R(Xp，Yp，Zp)                (1)

变换矩阵R是在本实施方式中用于校正相机图像与显示器3上的显示图像的校正系数。本实施方式的校正系数计算处理指的是由坐标分析器43计算变换矩阵R的处理。

校准模块44利用存储在校正系数存储模块45中的校正系数来校正相机图像，用存储在校正系数存储模块45中的校正系数来校正由相机检测到的观看者位置，并在显示器3上显示校正后的图像。稍后将详细描述各模块的功能。

将参照图4和图5对TV1的校正系数计算处理进行描述。图4示出了TV1的用于计算在相机图像的校准中使用的校正系数的操作。图5是由TV1执行的校正系数计算处理的流程图。

首先，TV1被设置在镜子6的前方，使得显示器3正对镜子6(S1)。此时，可移动TV1和镜子6中的一个或两者，或者镜子6可被置于TV1的前方。由于TV1与镜子6之间的相对位置关系在S2中被校正，所以在S1中仅需要将TV1和镜子6彼此大致平行放置。如果TV1和镜子6彼此良好平行，那么可跳过S2的处理。

TV1计算被设置至显示器3的相机4与镜子6之间的相对位置关系(S2)。

图6是用于说明如何计算相机4与镜子6之间的相对位置关系的示图。如图6所示，在用于校正系数计算处理的镜子6上绘制印刷图案61作为校准图案图像。图案检测器42检测由相机4拍摄到的印刷图案61的相机图像32中的网格点P11、P12、P13、P14、……的坐标。

图6中，由虚线表示的基准图案31是由被设置成精确平行于镜子6的相机4拍摄的图案图像。基准图案31中各网格点的坐标对应于印刷图案61中各网格点的坐标，并且被预先存储在存储模块(校正系数存储模块45)中。基准图案31的坐标被用作基准坐标，以便与由图案检测器42检测到的图案图像进行比较。下文中，将对印刷图案61中的坐标与基准图案31中的坐标一一对应的实例进行描述。

坐标分析器43将检测到的印刷图案61的相机图像32中的网格点P11、P12、P13、P14、……的坐标(第二检测坐标)与基准图案31中的对应网格点P1、P2、P3、P4、……的坐标进行比较，并采用仿射变换计算对应的各对网格点之间的相对位置关系。坐标分析器43比较最接近的成对的网格点P11、P12、P13、P14、……和网格点P1、P2、P3、P4、……。

图7是用于说明通过仿射变换获得坐标变换的示图。如图7所示，相机图像32中的各网格点的坐标(x，y，z)与镜子6上的印刷图案61(即，基准图案31)中的各网格点的坐标(Xm，Ym，Zm)之间的相对关系可用变换矩阵R1(第二校正系数)表示如下：

(x，y，z)＝R1(Xm，Ym，Zm)                (2)

更具体地，在网格点坐标(Xm，Ym，Zm)与(x，y，z)之间，变换矩阵R1由四个4×4矩阵的行列式表示如下：

$\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\γ}& \sin \mathrm{\γ}& 0& 0\\ -\sin \mathrm{\γ}& \cos \mathrm{\γ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ 0& -\sin \mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ \mathrm{Tx}& \mathrm{Ty}& \mathrm{Tz}& 1\end{array}\right]\left[\begin{array}{c}\mathrm{Xm}\\ \mathrm{Ym}\\ \mathrm{Zm}\\ 1\end{array}\right]$

(3)

其中，α是x轴方向上的旋转角，β是y轴方向上的旋转角，γ是z轴方向上的旋转角，Tx是x轴方向上的平移距离，Ty是y轴方向上的平移距离，并且Tz是z轴方向上的平移距离。在方程(3)中，第一个矩阵代表Z轴旋转，第二个矩阵代表Y轴旋转，第三个矩阵代表X轴旋转，并且第四个矩阵代表X轴、Y轴以及Z轴各方向上的平移。

坐标分析器43(计算器)利用网格点坐标(Xm，Ym，Zm)与(x，y，z)的多个组合，建立联立方程(3)，并求解出变换矩阵R1中的多个未知量。从而坐标分析器43获得了方程(2)中的变换矩阵R1。换句话说，通过利用由方程(3)计算出的各旋转角α、β和γ以及各平移距离Tx、Ty和Tz的仿射变换，TV1校正相机4与镜子6之间的相对位置关系。从而，我们能够假设实现了相机4与镜子6被彼此平行放置的状态。

接下来，TV1计算镜子6与镜像7之间的相对位置关系(见图7)(S3)。

图8是用于说明如何计算镜子6与镜像7之间的相对位置关系的示图。图案生成器41生成基准图案31作为在相机图像的校准中使用的图案图像，并输出有关基准图案31的坐标信息至视频处理器17。例如，图案生成器41输出基准图案31中各网格点P1、P2、P3、P4、……的坐标至视频处理器17，作为用于显示该基准图案31的基准坐标。视频处理器17基于该坐标信息在显示器3上显示该基准图案31。以此方式，图案生成器41和视频处理器17用作第一显示模块。图案生成器41还输出基准图案31中的网格点P1、P2、P3、P4、……的显示坐标至坐标分析器43。下文中，在显示器3上显示的基准图案31有时将被称为“显示图案”31。

尽管在图8中，由图案生成器41生成的显示图案31由点划线表示，但不限于此。显示图案31可由与印刷图案61不同颜色的线来显示。

图案检测器42(检测器，第二检测器)检测显示图案31的镜像作为由相机4获得的相机图像中的镜像图案33。相机4拍摄显示图案31在镜子6中的镜像，以获得相机图像。图案检测器42检测镜像图案33中的网格点P21、P22、P23、P24、……的坐标(第二检测坐标)。

坐标分析器43将检测到的镜像图案33中的网格点P21、P22、P23、P24、……的坐标与从图案生成器41接收到的基准图案31中的网格点P1、P2、P3、P4、……的显示坐标进行比较。坐标分析器43通过仿射变换获得它们之间的相对关系。

如图7所示，镜子6上的印刷图案61中的网格点坐标(Xm，Ym，Zm)与显示图案31的镜像7(镜像图案33)中的坐标(Xp’，Yp’，Zp’)之间的相对关系可利用仿射变换矩阵R2表示如下：

(Xm，Ym，Zm)＝R2(Xp’，Yp’，Zp’)                (4)

更具体地，在网格点坐标(Xm，Ym，Zm)与(Xp’，Yp’，Zp’)之间，变换矩阵R2由四个4×4矩阵的行列式表示如下：

$\left[\begin{array}{c}\mathrm{Xm}\\ \mathrm{Ym}\\ \mathrm{Zm}\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\ζ}& \sin \mathrm{\ζ}& 0& 0\\ -\sin \mathrm{\ζ}& \cos \mathrm{\ζ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\cos \mathrm{\ϵ}& 0& -\sin \mathrm{\ϵ}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\ϵ}& 0& \cos \mathrm{\ϵ}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\δ}& \sin \mathrm{\δ}& 0\\ 0& -\sin \mathrm{\δ}& \cos \mathrm{\δ}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ {\mathrm{Tx}}^{\′}& {\mathrm{Ty}}^{\′}& {\mathrm{Tz}}^{\′}& 1\end{array}\right]\left[\begin{array}{c}{\mathrm{Xp}}^{\′}\\ {\mathrm{Yp}}^{\′}\\ {\mathrm{Zp}}^{\′}\\ 1\end{array}\right]$

(5)

其中，δ是x轴方向上的旋转角，ε是y轴方向上的旋转角，ζ是z轴方向上的旋转角，Tx’是x轴方向上的平移距离，Ty’是y轴方向上的平移距离，并且Tz’是z轴方向上的平移距离。在方程(5)中，第一个矩阵代表Z轴旋转，第二个矩阵代表Y轴旋转，第三个矩阵代表X轴旋转，并且第四个矩阵代表X轴、Y轴以及Z轴各方向上的平移。

坐标分析器43利用网格点坐标(Xm，Ym，Zm)与(Xp’，Yp’，Zp’)的多个组合，建立联立方程(5)，并求解出变换矩阵R2中的多个未知量。从而坐标分析器43获得了方程(4)中的变换矩阵R2。

此后，坐标分析器43将镜像7的坐标(如图7)变换成显示器3的显示坐标(S4)。由显示器3的显示坐标表示的坐标的实例包括显示图案31(即，基准图案31)中的网格点P1、P2、P3、P4、……的坐标(Xp，Yp，Zp)。

如图7所示，镜子6上的印刷图案61中的网格点坐标(Xm，Ym，Zm)与显示图案31中的网格点坐标(Xp，Yp，Zp)之间的相对关系可用变换矩阵R3表示如下：

(Xm，Ym，Zm)＝R3(Xp，Yp，Zp)                (6)

镜像图案33的网格点坐标(Xp’，Yp’，Zp’)和显示器3的显示坐标(Xp，Yp，Zp)成镜像关系。即，在图7中，显示器3和镜像7关于镜子6镜对称。如上所述利用方程(5)，镜子6中的坐标系(Xm，Ym，Zm)相对于镜像7中的坐标系(Xp’，Yp’，Zp’)关于x轴、y轴和z轴分别被转动了δ、ε和ζ角度。因此，镜像7中的坐标系(Xp’，Yp’，Zp’)相对于镜子6中的坐标系(Xm，Ym，Zm)关于x轴、y轴和z轴分别被转动了-δ、-ε和-ζ角度。

因此，通过转换方程(5)的变换矩阵R2中X轴旋转和Y轴旋转的旋转角的符号(加号变为减号)，坐标分析器43可通过以下方程(7)获得变换矩阵R3：

$\left[\begin{array}{c}\mathrm{Xm}\\ \mathrm{Ym}\\ \mathrm{Zm}\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\ζ}& \sin \mathrm{\ζ}& 0& 0\\ -\sin \mathrm{\ζ}& \cos \mathrm{\ζ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\cos (-\mathrm{\ϵ})& 0& -\sin (-\mathrm{\ϵ})& 0\\ 0& 1& 0& 0\\ \sin (-\mathrm{\ϵ})& 0& \cos (-\mathrm{\ϵ})& 0\\ 0& 0& 0& 1\end{array}\right.0\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos (-\mathrm{\δ})& \sin (-\mathrm{\δ})& 0\\ 0& -\sin (-\mathrm{\δ})& \cos (-\mathrm{\δ})& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ {\mathrm{Tx}}^{\′}& {\mathrm{Ty}}^{\′}& {\mathrm{Tz}}^{\′}& 1\end{array}\right]\left[\begin{array}{c}\mathrm{Xp}\\ \mathrm{Yp}\\ \mathrm{Zp}\\ 1\end{array}\right]$

(7)

图9是用于说明相机图像中的坐标(x，y，z)与显示器3的显示坐标(Xp，Yp，Zp)之间的相对位置关系的示图。利用由方程(3)获得的变换矩阵R1和由方程(7)获得的变换矩阵R3，坐标分析器43计算相机图像中的坐标(x，y，z)与显示器3的显示坐标(Xp，Yp，Zp)之间的相对位置关系(S5)。

将方程(4)代入方程(2)，相机图像中的坐标(x，y，z)与显示图案中的坐标(Xp，Yp，Zp)之间的相对位置关系表示如下：

(x，y，z)＝R1·R3(Xp，Yp，Zp)            (8)

因此，通过比较方程(1)和方程(8)，可知变换矩阵R为R＝R1·R3。基于方程(3)和方程(7)，方程(8)可被更具体地表示如下：

$\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\γ}& \sin \mathrm{\γ}& 0& 0\\ -\sin \mathrm{\γ}& \cos \mathrm{\γ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ 0& -\sin \mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ \mathrm{Tx}& \mathrm{Ty}& \mathrm{Tz}& 1\end{array}\right]$

$\left[\begin{array}{cccc}\cos \mathrm{\ζ}& \sin \mathrm{\ζ}& 0& 0\\ -\sin \mathrm{\ζ}& \cos \mathrm{\ζ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\cos (-\mathrm{\ϵ})& 0& -\sin (-\mathrm{\ϵ})& 0\\ 0& 1& 0& 0\\ \sin (-\mathrm{\ϵ})& 0& \cos (-\mathrm{\ϵ})& 0\\ 0& 0& 0& 1\end{array}\right.0\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos (-\mathrm{\δ})& \sin (-\mathrm{\δ})& 0\\ 0& -\sin (-\mathrm{\δ})& \cos (-\mathrm{\δ})& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ {\mathrm{Tx}}^{\′}& {\mathrm{Ty}}^{\′}& {\mathrm{Tz}}^{\′}& 1\end{array}\right]\left[\begin{array}{c}\mathrm{Xp}\\ \mathrm{Yp}\\ \mathrm{Zp}\\ 1\end{array}\right]$

(9)

通过将S1处获得的变换矩阵R1中的α、β、γ、Tx、Ty和Tz，以及S4中获得的变换矩阵R3中的δ、ε、ζ、Tx’、Ty’和Tz’代入方程(9)，坐标分析器43计算变换矩阵R(S5)。坐标分析器43随后将变换矩阵R存入校正系数存储模块45，作为校正系数(S6)。从而处理结束。

下文中，将参照图10和图11对由TV1执行的视频显示处理进行描述。图10是示出TV1的用存储在校正系数存储模块45中的校正系数校正相机图像、并在显示器3上显示校正后的相机图像的操作的示例性框图。图11是由TV1执行的视频显示处理的流程图。

首先，在TV1中，控制器40输出拍摄开启信号至相机4，以开始拍摄图像。一接收到拍摄开启信号，相机4就开始拍摄图像(S11)。校准模块44用存储在校正系数存储模块45中的校正系数(变换矩阵R)校正由相机4拍摄的图像(相机图像)(S12)。校准模块44输出校正后的相机图像至视频处理器17。视频处理器17在显示器3上显示相机图像(S13)。以此方式，校准模块44和视频处理器17用作第二显示模块。

如上所述，根据本实施方式，显示器上显示的图案被在镜子中反射。相机拍摄镜中的图案以获得镜像。基于在镜像中检测到的坐标和该图案的显示坐标来校正显示器上的相机图像的显示坐标。这样，TV1可仅利用镜子执行校准。因此，可以使固定至TV1的相机的校准变得容易。

顺便提及，在由方程(1)至方程(3)表示的仿射变换中，也可计算包括与相机的光学***有关的各种参数的变换矩阵R1至R3以及R。

在以上描述中，利用具有其上印刷了校正图案的表面的镜子6来获得校正系数。然而，如果镜子6和显示器3彼此良好平行，则也可利用其上未印刷图案的镜子来获得校正系数。在此情况下，不需要校正系数R1(即，R1＝E)，如此，校正系数R被计算为R＝R3。

印刷在镜子6上的图案不需要与显示在显示器3上的图案相同。例如，印刷图案与显示图案之间的图案间隔可以不同。再如，可只印刷网格点作为印刷图案。而且，其他的图案也可被用作印刷图案和显示图案。其他图案的实例包括棋盘图案。

通过被预先存储在ROM等中来提供TV1上执行的计算机程序。也可通过以可安装或可执行的格式而被存储在计算机可读存储介质(诸如致密盘只读存储器(CD-ROM)、软盘(FD)、可记录光盘(CD-R)或数字多功能光盘(DVD))中来提供该计算机程序。

计算机程序也可被存储在经由诸如因特网的网络连接的计算机中，以便能够通过网络从该计算机下载。而且，可经由诸如因特网的网络来提供或分发该计算机程序。

该计算机程序可与本实施方式的镜子6一起被提供，作为相机图像校准套装。本实施方式可被用于相机被增设至没有相机的TV的情况。即，如果增设相机，则可利用由上述的校正系数计算处理获得的校正系数对由该相机拍摄的图像执行校准。

尽管以上描述的相机4被固定至显示器3，但不限于此。相机4可被装配在其他位置，诸如TV1的支撑部5。

尽管以上描述了为执行校正系数计算处理而将显示器3和镜子6面对面放置的实例，但不限于此。例如，诸如其上未绘制图案的镜子的光学***可被放置在显示器3与镜子6之间，并且镜子6上的图案图像可在被相机4拍摄之前被该光学***衍射。

尽管所描述的实施方式被用于TV1，但不限于此。本实施方式可被用于诸如个人计算机的信息处理器以及各种类型的显示装置。尽管以实例方式描述了作为常规二维(2D)TV的TV1，但本实施方式也可被用于三维(3D)TV。

作为本实施方式的一种应用，在已由本实施方式的校正系数校正了位置之后，可在显示器3上显示在相机图像中检测到的人或脸。校正系数被用于估计检测到的人或脸的位置。

本文所述***的各模块可被实现为软件应用程序、硬件和/或软件模块、或一台或多台计算机(例如服务器)上的组件。尽管单独地示出各个模块，但它们也可以共享某些或全部相同的底层逻辑或代码。

尽管已经对某些实施方式进行了描述，但这些实施方式仅是以实例的方式被呈现，且并不意味着限制本发明的范围。事实上，本文所述的新的实施方式也可以以各种其他形式来体现；而且，可对本文所述实施方式的形态做各种省略、替代和变更而不脱离本发明的思想。所附权利要求及其等价物意在涵盖应属于本发明范围和思想的这些形态或修改。

Claims (9)

1.一种视频显示装置，包括：

相机，被构造为拍摄图像；

显示器，被构造为显示图像；

第一显示模块，被构造为基于所述显示器上的预定显示坐标来显示预定图案；

检测器，被构造为检测相机图像上的镜像的坐标，所述相机图像是通过利用所述相机拍摄镜子中的所述图案的图像而获得的；

计算器，被构造为基于所述图案的显示坐标与所述镜像的坐标之间的相对位置关系，计算用于校正所述显示器上的所述相机图像的显示坐标的校正系数；以及

第二显示模块，被构造为利用所述校正系数校正所述相机图像的所述显示坐标，并在所述显示器上显示所述相机图像。

2.根据权利要求1所述的视频显示装置，其中，所述计算器被构造为通过镜像反转所述相机图像上的所述图案的镜像的坐标，计算作为用于显示所述图案的基准的所述显示坐标，并获得所述相机图像中的坐标与所述显示器上的所述显示坐标之间的相对位置关系以计算所述校正系数。

3.根据权利要求1所述的视频显示装置，其中，

所述检测器被构造为还检测通过拍摄绘制在所述镜子上的所述图案而获得的相机图像上的预定图案的坐标作为第二检测坐标；并且

所述计算器被构造为基于所述图案的显示坐标与所述第二检测坐标之间的相对位置关系，计算用于校正所述相机与所述镜子之间的相对位置关系的第二校正系数，并利用所述第二校正系数计算所述校正系数。

4.根据权利要求2所述的视频显示装置，其中，

所述第一显示模块被构造为显示网格图案，所述网格图案在所述显示器上多个点坐标处具有网格点；

所述检测器被构造为检测通过拍摄所述网格图案的图像而获得的相机图像上的所述网格点的坐标；并且

所述计算器被构造为基于所述点坐标与对应于所述点坐标的所述网格点的坐标之间的相对位置关系，计算所述校正系数。

5.根据权利要求1所述的视频显示装置，其中，所述计算器被构造为通过仿射变换计算所述校正系数。

6.根据权利要求1所述的视频显示装置，其中，所述计算器被构造为计算包括与所述相机的光学***有关的各种参数的所述校正系数。

7.一种视频显示装置，包括：

相机，被构造为拍摄图像；

显示器，被构造为显示图像；

存储模块，被构造为存储用于校正所述显示器上的相机图像的显示坐标的校正系数，所述相机图像通过基于所述显示器上的预定显示坐标显示预定图案并且利用所述相机拍摄镜子中的所述图案的镜像来获得，所述校正系数基于所述图案的显示坐标与在所述相机图像上检测到的所述镜像的坐标之间的相对位置关系来计算；以及

显示模块，被构造为利用所述校正系数校正所述相机图像的所述显示坐标，并在所述显示器上显示所述相机图像。

8.一种用于视频显示装置的视频显示方法，所述视频显示装置包括：

相机，被构造为拍摄图像，

显示器，被构造为显示图像，以及

存储模块，被构造为存储用于校正所述显示器上的相机图像的显示坐标的校正系数，所述相机图像通过基于所述显示器上的预定显示坐标显示预定图案并且利用所述相机拍摄镜子中的所述图案的镜像来获得，所述校正系数基于所述图案的显示坐标与在所述相机图像上检测到的所述镜像的坐标之间的相对位置关系来计算，所述视频显示方法包括：

利用所述校正系数校正所述相机图像的所述显示坐标；以及

在所述显示器上显示所述相机图像。

9.一种记录在非瞬态计算机可读存储介质上的计算机程序产品，包括当被执行时使计算机控制视频显示装置的代码，所述视频显示装置包括：

相机，被构造为拍摄图像，

显示器，被构造为显示图像，以及

存储模块，被构造为存储用于校正所述显示器上的相机图像的显示坐标的校正系数，所述相机图像通过基于所述显示器上的预定显示坐标显示预定图案并且利用所述相机拍摄镜子中的所述图案的镜像来获得，所述校正系数基于所述图案的显示坐标与在所述相机图像上检测到的所述镜像的坐标之间的相对位置关系来计算，所述代码当被执行时还使所述计算机：

利用所述校正系数校正所述相机图像的所述显示坐标；以及

在所述显示器上显示所述相机图像。

Images