CN105518569A - 具备受观看方向控制的摇摄功能的视频显示器 - Google Patents

Abstract

视频处理器对一对摄像机的输出进行响应，所述一对摄像机用于确定显示屏幕的观看者观看方向。只要观看者的观看角度方向射向显示屏幕的中心区域，则禁用摇摄功能。当观看者的观看角度穿过偏离屏幕中心的第一阈值角度方向时，启用动态跟踪摇摄功能以便移位所显示的画面。当观看者的观看角度穿过更大的、第二阈值角度方向时，沿相同方向但是以更快的速率移位画面。当观看者观看角度方向减小从而穿过小于第一阈值角度方向的阈值角度方向时，暂停进一步的画面移位。因此，结合了滞后特性。当观看者的观看角度方向继续沿引起暂停画面移位的相同方向改变从而穿过第三阈值角度方向时，所述画面向相反方向移位，其中第三阈值角度方向可适用于所累积的画面移位。

Description

具备受观看方向控制的摇摄功能的视频显示器

技术领域

本发明涉及一种受观看者观看方向控制的视频显示装置。

背景技术

“摇摄&扫描”(摇摄)是通常表示修剪原始宽屏图像(例如，纵横比2.35∶1)的水平边的术语。通常，摇摄可以用于调整画面的最重要部分以便在纵横比为例如16∶9的显示屏幕上进行显示。在垂直方向上的类似修剪通常被称作“倾斜&扫描”(倾斜)。可以使用缩放功能来更好地识别细节。还可以选择缩放功能以便使具有不同显示比例的画面适应于从信箱到不同缩放模式的指定屏幕。可以由使用例如传统手持遥控单元的观看者来选择并控制缩放、扫描和倾斜功能的不同组合。

图1a示出了无修剪且在未缩放模式下显示在显示屏幕106上的画面100。在图1b中，将缩放功能应用于画面100，使得仅将画面100的画面部分105a显示在显示屏幕106上。在图1b中，通过将显示屏幕106的中心点110与画面100的中心点110’设置为同一点，来对部分105a或画面100进行中心缩放。缩放功能使得画面100的部分105b由于处于屏幕106的观看区域外部而是不可视的。图1c示出了显示在屏幕106上的画面部分105a，这是由于应用缩放功能和摇摄功能二者的组合而导致的。因此，中心点110和110’不会相重合。图1a、1b和1c中的类似符号和数字表示相似的项目或功能。

当观看者正在观看图1b的显示屏幕106上的电影时，未示出的特定对象可能吸引观看者的注意。这种对象可能沿特定方向相对于屏幕106运动，例如，向图1b的右侧。因此，观看者可能往往通过将观看者的头部方向和/或观看者眼睛注视的方向改变为图1b的右侧，来跟随所述运动对象。

希望响应于观看者头部/眼睛的运动，使用动态跟踪摇摄功能、动态跟踪倾斜功能或其组合(本文将每个功能称作动态跟踪摇摄/倾斜功能)。可以使用这种功能，以便在可视部分105a中保持所述运动对象，而不是变成不可视的。

在实施本发明特征时，只要观看者的观看方向射向显示屏幕的中心区域，则不执行或禁用动态跟踪摇摄/倾斜功能。当观看者的观看角度穿过偏离屏幕中心的第一阈值角度方向并朝向例如屏幕的右侧边界时，启用动态跟踪摇摄功能，以便沿相反方向移位所显示的画面。结果在于：上述运动对象被移位为更靠近屏幕中心。因此，将经缩放的画面的部分(上文中是不可视的)有利地移位到显示屏幕的观看区域。因此，有利地，所述运动对象趋向于保持更靠近屏幕的中心。

假设在开始摇摄功能之后，观看者的观看角度方向开始沿相反方向改变。例如，由于已经通过上述的摇摄功能的画面移位操作移动了运动对象，可能产生上述现象。需要的是在第一阈值角度方向的周围避免画面跳动(picturebounce)。

在实施另一发明特征时，要求观看者的观看角度方向穿过阈值角度方向，所述阈值角度方向小于第一阈值角度方向以便暂停或停止进一步的摇摄功能操作。因此，有利地是，将滞后特性与摇摄/倾斜功能相结合。

在实施另一发明特征时，当观看者的观看角度方向穿过偏离屏幕中心的(更大的)第二阈值角度方向并朝向屏幕的同一侧边界时，以比观看者观看角度方向在第一和第二阈值角度方向之间的情况更快的速率来摇摄画面。有利地是应用更快的速率以便防止所述运动对象从屏幕的可视部分消失。

还可以针对穿过所述第二阈值角度方向来结合所述滞后特性。类似地，结合多个阈值和相应滞后特性也是有可以的。

假设在停止画面移位之后，观看者沿相反方向将头部转向先前触发摇摄功能的角度。当观看者的观看角度方向超过第三阈值角度方向时，开始沿相反方向的摇摄功能。

在实现另一发明特征时，通过在停止画面移位时呈现的画面移位的累积程度，来适应性地确定第三阈值角度方向。有利地，还可以针对穿过第三阈值角度方向来结合所述滞后特性。

观看者的眼睛移动、头部跟踪或面部朝向的非常快速改变可能表示与所显示画面无关的扰动(disturbance)。因此，在实现另一发明特征时，对这种快速改变的检测不会影响摇摄/倾斜功能。

希望通过令所感知到的声音源(诸如，扬声器)动态地跟随所述动态跟踪摇摄/倾斜功能，来辅助所述缩放或动态跟踪摇摄/倾斜功能。有利地是，通过响应于控制摇摄/倾斜功能的控制信号来自适应性地对例如两个立体声声道进行混合，来实现该目的。因此，当通过动态跟踪摇摄/倾斜功能移位所显示的图像时，从中感知发出声音的位置同样跟踪被应用了缩放或跟踪摇摄/倾斜功能的显示图像。简言之，立体声宽度根据立体视觉宽度动态变化。

JohnM.Chowning的名为THESIMULATIONOFMOVINGSOUNDSOURCES的文章(J.AudioEng.Soc.19，2-6，1971)描述了一种可以通过虚拟声学空间移动虚幻声源的装置。将多个独立的音频声道转换为两个或四个声道，其中可以在虚拟环境中单独地控制每个输入声道的位置静态或动态。所述方法控制在扬声器之间的直接型和混响型信号的分布和幅度。

Lowe等人的美国专利No.5,046,097描述了一种方法，通过使用传统立体声回放环境，产生贯穿包含听众的三维空间分布的不同声源的假象。

美国专利No.5,742,687示出了例如电视机顶盒形式的视听重现***的实施例。在提供立体声音频信号的情况下，重现左声道的声源的位置将呈现为向左的虚拟移位。类似地，代表右声道信号的源将经历向右的虚拟移位。

TakuyoKogure等人的美国专利No.4,219,696公开了通过使用修改后的具有2个或4个扬声器的立体声重放设备，允许在含有两个扬声器和听众头部的平面内的任意位置放置声音图像的原理(mathematics)。所述***依赖于对驱动扬声器的信号和在听众每只耳朵处的声压之间的复声学频率响应的精确表征、匹配和电学补偿。

KojiWatanabe等人的美国专利No.4,524,451解释了用于在听众侧面或后方创建“phantomsoundsources”的基础。

Hoover的美国专利No.5,987,141教导了一种立体声扩展器，其中呈现了具有左右立体声声道的立体声音频处理***，左右立体声声道各自具有相应的扩音器。向所述***提供立体声的空间扩展，使得一对空间分离的扩音器听上去仿佛比它们实际相距的距离相隔更远。

发明内容

一种视频显示装置包括：视频信号源，包含要在显示屏幕上显示的画面的画面信息；以及传感器，用于感测观看者相对于显示屏幕的观看方向。处理器对传感器的输出信号进行响应并被耦接到显示屏幕以便将摇摄/倾斜功能应用于所显示的画面，从而相对于显示屏幕移位所显示的画面。

在实施发明特征时，当观看方向沿第一方向穿过第一阈值方向时，移位所显示的画面。当观看方向沿与第一方向相反的方向穿过第二阈值方向时，在画面移位中产生变化，从而提供滞后。

在实施另一发明特征时，在观看方向穿过第一阈值方向之后，以第一速率并沿第一方向移位所显示的画面。在观看方向沿第一方向穿过第二阈值方向之后，以不同的第二速率沿相同方向进一步移位所显示的画面。

在实施另一发明特征中，当观看方向处于第一数值范围内时，沿第一方向相对于显示屏幕移位画面。当观看方向处于第二数值范围内时，停止附加画面移位。当观看方向穿过第一阈值方向时沿相反方向移位所述画面。根据在停止附加画面移位之前累积的画面移位的幅度，自适应性地调整第一阈值方向。

在实现另一发明特征时，处理器进一步对画面内容进行响应，以便响应于所显示画面内容的变化改变先前获得的画面移位。

附图说明

下文将参考附图更详细地描述本发明的优选实施例，附图中：

图1a示出了根据现有技术的无修剪且在未缩放模式下显示在显示屏幕上的画面的前视图；

图1b示出了根据现有技术的当向显示在显示屏幕上的画面应用缩放功能时该画面的前视图；

图1c示出了根据现有技术的当应用缩放功能和摇摄功能二者时在显示屏幕上显示的画面部分的前视图；

图2示出了包含本发明特征的***的框图；

图3a和3b各自示出了一对摄像机中，用于感测观看者观看方向和用于控制图2的装置；

图4a、4b、4c和4d各自示出了观看者观看的显示屏幕的顶视图，以便解释图2的***的操作；

图5a和5b各自示出了显示屏幕的前视图，用于解释图2的***的操作；以及

图6示出了图2的音频处理器的一部分的框图，所述处理器响应于图3a和3b的摄像机的输出，对一对立体声音频声道执行虚拟音频移位。

具体实施方式

图2示出了包含发明特征的***150的框图。图1a、1b、1c和2中的相似符号和数字表示相似的项目或功能。

图2的***150包括：输入视频/音频源156，向视频处理器155施加输入视频/音频信号156a中包含视频的部分，向增强型音频处理器157施加输入视频/音频信号156a中包含音频的部分。音频处理器155以传统方式从视频/音频信号156a的相应部分获取画面信息，增强型音频处理器157从视频/音频信号156a的相应部分获取音频信息。

缩放、摇摄/倾斜功能控制器154对用观看者接口和遥控器180以传统方式产生的信号180a进行响应。控制器154产生向视频处理器155施加的信号154a。视频处理器155根据经由接口和遥控器180进行的观看者的开始命令，以传统方式应用传统视频显示器159中的传统缩放或摇摄/倾斜功能。视频处理器155产生用于驱动视频显示器159的输出视频信号155a。

图3a和3b中的每一个示意性地示出了图2的***150的一对摄像机152的顶视图，所述一对摄像机分别被安装在图3a和3b的显示屏幕106的左右侧周围。图1a-1c、2、3a和3b中的相似的符号和数字表示相似的项目或功能。图3a和3b的摄像机共同提供立体画面信息，使得用于感测观看方向151的传统处理器能够感测观看者160的观看方向161。在图3a的示例中，观看角度方向161与视频显示器159的显示屏幕106相垂直。另一方面，图3b的实例中的观看角度方向161射向显示屏幕106的最右侧。

图2的摄像机152产生一对输出信号152a，将所述信号应用到用于感测观看方向151的处理器，以便感测图3a和3b的观看者160的面部、头部或眼睛相对于显示屏幕106的位置中的至少一个。可以使用单个立体摄像机，而非一对摄像机152。此外，可以使用能够增强处理面部或眼睛的运动检测的非立体单个摄像机，而不是所述一对摄像机152。用于感测图2的观看方向151的处理器以传统方式产生输出信号151a，输出信号151a表示图3a和3b的观看者160的当前观看方向。

在实施发明特征时，图2的缩放、摇摄/倾斜功能控制器154对输出信号151a进行响应，以便产生控制信号154a。将在控制器154中产生的控制信号154a应用于视频处理器155，从而产生动态跟踪摇摄/倾斜功能。

除了下文所述的内容，图5a和5b分别与图1b和1c相似。为了进行描述，图5a和5b中的每个示出了延伸通过屏幕中心110的水平线110a。图4a、4b、4c和4d整体描述方向161a1、方向161a、方向161b1、方向161b、方向161a’和方向161b’。例如，方向161a1、161a、161b1、161b、161a’和161b’中的每一个分别穿过沿着例如图5a和5b的水平线110a水平方向布置的点161a1、点161a、点161b1、点161b、点161a’和点161b’。在图5a和5b中，省略了交点161a1和161b1。附图1a-1c、2、3a、3b、4a-4d、5a和5b中的相似符号和数字表示相似的项目或功能。

在图4a中，开始时，以与参考图1b或5a所述的方式，对画面100进行中心缩放。假设当如图4a所示在开始时对画面100进行中心缩放时，显示在图5a的可视部分105a内的显示屏幕106中的对象(未示出)沿平行于水平线110a的水平方向向平面106的侧边111运动，所述侧边111处于图4a、4b、4c和4d中的每一个的右侧。此外假设当对画面100进行中心缩放时，观看者160将头部或眼睛转向图4a的右侧，其中所述右侧相对于观看者160位于左侧，以便例如跟随所述运动对象。

只要观看者160的观看角度方向在小于阈值角度方向161a的角度范围内，则不应用或禁用动态跟踪摇摄功能。当观看者160观看角度方向穿过图4b的阈值角度方向161a时，或换言之，当观看者160观看角度方向与阈值角度方向161a之间的差改变极性(polarity)时，则应用动态跟踪摇摄功能，以便以较慢的第一速率将画面100逐渐移位到图4b的左侧。

在实施发明特征时，在穿过阈值角度方向161a之后，且只要观看者160观看角度方向保持大于滞后提供阈值角度方向161a1的角度方向，同样应用动态跟踪摇摄功能，使得画面100附加地相对于观看者160移位到右侧，也就是向图4b的左侧移位，如箭头173的方向所示。阈值角度方向161a1略小于用于提供滞后的角度161a，有利地，该角度防止画面前后跳动。

在实施附加发明特征时，当观看者160观看角度方向变为大于图4c的阈值角度方向161b时，或换言之，当观看者160观看角度方向和阈值角度方向161b之间的差改变极性时，有利地，以比在角度方向161a1和161b之间的范围内时更快的速率继续附加移位。类似于上述阈值特性，在穿过阈值161b之后，将以相对较快的速率移位画面100，只要观看者160保持大于阈值角度方向161b1的观看角度方向。阈值角度方向161b1略小于阈值角度方向161b，从而提供滞后。在观看者观看角度变得小于滞后提供阈值角度方向161b1，但大于图4b的阈值角161a1的情况下，对画面100的附加移位应恢复为较慢速率，在穿过图4c的阈值角度方向161b之前存在的速率。当观看者160的观看角度方向变得小于图4b的阈值角度方向161a1时，停止画面100的附加移位，并将移位的画面100保持悬置在穿过阈值角度方向161a1之前累积的同一移位或摇摄状态。

例如，作为先前所述的将画面100移动到图4c左侧的移位的结果，观看者160有可能沿相反方向转动头部，即向观看者160的右侧，如图4d所示。阈值角度方向161a’从垂直方向线172向线172的左侧扩展。只要观看者160的观看角度方向在角度范围内，其中所述角度范围小于阈值角度方向161a’，则保持暂停对画面100的移位的任何改变，如上所述。另一方面，在观看者160观看角度方向超过或穿过阈值角度方向161a’的情况下，应沿相反方向应用动态跟踪摇摄功能，以便向图4d的右侧移位画面100，即，相对于观看者160向左移位，或向显示屏幕106的中心110移位，如箭头174所示。如进一步所详述，分别与角度方向161a’和161b’相似地与例如角度方向161a和161b相关的上述特性，其中所述角度方向161a’和161b’位于垂直直线172的左侧。

在实施发明特征时，例如，图4d的阈值角度方向161a’和161b’中的每一个可根据在已经累积且保持悬置画面100向图4c的左侧的附加移位之前所累积的画面100的已有移位量，自适应性地进行改变。

应注意，下文结合图4a-4d所述的特性可对称地应用于对称情况，即，当对画面100进行中心缩放时，显示在图5a的部分105a的显示屏幕106中的对象(未示出)沿着水平线110a运动，而不是向着位于图4a、4b、4c和4d中的每一个的左侧的屏幕106的侧边112移动。例如，在图4a中，角度方向161a’和161b’分别等于角度方向161a和161b。

另一方面，有利地是，以上已结合图4d描述了可应用于该情况的图4d的阈值角度方向161a’和161b’中的每一个的幅度，在存在画面100的已有移位的情况下，角度方向161a’和161b’中的每一个的幅度分别小于图4a。有利地是，该特性促使快速返回到图4a的画面100的未经移位和缩放的中心。

以与动态跟踪摇摄功能相似的方式执行动态跟踪倾斜功能。在执行动态跟踪摇摄功能时，画面移位发生在水平方向，如上所述，而在执行动态跟踪倾斜功能时，画面移位发生在垂直方向。此外，应注意到，代替摇摄/倾斜功能在离散阈值角度方向处改变，摇摄/倾斜功能的改变可以发生在非离散、连续形式的角度方向上。

图5a和5b中的每一个描述了周界261a和周界261b。周界261a在水平线110a的水平方向上包括阈值角度方向161a和161a’。类似地，周界261b包括阈值角度方向161b和161b’。周界261a和261b的每一个的相应部分还包括与画面100垂直方向上的初始移位相关联的阈值角度方向，以便提供动态跟踪倾斜功能。

在图5a中，对画面100进行中心缩放。因此，周界261a和261b相对于中心110在水平方向上是对称的。另一方面，在图5b中，已经对画面100进行预移位。因此，周界261a和261b相对于中心110在水平方向上是非对称的，从而提供自适应性动态跟踪摇摄功能，如上所述。

假设当例如在图5b中移位画面100时，画面100中描述的场景突然改变，使得上述运动对象不再与图3a或3b的观看者160相关。有利地，图2的视频处理器155包括对视频/音频信号156a进行响应的检测器(未示出)，以便检测发生了场景改变，从而产生被耦接到缩放、摇摄/倾斜功能控制器154的复位信号155b，用于推翻所累积的图5b的画面100的移位，从而将画面100设置在中心，如图5a所示。有利地，这种特性促使当发生场景改变时快速返回到图4a的未经移位的中心画面100。

图6描述了被包括在图2的音频处理器157中的控制台300。图1a-1c、2、3a、3b、4a-4d、5a、5b和6中的相似符号和数字表示相似的项目或功能。图6的控制台300接收一对立体音频声道138和139。根据图2的视频/音频信号156a，在音频处理器157中以传统方式得到声道138和139(未示出)。

通过三个并行信号路径将图6的声道138应用到音频混合器304。在延迟器301中进行延迟，以便产生延迟信号301a；在滤波器302中进行滤波以便产生经过滤的信号302a；以及并在混响级303中进行混响，以便产生经混响的信号303a。类似地，通过三个并行信号路径来将声道139施加于音频混合器304’。在延迟器301’中进行延迟，以便产生延迟信号301a’；在滤波器302’中进行滤波以便产生经过滤的信号302a’；以及并在混响级303’中进行混响，以便产生经混响的信号303a’。混合器304将信号301a、302a、303a、301a’、302a’和303a’相结合，以便产生用于驱动扬声器158a的输出信号157a。混合器304a’同样将信号301a、302a、303a、301a’、302a’和303a’相结合，以便产生用于驱动扬声器158b的输出信号157b。如上所述，公知的是处理一对立体声信号(诸如，声道138和139)，使得由诸如158a和158b的扬声器产生的声音向观看者/听众呈现为如同来自相对于真正扬声器实际所在的位置移位后的位置。

有利地是，控制缩放、摇摄/倾斜功能的输出信号154a(如上所述)同样被应用于可编程逻辑阵列(PLA)305，以便产生整体应用于延迟器301、滤波器302、混响级303’和混合器304’的系数集305a。PLA305还产生整体应用于延迟器301、滤波器302、混响级303’和混合器304的第二系数集305b。有利地是，在图6的装置中，系数305a和305b根据信号154a动态改变，以便产生声音源的动态虚拟移位。为了获得相应虚拟声音源移位，系数305a和305b根据图4a-4d的画面100的现有移位，动态地改变。

有利地是，由增强型音频处理器157产生的图2和6的信号157a和157b分别驱动扩音器158a和158b，从而当根据动态跟踪摇摄/倾斜功能动态改变时，使得图4a-4d的观看者160感知在图2的扩音器158a和158b中产生的声音。应注意，这种装置不限于一对扬声器，还可以包括诸如环绕声扬声器等的***。

因此，当所显示的图像由于动态跟踪摇摄/倾斜功能移位时，感知发出声音源的位置同样跟随经移位或缩放的显示图像，以便形成声音的虚拟移位。可以通过根据现有技术的教导的计算和/或通过可能考虑房间包含扩音器157和158的尺寸的实验，在安装或使用之前，对图6的系数305a和305b进行编程，其中所述系数是针对扬声器157和158的每个所选的虚拟移位所需的系数。当信号154a改变时，对图5的系数305a和305b的选择以动态方式改变。

Claims (8)

1.一种视频显示装置，包括：

视频信号源，包含要在显示屏幕上显示的画面的画面信息；

传感器，用于感测观看者相对于所述显示屏幕的观看方向；以及

处理器，对所述传感器的输出信号进行响应并被耦接到所述显示屏幕，以便当所述观看方向沿第一方向穿过第一阈值方向时，将摇摄/倾斜功能应用于所显示的画面，从而相对于所述显示屏幕移位所显示的画面；以及当所述观看方向沿与所述第一方向相反的方向穿过第二阈值方向时，在所述画面中产生改变以便提供滞后。

2.根据权利要求1所述的装置，其中在所述观看方向穿过所述第一阈值方向之前，禁用所述画面移位。

3.根据权利要求1所述的装置，其中在穿过所述第二阈值方向之后并且只要所述观看方向处于数值范围内，则禁用画面移位的附加累积。

4.一种视频显示装置，包括：

视频信号源，包含要在显示屏幕上显示的画面的画面信息；

传感器，用于感测观看者相对于所述显示屏幕的观看方向；以及

处理器，对所述传感器的输出信号进行响应，并被耦接到所述显示屏幕，以便在所述观看方向穿过第一阈值方向之后，将摇摄/倾斜功能应用于所显示的画面，以便沿第一方向以第一速率相对于所述显示屏幕移位所显示的画面；以及在所述观看方向沿所述第一方向穿过第二阈值方向之后，以不同的第二速率进一步沿相同方向移位所显示的画面。

5.根据权利要求4所述的视频显示装置，其中所述第二阈值方向与以下观看方向相对应：比与所述第一阈值方向相对应的所述观看方向更靠近所述显示屏幕的边缘，其中所述第二速率比所述第一速率更快。

6.根据权利要求4所述的视频显示装置，其中所述处理器使得当所述观看方向沿与所述第一方向相反的方向穿过第三阈值方向时，将所述第二速率改变为第一速率，以便提供滞后。

7.一种视频显示装置，包括：

视频信号源，包含要在显示屏幕上显示的画面的画面信息；

传感器，用于感测观看者相对于所述显示屏幕的观看方向；以及

处理器，对所述传感器的输出信号进行响应，并被耦接到所述显示屏幕，以便当所述观看方向处于第一数值范围内时，将摇摄/倾斜功能应用于所显示的画面，以便沿第一方向相对于所述显示屏幕移位所显示的画面；当所述观看方向处于第二数值范围内时停止附加画面移位；以及当所述观看方向穿过第一阈值方向时沿相反方向移位所述画面，其中根据在停止附加画面移位之前累积的画面移位的幅度，来自适应性地调整所述第一阈值方向。

8.一种视频显示装置，包括：

视频信号源，包含要显示在显示屏幕上的画面的画面信息；

传感器，用于感测观看者相对于所述显示屏幕的观看方向；以及

处理器，对所述传感器的输出信号进行响应，并被耦接到所述显示屏幕，以便向所显示的画面应用摇摄/倾斜功能，从而根据所述观看方向移位所显示的画面，所述处理器还对所述画面的内容进行响应，以便响应于所显示的画面内容的改变，改变先前获得的画面移位。