CN1381131A - 自动家庭视频制作摄像机－录像机 - Google Patents

Abstract

一种便携式摄像机控制***利用图像和音频内容信息来控制摄像机的取向。在最佳实施例中提供一种组合式便携摇摄－俯仰装置,它配置成安放常规的摄像机－录像机。控制***从摄像机－录像机接收音频和视频信息,并且向摇摄－俯仰装置提供摇摄和俯仰命令以使摄像机－录像机恰当地定向。如果摄像机－录像机具有可控变焦距,则控制器还根据对所述图像和/或音频内容的分析提供变焦命令来调整摄像机－录像机的视场、以便良好地对图像取景。最佳***允许按需要对摄像机遥控和直接控制,并且可配置成根据图像内容提供自动跟踪。摄像机控制***还包括一个和多个基于知识的***和学习***,以便按照专业摄像机操作员的技术来调节摄像机的控制。

Description

自动家庭视频制作摄像机-录像机

本发明涉及视频***领域，更具体地说，涉及便于自动视频录制的摄像机-录像机(camcorder)的控制。

市面上有一些摄制录像的***，这些***包括摇摄/俯仰/变焦距摄像机的遥控装置，使得用户/操作者在出现于捕获的摄像机图像中时免于控制摄像机。在典型的摄制过程中，用户是正在录制的事件的“解说者”，并且利用遥控装置使摄像机重新定向、从而指向所需场景。在此方式中，用户能够制作录像，而不需要他人帮助操作摄像机。

1995年7月11日颁发的、题为“用于跟踪遥控装置和定位及操作摄像机的遥控跟踪***和方法”的美国专利5432597公开了一种还包含跟踪功能的遥控摄像机***，将该专利通过引用合并于此。所引用的专利公开了一种扫描一定区域的红外线发射器以及一种与解说者相联系的红外探测器，后者在接收到红外信号时向摄像机控制器发送信号。红外探测器可包含在解说者用来控制摄像机的遥控装置中，或者也可以由解说者来佩带。当摄像机控制***切换到跟踪方式时，连续调整摄像机，使得其视场沿着与红外探测器的位置对应的视线。摄像机取向的改变速率可加以限制，而且控制可以配置成在没有跟踪发出信号的间隙期间维持改变的速率和方向。所引用的专利还公开了使用遥控命令或自动顺序来存储和检索摄像机设置以返回先前的视场的功能。1995年6月19日登记的题为“遥控装置与图像拾取***”的日本特许公报JP 09009365 A公开了一种在遥控装置内包括移动检测器、并且提供与所检测的移动对应的摄像机定向命令的遥控***。

这些先有技术装置都基于这样的前提来工作：个人、即持有遥控装置的人是录制的主要对象或者是确定要录制的场景的主要指导者。这就要求指定这样的人，并且要求此人投入较多的注意力来指导录制。尽管配有主解说者或导演对于专业或半专业的录制来说是很平常的，但是在许多情况下可能更需要无人参与的录制。例如，在家庭庆祝会上，由于庆祝会参与者和摄像机指导者之间的角色划分，被指定负责录制的人要么无法自由地参与庆祝会，要么无法很好地指导录制。另外，被指派为摄像机指导者的人可能不是该领域的专业人员，最终录制的图像可能无法充分地捕捉事件，并且可能由于摄像机的快速移动、镜头的改变等而实际上并不适于观赏。再者，在某些场合、如婚礼中，摄像机操作员的来回移动可能造成干扰。

本发明的一个目的是提供一种便于录制***无人参与地工作的摄像机自动***。本发明的另一个目的是提供一种摄像机控制***，它按照专业摄像机操作员所知的录制技术来控制摄像机。本发明再一个目的是提供录制事件而又允许改变镜头和图像的不引人注意的装置。

这些及其他目的可通过提供一种利用图像和音频内容信息来控制摄像机取向的摄像机控制***来实现。在一个最佳实施例中，提供一种组合式的便携摇摄-俯仰装置，将其这样配置以便安放常规摄像机-录像机。控制***从摄像机-录像机接收音频和视频信息，并向摇摄-俯仰装置提供摇摄和俯仰命令以使摄像机恰当地定向。如果摄像机-录像机具有可控变焦，则根据对图像和/或音频内容的分析，该控制器还提供变焦命令来调整摄像机的视场，以便良好地构建图像。一种优选***允许按需要遥控和直接控制摄像机，并且可以配置成根据图像内容提供自动跟踪。摄像机控制***还包括一个或多个基于知识的***和学习***，它们可与专业摄像机操作员的技能相一致地调整摄像机的控制。

下面参考附图，以举例的形式对本发明予以详细说明，附图中：

图1图解说明根据本发明的摄像机控制***的实例方框图。

图2图解说明根据本发明的摄像机控制***的实例流程图。

对于各个附图，相同参考标号表示类似或对应的特征或功能。

图1说明根据本发明的摄像机控制***100的实例框图。摄像机控制***100包括配置成根据从视场控制器170接收的命令控制摄像机110的取向的基座装置130。如同在常规摄像机控制***中一样，遥控装置180允许用户直接向视场控制器发送命令来控制摄像机的取向。在优选实施例中，基座装置130被配置成允许摄像机110单独地或组合地进行垂直旋转(俯仰)和水平旋转(摇摄)，使得它可以按照需要来定向。这些取向改变通过向电动机发送启动命令来实现，电动机实现摄像机在所需旋转平面中的旋转。如果摄像机110具有可控制和可调节的变焦距，则控制器170可以通过推拉镜头启动命令来按需要调节摄像机的焦距，从而得到所需的视场。也就是说，摄像机的视场由通过摇摄和俯仰控制而调节的摄像机110的视线和通过变焦控制提供的放大率来确定。

根据本发明，摄像机控制***100还包括图像处理***150和/或音频处理***160。图像处理***150和音频处理***160通过向视场控制器170提供参数、以便根据来自摄像机110的图像或音频信息中包含的信息来控制摄像机110，从而实现对摄像机110的无人参与的控制。在最佳实施例中，这种无人参与的控制根据通过摄像机取景器观察场景时接收的图像和声音来模拟摄像机操作人员可能执行的操作。例如，摄像机操作人员一般会将镜头拉远来捕捉全景，将镜头推近来捕捉单个讲话者，使用摇摄来跟踪选择个体或群体等。专业摄像机操作员会避免突然移动摄像机，通过拉远镜头使摄像机的前后移动减至最小，以及采用其他技巧来产生看上去有感染力的结果，使得好的视频录制品区别于品质差的录制品。

图像处理***150对来自摄像机110的图像进行分析，从而向控制器170提供图像信息参数。这些参数取决于控制器170内所采用的算法的信息要求。最佳实施例中的控制器170包括，例如，形象瞄准和跟踪***，它通过向基座装置130和摄像机110发送命令来锁定摄像机的视场内的目标形象。为了实现这种瞄准和跟踪功能，控制器170需要确定摄像机视场内各个形象、或者各个主要形象的位置和大小。此***中的图像处理***150利用例如肤色识别处理等来识别来自摄像机110的图像中的各个形象，并且将位置和大小参数提供给控制器170。随着图像处理技术不断改进，图像处理***150还配置成按控制器170的算法需要来提供其他相关的图像信息，如各个形象的估算“世界”坐标、各个形象的估算物理大小、各个移动形象的估算速度以及其他估算值。

虽然为了便于理解按照包含分开的部件来进行图解说明，但是摄像机控制***100的最佳实施例是一种便携式装置，它包括基座装置130、图像处理***140、音频处理***160以及视场控制器170。这种便携式装置配置成常规摄像机-录像机可安装于其上的摄像机“附件”。如果摄像机-录像机不包含立体声音频***，或者如果发现摄像机-录像机的音频***所提供的辨别力不足以使声音隔离和定位，则如以下所讨论的，设置同样可安装在基座装置130上的组合式音频***120。通过配置这种便携式装置，用户可将该装置放置在任何方便的位置，并且对此位置提供的可能视场内的事件启动无人参与的录制。

正如对本领域的普通技术人员显而易见的，图像处理***150还可以提供除形象标识以外的其他图像信息。例如，在为无人参与的家庭视频录制而配置的***中，图像处理***150可配置成区别和报告餐桌的位置、座位安排以及其他常见的焦点。类似地，在为特殊事件的无人参与的录制而配置的***中，图像处理***150可配置成识别和报告区别性项目的位置，所述项目是例如录制足球赛时代替肤色的足球服，录制狗表演时取代人物形象或除人物形象之外的动物形象，录制快艇赛时帆的形状等。

在本发明的最佳实施例中，图像处理***150包括姿态识别***，后者被配置成识别摄像机视场内的多种预定义的可见姿态中的一种或多种。这种姿态识别可以结合音频处理***来工作，使得用户通过声音关键字、如“摄像机！”来启动姿态识别处理，然后指着摄像机要摇摄的方向，或者指向摄像机要跟踪的个体，或者提供驱使摄像机启动或终止其他动作的姿态。在识别出某个姿态后，图像处理***150将信息参数提供给控制器170以实现对应于特定姿态的适当动作。正如对本领域的技术人员显而易见的，图像处理***还可配置成响应识别出的姿态、直接采取适当的动作、从而控制摄像机控制***100中的任何或所有的部件。或者，视场控制器170或其他处理装置可以提供姿态识别功能，而图像处理***150可仅区分选择的身体部分、如手臂的位置，并且向用于姿态识别控制的适当装置报告。

音频处理***160根据从音频***120接收的音频信号、执行与图像处理***150类似的辨别和定位功能。音频***120可集成到摄像机110或基座装置130中，或者可以作为安装到基座装置130上的分立部件。最好是，音频***包括两个或两个以上的传声器122、124，以便可以通过本领域中常见的微分音量和相位分析技术来确定声源的位置。声源辨别技术也是本领域中常用的，处理***160用它来区分和定位多个同时出现的声源。相关参数、如所接收的音量等级、各个声源的“世界”坐标、移动声源的速率以及其他音频信息参数，视场控制器170用来为摄像机110确定适当的后续视场。

在本发明的最佳实施例中，音频处理***160包括语音识别***，后者被配置成识别音频信号内的多种预定义的语音模式中的一种或多种。如上所述，音频处理***160可配置成识别启动关键字、如“摄像机！”，并且作为响应，向图像处理***150提供信号以启动前述的姿态识别处理。同时，该关键字可启动识别其他关键字，如“左”、“右”、“推近”、“拉远”、“跟踪”、“终止”等。在不含有被识别的关键字的预定间隔之后，自动终止该识别处理。利用这种受控制的启动和终止处理，使得控制***100不会受到所接收的语音信号中随机出现的关键字的无意的“控制”。语音识别处理可能在语音处理***和视场控制器之间是分开的，所以常规语音处理装置可用于音频处理***160中，而控制器170中可采用针对摄像机控制***100的控制的关键字识别处理。在本实施例中，音频处理***持续地向控制器170提供所接收的语音信号的“转录本”，一旦收到转录本内的关键字词，控制器170就启动并控制关键字识别处理。语音识别***可以结合或独立于姿态识别***来使用，从而进一步帮助处理用于控制摄像机***100的用户指示。

视场控制器170利用来自图像处理***150的图像信息参数和来自音频处理***160的音频信息参数，根据这些信息参数来确定取向或透视的改变是否合适。图2图解说明根据本发明的摄像机控制***的实例流程图。此流程图是为图解说明而提供的，并不意味着它是所述特征的详尽表示，根据本公开、本领域的技术人员可以将其合并。所示为一种包括两个并行处理、即图像信息处理220-228和音频信息处理240-246的连续处理过程。

该处理起始于210，此时摄像机处于提供分别在220和240被转换成图像信息和音频信息的图像和声音的取向。在222，图像信息经处理，识别出各个形象和形象的聚类。例如，图1的图像处理***150提供与当前图像中各个形象有关的参数，控制器170处理这些参数，根据该形象相对于其他形象的位置来识别关键形象，并且根据它们彼此的空间关系来识别形象的聚类。图2中未示出，关键形象和聚类处理222可以利用音频信息和讲话者的身份来帮助识别处理，下面将予以讨论。如上所述，音频处理过程还可以提供启动图像处理***中的姿态识别处理的关键字识别处理。在224，如果检测到命令姿态，则在254，或者直接地或者通过在250确定新的取向参数来执行适当的命令。同时，处理音频信息，根据来自一个讲话者的音频信息来识别相对于其他讲话者的主要讲话者，并且在224识别其他讲话者或讲话者聚类。如果在244提供了前述的语音命令，则在254，或者直接地或者通过在250确定新的取向参数来执行命令。为便于参考，此处所用的术语“取向”包括摇摄、俯仰控制或者实现所需视场的设置。

如果在224没有提供命令姿态，则在226继续进行图像信息处理。如果在226未识别出任何形象聚类，则启动摇摄或者在226继续查找包含某一形象的图像。出于本公开的需要，聚类包括摄像机视场内的单个和多个形象。在226的摇摄程序利用经处理的音频信息和讲话者标识来确定摇摄的最佳方向。也就是说，例如，如果音频信息表明在摄像机右侧的区域检测到语音，则在256启动摇摄，将摄像机转向到右边。图中未说明，但如果摄像机的俯仰度使在256的摇摄将摄像机定向成不适合形象检测，则自动调整俯仰度，从而为扫描该区域的摇摄操作提供基本水平的视场。如果在228查找到多个形象聚类，则利用图像和音频信息来确定选择哪个聚类作为聚焦聚类。例如，如果一个聚类特别活跃或特别喧嚣，则最好将该聚类选为聚焦聚类。利用本领域中的常用技术、如加权取样，可以使选定的各个聚类的似然性由多种因素决定，如音量、活跃程度、自最后选定此聚类起的时间、形象是否都朝着中心点等。如果在228找到单个聚类，则不需要聚类选择。

在259，利用与所选聚类相关联的图像和音频信息来“框定”此聚类或单个聚类。例如，起初整个聚类在摄像机视场内居中。此后，如果从聚类内的特定点发出声音，则向着该声音调整摄像机的取向，并且使视场收窄，从而放大环绕主要声源的区域。在本发明的最佳实施例中，还利用定向传声器，使得可以对应于变焦设置来拓宽和收窄音频接收范围。如果聚类内仅有一个声源，则利用固定图像取景(established image framing)技术对该声源所对应的形象取景。例如，最好这样对单个讲话者取景，使得图像包含上部躯干的一部分、整个头部(包括任何头饰)，外加头部上方的空间。如果声音在形象之间转移，则扩大视场并且使之居中，以便包括所有正在讲话的形象。

用于对聚类和形象取景的规则或指令最好存储在图1所示的基于知识的***275中。在最佳实施例中，基于知识的***275还包括用于根据现有知识库和其他因素、通过重放先前的录制品、以及用户就控制器270采取的各个行动的适当性的反馈来更新这些规则的学习***。最佳的基于知识的***275中还包括关于保持向讲话者推近的时间，使某聚类维持为选定聚类的时间等的指令和规则。还设置规则以控制焦点的变化。例如，设置这样的规则，要求在聚类改变之前完全拉远摄像机，或者对于此类改变引入淡出效果。类似地，可以设置这样的规则，使得在预定的时间段之后、或者在指定的不活动期间之后终止图像的录制等。同样地，在控制***摇摄以查找其他聚类、其他主要讲话者等时，可以暂时中止录制。在最佳实施例中，设有用户控制，以便针对不同类型的事件来调用特定的规则集。例如，有这样一种规则集是为录制特定类型的体育事件而创建的，另一种规则集是用于录制家庭聚会的，再一种规则集是用于录制戏剧表演的，等等。

如上所述，图1的控制器170的最佳实施例还包括图像跟踪功能。除根据图像和音频信息将主要讲话者保持在摄像机视场的中央部分外，控制器170还可设置在跟踪方式，其中，在跟踪期间，持续跟踪识别的形象，而忽略其他形象或声音的出现。即，例如，如果某用户希望填补特定事件的解说员形象，则该用户可以将控制***100设置成跟踪方式，并且将他或她本身定为跟踪目标。此后，用户就可以按需要移动到不同位置，而摄像机的视场会自动调整以使用户留在每幅图像中，除非另外指定。如以上所讨论的，用来跟踪或另外指定摄像机的命令可通过关键字或姿态发出，或者通过常规的遥控装置发出。最佳实施例中的前述规则集也包括对应于不同跟踪方式的选项。例如，在解说员方式下，取景规则可指定摄像机的取向，使得解说员总会远离所捕捉的图像帧的某一边。在其他跟踪方式下，这些规则可指定摄像机的取向，以便使跟踪的形象在所捕捉的图像帧内居中。

在250处理来自命令框254、摇摄框256或取景框259的适当取向要求，以便确定所需要的摄像机和基座装置的取向参数，从而得到所需的摄像机视场。在210，利用这些参数来为摄像机定向。

前述内容仅说明了本发明的原理。因此，应当明白，本专业的技术人员能够设计虽然此处未明确地描述或表示、但是体现本发明原理、因而在以下权利要求书的精神和范围之内的各种方案。

Claims (20)

1.一种用来控制摄像机(110)的视场的便携式摄像机控制***(100)，它包括：

下列部分中的至少一种：

图像处理***(150)，它配置成从所述摄像机(110)接收并处理对应于所述摄像机(110)的所述视场的图像、从而提供图像信息参数，以及

音频处理***(160)，它配置成接收和处理对应于所述摄像机(110)的所述视场的音频信号、从而提供音频信息参数，

视场控制器(170)，它与所述图像处理***(150)和所述音频处理***(160)中的至少一个在工作时相连，配置成根据所述图像信息参数和所述音频信息参数中的至少一个来实现所述摄像机(110)的所述视场的改变。

2.如权利要求1所述的便携式摄像机控制***(100)，其特征在于还包括：

基座装置(130)，它配置成容纳所述摄像机(110)的固定附属装置，

所述基座装置(130)包括至少一个取向电动机，该电动机与所述视场控制器(170)在工作时连接，从而引起所述摄像机(110)的所述视场的改变。

3.如权利要求1所述的便携式摄像机控制***(100)，其特征在于：它还包括提供遥控定向命令的遥控装置(180)；其中所述视场控制器(170)还配置成根据所述遥控定向命令来改变所述摄像机(110)的所述视场。

4.如权利要求1所述的便携式摄像机控制***(100)，其特征在于：所述图像处理***(150)包括姿态识别***，后者配置成根据所述摄像机(110)的所述视场内的多个预定义可见姿态中的一种或多种姿态的识别、提供一个或多个所述图像信息参数。

5.如权利要求1所述的便携式摄像机控制***(100)，其特征在于：所述音频处理***(160)包括语音识别***，后者配置成根据所述音频信号内的多个预定义的语音模式中的一个或多个模式的识别、提供一个或多个所述音频信息参数。

6.如权利要求1所述的便携式摄像机控制***(100)，其特征在于所述视场控制器(170)包括下列配置成帮助确定视场改变的***中的至少一种：专家***、基于知识的***(175)、基于规则的***以及学习***。

7.如权利要求6所述的便携式摄像机控制***(100)，其特征在于：

所述至少一种专家***、基于知识的***(175)、基于规则的***以及学习***包含多个指令集，每个指令集根据所述图像信息参数和所述音频信息参数来帮助确定所述视场的改变，

所述视场控制器(170)配置成允许选择所述多个指令集中的某个指令集、供确定所述视场的改变使用。

8.一种控制便携式摄像机(110)的视场的方法，它包括下列步骤中的至少一个：

从所述便携式摄像机(110)接收和处理对应于所述便携式摄像机(110)的视场的图像(220)、从而提供图像信息参数，以及

接收和处理对应于所述便携式摄像机(110)的所述视场的音频信号(240)、从而提供音频信息参数，以及

根据所述图像信息参数和所述音频信息参数中的至少一种来实现(250)所述便携式摄像机(110)的所述视场的改变。

9.如权利要求8所述的方法，其特征在于：实现(250)所述便携式摄像机(110)的所述视场的改变是通过改变摇摄取向、俯仰取向以及变焦距设置中的至少一种。

10.如权利要求8所述的方法，其特征在于还包括接收遥控定向命令，其中实现所述便携式摄像机(110)的所述视场改变还根据了所述遥控定向命令。

11.如权利要求8所述的方法，其特征在于还包括处理(224，244)所述图像和所述音频信号中的至少一种，从而根据对以下各项中至少一项的识别来提供对所述便携式摄像机(110)的控制：

所述便携式摄像机(110)的所述视场内的多个预定义的可见姿态中的一种或多种，以及

所述音频信号内的多个预定义的语音模式中的一种或多种。

12.如权利要求8所述的方法，其特征在于实现(250)所述便携式摄像机(110)的所述视场的改变包括利用配置成帮助确定所述视场改变的下列***中的至少一种：专家***、基于知识的***(175)，基于规则的***以及学习***。

13.如权利要求12所述的方法，其特征在于：

所述至少一种专家***、基于知识的***(175)、基于规则的***以及学习***包含多个指令集，每个指令集根据所述图像信息参数和所述音频信息参数来帮助确定所述视场的改变，以及

所述方法还包括选择所述多个指令集中的一种指令集、供确定所述视场的改变使用。

14.一种配置成安放手持式摄像机-录像机的便携式基座装置(130)，所述便携式基座装置(130)包括：

至少电动机，它配置成根据相应的电动机启动信号的接收、在至少一个旋转平面上调整所述摄像机-录像机的取向，

下列部分中的至少一种：

图像处理***(150)，它配置成从所述手持式摄像机-录像机接收和处理对应于所述手持式摄像机-录像机的视场的图像、从而提供图像信息参数，以及

音频处理***(160)，它配置成接收和处理对应于所述手持式摄像机-录像机的所述视场的音频信号、从而提供音频信息参数，

视场控制器(170)，它与所述图像处理***(150)和所述音频处理***(160)中的至少一种在工作时连接，配置成根据所述图像信息参数和所述音频信息参数中的至少一种、通过所述电动机启动信号来实现所述手持式摄像机-录像机的所述视场的改变。

15.如权利要求14所述的便携式基座装置(130)，其特征在于：所述视场控制器(170)根据摇摄取向、俯仰取向以及变焦距设置中至少一种所需要的改变的确定来产生所述电动机启动信号。

16.如权利要求14所述的便携式基座装置(130)，其特征在于还包括：

提供遥控定向命令的遥控装置(180)，以及

其中所述视场控制器(170)还配置成根据所述遥控定向命令改变所述手持式摄像机-录像机的视场。

17.如权利要求14所述的便携式基座装置(130)，其特征在于：所述图像处理***(150)包括姿态识别***，后者配置成根据所述手持式摄像机-录像机的所述视场内的多种预定义的可见姿态中的一种或多种姿态的识别、提供一个或多个所述图像信息参数。

18.如权利要求17所述的便携式基座装置(130)，其特征在于：所述音频处理***(160)包括语音识别***，它配置成根据所述音频信号内的多个预定义的语音模式中的一个或多个的识别、提供一个或多个所述音频信息参数。

19.如权利要求17所述的便携式基座装置(130)，其特征在于所述视场控制器(170)包括下列配置成帮助确定所述视场的改变的***中的至少一种：专家***、基于知识的***(175)、基于规则的***以及学习***。

20.如权利要求19所述的便携式基座装置(130)，其特征在于：

所述至少一种专家***、基于知识的***(175)、基于规则的***以及学习***包含多个指令集，每个指令集根据所述图像信息参数和所述音频信息参数帮助确定所述视场的改变，

所述视场控制器(170)配置成允许选择所述多个指令集中的某个指令集、供确定所述视场改变使用。

Images