CN109257559A - 一种全景视频会议的图像显示方法、装置及视频会议*** - Google Patents

Abstract

本发明公开了一种全景视频会议的图像显示方法、装置及视频会议***，其中全景视频会议的图像生成方法包括如下步骤：用于使用全景摄像机获取会议现场的全景视频数据；对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。通过使用鱼眼摄像机等全景摄像机获取会议现场的全景视频数据，解决了现有技术中的视频会议***的结构较为复杂的问题，同时，还可通过人形检测得到全景视频数据中各个视频帧的人形坐标信息，实现全景视讯中的特定显示，实现成本较低。

Description

一种全景视频会议的图像显示方法、装置及视频会议***

技术领域

本发明涉及视频通信技术领域，尤其涉及到一种全景视频会议的图像显示方法、全景视频会议的图像显示装置、视频会议***和计算机可读存储介质。

背景技术

随着摄像机和网络技术的发展，使得远程实时视频会议成为可能，现有视讯会议***支持音频和视频的同步传输功能，可将会议现场的音视频信号发送至远离会议现场的音视频播放器上，从而帮助远程与会人员参与或旁听会议。以往的视讯会议多采用单幅图像的平铺显示方式，这种方式的视频没有景深效果，而且难以获得发言人的近距离正面图像，使得视讯会议的实时互动效果大打折扣。为使得视讯会议现场能够进行全景显示，往往需要多台摄像机进行不同角度的拍摄，同时，将所拍摄的图像在视频显示器上进行切换显示，或者采用一台或多台摄像机聚焦某一会议参与人进行特定画面显示。然而，采用多台摄像机切换或特定显示时，虽然达到了全景视讯的效果，但是这种方式需要多台摄像机和专门的操作人员来完成，大大增加了视讯会议的成本和复杂度。

发明内容

因此，本发明要解决的技术问题在于解决现有技术中的实现全景视讯的视频会议***的结构复杂，成本较高的问题，提供一种基于全景摄像机的能够进行特定显示的图像显示方法、装置及视频会议***。

为此，根据第一方面，本发明提供了一种全景视频会议的图像生成方法，包括如下步骤：使用全景摄像机获取会议现场的全景视频数据；对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息；根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

可选地，全景视频会议的图像生成方法还包括如下步骤：使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

可选地，全景视频会议的图像生成方法还包括如下步骤：对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。

根据第二方面，本发明还提供了一种全景视频会议的图像生成方法，包括如下步骤：接收会议现场的全景视频数据；接收全景视频数据中某一移动人体的动作信息；动作信息包含移动人体在全景视频数据的不同视频帧中的人形坐标信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

可选地，全景视频会议的图像生成方法还包括如下步骤：接收主讲人位置信息；主讲人位置信息为全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

可选地，全景视频会议的图像生成方法还包括如下步骤：将全景视频数据以及全景视频数据中某一移动人体的动作信息中的时间戳对齐。

根据第三方面，本发明还提供了一种全景视频会议的图像生成装置，包括：视频信息获取模块，用于使用全景摄像机获取会议现场的全景视频数据；人形检测模块，用于对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息；动作信息获取模块，用于根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；第一图像生成模块，用于根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

可选地，全景视频会议的图像生成装置还包括：声源定位模块，用于使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；主讲人第一定位模块，用于根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；第二图像生成模块，用于根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

可选地，全景视频会议的图像生成装置还包括：主讲人第二定位模块，用于对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。

根据第四方面，本发明还提供了一种全景视频会议的图像生成装置，包括：视频信息接收模块，用于接收会议现场的全景视频数据；动作信息接收模块，用于接收全景视频数据中某一移动人体的动作信息；动作信息包含移动人体在全景视频数据的不同视频帧中的人形坐标信息；第三图像生成模块，用于根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

可选地，全景视频会议的图像生成装置还包括：主讲人信息接收模块，用于接收主讲人位置信息；主讲人位置信息为全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；第四图像生成模块，用于根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

根据第五方面，本发明提供了一种视频会议***，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述第一方面的全部或部分方法，或者执行上述第二方面的全部或部分方法。

根据第六方面，本发明提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面的全部或部分方法的步骤，或者实现上述第二方面的全部或部分方法的步骤。

本发明实施例提供的技术方案，具有如下优点：

1、本发明提供的全景视频会议的图像生成方法，包括如下步骤：用于使用全景摄像机获取会议现场的全景视频数据；对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。通过使用鱼眼摄像机等全景摄像机获取会议现场的全景视频数据，解决了现有技术中使用多台摄像机进行不同角度的拍摄，从而获取全景视频数据的视频会议***的结构较为复杂的问题；同时，通过人形检测得到全景视频数据中各个视频帧的人形坐标信息，并通过各个视频帧中某一人体的人形坐标信息的变化情况得到该人体是否为移动人体，并将会议现场中的移动人体在各个视频帧中的人形坐标信息作为其动作信息，则根据动作信息在全景视频数据中的各个视频帧截取该移动人体的图像时，就能聚焦生成会议现场中移动人体的视频图像，从而实现全景视讯中的特定显示，实现成本较低。

2、本发明提供的全景视频会议的图像生成方法，还包括如下步骤：使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。通过使用麦克风阵列对会议现场的声源进行定位得到声源位置信息，而会议现场中的声源位置一般即为主讲人位置，再截取全景视频数据各个视频帧中声源位置处的视频图像，就能够生成会议现场的主讲人的视频图像，从而，能够实现全景视讯中的主讲人特定显示，丰富该全景视频会议的图像生成方法的特定显示功能。此外，将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息，即通过声源坐标信息和人形坐标信息实现主讲人位置的双重地位，能够防止仅通过声源坐标信息定位主讲人位置时，会议现场的非人体声源也会被当成主讲人的问题的产生，提高了主讲人的定位精度。

3、本发明提供的全景视频会议的图像生成方法，对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。通过对全景视频数据中各个视频帧进行人脸检测，并将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息，即通过声源坐标信息和人脸坐标信息实现主讲人位置的双重地位，能够防止仅通过声源坐标信息定位主讲人位置时，会议现场的非人体声源也会被当成主讲人的问题的产生，还能够防止将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息，而人体被障碍物遮挡时，无法准确确定主讲人位置的问题的产生，进一步提高了主讲人的定位精度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例1提供的一种全景视频会议的图像生成方法的方法流程图；

图2和图3为视频图像输出模式的具体示例图；

图4为实施例2提供的一种全景视频会议的图像生成方法的方法流程图；

图5为实施例3提供的一种全景视频会议的图像生成装置的结构示意图；

图6为实施例4提供的一种全景视频会议的图像生成装置的结构示意图；

图7为实施例5提供的一种视频会议***的硬件结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例1

本实施例提供了一种全景视频会议的图像生成方法，如图1所示。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该流程包括如下步骤：

步骤S100，使用全景摄像机获取会议现场的全景视频数据。在本实施中，使用鱼眼摄像机获取会议现场的全景视频数据，并且，该全景视频数据为矫正处理后的视频数据。

步骤S200，对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息。在本实施例中，可以使用OpenCV或者AdaBoost等算法进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息，在具体实施例中，人形坐标信息为一个包含人形的矩形框的坐标信息，具体地，人形坐标信息为包含人体的矩形框在全景视频数据坐标系中的坐标。

步骤S300，根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息。在本实施例中，通过检测到的人形的头肩比例或者人形的形状区别不同的人体。在本实施例中，通过比较同一人体在不同视频帧中的人形坐标信息是否变化判断该人体是否为移动人体，具体地，当同一人体在不同视频帧中的人形坐标信息不断变化时，该人体为移动人体，该移动人体在各个视频帧中的人形坐标信息即为该移动人体的动作信息；当同一人体在不同视频帧中的人形坐标信息不变或者基本不变时，该人体不是移动人体。

步骤S400，根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。在本实施例中，通过动作信息中包含的移动人体在各个视频帧中的人形坐标信息，截取对应视频帧人形坐标信息处的图像，从而生成移动人体的视频图像。

在本实施例中，终端的用户可以根据自己的需要对本地输出的视频画面进行自主的选择。具体地，用户可以选择以画中画的方式(一个大画面加一个小画面)来显示视频图像，如图2所示，画中画其中的大画面可选择显示会议现场的全景画面，而小画面则可选择会议现场中移动人体的聚焦画面，即新进入会议室的人员移动跟踪画面；当然，如图3所示，用户也可以选择大画面显示会议现场中移动人体的聚焦画面，小画面则显示会议现场的全景画面。

需要说明的是，上述方法为视频会议***中的数据采集终端同时作为图像输出终端时的数据处理方法流程，而当数据采集终端不进行图像输出时，则直接在执行步骤S100～步骤S300后，将全景视频数据和某一移动人体的动作信息发送到视频播放终端，视频播放终端根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。在本实施例中，在进行数据发送之前，需要对全景视频数据进行视频编码，具体地，视频编码的编码格式可以为各种编码格式，例如，H.263，H.264，H.265，MPEG-4，VP8等，并对动作信息也进行必要的编码，在本实施例中，进行视频编码的全景视频数据和进行人形检测的全景视频数据可以为同一份数据，即视频检测和视频编码可以串行处理，也可以为两份不同的数据，即视频检测和视频编码也可以并行处理，具体是同一份数据还是两份不同的数据可视数据采集终端的芯片的能力而定，若数据采集终端的芯片运算能力足够，人形检测工作带来的时延极小，则可使用同一份数据来串行处理检测和编码；若数据采集终端的芯片在人形检测时会带来较大时延，则使用两份数据分别来进行检测和编码。

在本实施例中，可以在同一个信道上将编码后的全景视频数据和动作信息打包发送至视频播放端，也可以在一个信道上将编码后的全景视频数据发送至视频播放端，在另一信道上将编码后的动作信息发送至视频播放端；当在同一个信道上将编码后的全景视频数据和动作信息发送至视频播放端时，需要将编码后的全景视频数据和动作信息的组合以时间戳(time-stamp)为基准进行对齐。在本实施例中，全景视频数据的打包传输采用标准视频会议的打包传输协议，以最大化兼容各种传统的视频会议终端和实体，使得数据采集终端既可以与支持特定画面显示的视频播放端执行本实施例中的方法进行远程实时视频会议，从而实现特定画面显示，也可与传统的不支持特定画面显示的视频播放端进行普通的远程实时视频会议。

本实施例提供的全景视频会议的图像生成方法，通过使用鱼眼摄像机等全景摄像机获取会议现场的全景视频数据，解决了现有技术中使用多台摄像机进行不同角度的拍摄，从而获取全景视频数据的视频会议***的结构较为复杂的问题；同时，通过人形检测得到全景视频数据中各个视频帧的人形坐标信息，并通过各个视频帧中某一人体的人形坐标信息的变化情况得到该人体是否为移动人体，并将会议现场中的移动人体在各个视频帧中的人形坐标信息作为其动作信息，则根据动作信息在全景视频数据中的各个视频帧截取该移动人体的图像时，就能聚焦生成会议现场中移动人体的视频图像，从而实现全景视讯中的特定显示，实现成本较低。

在可选的实施例中，全景视频会议的图像生成方法还包括如下步骤：

步骤S500，使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息。在本实施例中，通过麦克风阵列中多个麦克风获取当前语音的时间差信息以及多个麦克风的位置信息得到声源位置信息。

步骤S600，根据声源位置信息得到声源在全景视频数据中的声源坐标信息。在本实施例中，将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息。在本实施例中，通过声源位置信息以及鱼眼摄像机位置信息得到声源位置相对于鱼眼摄像机位置的声源角度值，从而得到声源在全景视频数据坐标系中的声源坐标信息，并且声源坐标信息与步骤S200中得到的人形坐标信息为基于同样的坐标系的坐标信息。

在本实施例中，由于声源定位结果为一个位置点，声源坐标信息为全景视频数据坐标系中该位置点处的一个坐标点，人形检测结果为一包含人形的矩形框，人形坐标信息为全景视频数据坐标系中在该矩形框范围内的所有坐标点组成的坐标集，而当某一人体为主讲人时，声源位置应与人***置重合，得到的声源坐标也应为人形坐标集中的一个坐标，因此，当某一人体在一个视频帧中的人形坐标信息包含相应时刻的声源坐标信息时，可以认定该人体为主讲人，该人体的人形坐标信息即为主讲人位置信息。

步骤S700，根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

在本实施例中，终端的用户可以根据自己的需要对本地输出的视频画面进行自主的选择。具体地，用户可以选择以画中画的方式(一个大画面加一个小画面)来显示视频图像，并可根据自己的需要对全景画面、移动人体的聚焦画面以及主讲人的聚焦画面进行各种组合，还可在会议程中随时根据需要进行切换。

需要说明的是，上述方法也为视频会议***中的数据采集终端同时作为图像输出终端时的数据处理方法流程，而当数据采集终端不进行图像输出时，则直接在执行步骤S500和步骤S600后，将全景视频数据和主讲人位置信息发送到视频播放终端，视频播放终端根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。在进行数据发送之前，也需要对全景视频数据进行视频编码，对主讲人位置信息也进行必要的编码，具体的编码方式以及发送方式与上述动作信息编码方式和发送方式相同，在此不再赘述。

本实施例提供的全景视频会议的图像生成方法，通过使用麦克风阵列对会议现场的声源进行定位得到声源位置信息，而会议现场中的声源位置一般即为主讲人位置，再截取全景视频数据各个视频帧中的声源位置处的视频图像，就能够生成会议现场的主讲人的视频图像，从而，能够实现全景视讯中的主讲人特定显示，丰富该全景视频会议的图像生成方法的特定显示功能。此外，将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息，即通过声源坐标信息和人形坐标信息实现主讲人位置的双重地位，能够防止仅通过声源坐标信息定位主讲人位置时，会议现场的非人体声源也会被当成主讲人的问题的产生，提高了主讲人的定位精度。

在可选的实施例中，全景视频会议的图像生成方法还包括如下步骤：

步骤S800，对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息。在本实施例中，人脸坐标信息为一个包含人脸的矩形框的坐标信息，具体地，人脸坐标信息为包含人脸的矩形框在全景视频数据坐标系中的坐标，并且人脸坐标信息与步骤S600中得到的声源坐标信息以及步骤S200中得到的人形坐标信息为基于同样的坐标系的坐标信息。

在本实施例中，由于声源定位结果为一个位置点，声源坐标信息为全景视频数据坐标系中该位置点处的一个坐标点，人脸检测结果为一包含人脸的矩形框，人脸坐标信息为全景视频数据坐标系中在该矩形框范围内的所有坐标点组成的坐标集，而当某一人体为主讲人时，声源位置应与该人体的人脸位置重合，得到的声源坐标也应为人脸坐标集中的一个坐标，因此，当某一人体在一个视频帧中的人脸坐标信息包含相应时刻的声源坐标信息时，可以认定该人体为主讲人，该人体的人脸坐标信息即为主讲人位置信息。

在本实施例中，可以使用AdaBoost、Viola Jones或者CNN等算法进行人脸检测。

本实施例提供的全景视频会议的图像生成方法，通过对全景视频数据中各个视频帧进行人脸检测，并将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息，即通过声源坐标信息和人脸坐标信息实现主讲人位置的双重地位，能够防止仅通过声源坐标信息定位主讲人位置时，会议现场的非人体声源也会被当成主讲人的问题的产生，还能够防止将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息，而人体被障碍物遮挡时，无法准确确定主讲人位置的问题的产生，进一步提高了主讲人的定位精度。

实施例2

本实施例提供了一种全景视频会议的图像生成方法，如图4所示。需要说明的是，该方法为实施例1中的方法在视频播放端的体现，已经说明过的不再赘述。此外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该流程包括如下步骤：

步骤S10，接收会议现场的全景视频数据。在本实施例中，接收到的全景视频数据为编码后的全景视频数据，在生成视频图像之前，需要对编码后的全景视频数据进行解码。

步骤S20，接收全景视频数据中某一移动人体的动作信息。在本实施例中，动作信息包含移动人体在全景视频数据的不同视频帧中的人形坐标信息。在本实施例中，接收到的动作信息也为编码后的动作信息，在生成视频图像之前，同样需要对编码后的动作信息进行解码。

步骤S30，根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

在本实施例中，用户也可以根据自己的需要对本地输出的视频画面进行自主的选择，具体的可选择输出方式如实施例1中的相同，在此不再赘述。

在可选的实施例中，全景视频会议的图像生成方法还包括如下步骤：

步骤S40，接收主讲人位置信息。在本实施例中，主讲人位置信息为全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息。

步骤S50，根据主讲人位置信息对所述全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

在可选的实施例中，全景视频会议的图像生成方法还包括如下步骤：

步骤S60，将全景视频数据以及全景视频数据中某一移动人体的动作信息中的时间戳对齐。在本实施例中，当从两个信道接收全景视频数据和动作信息时，在生成视频图像之前，需要将全景视频数据以及全景视频数据中某一移动人体的动作信息中的时间戳对齐。同样地，当从两个信道接收全景视频数据和主讲人位置信息时，在生成视频图像之前，也需要将全景视频数据以及主讲人位置信息中的时间戳对齐。

实施例3

在本实施例中提供了一种全景视频会议的图像生成装置，该装置用于实现上述实施例1及其优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种全景视频会议的图像生成装置，如图5所示，包括：视频信息获取模块100，人形检测模块200，动作信息获取模块300和第一图像生成模块400。

其中，视频信息获取模块100用于使用全景摄像机获取会议现场的全景视频数据；人形检测模块200用于对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息；动作信息获取模块300用于根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；第一图像生成模块400用于根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

在可选的实施例中，全景视频会议的图像生成装置还包括：声源定位模块500，主讲人第一定位模块600和第二图像生成模块700。

其中，声源定位模块用于500使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；主讲人第一定位模块600用于根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；第二图像生成模块700用于根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

在可选的实施例中，全景视频会议的图像生成装置还包括：主讲人第二定位模块，用于对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。

实施例4

在本实施例中提供了一种全景视频会议的图像生成装置，该装置用于实现上述实施例2及其优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种全景视频会议的图像生成装置，如图6所示，包括：视频信息接收模块10，动作信息接收模块20和第三图像生成模块30。

其中，视频信息接收模块10用于接收会议现场的全景视频数据；动作信息接收模块20用于接收全景视频数据中某一移动人体的动作信息；动作信息包含移动人体在全景视频数据的不同视频帧中的人形坐标信息；第三图像生成模块30用于根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

在可选的实施例中，全景视频会议的图像生成装置还包括：主讲人信息接收模块40和第四图像生成模块50。

其中，主讲人信息接收模块40用于接收主讲人位置信息；主讲人位置信息为全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；第四图像生成模块50用于根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

在可选的实施例中，全景视频会议的图像生成装置还包括：时间戳对齐模块，用于将全景视频数据以及全景视频数据中某一移动人体的动作信息中的时间戳对齐。

实施例5

本发明实施例提供了一种视频会议***，如图7所示，该视频会议***可以包括：至少一个处理器701，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口703，存储器704，至少一个通信总线702。其中，通信总线702用于实现这些组件之间的连接通信。其中，通信接口703可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口703还可以包括标准的有线接口、无线接口。存储器704可以是高速RAM存储器(Random AccessMemory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器704可选的还可以是至少一个位于远离前述处理器701的存储装置。其中存储器704中存储应用程序，且处理器701调用存储器704中存储的程序代码，以用于执行实施例1或实施例2中的任一方法步骤，即用于执行以下操作：

使用全景摄像机获取会议现场的全景视频数据；对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息；根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

本发明实施例中，处理器701调用存储器704中的程序代码，还用于执行以下操作：使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

本发明实施例中，处理器701调用存储器704中的程序代码，还用于执行以下操作：对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。

本发明实施例中，处理器701调用存储器704中的程序代码，还用于执行以下操作：接收全景视频数据中某一移动人体的动作信息；动作信息包含移动人体在全景视频数据的不同视频帧中的人形坐标信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。

本发明实施例中，处理器701调用存储器704中的程序代码，还用于执行以下操作：接收主讲人位置信息；主讲人位置信息为全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。

本发明实施例中，处理器701调用存储器704中的程序代码，还用于执行以下操作：将全景视频数据以及全景视频数据中某一移动人体的动作信息中的时间戳对齐。

其中，通信总线702可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线702可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器704可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器704还可以包括上述种类的存储器的组合。

其中，处理器701可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

实施例6

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行实施例1或实施例2的任一方法步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种全景视频会议的图像生成方法，其特征在于，包括如下步骤：

使用全景摄像机获取会议现场的全景视频数据；

对所述全景视频数据中各个视频帧进行人形检测，得到所述全景视频数据中各个视频帧的人形坐标信息；

根据所述人形坐标信息获取各个视频帧中的某一移动人体的动作信息；

根据所述动作信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述移动人体的视频图像。

2.根据权利要求1所述的全景视频会议的图像生成方法，其特征在于，还包括如下步骤：

使用麦克风阵列对所述会议现场的声源进行定位，得到声源位置信息；

根据所述声源位置信息得到所述声源在所述全景视频数据中的声源坐标信息；将所述声源坐标作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；

根据所述主讲人位置信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述主讲人的视频图像。

3.根据权利要求2所述的全景视频会议的图像生成方法，其特征在于，还包括如下步骤：

对所述全景视频数据中各个视频帧进行人脸检测，得到所述全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。

4.一种全景视频会议的图像生成方法，其特征在于，包括如下步骤：

接收会议现场的全景视频数据；

接收所述全景视频数据中某一移动人体的动作信息；所述动作信息包含所述移动人体在所述全景视频数据的不同视频帧中的人形坐标信息；

根据所述动作信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述移动人体的视频图像。

5.根据权利要求4所述的全景视频会议的图像生成方法，其特征在于，还包括如下步骤：

接收主讲人位置信息；所述主讲人位置信息为所述全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；

根据所述主讲人位置信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述主讲人的视频图像。

6.一种全景视频会议的图像生成装置，其特征在于，包括：

视频信息获取模块，用于使用全景摄像机获取会议现场的全景视频数据；

人形检测模块，用于对所述全景视频数据中各个视频帧进行人形检测，得到所述全景视频数据中各个视频帧的人形坐标信息；

动作信息获取模块，用于根据所述人形坐标信息获取各个视频帧中的某一移动人体的动作信息；

第一图像生成模块，用于根据所述动作信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述移动人体的视频图像。

7.根据权利要求6所述的全景视频会议的图像生成装置，其特征在于，还包括：

声源定位模块，用于使用麦克风阵列对所述会议现场的声源进行定位，得到声源位置信息；

主讲人第一定位模块，用于根据所述声源位置信息得到所述声源在所述全景视频数据中的声源坐标信息；将所述声源坐标作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；

第二图像生成模块，根据所述主讲人位置信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述主讲人的视频图像。

8.一种全景视频会议的图像生成装置，其特征在于，包括：

视频信息接收模块，用于接收会议现场的全景视频数据；

动作信息接收模块，用于接收所述全景视频数据中某一移动人体的动作信息；所述动作信息包含所述移动人体在所述全景视频数据的不同视频帧中的人形坐标信息；

第三图像生成模块，用于根据所述动作信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述移动人体的视频图像。

9.一种视频会议***，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述权利要求1-5中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上述权利要求1-5中任一所述方法的步骤。