CN113301367A - 音视频处理方法、设备、***及存储介质 - Google Patents
音视频处理方法、设备、***及存储介质 Download PDFInfo
- Publication number
- CN113301367A CN113301367A CN202110308870.5A CN202110308870A CN113301367A CN 113301367 A CN113301367 A CN 113301367A CN 202110308870 A CN202110308870 A CN 202110308870A CN 113301367 A CN113301367 A CN 113301367A
- Authority
- CN
- China
- Prior art keywords
- image data
- camera
- camera module
- display screen
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000009826 distribution Methods 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 34
- 230000005236 sound signal Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 24
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000017525 heat dissipation Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000005855 radiation Effects 0.000 description 6
- 241000209140 Triticum Species 0.000 description 4
- 235000021307 Triticum Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种音视频处理方法、设备、***及存储介质。在本申请实施例中，在采集图像数据时，采用可移动的摄像头，根据被摄对象的参考标记(如视线)，适应性地调整摄像头的相对位置，使得摄像头的相对位置与被摄对象的参考标记适配，在这种情况下，摄像头采集的被摄对象的图像数据中被摄对象的参考标记(如视线)基本不会存在偏移，从而解决图像画面中被摄对象的参考标记偏移问题，尤其是在一些线上交互场景中，可提高被摄对象与对端用户之间的交流感，增强对端用户的体验感。
Description
技术领域
本申请涉及音视频处理技术领域，尤其涉及一种音视频处理方法、设备、***及存储介质。
背景技术
随着互联网技术以及4G/5G通信技术的发展，在各类应用场景中，例如直播场景、在线教育场景、录播场景或者视频会议场景中，均会产生大量的音视频画面。在这些音视频画面中，经常发生人物视线偏移的问题，例如人物视线一直向下。尤其是对于具有交互需求的直播场景，如果直播画面中主播的视线一直向下，或偏向其它方向，而不是紧紧跟随观看用户的视线，这将导致用户与主播之间没有交流感，用户体验感较差。因此，音视频画面中人物视线偏移的问题是各种音视频场景中亟需解决的问题。
发明内容
本申请的多个方面提供一种音视频处理方法、设备、***及存储介质，用以解决音视频画面中人物视线偏移问题。
本申请实施例提供一种音视频采集设备，包括：设备本体；设备本体上设置有可移动结构，可移动结构上安装有摄像头模块；其中，可移动结构可调整摄像头模块的相对位置，使之与被摄对象的参考标记适配；摄像头模块用于在与参考标记适配的位置上采集包含被摄对象的图像数据并输出。
本申请实施例还提供一种音视频处理***，包括：音视频采集设备，以及与音视频采集设备通信连接的显示屏幕；其中，音视频采集设备悬挂或固定在显示屏幕上，音视频采集设备包括可移动结构，可移动结构上安装有和摄像头模块，摄像头模块位于显示屏幕前方且可相对显示屏幕移动；音视频采集设备，用于通过可移动结构调整摄像头模块的相对位置，使之与被摄对象的参考标记适配，以供摄像头模块在与参考标记适配的位置上采集包含被摄对象的图像数据并输出至显示屏幕上。
本申请实施例还提供一种在线直播***，包括：一体化的直播设备，以及与直播设备通信连接的显示屏幕；直播设备悬挂或固定在显示屏幕上，直播设备包括可移动结构，可移动结构上安装有摄像头模块，摄像头模块位于显示屏幕前方且可相对显示屏幕移动；直播设备，用于通过可移动结构调整摄像头模块的相对位置，使之与主播的参考标记适配，以供摄像头模块在与参考标记适配的位置上采集包含主播的图像数据；以及基于图像数据合成直播画面，并将直播画面分别发送至显示屏幕和用户终端进行显示。
本申请实施例还提供一种视频会议***，包括多个会议参与端，每个会议参与端包括一体化的会议终端和与会议终端通信连接的显示屏幕；其中，会议终端悬挂或固定在显示屏幕上，会议终端包括可移动结构，可移动结构上安装有摄像头模块，摄像头模块位于显示屏幕前方且可相对显示屏幕移动；会议终端，用于通过可移动结构调整摄像头模块的相对位置，使之与会议发言人的参考标记适配，以供摄像头模块在与参考标记适配的位置上采集包含会议发言人的图像数据；以及基于图像数据合成会议画面，并将会议画面分别发送至显示屏幕和其它会议参与端中的会议终端进行显示。
本申请实施例还提供一种音视频处理方法，包括：调整音视频采集设备上摄像头模块的相对位置，使之与被摄对象的参考标记适配，以使摄像头模块在与参考标记适配的位置上采集包含被摄对象的图像数据；获取摄像头模块采集的图像数据，并输出图像数据。
本申请实施例还提供一种在线直播方法，包括：调整直播设备上摄像头模块的相对位置，使之与主播的参考标记适配，以使摄像头模块在适配的位置上采集包含主播的图像数据；获取摄像头模块采集的图像数据，基于图像数据合成直播画面，并将直播画面发送给用户终端进行显示。
本申请实施例还提供一种视频会议方法，包括：调整会议终端上摄像头模块的相对位置，使之与会议发言人的参考标记适配，以使摄像头模块在适配的位置上采集包含会议发言人的图像数据；获取摄像头模块采集的图像数据基于图像数据合成会议画面，并将会议画面发送给其它会议终端进行显示。
本申请实施例还提供一种音视频处理***，包括：摄像头模块以及显示设备；其中，摄像头模块悬挂或固定于显示设备的屏幕前方且可相对于显示设备的屏幕移动；摄像头模块，用于调整其相对位置以与被摄对象的参考标记适配，在与参考标记适配的位置上采集包含被摄对象的图像数据，并将图像数据传输至显示设备；显示设备，用于显示图像数据。
本申请实施例还提供一种数据显示方法，包括：获取摄像头采集到的包含被摄对象的图像数据，摄像头位于显示屏幕前方且其相对位置与被摄对象的参考标记适配；以摄像头映射在显示屏幕上的摄像头位置为关注中心，将图像数据和/或其关联数据显示于显示屏幕上。
本申请实施例还提供一种数据处理设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：获取摄像头采集到的包含被摄对象的图像数据，摄像头位于显示屏幕前方且其相对位置与被摄对象的参考标记适配；以摄像头映射在显示屏幕上的摄像头位置为关注中心，将图像数据和/或其关联数据显示于显示屏幕上。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例提供的各方法中的步骤。
本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器实现本申请实施例提供的各方法中的步骤。
在本申请实施例中，在采集图像数据时，采用可移动的摄像头，根据被摄对象的参考标记(如视线)，适应性地调整摄像头的相对位置，使得摄像头的相对位置与被摄对象的参考标记适配，在这种情况下，摄像头采集的被摄对象的图像数据中被摄对象的参考标记(如视线)基本不会存在偏移，从而解决图像画面中被摄对象的参考标记偏移问题，尤其是在一些线上交互场景中，可提高被摄对象与对端用户之间的交流感，增强对端用户的体验感。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1a为本申请示例性实施例提供的一种音视频采集设备的立体结构图；
图1b为本申请示例性实施例提供的一种音视频采集设备的俯视图；
图1c为本申请示例性实施例提供的一种音视频采集设备的后视图；
图1d为本申请示例性实施例提供的一种音视频采集设备的仰视图；
图2a为本申请示例性实施例提供的一种音视频处理***的结构示意图；
图2b为本申请示例性实施例提供的另一种音视频处理***的结构示意图；
图3a为将音视频画面及其关联数据显示在显示屏幕上的示意图；
图3b为对直播画面进行设置时显示屏幕的界面变化示意图；
图3c为随着摄像头模块的下降时显示屏幕的界面布局变化图；
图3d为另一种随着摄像头模块的下降时显示屏幕的界面布局变化图；
图4为本申请示例性实施例提供的一种在线直播***的结构示意图；
图5为本申请示例性实施例提供的一种视频会议***的结构示意图；
图6a为本申请示例性实施例提供的一种音视频处理方法的流程示意图；
图6b为本申请示例性实施例提供的一种在线直播方法的流程示意图；
图6c为本申请示例性实施例提供的一种视频会议方法的流程示意图；
图7为本申请示例性实施例提供的另一种音视频处理***的结构示意图；
图8为本申请示例性实施例提供的一种数据显示方法的流程示意图；
图9为本申请示例性实施例提供的一种数据处理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在各类应用场景中，例如直播场景、在线教育场景或者视频会议场景中，均会产生大量的音视频画面。这些音视频画面中通常包含有被拍摄到的对象，简称被摄对象，例如，在直播场景、在线教育场景或者视频会议场景中，被摄对象分别是主播用户、上课的老师或学生以及参会人员等。在实际应用中，这些被摄对象在音视频画面中的视线可能是偏移的，未能紧紧跟随观众视线，这将导致用户与主播之间没有交流感，用户体验感较差。因此，音视频画面中人物视线偏移的问题是各种音视频场景中亟需解决的问题。
针对音视频画面中被摄对象视线偏移的问题，在本申请一些实施例中，在采集图像数据时，采用可移动的摄像头，根据被摄对象的参考标记，适应性地调整摄像头的相对位置，使得摄像头的相对位置与被摄对象的参考标记适配，在这种情况下，摄像头采集的被摄对象的图像数据中被摄对象的视线基本不会存在偏移，从而解决音视频画面中被摄对象的视线偏移问题，尤其是在一些线上交互场景中，可提高被摄对象与对端用户之间的交流感，增强对端用户的体验感。
基于上述，本申请实施例提供的一种带有可移动的摄像头的音视频采集设备201，图1a为音视频采集设备201的立体结构图。如图1a所示，该音视频采集设备包括：设备本体101，设备本体101的底部设有可移动结构104，可选地，设备本体101上还设有处理器103，该可移动结构104上安装有摄像头模块105。摄像头模块105包含摄像头105a，摄像头105a可以包含但不限于：光学摄像头、单目摄像头、双目摄像头、红绿蓝深度图(Red Green BlueDepth map，RGBD)摄像头以及3D结构光摄像头(Three Dimensional Structured Light)等。在一实施例中，摄像头105a采用3D结构光摄像头，3D结构光摄像头的基本原理是，通过激光器将具有一定结构特征的光线投射到被摄对象上，再由位于激光器两侧的摄像头进行采集。这种具备一定结构的光线，会因被摄对象的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得被摄对象的三维结构。基于被摄对象的三维结构，可以针对被摄对象进行更深度的处理，例如面部解锁、面部美颜等等。
进一步可选地，结合图1a-图1d，音视频采集设备还可以包括以下至少一种组件：位于设备本体101上的麦克风阵列102、点阵屏幕106、物理按键107、散热孔108以及至少一个通信接口109。其中，麦克风阵列102用于采集与图像数据适配的音频信号。需要说明的是，可以采集音频信号的设备并不限于麦克风阵列102，还可以是单一麦克风。点阵屏幕106用于显示音视频采集设备、摄像头模块和/或麦克风阵列的状态信息，设备状态信息可反映音视频采集设备、摄像头模块和/或麦克风阵列当前所处的状态。以音视频采集设备应用于直播场景为例，例如状态信息可以是但不限于：正在直播(ONLIVE)、正在收音以及关闭(OFF)等，图1a中点阵屏幕中显示的“ONLIVE”，表示音视频采集设备正在进行直播。物理按键107用于实现对音视频采集设备的控制操作，例如，控制音视频采集设备开机或者关机，又例如，控制可移动结构104的伸缩等。至少一个通信接口109用于实现音视频采集设备与外部设备的通信连接，可以包括但不限于：网线接口、通用串行总线(Universal SerialBus，USB)接口、显示器接口或者耳机接口、麦克风接口等，其中显示器接口可以是高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)、数字视频接口(DigitalVisual Interface，DVI)或者显示端口(DisplayPort，DP)等。
在本实施例中，并不对设备本体101包含的各组件的部署位置进行限定。如图1a所示，点阵屏幕106设置于设备本体101的前端，物理按键107设置于设备本体101的侧面；如图1b所示的音视频采集设备的俯视图，散热孔108和麦克风阵列102设置在设备本体101的顶部；如图1c所示的音视频采集设备的后视图，通信接口109设置于设备本体的后端。可选地，如图1d所示的音视频采集设备的仰视图，设备本体101的底部设有凹槽110，可移动结构104安装于该凹槽110内，并且可移动结构104以及摄像头模块105可以收缩至凹槽110中。
在本实施例中，可移动结构104通过移动可调整摄像头模块105的相对位置，使之与被摄对象的参考标记适配。被摄对象的参考标记可以是被摄对象的体貌特征，例如，被摄对象的五官、视线等；也可以是被摄对象的附着物，例如，被摄对象的衣服、鞋子或者被摄对象携带的物品等，对此不做限定。其中，可移动结构104可以左右移动，也可以上下移动。可选地，可移动结构104可以实现为能够带动摄像头模块105上下移动的升降结构，该升降结构通过上下伸缩来调整摄像头模块105的高度，使之与被摄对象的参考标记(如视线)在高度方向上适配。或者，可选地，可移动结构104可以实现为能够带动摄像头模块105水平移动的水平位移结构，该水平位移结构通过左右伸缩来调整摄像头模块105的水平位置，使之与被摄对象的参考标记(如视线)在水平方向上适配。
其中，根据应用场景不同，摄像头模块105与被摄对象的参考标记适配，可以有不同理解。以参考标记是被摄对象的视线为例，摄像头模块105与被摄对象的参考标记适配可以是摄像头模块与被摄对象的视线平齐，此时，被摄对象直视摄像头；或者，摄像头模块105与被摄对象的参考标记适配也可以是摄像头模块高于被摄对象的视线一定距离，此时，被摄对象仰视摄像头；或者，摄像头模块105与被摄对象的参考标记适配也可以是摄像头模块稍微低于被摄对象的视线一定距离，此时，被摄对象俯视摄像头。在本实施例中，并不限定通过可移动结构104来调整摄像头模块105的相对位置的实施方式。例如，可以手动调节，也可以由处理器103控制可移动结构104自动移动。
在本实施例中，摄像头模块105可以在与被摄对象的参考标记适配的位置上，采集包含被摄对象的图像数据并输出。在本实施例中，并不限定摄像头模块105输出图像数据的实施方式，下面举例说明。
在一可选实施例中，摄像头模块105可以将图像数据输出给音视频采集设备的服务端，服务端可以接收该图像数据，另外，服务端还可以接收音视频采集设备的麦克风阵列采集的与该图像数据适配的音频数据，例如可以是被摄对象发出的声音信号或与被摄对象相关的音频信号，接着服务端可将该音频数据和图像数据合成音视频画面，由服务端将该音视频画面发送给终端设备，以供终端设备显示音视频画面。
在另一可选实施例中，摄像头模块105将图像数据传输给处理器103，由处理器103通过设备本体101上的通信接口109将图像数据输出至终端设备，以供终端设备进行显示。进一步可选地，在设备本体101上设有麦克风阵列102的情况下，麦克风阵列102可以采集音频信号并传输给处理器103，该音频信号与图像数据对应，例如可以是被摄对象发出的声音信号或与被摄对象相关的音频信号；处理器103负责将图像数据和音频信号合成音视频画面，并将该音视频画面发送给终端设备，以供终端设备显示音视频画面。其中，根据应用场景不同，终端设备会有所不同。例如，在直播场景中，终端设备是观看音视频画面的用户终端；在会议场景，终端设备是会议终端。
可选地，如图1a所示，摄像头模块105除了包含摄像头105a之外，还可以包括：提示灯105b，提示灯105b可以对外发出提醒信号，例如，一般情况下，提示灯105b为绿色常亮，提醒时可以是黄色闪烁或者红色常亮等。本实施例并不对提示灯105b的形状进行限定，例如可以是点状灯、条形灯或者环形灯等，在图1a中，以提示灯105b是环形灯，且环绕摄像头105a设置为例进行图示，但并不限于此。进一步可选地，处理器103可根据摄像头模块采集的图像数据监测被摄对象的参考标记与摄像头的相对位置是否适配，并在监测到两者不适配且不适配的时长超过设定时长阈值的情况下，控制提示灯105b发出提醒信号，其中，设定的时长阈值可以是2s、3s或者5s等，对此不做限定。
本实施例提供的音视频采集设备，除了可以将图像数据提供给终端设备之外，还可以在音视频采集设备配合显示屏幕使用的情况下，还可以将图像数据显示于显示屏幕上。基于此，在一可选实施例中，在音视频采集设备外接显示屏幕的情况下，设备本体101悬挂或固定在显示屏幕上，摄像头模块105位于显示屏幕的前方且可移动。可选地，显示屏幕可以通过音视频采集设备的显示器接口与音视频采集设备连接。
进一步可选地，处理器103还用于：根据摄像头模块映射在显示屏幕上的摄像头位置，将图像数据显示于显示屏幕上。
进一步可选地，以摄像头为注意力辐射中心，数据优先级随与摄像头距离拉远而降低，使得被摄对象能够在注视摄像头的同时，能够关注到显示屏幕上显示的重要或关键信息，减少视觉上的偏移。具体地，处理器103在根据摄像头模块在显示屏幕上的摄像头位置，将图像数据显示于显示屏幕上时，具体用于：在图像数据的基础上，获取图像数据的关联数据，并确定图像数据及其关联数据之间的优先级，优先级反应数据的关注价值；以摄像头位置为关注中心，根据优先级，将图像数据及其关联数据显示于摄像头位置的周围区域内，优先级越高的数据，其关注价值越高，其在显示屏幕上的显示位置越靠近摄像头位置。其中，图像数据可以有一种或多种关联数据，不同关联数据的优先级不同。
进一步可选地，处理器103在以摄像头位置为关注中心，根据优先级，将图像数据及其关联数据显示于摄像头位置的周围区域内时，具体用于：以摄像头位置为关注中心，在显示屏幕上划分出至少两个信息分布区域，且信息分布区域与摄像头位置的距离越远，信息分布区域的被关注度越低；根据至少两个信息分布区域与摄像头位置的距离和图像数据及其关联数据之间的优先级，将图像数据及其关联数据显示在具有相应关注度的信息分布区域中。
进一步可选地，处理器103在根据至少两个信息分布区域与摄像头位置的距离和图像数据及其关联数据之间的优先级，将图像数据及其关联数据显示在具有相应关注度的信息分布区域中时，具体用于：对图像数据及其关联数据中的数据分别进行等级划分，数据的等级越高表示数据的关注价值越高；根据至少两个信息分布区域与摄像头位置的距离和图像数据及其关联数据之间的优先级，将不同等级的数据显示在具有相应关注度的信息分布区域中。其中，可以先根据图像数据及其关联数据之间的优先级，确定图像数据及其关联数据在显示屏幕上对应的显示区域；针对每种数据(或者是图像数据或者是某种关联数据)，在其对应的显示区域中，进一步根据每种数据中数据之间的等级，将该种数据显示在对应的显示区域中。
在一可选实施例中，处理器103还用于：响应被摄对象发起的画面设置操作，调整图像数据的界面位置，以使图像数据靠近摄像头位置，和/或，对图像数据进行画面放大，以供被摄对象查看画面设置效果。其中，在被摄对象具有交互功能的情况下，画面设置操作可由被摄对象通过遥控终端远程发起，也可以由被摄对象通过语音方式发出。当然，若被摄对象不具有交互功能，则画面设置操作可由负责拍摄的人员通过遥控终端或语音方式发出，对此不做限定。
在一可选实施例中，处理器103还用于：响应调整摄像头模块的相对位置的指令，识别显示屏幕上位于摄像头模块移动路径上的界面元素；并跟随摄像头模块的位置变化，调整界面元素在显示屏幕上的显示位置；和/或响应于与被摄对象的交互请求，将图像数据从当前显示区域调整至更靠近摄像头位置的显示区域内。其中，在被摄对象具有交互功能的情况下，调整摄像头模块的相对位置的指令可由被摄对象通过遥控终端远程发起，也可以由被摄对象通过语音方式发出，或者，也可以有被摄对象通过物理按键手动发出。
在一可选实施例中，处理器103还用于：接收管控指令或语音指令，根据管控指令或语音指令，执行相应控制操作。其中，管控指令或语音指令可以是上述指示进行画面设置操作的指令，也可以是上述用于调整摄像头模块的相对位置的指令，还可以是更换画面背景、进行***设置等指令。
在一可选实施例中，将图像数据显示于显示屏幕上的方式具体为：将图像数据和与之适配的音频信号合成为音视频画面，将音视频画面显示于显示屏幕上。关于将音视频画面显示于显示屏幕上的方式与上文以及本申请后续实施例提供的详细实施方式相同，在此不再赘述。
本申请实施例提供的音视频采集设备，在采集图像数据过程中，采用可移动的摄像头，根据被摄对象的参考标记(如视线)，适应性地调整摄像头的相对位置，使得摄像头的相对位置与被摄对象的参考标记适配，在这种情况下，基于摄像头采集的被摄对象的图像数据中被摄对象的视线参考标记(如视线)基本不会存在偏移，从而解决画面中被摄对象的参考标记偏移问题，尤其是在一些线上交互场景中，可提高被摄对象与对端用户之间的交流感，增强对端用户的体验感。进一步，本实施例提供的音视频采集设备是集可移动的摄像头、麦克风阵列以及处理器于一体的软硬件一体机，结构简单，易于操作。
基于上述音视频采集设备，本申请实施例还提供一种音视频处理***，如图2a所示，该音视频处理***包括：音视频采集设备201和至少一个终端设备204，关于音视频采集设备201的结构可参见前述实施例，在此不再赘述，终端设备204指的是观看音视频画面的终端设备，其中，根据应用场景不同，终端设备会有所不同。例如，在直播场景中，终端设备是观看音视频画面的用户终端；在会议场景，终端设备是会议终端。
进一步，如图2b所示，音视频处理***还包括与该音视频采集设备201通信连接的显示屏幕202。其中，显示屏幕202可配合音视频采集设备201进行音视频处理。音视频采集设备201除了可以通过互联网将图像数据发送给至少一个终端设备204进行显示之外，还可以将图像数据发送至显示屏幕202进行显示，便于被摄对象及时查看或了解图像数据的画面质量等信息。需要说明的是，本实施例下面描述的由音视频采集设备201执行的各种动作，实质上都是由其处理器执行的，为便于描述，在实施例下面描述中，均以音视频采集设备201为执行主体进行描述。
在实际应用时，一方面通过音视频采集设备201的显示器接口连接显示屏幕202，另一方面可将音视频采集设备201的设备本体可悬挂或者固定在显示屏幕202上，此时，音视频采集设备201的摄像头模块位于显示屏幕202前方且可相对显示屏幕202移动，如图2b所示。
在需要生成图像数据时，首先，确定被摄对象的参考标记，根据该参考标记调整音视频采集设备201上摄像头模块的相对位置，使之与被摄对象的参考标记适配，摄像头模块的位置可手动调节，或由处理器根据摄像头模块在当前位置采集到的图像数据，分析被摄对象的参考标记与摄像头模块当前位置的关系，若两者不适配，则可由处理器调整摄像头模块位置，例如，处理器驱动步进马达带动可移动结构移动，以实现调整摄像头模块的位置，使之与被摄对象的参考标记适配。进一步可选地，处理器可以多次调节摄像头模块的位置，以适配被摄对象的参考标记。需要说明的是，在图2a和图2b中以参考标记为视线高度进行图示，但并不限于此。
然后，在摄像头模块与被摄对象的参考标记适配的情况下，音视频采集设备201可以利用摄像头模块采集包含被摄对象的图像数据，一方面将图像数据发送至终端设备204进行显示，另一方面还可以将该图像数据显示在显示屏幕202上。
在一可选实施例中，音视频采集设备201除了具有可移动的摄像头模块之外，还具有麦克风阵列；在利用摄像头模块采集包含被摄对象的图像数据的过程中，还可以利用麦克风阵列采集与该图像数据适配的音频信号，进一步，音视频采集设备201可以将图像数据和音频信号合成音视频画面，得到音视频画面之后，如图2b所示，一方面将音视频画面发送至终端设备204进行显示，另一方面还可以将该音视频画面显示在显示屏幕202上。其中，摄像头模块在与被摄对象的参考标记适配的位置上，对被摄对象进行拍摄，从而得到的音视频画面，一定程度上可解决音视频画面中被摄对象的参考标记(如视线)偏移问题，终端设备侧的用户观看时，可以增强用户与被摄对象之间的交流感，增强用户的体验感。
在本实施例中，在显示屏幕202上显示音视频画面的时候，可以以摄像头模块在显示屏幕202上的映射位置(简称摄像头位置)为关注中心，对音视频画面进行显示。优先将音视频画面显示在靠近摄像头位置的区域，这样，被摄对象观看摄像头的时候，可以同时看到音视频画面，从而及时了解音视频画面的相关信息，例如，感受自己在音视频画面中的状态，便于及时做出调整，提高音视频画面质量。
进一步可选地，在一些应用场景中，在显示屏幕202上除了显示音视频画面之外，还可以显示音视频画面的关联数据。其中，根据应用场景的不同，音视频画面关联数据也有所不同。例如，在直播带货场景中，音视频画面为直播画面，音视频画面的关联数据可以是直播间的商品信息(例如，商品编号、商品价格或者商品链接等)、直播数据(平均停留时长、粉丝数、点赞数以及成交金额等)或者评论内容(粉丝给主播的留言内容)等。又例如，在在线教育场景中，音视频画面为教师讲课的画面，音视频画面的关联数据可以是教师讲课的课件、学生的留言或者播放数据(上课人数、应到人数或者迟到人数等)。又例如，在视频会议场景中，音视频画面为发言人的发言的画面，音视频画面的关联数据为发言人发言的字幕、当前发言人的姓名或者昵称等。
在本实施例中，被摄对象在录制音视频画面时，可能会查看显示屏幕202上显示的音视频画面或其关联数据，并可根据看到的内容做相应操作。例如，在直播带货场景中，主播需要查看粉丝的评论内容、咨询问题等，针对这些评论内容或咨询问题，对要售卖的商品进行详细介绍。又例如，在教书授课场景中，教师需要实时关注学生留言，并对学生留言进行回复。但是，在被摄对象查看显示屏幕202上显示的内容时，若被摄对象需要查看的内容未在被摄对象当前视线范围内，则被摄对象就会发生视线转移，从而导致音视频画面中出现视线偏移的情况。为了解决该情况引起的视线偏移问题，在本申请一些可选实施例中，通过调整显示屏幕的界面布局，尽可能将被摄对象高度关注的数据显示在被摄对象在正常录制时的视线范围内，降低发生视线转移的概率，减少音视频画面中出现视线偏移的情况，从而进一步保证终端设备侧用户的观看感受。
具体地，音视频采集设备可以获取音视频画面的关联数据，并确定音视频画面及其关联数据之间的优先级，其中，音视频画面的关联数据可以是一种或多种，且音视频画面及其关联数据可以视为不同类别的数据，每类数据对应同一优先级，即音视频画面对应一个优先级，每种关联数据对应一种优先级，优先级反应数据的关注价值；以摄像头位置为关注中心，根据音视频画面及其关联数据之间的优先级，将音视频画面及其关联数据显示于摄像头位置的周围区域内；其中，优先级越高的数据，其在显示屏幕上的显示位置越靠近摄像头位置，越容易被被摄对象关注到。例如图3a所示，为直播带货场景，音视频画面为直播画面，音视频画面的关联数据为商品购物袋(包含多个待销售的商品详情)、商品销售数据、评论数据以及主播数据，在直播场景中，对主播而言，商品详情和评论数据的关注价值较高，该类数据优先级也较高，因此，商品购物袋和评论数据的显示区域更靠近摄像头位置，而直播画面、商品销售数据以及主播数据关注价值相对较低，则直播画面、商品销售数据以及主播数据的显示区域相对远离摄像头位置。其中，主播数据是指与主播相关的一些数据，例如主播账号、昵称等；商品销售数据是指与主播推荐的商品相关的销售数据，例如销量。
在本申请一些可选实施例中，以摄像头位置为注意力辐射中心，在显示屏幕上划分出至少两个信息分布区域，且信息分布区域与摄像头位置的距离越远，信息分布区域的关注度越低，其中，该信息分布区域可以是圆形、方形或者椭圆形，对此不做限定，在图3a中，将显示区域划分为三个信息分布区域，分别为信息分布区域P0、信息分布区域P1以及信息分布区域P2，其中，信息分布区域P0是椭圆形，信息分布区域P1和信息分布区域P2是环形。在显示屏幕上划分出至少两个信息分布区域之后，可以根据至少两个信息分布区域与摄像头位置的距离和音视频画面及其关联数据之间的优先级，将音视频画面及其关联数据显示在具有相应关注度的信息分布区域中。需要说明的是，在本申请实施例中，并不限定每类数据与信息分布区域之间的对应关系，具体与信息分布区域的形状有关系，即一类数据可以分布在一个或多个信息分布区域中，根据该类数据优先级的高低，可以将该类数据的部分内容显示在具有相应关注度的信息分布区域中。如图3a所示，商品购物袋的优先级较高，则可以将商品购物袋内容的30％显示在关注价值最高的信息分布区域P0中，将购物袋内容的60％显示在关注价值较低的信息分布区域P1和信息分布区域P2中，对于优先级较低的直播画面，则将直播画面显示在关注价值较低的信息分布区域P1和信息分布区域P2中。
考虑到以摄像头位置为辐射中心，分布在摄像头位置周围的数据的优先级，随着数据分布位置与摄像头位置距离的拉远而降低，这样可以减少被摄对象的视觉偏移。进一步可选地，对音视频画面及其关联数据中的数据分别进行等级划分，数据的等级越高表示该数据在其所属类别中的关注价值越高；根据至少两个信息分布区域与摄像头位置的距离和音视频画面及其关联数据之间的优先级，将不同等级的数据显示在具有相应关注度的信息分布区域中。如图3a所示，首先根据购物袋的优先级，将购物袋对应到P0-P2三个信息分布区域中，进一步，对商品购物袋中的商品详情进行等级划分，根据商品购物袋中主播讲解商品的先后顺序，确定商品详情之间的等级，商品详情按照等级进行排序为：商品信息A1>商品信息A2>商品信息A3，将商品信息A1显示在关注度最高信息分布区域P0，将将商品信息A2显示在关注度较低信息分布区域P1，将商品信息A3显示在关注度最低信息分布区域P2中，主播在看信息分布区域P0时，主播的视线依旧不离开摄像头模块，这样，主播在查看商品信息A1的同时，摄像头模块也可以落在主播的视线范围内，解决了主播直播过程中的视线偏移问题。又例如图3a所示，在直播场景中，首先根据评论数据的优先级，将评论数据对应到P0-P2三个信息分布区域中，则进一步可以对粉丝的评论数据进行等级划分，假设粉丝评论中评论B1最新，评论B2早于评论B1，则可认为评论B1的等级高于评论B2，则可以将评论B1显示在关注度最高信息分布区域P0，将评论B2显示在关注度较低的信息分布区域P1和信息分布区域P2中。
在一可选实施例中，被摄对象可以通过语音的方式控制音视频采集设备201执行相应的操作。具体地，被摄对象向音视频采集设备201发送语音指令，音视频采集设备201根据该语音指令，执行相应的控制操作。例如，在直播场景中，主播发出语音指令“拉近镜头”，音视频采集设备201根据该语音指令调整镜头的焦距。又例如，主播发出语音指令“上链接”，音视频采集设备201将相应商品的链接呈现在显示屏幕202上。除此之外，如图2b，音视频处理***中还包括：管控终端203，被摄对象可以通过该管控终端203对音视频采集设备201进行一系列的控制操作。例如，控制摄像头模块的高度、对显示屏幕202的参数进行设备、对音视频采集设备的参数进行设置等。另外，在具体的应用场景中，可能还包括管控终端203对其它参数的控制，例如，在直播场景中，可以对直播参数、连麦参数、购物袋等进行设置。在本实施例中，对于远场交互场景，例如，直播带货场景中，主播以站姿进行直播的情况，可通过管控终端203发出的管控指令和/或被摄对象发出的语音指令，对音视频采集设备进行一系列控制操作，可以解决触屏交互无法适应远场的问题，保障了远场交互的流畅性，提供被摄对象的使用感和体验感。
在本实施例中，被摄对象可能需要对音视频画面进行设置，例如，在直播推流场景中，可能需要对音视频画面的一些参数进行设置，如图3b所示，在直播场景中，展示了对直播画面的对比度、饱和度、色调、色温以及锐度等进行设置，但并不限于此。被摄对象需要一边对音视频画面的参数进行调整，一边观看音视频画面，以将音视频画面调整到满意的画面设置效果，在此过程中，若此时音视频画面在显示屏幕上的显示位置，没有落在被摄对象的视线范围内，则被摄对象在对音视频画面进行设置时，可能会发生视线偏移。基于此，在本申请一些可选实施例中，被摄对象通过发送语音指令的方式，或者通过管控终端203发送管控指令的方式，向音视频采集设备201发起画面设置操作，音视频采集设备201响应被摄对象发起的画面设置操作，调整音视频画面的界面位置，以使音视频画面靠近摄像头位置，和/或，对音视频画面进行画面放大，以供被摄对象查看画面设置效果。例如，在直播带货场景中，图3b展示了对直播画面进行画面设置操作之前和对直播画面进行画面设置操作过程中显示屏幕的界面布局，在对直播画面进行画面设置操作之前，直播画面位于直播画面的关联数据的左侧，距离摄像头位置较远，在进行画面设置操作过程中，对直播画面进行放大显示，并将直播画面靠近摄像头位置，以供被摄对象查看画面设置效果。
在一可选实施例中，可能需要对摄像头模块的相对位置进行调整，例如，被摄对象的参考标记(如视线)发生了改变，或者被摄对象的参考标记(如视线)没有发生变化，但是被摄对象希望仰视或者俯视镜头。基于此，音视频采集设备201可以基于摄像头模块的位置，通过流式自适应方式，将显示屏幕上的界面元素完整的呈现，保证了显示屏幕界面的完整性。具体地，音视频采集设备201响应调整摄像头模块的相对位置的指令，识别显示屏幕202上位于摄像头模块移动路径上的界面元素(interface element)，界面元素指的是显示界面上可操作的最小单元，或者可移动的最小单元。其中，界面元素可以是但不限于：浮层(popup)、窗口、容器(Containers)、滚动条、图形等，界面元素可以承载音视频画面及其关联内容。例如，在直播场景中，音视频画面的关联内容为用户评论，则可以将用户评论通过一个容器进行承载，得到一个界面元素，最终用户评论将以一个界面元素呈现在显示屏幕上。音视频采集设备201可以跟随摄像头模块的位置变化，动态调整界面元素在显示屏幕202上的显示位置。例如，摄像头模块移动路径上的界面元素承载的是用户评论，则在摄像头模块向下移动过程中，可能会将界面元素承载的用户评论遮挡，为了更好地在显示屏幕202上完整显示用户评论，可以将承载用户评论的界面元素向左或者向右移动，或者压缩该界面元素长度等，以在显示屏幕202上完整显示用户评论。
在一可选实施例中，音视频采集设备201可以响应于与被摄对象的交互请求。其中，根据应用场景的不同，交互请求也有不同，例如，在直播场景中，交互请求可以是连麦请求；在在线教育场景中，交互请求可以是学生向老师提问问题的请求。无论交互请求是哪种，被摄对象与终端设备204侧的用户交互时，可能会查看音视频画面上的内容，例如，用户的头像、昵称或者身份标识(Identity document，ID)等，或者根据音视频画面的提示，确认与目标用户进行交互，则为了保证被摄对象观看音视频画面时不发生视线偏移问题，音视频采集设备201可以将音视频画面从当前显示区域调整至更靠近摄像头位置的显示区域内，用来保证被摄对象查看该音视频画面过程中，不会发生视线偏移，提高观看音视频画面的用户与被摄对象之间的交流感，增强用户的体验感。
在本实施例中，音视频处理***可以应用在各种应用场景中，例如，在线直播场景、在线教育场景、视频会议场景等。下面以在线直播场景和视频会议场景为例，进行详细介绍。
图4为本申请示例性实施例提供的一种在线直播***的结构示意图，如图4所示，该在线直播***包括：一体化的直播设备401，以及与直播设备401通信连接的显示屏幕402；直播设备401悬挂或固定在显示屏幕402上，直播设备401包括摄像头模块，摄像头模块位于显示屏幕前方且可相对所述显示屏幕402移动。
在本实施例中，直播设备401可以调整摄像头模块的位置，使之与主播的视线高度适配，在摄像头模块的位置与主播的视线高度适配的情况下，摄像头模块采集包含主播的图像数据，接着，直播设备401基于该图像数据合成直播画面，例如，将直播设备的麦克风阵列采集的与该图像数据适配的音频信号与该图像数据合成直播画面，并将直播画面分别发送至显示屏幕402和用户终端404进行显示。在直播场景中，被摄对象是主播，对应的参考标记可以是主播的眼睛或视线。
在本实施例中，在显示屏幕402上不仅显示有直播画面，还显示有直播画面的关联数据，如图3a所示，直播画面的关联数据包括：商品购物袋、主播数据、商品销售数据以及评论数据。在显示直播画面及其关联数据时，首先确定直播画面及其关联数据的优先级，优先级排序为：商品购物袋＝评论数据>直播画面>主播数据＝商品销售数据，接着，以摄像头位置为关注中心，将直播画面及其关联数据，按照优先级越高越接近摄像头位置的方式，显示在摄像头位置的周围区域内。
进一步，以摄像头位置为关注中心，在显示屏幕上划分出三个信息分布区域，如图3a所示，信息分布区域分别为：信息分布区域P0、信息分布区域P1以及信息分布区域P2，信息分布区域与摄像头位置的距离越远，信息分布区域的被关注度越低，将直播画面及其关联数据，按照优先级显示在具有相应关注度的信息分布区域中。
进一步，对直播画面及其关联数据中的数据分别进行等级划分，如图3a所示，购物袋中的等级由高到低为：商品信息A1>商品信息A2>商品信息A3，评论数据中各条评论的等级由高到低为：评论B1>评论B2，数据的等级越高表示数据的关注价值越高，接着，将不同等级的数据显示在具有相应关注度的信息分布区域中。
在本实施例中，如图4所示，在线直播***还包括：遥控终端403，该遥控终端403与直播设备401通信连接，遥控终端403可实现为智能手机，或者，也可以是一个独立的直播遥控器。在遥控终端403实现为智能手机的情况下，该手机上的直播应用中具有一个遥控器界面，主播通过该界面可以向一体化直播设备发出各种管控指令，从而实现对直播设备的各种控制，例如对直播画面的状态进行设置、连麦控制、调节摄像头的高度、画面质量设置或调整等。
在本实施例中，如图3b所示，主播可以通过遥控终端403向直播设备401发起画面设置操作，用以调节调节直播画面的对比度、饱和度、色调、色温以及锐度，直播设备401调整直播画面的界面位置，使直播画面靠近摄像头位置，同时对直播画面进行放大显示，使得主播可以及时的查看画面设备效果。
在本实施例中，主播可以接收用户终端的粉丝发起的连麦请求，主播与粉丝连麦时，直播设备401可以调整直播画面的界面位置，使直播画面靠近摄像头位置，避免主播连麦时，查看直播画面发生视线偏移问题，提高粉丝与主播的交流感，增强粉丝的体验感。
在本实施例中，在直播过程中，或者直播之前，需要对摄像头的位置进行调整，在调整摄像头的位置时，显示屏幕上的界面内容可以流式自适应的调整位置。如图3c所示，将整个商品销售数据承载到一个界面元素上，并将整个主播数据承载到一个界面元素上，当摄像头模块下降时，对该界面元素的长度进行压缩，并将商品销售数据对应的压缩后的界面元素和主播数据对应的压缩后的界面元素分别显示在摄像头升降路径的左右两侧。如图3d所示，将评论数据中的每条评论分别作为一个独立的界面元素显示在显示屏幕上，可以得到评论C1、评论C2以及评论C3对应的界面元素，当摄像头模块下降至评论C1对应的界面元素位置时，为了避免摄像头模块对评论C1的遮挡，可将评论C1对应的界面元素向右移动，此时评论C2和评论C3对应的界面元素可以不向右移动；进一步，在摄像头模块继续下降到评论C2对应的界面元素位置时，为避免摄像头模块对评论C2的遮挡，可继续将评论C2对应的界面元素向右移动，依次类推，提高了显示屏幕的利用率。
图5为本申请示例性实施例提供的一种视频会议***的结构示意图，如图5所示，该视频会议***500包括：包括多个会议参与端，在图5中以3个会议参与端进行图示，但并不限于此。3个会议参与端分别为会议参与端501、会议参与端502以及会议参与端503。其中，每个会议参与端包括一体化的会议终端504和与会议终端504通信连接的显示屏幕505；其中，会议终端504悬挂或固定在显示屏幕505上，会议终端504包括摄像头模块，摄像头模块位于显示屏幕505前方且可上下调节，在图5中仅对会议参与端501内部的结构进行图示，关于会议参与端502和会议参与端503的内部结构图，可参见对会议参与端501的介绍，在此不再赘述。
在本实施例中，会议终端504可调整摄像头模块的相对位置，使之与会议发言人的视线适配，以供摄像头模块在适配的位置上采集包含会议发言人的图像数据；以及基于图像数据合成会议画面，并将会议画面分别发送至显示屏幕和其它会议参与端中的会议终端进行显示。进一步，还可以将会议画面的关联数据，例如，其它会议发言人的留言内容，其它会议发言人的会议画面等，显示在显示屏幕上。关于视频会议***的其它内容，可参见前述实施例，在此不再赘述。在视频会议场景中，被摄对象是会议发言人，对应的参考标记可以是会议发言人的眼睛或视线。
本申请实施例还提供一种音视频处理方法，适用于上述的音视频采集设备或音视频处理***，如图6a所示，该方法包括：
601a、调整音视频采集设备上摄像头模块的相对位置，使之与被摄对象的参考标记适配，以使摄像头模块在与参考标记适配的位置上采集包含被摄对象的图像数据；
602a、获取摄像头模块采集的图像数据，并输出图像数据。
在一可选实施例中，还包括：利用麦克风阵列采集与图像数据适配的音频信号，并将图像数据和音频信号合成音视频画面；相应地，输出图像数据具体为：将音视频画面发送给对应的终端设备进行显示。
在一可选实施例中，音视频采集设备悬挂或固定于其所连接的显示屏幕上，且摄像头模块位于显示屏幕前方，则输出图像数据/音视频画面，包括：根据摄像头模块映射在显示屏幕上的摄像头位置，将图像数据/音视频画面显示于显示屏幕上。
进一步可选地，根据摄像头模块在显示屏幕上的摄像头位置，将图像数据/音视频画面显示于显示屏幕上，包括：获取图像数据/音视频画面以及图像数据/音视频画面的关联数据，并确定图像数据/音视频画面及其关联数据之间的优先级，优先级反应数据的关注价值；以摄像头位置为关注中心，根据优先级，将图像数据/音视频画面及其关联数据显示于摄像头位置的周围区域内；其中，优先级越高的数据，其在显示屏幕上的显示位置越靠近摄像头位置。
进一步可选地，以摄像头位置为关注中心，根据优先级，将图像数据/音视频画面及其关联数据显示于摄像头位置的周围区域内，包括：以摄像头位置为关注中心，在显示屏幕上划分出至少两个信息分布区域，且信息分布区域与摄像头位置的距离越远，信息分布区域的被关注度越低；根据至少两个信息分布区域与摄像头位置的距离和优先级，将图像数据/音视频画面及其关联数据显示在具有相应关注度的信息分布区域中。
进一步可选地，根据至少两个信息分布区域与摄像头位置的距离和优先级，将图像数据/音视频画面及其关联数据显示在具有相应关注度的信息分布区域中，包括：对图像数据/音视频画面及其关联数据中的数据分别进行等级划分，数据的等级越高表示数据的关注价值越高；根据至少两个信息分布区域与摄像头位置的距离和优先级，将不同等级的数据显示在具有相应关注度的信息分布区域中。
在一可选实施例中，本实施例提供的方法还包括：响应被摄对象发起的画面设置操作，调整图像数据/音视频画面的界面位置，以使图像数据/音视频画面靠近摄像头位置，和/或，对图像数据/音视频画面进行画面放大，以供被摄对象查看画面设置效果。
在一可选实施例中，本实施例提供的方法还包括：响应调整摄像头模块的位置的指令，识别显示屏幕上位于摄像头模块移动路径上的界面元素；并跟随摄像头模块的位置变化，调整界面元素在显示屏幕上的显示位置；和/或响应于与被摄对象的交互请求，将图像数据/音视频画面从当前显示区域调整至更靠近摄像头位置的显示区域内。
本申请实施例还提供一种在线直播方法，如图6b所示，该方法包括：
601b、调整直播设备上摄像头模块的相对位置，使之与主播的视线适配，以使摄像头模块在适配的位置上采集包含主播的图像数据；
602b、获取摄像头模块采集的图像数据，基于图像数据合成直播画面，并将直播画面发送给用户终端进行显示。
在一可选实施例中，还包括：利用麦克风阵列采集与图像数据适配的音频信号，并将图像数据和音频信号合成直播画面。
本申请实施例还提供一种在线直播方法，如图6c所示，该方法包括：
601c、调整会议终端上摄像头模块的相对位置，使之与会议发言人的视线适配，以使摄像头模块在适配的位置上采集包含会议发言人的图像数据；
602c、获取摄像头模块采集的图像数据，基于图像数据合成会议画面，并将会议画面发送给其它会议终端进行显示。
在一可选实施例中，还包括：利用麦克风阵列采集与图像数据适配的音频信号，并将图像数据和音频信号合成会议画面。
本申请实施例提供的音视频处理方法，在采集图像数据时，采用可移动的摄像头，根据被摄对象的参考标记(如视线)，适应性地调整摄像头的相对位置，使得摄像头的相对位置与被摄对象的参考标记适配，在这种情况下，摄像头采集的被摄对象的图像数据中被摄对象的参考标记(如视线)基本不会存在偏移，从而解决音视频画面中被摄对象的参考标记偏移问题，尤其是在一些线上交互场景中，可提高被摄对象与对端用户之间的交流感，增强对端用户的体验感。
除了上述***实施例之外，本申请实施例还提供一种音视频处理***。如图7所示，该***包括：摄像头模块702以及显示设备703；其中，摄像头模块702悬挂或固定于显示设备703的屏幕前方且可相对于显示设备701的屏幕移动。
在本实施例中，摄像头模块702的位置可调整，在采集被摄对象的图像数据时，通过调整摄像头模块702的位置使之与被摄对象的参考标记适配，基于此，摄像头模块702可在适配的位置上采集包含被摄对象的图像数据，并将该图像数据传输至显示设备703；显示设备703可将图像数据发送至其屏幕进行显示。
可选地，如图7所示，该音视频处理***还包括：音频采集设备701，用于采集与该图像数据适配的音频数据，并发动给显示设备703，显示设备701还可以将图像数据和音频数据合成音视频画面，并将该音视频画面提供给终端设备704或者发送到其屏幕上进行显示。
在一可选实施例中，显示设备703还可以根据摄像头模块702在其屏幕上的映射位置(即摄像头位置)，将音视频画面显示在其屏幕上。更进一步，显示设备703还可以以摄像头位置为注意力辐射中心，将音视频画面及其关联数据显示在其屏幕上。其中，音频采集设备701可以是麦克风阵列，也可以是麦克风，还可以是包含麦克风阵列或麦克风的拾音设备。其中，本实施例提供的音视频处理***与图2a和图2b所示的音视频处理***区别在于：在生成音视频画面以及以摄像头位置为注意力辐射中心，将音视频画面及其关联数据显示在其屏幕上的执行主体不同，相关细节内容均与前述实施例相同，故可参见前述实施例，在此不再赘述。
进一步，本申请实施例还提供一种数据显示方法，该方法适用于包括外置摄像头和显示屏幕，且摄像头位于显示屏幕前方且可上下调节的音视频处理***，例如上述实施例提供的各种***，但不限于上述实施例给出的各种***。
如图8所示，该方法包括：
801、获取摄像头采集到的包含被摄对象的图像数据，摄像头位于显示屏幕前方且其相对位置与被摄对象的参考标记适配；
802、以摄像头映射在显示屏幕上的摄像头位置为关注中心，将图像数据和/或其关联数据显示于显示屏幕上。
关于步骤801～802的详细实现，可参见前述实施例，在此不再赘述。
本申请实施例提供的数据显示方法，在采集图像数据时，采用可移动的摄像头，根据被摄对象的参考标记(如视线)，适应性地调整摄像头的相对位置，使得摄像头的相对位置与被摄对象的参考标记适配，在这种情况下，摄像头采集的被摄对象的图像数据中被摄对象的参考标记(如视线)基本不会存在偏移，从而解决音视频画面中被摄对象的参考标记偏移问题；进一步，基于摄像头在显示屏幕上的位置，可实现以摄像头为注意力辐射中心的界面布局，数据优先级可随与摄像头距离的拉远而降低，使得可将需要优先关注的信息显示在界面上靠近摄像头的位置，通过这种围绕摄像头的界面布局不仅会进一步解决视觉偏移问题，而且还可以提高整体界面信息的触达效率。尤其是在一些线上交互场景中，可提高被摄对象与对端用户之间的交流感，增强对端用户的体验感。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤601a至步骤603a的执行主体可以为设备A；又比如，步骤601a和602a的执行主体可以为设备A，步骤603a的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如601a、602a等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图9为本申请又一示例性实施例提供的一种数据处理设备的结构示意图。如图9所示，该数据处理设备包括：存储器94和处理器95。进一步还包括：显示屏幕97。
存储器94，用于存储计算机程序，并可被配置为存储其它各种数据以支持在数据处理设备上的操作。这些数据的示例包括用于在数据处理设备上操作的任何应用程序或方法的指令。
存储器94可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器95，与存储器94耦合，用于执行存储器94中的计算机程序，以用于：获取摄像头采集到的包含被摄对象的图像数据，摄像头位于显示屏幕前方且其相对位置与被摄对象的参考标记适配；以摄像头映射在显示屏幕上的摄像头位置为关注中心，将图像数据和/或其关联数据显示于显示屏幕97上。
在一可选实施例中，还可以将图像数据以及与图像数据适配的音频数据合成音视频画面；以摄像头在显示屏幕上的摄像头位置为关注中心，将音视频画面和/或其关联数据显示于显示屏幕97上。
在一可选实施例中，处理器95在以摄像头映射在显示屏幕上的摄像头位置为关注中心，将图像数据/音视频画面和/或其关联数据显示于显示屏幕97上时，具体用于：获取图像数据/音视频画面的关联数据，并确定图像数据/音视频画面及其关联数据之间的优先级，优先级反应数据的关注价值；以摄像头位置为关注中心，根据优先级，将图像数据/音视频画面及其关联数据显示于摄像头位置的周围区域内；其中，优先级越高的数据，其在显示屏幕97上的显示位置越靠近摄像头位置。
在一可选实施例中，处理器95在以摄像头位置为关注中心，根据优先级，将图像数据/音视频画面及其关联数据显示于摄像头位置的周围区域内时，具体用于：以摄像头位置为关注中心，在显示屏幕97上划分出至少两个信息分布区域，且信息分布区域与摄像头位置的距离越远，信息分布区域的被关注度越低；根据至少两个信息分布区域与摄像头位置的距离和优先级，将图像数据/音视频画面及其关联数据显示在具有相应关注度的信息分布区域中。
在一可选实施例中，处理器95在根据至少两个信息分布区域与摄像头位置的距离和优先级，将图像数据/音视频画面及其关联数据显示在具有相应关注度的信息分布区域中时，具体用于：对图像数据/音视频画面及其关联数据中的数据分别进行等级划分，数据的等级越高表示数据的关注价值越高；根据至少两个信息分布区域与摄像头位置的距离和优先级，将不同等级的数据显示在具有相应关注度的信息分布区域中。
在一可选实施例中，处理器95还用于：响应被摄对象发起的画面设置操作，调整图像数据/音视频画面的界面位置，以使图像数据/音视频画面靠近摄像头位置，和/或，对图像数据/音视频画面进行画面放大，以供被摄对象查看画面设置效果。
在一可选实施例中，处理器95还用于：响应调整摄像头模块的位置的指令，识别显示屏幕上位于摄像头模块移动路径上的界面元素；并跟随摄像头模块的位置变化，调整界面元素在显示屏幕97上的显示位置；和/或响应于与被摄对象的交互请求，将图像数据/音视频画面从当前显示区域调整至更靠近摄像头位置的显示区域内。
本申请实施例提供的数据处理设备，在采集图像数据时，采用可移动的摄像头，根据被摄对象的参考标记(如视线)，适应性地调整摄像头的相对位置，使得摄像头的相对位置与被摄对象的参考标记适配，在这种情况下，摄像头采集的被摄对象的图像数据中被摄对象的参考标记(如视线)基本不会存在偏移，从而解决音视频画面中被摄对象的参考标记偏移问题，尤其是在一些线上交互场景中，可提高被摄对象与对端用户之间的交流感，增强对端用户的体验感。
进一步，如图9所示，该数据处理设备还包括：通信组件96、电源组件98、音频组件99等其它组件。图9中仅示意性给出部分组件，并不意味着数据处理设备只包括图9所示组件。需要说明的是，图9中虚线框内的组件为可选组件，而非必选组件，具体可视数据处理设备的产品形态而定。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时，致使处理器能够实现本申请实施例提供的各方法实施例中的各步骤。
相应地，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器实现本申请实施例提供的各方法方法中的步骤。
上述图9中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
上述图9中的显示屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏幕包括触摸面板，显示屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述图9中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述图9中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (35)
1.一种音视频采集设备，其特征在于，包括：设备本体；所述设备本体上设置有可移动结构，所述可移动结构上安装有摄像头模块；
其中，所述可移动结构可调整所述摄像头模块的相对位置，使之与被摄对象的参考标记适配；所述摄像头模块用于在与所述参考标记适配的位置上采集包含所述被摄对象的图像数据并输出。
2.根据权利要求1所述的设备，其特征在于，所述设备本体还设置有麦克风阵列、点阵屏幕、物理按键、散热孔以及通信接口中的至少一种器件；其中，所述麦克风阵列用于采集与所述图像数据适配的音频信号；所述点阵屏幕，用于显示所述设备、所述摄像头模块和/或所述麦克风阵列的状态信息。
3.根据权利要求2所述的设备，其特征在于，所述麦克风阵列和所述散热孔均设置于所述设备本体的顶部，所述物理按键设置于所述设备本体的侧面，所述点阵屏幕设置于所述设备本体的前端；所述显示器接口设置于所述设备本体的后端。
4.根据权利要求1所述的设备，其特征在于，在所述音视频采集设备外接显示屏幕的情况下，所述设备本体悬挂或固定在所述显示屏幕上，所述摄像头模块位于所述显示屏幕的前方且可相对所述显示屏幕移动。
5.根据权利要求4所述的设备，其特征在于，所述设备本体上还设置有处理器，用于根据所述摄像头模块映射在所述显示屏幕上的摄像头位置，将所述图像数据显示于所述显示屏幕上。
6.根据权利要求5所述的设备，其特征在于，所述处理器具体用于：
获取所述图像数据的关联数据，并确定所述图像数据及其关联数据之间的优先级，所述优先级反应数据的关注价值；
以所述摄像头位置为关注中心，根据所述优先级，将所述图像数据及其关联数据显示于所述摄像头位置的周围区域内；
其中，优先级越高的数据，其在所述显示屏幕上的显示位置越靠近所述摄像头位置。
7.根据权利要求6所述的设备，其特征在于，所述处理器具体用于：
以所述摄像头位置为关注中心，在所述显示屏幕上划分出至少两个信息分布区域，且信息分布区域与所述摄像头位置的距离越远，信息分布区域的被关注度越低；
根据所述至少两个信息分布区域与所述摄像头位置的距离和所述优先级，将所述图像数据及其关联数据显示在具有相应关注度的信息分布区域中。
8.根据权利要求7所述的设备，其特征在于，所述处理器具体用于：
对所述图像数据及其关联数据中的数据分别进行等级划分，数据的等级越高表示数据的关注价值越高；
根据所述至少两个信息分布区域与所述摄像头位置的距离和所述优先级，将不同等级的数据显示在具有相应关注度的信息分布区域中。
9.根据权利要求5所述的设备，其特征在于，所述处理器还用于：
响应所述被摄对象发起的画面设置操作，调整所述图像数据的界面位置，以使所述图像数据靠近所述摄像头位置，和/或，对所述图像数据进行画面放大，以供所述被摄对象查看画面设置效果。
10.根据权利要求5-9任一项所述的设备，其特征在于，所述处理器还用于：
响应调整所述摄像头模块的相对位置的指令，识别所述显示屏幕上位于所述摄像头模块移动路径上的界面元素；并跟随所述摄像头模块的位置变化，调整所述界面元素在所述显示屏幕上的显示位置；
和/或
响应于与所述被摄对象的交互请求，将所述图像数据从当前显示区域调整至更靠近所述摄像头位置的显示区域内。
11.根据权利要求5-9任一项所述的设备，其特征在于，所述摄像头模块包括摄像头和提示灯；所述提示灯用于发出提醒信号，以提醒所述被摄对象其参考标记与所述摄像头的相对位置不再适配。
12.根据权利要求11所述的设备，其特征在于，所述处理器还用于：根据所述图像数据监测所述被摄对象的参考标记与所述摄像头的相对位置是否适配，并在监测到两者不适配且不适配的时长超过设定时长阈值的情况下，控制所述提示灯发出提醒信号。
13.根据权利要求12所述的设备，其特征在于，所述摄像头为三维结构光摄像头。
14.根据权利要求5-9任一项所述的设备，其特征在于，所述处理器还用于：
接收管控指令或语音指令，根据所述管控指令或语音指令，执行相应控制操作。
15.根据权利要求1-9任一项所述的设备，其特征在于，所述移动结构为能够带动所述摄像头模块上下移动的升降结构。
16.一种音视频处理***，其特征在于，包括：音视频采集设备，以及与所述音视频采集设备通信连接的显示屏幕；其中，所述音视频采集设备悬挂或固定在所述显示屏幕上，所述音视频采集设备包括可移动结构，所述可移动结构上安装有摄像头模块，所述摄像头模块位于所述显示屏幕前方且可相对所述显示屏幕移动；
所述音视频采集设备，用于通过所述可移动结构调整所述摄像头模块的相对位置，使之与被摄对象的参考标记适配，以供所述摄像头模块在与所述参考标记适配的位置上采集包含所述被摄对象的图像数据并输出至所述显示屏幕上。
17.根据权利要求16所述的***，其特征在于，所述音视频采集设备还用于：
将所述音视频采集设备的麦克风阵列采集的音频信号和所述图像数据合成音视频画面，并将所述音视频画面输出至所述显示屏幕上。
18.根据权利要求17所述的***，其特征在于，所述音视频采集设备具体用于：
根据所述摄像头模块映射在所述显示屏幕上的摄像头位置，将所述音视频画面显示于所述显示屏幕上。
19.根据权利要求18所述的***，其特征在于，还包括：与所述音视频采集设备绑定的管控终端；
所述管控终端，用于响应用户操作，向所述音视频采集设备发送管控指令；所述音视频采集设备还用于根据所述管控指令，执行相应操作。
20.一种在线直播***，其特征在于，包括：一体化的直播设备，以及与所述直播设备通信连接的显示屏幕；所述直播设备悬挂或固定在所述显示屏幕上，所述直播设备包括可移动结构，所述可移动结构上安装有摄像头模块，所述摄像头模块位于所述显示屏幕前方且可相对所述显示屏幕移动；
所述直播设备，用于通过所述可移动结构调整所述摄像头模块的相对位置，使之与主播的视线适配，以供所述摄像头模块在与所述视线适配的位置上采集包含所述主播的图像数据；以及基于所述图像数据合成直播画面，并将所述直播画面分别发送至所述显示屏幕和用户终端进行显示。
21.一种视频会议***，其特征在于，包括多个会议参与端，每个会议参与端包括一体化的会议终端和与所述会议终端通信连接的显示屏幕；其中，所述会议终端悬挂或固定在所述显示屏幕上，所述会议终端包括可移动结构，所述可移动结构上安装有摄像头模块，所述摄像头模块位于所述显示屏幕前方且可相对所述显示屏幕移动；
所述会议终端，用于通过所述可移动结构调整所述摄像头模块的相对位置，使之与会议发言人的视线适配，以供所述摄像头模块在与所述视线适配的位置上采集包含所述会议发言人的图像数据；以及基于所述图像数据合成会议画面，并将所述会议画面分别发送至所述显示屏幕和其它会议参与端中的会议终端进行显示。
22.一种音视频处理方法，其特征在于，包括：
调整音视频采集设备上摄像头模块的相对位置，使之与被摄对象的参考标记适配，以使所述摄像头模块在与所述参考标记适配的位置上采集包含所述被摄对象的图像数据；
获取所述摄像头模块采集的所述图像数据，并输出所述图像数据。
23.根据权利要求22所述的方法，其特征在于，所述音视频采集设备悬挂或固定于其所连接的显示屏幕上，且所述摄像头模块位于所述显示屏幕前方，则输出所述图像数据，包括：
根据所述摄像头模块映射在显示屏幕上的摄像头位置，将所述图像数据显示于所述显示屏幕上。
24.根据权利要求23所述的方法，其特征在于，根据所述摄像头模块映射在显示屏幕上的摄像头位置，将所述图像数据显示于所述显示屏幕上，包括：
获取所述图像数据的关联数据，并确定所述图像数据及其关联数据之间的优先级，所述优先级反应数据的关注价值；
以所述摄像头位置为关注中心，根据所述优先级，将所述图像数据及其关联数据显示于所述摄像头位置的周围区域内；
其中，优先级越高的数据，其在所述显示屏幕上的显示位置越靠近所述摄像头位置。
25.根据权利要求24所述的方法，其特征在于，以所述摄像头位置为关注中心，根据所述优先级，将所述图像数据及其关联数据显示于所述摄像头位置的周围区域内，包括：
以所述摄像头位置为关注中心，在所述显示屏幕上划分出至少两个信息分布区域，且信息分布区域与所述摄像头位置的距离越远，信息分布区域的被关注度越低；
根据所述至少两个信息分布区域与所述摄像头位置的距离和所述优先级，将所述图像数据及其关联数据显示在具有相应关注度的信息分布区域中。
26.根据权利要求25所述的方法，其特征在于，根据所述至少两个信息分布区域与所述摄像头位置的距离和所述优先级，将所述图像数据及其关联数据显示在具有相应关注度的信息分布区域中，包括：
对所述图像数据及其关联数据中的数据分别进行等级划分，数据的等级越高表示数据的关注价值越高；
根据所述至少两个信息分布区域与所述摄像头位置的距离和所述优先级，将不同等级的数据显示在具有相应关注度的信息分布区域中。
27.根据权利要求26所述的方法，其特征在于，还包括：
响应所述被摄对象发起的画面设置操作，调整所述图像数据的界面位置，以使所述图像数据靠近所述摄像头位置，和/或，对所述图像数据进行画面放大，以供所述被摄对象查看画面设置效果。
28.根据权利要求23-27任一项所述的方法，其特征在于，还包括：
响应调整所述摄像头模块的相对位置的指令，识别所述显示屏幕上位于所述摄像头模块移动路径上的界面元素；并跟随所述摄像头模块的位置变化，调整所述界面元素在所述显示屏幕上的显示位置；
和/或
响应于与所述被摄对象的交互请求，将所述图像数据从当前显示区域调整至更靠近所述摄像头位置的显示区域内。
29.一种在线直播方法，其特征在于，包括：
调整直播设备上摄像头模块的相对位置，使之与主播的视线适配，以使所述摄像头模块在所述适配的位置上采集包含所述主播的图像数据；
获取所述摄像头模块采集的所述图像数据，基于所述图像数据合成直播画面，并将所述直播画面发送给用户终端进行显示。
30.一种视频会议方法，其特征在于，包括：
调整会议终端上摄像头模块的相对位置，使之与会议发言人的视线适配，以使所述摄像头模块在所述适配的位置上采集包含所述会议发言人的图像数据；
获取所述摄像头模块采集的所述图像数据基于所述图像数据合成会议画面，并将所述会议画面发送给其它会议终端进行显示。
31.一种音视频处理***，其特征在于，包括：摄像头模块以及显示设备；其中，所述摄像头模块悬挂或固定于所述显示设备的屏幕前方且可相对于所述显示设备的屏幕移动；
所述摄像头模块，用于调整其相对位置以与被摄对象的参考标记适配，在与所述参考标记适配的位置上采集包含所述被摄对象的图像数据，并将所述图像数据传输至所述显示设备；
所述显示设备，用于显示所述图像数据。
32.一种数据显示方法，其特征在于，包括：
获取摄像头采集到的包含被摄对象的图像数据，所述摄像头位于显示屏幕前方且其相对位置与被摄对象的参考标记适配；
以所述摄像头映射在显示屏幕上的摄像头位置为关注中心，将所述图像数据和/或其关联数据显示于所述显示屏幕上。
33.一种数据处理设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：
获取摄像头采集到的包含被摄对象的图像数据，所述摄像头位于显示屏幕前方且其相对位置与被摄对象的参考标记适配；
以所述摄像头映射在显示屏幕上的摄像头位置为关注中心，将所述图像数据和/或其关联数据显示于所述显示屏幕上。
34.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求22-30以及32任一项所述方法中的步骤。
35.一种计算机程序产品，包括计算机程序/指令，其特征在于，当所述计算机程序/指令被处理器执行时，致使所述处理器实现权利要求22-30以及32任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110308870.5A CN113301367B (zh) | 2021-03-23 | 2021-03-23 | 音视频处理方法、设备、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110308870.5A CN113301367B (zh) | 2021-03-23 | 2021-03-23 | 音视频处理方法、设备、***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113301367A true CN113301367A (zh) | 2021-08-24 |
| CN113301367B CN113301367B (zh) | 2024-06-11 |
Family
ID=77319187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110308870.5A Active CN113301367B (zh) | 2021-03-23 | 2021-03-23 | 音视频处理方法、设备、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113301367B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113852833A (zh) * | 2021-08-30 | 2021-12-28 | 阿里巴巴（中国）有限公司 | 多设备协同直播方法、装置及电子设备 |
| CN114422842A (zh) * | 2022-01-19 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 内容展示方法及电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060651A (ja) * | 2004-08-23 | 2006-03-02 | Hitachi Kokusai Electric Inc | テレビジョンカメラ装置 |
| CN103621103A (zh) * | 2011-06-23 | 2014-03-05 | Lg电子株式会社 | 显示节目信息的方法及其图像显示设备 |
| CN105912103A (zh) * | 2016-03-31 | 2016-08-31 | 乐视控股（北京）有限公司 | 移动终端应用桌面的显示处理方法、装置及移动终端 |
| CN106658032A (zh) * | 2017-01-19 | 2017-05-10 | 三峡大学 | 一种多摄像头直播方法及*** |
| US20180043263A1 (en) * | 2016-08-15 | 2018-02-15 | Emmanuel Brian Cao | Augmented Reality method and system for line-of-sight interactions with people and objects online |
| CN110611787A (zh) * | 2019-06-10 | 2019-12-24 | 青岛海信电器股份有限公司 | 一种显示器及图像处理方法 |
| CN110719406A (zh) * | 2019-10-15 | 2020-01-21 | 腾讯科技（深圳）有限公司 | 拍摄处理方法、拍摄设备及计算机设备 |
| CN110874133A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 基于智能显示设备的交互方法、智能显示设备及存储介质 |
| CN111669508A (zh) * | 2020-07-01 | 2020-09-15 | 海信视像科技股份有限公司 | 一种摄像头的控制方法及显示设备 |
| CN111935532A (zh) * | 2020-08-14 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 视频的交互方法、装置、电子设备及存储介质 |
| CN112073662A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 一种显示设备 |
| CN212319339U (zh) * | 2020-04-17 | 2021-01-08 | 深圳宇彤音乐教育科技有限公司 | 一种方便移动的直播摄像头 |
| CN112351161A (zh) * | 2019-08-08 | 2021-02-09 | 华为技术有限公司 | 一种摄像头组件及电子设备 |
-
2021
- 2021-03-23 CN CN202110308870.5A patent/CN113301367B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060651A (ja) * | 2004-08-23 | 2006-03-02 | Hitachi Kokusai Electric Inc | テレビジョンカメラ装置 |
| CN103621103A (zh) * | 2011-06-23 | 2014-03-05 | Lg电子株式会社 | 显示节目信息的方法及其图像显示设备 |
| CN105912103A (zh) * | 2016-03-31 | 2016-08-31 | 乐视控股（北京）有限公司 | 移动终端应用桌面的显示处理方法、装置及移动终端 |
| US20180043263A1 (en) * | 2016-08-15 | 2018-02-15 | Emmanuel Brian Cao | Augmented Reality method and system for line-of-sight interactions with people and objects online |
| CN106658032A (zh) * | 2017-01-19 | 2017-05-10 | 三峡大学 | 一种多摄像头直播方法及*** |
| CN110874133A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 基于智能显示设备的交互方法、智能显示设备及存储介质 |
| CN112073662A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 一种显示设备 |
| CN110611787A (zh) * | 2019-06-10 | 2019-12-24 | 青岛海信电器股份有限公司 | 一种显示器及图像处理方法 |
| CN112351161A (zh) * | 2019-08-08 | 2021-02-09 | 华为技术有限公司 | 一种摄像头组件及电子设备 |
| CN110719406A (zh) * | 2019-10-15 | 2020-01-21 | 腾讯科技（深圳）有限公司 | 拍摄处理方法、拍摄设备及计算机设备 |
| CN212319339U (zh) * | 2020-04-17 | 2021-01-08 | 深圳宇彤音乐教育科技有限公司 | 一种方便移动的直播摄像头 |
| CN111669508A (zh) * | 2020-07-01 | 2020-09-15 | 海信视像科技股份有限公司 | 一种摄像头的控制方法及显示设备 |
| CN111935532A (zh) * | 2020-08-14 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 视频的交互方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113852833A (zh) * | 2021-08-30 | 2021-12-28 | 阿里巴巴（中国）有限公司 | 多设备协同直播方法、装置及电子设备 |
| CN113852833B (zh) * | 2021-08-30 | 2024-03-22 | 阿里巴巴（中国）有限公司 | 多设备协同直播方法、装置及电子设备 |
| CN114422842A (zh) * | 2022-01-19 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 内容展示方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113301367B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140104396A1 (en) | Apparatus and method for streaming live images, audio and meta-data | |
| TWI530157B (zh) | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 | |
| WO2015107817A1 (ja) | 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム | |
| US20150154448A1 (en) | Display system, display device, projection device and program | |
| AU2011237473B2 (en) | Remote gaze control system and method | |
| CN103869470A (zh) | 显示装置及其控制方法、头戴式显示装置及其控制方法 | |
| CN113301367B (zh) | 音视频处理方法、设备、***及存储介质 | |
| US20120236131A1 (en) | Display device, display system, and method for controlling display device | |
| CN103995685A (zh) | 信息处理装置以及信息处理装置的控制方法 | |
| WO2021218547A1 (zh) | 用于在现实场景中叠加直播人物影像的方法和电子设备 | |
| WO2022262839A1 (zh) | 现场演出的立体显示方法、装置、介质及*** | |
| US20240077941A1 (en) | Information processing system, information processing method, and program | |
| EP3388036A1 (en) | Methods and systems for wireless live video streaming from a welding helmet | |
| CN105472358A (zh) | 一种关于视频图像处理的智能终端 | |
| US20120249758A1 (en) | Electric apparatus and control method of indicator | |
| CN114268775A (zh) | 投影***、方法及存储介质 | |
| CN105227828B (zh) | 拍摄装置和方法 | |
| WO2013005518A1 (ja) | 画像出力装置、画像出力方法、およびプログラム | |
| US10679589B2 (en) | Image processing system, image processing apparatus, and program for generating anamorphic image data | |
| CN113676690A (zh) | 一种视频会议的实现方法、设备及存储介质 | |
| CN114489326B (zh) | 面向人群的虚拟人交互注意力驱动的姿态控制装置及方法 | |
| CN114979598B (zh) | 激光投影显示方法、三色激光投影设备及可读性存储介质 | |
| JP2015159460A (ja) | 投影システム、投影装置、撮影装置、ガイド枠生成方法及びプログラム | |
| WO2021226821A1 (en) | Systems and methods for detection and display of whiteboard text and/or an active speaker | |
| CN103391445A (zh) | 图像显示装置以及快门装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240318 Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore Applicant after: Alibaba Innovation Co. Country or region after: Singapore Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore Applicant before: Alibaba Singapore Holdings Ltd. Country or region before: Singapore |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |