CN106603912B - 一种视频直播控制方法及装置 - Google Patents

一种视频直播控制方法及装置 Download PDF

Info

Publication number
CN106603912B
CN106603912B CN201611104572.XA CN201611104572A CN106603912B CN 106603912 B CN106603912 B CN 106603912B CN 201611104572 A CN201611104572 A CN 201611104572A CN 106603912 B CN106603912 B CN 106603912B
Authority
CN
China
Prior art keywords
camera
interest point
view
shot
suitability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611104572.XA
Other languages
English (en)
Other versions
CN106603912A (zh
Inventor
卢明敬
史峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201611104572.XA priority Critical patent/CN106603912B/zh
Publication of CN106603912A publication Critical patent/CN106603912A/zh
Application granted granted Critical
Publication of CN106603912B publication Critical patent/CN106603912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种视频直播控制方法及装置，该方法包括：获取定位摄像机的视频图像输入信号，根据该视频图像输入信号获取图像中的兴趣点的位置信息；根据获取的兴趣点的位置信息,计算各台取景摄像机的拍摄参数并产生控制信号，控制各台取景摄像机根据拍摄参数进行拍摄；获取多台取景摄像机的拍摄画面，计算各台取景摄像机所拍摄画面的适合度；根据一切换控制策略，输出多台取景摄像机中的一路或多路拍摄画面，通过本发明，可实现多机位视频直播的自动化控制。

Description

一种视频直播控制方法及装置
技术领域
本发明涉及视频播放技术领域，特别是涉及一种用于多机位自动切换的视频直播控制方法及装置。
背景技术
现有多机位视频直播***中,一般配备多个摄像机从多个角度拍摄舞台画面,然后选择使用最合适的摄像机的画面效果直播。为了达到多个角度拍摄的效果,需要在不同的位置布置多台摄像机分别拍摄画面,每个摄像机都配备摄像人员,跟踪舞台上的演员拍摄,并且分工协作,比如有人负责近景特写,有人负责舞台全貌,多个摄像机的画面最终都输入到导播台,导播台配有导播,由导播观看各摄像机的画面效果,然后根据舞台上演员的位置以及面部方向,输出最合适的摄像机画面用于播出。
可见，现有多机位直播技术中,由于每个摄像机需要配备人工跟踪拍摄,导播台也需要配备人工筛选出合适的画面用于播出,这就需要一个专业完整的摄像导播的团队,成本较高,也无法自动化，效率较低。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种视频直播控制方法及装置，以实现多机位视频直播的自动化。
为达上述目的，本发明提出一种视频直播控制方法，包括如下步骤：
步骤一，获取定位摄像机的视频图像输入信号，根据该视频图像输入信号获取图像中的兴趣点的位置信息；
步骤二，根据获取的兴趣点的位置信息,计算各台取景摄像机的拍摄参数并产生控制信号，控制各台取景摄像机根据拍摄参数进行拍摄；
步骤三，获取多台取景摄像机的拍摄画面，计算各台取景摄像机所拍摄画面的适合度；
步骤四，根据一切换控制策略，输出多台取景摄像机中的一路或多路拍摄画面。
进一步地，于步骤一中，采用对视频图像运动物体检测的背景差法获取视频图像中的运动目标为兴趣点，该运动目标的最小包围矩形的几何中心坐标为所述兴趣点的位置信息。
进一步地，于步骤二中，该拍摄参数包括拍摄方向参数或/和缩放参数。
进一步地，所述拍摄方向参数为取景摄像机的拍摄方向角度，通过所述兴趣点的位置信息以及预设的取景摄像机的位置获得。
进一步地，所述缩放参数通过取景摄像机的拍摄角度与运动目标在摄像机位置的视角获得，所述运动目标在摄像机位置的视角为所述运动目标的最小包围矩形的两对角顶点与取景摄像机之间的夹角。
进一步地，步骤三进一步包括：
计算所获取的拍摄画面的兴趣点区域；
根据获得的兴趣点区域计算得到拍摄画面的实际兴趣点占比；
根据所述实际兴趣点占比及预设的期望兴趣点占比计算出各取景摄像机所拍摄画面的适合度。
进一步地，所述切换控制策略根据各台取景摄像机的使用时长以及各台取景摄像机所拍摄画面的适合度，选择相应的拍摄画面输出。
进一步地，所述切换控制策略包括如下1)至4)中的一个或多个：
1)若当前取景摄像机已连续使用超出最长容忍时间，则切换到适合度最高的其他取景摄像机；
2)若有其他取景摄像机的适合度超出当前取景摄像机的适合度且当前取景摄像机的本次使用时长大于最小使用阈值,则切换到适合度最高的其他取景摄像机；
3)若有取景摄像机的本次使用时长占总使用时长的比例低于最低容忍值且当前取景摄像机的本次使用时长大于最小使用阈值时，则切换到本次使用时长最短的取景摄像机；
4)若当前取景摄像机本次使用时长低于最小使用阈值时，则不论适合度如何，都不进行取景摄像机拍摄画面的切换。
进一步地，所述定位摄像机采用红外摄像机及红外补光灯进行拍摄获得所述视频图像。
为达到上述目的，本发明还提供一种视频直播控制装置，包括：
定位单元，用于获取定位摄像机的视频图像输入信号，根据该视频图像输入信号获取图像中的兴趣点的位置信息；
控制单元，根据获取的兴趣点的位置信息,计算各台取景摄像机的拍摄参数并产生控制信号，控制各台取景摄像机根据拍摄参数进行拍摄；
适合度处理单元，获取多台取景摄像机的拍摄画面，计算各台取景摄像机所拍摄画面的适合度；
输出选择单元，用于根据一切换控制策略，输出多台取景摄像机中的一路或多路拍摄画面。
进一步地，所述适合度处理单元进一步包括：
兴趣点区域计算单元，用于计算所获取的拍摄画面的兴趣点区域；
实际兴趣点占比计算单元，用于根据获得的兴趣点区域计算得到该拍摄画面的实际兴趣点占比；
适合度计算单元，根据所述实际兴趣点占比及预设的期望兴趣点占比计算出各取景摄像机所拍摄画面的适合度。
进一步地，所述切换控制策略根据各台取景摄像机的使用时长以及各台取景摄像机所拍摄画面的适合度，选择相应的拍摄画面输出。
进一步地，所述切换控制策略包括如下1)至4)中的一个或多个：
1)若当前取景摄像机已连续使用超出最长容忍时间，则切换到适合度最高的其他取景摄像机；
2)若有其他取景摄像机的适合度超出当前取景摄像机的适合度且当前取景摄像机的本次使用时长大于最小使用阈值,则切换到适合度最高的其他取景摄像机；
3)若有取景摄像机的本次使用时长占总使用时长的比例低于最低容忍值且当前取景摄像机的本次使用时长大于最小使用阈值时，则切换到本次使用时长最短的取景摄像机；
4)若当前取景摄像机本次使用时长低于最小使用阈值时，则不论适合度如何，都不进行取景摄像机拍摄画面的切换。
与现有技术相比，本发明一种视频直播控制方法及装置通过获取兴趣点的位置信息，根据兴趣点的位置信息计算出各台取景摄像机的拍摄参数并产生相应的控制信号控制各台取景摄像机，对各台取景计算机的拍摄画面计算各台取景计算机的合适度，并根据一切换控制策略选择一路或多路拍摄画面输出，实现了对多台摄像机的自动控制，提高了视频直播的效率，特别适合自助式服务的场景。
附图说明
图1为本发明中部分名词示例图；
图2为本发明第一实施例之一种视频直播控制方法的步骤流程图；
图3为本发明具体实施例中兴趣点位置信息示意图；
图4为本发明具体实施例中拍摄方向示意图；
图5为本发明具体实施例中取景摄像机拍摄画面的兴趣点区域示意图；
图6为本发明第二实施例之一种视频直播控制装置的结构示意图；
图7为本发明具体实施例中适合度处理单元603的细部结构图；
图8及图9为本发明具体实施例所应用之视频直播***的俯视图与主视图；
图10为本发明具体实施例中视频直播控制装置应用情境示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
在介绍本发明之前，先配合图1对本发明所使用的一些名词作如下说明：
拍摄方向:表示摄像机往三维空间哪个方向拍摄；
缩放：表示摄像机镜头的缩放；
兴趣点占比:表示感兴趣点(如人脸)占整个画面面积的比值,如占比越少,说明该摄像机更倾向于拍摄全景画面；
期望兴趣点占比:表示期望该摄像机拍摄的兴趣点占画面面积的百分比；
实际兴趣点占比:表示实际该摄像机拍摄的兴趣点占画面面积的百分比；
总使用时长:表示当前摄像机在直播中,已经用于直播画面多长时间；
本次使用时长:表示切换到自己后,经历了多长时间,当前不再使用则值为-1。
图2为本发明第一实施例之一种视频直播控制方法的步骤流程图。如图2所示，本发明一种视频直播控制方法，包括如下步骤：
步骤201，获取定位摄像机的视频图像输入信号，根据该视频图像输入信号获取图像中的兴趣点的位置信息。
在本发明具体实施例中，采用对视频图像运动物体检测的背景差法获取视频图像中的兴趣点的位置区域。背景差法的基本思想是输入一帧画面当做背景图像,将当前图像和背景图像进行比较，从背景中分离出运动目标,运动的目标即为兴趣点,兴趣点的位置信息用运动目标的最小包围矩形的几何中心坐标表示。
以获取舞台的兴趣点位置信息为例，如图3所示，假设舞台大小1920*1080,左上角定位坐标原点(0,0),运动目标左上角坐标(800,-400),长宽都是100,则中心区域为(800+100/2,-400+-100/2),即为(850,-450)。
由于背景差法受环境灯干扰较大,本发明具体实施例中定位摄像机采用红外摄像机及红外补光灯进行拍摄，不采用可见光拍摄,这样可以消除可见环境光的干扰。
步骤202，根据获取的兴趣点的位置信息,计算各台取景摄像机的拍摄参数并产生控制信号，控制各台取景摄像机根据拍摄参数进行拍摄。
本步骤中，拍摄参数包括拍摄方向或/和缩放参数，其中拍摄方向表示取景摄像机往三维空间哪个方向拍摄，缩放参数指的是取景摄像机的镜头缩放参数。以下将分别说明两个参数的计算：
本步骤中，对于各台取景摄像机拍摄方向参数，根据兴趣点的位置以及预设的取景摄像机的位置计算获得取景摄像机的拍摄方向角度。例如，取景摄像机的方向用角度θ表示,朝向舞台左上角位置作为起始角度,为0度,向右偏转(即顺时针)为正方向，首先标定每台取景摄像机位置和舞台位置，如图4所示，假设舞台左上角为(0,0)点,舞台宽1080,长1920，摄像机位于(300,-1200)处,运动目标最小包围矩形是(800,-400)和(900,-500)所组成的矩形,兴趣点位置为(850,-450)处，规定每个摄像机朝向(0,0)点的角度为0°,则拍摄方向参数θ可通过斜率公式和夹角公式求出：
斜率公式为:k＝(y2-y1)/(x2-x1)
夹角公式为:tanθ＝|(k1–k2)/(1+k1*k2)|
在本发明具体实施例中，坐标原点(0,0)点到取景摄像机(300,-1200)点直线为L1,根据斜率计算公式此直线斜率k1为:-4；兴趣点(850,-450)点到取景摄像机(300,-1200)点直线为L2,根据斜率计算公式此直线斜率k2为:15/11，则直线L1,L2的夹角θ为：
Figure GDA0002577855550000061
则拍摄方向参数为以坐标原点到取景摄像机的连线为起始线，顺时针50.29°方向。
本步骤中，对于各台取景摄像机的缩放参数，可由摄像机的拍摄角度/运动目标在摄像机位置的视角计算出来，所述摄像机的拍摄角度为摄像机的固定值,本发明中取为90°，所述运动目标在摄像机位置的视角为运动目标的最小包围矩形的两对角顶点(点(800，-400)以及点(900，-500))与取景摄像机之间的夹角，在本发明具体实施例中，同样可根据上述斜率和夹角公式，求出运动目标在摄像机位置的视角为8.6°，则缩放参数为90/8.6，约为10。
步骤203，获取多台取景摄像机的拍摄画面，计算各台取景摄像机所拍摄画面的适合度。
在本发明具体实施例中，步骤203进一步包括：
步骤S1，计算所获取的拍摄画面的兴趣点区域。在本步骤中，采用人脸识别的方法计算拍摄画面中人脸的数量和位置,并用最小矩形进行包围,此矩形区域即为兴趣点区域，如图5中，拍摄画面中的兴趣点区域为400*1600。
步骤S2，根据获得的兴趣点区域计算得到该拍摄画面的实际兴趣点占比。本发明中，兴趣点占比指的是感兴趣点(如人脸)占整个画面面积的比值,如占比越少,说明该摄像机更倾向于拍摄全景画面，实际兴趣点占比则表示实际该摄像机拍摄的兴趣点占整个画面面积的百分比。如图5所示，假设舞台大小1920*1080,即该整个画面面积为1920*1080，若该拍摄画面中的兴趣点区域为400*1600，则其实际兴趣点占比为(400*1600)/(1080*1920)＝30.8％。
步骤S3，根据实际兴趣点占比及期望兴趣点占比计算出各取景摄像机所拍摄画面的适合度。本发明中，期望兴趣点占比表示期望该摄像机拍摄的兴趣点占画面面积的百分比，一般为预设，实际兴趣点占比通过步骤S2获得，所拍摄画面的适合度通过如下公式获得：
适合度＝1-|(期望兴趣点占比-实际兴趣点占比)|/期望兴趣点占比
在本发明具体实施例中，假设期望兴趣点占比为30％，则该摄像机的适合度为1–|(30％-30.8％)|/30％＝97.3％。
步骤204，根据一切换控制策略，输出多台取景摄像机中的一路或多路拍摄画面。
在多个取景摄像机中,需要根据一定的切换控制策略选出用于直播的取景摄像机,使直播出的画面既有多个机位(角度)切换,画面中兴趣点(人物)应比较突出。
在本发明具体实施例中，该切换控制策略为根据各台取景摄像机的使用时长以及各台取景摄像机所拍摄画面的适合度，选择最优的拍摄画面输出。具体地，这里的使用时长包括总使用时长与本次使用时长，总使用时长表示当前摄像机在直播中,已经用于直播画面多长时间；本次使用时长表示切换到自己后,经历了多长时间,当前不在使用则其值为-1。具体地，该切换控制策略包括如下1)至4)的一个或多个：
1)若当前取景摄像机已连续使用超出最长容忍时间(预设，例如20秒)，则切换到适合度最高的其他取景摄像机；
2)若有其他取景摄像机的适合度超出当前取景摄像机的适合度且当前取景摄像机的本次使用时长大于最小使用阈值(例如5s),则切换到适合度最高的其他取景摄像机；
3)若有取景摄像机的本次使用时长占总使用时长的比例低于最低容忍值(例如10％)且当前取景摄像机的本次使用时长大于最小使用阈值(例如5s)时，则切换到本次使用时长最短的取景摄像机；
4)若当前取景摄像机本次使用时长低于最小使用阈值(例如5s)时，则不论适合度如何，则不进行取景摄像机的切换。
通过上述切换控制策略,可以保证尽可能使用适合度最高的摄像机,同时不会导致镜头长时间不切换,或者镜头切换过快导致画面闪烁。
图6为本发明第二实施例之一种视频直播控制装置的结构示意图。如图6所示，本发明一种视频直播控制装置，包括：定位单元601、控制单元602、适合度处理单元603以及输出选择单元604。
定位单元601，用于获取定位摄像机的视频图像输入信号，根据该视频图像输入信号获取图像中的兴趣点的位置信息。
在本发明具体实施例中，定位单元601采用对视频图像运动物体检测的背景差法获取视频图像中的兴趣点的位置区域。背景差法的基本思想是输入一帧画面作为背景图像,将当前图像和背景图像进行比较，从背景中分离出运动目标,运动的目标即为兴趣点,兴趣点的位置信息用运动目标的最小包围矩形的几何中心坐标表示。
由于背景差法受环境灯干扰较大,本发明具体实施例中定位摄像机采用红外摄像机及红外补光灯进行拍摄，不采用可见光拍摄,这样可以消除可见环境光的干扰。
控制单元602，根据获取的兴趣点的位置信息,计算各台取景摄像机的拍摄参数并产生控制信号，控制各台取景摄像机根据拍摄参数进行拍摄。
本发明中，拍摄参数包括拍摄方向或/和缩放参数，其中拍摄方向表示取景摄像机往三维空间哪个方向拍摄，缩放参数指的是取景摄像机的镜头缩放参数。以下将分别说明两个参数的计算：
对于各台取景摄像机拍摄方向参数，根据兴趣点的位置以及预设的取景摄像机的位置计算获得取景摄像机的拍摄方向参数。例如，取景摄像机的拍摄方向用角度θ表示,朝向舞台左上角位置作为起始角度,为0度,向右偏转(即顺时针)为正方向，拍摄方向参数θ可由夹角公式求出：
夹角公式为:tanθ＝|(k1–k2)/(1+k1*k2)|
其中，(x1,y1)为K1为坐标原点(0,0)点到取景摄像机坐标点直线的斜率，k2为兴趣点位置到取景摄像机坐标点直线的斜率，斜率k1/k2可由斜率公式求出:k＝(y2-y1)/(x2-x1)。
对于各台取景摄像机的缩放参数，可由摄像机的拍摄角度/运动目标在摄像机位置的视角计算出来，所述摄像机的拍摄角度为摄像机的固定值,本发明中取为90°，所述运动目标在摄像机位置的视角为运动目标的最小包围矩形的两对角顶点(点(800，-400)以及点(900，-500))与取景摄像机之间的夹角，在本发明具体实施例中，同样可根据上述斜率和夹角公式，求出运动目标在摄像机位置的视角，在此不予赘述。
适合度处理单元603，用于获取多台取景摄像机的拍摄画面，计算各台取景摄像机所拍摄画面的适合度。
图7为本发明具体实施例中适合度处理单元603的细部结构图。在本发明具体实施例中，适合度处理单元603进一步包括：
兴趣点区域计算单元6031，用于计算所获取的拍摄画面的兴趣点区域。在本发明具体实施例中，兴趣点区域计算单元6031通过采用人脸识别的方法计算拍摄画面中人脸的数量和位置,并用最小矩形进行包围,此矩形区域即为兴趣点区域；
实际兴趣点占比计算单元6032，用于根据获得的兴趣点区域计算得到该拍摄画面的实际兴趣点占比。本发明中，兴趣点占比指的是感兴趣点(如人脸)占整个画面面积的比值,如占比越少,说明该摄像机更倾向于拍摄全景画面，实际兴趣点占比则表示实际该摄像机拍摄的兴趣点占整个画面面积的百分比。
适合度计算单元6033，根据实际兴趣点占比及期望兴趣点占比计算出各取景摄像机所拍摄画面的适合度。本发明中，期望兴趣点占比表示期望该摄像机拍摄的兴趣点占画面面积的百分比，一般为预设，实际兴趣点占比通过步骤S2获得，所拍摄画面的适合度通过如下公式获得：
适合度＝1-|(期望兴趣点占比-实际兴趣点占比)|/期望兴趣点占比。
输出选择单元604，用于根据一切换控制策略，输出多台取景摄像机中的一路或多路拍摄画面。
在多台取景摄像机的***中,需要根据一定的切换控制策略选出用于直播的取景摄像机,使直播出的画面既有多个机位(角度)切换,画面中兴趣点(人物)应比较突出。
在本发明具体实施例中，该切换控制策略为根据各台取景摄像机的使用时长以及各台取景摄像机所拍摄画面的适合度，选择合适的拍摄画面输出。具体地，这里的使用时长包括总使用时长与本次使用时长，总使用时长表示当前摄像机在直播中,已经用于直播画面多长时间；本次使用时长表示切换到自己后,经历了多长时间,当前不在使用则其值为-1。具体地，该切换控制策略包括如下1)至4)的一个或多个：
1)若当前取景摄像机已连续使用超出最长容忍时间(预设，例如20秒)，则切换到适合度最高的其他取景摄像机；
2)若有其他取景摄像机的适合度超出当前取景摄像机的适合度且当前取景摄像机的本次使用时长大于一最小使用阈值(例如5s),则切换到适合度最高的其他取景摄像机；
3)若有取景摄像机的本次使用时长占总使用时长的比例低于最低容忍值(例如10％)且当前取景摄像机的本次使用时长大于最小使用阈值(例如5s)时，则切换到本次使用时长最短的取景摄像机；
4)若当前取景摄像机本次使用时长低于最小使用阈值(例如5s)时，则不论适合度如何，则不进行取景摄像机的切换。
通过上述切换控制策略,可以保证尽可能使用适合度最高的取景摄像机,同时不会导致镜头长时间不切换,或者镜头切换过快导致画面闪烁。
图8及图9为本发明具体实施例所应用之视频直播***的俯视图与主视图。在本发明具体实施例中，该***应用于舞台环境，包括红外补光灯80、定位摄像机(红外摄像机)81、以及若干取景摄像机82以及视频直播控制装置83。
其中，定位摄像机81安装在舞台顶部，由顶向拍摄舞台全景，红外补光灯80斜向安装在舞台上方，斜向下发射红外光，红外光肉眼不可见，不影响舞台灯光效果，当人(或运动物体)走动到舞台上时，身体或者头部会反射红外光到定位摄像机81，定位摄像机81会拍摄到一块亮斑，调整定位摄像机81,使其恰好能拍摄到全部舞台,拍摄画面分辨率的宽高值定义为舞台宽高值；各取景摄像机82根据需求，分布在舞台四周，对准舞台中央，并可以拍摄舞台全景。
图10为本发明具体实施例中视频直播控制装置应用情境示意图。该视频直播控制装置包括定位单元、控制单元、适合度处理单元以及输出选择单元，定位单元接收定位摄像机的画面信号，控制单元向各台取景摄像机输出控制信号，各台取景摄像机的拍摄画面输出至适合度处理单元以及输出选择单元，依据切换选择策略输出直播画面。
综上所述，本发明一种视频直播控制方法及装置通过获取兴趣点的位置信息，根据兴趣点的位置信息计算出各台取景摄像机的拍摄参数并产生相应的控制信号控制各台取景摄像机，对各台取景计算机的拍摄画面计算各台取景计算机的合适度，并根据一切换控制策略选择一路或多路拍摄画面输出，实现了对多台摄像机的自动控制，提高了视频直播的效率，特别适合自助式服务的场景。
任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (11)

1.一种视频直播控制方法，包括如下步骤：
步骤一，获取定位摄像机的视频图像输入信号，根据该视频图像输入信号获取图像中的兴趣点的位置信息；
步骤二，根据获取的兴趣点的位置信息，计算各台取景摄像机的拍摄参数并产生控制信号，控制各台取景摄像机根据拍摄参数进行拍摄；
步骤三，获取多台取景摄像机的拍摄画面，计算各台取景摄像机所拍摄画面的适合度，所述适合度与期望兴趣点占比和实际兴趣点占比相关，其中期望兴趣点占比表示期望该摄像机拍摄的兴趣点占画面面积的百分比，实际兴趣点占比表示实际该摄像机拍摄的兴趣点占画面面积的百分比；所述适合度用于表征实际兴趣点占比相对于期望兴趣点占比的接近程度；
步骤四，根据一切换控制策略，输出多台取景摄像机中的一路或多路拍摄画面；所述切换控制策略根据各台取景摄像机的使用时长以及各台取景摄像机所拍摄画面的适合度，选择相应的拍摄画面输出。
2.如权利要求1所述的一种视频直播控制方法，其特征在于：于步骤一中，采用对视频图像运动物体检测的背景差法获取视频图像中的运动目标为兴趣点，该运动目标的最小包围矩形的几何中心坐标为所述兴趣点的位置信息。
3.如权利要求1所述的一种视频直播控制方法，其特征在于：于步骤二中，该拍摄参数包括拍摄方向参数或/和缩放参数。
4.如权利要求3所述的一种视频直播控制方法，其特征在于：所述拍摄方向参数为取景摄像机的拍摄方向角度，通过所述兴趣点的位置信息以及预设的取景摄像机的位置获得。
5.如权利要求3所述的一种视频直播控制方法，其特征在于：所述缩放参数通过取景摄像机的拍摄角度与运动目标在摄像机位置的视角获得，所述运动目标在摄像机位置的视角为所述运动目标的最小包围矩形的两对角顶点与取景摄像机之间的夹角。
6.如权利要求1所述的一种视频直播控制方法，其特征在于，步骤三进一步包括：
计算所获取的拍摄画面的兴趣点区域；
根据获得的兴趣点区域计算得到拍摄画面的实际兴趣点占比；
根据所述实际兴趣点占比及预设的期望兴趣点占比计算出各取景摄像机所拍摄画面的适合度。
7.如权利要求1所述的一种视频直播控制方法，其特征在于，所述切换控制策略包括如下1)至4)中的一个或多个：
1)若当前取景摄像机已连续使用超出最长容忍时间，则切换到适合度最高的其他取景摄像机；
2)若有其他取景摄像机的适合度超出当前取景摄像机的适合度且当前取景摄像机的本次使用时长大于最小使用阈值，则切换到适合度最高的其他取景摄像机；
3)若有取景摄像机的本次使用时长占总使用时长的比例低于最低容忍值且当前取景摄像机的本次使用时长大于最小使用阈值时，则切换到本次使用时长最短的取景摄像机；
4)若当前取景摄像机本次使用时长低于最小使用阈值时，则不论适合度如何，都不进行取景摄像机拍摄画面的切换。
8.如权利要求1所述的一种视频直播控制方法，其特征在于：所述定位摄像机采用红外摄像机及红外补光灯进行拍摄获得所述视频图像。
9.一种视频直播控制装置，包括：
定位单元，用于获取定位摄像机的视频图像输入信号，根据该视频图像输入信号获取图像中的兴趣点的位置信息；
控制单元，根据获取的兴趣点的位置信息，计算各台取景摄像机的拍摄参数并产生控制信号，控制各台取景摄像机根据拍摄参数进行拍摄；
适合度处理单元，获取多台取景摄像机的拍摄画面，计算各台取景摄像机所拍摄画面的适合度，所述适合度与期望兴趣点占比和实际兴趣点占比相关，其中期望兴趣点占比表示期望该摄像机拍摄的兴趣点占画面面积的百分比，实际兴趣点占比表示实际该摄像机拍摄的兴趣点占画面面积的百分比；所述适合度用于表征实际兴趣点占比相对于期望兴趣点占比的接近程度；
输出选择单元，用于根据一切换控制策略，输出多台取景摄像机中的一路或多路拍摄画面；所述切换控制策略根据各台取景摄像机的使用时长以及各台取景摄像机所拍摄画面的适合度，选择相应的拍摄画面输出。
10.如权利要求9所述的一种视频直播控制装置，其特征在于，适合度处理单元进一步包括：
兴趣点区域计算单元，用于计算所获取的拍摄画面的兴趣点区域；
实际兴趣点占比计算单元，用于根据获得的兴趣点区域计算得到该拍摄画面的实际兴趣点占比；
适合度计算单元，根据所述实际兴趣点占比及预设的期望兴趣点占比计算出各取景摄像机所拍摄画面的适合度。
11.如权利要求9所述的视频直播控制装置，其特征在于，所述切换控制策略包括如下1)至4)中的一个或多个：
1)若当前取景摄像机已连续使用超出最长容忍时间，则切换到适合度最高的其他取景摄像机；
2)若有其他取景摄像机的适合度超出当前取景摄像机的适合度且当前取景摄像机的本次使用时长大于一最小使用阈值，则切换到适合度最高的其他取景摄像机；
3)若有取景摄像机的本次使用时长占总使用时长的比例低于最低容忍值且当前取景摄像机的本次使用时长大于最小使用阈值时，则切换到本次使用时长最短的取景摄像机；
4)若当前取景摄像机本次使用时长低于最小使用阈值时，则不论适合度如何，都不进行取景摄像机拍摄画面的切换。
CN201611104572.XA 2016-12-05 2016-12-05 一种视频直播控制方法及装置 Active CN106603912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611104572.XA CN106603912B (zh) 2016-12-05 2016-12-05 一种视频直播控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611104572.XA CN106603912B (zh) 2016-12-05 2016-12-05 一种视频直播控制方法及装置

Publications (2)

Publication Number Publication Date
CN106603912A CN106603912A (zh) 2017-04-26
CN106603912B true CN106603912B (zh) 2020-09-11

Family

ID=58597023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611104572.XA Active CN106603912B (zh) 2016-12-05 2016-12-05 一种视频直播控制方法及装置

Country Status (1)

Country Link
CN (1) CN106603912B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124662B (zh) * 2017-05-10 2022-03-18 腾讯科技（上海）有限公司 视频直播方法、装置、电子设备及计算机可读存储介质
CN107197320B (zh) * 2017-06-21 2021-01-15 北京小米移动软件有限公司 视频直播方法、装置和***
CN108521867B (zh) * 2017-07-18 2020-10-30 杭州他若信息科技有限公司 基于远程观众投票控制相机视野
CN114641984A (zh) * 2019-10-29 2022-06-17 苏州随闻智能科技有限公司 视频图像显示方法和装置
CN110956106B (zh) * 2019-11-20 2023-10-10 广州方硅信息技术有限公司 一种直播开播的处理方法、装置、存储介质及设备
CN111931564A (zh) * 2020-06-29 2020-11-13 北京大学 一种基于人脸识别的目标跟踪方法及装置
CN112423139A (zh) * 2020-11-20 2021-02-26 千脉文化传媒(上海)有限公司 基于移动终端的多机位直播方法、***、设备及存储介质
CN115223384B (zh) * 2021-03-29 2024-01-16 东风汽车集团股份有限公司 一种车辆数据显示方法、装置、电子设备和存储介质
CN113141518B (zh) * 2021-04-20 2022-09-06 北京安博盛赢教育科技有限责任公司 直播课堂中视频帧图像的控制方法、控制装置
CN114979689B (zh) * 2022-05-05 2023-12-08 咪咕视讯科技有限公司 多机位直播导播方法、设备以及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328343A (ja) * 1992-05-19 1993-12-10 Fujitsu Ltd 多画面テレビ会議装置
NO327899B1 (no) * 2007-07-13 2009-10-19 Tandberg Telecom As Fremgangsmate og system for automatisk kamerakontroll
CN102300043B (zh) * 2010-06-23 2014-06-11 中兴通讯股份有限公司 调整远程呈现会议***的会场摄像头的方法及会议终端
CN102148965B (zh) * 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控***
US9838595B2 (en) * 2014-11-10 2017-12-05 Sz Reach Tech Co., Ltd. Video generating method and apparatus of video generating system

Also Published As

Publication number Publication date
CN106603912A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106603912B (zh) 一种视频直播控制方法及装置
JP4153146B2 (ja) カメラアレイの画像制御方法、及びカメラアレイ
EP3127321B1 (en) Method and system for automatic television production
US8687041B2 (en) Stereoscopic panorama image creating apparatus, stereoscopic panorama image creating method, stereoscopic panorama image reproducing apparatus, stereoscopic panorama image reproducing method, and recording medium
US10911694B2 (en) System and method for creating metadata model to improve multi-camera production
US9786064B2 (en) Multi-camera control apparatus and method to maintain location and size of object in continuous viewpoint switching service
CN103916582B (zh) 一种图像处理方法及装置
US20130335520A1 (en) Robotic Camera System with Context Display
JP2009284452A (ja) ハイブリッドビデオカメラ撮像装置及びシステム
CN112330736A (zh) 一种场景画面的拍摄方法、装置、电子设备及存储介质
US9667853B2 (en) Image-capturing apparatus
JP2007086269A (ja) カメラ装置およびカメラ装置のズームレンズ光学系の焦点距離調節方法
JP2022128489A (ja) 撮像装置
CN116055696A (zh) 一种投影设备及投影方法
JP6426308B2 (ja) 撮像システム、レンズ装置及びレンズ装置の作動方法
TW202002606A (zh) 影像擷取裝置與其操作方法
US11003062B2 (en) Information processing device, method of information processing, and image display system
JP2012175215A (ja) テレビカメラを取り付けた数値制御機器のテレビモニター画面の操作方法
JP6426307B2 (ja) 撮像システム、撮像装置及び撮像装置の作動方法
JP3891402B2 (ja) 映像切出し制御装置
CN214384918U (zh) 音视频采集设备
JP2010152135A (ja) セーフエリア警告装置
Thomas Virtual Graphics for Broadcast Production
JP2020016883A (ja) 撮像装置
JP2023086270A (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant