CN112866558A - 电子设备的操作方法、云台的控制方法及云台*** - Google Patents

电子设备的操作方法、云台的控制方法及云台*** Download PDF

Info

Publication number
CN112866558A
CN112866558A CN202011218182.1A CN202011218182A CN112866558A CN 112866558 A CN112866558 A CN 112866558A CN 202011218182 A CN202011218182 A CN 202011218182A CN 112866558 A CN112866558 A CN 112866558A
Authority
CN
China
Prior art keywords
camera
target object
video stream
electronic equipment
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011218182.1A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhendi Intelligent Technology Co Ltd
Original Assignee
Suzhou Zhendi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhendi Intelligent Technology Co Ltd filed Critical Suzhou Zhendi Intelligent Technology Co Ltd
Priority to CN202011218182.1A priority Critical patent/CN112866558A/zh
Publication of CN112866558A publication Critical patent/CN112866558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种用于电子设备的操作方法,其中所述电子设备具有摄像头和显示屏,所述操作方法包括:S101:获取所述显示屏的录屏图像的视频流;S102:获取所述视频流中目标对象的第一参数信息;S103:根据所述目标对象的第一参数信息,输出所述电子设备的更新的位姿参数。本发明所提供的实施例,使用户在打微信电话、进行视频会议的途中,可同步进行人脸识别、人脸美颜、人体测温、云台跟随等操作。本发明的优选实施例无需依赖其他应用程序,即可完成对于目标对象的识别和跟踪,实践证明具有有益的效果。

Description

电子设备的操作方法、云台的控制方法及云台***
技术领域
本发明大致涉及模式识别技术领域,尤其涉及一种基于模式识别的电子设备的操作方法。
背景技术
电子设备***(嵌入式***)中多个应用程序同时运行的情景下,同时运行的多个应用程序往往无法同时访问电子设备的摄像头或同时获取摄像头拍摄的视频流,导致其中一些应用程序无法进行后续的操作。举例而言,在手机***中某一时刻只能允许一个app访问相机,如果某一时刻用户正在打微信电话,而另一个app也需要获取相机图像做特定的操作,比如进行人脸识别、跟踪或人脸美颜操作,但此时摄像头被占用,无法获取摄像头拍摄的视频流,导致后启用的app无法正常工作,除非关闭微信电话。
背景技术部分的内容仅仅是公开人所知晓的技术,并不当然代表本领域的现有技术。
发明内容
有鉴于现有技术的至少一个缺陷,本发明提供一种用于电子设备的操作方法,其中所述电子设备具有摄像头和显示屏,所述操作方法包括:
S101:获取所述显示屏的录屏图像的视频流;
S102:获取所述视频流中目标对象的第一参数信息;
S103:根据所述目标对象的第一参数信息,输出所述电子设备的更新的位姿参数。
根据本发明的一个方面,其中在所述步骤S101中,所述摄像头由第一进程调用;所述操作方法由第二进程执行,其中所述第一进程不同于所述第二进程。
根据本发明的一个方面,其中所述第一参数信息包括位置参数和/或尺寸参数、加速度参数。
根据本发明的一个方面,其中步骤S103进一步包括:
根据所述目标对象的第一参数信息,计算所述电子设备的更新的位姿参数,以使得在所述摄像头采集的图像中,所述目标对象的位置和/或尺寸满足预设要求。
根据本发明的一个方面,其中所述电子设备安装在云台上,所述步骤S103进一步包括:将所述电子设备的更新的位姿参数输出到所述云台,所述操作方法还包括:
S104:通过所述云台,根据所述电子设备的更新的位姿参数,调节所述电子设备的位姿。
根据本发明的一个方面,其中所述电子设备包括手机、PAD、运动相机、AR/VR眼镜、家用智能摄像头中的一种或多种,所述目标对象包括人脸、虹膜、发热体、动态目标物中的一种或多种。
根据本发明的一个方面,所述操作方法还包括:
判断所述电子设备的摄像头是否已经被调用;
当所述摄像头已经被调用时,执行所述步骤S101。
根据本发明的一个方面,所述操作方法还包括:
判断所述视频流是否包括摄像头采集的图像;
当所述视频流包括摄像头采集的图像时,执行所述步骤S102。
根据本发明的一个方面,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
从所述电子设备的底层数据获取所述显示屏的当前显示模式,以判断所述视频流是否包括摄像头采集的图像。
根据本发明的一个方面,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
对所述视频流的图像帧进行活体检测,以判断所述视频流是否包括摄像头采集的图像。
根据本发明的一个方面,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
通过训练场景模型对所述视频流的图像帧进行判断,以判断所述视频流是否包括摄像头采集的图像。
根据本发明的一个方面,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
通过比较所述视频流的连续帧,以判断所述视频流是否包括摄像头采集的图像。
根据本发明的一个方面,所述操作方法还包括:
当识别出所述视频流中一物体做出预设手势时,将该物体作为所述目标对象。
根据本发明的一个方面,所述操作方法还包括:
当识别出所述视频流中一物体的尺寸大于第一阈值、或者一物体在所述视频流中所占的尺寸比例超过第二阈值时,将该物体作为所述目标对象。
根据本发明的一个方面,所述操作方法还包括:
当识别出所述视频流中一物***于显示屏上的预设区域内时,将该物体作为所述目标对象。
根据本发明的一个方面,所述操作方法还包括:
当识别出所述视频流中一物体与预设对象相符合时,将该物体作为所述目标对象。
根据本发明的一个方面,所述操作方法还包括:
将所述电子设备的用户在所述视频流中选择的物体作为所述目标对象。
根据本发明的一个方面,所述操作方法还包括:
根据用户对安装在电子设备或云台上的硬件按钮、和/或与电子设备或云台相通讯的遥控器的操作选择所述目标对象。
根据本发明的一个方面,所述操作方法还包括:
识别所述电子设备的显示屏的切换,当显示屏切换时,重新获取所述目标对象的第一参数信息或使用切换前一帧获取的目标对象的第一参数信息。
根据本发明的一个方面,所述操作方法还包括:
识别所述视频流中由所述摄像头拍摄的第一图像区域和附加的第二图像区域;其中所述步骤S102中,所述目标对象的第一参数信息为所述目标对象在所述第一图像区域中的第一参数信息。
本发明还提供一种云台的控制方法,其中所述云台与设置在其上的电子设备相通讯,所述控制方法包括:
使用如上所述的操作方法,实时获取所述目标对象的第一参数信息;和
根据所述目标对象的第一参数信息,通过所述云台实时调整所述电子设备的位姿。
根据本发明的一个方面,所述操作方法还包括:
根据用户的手势、声音、动作、姿势、表情中的一种或多种开启和/或关闭对于所述云台的控制。
根据本发明的一个方面,所述操作方法还包括:
根据用户对安装在电子设备或云台上的硬件按钮、和/或与电子设备或云台相通讯的遥控器的操作,开启和/或关闭对于所述云台的控制。
根据本发明的一个方面,其中所述云台设备包括触摸屏,所述方法还包括:
用户可通过触摸屏选择所述目标对象,和/或开启和/或关闭对于所述云台的控制。
本发明还提供一种用于电子设备的操作方法,其中所述电子设备具有摄像头和显示屏,所述操作方法包括:
S201:当所述摄像头由第一进程调用时,通过第二进程获取所述显示屏的录屏图像的视频流,其中所述第一进程不同于第二进程;
S202:获取所述视频流中目标对象的位置参数和/或尺寸参数;和
S203:根据所述目标对象的位置参数和/或尺寸参数,调节所述摄像头的焦距,以使得在所述摄像头采集的图像中,所述目标对象的位置和/或尺寸满足预设要求。
本发明还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令,所述可执行指令在被处理器执行时实施如上所述的电子设备的操作方法。
本发明的优选实施例提供了一种电子设备(嵌入式***)的操作方法,在其他应用程序已调用摄像头的情况下,执行该操作方法的应用程序通过获取录屏图像的视频流,获取目标对象的第一参数信息,并根据该第一参数信息输出该电子设备更新的位姿参数。在该电子设备的操作方法的基础上,本发明的优选实施例进一步提供一种云台的控制方法、摄像头的控制方法及一种云台***。本发明所提供的实施例,使用户在打微信电话、进行视频会议的途中,可以同步进行人脸识别、人脸美颜、人体测温、云台跟随等操作。本发明的优选实施例无需依赖其他应用程序,即可完成对于目标对象的识别和跟踪,实践证明具有有益的效果。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1示意性地示出了具有摄像头和显示屏的电子设备;
图2示出了根据本发明的一个优选实施例的电子设备的操作方法;
图3示意性地示出了根据本发明的一个优选实施例执行图2中电子设备的操作方法的设备及云台;
图4A示意性地示出了根据本发明的一个优选实施例通过用户手势选择目标对象的方法;
图4B示意性地示出了根据本发明的一个优选实施例通过用户手势选择目标对象的方法;
图5A示意性地示出了根据本发明的一个优选实施例通过物体尺寸选择目标对象的方法;
图5B示意性地示出了根据本发明的一个优选实施例通过物体尺寸在图像中所占的比例选择目标对象的方法;
图6A示意性地示出了根据本发明的一个优选实施例通过预设区域选择目标对象的方法;
图6B示意性地示出了根据本发明的一个优选实施例通过预设区域选择目标对象的方法;
图7示意性地示出了根据本发明的一个优选实施例通过硬件按钮选择目标对象的方法;
图8示意性地示出了根据本发明的一个优选实施例在内屏切换时选择目标对象的方法;
图9示意性地示出了根据本发明的一个优选实施例在显示屏内包含摄像头拍摄的图像以外的信息时选择目标对象的方法;
图10示意性地示出了根据本发明的一个优选实施例通过云台上的触摸屏选择目标对象进而实现对云台的控制方法;
图11示出了根据本发明的另一个优选实施例的电子设备的操作方法;
图12示意性地示出了根据本发明的一个优选实施例的云台***。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中,需要理解的是,术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语"第一"、"第二"仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,"多个"的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语"安装"、"相连"、"连接"应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接:可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的实施例进行说明,应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,电子设备(嵌入式***)10具有摄像头11和显示屏12,摄像头11包括前置摄像头、后置摄像头、外接摄像头中的一种或多种,显示屏12为广义的显示屏,包括电子设备的实体显示屏和/或电子设备投射出的全息影像。摄像头11可被电子设备10的各种应用程序调用,例如微信电话、视频会议、人脸识别、云台控制等。现有的电子设备中,无法开放同一个时刻多个应用程序访问摄像头的权限,也就是说,当摄像头11已被某一个应用程序的进程调用时,其他应用程序将无法获取摄像头11的视频流数据。当摄像头11被调用时,在一些情况下,会在显示屏12上显示摄像头11实时拍摄到的视频内容,如图1所示,显示屏12上显示摄像头11实时拍摄的包括目标对象13的图像,该目标对象13为人脸,但本领域技术人员容易理解,目标对象13还包括人体、人眼、动态物体等其他适于跟踪的目标。本发明的优选实施例就是通过读取桌面录屏的视频流数据,进行后续的处理和操作。
根据本发明的一个优选实施例,图2示出了一种用于上述电子设备10的操作方法100,操作方法100包括:
在步骤S101中,获取显示屏12的录屏图像的视频流;
在步骤S102中,获取所述视频流中目标对象13的第一参数信息;
在步骤S103中,根据目标对象13的第一参数信息,输出电子设备10的更新的位姿参数。
根据本发明的一个优选实施例,在步骤S101中,摄像头11由第一进程调用,操作方法100由第二进程执行,其中进程为应用程序执行的过程,该第一进程不同于该第二进程。
根据本发明的一个优选实施例,获取第一参数信息,用于判断目标对象13的位置和/或面向,第一参数信息包括位置参数和/或尺寸参数,也包括可间接获取目标对象13的位置和/或面向的特征信息:例如加速度参数,可预测目标对象13的位置和/或面向;又例如颜色信息,可通过颜色直方图或纹理信息分析颜色变化,估算目标对象13的位置和/或面向。第一参数信息包括位置参数、尺寸参数、加速度参数、颜色信息、生物特征信息、动作特征信息中的一种或多种,通过上述参数信息或其组合获取目标对象13的位置和/或面向的方法,均在本发明的保护范围之内。
根据本发明的一个优选实施例,步骤S103进一步包括:根据目标对象13的第一参数信息,计算电子设备10的更新的位姿参数,以使得在摄像头11采集的图像中,目标对象13的位置和/或尺寸满足预设要求。优选地,该预设要求包括:使目标对象13处于摄像头11采集图像的中心位置,和/或使目标对象13在摄像头11采集图像中的尺寸大于一预设值,和/或使目标对象13正面摄像头11;使目标对象13处于摄像头11采集图像的右侧1/3位置处,和/或使目标对象13在摄像头11采集图像中的尺寸小于一预设值,和/或使目标对象13以转过45°的侧面面向摄像头11。
根据本发明的一个优选实施例,如图3所示,电子设备10安装在云台20上,云台20为可实现稳定拍摄功能的设备,步骤S103进一步包括:将电子设备10的更新的位姿参数输出到云台20,操作方法100还包括步骤S104:
在步骤S104中,通过云台20,根据电子设备10的更新的位姿参数,调节电子设备10的位姿。根据实时更新的位姿参数,通过控制云台20对电子设备10的位姿进行实时调整,使得目标对象13的位置和/或尺寸满足预设要求,即实现对于目标对象13的实时跟随。
根据本发明的一个优选实施例,电子设备10包括手机、PAD、运动相机、AR/VR眼镜、家用智能摄像头中的一种或多种,具有显示设备的电子设备(嵌入式***)采用本发明所提供的操作方法100,均在本发明的保护范围之内。目标对象13包括人脸、虹膜、发热体、动态目标物中的一种或多种,目标对象的选择可根据应用程序的功能和应用场景确定。
根据本发明的一个优选实施例,操作方法100还包括:
判断电子设备10的摄像头11是否已经被调用;
当摄像头11已经被调用时,执行步骤S101。
本发明的优选实施例所提供的操作方法100,首先判断电子设备10(如安卓手机、苹果手机)的摄像头11是否被调用,如果未被调用,则执行操作方法100的应用程序可直接调用摄像头11,获取摄像头11的视频流数据,进行后续操作。如果其他应用程序的进程正在调用摄像头11,则由执行操作方法100的应用程序获取电子设备10当前桌面录屏的视频流,该权限通常对电子设备10的应用程序开放。电子设备10还存在多个摄像头11可被不同的应用程序调用的情况,这种情况下也可以直接调用未被占用的摄像头11,当全部摄像头11均已被调用时,由执行操作方法100的应用程序获取桌面录屏的视频流。
根据本发明的一个优选实施例,操作方法100还包括:
判断所述视频流是否包括摄像头11采集的图像;
当所述视频流包括摄像头11采集的图像时,执行步骤S102。
当摄像头11被调用时,在一些情况下,会在显示屏12上显示摄像头11实时拍摄到的视频内容,其中包括显示屏12全屏显示摄像头11实时拍摄到的视频内容,或显示屏12中的部分区域显示摄像头11实时拍摄到的视频内容,在另外一些情况下,显示屏12上显示电子设备10的桌面内容,执行操作方法100的应用程序需要判断当前桌面录屏的视频流中是否包括摄像头11采集的图像或者是静态桌面操作图像。
操作方法100中,判断所述视频流是否包括摄像头11采集的图像的方法包括:
A、从电子设备10的底层数据获取显示屏12的当前显示模式,以判断所述视频流是否包括摄像头11采集的图像。
B、对所述视频流的图像帧进行活体检测,以判断所述视频流是否包括摄像头11采集的图像。
C、通过训练场景模型对所述视频流的图像帧进行判断,以判断所述视频流是否包括摄像头11采集的图像。
电子设备10的桌面上通常都会有一些不同应用程序的图标,可以通过输入具有不同应用程序图标的桌面图像,训练出场景理解模型,根据场景理解模型判断视频流内容是否为桌面。如果当前录屏图像的视频流是桌面则输出一种指令,如果当前录屏图像的视频流不是桌面,通常应为摄像头11采集的图像,则输出另一种指令。
D、通过比较所述视频流的连续帧,以判断所述视频流是否包括摄像头11采集的图像。
通过目标检测算法,实时检测当前录屏图像中的目标,依据相互连续帧之间目标检测结果的变化判断当前录屏图像的是桌面或者是摄像头11采集的图像。对于桌面图像来说,图标都是静止的,相互两帧之间的检测结果通常是一样的;而对于摄像头11采集的图像来说,画面是动态变化的,相互两帧之间的检测结果通常都在变化,依据连续帧之间检测结果的相对位置变化情况进行判断。
在一些情况下,例如微信电话、视频会议中,显示屏12上显示摄像头11实时拍摄的图像内容及远程图像内容,其中包含多个与目标对象13特征相似的物体(如人脸),本发明的优选实施例中,操作方法100还包括对于目标对象13的选择。
如图4A、图4B所示,根据本发明的一个优选实施例,操作方法100还包括:
当识别出所述视频流中一物体做出预设手势时,将该物体作为目标对象13。
如图5A、图5B所示,根据本发明的一个优选实施例,操作方法100还包括:
当识别出所述视频流中一物体的尺寸大于第一阈值(图5A)、或者一物体在所述视频流中所占的尺寸比例超过第二阈值(图5B)时,将该物体作为目标对象13。
如图6A、图6B所示,根据本发明的一个优选实施例,操作方法100还包括:
当识别出所述视频流中一物***于显示屏上的预设区域内时,将该物体作为目标对象13。
在执行操作方法100的应用程序中设定初始状态目标对象的区域范围和/或目标对象的尺寸,例如:设定初始状态下,目标对象的区域范围为录屏图像的中心区域,和/或目标对象的尺寸大于一预设值,当一物体出现在录屏图像的中心区域,和/或该物体的尺寸大于该一预设值时,执行后续操作(获取目标对象的第一参数信息,根据第一参数信息输出电子设备更新的位姿参数)。也可以设定当目标对象移出目标对象的区域范围和/或目标对象的尺寸小于另一预设值时,结束执行操作方法100。这些都在本发明的保护范围之内。
根据本发明的一个优选实施例,操作方法100还包括:
当识别出所述视频流中一物体与预设对象相符合时,将该物体作为目标对象13。
事先在执行操作方法100的应用程序中记录预设对象,即要跟随的目标对象信息(如用户的人脸I D信息),启动执行操作方法100的应用程序后,对录屏图像进行实时的分析,如果在录屏图像中识别到了与该预设对象相符合的物体,则将该物体作为目标对象,执行后续操作。
如图7所示,根据本发明的一个优选实施例,操作方法100还包括:
将电子设备10的用户在所述视频流中选择的物体作为目标对象13。
根据本发明的一个优选实施例,操作方法100还包括:
通过电子设备10的双目或者红外测距功能,测试物体远近,选择在一定距离范围之内的物体并进一步匹配所述视频流中的物体,以确定目标对象13。
用户可通过手持云台20的硬件按钮21或者其它外接的按钮、遥控器触发操作方法100的开始执行或停止执行,例如在开启录屏模式下,通过双击音量按键启动应用程序执行操作方法100,再次双击退出执行。用户也可通过上述硬件按钮、外接按钮、遥控器选择目标对象。
如图8所示,根据本发明的一个优选实施例,操作方法100还包括:
识别电子设备10的显示屏12的切换,当显示屏12切换时,重新获取目标对象13的第一参数信息或使用切换前一帧获取的目标对象13的第一参数信息。
在微信电话、视频会议中,用户有时候会切换屏幕,此时目标对象13需要重新定位,对于平面切换后目标对象13的重新定位可以采用两种方式:第一种方式包括重新启动应用程序执行操作方法100,重新定位目标对象13;第二种方式包括通过算法识别屏幕切换的过程,自动切换目标对象13,或根据屏幕的位置进行切换,继续使用切换前一帧获取的目标对象13。
如图9所示,根据本发明的一个优选实施例,操作方法100还包括:
识别所述视频流中由摄像头11拍摄的第一图像区域和附加的第二图像区域;其中步骤S102中,目标对象13的第一参数信息为目标对象13在第一图像区域中的第一参数信息。
在常见的直播软件中,执行操作方法100的应用程序需要判断出哪些是摄像头11拍摄采集的图像,哪些是直播的弹幕,获取摄像头11拍摄采集的图像区域,然后利用此区域进行后续的操作。
本发明还提供一种云台20的控制方法300,如图3所示,云台20与设置在其上的电子设备10相通讯,控制方法300包括:
使用如上所述的操作方法100,实时获取目标对象13的第一参数信息;和
根据目标对象13的第一参数信息,通过云台20实时调整电子设备10的位姿。
根据本发明的一个优选实施例,控制方法300还包括:
根据用户的手势、声音、动作、姿势、表情中的一种或多种开启和/或关闭对于云台20的控制。
根据本发明的一个优选实施例,控制方法300还包括:
用户可通过手持云台20的硬件按钮21或者其它外接的按钮、遥控器开启和/或关闭对于云台20的控制。
如图10所示,根据本发明的一个优选实施例,其中云台20包括触摸屏21,控制方法300还包括:
用户可通过触摸屏21选择目标对象13,和/或开启和/或关闭对于云台20的控制。
本发明还提供一种用于电子设备10的操作方法200,如图11所示,电子设备10具有摄像头11和显示屏12,操作方法200包括:
在步骤S201中,当摄像头11由第一进程调用时,通过第二进程获取显示屏12的录屏图像的视频流,其中进程为应用程序执行的过程,该第一进程不同于该第二进程;
在步骤S202中,获取所述视频流中目标对象13的位置参数和/或尺寸参数;和
在步骤S203中,根据目标对象13的位置参数和/或尺寸参数,调节摄像头11的焦距,以使得在摄像头11采集的图像中,目标对象13的位置和/或尺寸满足预设要求。该预设要求包括:使目标对象13处于摄像头11采集图像的中心位置,使目标对象13在摄像头11采集图像中的尺寸大于一预设值,使目标对象13正面摄像头11。
本发明还提供一种云台***40,如图12所示,云台***40包括:
云台20,其上可安装电子设备10,电子设备10具有摄像头11和显示屏12;
控制单元30,控制单元30与云台20相通讯,并可执行如上所述的电子设备10的操作方法100、200。
根据本发明的一个优选实施例,其中控制单元30是可在电子设备10上运行的应用程序或者软件进程。
根据本发明的一个优选实施例,云台***40包括手柄和稳定器,云台***40上负载有电子设备10,通过稳定器实现电子设备10的稳定拍摄功能,所述手柄内部具有容置空间,负载可连接在所述稳定器上,其中所述云台具有伸展状态和收纳状态,在所述伸展状态,所述稳定器至少部分位于所述手柄外且与所述手柄连接;在所述收纳状态,所述稳定器收纳于所述容置空间内。
根据本发明的一个优选实施例,云台***40还包括电池和无线充电模块,所述无线充电模块连接到所述电池,并可对放置到其上的负载进行无线充电。
根据本发明的一个优选实施例,云台***40还包括负载保护壳,所述负载保护壳用于安装负载,所述稳定器上设置有第一快拆固定结构,所述负载保护壳上设置有用于与所述第一快拆固定结构连接的第二快拆固定结构。
本发明还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令,所述可执行指令在被处理器执行时实施如上所述的电子设备的操作方法100、200。
本发明的优选实施例提供了一种电子设备(嵌入式***)的操作方法,在其他应用程序已调用摄像头的情况下,执行该操作方法的应用程序通过获取录屏图像的视频流,获取目标对象的第一参数信息,并根据该第一参数信息输出该电子设备更新的位姿参数。在该电子设备的操作方法的基础上,本发明的优选实施例进一步提供一种云台的控制方法、摄像头的控制方法及一种云台***。本发明所提供的实施例,使用户在打微信电话、进行视频会议的途中,可同步进行人脸识别、人脸美颜、人体测温、云台跟随等操作。本发明的优选实施例无需依赖其他应用程序,即可完成对于目标对象的识别和跟踪,实践证明具有有益的效果。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (31)

1.一种用于电子设备的操作方法,其中所述电子设备具有摄像头和显示屏,所述操作方法包括:
S101:获取所述显示屏的录屏图像的视频流;
S102:获取所述视频流中目标对象的第一参数信息;
S103:根据所述目标对象的第一参数信息,输出所述电子设备的更新的位姿参数。
2.如权利要求1所述的操作方法,其中在所述步骤S101中,所述摄像头由第一进程调用;所述操作方法由第二进程执行,其中所述第一进程不同于所述第二进程。
3.如权利要求1或2所述的操作方法,其中所述第一参数信息包括位置参数和/或尺寸参数、加速度参数。
4.如权利要求1或2所述的操作方法,其中步骤S103进一步包括:
根据所述目标对象的第一参数信息,计算所述电子设备的更新的位姿参数,以使得在所述摄像头采集的图像中,所述目标对象的位置和/或尺寸满足预设要求。
5.如权利要求1或2所述的操作方法,其中所述电子设备安装在云台上,所述步骤S103进一步包括:将所述电子设备的更新的位姿参数输出到所述云台,所述操作方法还包括:
S104:通过所述云台,根据所述电子设备的更新的位姿参数,调节所述电子设备的位姿。
6.如权利要求1或2所述的操作方法,其中所述电子设备包括手机、PAD、运动相机、AR/VR眼镜、家用智能摄像头中的一种或多种,所述目标对象包括人脸、虹膜、发热体、动态目标物中的一种或多种。
7.如权利要求1或2所述的操作方法,还包括:
判断所述电子设备的摄像头是否已经被调用;
当所述摄像头已经被调用时,执行所述步骤S101。
8.如权利要求1或2所述的操作方法,还包括:
判断所述视频流是否包括摄像头采集的图像;
当所述视频流包括摄像头采集的图像时,执行所述步骤S102。
9.如权利要求8述的操作方法,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
从所述电子设备的底层数据获取所述显示屏的当前显示模式,以判断所述视频流是否包括摄像头采集的图像。
10.如权利要求8所述的操作方法,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
对所述视频流的图像帧进行活体检测,以判断所述视频流是否包括摄像头采集的图像。
11.如权利要求8所述的操作方法,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
通过训练场景模型对所述视频流的图像帧进行判断,以判断所述视频流是否包括摄像头采集的图像。
12.如权利要求8所述的操作方法,其中所述判断视频流是否为摄像头采集的图像的步骤包括:
通过比较所述视频流的连续帧,以判断所述视频流是否包括摄像头采集的图像。
13.如权利要求1或2所述的操作方法,还包括:
当识别出所述视频流中一物体做出预设手势时,将该物体作为所述目标对象。
14.如权利要求1或2所述的操作方法,还包括:
当识别出所述视频流中一物体的尺寸大于第一阈值、或者一物体在所述视频流中所占的尺寸比例超过第二阈值时,将该物体作为所述目标对象。
15.如权利要求1或2所述的操作方法,还包括:
当识别出所述视频流中一物***于显示屏上的预设区域内时,将该物体作为所述目标对象。
16.如权利要求1或2所述的操作方法,还包括:
当识别出所述视频流中一物体与预设对象相符合时,将该物体作为所述目标对象。
17.如权利要求1或2所述的操作方法,还包括:
将所述电子设备的用户在所述视频流中选择的物体作为所述目标对象。
18.如权利要求1或2所述的操作方法,还包括:
根据用户对安装在电子设备或云台上的硬件按钮、和/或与电子设备或云台相通讯的遥控器的操作选择所述目标对象。
19.如权利要求1或2所述的操作方法,还包括:
识别所述电子设备的显示屏的切换,当显示屏切换时,重新获取所述目标对象的第一参数信息或使用切换前一帧获取的目标对象的第一参数信息。
20.如权利要求1或2所述的操作方法,还包括:
识别所述视频流中由所述摄像头拍摄的第一图像区域和附加的第二图像区域;其中所述步骤S102中,所述目标对象的第一参数信息为所述目标对象在所述第一图像区域中的第一参数信息。
21.一种云台的控制方法,其中所述云台与设置在其上的电子设备相通讯,所述控制方法包括:
使用如权利要求1-20中任一项所述的操作方法,实时获取所述目标对象的第一参数信息;和
根据所述目标对象的第一参数信息,通过所述云台实时调整所述电子设备的位姿。
22.如权利要求21所述的控制方法,还包括:
根据用户的手势、声音、动作、姿势、表情中的一种或多种开启和/或关闭对于所述云台的控制。
23.如权利要求21所述的控制方法,还包括:
根据用户对安装在电子设备或云台上的硬件按钮、和/或与电子设备或云台相通讯的遥控器的操作,开启和/或关闭对于所述云台的控制。
24.如权利要求21所述的控制方法,其中所述云台设备包括触摸屏,所述方法还包括:
用户可通过触摸屏选择所述目标对象,和/或开启和/或关闭对于所述云台的控制。
25.一种用于电子设备的操作方法,其中所述电子设备具有摄像头和显示屏,所述操作方法包括:
S201:当所述摄像头由第一进程调用时,通过第二进程获取所述显示屏的录屏图像的视频流,其中所述第一进程不同于第二进程;
S202:获取所述视频流中目标对象的位置参数和/或尺寸参数;和
S203:根据所述目标对象的位置参数和/或尺寸参数,调节所述摄像头的焦距,以使得在所述摄像头采集的图像中,所述目标对象的位置和/或尺寸满足预设要求。
26.一种云台***,包括:
云台,电子设备作为负载可拆地连接到所述云台,所述电子设备具有摄像头和显示屏;
控制单元,所述控制单元与所述云台相通讯,并可执行如权利要求1-25中任一项所述的方法。
27.如权利要求26所述的云台***,其中所述控制单元是可在所述电子设备上运行的APP或者软件进程。
28.如权利要求26或27所述的云台***,其中所述云台包括手柄和稳定器,所述手柄内部具有容置空间,负载可连接在所述稳定器上,其中所述云台具有伸展状态和收纳状态,在所述伸展状态,所述稳定器至少部分位于所述手柄外且与所述手柄连接;在所述收纳状态,所述稳定器收纳于所述容置空间内。
29.如权利要求28所述的云台***,其中所述云台还包括电池和无线充电模块,所述无线充电模块连接到所述电池,并可对放置到其上的负载进行无线充电。
30.如权利要求28所述的云台***,其中所述云台***还包括负载保护壳,所述负载保护壳用于安装负载,所述稳定器上设置有第一快拆固定结构,所述负载保护壳上设置有用于与所述第一快拆固定结构连接的第二快拆固定结构。
31.一种计算机可读存储介质,包括存储于其上的计算机可执行指令,所述可执行指令在被处理器执行时实施如权利要求1-25中任一项所述的方法。
CN202011218182.1A 2020-11-04 2020-11-04 电子设备的操作方法、云台的控制方法及云台*** Pending CN112866558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218182.1A CN112866558A (zh) 2020-11-04 2020-11-04 电子设备的操作方法、云台的控制方法及云台***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218182.1A CN112866558A (zh) 2020-11-04 2020-11-04 电子设备的操作方法、云台的控制方法及云台***

Publications (1)

Publication Number Publication Date
CN112866558A true CN112866558A (zh) 2021-05-28

Family

ID=75995438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218182.1A Pending CN112866558A (zh) 2020-11-04 2020-11-04 电子设备的操作方法、云台的控制方法及云台***

Country Status (1)

Country Link
CN (1) CN112866558A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120117472A1 (en) * 2010-11-10 2012-05-10 Cyberlink Corp. Systems and Methods for Application of Special Effects to a Captured Video Stream
CN107659768A (zh) * 2017-08-08 2018-02-02 珠海全志科技股份有限公司 一种基于Android多应用共享摄像头的***及方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控***及方法
CN111199172A (zh) * 2018-11-19 2020-05-26 中移动信息技术有限公司 基于终端录屏的处理方法及装置、存储介质
CN111885303A (zh) * 2020-07-06 2020-11-03 雍朝良 一种主动跟踪录摄像视觉方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120117472A1 (en) * 2010-11-10 2012-05-10 Cyberlink Corp. Systems and Methods for Application of Special Effects to a Captured Video Stream
CN107659768A (zh) * 2017-08-08 2018-02-02 珠海全志科技股份有限公司 一种基于Android多应用共享摄像头的***及方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控***及方法
CN111199172A (zh) * 2018-11-19 2020-05-26 中移动信息技术有限公司 基于终端录屏的处理方法及装置、存储介质
CN111885303A (zh) * 2020-07-06 2020-11-03 雍朝良 一种主动跟踪录摄像视觉方法

Similar Documents

Publication Publication Date Title
CN106572299B (zh) 摄像头开启方法及装置
CN105430262B (zh) 拍摄控制方法及装置
CN112118380B (zh) 相机操控方法、装置、设备及存储介质
KR101537948B1 (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
JP6103948B2 (ja) 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
EP3761627B1 (en) Image processing method and apparatus
KR20100055946A (ko) 동영상 썸네일 생성 방법 및 장치
CN107426502A (zh) 拍摄方法及装置、电子设备
CN111988493B (zh) 交互处理方法、装置、设备及存储介质
KR102575196B1 (ko) 촬영 방법, 촬영 장치, 전자기기 및 저장매체
CN108668080A (zh) 提示镜头脏污程度的方法及装置、电子设备
EP3822742B1 (en) Method, apparatus and device for triggering shooting mode, and storage medium
CN108063859B (zh) 一种自动拍照控制方法、终端及计算机存储介质
KR101949218B1 (ko) 휴대 단말기의 이미지 촬영 방법 및 장치
CN111984347A (zh) 交互处理方法、装置、设备及存储介质
US20170244891A1 (en) Method for automatically capturing photograph, electronic device and medium
CN111314619B (zh) 一种拍摄角度控制方法、终端及存储介质
CN111698600A (zh) 一种处理执行方法、装置及可读介质
US8866934B2 (en) Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium
CN112866558A (zh) 电子设备的操作方法、云台的控制方法及云台***
CN111726531B (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质
CN113315903B (zh) 图像获取方法和装置、电子设备、存储介质
CN110493503B (zh) 一种图像采集方法、电子设备和存储介质
CN109213264A (zh) 电子设备、音量调节方法及装置、计算机可读存储介质
CN109426758A (zh) 皮肤特征信息的采集方法及装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528