CN113473015B - 一种云台控制方法及电子设备 - Google Patents
一种云台控制方法及电子设备 Download PDFInfo
- Publication number
- CN113473015B CN113473015B CN202110742582.0A CN202110742582A CN113473015B CN 113473015 B CN113473015 B CN 113473015B CN 202110742582 A CN202110742582 A CN 202110742582A CN 113473015 B CN113473015 B CN 113473015B
- Authority
- CN
- China
- Prior art keywords
- position information
- user
- mobile phone
- electronic equipment
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 210000001508 eye Anatomy 0.000 claims description 77
- 210000003128 head Anatomy 0.000 claims description 70
- 239000013598 vector Substances 0.000 claims description 70
- 238000004891 communication Methods 0.000 claims description 32
- 230000000875 corresponding effect Effects 0.000 description 110
- 210000004709 eyebrow Anatomy 0.000 description 28
- 238000000513 principal component analysis Methods 0.000 description 27
- 210000000214 mouth Anatomy 0.000 description 24
- 210000001331 nose Anatomy 0.000 description 24
- 238000001514 detection method Methods 0.000 description 22
- 210000005069 ears Anatomy 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000001276 controlling effect Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种云台控制方法及电子设备,涉及电子设备领域,解决了用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。具体方案为:电子设备采用第一摄像头采集第一用户的人脸图像;电子设备根据第二摄像头采集到的当前拍摄场景的预览图像,确定当前拍摄场景中包括的各对象在预览图像中的位置信息;电子设备根据人脸图像,确定第一姿态参数;电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,当前拍摄场景中包括的各对象在预览图像中的位置信息,第一姿态参数,和第一用户的第二姿态参数,确定目标位置信息;电子设备根据目标位置信息,控制云台对第一对象进行跟踪拍摄。
Description
本申请要求于2021年06月08日提交国家知识产权局、申请号为202110637473.2、申请名称为“一种基于视觉检测的手机云台控制方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及电子设备领域,尤其涉及一种云台控制方法及电子设备。
背景技术
现有技术中,用户通过将手机固定在云台上,并通过手机控制云台实现手机对需要拍摄的目标进行跟踪。在拍摄的过程中,如果用户想要切换被跟踪的目标,需要用户在手机上取消当前跟踪的目标,然后重新在手机上设置跟踪的目标,从而可以通过云台实现手机对重新设置的目标进行跟踪拍摄。示例性的,如图1所示,当前通过云台实现电子设备100,如手机对气球1的跟踪拍摄,当用户想要切换被跟踪的目标为人物2时,需要用户在手机上取消当前跟踪的目标,如气球1。然后重新在手机上设置跟踪的目标,如人物2,从而可以通过云台实现手机对重新设置的人物2的跟踪拍摄。
如此,导致用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
发明内容
本申请提供一种云台控制方法及电子设备,解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种云台控制方法,应用于电子设备,电子设备设置在云台上,电子设备包括第一摄像头,第二摄像头和显示屏,该方法包括:
电子设备采用第一摄像头采集第一用户的人脸图像。电子设备根据第二摄像头采集到的当前拍摄场景的预览图像,确定当前拍摄场景中包括的各对象在预览图像中的位置信息。电子设备根据人脸图像,确定第一姿态参数。其中,第一姿态参数包括:第一用户的注视点在预览图像的第一对象的图像上时的人脸偏转角度和眼睛特征数据,眼睛特征数据是用于表征第一用户的眼部周围特征的数据。电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,第一用户的第二姿态参数和当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息。第二姿态参数包括第一用户的注视点在预先划分的多个区域中的每个区域时的人脸偏转角度和眼睛特征数据,目标位置信息用于指示第一用户当前注视的第一对象。电子设备根据目标位置信息,控制云台对第一对象进行跟踪拍摄。
在上述实施例中,电子设备根据第一摄像头采集的第一用户的人脸图像,确定该第一用户的第一姿态参数。电子设备根据第二摄像头采集到的当前拍摄场景的预览图像,确定当前拍摄场景中包括的各对象在预览图像中的位置信息。电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,第一用户的第二姿态参数和当前拍摄场景中包括的各对象在预览图像中的位置信息,确定第一用户当前注视的第一对象的目标位置信息。进而可以根据该目标位置信息,控制云台对第一对象进行跟踪拍摄。
示例性的,当第一摄像头为前置摄像头,第二摄像头为后置摄像头时,电子设备可以根据前置摄像头和后置摄像头采集的图像,确定第一用户当前注视的第一对象,进而可以控制云台对该第一对象进行跟踪拍摄。因此,电子设备采用本申请实施例提供的云台控制方法,在拍摄的过程中电子设备会根据前置摄像头和后置摄像头采集的图像,确定第一用户当前注视的第一对象,进而可以控制云台对该第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,第一用户的第二姿态参数和当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息,包括:
电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,和第二姿态参数,确定第一用户的理论位置信息。电子设备根据理论位置信息和当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息。
在上述实施例中,电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,和第二姿态参数,确定第一用户当前注视在显示屏上的理论位置信息。进一步地,根据根据理论位置信息和当前拍摄场景中包括的各对象在预览图像中的位置信息,确定第一用户当前注视的第一对象的目标位置信息。进一步地,可以控制云台对用户当前注视的第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,和第二姿态参数,确定第一用户的理论位置信息,包括:
电子设备确定第一姿态参数与每一第二姿态参数的相似度。电子设备根据显示屏上预先划分好的每个区域对应的位置信息,和第一姿态参数与每一第二姿态参数的相似度,确定第一用户的理论位置信息。
在上述实施例中,电子设备通过确定第一姿态参数与每一第二姿态参数的相似度,并根据显示屏上预先划分好的每个区域对应的位置信息,和第一姿态参数与每一第二姿态参数的相似度,确定第一用户当前注视在显示屏上的理论位置信息。进一步地,电子设备可以根据第一用户当前注视在显示屏上的理论位置信息,以及当前拍摄场景中包括的各对象在预览图像中的位置信息,确定第一用户当前注视的第一对象的目标位置信息。从而可以控制云台对用户当前注视的第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,电子设备确定第一姿态参数与每一第二姿态参数的相似度,包括:
电子设备确定第一姿态参数对应的第一特征向量,以及每一第二姿态参数对应的第二特征向量。电子设备根据第一特征向量,以及每一第二特征向量,确定第一姿态参数与每一第二姿态参数的相似度。
在上述实施例中,电子设备通过将第一姿态参数转换为第一特征向量,将第二姿态参数转换为第二特征向量,从而可以更加方便地确定第一姿态参数与每一第二姿态参数的相似度。进一步地,可以根据显示屏上预先划分好的每个区域对应的位置信息,和第一姿态参数与每一第二姿态参数的相似度,确定第一用户当前注视在显示屏上的理论位置信息。电子设备可以根据第一用户当前注视在显示屏上的理论位置信息,以及当前拍摄场景中包括的各对象在预览图像中的位置信息,确定第一用户当前注视的第一对象的目标位置信息。从而可以控制云台对用户当前注视的第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,电子设备根据第一特征向量,以及每一第二特征向量,确定第一姿态参数与每一第二姿态参数的相似度,包括:
电子设备确定第一特征向量与每一第二特征向量的距离。其中,距离越大对应的相似度越低,距离越小对应的相似度越高。
在上述实施例中,电子设备通过确定电子设备确定第一特征向量与每一第二特征向量的距离,从而可以确定第一姿态参数与每一第二姿态参数的相似度。当第一特征向量与每一第二特征向量的距离越大对应的第一姿态参数与每一第二姿态参数的相似度越低,当第一特征向量与每一第二特征向量的距离越小对应的第一姿态参数与每一第二姿态参数的相似度越高,从而可以根据距离来确定第一姿态参数与每一第二姿态参数的相似度。进一步地,可以根据显示屏上预先划分好的每个区域对应的位置信息,和第一姿态参数与每一第二姿态参数的相似度,确定第一用户当前注视在显示屏上的理论位置信息。电子设备可以根据第一用户当前注视在显示屏上的理论位置信息,以及当前拍摄场景中包括的各对象在预览图像中的位置信息,确定第一用户当前注视的第一对象的目标位置信息。从而可以控制云台对用户当前注视的第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,电子设备根据理论位置信息和当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息,包括:
电子设备确定理论位置信息与当前拍摄场景中各对象的位置信息的距离。电子设备确定距离中最小距离对应的对象的位置信息为目标位置信息。
在上述实施例中,电子设备确定第一用户当前注视在显示屏上的理论位置信息后,通过对比理论位置信息与当前拍摄场景中各对象的位置信息的距离,可以确定第一用户当前注视的第一对象。当理论位置信息与当前拍摄场景中各对象的位置信息的距离越大时,说明第一用户当前注视该对象的可能性越低。当前拍摄场景中各对象的位置信息的距离越小时,说明第一用户当前注视该对象的可能性越高。因此,本申请实施例提供的云台控制方法中,通过将距离中最小距离对应的对象的位置信息为目标位置信息,从而可以保证该第一对象为第一用户当前注视的对象。进而可以控制云台对该第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,电子设备根据目标位置信息,控制云台对第一对象进行跟踪拍摄前,该方法还包括:
电子设备在目标位置信息与当前跟踪的对象对应的位置信息不同的情况下,显示提示信息。其中,提示信息用于提示用户是否切换跟踪的对象。电子设备根据目标位置信息,控制云台对第一对象进行跟踪拍摄,包括:电子设备在接收到切换操作后,根据目标位置信息,控制云台对第一对象进行跟踪拍摄。
在上述实施例中,电子设备确定目标位置信息与当前跟踪的对象对应的位置信息不同的情况下,显示提示信息,从而用户可以根据提示信息确定是否需要切换跟踪的对象,避免了由于用户关注当前拍摄场景中各对象时,导致电子设备频繁地切换被跟踪拍摄的目标。当电子设备接收到切换操作后,根据目标位置信息,控制云台对第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,电子设备根据目标位置信息,控制云台对第一对象进行跟踪拍摄,包括:
在目标位置信息与当前跟踪的对象对应的位置信息不同,并且目标位置信息出现的次数大于阈值的情况下,显示提示信息。其中,提示信息用于提示用户是否切换跟踪的对象。
在上述实施例中,电子设备确定在目标位置信息与当前跟踪的对象对应的位置信息不同,并且目标位置信息出现的次数大于阈值的情况下,显示提示信息。从而防止电子设备频繁地在显示屏上显示提示信息,影响用户的体验。当电子设备接收到切换操作后,根据目标位置信息,控制云台对第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
结合第一方面,在一种可能实现方式中,第一摄像头为前置摄像头,第二摄像头为后置摄像头。
在上述实施例中,电子设备通过前置摄像头采集用户的人脸图像,通过后置摄像头采集当前拍摄场景,可以方便用户的使用。电子设备可以根据前置摄像头和后置摄像头采集的图像,确定第一用户当前注视的第一对象,进而可以控制云台对该第一对象进行跟踪拍摄。因此,电子设备采用本申请实施例提供的云台控制方法,在拍摄的过程中电子设备会根据前置摄像头和后置摄像头采集的图像,确定第一用户当前注视的第一对象,进而可以控制云台对该第一对象进行跟踪拍摄,无需用户手动去选择需要跟踪拍摄的对象,可以降低用户在切换被跟踪拍摄的目标的耗时。解决了相关技术中用户通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
第二方面,本申请实施例提供一种电子设备,包括采集单元和处理单元。
采集单元,用于采用第一摄像头采集第一用户的人脸图像。
处理单元,用于根据采集单元通过第二摄像头采集到的当前拍摄场景的预览图像,确定当前拍摄场景中包括的各对象在预览图像中的位置信息。
处理单元,还用于根据采集单元采集的人脸图像,确定第一姿态参数;其中,第一姿态参数包括:第一用户的注视点在预览图像的第一对象的图像上时的人脸偏转角度和眼睛特征数据,眼睛特征数据是用于表征第一用户的眼部周围特征的数据。
处理单元,还用于根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,第一用户的第二姿态参数和采集单元采集的当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息。第二姿态参数包括第一用户的注视点在预先划分的多个区域中的每个区域时的人脸偏转角度和眼睛特征数据,目标位置信息用于指示第一用户当前注视的第一对象。
处理单元,还用于根据目标位置信息,控制云台对第一对象进行跟踪拍摄。
结合第二方面,在一种可能实现方式中,处理单元,具体用于根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,和第二姿态参数,确定第一用户的理论位置信息。
处理单元,具体用于根据理论位置信息和采集单元采集的当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息。
结合第二方面,在一种可能实现方式中,处理单元,具体用于确定第一姿态参数与每一第二姿态参数的相似度。
处理单元,具体用于根据显示屏上预先划分好的每个区域对应的位置信息,和第一姿态参数与每一第二姿态参数的相似度,确定第一用户的理论位置信息。
结合第二方面,在一种可能实现方式中,处理单元,具体用于确定第一姿态参数对应的第一特征向量,以及每一第二姿态参数对应的第二特征向量。
处理单元,具体用于根据第一特征向量,以及每一第二特征向量,确定第一姿态参数与每一第二姿态参数的相似度。
结合第二方面,在一种可能实现方式中,处理单元,具体用于确定第一特征向量与每一第二特征向量的距离。其中,距离越大对应的相似度越低,距离越小对应的相似度越高。
结合第二方面,在一种可能实现方式中,处理单元,具体用于确定理论位置信息与采集单元采集的当前拍摄场景中各对象的位置信息的距离。处理单元,具体用于确定距离中最小距离对应的对象的位置信息为目标位置信息。
结合第二方面,在一种可能实现方式中,云台控制装置还包括显示单元。
处理单元,具体用于在目标位置信息与当前跟踪的对象对应的位置信息不同的情况下,控制显示单元显示提示信息。其中,提示信息用于提示用户是否切换跟踪的对象。
处理单元,具体用于在接收到切换操作后,根据目标位置信息,控制云台对第一对象进行跟踪拍摄。
结合第二方面,在一种可能实现方式中,处理单元,具体用于在目标位置信息与当前跟踪的对象对应的位置信息不同,并且目标位置信息出现的次数大于阈值的情况下,控制显示单元显示提示信息。其中,提示信息用于提示用户是否切换跟踪的对象。
结合第二方面,在一种可能实现方式中,第一摄像头为前置摄像头,第二摄像头为后置摄像头。
第三方面,本申请实施例提供一种电子设备,包括:通信接口、处理器、存储器、总线;所述存储器用于存储计算机执行指令,所述处理器与所述存储器通过所述总线连接;当所述电子设备运行时,所述处理器执行所述存储器存储的计算机执行指令,以使所述电子设备执行如上述第一方面及其任一种可能的设计方式所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述第一方面及其任一种可能的设计方式所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,包括,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如上述第一方面及其任一种可能的设计方式所述的方法。
可以理解地,上述提供的第二方面、第三方面及其任一种可能的设计方式所述的电子设备,第四方面所述的计算机存储介质,第五方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为现有技术中用户通过云台实现手机对目标进行跟踪拍摄的场景示意图。
图2为本申请实施例提供的一种电子设备的结构示意图之一。
图3为本申请实施例提供的一种电子设备与云台的结构示意图。
图4为本申请实施例提供的一种云台控制方法的流程示意图。
图5为本申请实施例提供的一种云台控制方法中人脸图像的示意图。
图6为本申请实施例提供的一种云台控制方法中不同方位人脸图像的示意图。
图7为本申请实施例提供的一种云台控制方法中显示屏预先划分的区域示意图。
图8为本申请实施例提供的一种云台控制方法中眼睛偏转角度的示意图。
图9为本申请实施例提供的一种云台控制方法中眼部周围的图像的示意图。
图10为本申请实施例提供的一种云台控制方法中显示屏预先划分的区域与特征向量的对应关系。
图11为本申请实施例提供的一种云台控制方法中建立坐标系的示意图。
图12为本申请实施例提供的一种云台控制方法中理论注视坐标的示意图。
图13为本申请实施例提供的一种云台控制方法中后置摄像头当前采集的图像的示意图;
图14为本申请实施例提供的一种云台控制方法中提示信息的示意图之一。
图15为本申请实施例提供的一种云台控制方法中提示信息的示意图之二。
图16为本申请实施例提供的一种电子设备的结构示意图之二。
图17为本申请实施例提供的一种芯片***的示意图。
具体实施方式
以下对本申请实施例中涉及的相关概念给出解释:
云台是安装、固定具有摄像头的电子设备的支撑设备。如:电子设备为手机时,则云台是安装、固定手机的支撑设备。
人脸识别算法(face recognition algorithm)是指在检测到人脸并定位面部关键特征点之后,主要的人脸区域就可以被裁剪出来,经过预处理之后,馈入后端的识别算法。识别算法要完成人脸特征的提取,并与库存的已知人脸进行比对,完成最终的分类。
主成分分析(Principal Component Analysis,PCA),是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。
尺度不变特征转换(Scale Invariant Feature Transform,SIFT)是图像处理领域中的一种局部特征描述算法。
加速稳健特征(Speeded Up Robust Features,SURF)是一种稳健的局部特征点检测和描述算法。
方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述。
局部二值模式(Local Binary Pattern,LBP)是一种用来描述图像局部纹理特征的算子。
哈尔(Haar-like features,Haar)特征,用于物体识别的一种数字图像特征。
通过云台实现手机对目标进行跟踪拍摄前,需要用户在手机上手动框选目标。在拍摄开始后通过云台可实现手机对目标的跟踪拍摄。如果用户想要切换被跟踪拍摄的目标,需要用户在手机上取消当前跟踪的目标,然后重新在手机上设置跟踪的目标,从而可以通过云台实现手机对重新设置的目标的跟踪拍摄。如此,使得通过云台实现手机对目标的跟踪拍摄时,存在切换被跟踪拍摄的目标的耗时较长的问题。
鉴于此,本申请实施例提供一种云台控制方法,可以应用于包含摄像头的电子设备,该电子设备安装,或固定于云台上。采用本申请实施例提供的云台控制方法,在通过云台实现电子设备对目标的跟踪拍摄时,可以根据电子设备采集的用户图像,确定用户需要拍摄的目标,无需用户在手机上取消当前跟踪的目标,然后重新在手机上设置跟踪的目标,便可以通过云台实现手机对新的目标的跟踪拍摄,降低了切换被跟踪拍摄的目标的耗时。
示例性的,本申请实施例中的电子设备可以为便携式计算机(如手机)、平板电脑、笔记本电脑、可穿戴电子设备(如智能手表)、照相机、摄像机等具有摄像头的设备,以下实施例对该电子设备的具体形式不做特殊限制。在一些示例中,电子设备包括至少两颗摄像头。其中,至少两颗摄像头中存在用于采集用户的人脸信息的摄像头,以及用于拍摄需要跟踪拍摄的目标的摄像头。
下面介绍本申请实施例的***架构图。
图1示出了本申请实施例提供的云台控制方法的***架构图。如图1所示,该***架构可以包括:电子设备100和云台200。其中,电子设备100与云台200建立通信连接后,电子设备100可以控制云台200对电子设备100设置的目标进行跟踪,从而通过云台200实现电子设备100对目标的跟踪拍摄。
需要说明的是,电子设备100与云台200之间可通过无线连接的方式建立通信连接。如电子设备100与云台200之间可通过蓝牙,无线保真(wireless fidelity,Wi-Fi),ZigBee、近距离无线通信(Near Field Communication,NFC),各种蜂窝网协议等建立通信连接。或者,电子设备100与云台200之间可通过有线连接的方式建立通信连接。如,电子设备100通过数据线(data cable)与云台200建立通信连接。
在一些示例中,如图2所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,显示屏193,用户标识模块(subscriber identification module,SIM)卡接口194,以及摄像头195等。其中,传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,存储器可以用于存储计算机可执行程序代码,例如应用和操作***对应的计算机程序;处理器110可调用存储器存储的计算机程序,从而实现该计算机程序定义的功能。例如,处理器110可以将操作***对应的代码存储到存储器中,然后执行存储器中操作***对应的代码,从而在电子设备100上实现操作***的各种功能,处理器110也可以将应用对应的代码存储到存储器中,然后执行该应用对应的代码,从而在电子设备100上实现该应用的各种功能。操作***可以为Windows***、MAC OS***、Linux***或者Android***等,当然也可以是面向未来的计算机***,本申请实施例中不作限制。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏193,摄像头195,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。耳机接口170D用于连接有线耳机。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。陀螺仪传感器可以用于确定电子设备100的运动姿态。气压传感器用于测量气压。磁传感器包括霍尔传感器。加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。距离传感器,用于测量距离。接近光传感器可以包括例如发光二极管(LED)和光检测器,例如光电二极管。环境光传感器用于感知环境光亮度。指纹传感器用于采集指纹。温度传感器用于检测温度。触摸传感器,也称“触控面板”。骨传导传感器可以获取振动信号。按键190包括开机键,音量键等。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。显示屏193用于显示图像,视频等。SIM卡接口194用于连接SIM卡。
摄像头195用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100包括至少两颗摄像头195。如,电子设备100可以包括前置摄像头和后置摄像头。
以电子设备100的操作***为Android***为例,如图3所示,电子设备100从逻辑上可划分为应用层21、内核层22和硬件层23。
其中,如图3所示,硬件层23可包括图2所示的处理器110和摄像头195(如,图3中所述的前置摄像头1951和后置摄像头1952)等。应用层21包括一个或多个应用。应用可以为***应用,也可以为第三方应用。如,应用层21包括云台应用,云台应用可以提供界面和服务,用于实现电子设备100与云台200的连接,及电子设备100对云台200的控制。
内核层22作为硬件层23和应用层21之间的软件中间件,用于管理和控制硬件与软件资源。
云台200包括通信控制模块201和电机控制模块202。通信控制模块201用于与电子设备100建立通信连接。如:电子设备100中的云台应用中的通信控制模块212调用电子设备100的无线通信模块160,实现与云台200的通信控制模块201的通信连接。在电子设备100与云台200建立通信连接后,电子设备100通过控制云台200的电机控制模块202实现对目标的跟踪。如:电子设备100中的云台应用通过云台控制模块210实现对云台200的电机控制模块202的控制,并通过云台应用的目标追踪模块211通过云台控制模块210控制云台200实现电子设备100对目标的追踪。
在本申请一些实施例中,内核层22包括内核221和用于提供底层***服务的视觉检测-云台控制服务模块222。例如视觉检测-云台控制服务模块222可以包括决策计算模块2220,引导学习模块2221,视觉检测模块2222,以及目标检测模块2223。
电子设备100中的云台应用启动,电子设备100与云台200建立了通信连接的情况下,目标检测模块2223根据后置摄像头1952采集的图像,确定云台200需要跟踪的目标。视觉检测模块2222根据前置摄像头1951采集的图像,获取用户的人脸图像。当视觉检测模块2222根据人脸图像,确定该用户是新用户时,控制引导学习模块2221向该用户展示引导学习信息,以便录入该用户的人脸图像,以及该用户对应的人脸历史姿态参数。其中,人脸历史姿态参数包括人脸偏转角度和眼睛特征数据。眼睛特征数据是用于表征眼部周围特征的数据。当视觉检测模块2222根据人脸图像,确定该用户不是新用户时,获取该用户的人脸历史姿态参数。视觉检测模块2222还可根据获取的用户的人脸图像确定该用户的人脸当前姿态参数。
决策计算模块2220根据目标检测模块2223确定的目标,以及视觉检测模块2222获取的用户的人脸当前姿态参数,及该用户的人脸历史姿态参数,确定需要跟踪的目标。然后,决策计算模块2220将确定的需要跟踪的目标发送至云台应用的目标追踪模块211。云台应用中的目标追踪模块211通过云台控制模块210控制云台200对需要跟踪的目标进行跟踪拍摄。电子设备100通过控制云台200实现电子设备100对该目标的跟踪。在一些示例中,视觉检测模块2222也可称为前置图像模块,目标检测模块2223也可称为后置图像模块。
需要说明的是,本申请实施例中以视觉检测-云台控制服务模块222在内核层22为例进行说明的,当然视觉检测-云台控制服务模块222也可以在应用层21,本申请不做限定。
示例性的,以电子设备100为手机,第一摄像头为前置摄像头,第二摄像头为后置摄像头,第一姿态参数为人脸当前姿态参数,第二姿态参数为人脸历史姿态参数,位置信息为直角坐标系中的坐标为例,对本申请实施例提供的云台控制方法进行说明,下面结合图4介绍本申请实施例提供的技术方案。
S11、手机的通信控制模块212通过调用无线通信模块160与云台200的通信控制模块201建立通信连接。
在一些示例中,用户通过将手机固定在云台200上,通过云台200可实现手机对目标的跟踪拍摄。由于云台200具有防止手机出现抖动的功能,使得通过云台200实现手机对目标的跟踪拍摄时,手机采集的图像不会出现抖动的问题。为了更加方便的控制云台200,用户可通过在手机中安装云台应用,来实现对云台200的控制。例如,手机中安装有云台应用,用户打开手机上的云台应用,将手机固定在云台200上。云台200上电后可与手机建立通信连接。之后,用户可利用手机中的云台应用,实现对云台200的控制。
S12、手机接收拍照操作,响应于该拍照操作,手机通过视觉检测模块2222采用前置摄像头采集当前的人脸图像。
在一些示例中,在手机接收到用户的拍照操作的情况下,手机可进入拍摄状态。之后,可通过手机的摄像头采集人脸图像。如:手机接收到用户开启照相机的操作后,手机进入智能拍摄模式。之后,手机可在接收到用户对拍照按钮的点击操作后,通过前置摄像头采集当前使用者的人脸图像。
手机在采集到人脸图像后,可获取人脸图像对应的人脸历史姿态数据,以便根据人脸图像和对应的人脸历史姿态数据确定当前用户的关注点,从而根据该关注点确定当前用户想要跟踪拍摄的目标。具体的可以包括以下S13-S21。
S13、手机的视觉检测模块2222确定人脸图像对应的用户是否为新用户。
在一些示例中,手机中存储有多个用户的人脸历史姿态数据。手机确定人脸图像对应的用户不是新用户时,可以直接获取人脸历史姿态数据,以便根据人脸图像和对应的人脸历史姿态数据确定当前用户的关注点,从而根据该关注点确定当前用户想要跟踪拍摄的目标。因此,手机在采集到当前使用者的人脸图像后,可确定该人脸图像对应的用户是否为新用户。
如,手机可确定手机中存储的人脸图像中是否存在与当前采集到的人脸图像相匹配的人脸图像。当手机确定存储的人脸图像中存在与该人脸图像相匹配的人脸图像,则可确定该人脸图像对应的用户不是新用户,之后,手机可执行以下S15。当手机确定预先存储的人脸图像中不存在与该人脸图像相匹配的人脸图像,则可确定该人脸图像对应的用户是新用户,之后手机可执行以下S14。
具体的,手机通过提取人脸图像的图像特征,来确定当前采集到的人脸图像对应的用户是否是新用户。如,以图像特征为PCA特征为例。手机可提取手机中存储的每个人脸图像对应的第一PCA特征,并提取当前采集到的该人脸图像的第二PCA特征。手机可确定第一PCA特征中是否存在与第二PCA特征相匹配的PCA特征。在手机确定第一PCA特征中存在与第二PCA特征相匹配的PCA特征的情况下,确定该用户不是新用户。在手机确定第一PCA特征中不存在与第二PCA特征相匹配的PCA特征的情况下,确定该用户是新用户。
如:在手机确定第一PCA特征中存在与第二PCA特征的相似度大于阈值的PCA特征的情况下,确定存在与第二PCA特征相匹配的PCA特征。在手机确定第一PCA特征中不存在与第二PCA特征的相似度大于阈值的图像特征的情况下,确定不存在与第二PCA特征相匹配的PCA特征。
上述示例是以在当前采集到人脸图像特征后,手机提取存储的每个人脸图像对应的图像特征为例进行说明的。在其他一些示例中,手机也可以预先提取手机中存储的各人脸图像对应的图像特征,如PCA特征,并存储在手机中。从而在手机需要确定人脸图像对应的用户是否为新用户时,仅需对当前采集到的人脸图像进行图像特征提取。然后,用当前采集到的人脸图像对应的PCA特征,与手机中存储的PCA特征进行匹配,从而手机可以提高确定人脸图像对应的用户是否为新用户的效率。
另外,手机采用前置摄像头采集到的图像中,除了包括人脸图像,还可能会存在其它背景,使得手机在提取人脸图像对应的图像特征时,会提取到其它无用的图像特征,导致手机无法准确地确定人脸图像对应的用户是否为新用户。如:手机在提取如图5中的(a)所示的人脸图像的图像特征时,会提取到人脸的图像特征,气球的图像特征以及树的图像特征。此时,气球的图像特征和树的图像特征,会对手机确定人脸图像对应的用户是否为新用户产生干扰,导致手机无法准确地确定人脸图像对应的用户是否为新用户。为此,在一些实施例中,手机在提取人脸图像对应的图像特征时,可以先确定采集到的图像中人脸特征的位置,如:确定眼睛,鼻子,嘴巴,眉毛和耳朵的位置。之后,手机根据确定出的眼睛,鼻子,嘴巴,眉毛和耳朵的位置,确定人脸的位置。手机根据人脸的位置,从采集到的图像中确定出人脸图像,再基于该人脸图像进行图像特征检测。如:手机采集到的图像如图5中的(a)所示。手机可先确定出该图像中眼睛,鼻子,嘴巴,眉毛和耳朵的位置。手机根据确定出的确定眼睛,鼻子,嘴巴,眉毛和耳朵的位置,确定人脸的位置。手机根据人脸的位置,确定出该图像中的人脸图像如图5中的(b)所示。这样手机基于如图5中的(b)所示的人脸图像进行图像特征提取时,由于没有其他的干扰图像特征,使得手机可以更加准确地确定人脸图像对应的用户是否为新用户。
示例性的,以手机采用基于几何特征的人脸识别算法对采集到的图像进行识别为例进行说明,手机确定前置摄像头采集到的图像中的人脸图像的过程如下:
手机根据目标特征来匹配人脸特征。如:在目标特征为SIFT特征,人脸特征包括眼睛特征,鼻子特征,嘴巴特征,眉毛特征和耳朵特征的情况下,手机根据SIFT特征来匹配眼睛特征,鼻子特征,嘴巴特征,眉毛特征和耳朵特征,以确定眼睛,鼻子,嘴巴,眉毛和耳朵的位置。或者,在目标特征为SURF特征,人脸特征包括眼睛特征,鼻子特征,嘴巴特征,眉毛特征和耳朵特征的情况下,手机根据SURF特征来匹配眼睛特征,鼻子特征,嘴巴特征,眉毛特征和耳朵特征,以确定眼睛,鼻子,嘴巴,眉毛和耳朵的位置。手机根据确定出的眼睛,鼻子,嘴巴,眉毛和耳朵的位置,确定人脸的位置。手机根据人脸的位置,确定采集到的图像中的人脸图像。
之后,手机可采用主成份分析法对根据眼睛,鼻子,嘴巴,眉毛和耳朵的位置,确定前置摄像头采集到的图像中的人脸图像。手机对确定的人脸图像进行特征提取,确定人脸图像的PCA特征。其中,PCA特征可以为特征向量,或者特征矩阵中的任一项。
需要说明的是,本实施例中的用户可以是第一用户,第二用户等,而不是特指某一个用户。
S14、手机的引导学习模块2221提示用户录入人脸图像和人脸历史姿态数据。
在手机确定人脸图像对应的用户是新用户的情况下,由于手机中并未存储有该用户的人脸图像和人脸历史姿态数据。因此,手机可显示对应提示信息,以提示用户在手机中录入自己的人脸图像,方便后续在该用户使用手机中的云台应用对云台进行控制时,可以识别出该用户。可以理解的是,S13中所提到的手机中存储的人脸图像,可以是对应用户在第一次通过手机控制云台时,录入手机的,也可以是预先录入手机的。
在一些示例中,为了防止后期拍摄过程中由于用户与手机存在小角度倾斜时,无法准确根据录入的人脸图像识别该用户。手机可采集多方位的人脸图像,便于提高手机识别用户是否为新用户的准确率。
示例性的,以手机采集如图6所示的5个方位的人脸图像为例进行说明。手机采集多方位的人脸图像时,显示如图6所示的界面,用户根据显示的界面完成相应的动作。如,手机显示图6中的(a)所示的界面,用户在做出相应的动作,并且手机确定用户完成了相应的动作后,手机控制前置摄像头采集该用户的人脸图像。手机确定用户完成了图6中的(b),图6中的(c),图6中的(d),以及图6中的(e)所示的全部动作后,则提示用户采集人脸图像已完成。在手机采集到多方位人脸图像后,可将采集的人脸图像存储在手机的存储器中。
需要说明的是,上述示例是以手机的显示模式为竖屏模式提示用户录入人脸图像为例进行说明的。当然也可以在手机的显示模式为横屏模式的情况下,提示用户录入人脸图像,手机的显示模式为横屏模式提示用户录入人脸图像的过程与手机的显示模式为竖屏模式提示用户录入人脸图像的过程相同,此处不再赘述。
另外,在手机确定人脸图像对应的用户是新用户的情况下,手机还可以显示对应提示信息,以提示用户在手机中录入人脸历史姿态数据,方便后续在该用户使用手机中的云台应用对云台进行控制时,更加方便地确定当前用户的关注点,从而根据该关注点确定当前用户想要跟踪拍摄的目标。
在手机确定人脸图像对应的用户是新用户的情况下,表明手机中并未存储有该用户的人脸历史姿态数据,手机可提示用户录入人脸历史姿态数据,以获得采集到的人脸图像对应的人脸历史姿态数据。如:手机可提示用户注视显示屏的不同区域,手机通过摄像头采集用户注视显示屏的不同区域时的人脸图像。根据该人脸图像手机可获取到对应人脸历史姿态数据。其中,人脸历史姿态数据可以包括:眼睛注视多个不同区域时的人脸偏转角度和眼睛特征数据。
手机可在显示屏上显示预先划分好的多个区域,并引导用户依次注视每一个区域,以确定眼睛注视的不同区域时的人脸偏转角度和眼睛特征数据。其中,对于一个区域执行如下操作,手机采集对应的图像,并确定该图像中眼睛,鼻子,嘴巴,眉毛和耳朵的位置。根据确定出的眼睛,鼻子,嘴巴,眉毛和耳朵的位置,确定眼睛注视对应区域时的人脸偏转角度。
示例性的,如图7所示,以手机的显示模式为横屏模式,将显示屏划分为12个区域为例进行说明。手机显示对应信息,以引导用户注视区域1。手机采集对应的图像,手机确定该图像中眼睛,鼻子,嘴巴,眉毛和耳朵的位置,以此为依据确定用户注视该区域1时的人脸偏转角度。手机根据确定的眼睛,鼻子,嘴巴,眉毛和耳朵的位置,确定用户注视该区域1时人脸偏转角度,具体的可以包括:
手机根据眼睛,鼻子,嘴巴,眉毛和耳朵的初始位置,以及确定出的眼睛,鼻子,嘴巴,眉毛和耳朵的位置,确定眼睛,鼻子,嘴巴,眉毛和耳朵的偏转角度。如图8中的(a)所示,以眼睛连线作为X轴,以垂直于该连线,并经过眉心的垂线为Y轴,建立直角坐标系。获取该用户正对显示屏的用户图像,根据用户正对显示屏的用户图像,确定眼睛,鼻子,嘴巴,眉毛和耳朵的初始位置。
然后,如图8中的(b)所示,假设右眼眉毛的初始位置在a1处,当前确定的右眼眉毛的位置为a2。过a1与坐标原点o的连线,与过a2与坐标原点o的连线的夹角α即为眉毛的偏转角度。需要说明的是,眼睛,鼻子,嘴巴和耳朵的偏转角度的确定方式与右眼眉毛的偏转角度的确定方式类似,此处不再赘述。
手机根据眼睛,鼻子,嘴巴,眉毛和耳朵的偏转角度,确定用户注视该区域1时人脸偏转角度。如:将眼睛的偏转角度,鼻子的偏转角度,嘴巴的偏转角度,眉毛的偏转角度,耳朵的偏转角度的平均值作为人脸偏转角度。或者,将眼睛的偏转角度,鼻子的偏转角度,嘴巴的偏转角度,眉毛的偏转角度,耳朵的偏转角度的最小值作为人脸偏转角度,此处不做限制。类似的,手机可获取眼睛注视其他区域,如注视区域2-区域12时的人脸偏转角度。
在用户依次注视上述区域1-区域12时,手机还可以通过抓取用户的眼部周围的图像,提取用户眼睛注视各个区域时的眼睛特征数据。
示例性的,结合图7所示,以手机的显示模式为横屏模式,将显示屏划分为12个区域为例进行说明。手机显示对应信息,以引导用户注视区域1。手机采集对应的图像,手机确定该图像中的眼睛特征数据,包括:
假设用户注视区域1时手机获取的人脸图像如图8中的(a)所示。手机对图8中的(a)所示的人脸图像的眼部周围的图像进行抓取,抓取后的眼部周围的图像如图9所示。手机对抓取后的眼部周围的图像,提取HOG特征。手机将该HOG特征作为眼睛特征数据。
需要说明的是,由于眼睛与眼球的梯度比较明显,因此通过HOG特征可以更加准确地反映出眼部周围的图像。当然,也可以选用其他的特征算子(如LBP特征,或者Haar特征),本申请实施例在此不做限定。
由此,手机可以确定该人脸图像对应的人脸历史姿态数据。
之后,手机还可以将该人脸历史姿态数据存储在手机的存储器中,以便后续使用时,手机可从存储器中直接读取对应人脸历史姿态数据,用于后续在该用户使用手机中的云台应用对云台进行控制时,更加方便地确定当前用户的关注点,从而根据该关注点确定当前用户想要跟踪拍摄的目标。
需要说明的是,上述示例是以将显示屏划分为12个区域为例进行说明,具体的将显示屏划分为几个区域可以根据显示屏的大小进行设定,本申请实施例不做限定。另外,手机还可以采集竖屏模式下人脸历史姿态数据。或者,手机同时采集横屏模式和竖屏模式下的人脸历史姿态数据,从而可以更加准确地确定当前用户的关注点,从而根据该关注点确定当前用户想要跟踪拍摄的目标。其中,采集竖屏模式下人脸姿态参数的过程,与采集横屏模式下人脸姿态参数的过程相同,此处不再赘述。
可以理解的是,上述示例中所提到的手机中存储的人脸历史姿态数据,可以是对应用户在第一次通过手机控制云台时,录入手机的,也可以是预先录入手机的。另外,为了提升用户的体验,本申请实施例提供的云台控制方法中,将S13中所提到的手机中存储的人脸图像,以及上述示例中所提到的手机中存储的人脸历史姿态数据存储至服务器中,以便手机故障后用户可以在其他的手机上获取到该用户的人脸图像和人脸历史姿态数据。
如:用户在更换手机后,用户无需在执行上述S14的步骤,新的手机仍然可以根据前置摄像头采集当前的人脸图像,以及服务器中存储的人脸图像,确定该人脸图像对应的用户是否为新用户。在确定该人脸图像对应的用户不是新用户时,可以直接根据服务器获取的人脸历史姿态数据,用于后续在该用户使用手机中的云台应用对云台进行控制时,更加方便地确定当前用户的关注点,从而根据该关注点确定当前用户想要跟踪拍摄的目标。
S15、手机的视觉检测模块2222获取人脸图像对应人脸历史姿态数据。
其中,手机中可存储有不同老用户(如在第一次通过手机控制云台时录入人脸历史姿态数据并由手机保存在存储器中的用户,或者预先录入人脸历史姿态参数的用户)的人脸图像对应的人脸历史姿态数据。在手机确定人脸图像对应的用户不是新用户的情况下,手机可从手机的存储器中获取当前采集到的人脸图像对应的人脸历史姿态数据。
可以理解的是,手机中存储的人脸历史姿态数据可以是对应用户在第一次通过手机控制云台时,录入并由手机保存在存储器中,也可以是预先录入并由手机保存在存储器的。
S16、手机的视觉检测模块2222根据当前的人脸图像,确定人脸当前姿态参数。
需要说明的是,手机根据当前的人脸图像,确定人脸当前姿态参数的过程,与上述S14中确定的人脸历史姿态参数的过程类似,此处不再赘述。
S17、手机的决策计算模块2220根据人脸历史姿态参数,以及人脸当前姿态参数,确定人脸当前姿态参数与每一个人脸历史姿态参数的相似度。
S18、手机的决策计算模块2220根据显示屏上预先划分好的每个区域对应的坐标,以及人脸当前姿态参数与每一个人脸历史姿态参数的相似度,确定理论注视坐标。
在一些示例中,手机根据预设相似度算法,确定人脸当前姿态参数与每一个人脸历史姿态参数的相似度。如:手机根据特征相似度(feature similarity,FSIM)算法,确定人脸当前姿态参数与每一个人脸历史姿态参数的相似度。或者,手机根据支持向量机(Support Vector Machine,SVM)算法,确定人脸当前姿态参数与每一个人脸历史姿态参数的相似度。当然,也可通过计算人脸当前姿态参数与每一个人脸历史姿态参数的距离差值,确定人脸当前姿态参数与每一个人脸历史姿态参数的相似度,本申请实施例不做限定。
示例性的,如图10所示,以通过计算人脸当前姿态参数与每一个人脸历史姿态参数的距离差值,确定人脸当前姿态参数与每一个人脸历史姿态参数的相似度为例,确定人脸当前姿态参数与每一个人脸历史姿态参数的相似度的实现过程如下:
手机获取人脸当前姿态参数对应的特征向量(对应本申请实施例中的第一特征向量)。如F′。
手机获取每个人脸历史姿态参数对应的特征向量(对应本申请实施例中的第二特征向量)。当显示屏被划分为N个区域时,这里包括N个特征向量,分别为特征向量F1,……,特征向量FN。其中,每个区域对应一个特征向量F。如:手机可提示用户注视显示屏的区域1,以获得用户注视显示屏的区域1时的人脸偏转角度和眼睛特征数据。手机根据用户注视显示屏的区域1时的人脸偏转角度和眼睛特征数据,确定特征向量F1。此外,手机根据用户注视显示屏的区域2-区域12时的人脸偏转角度和眼睛特征数据,确定每个区域对应的特征向量F。
手机计算F′与N个特征向量中每个特征向量的距离。
手机根据F′与N个特征向量中每个特征向量的距离,确定F′与N个特征向量中每个特征向量相似度。
示例性的,手机将F′与N个特征向量中每个特征向量的距离,作为F′与N个特征向量中每个特征向量相似度。
需要说明的是,αi越小说明F′与特征向量Fi的相似度越高,αi越大说明F′与特征向量Fi的相似度越低。
在获得人脸当前姿态参数与每一个人脸历史姿态参数的相似度后,手机可以根据相似度确定理论注视坐标(对应本申请实施例中的理论位置信息)。在一些示例中,由于手机存储了眼睛注视的不同区域时的人脸历史姿态参数。因此,可以根据显示屏上预先划分好的每个区域对应的坐标(对应本申请实施例中的显示屏上预先划分的多个区域中每个区域对应的位置信息),以及人脸当前姿态参数与每一个人脸历史姿态参数的相似度,确定用户当前可能关注的理论注视坐标。
具体的,每个区域对应的坐标为该区域的中心点坐标。手机根据显示屏预先划分的每个区域的中心点坐标,以及F′与特征向量F1-特征向量F12中每个特征向量的距离,确定理论注视坐标。如,显示屏被划分为N个区域时,这里包含N个中心点坐标,分别为pos1,……,posN。然后,根据下述公式,确定理论注视坐标。
其中,pos′表示理论注视坐标,αi表示F′与特征向量i的相似度,posi表示显示屏划分的第i个区域的中心点坐标,N,i,k三者均为大于1的整数。
示例性的,结合上述S15的示例,以显示屏的分辨率为1920×1080,建立如图11所示的直角坐标系。显示屏的12个区域中每个区域的中心点坐标如图11所示,点a为用户眼睛的实际注视点。通过上述S16的描述,可以确定人脸当前姿态参数对应的特征向量F′为[9.6,9,4.5,18,18,48,3.6,16,6,5.3]。手机根据确定特征向量F′与N个特征向量中每个特征向量的距离。本申请实施例中显示屏被划分为了12个区域,手机预先录入的每个区域的人脸历史姿态参数对应的特征向量F,与每个区域的中心点坐标的对应关系如表1所示。
表1
手机根据上述公式一,特征向量F′与N个特征向量中每个特征向量的距离,以及显示屏的每个区域的中心点坐标,确定如图12中所示的点b对应的坐标(495.6,450.79)为理论注视坐标。
需要说明的是,本申请实施例中通过不同的参数组合来表征人脸偏转角度和眼睛特征数据。用户注视显示屏预先划分好的不同区域时,对应的人脸偏转角度和眼睛特征数据会存在差异,即用户注视显示屏预先划分好的不同区域的表征人脸偏转角度的参数组合不同。由于用户注视显示屏预先划分好的不同区域的表征眼睛特征数据的参数组合不同。因此,可以用特征向量的方式来表示不同区域的人脸历史姿态参数。具体的,在特征向量包含N个参数的情况下,第1个参数至第n个参数用于表征人脸偏转角度,第n+1个参数至第N个参数用于表征眼睛特征数据。n∈N,n为大于0的整数,N为大于或等于2的整数。
示例性的,假设特征向量为表1中的特征向量,并且第1个参数至第4个参数用于表征人脸偏转角度,第5个参数至第10个参数用于表征眼睛特征数据。如特征向量为[4.8,4.5,2.25,9,9,24,1.8,8,3,2.6]时,4.8,4.5,2.25,9这4个参数用于表征人脸偏转角度,9,24,1.8,8,3,2.6这6个参数用于表征眼睛特征数据,方便用户后期管理每个区域的人脸历史姿态参数。
S19、手机的目标检测模块2223根据后置摄像头当前采集的图像,确定当前拍摄场景中各目标的实际坐标。
在一些示例中,摄像头当前采集的图像,可以以预览图像的方式显示在显示屏上。由于摄像头当前采集的图像中可能存在多个目标(对应本申请实施例中的对象),而用户需要跟踪拍摄的仅为多个目标中的一个目标。因此,手机根据摄像头当前采集的图像,确定当前拍摄场景中存在的目标,以及每个目标的实际坐标(对应本申请实施例中的当前拍摄场景中包括的各对象在所述预览图像中的位置信息)。如:手机根据后置摄像头当前采集的图像,确定当前拍摄场景中存在的目标,以及每个目标的实际坐标。
具体的,手机通过显著性目标检测技术对摄像头当前采集的图像进行检测,确定当前拍摄场景中存在的目标,也可以称为显著目标。手机确定显著目标的重心坐标为该显著目标对应的实际坐标pos″。
或者,手机通过显著性目标检测技术对摄像头当前采集的图像进行检测,确定该景象中存在的显著目标,以及该显著目标的尺寸范围scale。由于每个显著目标对应一个尺寸范围scale,手机根据显著目标的尺寸scale中包含的每个像素的坐标,确定该显著目标对应的实际坐标。
示例性的,结合上述S18的示例,手机通过显著性目标检测技术对后摄像头当前采集的图像进行检测,确定当前拍摄场景中存在的显著目标,以及显著目标的尺寸scale。手机根据该尺寸scale中包含的每个像素的坐标,并根据尺寸scale中包含的每个像素的坐标的平均值,确定该显著目标对应的实际坐标pos″。
需要说明的是,本实施例中的第一对象可以是指摄像头当前采集的图像中的多个对象中的任一个对象,而不是特指某一个对象。另外,若不做特别说明,本申请实施例中的摄像头当前采集的图像中的多个目标,或者摄像头当前采集的图像中的多个显著目标,均与摄像头当前采集的图像中的多个对象的解释类似,不再重复赘述。如:确定摄像头当前采集的图像中的多个目标中的任一个目标为第一对象,或者,确定摄像头当前采集的图像中的多个显著目标中的任一个显著目标为第一对象。
S20、手机的决策计算模块2220根据理论注视坐标,以及每个显著目标的实际坐标,确定目标坐标。
在一些示例中,当理论注视坐标与显著目标的实际坐标的距离较大时,此时说明用户注视该显著目标的可能性较低。当理论注视坐标与显著目标的实际坐标的距离较小时,此时说明用户注视该显著目标的可能性较高。因此,本申请实施例通过计算理论注视坐标与每个显著目标的实际坐标的距离,确定目标坐标。
具体的,手机在得到理论注视坐标与每个显著目标的实际坐标的距离后,确定最小距离对应的显著目标的实际坐标为目标坐标。当然,为了降低对手机计算资源的占用,手机还可以以S18确定的理论注视坐标为中心,半径R画圆。确定该圆内是否存在显著目标的实际坐标。若存在一个,则将该实际坐标作为目标坐标。若存在多个,则计算理论注视坐标与每个显著目标的实际坐标的距离,确定最小距离对应的显著目标的实际坐标为目标坐标。
示例性的,如图13所示,结合S18的示例,以手机根据后置摄像头当前采集的图像,确定当前拍摄场景中存在显著目标1和显著目标2,并且显著目标1的实际坐标为坐标1(1100,500),显著目标2的实际坐标为坐标2(400,300)为例进行说明,手机在得到理论注视坐标与每个显著目标的实际坐标的距离后,确定最小距离对应的显著目标的实际坐标为目标坐标,包括:
手机根据距离公式,确定理论注视坐标与每个显著目标的实际坐标的距离。
其中,d表示理论注视坐标显著目标的实际坐标的距离,x1表示理论注视坐标对应的横坐标,y1表示理论注视坐标对应的纵坐标,x2表示显著目标对应的横坐标,y2表示显著目标对应的纵坐标。
由于,理论注视坐标与显著目标1的实际坐标的距离大于理论注视坐标与显著目标2的实际坐标的距离。因此,手机确定显著目标2的实际坐标为目标坐标。
在另一些示例中,本申请实施例提供的云台控制方法,根据理论注视坐标,与用户当前注视的显著目标的坐标进行加权,确定目标坐标。
示例性的,结合S18的示例,手机根据公式二,以及理论注视坐标、用户当前注视的显著目标的坐标,确定目标坐标。其中,
pos=w×pos′+(1-w)×pos″,公式二。
其中,pos表示目标坐标,w表示权重值,0≤w≤1。
在w=0.5的情况下,pos=0.5×pos′+0.5×pos″,即pos为(447.8,375.395)。
S21、手机的目标跟踪模块211通过云台控制模块210控制云台200对目标坐标进行跟踪。
在一些示例中,结合上述S20的示例,在拍摄过程中,若拍摄的场景较为复杂,手机无法识别显著目标。此时,手机根据本申请实施例提供的云台控制方法,确定显著目标2为跟踪的目标。随后,手机的前置摄像头持续采集当前的人脸图像,并执行上述S11-S20的操作后,确定显著目标1为跟踪的目标。此时,手机控制云台200对显著目标1进行跟踪,而不再对显著目标2进行跟踪,从而无需用户手动地去切换被跟踪拍摄的目标,而是可以自动切换被跟踪拍摄的目标。
或者,在拍摄过程中,若无法采集到用户图像,如用户离开前置摄像头拍摄范围之外,此时云台应用继续控制云台200对最后一次确定的显著目标进行跟踪。
在另一示例中,为了防止频繁地切换被跟踪拍摄的目标,本申请实施例提供的云台控制方法,手机在控制云台200对目标进行跟踪的过程中,若手机根据前置摄像头持续采集当前的人脸图像,并执行上述S11-S20的操作后。确定相同的目标坐标连续出现的次数大于阈值时,手机控制云台200对该出现的次数大于阈值的目标坐标进行跟踪。
如:结合上述S20的示例,手机在控制云台200对显著目标2进行跟踪的过程中,若手机根据前置摄像头持续采集当前的人脸图像,并执行上述S11-S20的操作后。如确定目标坐标为显著目标1的实际坐标,并且显著目标1的实际坐标出现的次数大于阈值时,手机控制云台200对显著目标1进行跟踪。
具体的,结合上述示例,手机在控制云台200对显著目标2进行跟踪的过程中,若手机根据前置摄像头持续采集当前的人脸图像,并执行上述S11-S20的操作后。确定当前用户想要跟踪拍摄的目标为显著目标1时,此时手机的显示屏上会提示用户是否需要切换跟踪拍摄的目标。如:手机的显示屏显示图14所示的提示信息。此时,手机接收到需要切换跟踪拍摄的目标的操作时,手机控制云台200对显著目标1进行跟踪。
如:手机在显示屏提示用户是否需要切换跟踪拍摄的目标后。手机根据接收到的语音指令,确定是否需要切换跟踪拍摄的目标。如:手机接收到的语音指令为是时,手机控制云台200对显著目标1进行跟踪。手机接收到的语音指令为否时,手机控制云台200继续对显著目标2进行跟踪。或者,手机的显示屏显示图15所示的提示信息。此时,手机接收到需要切换跟踪拍摄的目标的信息时,手机控制云台200对显著目标1进行跟踪。
如:手机在显示屏提示用户是否需要切换跟踪拍摄的目标后。手机根据接收到的用户操作,确定是否需要切换跟踪拍摄的目标。如:手机接收到的用户点击是的操作时,手机控制云台200对显著目标1进行跟踪。手机接收到的用户点击否的操作时,手机控制云台200继续对显著目标2进行跟踪。
可以理解的是,在当前拍摄的场景中存在多个相似的显著目标的情况下,此时目标坐标的周围会出现多个相似的显著目标。为了防止跟踪错误的显著目标,手机通过显著性目标检测技术对摄像头当前采集的图像进行检测,确定该景象中存在的显著目标,以及该显著目标的尺寸范围scale。
或者,手机根据S19中后置摄像头当前采集的图像,截取目标坐标对应的显著目标的图像。手机根据截取的显著目标的图像,确定显著目标的尺寸scale。手机在得到显著目标的目标坐标以及显著目标的尺寸scale后,将显著目标的目标坐标以及显著目标的尺寸scale发送至云台应用。云台应用在得到显著目标的目标坐标以及显著目标的尺寸scale后,根据该显著目标的目标坐标,以及该显著目标的尺寸scale控制云台200的电机控制模块对坐标为显著目标的目标坐标,尺寸scale为该显著目标的尺寸scale的目标进行跟踪,从而可以通过云台实现手机对显著目标的跟踪拍摄。
需要说明的是,此处仅以手机根据语音指令和用户操作为例,对是否需要切换跟踪拍摄的目标进行确认。当然,手机还可以根据其他的操作,确认是否需要切换跟踪拍摄的目标,此处不做限定。
基于此,本申请实施例提供的云台控制方法,电子设备根据第一摄像头采集的第一用户的人脸图像,确定该第一用户的第一姿态参数。电子设备根据第二摄像头采集到的当前拍摄场景的预览图像,确定当前拍摄场景中包括的各对象在预览图像中的位置信息。电子设备根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,第一用户的第二姿态参数和当前拍摄场景中包括的各对象在预览图像中的位置信息,确定第一用户当前注视的第一对象的目标位置信息。进而可以根据该目标位置信息,控制云台对第一对象进行跟踪拍摄。
示例性的,当第一摄像头为前置摄像头,第二摄像头为后置摄像头,电子设备为手机时,手机可以根据前置摄像头和后置摄像头采集的图像,确定第一用户当前注视的第一对象。从而在拍摄过程中,当用户当前注视的显著目标发生改变时,手机可以实时地确定出用户重新注视的显著目标,并控制云台拍摄用户重新注视的显著目标,无需取消对当前目标的跟踪拍摄,然后重新设置被跟踪拍摄的目标,缩短了切换被跟踪拍摄的目标的耗时。
可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在一种示例中,请参考图16,为本申请实施例提供一种电子设备10的组成示意图。如图16所示,该电子设备10可以包括:采集单元101、处理单元102和显示单元103。
采集单元101,用于采用第一摄像头采集第一用户的人脸图像。
处理单元102,用于根据采集单元101通过第二摄像头采集到的当前拍摄场景的预览图像,确定当前拍摄场景中包括的各对象在预览图像中的位置信息。
处理单元102,还用于根据采集单元101采集的人脸图像,确定第一姿态参数;其中,第一姿态参数包括:第一用户的注视点在预览图像的第一对象的图像上时的人脸偏转角度和眼睛特征数据,眼睛特征数据是用于表征第一用户的眼部周围特征的数据。
处理单元102,还用于根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,第一用户的第二姿态参数和采集单元101采集的当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息。第二姿态参数包括第一用户的注视点在预先划分的多个区域中的每个区域时的人脸偏转角度和眼睛特征数据,目标位置信息用于指示第一用户当前注视的第一对象。
处理单元102,还用于根据目标位置信息,控制云台对第一对象进行跟踪拍摄。
在一种可能实现方式中,处理单元102,具体用于根据显示屏上预先划分的多个区域中每个区域对应的位置信息,第一姿态参数,和第二姿态参数,确定第一用户的理论位置信息。
处理单元102,具体用于根据理论位置信息和采集单元101采集的当前拍摄场景中包括的各对象在预览图像中的位置信息,确定目标位置信息。
在一种可能实现方式中,处理单元102,具体用于确定第一姿态参数与每一第二姿态参数的相似度。
处理单元102,具体用于根据显示屏上预先划分好的每个区域对应的位置信息,和第一姿态参数与每一第二姿态参数的相似度,确定第一用户的理论位置信息。
在一种可能实现方式中,处理单元102,具体用于确定第一姿态参数对应的第一特征向量,以及每一第二姿态参数对应的第二特征向量。
处理单元102,具体用于根据第一特征向量,以及每一第二特征向量,确定第一姿态参数与每一第二姿态参数的相似度。
在一种可能实现方式中,处理单元102,具体用于确定第一特征向量与每一第二特征向量的距离;其中,距离越大对应的相似度越低,距离越小对应的相似度越高。
在一种可能实现方式中,处理单元102,具体用于确定理论位置信息与采集单元101采集的当前拍摄场景中各对象的位置信息的距离。
处理单元102,具体用于确定距离中最小距离对应的对象的位置信息为目标位置信息。
在一种可能实现方式中,云台控制装置还包括显示单元103。
处理单元102,具体用于在目标位置信息与当前跟踪的对象对应的位置信息不同的情况下,控制显示单元103显示提示信息。其中,提示信息用于提示用户是否切换跟踪的对象。
处理单元102,具体用于在接收到切换操作后,根据目标位置信息,控制云台对第一对象进行跟踪拍摄。
在一种可能实现方式中,处理单元102,具体用于在目标位置信息与当前跟踪的对象对应的位置信息不同,并且目标位置信息出现的次数大于阈值的情况下,控制显示单元103显示提示信息。其中,提示信息用于提示用户是否切换跟踪的对象。
在一种可能实现方式中,第一摄像头为前置摄像头,第二摄像头为后置摄像头。
当然,本发明实施例提供的电子设备10包括但不限于上述模块,例如电子设备10还可以包括存储单元104。存储单元104可以用于存储该电子设备10的程序代码,还可以用于存储电子设备10在运行过程中生成的数据,如写请求中的数据等。
本申请实施例还提供一种电子设备,该电子设备可以包括:第一摄像头、第二摄像头、显示屏、存储器和一个或多个处理器。该第一摄像头、第二摄像头、显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。当然,该电子设备包括但不限于上述显示屏、存储器和一个或多个处理器。例如,该电子设备的结构可以参考图2所示的手机的结构。
本申请实施例还提供一种芯片***,该芯片***可以应用于前述实施例中的电子设备。如图17所示,该芯片***包括至少一个处理器1501和至少一个接口电路1502。该处理器1501可以是上述电子设备中的处理器。处理器1501和接口电路1502可通过线路互联。该处理器1501可以通过接口电路1502从上述电子设备的存储器接收并执行计算机指令。当计算机指令被处理器1501执行时,可使得电子设备执行上述实施例中手机执行的各个步骤。当然,该芯片***还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,用于存储上述电子设备(如手机)运行的计算机指令。
本申请实施例还提供一种计算机程序产品,包括上述电子设备(如手机)运行的计算机指令。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种云台控制方法,其特征在于,应用于电子设备,所述电子设备设置在云台上,所述电子设备包括第一摄像头,第二摄像头和显示屏,所述方法包括:
所述电子设备采用所述第一摄像头采集第一用户的人脸图像;
所述电子设备根据所述第二摄像头采集到的当前拍摄场景的预览图像,确定所述当前拍摄场景中包括的各对象在所述预览图像中的位置信息;
所述电子设备根据所述人脸图像,确定第一姿态参数;其中,所述第一姿态参数包括:所述第一用户的注视点在所述预览图像的第一对象的图像上时的人脸偏转角度和眼睛特征数据,所述眼睛特征数据是用于表征所述第一用户的眼部周围特征的数据;
所述电子设备根据所述显示屏上预先划分的多个区域中每个区域对应的位置信息,所述第一姿态参数,所述第一用户的第二姿态参数和所述当前拍摄场景中包括的各对象在所述预览图像中的位置信息,确定目标位置信息;所述第二姿态参数包括所述第一用户的注视点在所述预先划分的多个区域中的每个区域时的人脸偏转角度和眼睛特征数据,所述目标位置信息用于指示所述第一用户当前注视的所述第一对象;
所述电子设备根据所述目标位置信息,控制所述云台对所述第一对象进行跟踪拍摄。
2.根据权利要求1所述的云台控制方法,其特征在于,所述电子设备根据所述显示屏上预先划分的多个区域中每个区域对应的位置信息,所述第一姿态参数,所述第一用户的第二姿态参数和所述当前拍摄场景中包括的各对象在所述预览图像中的位置信息,确定目标位置信息,包括:
所述电子设备根据所述显示屏上预先划分的多个区域中每个区域对应的位置信息,所述第一姿态参数,和所述第二姿态参数,确定所述第一用户当前注视在所述显示屏上的理论位置信息;
所述电子设备根据所述理论位置信息和所述当前拍摄场景中包括的各对象在所述预览图像中的位置信息,确定所述目标位置信息。
3.根据权利要求2所述的方法,其特征在于,所述电子设备根据所述显示屏上预先划分的多个区域中每个区域对应的位置信息,所述第一姿态参数,和所述第二姿态参数,确定所述第一用户的理论位置信息,包括:
所述电子设备确定所述第一姿态参数与每一所述第二姿态参数的相似度;
所述电子设备根据所述显示屏上预先划分好的每个区域对应的位置信息,和所述第一姿态参数与每一所述第二姿态参数的相似度,确定所述第一用户的理论位置信息。
4.根据权利要求3所述的方法,其特征在于,所述电子设备确定所述第一姿态参数与每一所述第二姿态参数的相似度,包括:
所述电子设备确定所述第一姿态参数对应的第一特征向量,以及每一所述第二姿态参数对应的第二特征向量;
所述电子设备根据所述第一特征向量,以及每一所述第二特征向量,确定所述第一姿态参数与每一所述第二姿态参数的相似度。
5.根据权利要求4所述的方法,其特征在于,所述电子设备根据所述第一特征向量,以及每一所述第二特征向量,确定所述第一姿态参数与每一所述第二姿态参数的相似度,包括:
所述电子设备确定所述第一特征向量与每一所述第二特征向量的距离;其中,所述距离越大对应的相似度越低,所述距离越小对应的相似度越高。
6.根据权利要求2所述的方法,其特征在于,所述电子设备根据所述理论位置信息和所述当前拍摄场景中包括的各对象在所述预览图像中的位置信息,确定所述目标位置信息,包括:
所述电子设备确定所述理论位置信息与所述当前拍摄场景中各对象的位置信息的距离;
所述电子设备确定所述距离中最小距离对应的对象的位置信息为所述目标位置信息。
7.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述目标位置信息,控制所述云台对所述第一对象进行跟踪拍摄前,所述方法还包括:
所述电子设备在所述目标位置信息与当前跟踪的对象对应的位置信息不同的情况下,显示提示信息;其中,所述提示信息用于提示用户是否切换跟踪的对象;
所述电子设备根据所述目标位置信息,控制所述云台对所述第一对象进行跟踪拍摄,包括:
所述电子设备在接收到切换操作后,根据所述目标位置信息,控制所述云台对所述第一对象进行跟踪拍摄。
8.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述目标位置信息,控制所述云台对所述第一对象进行跟踪拍摄,包括:
在所述目标位置信息与当前跟踪的对象对应的位置信息不同,并且所述目标位置信息出现的次数大于阈值的情况下,显示提示信息;其中,所述提示信息用于提示用户是否切换跟踪的对象。
9.根据权利要求1所述的方法,其特征在于,所述第一摄像头为前置摄像头,所述第二摄像头为后置摄像头。
10.一种电子设备,其特征在于,所述电子设备设置在云台上,所述电子设备包括第一摄像头,第二摄像头和显示屏,所述电子设备包括:采集单元和处理单元;
所述采集单元,用于采用所述第一摄像头采集第一用户的人脸图像;
所述处理单元,用于根据所述采集单元通过所述第二摄像头采集到的当前拍摄场景的预览图像,确定所述当前拍摄场景中包括的各对象在所述预览图像中的位置信息;
所述处理单元,还用于根据所述采集单元采集的所述人脸图像,确定第一姿态参数;其中,所述第一姿态参数包括:所述第一用户的注视点在所述预览图像的第一对象的图像上时的人脸偏转角度和眼睛特征数据,所述眼睛特征数据是用于表征所述第一用户的眼部周围特征的数据;
所述处理单元,还用于根据所述显示屏上预先划分的多个区域中每个区域对应的位置信息,所述第一姿态参数,所述第一用户的第二姿态参数和所述当前拍摄场景中包括的各对象在所述预览图像中的位置信息,确定目标位置信息;所述第二姿态参数包括所述第一用户的注视点在所述预先划分的多个区域中的每个区域时的人脸偏转角度和眼睛特征数据,所述目标位置信息用于指示所述第一用户当前注视的所述第一对象;
所述处理单元,还用于根据所述目标位置信息,控制所述云台对所述第一对象进行跟踪拍摄。
11.一种电子设备,其特征在于,包括:通信接口、处理器、存储器、总线;
所述存储器用于存储计算机执行指令,所述处理器与所述存储器通过所述总线连接;
当所述电子设备运行时,所述处理器执行所述存储器存储的计算机执行指令,以使所述电子设备执行如上述权利要求1-9任一项所述的云台控制方法。
12.一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述权利要求1至9中任一项所述的云台控制方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021106374732 | 2021-06-08 | ||
CN202110637473 | 2021-06-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113473015A CN113473015A (zh) | 2021-10-01 |
CN113473015B true CN113473015B (zh) | 2022-03-08 |
Family
ID=77876943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110742582.0A Active CN113473015B (zh) | 2021-06-08 | 2021-06-30 | 一种云台控制方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113473015B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113873166A (zh) * | 2021-10-26 | 2021-12-31 | 维沃移动通信有限公司 | 视频拍摄方法、装置、电子设备和可读存储介质 |
WO2023102696A1 (zh) * | 2021-12-06 | 2023-06-15 | 深圳市大疆创新科技有限公司 | 云台、无线通信设备、云台的控制方法、设备和云台*** |
CN118115576A (zh) * | 2022-11-30 | 2024-05-31 | 华为技术有限公司 | 图像处理方法、装置及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038737A (zh) * | 2014-05-30 | 2014-09-10 | 西安交通大学 | 主动获取感兴趣目标高分辨率图像的双摄像机***及方法 |
CN107014378A (zh) * | 2017-05-22 | 2017-08-04 | 中国科学技术大学 | 一种视线跟踪瞄准操控***及方法 |
CN108732746A (zh) * | 2018-05-29 | 2018-11-02 | 北京理工大学 | 一种头戴式目视瞄准控制*** |
CN110225252A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 拍照控制方法及相关产品 |
CN110866465A (zh) * | 2019-10-29 | 2020-03-06 | 维沃移动通信有限公司 | 电子设备的控制方法及电子设备 |
CN110913132A (zh) * | 2019-11-25 | 2020-03-24 | 维沃移动通信有限公司 | 对象跟踪方法及电子设备 |
CN111012301A (zh) * | 2019-12-19 | 2020-04-17 | 北京理工大学 | 一种头戴式目视精确瞄准*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2970576B1 (fr) * | 2011-01-19 | 2013-02-08 | Matchic Labs | Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre |
CN203027358U (zh) * | 2013-01-21 | 2013-06-26 | 天津师范大学 | 一种自适应视线跟踪*** |
KR20150067608A (ko) * | 2013-12-10 | 2015-06-18 | 한국전자통신연구원 | 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 |
-
2021
- 2021-06-30 CN CN202110742582.0A patent/CN113473015B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038737A (zh) * | 2014-05-30 | 2014-09-10 | 西安交通大学 | 主动获取感兴趣目标高分辨率图像的双摄像机***及方法 |
CN107014378A (zh) * | 2017-05-22 | 2017-08-04 | 中国科学技术大学 | 一种视线跟踪瞄准操控***及方法 |
CN108732746A (zh) * | 2018-05-29 | 2018-11-02 | 北京理工大学 | 一种头戴式目视瞄准控制*** |
CN110225252A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 拍照控制方法及相关产品 |
CN110866465A (zh) * | 2019-10-29 | 2020-03-06 | 维沃移动通信有限公司 | 电子设备的控制方法及电子设备 |
CN110913132A (zh) * | 2019-11-25 | 2020-03-24 | 维沃移动通信有限公司 | 对象跟踪方法及电子设备 |
CN111012301A (zh) * | 2019-12-19 | 2020-04-17 | 北京理工大学 | 一种头戴式目视精确瞄准*** |
Non-Patent Citations (1)
Title |
---|
基于3D人眼模型的视线跟踪技术综述;周小龙等;《计算机辅助设计与图形学学报》;20170915(第09期);第3-13页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113473015A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113473015B (zh) | 一种云台控制方法及电子设备 | |
CN109034102B (zh) | 人脸活体检测方法、装置、设备及存储介质 | |
CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN110222789B (zh) | 图像识别方法及存储介质 | |
CN109948586B (zh) | 人脸验证的方法、装置、设备及存储介质 | |
CN113741681B (zh) | 一种图像校正方法与电子设备 | |
CN112084811B (zh) | 身份信息的确定方法、装置及存储介质 | |
US11816924B2 (en) | Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium | |
CN112257552B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111199171B (zh) | 一种皱纹检测方法和终端设备 | |
CN111027490A (zh) | 人脸属性识别方法及装置、存储介质 | |
US11284020B2 (en) | Apparatus and method for displaying graphic elements according to object | |
KR20200144196A (ko) | 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법 | |
CN111708998A (zh) | 一种人脸解锁方法及电子设备 | |
CN114983338A (zh) | 一种皮肤检测方法和电子设备 | |
CN111931712A (zh) | 人脸识别方法、装置、抓拍机及*** | |
CN111557007B (zh) | 一种检测眼睛睁闭状态的方法及电子设备 | |
CN116052261A (zh) | 视线估计方法及电子设备 | |
CN111982293B (zh) | 体温测量方法、装置、电子设备及存储介质 | |
CN111460942B (zh) | 接近检测方法及装置、计算机可读介质及终端设备 | |
CN113709353B (zh) | 图像采集方法和设备 | |
CN114648315A (zh) | 虚拟面试的方法、装置、设备及存储介质 | |
CN111723615B (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
CN108833794B (zh) | 一种拍摄方法及移动终端 | |
CN113591514A (zh) | 指纹活体检测方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |