CN113542606B - 拍摄控制方法、装置、电子设备及存储介质 - Google Patents
拍摄控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113542606B CN113542606B CN202110795794.5A CN202110795794A CN113542606B CN 113542606 B CN113542606 B CN 113542606B CN 202110795794 A CN202110795794 A CN 202110795794A CN 113542606 B CN113542606 B CN 113542606B
- Authority
- CN
- China
- Prior art keywords
- sound source
- spatial position
- preset
- change
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 96
- 238000001228 spectrum Methods 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 21
- 230000005236 sound signal Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 238000005265 energy consumption Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Circuit For Audible Band Transducer (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种拍摄控制方法、装置、电子设备及存储介质,应用于电子设备。该拍摄控制方法包括:基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息;当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式。本方法通过追踪外界声音的空间位置变动,来实现拍摄的自适应控制,避免拍摄设备持续进行拍摄录制,节省了储存空间。
Description
技术领域
本申请涉及拍摄技术领域,更具体地,涉及一种拍摄控制方法、装置、电子设备及存储介质。
背景技术
目前,随着摄像头在日常生活中的广泛使用,人们对图像、视频拍摄的需求越来越多。例如,在监控场景下,通过使用摄像头来记录/监控某个区域的状态和人物活动等。目前,为了提高监控效果,通常需要摄像头一直处于开启状态,以持续拍摄监控区域,但这也导致存储空间占用过多,成本过高,能源消耗过大。
发明内容
鉴于上述问题,本申请提出了一种拍摄控制方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种拍摄控制方法,所述方法包括:基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息;当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式。
第二方面,本申请实施例提供了一种拍摄控制装置,所述装置包括:位置分析模块,用于基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息;拍摄启动模块,用于当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式。
第三方面,本申请实施例提供了一种电子设备,包括:麦克风;一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行上述第一方面提供的拍摄控制方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的拍摄控制方法。
本申请提供的方案,基于麦克风采集的录音信号,可以获取录音信号中的至少一个音源的空间位置的变动信息,当该空间位置的变动信息满足预设变化条件时,可以控制进入拍摄模式。从而通过追踪外界声音的空间位置变动,来实现拍摄的自适应控制,避免持续进行拍摄录制,节省了储存空间,实现低成本,低能源消耗的拍摄。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的拍摄控制方法的一种流程图。
图2示出了根据本申请另一个实施例的拍摄控制方法的一种流程图。
图3示出了根据本申请实施例提供的拍摄控制方法中麦克风的排列示意图。
图4示出了根据本申请另一个实施例的拍摄控制方法中步骤S230的一种流程图。
图5示出了根据本申请实施例提供的拍摄控制方法中声音建模示意图。
图6示出了根据本申请另一个实施例的拍摄控制方法中的一种整体流程图。
图7示出了根据本申请一个实施例的拍摄控制装置的一种框图。
图8是本申请实施例的用于执行根据本申请实施例的拍摄控制方法的电子设备的框图。
图9是本申请实施例的用于保存或者携带实现根据本申请实施例的拍摄控制方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
请参阅图1,图1示出了本申请一个实施例提供的拍摄控制方法的流程示意图。在具体的实施例中,该拍摄控制方法可应用于如图7所示的拍摄控制装置700以及配置有所述拍摄控制装置700的电子设备(图8)。下面将针对图1所示的流程进行详细的阐述,所示拍摄控制方法具体可以包括以下步骤:
步骤S110:基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息。
在本申请实施例中,电子设备可以是具有录音功能的终端设备,即电子设备中可以携带具有音频采集功能的麦克风。其中,麦克风可以是一个,也可以是多个麦克风构成的麦克风阵列。该麦克风阵列可以包含N个麦克风,其中,N为大于等于2的整数。可选的,电子设备中的麦克风阵列可以为一组位于空间不同位置的全向麦克风按一定的形状规则布置后所形成的阵列。因此,当启动电子设备的录音功能时,电子设备中的麦克风阵列(即上述N个麦克风)则可以采集录制环境空间中的音频信号,从而得到录音信号。其中,录音信号中可以包含该环境空间中一个或多个音源所发出的声音信号。可选的,音源可以是发出说话声的人、也可以是其他可以发声的实体设备,如发出鸣笛声的汽车。
可以理解的是,在本申请实施例中,在监控环境中,可能会存在至少一个音源。当环境中存在多个音源时,每个音源发出的声音综合起来就形成了麦克风采集到的录音信号,也就是说,麦克风采集到的录音信号为多个音源所发出的声音对应的音频信号的总和。
在本申请实施例中,在需要对当前监控环境进行图像拍摄或视频录制之前,可以先进入麦克风监听状态,以对当前监控环境中的至少一个音源进行追踪。具体地,在启动电子设备的监控功能时,可以不直接开启摄像头进行图像拍摄或视频录制,可以先启动电子设备的录音功能,以使电子设备中的麦克风对当前环境空间中的音频信号进行采集录制,从而电子设备可以获取到麦克风采集的录音信号。
在一些实施例中,为了准确对当前监控环境中的音源进行追踪,电子设备获取的也可以是外置麦克风采集当前监控环境中的录音信号,其中,外置麦克风可以是一个独立的录音设备,也可以是其他终端设备中的麦克风,此处不作限定。可以理解的是,在一些应用场景中,电子设备内置的麦克风可能会由于制作工艺,或节约成本导致麦克风录音效果并不理想,因此通过录音效果更好的外置麦克风,可以提高追踪当前环境中的音源的准确性。
在一些实施例中,可以先判断电子设备的监控功能是否启动,若电子设备的监控功能已启动,则可以先仅启动电子设备的录音功能,并执行S110的相关操作。可选的,可以是在接收到用户输入的监控功能调用指令之后,可以确定电子设备的监控功能已启动。作为一种方式,监控功能调用指令可以是检测到用户触控电子设备的显示屏幕中的虚拟按键后触发,例如,电子设备为手机、智能手表等移动终端时,用户可以通过触控设置界面上显示的监控功能的虚拟按键来触发,作为另一种方式,也可以是检测到用户在显示屏幕上滑动预设轨迹或者多指滑动后触发,例如,用户可以通过预设的四指滑动手势呼出监控功能。作为还一种方式,监控功能调用指令还可以是检测到用户按压电子设备上的用于开启录制的物理按键后触发,例如,电子设备为独立的摄像头设备时,用户可以通过按压摄像头设备的开关按钮来触发监控功能。
在本申请实施例中,在启动电子设备的监控功能后,可以先控制电子设备中的麦克风对当前环境空间中的音频信号进行采集录制,从而电子设备可以基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息。其中,音源的空间位置可以包括音源的距离、方位、朝向等信息,空间位置的变动信息可以包括空间位置的变动方向、变动速度等信息。
可以理解的是,音源发出的声音响度随着距离的增加而逐渐减弱,随着距离的增强而逐渐增加,因此,在一些实施例中,电子设备在获取到麦克风采集的录音信号后,可以根据录音信号中的至少一个音源的声音响度变化,来确定所述录音信号中的至少一个音源的空间位置的变动信息。
在一些实施例中,当电子设备包括两个麦克风时,可以利用双耳效应确定出所述录音信号中的至少一个音源的空间位置,然后通过持续录制得到录音信号,可以确定所述录音信号中的至少一个音源的空间位置的前后变动,从而得到录音信号中的至少一个音源的空间位置的变动信息。其中,双耳效应是一种空间定位技术,例如以人为例,人的双耳对称分布在头的两侧,且耳廓和人的头部对声音起到了有效的遮掩作用。当音源的声音送入人耳的时间和频率强度分布产生差异时,同一音源送到双耳会有明显的时间差和强度差,这个现象导致可以清晰、准确地判断出音源的位置——即“双耳效应”。
在一些实施例中,当电子设备包括三个麦克风或者由三个以上的麦克风构成的麦克风阵列时,基于麦克风采集到的录音信号,可以获取每个音源的声音信号到达多个麦克风的时间差,从而得到每个声音信号的到达时间差(TimeDifferenceofArrival,TODA),通过到达时间差获取对应音源相对于电子设备的空间位置。然后通过持续录制得到录音信号,可以确定所述录音信号中的至少一个音源的空间位置的前后变动,从而得到录音信号中的至少一个音源的空间位置的变动信息。可选的,也可以是获取每个音源的声音信号到达多个麦克风的相位差、幅值差,来定位录音信号中的至少一个音源的空间位置,从而得到至少一个音源的空间位置的变动信息。具体方式在本申请实施例中不作限定。
步骤S120:当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式。
在本申请实施例中,在获取到录音信号中的至少一个音源的空间位置的变动信息,可以判断至少一个音源的空间位置的变动信息是否满足预设变化条件,当所述至少一个音源的空间位置的变动信息满足预设变化条件时,可以正式进入拍摄模式,也即开启摄像头进行图像拍摄或视频录制。如此,实现了在当前监控环境中出现具有预设运动属性的音源时,自动触发拍摄动作,从而保证可以拍摄到具有预设运动属性的音源的视频和图片,避免拍摄设备持续拍摄录制而导致的储存空间和能源浪费,实现了拍摄的自适应控制。
在一些实施例中,当录音信号中的每个音源的空间位置的变动信息均不满足预设变化条件时,可以认为当前监控场景,不存在具有预设运动属性的音源,则可以不触发拍摄动作,即保持摄像头的关闭状态。其中,具有预设运动属性的音源可以是当前监控场景需要监控的对象,如可以是人、宠物、交通工具等,以实现安全监控。
在一些实施例中,预设变化条件可以是一个,也可以是多个。当预设变化条件为多个时,可以是空间位置的变动信息满足所有预设变化条件时,进入拍摄模式,也可以是空间位置的变动信息满足任一或任意预设个数的预设变化条件时,进入拍摄模式,此处并不作限定。
本申请实施例提供的拍摄控制方法,基于麦克风采集的录音信号,可以获取录音信号中的至少一个音源的空间位置的变动信息,当该空间位置的变动信息满足预设变化条件时,可以控制进入拍摄模式。从而通过追踪外界声音的空间位置变动,来实现拍摄的自适应控制,避免持续进行拍摄录制,节省了储存空间,实现低成本,低能源消耗的拍摄。
请参阅图2,图2示出了本申请另一个实施例提供的拍摄控制方法的流程示意图。下面将针对图2所示的流程进行详细的阐述,所示拍摄控制方法具体可以包括以下步骤:
步骤S210:基于麦克风采集的录音信号,获取所述录音信号的频谱特征。
在一些实施例中,电子设备在获取到麦克风采集的录音信号后,可以获取录音信号的频谱特征,以根据频谱特征分析得到录音信号中至少一个音源的空间位置。作为一种方式,可以是对麦克风采集的录音信号进行傅里叶变换,从而将录音信号从时域转换到频域,得到录音信号的频谱特征。其中,频谱特征包括频率、幅值、包络、能量等特征,此处不作限定。
在一些实施例中,电子设备可以包括至少三个麦克风,该至少三个麦克风可以是分布在电子设备的非同一个平面上即立体分布,从而可以感知同一个音源到各个麦克风之间的相位和幅值差异。具体地,也可以是基于所述至少三个麦克风采集的录音信号,获取所述至少三个麦克风中的每个麦克风的录音信号的频谱特征,以根据同一音源在不同麦克风对应的录音信号的频谱特征差异,分析定位出该音源的空间位置。示例性的,图3为本申请实施例提供的一种电子设备中麦克风的排布示意图,如图3所示,该电子设备上设置有立体分布的三个麦克风,分别记为a、b、和c。
步骤S220:根据所述频谱特征,确定所述录音信号中的至少一个音源的音频特征,所述音频特征用于表征所述录音信号中的音源。
在一些实施例中,在获取到录音信号的频谱特征后,可以根据该频谱特征,来提取录音信号中的至少一个音源的音频特征,其中,音频特征可以用于表征录音信号中的音源,从而可以通过音频特征唯一标识音源,进而在持续录音过程中,可以持续对比同一音频特征的音源的空间位置变动。
在一些实施例中,由于当前监控环境中可能会存在噪音信号,或者不具备分析意义的微弱响度的声音信号,因此,在将录音信号从时域转换到频域后,可以基于频域信号每个频率的能量,筛选出有用的频率信号进行分析。可选的,可以仅分析高于平均能量的频率信号,超过平均能量越多的频率信号,权重越高,从而可以降低分析难度和工作量。
在一些实施例中,可以预先通过机器学习技术学习多种音源的声音信号的频率、幅值以及包络等特征,得到分类模型,从而后续可以利用学习好的分类模型,对声音进行特征归类。具体地,在获取到录音信号的频谱特征后,将频谱特征输入分类模型,可以利用分类模型提取出录音信号中的至少一个音源的音频特征。
步骤S230:基于所述音频特征,获取所述录音信号中的所述至少一个音源的空间位置的变动信息。
在一些实施例中,在提取录音信号中的至少一个音源的音频特征后,可以基于该音频特征,获取录音信号中的所述至少一个音源的空间变化信息。具体地,可以基于该音频特征,从录音信号中定位具备该音频特征的音源所在的空间位置,从而通过持续录音(比如间隔0.125ms即8KHz采样率)并持续定位空间位置,可以比较同意音源前后空间位置的差异,从而可以得到录音信号中的各个音源的空间位置的变动信息。
在一些实施例中,电子设备上可以包括至少三个麦克风,从而可以通过比较具有同一音频特征的音源到每个麦克风相位、幅值差,来确定同一音频特征的音源与电子设备的空间距离和角度。具体地,请参阅图4,步骤S230也可以包括:
步骤S231:基于所述音频特征,计算同一音源在所述至少三个麦克风中的每两个麦克风对应的频谱特征中对应的幅值的差和/或相位的差。
步骤S232:根据所述至少一个音源对应的所述幅值的差和/或所述相位的差,确定所述录音信号中的所述至少一个音源的空间位置的变动信息。
在一些实施例中,电子设备上包括至少三个麦克风时,可以通过预先建立声音空间模型,以便后续根据该声音空间模型来定位音源的空间位置。具体地,可在录音测试环境中的相对于电子设备的一个方向上放置一个用于测试的固定声源,而其他方向上没有声源,通过电子设备上的至少三个麦克风获取固定声源的录音信号,然后分别对至少三个麦克风中的每个麦克风对应的录音信号进行傅立叶变换,得到相应的频谱数据。同样的,在相对于电子设备的另一个方向上也放置一个用于测试的固定声源,而其他方向上没有声源,然后获取至少三个麦克风中的每个麦克风对应的录音信号的的频谱数据。重复上述过程,在相对于电子设备的多个方向上放置一个用于测试的固定声源,以得到各个声源点下每个麦克风对应的录音信号的的频谱数据,从而根据这些频谱数据,可以获取到不同声源点到至少三个麦克风的幅值的差和/或相位的差,并构建得到声源的空间分布函数,即可得到电子设备上至少三个麦克风的声音空间模型。可选的,若电子设备位于X、Y、Z轴原点,单点固定声源可以放置在X、Y、Z的不同点,至少8个位置,保证每个轴的正负值都有一个测试声源点。示例性地,请参阅图5,电子设备位于X、Y、Z轴原点,单点声源放置在X、Y、Z不同点。
可以理解的是,在得到声源的空间分布函数后,可以通过比较同一个点声源在各个麦克风的相位、幅值差,可以定位声源在哪个方位,也可以通过比较同一个特征声源到各个麦克风相位差,并结合该频率的波长,可以得到该点声源与电子设备之间的空间距离。还可以持续比较同一特征声源的不同的空间位置,可以进一步定位声源的空间位置的变动方向、变动速度等变动信息。
基于此,电子设备上包括至少三个麦克风时,可以利用前述的声音空间模型对录音信号中的至少一个音源进行定位,从而可以得到录音信号中的每个音源相对电子设备的空间位置信息,实现了当前监控环境的音源追踪。可以理解的是,当音源的空间位置发生变动时,麦克风录制得到的录音信号也会发生变化,从而可以通过持续录制得到的录音信号,来确定每个音源相对电子设备的空间位置的变动信息。具体地,若音源的位置发生改变,则可以根据变化前和变化后的空间位置信息,获取该音源的空间位置的变动信息。
具体地,可以获取至少三个麦克风对录音得到的录音信号,然后分别对该至少三个麦克风中的每个麦克风对应的录音信号进行傅立叶变换,得到每个麦克风对应的录音信号的频谱特征,然后基于音频特征,计算同一音源也即同一音频特征,在所述至少三个麦克风中的每两个麦克风对应的频谱特征中对应的幅值的差和/或相位的差,从而可以结合前述声音空间模型得到同一音频特征的音源与电子设备的空间距离和角度,从而可以定位出同一音频特征的音源的空间位置。如此,通过持续录音并定位同一音频特征的音源,可以分析出录音信号中的所述至少一个音源的空间位置的变动信息。
步骤S240:当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式。
在一些实施例中,空间位置的变动信息可以包括空间位置的变动方向。因此,可以是当录音信号中的至少一个音源的空间位置的变动方向为预设方向时,进入拍摄模式。从而实现了对特定运动方向的对象的自动拍摄。
可以理解的是,由于电子设备并不知道哪种音频特征的音源会沿特定方向运动,因此,在本申请实施例中,通过录制当前监控环境的录音信号,以对当前监控环境中声音进行特征归类,并对具有音频特征的音源都进行追踪,从而一旦检测到一个具有特定运动方向的音源时,即可触发拍摄动作。
在一些实施例中,预设方向可以是一个明确的方向角度,也可以是一个方向角度区间,也即存在可容忍偏差。例如,从左到右为预设方向(水平角度0度),可容忍偏差为水平±10度,当某个音源的声音变动方向满足从左到右,但是水平为3度时,也可以判断音源的声音的变动方向为预设方向。可以理解的是,超过10角度就不认为是预设方向。
在另一些实施例中,空间位置的变动信息也可以包括空间位置的变动速度。因此,可以是当录音信号中的至少一个音源的空间位置的变动速度为预设速度时,进入拍摄模式。从而实现了对特定运动速度的对象的自动拍摄。其中,预设速度可以是一个固定速度值,也可以是一个速度区间或速度等级,如大于一定速度阈值的音源,都可以认为超速。
可以理解的是,由于电子设备并不知道哪种音频特征的音源会沿特定速度运动,因此,在本申请实施例中,通过录制当前监控环境的录音信号,以对当前监控环境中声音进行特征归类,并对具有音频特征的音源都进行追踪,从而一旦检测到一个具有特定运动速度的音源时,即可触发拍摄动作。
在一些实施例中,当电子设备进入拍摄模式后,可以检测是否接收到拍摄关闭指令。其中,可以是电子设备自动生成拍摄关闭指令,作为一种方式,可以是当拍摄时长达到预设时长时,生成拍摄关闭指令,从而电子设备可以响应该拍摄关闭指令,并退出所述拍摄模式,也即关闭摄像头以停止拍摄图像或录制视频。从而实现拍摄超过预设时长,就自动退出当前拍摄并等待下一次触发。
其中,预设时长可以预存于电子设备,其可以根据实际应用合理设置,此处不作限定。例如,可以是15秒、1分钟等。在一些实施例中,预设时长也可以根据音源的运动特征实时确定。作为一种方式,可以是根据音源的空间位置的变动速度,确定预设时长。可选的,可以是变动速度越快,预设时长越短。可以理解的是,若音源的运动速度过快,预设时长又过长,电子设备很可能会拍摄到大量的无用图像,而若音源的运动速度过慢,预设时长又过短,电子设备很可能会错过拍摄一些可用图像。因此,可以根据音源的变动速度,自适应的调整拍摄的预设时长,既避免不必要的能源消耗,也能拍摄到足够的有用图像。
作为另一种方式,也可以是当录音信号的响度小于预设阈值时,生成拍摄关闭指令,从而电子设备可以响应该拍摄关闭指令,并退出所述拍摄模式。其中,响度可以理解为音量大小,其可以与音源的振动幅度有关,音源的振动幅度越大,录音信号的响度也越大,同时它也可以与音源相距电子设备的距离有关,距离越大,录音信号的响度越小。从而实现录音信号过弱(声音过小,如安静环境下),就自动退出当前拍摄并等待下一次触发。其中,预设阈值可以预存于电子设备,其可以根据实际应用合理设置,此处不作限定。可以理解的是,当录音信号的响度过小时,可以认为音源已经距离电子设备较远,电子设备很可能无法拍摄到清晰有用的图像,因此,可以直接关闭摄像头停止拍摄,以节省存储空间和能源消耗。
示例性地,请参阅图6,图6示出了本申请提供的一种拍摄控制方法的整体流程图。具体地,录制设备启动后并不直接打开摄像头而是进入麦克风监听状态,以对录制得到的录音信号进行频域特征分析,并定位出录音信号中至少一个音源的空间位置,然后对音源的空间位置的变动进行分析,当具有特定运动方向的音源信号出现时,可以打开摄像头执行拍摄动作,一旦该录音信号低于阈值或者拍摄时长超过设定时间时,则退出当前拍摄模式并等待下一次触发。
在一些实施例中,电子设备上的摄像头可以是普通摄像头,也可以是具有更宽拍摄区域的可旋转式的摄像头。作为一种方式,电子设备上的摄像头为可旋转式的摄像头时,电子设备在追踪到预设变动特征的音源,并进入拍摄模式后,可以根据音源的当前空间位置,调整摄像头的旋转角度,使摄像头的拍摄区域可以对准音源的当前空间位置,从而可以精准拍摄到该预设变动特征的音源。可选的,也可以是追踪到的预设变动特征的音源,预测音源的空间位置的变动轨迹,从而可以根据该变动轨迹,同步调整摄像头的旋转角度,以使摄像头能够持续追踪拍摄到该预设变动特征的音源。
作为一种方式,可以是仅有一个预设变动特征的音源时,才调整摄像头的旋转角度,以进行摄像头的拍摄区域的对准,也可以是仅有一个预设变动特征的音源时,才进行音源的空间位置的变动轨迹的预测。而当符合预设变动特征的音源有多个时,可以不调整摄像头的旋转角度,以将多个音源都追踪拍摄到。可选的,若多个预设变动特征的音源的空间位置相邻,且预测的变动轨迹也一致,则也可以根据该变动轨迹,同步调整摄像头的旋转角度。此处并不作限定,仅需先确保能拍摄到当前环境的所有符合预设变动特征的音源,再根据实际情况确定是否进行后续的跟踪拍摄。
本申请实施例提供的拍摄控制方法,基于麦克风采集的录音信号,可以获取录音信号中的至少一个音源的空间位置的变动信息,当该空间位置的变动信息满足预设变化条件时,可以控制进入拍摄模式。从而通过追踪外界声音的空间位置变动,来实现拍摄的自适应控制,避免持续进行拍摄录制,节省了储存空间,实现低成本,低能源消耗的拍摄。实现了特定场景和对象的图像拍摄或视频录制。
请参阅图7,其示出了本申请实施例提供的一种拍摄控制装置700的结构框图,应用于电子设备。该拍摄控制装置700包括:位置分析模块710,用于基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息;拍摄启动模块720,用于当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式。
在一些实施例中,位置分析模块710可以包括:频域转换单元,用于基于麦克风采集的录音信号,获取所述录音信号的频谱特征;特征提取单元,用于根据所述频谱特征,确定所述录音信号中的至少一个音源的音频特征,所述音频特征用于表征所述录音信号中的音源;信息获取单元,用于基于所述音频特征,获取所述录音信号中的所述至少一个音源的空间位置的变动信息。
在一些实施例中,所述电子设备包括至少三个麦克风,频域转换单元可以具体用于:基于所述至少三个麦克风采集的录音信号,获取所述至少三个麦克风中的每个麦克风的录音信号的频谱特征。信息获取单元可以具体用于:基于所述音频特征,计算同一音源在所述至少三个麦克风中的每两个麦克风对应的频谱特征中对应的幅值的差和/或相位的差;根据所述至少一个音源对应的所述幅值的差和/或所述相位的差,确定所述录音信号中的所述至少一个音源的空间位置的变动信息。
在一些实施例中,所述空间位置的变动信息包括空间位置的变动方向,拍摄启动模块720可以具体用于:当所述空间位置的变动方向为预设方向时,进入拍摄模式。
在一些实施例中,所述空间位置的变动信息包括空间位置的变动速度,拍摄启动模块720可以具体用于:当所述空间位置的变动速度为预设速度时,进入拍摄模式。
在一些实施例中,该拍摄控制装置700还可以包括:第一关闭模块,用于当拍摄时长达到预设时长时,退出所述拍摄模式。
在另一些实施例中,该拍摄控制装置700还可以包括:第二关闭模块,用于当所述录音信号的响度小于预设阈值时,退出所述拍摄模式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上所述,本申请实施例提供的拍摄控制装置用于实现前述方法实施例中相应的拍摄控制方法,并具有相应的方法实施例的有益效果,在此不再赘述。
请参考图8,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是指手机、平板电脑、可穿戴设备、摄像设备等能够运行应用程序的终端设备。该电子设备100也可以是用于控制摄像设备启动或关闭的第三方设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、麦克风130以及一个或多个应用程序,其中,一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。麦克风130可以是一个或多个麦克风,当为多个麦克风时,可以是麦克风阵列。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、拍摄控制器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
可以理解,图8所示结构仅为示例,电子设备100还可以包括比图8所示更多或更少的组件,或是具有与图8所示完全不同的配置。本申请实施例对此没有限制。
请参考图9,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (9)
1.一种拍摄控制方法,其特征在于,所述方法包括:
基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息;
当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式,所述变动信息满足预设变化条件包括变动方向为预设方向或变动速度为预设速度;
当拍摄时长达到预设时长时,退出所述拍摄模式,其中所述预设时长基于所述音源的空间位置的变动速度实时确定。
2.根据权利要求1所述的方法,其特征在于,所述基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息,包括:
基于麦克风采集的录音信号,获取所述录音信号的频谱特征;
根据所述频谱特征,确定所述录音信号中的至少一个音源的音频特征,所述音频特征用于表征所述录音信号中的音源;
基于所述音频特征,获取所述录音信号中的所述至少一个音源的空间位置的变动信息。
3.根据权利要求2所述的方法,其特征在于,电子设备包括至少三个麦克风,所述基于麦克风采集的录音信号,获取所述录音信号的频谱特征,包括:
基于所述至少三个麦克风采集的录音信号,获取所述至少三个麦克风中的每个麦克风的录音信号的频谱特征;
所述基于所述音频特征,获取所述录音信号中的所述至少一个音源的空间位置的变动信息,包括:
基于所述音频特征,计算同一音源在所述至少三个麦克风中的每两个麦克风对应的频谱特征中对应的幅值的差和/或相位的差;
根据所述至少一个音源对应的所述幅值的差和/或所述相位的差,确定所述录音信号中的所述至少一个音源的空间位置的变动信息。
4.根据权利要求1所述的方法,其特征在于,所述空间位置的变动信息包括空间位置的变动方向,所述当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式,包括:
当所述空间位置的变动方向为预设方向时,进入拍摄模式。
5.根据权利要求1所述的方法,其特征在于,所述空间位置的变动信息包括空间位置的变动速度,所述当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式,包括:
当所述空间位置的变动速度为预设速度时,进入拍摄模式。
6.根据权利要求1-5任一项所述的方法,其特征在于,在所述当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式之后,所述方法还包括:
当所述录音信号的响度小于预设阈值时,退出所述拍摄模式。
7.一种拍摄控制装置,其特征在于,所述装置包括:
位置分析模块,用于基于麦克风采集的录音信号,获取所述录音信号中的至少一个音源的空间位置的变动信息;
拍摄启动模块,用于当所述空间位置的变动信息满足预设变化条件时,进入拍摄模式,所述变动信息满足预设变化条件包括变动方向为预设方向或变动速度为预设速度;
第一关闭模块,用于当拍摄时长达到预设时长时,退出所述拍摄模式,其中所述预设时长基于所述音源的空间位置的变动速度实时确定。
8.一种电子设备,其特征在于,包括:
麦克风;
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行如权利要求1-6任一项所述的方法。
9.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110795794.5A CN113542606B (zh) | 2021-07-14 | 2021-07-14 | 拍摄控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110795794.5A CN113542606B (zh) | 2021-07-14 | 2021-07-14 | 拍摄控制方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113542606A CN113542606A (zh) | 2021-10-22 |
CN113542606B true CN113542606B (zh) | 2023-10-10 |
Family
ID=78127916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110795794.5A Active CN113542606B (zh) | 2021-07-14 | 2021-07-14 | 拍摄控制方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113542606B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115942017B (zh) * | 2022-10-27 | 2024-02-02 | 深圳市台电实业有限公司 | 录播***、录播方法及装置、电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104821068A (zh) * | 2015-03-27 | 2015-08-05 | 努比亚技术有限公司 | 移动终端实时防盗报警的方法和装置 |
CN106060378A (zh) * | 2015-04-10 | 2016-10-26 | 三星电子株式会社 | 用于设置拍摄模块的装置和方法 |
CN107677992A (zh) * | 2017-09-30 | 2018-02-09 | 深圳市沃特沃德股份有限公司 | 移动侦测方法、装置和监控设备 |
WO2019158839A1 (fr) * | 2018-02-13 | 2019-08-22 | Observatoire Regional Du Bruit En Idf | Systeme de signalement de depassement d'un seuil d'intensite sonore |
JP2020017904A (ja) * | 2018-07-27 | 2020-01-30 | キヤノン株式会社 | 撮像装置の制御装置、方法及びプログラム |
-
2021
- 2021-07-14 CN CN202110795794.5A patent/CN113542606B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104821068A (zh) * | 2015-03-27 | 2015-08-05 | 努比亚技术有限公司 | 移动终端实时防盗报警的方法和装置 |
CN106060378A (zh) * | 2015-04-10 | 2016-10-26 | 三星电子株式会社 | 用于设置拍摄模块的装置和方法 |
CN107677992A (zh) * | 2017-09-30 | 2018-02-09 | 深圳市沃特沃德股份有限公司 | 移动侦测方法、装置和监控设备 |
WO2019158839A1 (fr) * | 2018-02-13 | 2019-08-22 | Observatoire Regional Du Bruit En Idf | Systeme de signalement de depassement d'un seuil d'intensite sonore |
JP2020017904A (ja) * | 2018-07-27 | 2020-01-30 | キヤノン株式会社 | 撮像装置の制御装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113542606A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887369B2 (en) | Systems and methods for generating media content | |
US11074466B2 (en) | Anti-counterfeiting processing method and related products | |
CN108566516B (zh) | 图像处理方法、装置、存储介质及移动终端 | |
CN108241434B (zh) | 基于景深信息的人机交互方法、装置、介质及移动终端 | |
JP6134825B2 (ja) | コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法 | |
KR101677607B1 (ko) | 동영상 브라우징 방법, 장치, 프로그램 및 기록매체 | |
CN113014983B (zh) | 视频播放方法、装置、存储介质及电子设备 | |
CN108399349A (zh) | 图像识别方法及装置 | |
CN108668080A (zh) | 提示镜头脏污程度的方法及装置、电子设备 | |
CN109034052B (zh) | 人脸检测方法及装置 | |
CN113542606B (zh) | 拍摄控制方法、装置、电子设备及存储介质 | |
CN111416996B (zh) | 多媒体文件检测方法、播放方法、装置、设备及存储介质 | |
CN110248401B (zh) | WiFi的扫描控制方法、装置、存储介质及移动终端 | |
CN112286364A (zh) | 人机交互方法和装置 | |
CN113778255B (zh) | 触摸识别方法和装置 | |
CN110674728A (zh) | 基于视频图像识别玩手机方法、装置、服务器及存储介质 | |
CN113542466A (zh) | 音频处理方法、电子设备及存储介质 | |
CN108960213A (zh) | 目标跟踪方法、装置、存储介质及终端 | |
JP2007114885A (ja) | 画像の類似性による分類方法及び装置 | |
CN113438286B (zh) | 信息推送方法及装置、电子设备和存储介质 | |
CN106296722B (zh) | 一种信息处理方法及电子设备 | |
CN108829600B (zh) | 算法库的测试方法、装置、存储介质和电子设备 | |
US20240205239A1 (en) | Methods and systems for fraud detection using relative movement of facial features | |
WO2021084895A1 (en) | A method, an apparatus and a system for managing an event to generate an alert indicating a subject is likely to be unauthorized | |
WO2021073336A1 (en) | A system and method for creating real-time video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |