CN117857915A - 一种拍照方法、拍照装置及电子设备 - Google Patents
一种拍照方法、拍照装置及电子设备 Download PDFInfo
- Publication number
- CN117857915A CN117857915A CN202211227539.1A CN202211227539A CN117857915A CN 117857915 A CN117857915 A CN 117857915A CN 202211227539 A CN202211227539 A CN 202211227539A CN 117857915 A CN117857915 A CN 117857915A
- Authority
- CN
- China
- Prior art keywords
- image
- photographing
- target
- electronic device
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000001514 detection method Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 33
- 239000010410 layer Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供了一种拍照方法、拍照装置及电子设备。该方法包括:电子设备响应于用户的拍照操作,获取拍照场景的预览图像,并检测预览图像中是否包括目标对象。电子设备若检测预览图像中包括目标对象,则触发对拍照场景进行拍照,得到拍照图像。电子设备根据触发对拍照场景拍照时刻之前的预览图像集合,和该时刻之后的拍照图像集合确定目标图像集合,其中,目标图像集合包括至少一帧目标对象的图像,预览图像集合包括至少一帧预览图像,拍照图像集合包括至少一帧拍照图像。这样,在拍照目标对象变化较快的场景中,电子设备能够及时地拍照到清晰的目标对象的图像,并可以得到完整的目标图像集合,以满足用户的需求,提高用户的使用体验。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种拍照方法、拍照装置及电子设备。
背景技术
随着电子设备技术的不断发展,电子设备的拍照功能也日益丰富,用户使用电子设备拍照的场景也越来越多。例如,用户可以使用电子设备对人物、美食、建筑以及自然风景进行拍照等。
在用户使用电子设备拍照的场景中,在目标对象(例如闪电)变化较快的情况下。例如,对闪电进行拍照,由于闪电是瞬间发生、快速变化的放电现象,有些闪电持续时间甚至只有几个毫秒。用户依靠肉眼观测闪电,手动按下电子设备的快门进行拍照,难以及时地拍照得到清晰的闪电图像。
为了保证拍照得到完整清晰的闪电图像,通常不仅需要采用三脚架、光控快门触发器等辅助设备配合电子设备进行拍照,还需要对电子设备的拍照参数(例如曝光时间、光圈大小等)进行准确地设置。这样,不仅增加了用户的拍照成本,而且拍照参数设置操作繁琐,降低了用户的使用体验。
发明内容
本申请实施例提供一种拍照方法、拍照装置及电子设备,能够基于拍照场景的预览图像,检测拍照场景中是否出现目标对象,若检测到待拍照场景中出现目标对象后,触发对拍照场景进行拍照。根据拍照时刻前的预览图像和拍照时刻后的拍照图像,确定包括目标对象的目标图像集合。这样,可以解决电子设备在对目标对象变化较快进行拍照的场景中,用户无法通过简单的操作,及时地拍照到完整清晰的目标对象图像,导致用户的使用体验低的问题。
第一方面,提供了一种拍照方法,该方法包括:电子设备响应于用户的拍照操作,获取拍照场景的预览图像。电子设备检测预览图像中是否包括目标对象,若检测到预览图像中包括目标对象,则触发对拍照场景拍照,得到拍照场景的拍照图像。电子设备根据预览图像集合和拍照图像集合确定目标图像集合。其中,目标图像集合包括至少一帧目标图像,目标图像为包括目标对象的图像;预览图像集合包括拍照时刻及拍照时刻之前的至少一帧预览图像,拍照图像集合包括拍照时刻之后的至少一帧拍照图像,拍照时刻为触发对拍照场景拍照的时刻。
在该方法中,电子设备能够基于拍照场景的预览图像,检测拍照场景中是否出现目标对象。当电子设备检测到拍照场景中出现目标对象后,触发对拍照场景进行拍照,得到拍照图像。电子设备根据拍照时刻前的预览图像和拍照时刻后的拍照图像,可以进一步地确定包括目标对象的目标图像集合。这样,在拍照目标对象变化较快的场景中,电子设备能够及时地拍照到清晰的目标对象的图像,并可以得到完整的目标图像集合,以满足用户的需求,提高用户的使用体验。
在第一方面的一种可实现方式中,电子设备检测预览图像中是否包括目标对象的方法包括:电子设备获取预览图像中每一个像素点的灰度值,根据灰度值确定预览图像中是否包括目标对象。在本实现方式中,在目标对象与背景的亮度差异较大的场景中,目标对象与背景的交界处图像的灰度值存在较大的差异。电子设备根据预览图像的灰度值,可以准确地判断出预览图像中是否包括目标对象。
在第一方面的一种可实现方式中,电子设备根据灰度值确定预览图像中是否包括目标对象的方法包括:电子设备若检测到预览图像中灰度值在灰度阈值范围内的像素点占比大于预设占比,则确定预览图像中包括目标对象。在本实现方式中,电子设备通过检测单帧预览图像的灰度值在灰度阈值范围的像素点占比,可以准确地判断出该帧预览图像中是否包括目标对象。
在第一方面的一种可实现方式中,电子设备根据灰度值确定预览图像中是否包括目标对象的方法还包括:电子设备若检测到预览图像中与相邻帧预览图像的灰度差值在灰度差阈值范围内的像素点占比大于预设占比,则确定预览图像中包括目标对象。在本实现方式中,电子设备通过两帧预览图像的灰度值进行对比,根据预览图像中与相邻帧预览图像的灰度差值在灰度差阈值范围内的像素点占比,可以准确地判断出该帧预览图像中是否包括目标对象。
在第一方面的一种可实现方式中,电子设备检测预览图像中是否包括目标对象的方法还包括:电子设备将预览图像输入预设的目标对象检测模型得到检测结果,该检测结果用于指示预览图像中是否包含目标对象。其中,目标对象检测模型的构建方法包括:获取目标对象的样本图像集合;根据样本图像集合训练目标对象检测初始模型,确定目标对象检测模型。在本实现方式中,电子设备可以通过构建的目标对象检测模型,自动检测预览图像中是否包括目标对象。这样,可以进一步提高电子设备的检测效率和准确性。
在第一方面的一种可实现方式中,电子设备根据预览图像集合和拍照图像集合确定目标图像集合包括:电子设备根据预览图像集合和拍照图像集合确定初始目标图像集合,初始目标图像集合包括至少一帧初始目标图像,初始目标图像为包括目标对象的预览图像和/或包括目标对象的拍照图像;电子设备根据初始目标图像集合确定目标图像集合。在本实现方式中,电子设备可以根据预览图像集合和拍照图像集合进行初步筛选,确定初始目标图像集合。以便于电子设备对初始目标图像集合进行处理,最终确定目标图像集合。这样,可以进一步提高电子设备确定目标图像集合的准确性。
在第一方面的一种可实现方式中,电子设备根据初始目标图像集合确定目标图像集合的方法包括:电子设备确定初始目标图像中每帧初始目标图像的画质参数值,画质参数值用于表征初始目标图像的画质情况。电子设备将初始目标图像集合中,画质参数值满足画质参数阈值的初始目标图像包括在目标图像集合中。其中,画质参数值包括亮度值、平均梯度值中至少一种。上述画质参数值满足画质参数阈值包括:亮度值在亮度范围阈值内、和/或平均梯度值在平均梯度范围阈值内。在本实现方式中,电子设备可以根据画质参数值对初始目标图像集合进行进一步的筛选,确定目标图像集合。这样,可以提高目标图像集合中目标图像的画质,以满足用户的使用需求。
在第一方面的一种可实现方式中,该方法还包括:电子设备响应于用户的合并指令,将目标图像集合中的目标图像进行合并,得到目标合并图像。在本实现方式中,电子设备可以响应于用户的合并指令,进行目标图像合并,得到目标合并图像。这样,可以满足用户的使用需求,得到更加完整的目标对象的图像,提高用户的使用体验。
在第一方面的一种可实现方式中,该方法还包括:电子设备显示目标图像集合中每一帧的目标图像和/或目标合并图像。在本实现方式中,电子设备可以直观的向用户展示目标图像和/或目标合并图像,以进一步提高用户的使用体验。
在第一方面的一种可实现方式中,目标图像还包括背景图像,背景图像为拍照场景中去除目标对象后的图像。该方法还包括:电子设备对背景图像进行去噪处理。具体包括:电子设备确定背景图像和与背景图像相邻至少一帧背景图像中每个像素点的平均亮度值。电子设备将背景图像中每个像素点的亮度值设置为平均亮度值。在本实现方式中,电子设备可以通过对背景图像进行去噪处理。这样,可以降低背景图像的噪声,提高目标图像的动态范围效果。
第二方面,提供了一种拍照装置,包括:获取模块和处理模块。获取模块,用于响应于用户的拍照操作,获取拍照场景的预览图像。处理模块,用于检测预览图像中是否包括目标对象。获取模块,还用于若检测到预览图像中包括目标对象,则触发对拍照场景拍照,得到拍照场景的拍照图像;处理模块,用于根据预览图像集合和拍照图像集合确定目标图像集合,其中,目标图像集合包括至少一帧目标图像,目标图像为包括目标对象的图像;预览图像集合包括拍照时刻及拍照时刻之前的至少一帧预览图像,拍照图像集合包括拍照时刻之后的至少一帧拍照图像,拍照时刻为触发对待拍照场景拍照的时刻。
该拍照装置能够基于拍照场景的预览图像,检测拍照场景中是否出现目标对象。当检测到拍照场景中出现目标对象后,触发对拍照场景进行拍照,得到拍照图像。拍照装置根据拍照时刻前的预览图像和拍照时刻后的拍照图像,可以进一步地确定包括目标对象的目标图像集合。这样,在拍照目标对象变化较快的场景中,拍照装置能够及时地拍照得到清晰的目标对象的图像,并可以得到完整的目标图像集合,以满足用户的需求,提高用户的使用体验。
第三方面,提供了一种电子设备,包括:存储器、一个或多个处理器;存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行上述第一方面任一项所述的拍照方法。
第四方面,提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述第一方面任一项所述的拍照方法。
第五方面,提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机上述第一方面任一项所述的拍照方法。
可以理解地,上述第三方面的电子设备,第四方面的计算机可读存储介质,第五方面的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种应用场景的示意图;
图2(a)为本申请实施例提供的手动拍照的闪电图像示意图一;
图2(b)为本申请实施例提供的手动拍照的闪电图像示意图二;
图2(c)为本申请实施例提供的手动拍照的闪电图像示意图三;
图3为本申请实施例提供的一种电子设备的硬件结构示意图;
图4为本申请实施例提供的一种电子设备的软件结构示意图;
图5为本申请实施例提供的一种拍照方法的流程示意图;
图6为本申请实施例提供的用户发起拍照操作的示意图一;
图7为本申请实施例提供的用户发起拍照操作的示意图二;
图8为本申请实施例提供的电子设备检测到预览图像中包括目标对象的示意图;
图9为本申请实施例提供的电子设备显示拍照图像的示意图一;
图10为本申请实施例提供的电子设备显示拍照图像的示意图二;
图11为本申请实施例提供的电子设备显示目标图像的示意图一;
图12为本申请实施例提供的电子设备显示目标图像的示意图二;
图13为本申请实施例提供的电子设备合并目标图像的示意图;
图14为本申请实施例提供的电子设备合并目标图像的方法流程示意图;
图15为本申请实施例提供的电子设备检测是否包括目标对象的方法流程示意图一;
图16为本申请实施例提供的电子设备检测是否包括目标对象的方法流程示意图二;
图17为本申请实施例提供的一种构建目标对象检测模型的方法流程示意图;
图18为本申请实施例提供的电子设备确定目标图像集合的方法流程示意图一;
图19为本申请实施例提供的电子设备确定目标图像集合的方法流程示意图二;
图20为本申请实施例提供的另一种拍照方法的流程示意图;
图21为本申请实施例提供的一种拍照装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。并且,在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
随着电子设备技术的不断发展,电子设备的拍照功能也日益丰富,用户使用电子设备拍照的场景也越来越多。例如,用户可以使用电子设备对人物、美食、建筑以及自然风景进行拍照等。
在用户使用电子设备拍照的场景中,目标对象变化较快(例如闪电、烟花等)的情况下,用户通常难以准确地捕捉到完整、清晰的目标对象图像。以用户使用电子设备对闪电进行拍照为例,闪电是瞬间发生、快速变化的放电现象,有些闪电持续时间甚至只有几个毫秒。由于闪电转瞬即逝,用户依靠肉眼观测到闪电出现时,难以及时手动按下电子设备的快门进行拍照,无法保证拍照得到完整、清晰的闪电图像。
参照图1,为本申请实施例提供的一种应用场景的示意图,如图1所示,天空中在很短的时间内出现一道完整的闪电。该场景下,若用户使用电子设备手动对闪电进行拍照,则会因用户难以及时手动按下电子设备的快门,使得用户仅拍照得到部分帧闪电图像,未能获取到完整的闪电图像;和/或,即使及时按下快门,但因没有足够时间调整拍照参数,使得拍照得到的闪电照片模糊/不清楚。例如闪电在不同时段先后呈现的图像如图2(a)和图2(b)所示,如果在图2(a)所示的闪电已经发生的情况下,用户才按下快门,将拍不到图2(a)所示的图像,只能拍到之后的闪电图像,例如图2(b)所示的闪电图像,这就导致用户无法获取到完整的闪电图像。又例如图2(c)所示的图像,用户虽然及时按下快门,但是没有调整拍照参数,将导致闪电图像中的闪电出现模糊的情况。
为了保证拍照得到完整、清晰的闪电图像,通常不仅需要采用三脚架、光控快门触发器等辅助设备配合电子设备进行拍照。例如,将电子设备固定在三脚架上,消除电子设备拍照过程中可能出现抖动的问题,提高电子设备的稳定性。又例如,将电子设备与光控快门触发器、雷电触发器等设备连接,配合电子设备进行快门的触发,以使电子设备可以及时拍照得到闪电的图像。同时,用户还需要对电子设备的拍照参数(例如对焦距离、曝光时间、光圈大小等)进行设置。例如,闪电通常处于远景,拍照前需要设置对焦距离,确定焦点距离,以确保拍照瞬间闪电的轨迹清晰。又例如,闪电出现的场景中,通常背景的亮度较低,因此需要设置合适的曝光时间和光圈大小等,以确保拍照的闪电图像清晰。其中设置合适的拍照参数需要用户具有较高的专业性和丰富的拍照经验。可见,为了保证拍照得到清晰、完整的闪电图像,不仅需要增加用户的拍照成本,而且拍照参数设置操作繁琐、专业性要求高,降低了用户的使用体验。
为了解决在拍照目标对象变化较快的场景中,用户无法通过简单的操作,准确地拍照得到完整、清晰的目标对象图像,导致用户的使用体验低的问题。
本申请实施例提供一种拍照方法,可以应用于拍照装置对变化较快的目标对象进行拍照的场景中。其中,该拍照装置可以是电子设备或者电子设备中的功能模块等。以拍照装置为电子设备为例,拍照方法包括:电子设备响应于用户的拍照操作,获取拍照场景的预览图像。电子设备检测预览图像中是否包括目标对象,若检测到预览图像中包括目标对象,则触发对拍照场景进行拍照,得到拍照场景的拍照图像。电子设备根据预览图像集合和拍照图像集合确定目标图像集合。其中,目标图像集合包括至少一帧目标图像,目标图像为包括目标对象的图像;预览图像集合包括拍照时刻及拍照时刻之前的至少一帧预览图像,拍照图像集合包括拍照时刻之后的至少一帧拍照图像,拍照时刻为触发对拍照场景拍照的时刻。这样,电子设备能够基于拍照场景的预览图像,检测拍照场景中是否出现目标对象。当电子设备检测到拍照场景中出现目标对象后,触发对拍照场景进行拍照,得到拍照图像。电子设备根据拍照时刻前的预览图像和拍照时刻后的拍照图像,可以确定包括目标对象的目标图像集合。这样,在对变化较快的目标对象进行拍照的场景中,电子设备能够及时地拍照得到清晰的目标对象的图像,并可以得到完整的目标图像集合,以满足用户的需求,提高用户的使用体验。
其中,电子设备可以包括但不限于智能手机、上网本、平板电脑、智能手表、智能手环、电话手表、智能相机、掌上电脑、个人计算机(personal computer,PC)、个人数字助理(personal digital assistant,PDA)、便携式多媒体播放器(portable multimediaplayer,PMP)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、电视机、投影设备或人机交互场景中的体感游戏机等。或者,电子设备还可以是其他类型或结构的电子设备,本申请不限定。
图3示出了电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括陀螺仪传感器180A,加速度传感器180B,环境光传感器180C、温度传感器180D,触摸传感器180E等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍照功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
在本申请实施例中,电子设备可以通过显示屏194向用户展示拍照图像、目标图像以及目标合并图像。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍照功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍照场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
在本申请实施例中,当电子设备100为前述实施例中的电子设备时,电子设备可以通过摄像头193拍照预览图像以及拍照图像。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
陀螺仪传感器180A可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180A确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180A可以用于拍照防抖。示例性的,当按下快门,陀螺仪传感器180A检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180A还可以用于导航,体感游戏场景。
加速度传感器180B可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
在本申请实施例中,当电子设备100为前述实施例中的电子设备时,电子设备可以通过陀螺仪传感器180A和加速度传感器180B,确定电子设备是处于手持状态,还是处于脚架状态,以进一步确定拍照参数。
环境光传感器180C用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180C也可用于拍照时自动调节白平衡。
在本申请实施例中,当电子设备100为前述实施例中的电子设备时,电子设备可以通过环境光传感器180C确定拍照场景的拍照环境光线条件,例如,拍照环境光亮度,以用于电子设备确定拍照参数。
温度传感器180D用于检测温度。在一些实施例中,电子设备100利用温度传感器180D检测的温度,执行温度处理策略。例如,电子设备可以根据温度传感器180D检测的温度,对焦点距离进行温漂补偿。
触摸传感器180E,也称“触控面板”。触摸传感器180E可以设置于显示屏194,由触摸传感器180E与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180E用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180E也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
在本申请实施例中,当电子设备100为前述实施例中的电子设备时,处理器110响应于用户的拍照操作,可以通过摄像头193获取拍照场景的预览图像。处理器110检测预览图像中是否包括目标对象,若检测到预览图像中包括目标对象,则触发摄像头193对拍照场景拍照,得到拍照场景的拍照图像。处理器110根据预览图像集合和拍照图像集合确定目标图像集合。电子设备还可以通过显示屏194向用户展示拍照图像和目标图像。同时,电子设备根据陀螺仪传感器180A,加速度传感器180B,环境光传感器180C和温度传感器180D得到的参数,设置摄像头193的拍照参数,以提高摄像头193拍照的图像画面质量。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图4是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图4所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android Runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
以下以使用电子设备目标对象进行拍照为例,对本申请实施例提供的拍照方法进行说明。其中下述电子设备可以具体参照图3所示的部件以及图4所示的应用程序框架层。图5为本申请实施例提供的一种拍照方法的流程示意图,如图5所示,该方法可以包括如下步骤S101-S107:
S101、用户向电子设备发起拍照操作。
在本申请实施例中,用户可以向电子设备发起拍照操作,以触发电子设备进入/启动对目标对象的拍照功能,获取目标对象对应的拍照场景的预览图像。可以理解的是,本申请中所述的目标对象对应的拍照场景可以指即将出现或已经出现目标对象的场景。
在一些实施例中,用户可以通过进入电子设备的指定拍照模式以发起拍照操作。具体的,电子设备中设置有具有拍照指定目标对象功能的拍照模式,用户通过选择该拍照模式,可以向电子设备发起拍照操作,触发电子设备进入拍照指定目标对象的模式,以获取拍照场景的预览图像。
示例性的,以电子设备拍照的目标对象是闪电为例。图6为本申请实施例提供的用户发起拍照操作的示意图一,如图6所示,电子设备在相机中设置有“闪电模式”、“人像模式”、“全景模式”等多个拍照模式。用户可以通过点击“闪电模式”,使电子设备进入拍照闪电的模式。在电子设备处于闪电模式下,用户可以通过点击电子设备的快门,以向电子设备发起拍照操作,触发电子设备启动拍照闪电。
可选的,如图6所示,电子设备启动拍照闪电后,在电子设备的显示界面中可以显示进入闪电模式后的拍照时间,以用于向用户直观的展示本次拍照持续的时间。
可以理解的是,上述闪电模式的命名仅为示例性说明。拍照模式还可以命名为其他名称,以用于表征电子设备在该拍照模式下,可以实现对对应目标对象进行拍照的功能。例如,电子设备在烟花模式下,可以实现对烟花进行拍照的功能,本申请对拍照模式的命名不做限定。
在一些实施例中,图7为本申请实施例提供的用户发起拍照操作的示意图一,如图7所示,用户可以通过入口选项或者入口卡片进入电子设备的指定拍照模式以发起拍照操作。具体的,电子设备中还可以设置有具有进入指定拍照模式的入口选项或者入口卡片等。用户通过点击入口选项或者入口卡片可以进入对应的拍照模式,如图7所示,用户设置在显示界面中设置有“闪电模式”入口卡片,用户通过点击该“闪电模式”入口卡片,可以使电子设备进入拍照闪电的模式,以进一步通过点击快门,向电子设备发起拍照操作,触发电子设备启动拍照闪电。
在一些实施例中,电子设备还可以在一个拍照模式下,设置子模式、入口选项或者入口卡片等,以使电子设备进入对应的拍照模式。例如,在夜景模式下,设置子模式“闪电模式”。用户在电子设备上需要首先选择夜景模式,使电子设备进入夜景模式。然后,在电子设备处于夜景模式下,用户可以选择子模式“闪电模式”,使电子设备进入拍照闪电的模式,以进一步向电子设备发起拍照操作。
在一些实施例中,用户还可以通过语音控制的方式向电子设备发起拍照操作。示例性的,电子设备具有语音识别功能。当电子设备识别到用户说出的“启动闪电模式”时,电子设备进入拍照闪电的模式,以进一步向电子设备发起拍照操作。在一种实现方式中,在电子设备处于闪电模式下,当电子设备识别到用户说出的“启动拍照”时,触发启动拍照闪电。这样,用户通过语音控制的方式可以实现向电子设备发起拍照操作。
在一些实施例中,用户还可以通过电子设备的人工智能(artificialintelligence,AI)自动识别拍照场景功能发起拍照操作。具体的,电子设备具有AI自动识别拍照场景的功能,用户打开电子设备的该功能后,电子设备可以自动识别拍照场景。当电子设备识别到拍照场景中出现闪电,则可以进入拍照闪电的模式,以拍照后续可能再次出现的闪电。这样,用户通过开启电子设备的AI自动识别拍照场景的功能,可以实现向电子设备发起拍照操作。
S102、电子设备响应于用户的拍照操作,获取拍照场景的预览图像。
在本申请实施例中,电子设备接收到用户的拍照操作后,响应于该拍照操作,获取拍照场景的预览图像。其中,拍照场景为用户选择的拍照区域,在该拍照区域中即将出现或者已经出现目标对象。用户可以通过电子设备获取拍照场景的预览图像,电子设备可以根据预览图像判断拍照场景中是否出现目标对象,以进一步触发电子设备拍照,得到拍照场景的拍照图像。
在一些实施例中,电子设备获取的预览图像保存在电子设备的缓存中,以便于电子设备检测预览图像中是否包括目标对象。需要说明的是,为了防止遗漏包括目标对象的预览图像,提高目标对象图像的完整性,在步骤S103中,如果电子设备检测预览图像中不包括目标对象,也会将该预览图像保存在缓存中,以用于后续根据预览图像集合确定目标图像集合,具体方法可参见步骤S103。
在一些实施例中,用户可以根据电子设备的缓存能力和拍照目标对象图像完整性的需求,预设电子设备缓存图像的帧数。用户预设电子设备缓存的预览图像的帧数越多,则得到的目标对象图像的完整性越高。用户预设电子设备缓存的预览图像的帧数越少,则电子设备的缓存压力越低。
S103、电子设备检测预览图像中是否包括目标对象。
在本申请实施例中,电子设备根据获取的预览图像,实时检测该预览图像中是否包括目标图像,以确定是否触发对拍照场景进行拍照,获得拍照场景的拍照图像。
具体的,在一种示例中,电子设备可以根据预览图像的灰度值确定预览图像中是否包括目标对象,如可以通过对比相邻两帧预览图像中像素点的灰度值差异确定预览图像中是否包括目标对象,该具体实现方式请参见下文所述的步骤S201-S205。又比如可以通过当前预览图像中像素点的灰度占比确定预览图像中是否包括目标对象,该具体实现参照下文所述的步骤S301-S304。
在又一种示例中,电子设备还可以通过目标对象检测模型检测预览图像中是否包括目标对象,其中,目标对象检测模型的输入数据包括待检测的图像,例如本申请实施例中的预览图像。输出结果包括:图像中包括目标对象,或者图像中不包括目标对象。具体的,该目标对象检测模型的构建方式如图17对应的实施例中所述。
S104、电子设备若检测到预览图像中包括目标对象,则触发对拍照场景进行拍照,得到拍照场景的拍照图像。
在本申请实施例中,电子设备若检测到预览图像中包括目标对象,则说明拍照场景中出现目标对象。此时,电子设备停止获取预览图像,触发对拍照场景进行拍照,得到拍照场景的拍照图像。
示例性的,以电子设备拍照的目标对象是闪电为例。如图8所示,拍照场景中出现闪电。此时,电子设备检测到预览图像中包括闪电,电子设备开始触发对拍照场景进行拍照,得到拍照场景的拍照图像。
在一些实施例中,电子设备会记录检测到预览图像中包括目标对象的时刻,也即触发对拍照场景进行拍照的时刻。可选的,电子设备还可以在显示界面中显示该时刻,以提醒用户此刻拍照场景中出现目标对象,电子设备已触发对拍照场景进行拍照。如图8所示,电子设备的显示界面中显示时刻“1分35秒”,此刻,根据电子设备的显示界面可以看出拍照界面中出现目标对象,触发对拍照场景进行拍照,以得到拍照场景的拍照图像。
在一些实施例中,电子设备可以拍照得到拍照场景的多帧拍照图像,并及时的向用户显示拍照得到的拍照图像。示例性的,如图9所示,电子设备的显示界面可以包括拍照场景显示区域和拍照图像显示区域。拍照场景显示区域可以实时显示拍照场景的画面,拍照图像显示区域可以位于拍照场景显示区域的下方,用于显示拍照得到的拍照图像。在一种示例中,如图9所示,拍照图像显示区域可以将拍照图像按照拍照时间的顺序依次平铺显示。如果平铺展示的多帧拍照图像超过拍照图像显示区域,则可以根据拍照图像显示区域的大小,对拍照图像显示区域内平铺展示的拍照图像进行实时更新,展示最新拍照的几帧拍照图像。在又一种示例中,如图10所示,拍照图像显示区域可以将拍照图像按照拍照时间的顺序堆叠在一起显示,最新拍照的拍照图像位于最上方。并且,在堆叠显示的拍照图像旁,还可以显示拍照图像的数量,以便于向用户直观的显示已经拍照得到拍照图像的数量。
在一些实施例中,电子设备对拍照场景进行拍照后,满足预设停止条件后,停止对拍照场景进行拍照。在一种示例中,预设停止条件可以是预设拍照时间,该预设拍照时间由用户设置。例如,用户设置预设拍照时间为10秒,则电子设备对拍照场景拍照的时间达到10秒时,停止对拍照场景进行拍照。在又一种示例中,预设停止条件可以是预设拍照帧数,该预设拍照帧数由用户设置。例如,用户设置预设拍照帧数为100帧,则电子设备对拍照场景拍照的帧数达到100帧时,停止对拍照场景进行拍照。
在一些实施例中,电子设备可以响应于用户的停止拍照操作,停止对拍照场景进行拍照。具体的,如果电子设备拍照得到的拍照场景的拍照图像已满足用户的需求,则用户可以向电子设备发起停止拍照操作,以触发电子设备停止对拍照场景进行拍照。示例性的,在电子设备对拍照场景进行拍照的过程中,用户可以通过点击电子设备的快门,向电子设备发起停止拍照操作,使电子设备停止拍照。
S105、电子设备根据预览图像集合和拍照图像集合确定目标图像集合。
在本申请实施例中,由于电子设备拍照的目标对象变化较快。当电子设备根据预览图像检测到拍照场景中出现目标对象,触发对拍照场景进行拍照的时候,目标对象已经出现了一部分。以目标对象是闪电为例,闪电的发生是一个动态过程,当电子设备触发对闪电进行拍照之前,闪电可能已经出现了一部分闪电分支。并且,在触发电子设备对拍照场景进行拍照之后,闪电已经出现的一部分闪电分支可能会消失。包括该部分闪电分支的预览图像虽然没有达到电子设备判断预览图像中包括目标对象的条件,但是,预览图像中该部分闪电分支仍属于闪电的一部分。又例如,如果电子设备检测预览图像中是否包括目标对象的速度较慢,当电子设备触发对拍照场景进行拍照的时候,拍照场景中的闪电已经消失。这将导致拍照图像集合中不包括闪电图像,闪电图像均在预览图像集合中。
因此,为了防止遗漏包括目标对象的预览图像,提高目标对象图像的完整性。本申请实施例中,电子设备会根据预览图像集合和拍照图像集合确定目标图像集合,目标图像集合包括至少一帧目标图像,目标图像即为包括目标对象的图像。其中,预览图像集合包括拍照时刻及该时刻之前的至少一帧预览图像,拍照图像集合包括拍照时刻之后的至少一帧拍照图像,拍照时刻为触发对拍照场景拍照的时刻。这样,电子设备能够及时地拍照到清晰的目标对象的图像,并可以得到完整的目标图像集合,以满足用户的需求,提高用户的使用体验。
在一些实施例中,电子设备可以获取第一预览图像集合和第一拍照图像集合,其中,第一预览图像集合包括拍照时刻以及拍照时刻之前第一时间段内的预览图像,第一拍照图像集合包括拍照时刻之后第二时间段内的拍照图像。电子设备可以根据第一预览图像集合和第一拍照图像集合确定目标图像集合。
其中,在一种示例中,第一时间段和第二时间段可以相同,例如,第一时间段和第二时间段均为1.5秒。则第一预览图像集合包括拍照时刻以及拍照时刻之前1.5秒内的预览图像,第一拍照图像集合包括拍照时刻之后1.5秒内的拍照图像。
在又一种示例中,第一时间段和第二时间段可以不相同,具体可以根据电子设备的缓存能力以及电子设备检测预览图像中是否包括目标对象的检测速度确定。例如,电子设备的缓存能力较差,缓存的预览图像较少,则第一时间段可以小于第二时间段。又例如,电子设备检测预览图像中是否包括目标对象的检测速度较慢,不能及时的检测出预览图像中是否包括目标对象,并触发对拍照场景进行拍照。则预览图像集合中可能会包括较多的目标图像,因此,需要获取较多的预览图像以进一步进行判断,则第一时间段可以大于第二时间段。本申请对第一时间段和第二时间段,即预览图像集合中包括的预览图像和拍照图像集合中包括的拍照图像的帧数不做具体限定。
在一些实施例中,电子设备根据预览图像集合和拍照图像集合进行目标对象检测,以确定目标图像集合。具体的,电子设备可以遍历预览图像集合和拍照图像集合中的图像(该图像包括:预览图像和拍照图像),以判断图像中是否包括目标对象。如果图像中包括目标对象,则该图像为目标图像。电子设备可以对该图像添加标记,以目标对应是闪电为例,如果电子设备检测到预览图像集合和拍照图像集合中的图像包括闪电,则可以将该图像添加“是闪电(isLightning)”的标记,以确定该图像为目标图像。
其中,电子设备根据预览图像集合和拍照图像集合进行目标对象检测的方法可以参照步骤S103中的检测目标对象方法,在此不做赘述。在一些示例中,为了防止遗漏包括目标对象的预览图像,电子设备根据预览图像集合和拍照图像集合进行目标对象检测过程中,预设的参数阈值(例如,灰度差阈值范围、灰度阈值范围、预设占比等)可以与步骤S103中的参数阈值相同。在又一些示例中,为了提高目标图像的完整性,电子设备根据预览图像集合和拍照图像集合进行目标对象检测过程中,可以适当调整预设的参数阈值,以获取更多满足参数阈值的目标图像。
在一些实施例中,电子设备可以将确定的目标图像集合进行保存,并通过相册向用户显示目标图像集合中的每一帧目标图像。示例性的,电子设备可以通过相册向用户显示目标图像,如图11所示,在电子设备的相册中,可以以平铺缩略图的方式显示每一帧目标图像。每一个缩略图对应一帧目标图像,用户通过点击缩略图,可以查看对应的完整目标图像。
如图12所示,在电子设备的相册中,还可以以堆叠缩略图的方式显示目标图像集合。用户可以通过选中堆叠缩略图,点击以查看展开的缩略图,以进一步查看缩略图对应的完整目标图像。示例性的,如图12所示,电子设备在显示展开的缩略图及完整目标图像时,显示界面可以分为第一显示区域和第二显示区域两部分,第一显示区域位于第二显示区域的下方,第一显示区域用于显示展开的缩略图,第二显示区域用于显示用户选择的缩略图对应的完整目标图像。用户通过点击第一显示区域中的缩略图,可以在第一显示区域查看缩略图对应的完整目标图像。进一步的,第一显示区域中的缩略图沿预设方向(例如沿水平方向)可以实现滑动显示,即用户可以拖动缩略图沿预设方向滑动,以查看更多的缩略。这样,电子设备在第一显示区域中,可以向用户显示目标图像集合中所有目标图像的缩略图。
在一些应用场景中,由于电子设备拍照的目标对象处于动态变化的状态。因此,目标图像集合中的每一帧目标图像,仅记录了该帧目标图像拍照时目标对象所处的变化状态,即每一帧目标图像中的目标对象所处的位置和/或目标对象的形态都不相同。因此,为了提高目标对象的图像完整性,满足用户的需求。在一些实施例中,电子设备还可以响应用户的合并指令,将目标图像集合中的所有目标图像进行合并。具体的,如图5所示,在步骤S105之后,还可以包括步骤S106-S107:
S106、用户向电子设备发送合并指令。
具体的,用户可以通过点击电子设备中用于指示图像合并功能的按键,向电子设备发送合并指令。示例性的,如图11和图12所示,用户在电子设备的相册中查阅目标图像集合中的目标图像时,电子设备在相册的显示界面中,设置有“图像合并”的按键。用户通过点击该“图像合并”的按键可以向电子设备发送合并指令。
在一些实施例中,用户向电子设备发送的合并指令可以包括:目标合并图像集合中所有目标图像的指令。可选的,该合并指令可以包括:目标合并图像集合中一部分目标图像的指令。示例性的,用户可以在电子设备的相册中选择一部分的目标图像,然后点击“图像合并”的按键,以向电子设备发送合并该部分目标图像的合并指令。
S107、电子设备响应于用户的合并指令,将目标图像集合中的目标图像进行合并,得到目标合并图像。
在本申请实施例中,如图13所示,电子设备响应于用户的合并指令,可以将目标图像集合中所有或者一部分目标图像进行合并,得到目标合并图像,并可以在电子设备的显示界面中显示该目标合并图像。
示例性的,以电子设备将目标图像集合中所有的目标图像进行合并为例。如图14所示,
电子设备将目标图像进行合并的方法包括步骤S1071-S1073:
S1071、电子设备获取每一帧目标图像中每一个像素点的亮度值。
S1072、电子设备根据上述亮度值,确定目标图像中同一位置像素点的亮度最大值。
S1073、电子设备将每一个像素点的亮度最大值,设置为目标合并图像中对应位置像素点的亮度值,即得到目标合并图像。
在一些实施例中,为了提高用户的使用体验,电子设备还可以将目标图像集合中的目标图像合并到其他背景图像中。其中背景图像包括但不限于:拍照场景中未出现目标对象的图像和用户选择的包括其他内容的图像等。
在一些应用场景中,例如拍照的目标对象为闪电、烟花等场景中,拍照场景的背景多为夜空,背景的亮度偏暗。这样,电子设备拍照的背景图像中图像信号较少,容易存在很多的噪声,影响背景图像的画质。因此,为了降低背景图像的噪声,提高目标图像的动态范围效果。在一些实施例中,电子设备还可以对背景图像进行去噪处理,具体包括:电子设备确定背景图像和与背景图像相邻至少一帧背景图像中每个像素点的平均亮度值。电子设备将背景图像中每个像素点的亮度值设置为平均亮度值,得到去噪后的背景图像。
在一些实施例中,在拍照的目标对象与背景的亮度差异较大的场景中。例如,目标对象为闪电时。闪电发生的时候,闪电的亮度较高,而其背景的亮度较低。尤其在闪电和背景的交界处,亮度变化较大,该交界部分图像的灰度值存在较大的差异。因此,电子设备可以获取预览图像中每一个像素点的灰度值,根据灰度值确定预览图像中是否包括目标对象,即上述步骤S103中,电子设备可以根据预览图像的灰度值确定预览图像中是否包括目标对象。
具体的,电子设备可以通过对比相邻两帧的预览图像中像素点的灰度值差异,确定预览图像中是否包括目标对象。如图15所示,以电子设备检测第一预览图像是否包括目标对象为例,电子设备确定预览图像中是否包括目标对象包括以下步骤S201-S205:
S201、电子设备获取第一预览图像中每一个像素点的灰度值,以及第二预览图像中每一个像素点的灰度值。其中,第二预览图像为第一预览图像前一帧的预览图像。
本申请实施例中,灰度值可以表示图像中像素点的颜色深度,灰度值范围一般从0到255,白色为255,黑色为0。在一种示例中,电子设备可以将预览图像转换为灰度图像,然后提取转换后灰度图像中每个像素点的灰度值。在又一种示例中,电子设备还可以提取预览图像中每个像素点的色彩***(red green blue,RGB)值,然后将每个像素点的RGB值转换为灰度值。
S202、电子设备计算第一预览图像中每一个像素点与第二预览图像中对应位置的像素点的灰度差值。
S203、电子设备确定灰度差值在灰度差阈值范围内的像素点的占比。
具体的,电子设备计算所有灰度差值在灰度差阈值范围内的像素点的数量,然后计算其与第一预览图像中像素点总数量的比值。其中,灰度差阈值范围可以由用户进行预设。示例性的,用户可以获取目标对象的样本图像集合,通过样本图像集合确定灰度差阈值范围。例如,灰度差阈值范围可以设置为灰度差小于50,以及灰度差大于和等于150。
S204、电子设备判断像素点的占比是否大于预设占比。
具体的,电子设备判断步骤S203中确定的像素点占比是否大于预设占比。其中,预设占比可以由用户进行预设。与用户预设灰度差阈值范围相似,用户同样可以通过样本图像集合确定预设占比。例如,预设占比可以设置为灰度差小于50的像素点的占比大于90%,并且,灰度差大于和等于150的像素点的占比大于0.1%。
S205、电子设备如果判断像素点的占比大于预设占比,则预览图像中包括目标对象。
具体的,电子设备如果判断第一预览图像中,由步骤S203中确定的像素点占比大于预设占比,则确定第一预览图像中包括目标对象。示例性的,如果第一预览图像中与第二预览图像的灰度值小于50的像素点的占比大于90%,并且,灰度差大于和等于150的像素点的占比大于0.1%,则确定第一预览图像中包括目标对象。
在一些应用场景中,可能会出现电子设备获取的第一帧预览图像中就包括目标对象的情况。这样,电子设备就无法通过对比相邻两帧预览图像中像素点的灰度值差异的方式,判断第一帧预览图像中是否包括目标对象。因此,为了防止电子设备遗漏检测预览图像,提高检测预览图像中是否包括目标对象的准确性,在本申请的一些实施例中,还提供一种电子设备检测预览图像是否包括目标对象的方法,如图16所示,具体包括以下步骤S301-S304:
S301、电子设备获取预览图像中每一个像素点的灰度值。
S302、电子设备计算预览图像中每一个像素点的灰度值在灰度阈值范围内的像素点的占比。
具体的,灰度阈值范围可以包括每一个像素点的灰度阈值范围,灰度阈值范围由用户进行预设。示例性的,用户可以获取目标对象的样本图像集合,通过样本图像集合每一个像素点的灰度阈值范围。电子设备根据灰度阈值范围可以判断预览图像中每一个像素点是否会构成目标对象的图像,即预览图像中是否存在目标对象。
S303、电子设备判断像素点的占比是否大于预设占比。
具体的,电子设备判断步骤S302中确定的像素点占比是否大于预设占比。其中,预设占比可以由用户进行预设。与用户预设灰度阈值范围相似,用户同样可以通过样本图像集合确定预设占比。
S304、电子设备如果判断像素点的占比大于预设占比,则预览图像中包括目标对象。
具体的,电子设备如果判断预览图像中,步骤S302中确定的像素点占比大于预设占比,则说明预览图像中足够多的像素点满足灰度阈值范围,该部分像素点可以构成目标对象的图像,即确定预览图像中存在目标对象。
可以理解的是,电子设备通过上述步骤S301-S304检测预览图像是否包括目标对象的方法,不仅限于应用于检测第一帧预览图像,还可应用于第一帧预览图像后的其他帧预览图像。
在一些实施例中,为进一步提高电子设备检测预览图像中是否包括目标对象的准确性和效率,在上述步骤S103中,电子设备还可以通过目标对象检测模型识别预览图像中是否包括目标对象。具体的,电子设备可以将预览图像输入预设的目标对象检测模型得到检测结果,该检测结果用于指示预览图像中是否包括目标对象。其中,目标对象检测模型的输入数据包括检测图像,例如本申请实施例中的预览图像。输出结果包括:图像中包括目标对象,或者图像中不包括目标对象。
在一些实施例中,如图17所示,目标对象检测模型的构建方法包括以下步骤S401-S402:
S401、获取目标对象的样本图像集合。其中,样本图像集合中包括多张目标对象的样本图像。样本图像集合可以用于训练目标对象检测初始模型,样本图像集合中目标对象的样本图像越多,则训练得到的目标对象检测模型识别目标对象的准确性越高。
S402、根据样本图像集合训练目标对象检测初始模型,确定目标对象检测模型。
具体的,目标对象检测初始模型可以采用的模型包括但不限于:卷积神经网络(LeNet)模型、残差卷积神经网络(ResNet)模型、密集连接的卷积神经网络(DenseNet)模型等。根据样本图像集合对目标对象检测初始模型进行训练,可以得到目标对象检测模型,该目标对象检测模型可以用于识别目标图像中是否包括目标对象。
在一些应用场景中,目标对象出现时,可能会导致拍照场景中的亮度发生剧变,从而使电子设备拍照的目标图像的亮度过亮,导致目标图像的画面质量(以下简称画质)较差。因此,在一些实施例中,电子设备还可以对目标图像进行画质分析,去除画质较差的目标图像,保留画质较好的目标图像。具体的,如图18所示,电子设备可以通过以下步骤S501-S502实现:
S501、电子设备根据预览图像集合和拍照图像集合确定初始目标图像集合,初始目标图像集合包括至少一帧初始目标图像,初始目标图像为包括目标对象的预览图像和/或包括目标对象的拍照图像。
具体的,电子设备根据预览图像集合和拍照图像集合确定初始目标图像集合可以参照步骤S105中的方法,在此不做赘述。
S502、电子设备根据初始目标图像集合确定目标图像集合。
具体的,如图19所示,步骤S502可以通过以下步骤S5021-S5024实现:
S5021、电子设备确定初始目标图像中每帧初始目标图像的画质参数值,画质参数值用于表征初始目标图像的画质情况。
S5022、电子设备判断初始目标图像的画质参数值是否满足画质参数阈值。
S5023、电子设备若初始目标图像的画质参数值满足画质参数阈值,则目标图像集合包括初始目标图像。
S5024、电子设备若初始目标图像的画质参数值不满足画质参数阈值,则目标图像集合不包括初始目标图像。
在一些实施例中,电子设备可以根据图像的亮度值判断图像的画质,则画质参数值可以为图像的亮度值。则上述步骤S5021-S5024具体实现方式包括:电子设备确定初始目标图像的亮度值。具体的,电子设备确定初始目标图像的亮度值的方法包括但不限于:获取初始目标图像中各通道的亮度值,然后求平均值;或者,获取初始目标图像的色彩模式(huesaturation lightness,HSL)中的亮度L值。电子设备根据初始目标图像的亮度值,可以确定目标图像集合是否包括初始目标图像。若初始目标图像的亮度值在亮度范围阈值内,则目标图像集合包括初始目标图像;若初始目标图像的亮度值不在亮度范围阈值内,则目标图像集合不包括初始目标图像。其中,亮度范围阈值可以由用户进行预设。示例性的,用户可以获取目标对象的样本图像集合,通过样本图像集合确定亮度范围阈值。
在一些实施例中,平均梯度值可以用于表征图像的清晰度,电子设备还可以根据图像的平均梯度值判断图像的清晰度,则画质参数值可以为图像的平均梯度值。则上述步骤S5021-S5024具体实现方式包括:电子设备确定初始目标图像的平均梯度值。具体的,电子设备确定初始目标图像的平均梯度值的方法包括但不限于:获取初始目标图像中每个像素点的RGB值,然后根据每个像素点的RGB值计算得到初始目标图像的平均梯度值。电子设备根据初始目标图像的平均梯度值,可以确定目标图像集合是否包括初始目标图像。若初始目标图像的平均梯度值在平均梯度范围阈值内,则目标图像集合包括初始目标图像;若初始目标图像的平均梯度值不在平均梯度范围阈值内,则目标图像集合不包括初始目标图像。其中,平均梯度范围阈值可以由用户进行预设。示例性的,用户可以获取目标对象的样本图像集合,通过样本图像集合确定平均梯度范围阈值。
在一些实施例中,为了提高电子设备获取预览图像的画质。在上述步骤S102中,电子设备以第一拍照参数获取拍照场景的预览图像。第一拍照参数包括但不限于:拍照帧率、曝光时间、光圈大小和对焦距离等。下面以目标对象是闪电为例,示例性说明第一拍照参数的设置方法:
其中,拍照帧率可以表示电子设备在1秒钟内连续拍照的预览图像的帧数。拍照帧率可以根据闪电出现的频率以及用户的拍照需求设置。示例性的,为了及时拍照到闪电,用户可以将拍照帧率设置为12帧每秒(frame per second,fps)-30fps,即电子设备在1秒钟内连续拍照12帧-30帧预览图像。
曝光时间是为了将光线投射到电子设备中感光材料的感光面上,电子设备的快门所要打开的时间。曝光时间可以根据拍照环境光线条件(例如拍照环境光亮度),电子设备的稳定性以及拍照帧率等设置。
示例性的,电子设备可以根据拍照环境光线条件(例如拍照环境光亮度)设置曝光时间。比如拍照环境光线条件(例如拍照环境光亮度)比较差,曝光时间越长,电子设备进的光线就多。反之,拍照环境光线条件(例如拍照环境光亮度)比较好,曝光时间越短,电子设备进的光线就少。
示例性的,电子设备还可以根据电子设备的稳定性和拍照帧率设置曝光时间。拍照例如电子设备在非稳定状态(例如手持状态)下,曝光时间设置为30毫秒(ms)-80ms。电子设备在稳定状态(例如脚架状态)下,曝光时间设置为30ms-160ms。这样,可以提高拍照到闪电的概率。
具体的,电子设备处在非稳定状态(例如手持状态)下,当拍照帧率为30fps时,相邻两帧图像的拍照时间间隔约为30ms。为了防止闪电可能在曝光时间以外的时间发生,从而将导致电子设备无法拍照到闪电的图像,因此,可以将曝光时间设置为大于30ms。当拍照环境光线条件变差,例如拍照环境光亮度逐渐减低,帧率逐渐降低,当拍照帧率最小为12fps时,相邻两帧图像的拍照时间间隔约为80ms。为了防止曝光过度,可以将曝光时间设置为小于80ms。电子设备处在稳定状态(例如脚架状态)下,为了提升拍照闪电的完整性,可以提高曝光时间,最大曝光时间可以设置为160ms。
在一些实施例中,电子设备可以通过获取陀螺仪(gyro)传感器的gyro数据,以判断电子设备处在稳定状态(例如脚架状态)还是非稳定状态(例如手持状态)。具体的,电子设备获取固定周期内(例如200ms内)的多个gyro数据。其中,gyro数据包括:X轴、Y轴和Z轴三个方向的gyro数据(例如偏移量数据、角速度数据等)。根据gyro数据X轴、Y轴和Z轴三个方向各自的gyro数据平均值(GyroAvg)和gyro数据方差(GyroStd)计算在固定周期内超出阈值的gyro数据数量。例如,当存在至少一个轴超出阈值的gyro数据数量大于3时,判定为手持状态;反之判定为脚架状态。
光圈的大小会决定光线透过镜头进入电子设备内感光面光量的多少。光圈越大,进光量越多,光圈越小,进光量越少。在本申请实施例中,电子设备设置有可变光圈镜头。光圈的大小可以根据拍照环境光线条件(例如拍照环境光亮度)设置。如果拍照环境光亮度较高,电子设备可以调整光圈变小,以获得较长的曝光。如果拍照环境光亮度较低,电子设备可以调整光圈变大,以获得较短的曝光。示例性的,在拍照环境光亮度大于700lux的情况下,此时通常为白天。如果曝光时间较短,则不利于拍照得到完整的闪电图像。此时,可以将光圈的大小设置为光圈值(F)4.0。在拍照环境光亮度大于300lux,小于700lux的情况下,可以将光圈的大小设置为F2.0。在拍照环境光亮度小于300lux的情况下,可以将光圈的大小设置为F1.4。
对焦是指使用电子设备在拍照时调整好镜头的焦点距离,以使镜头可以清晰地成像。具体的,镜头模组出厂时,会标定最短对焦距离和最远对焦距离。由于闪电通常处于远景中,为了拍照到清晰的闪电图像,并保持电子设备长时间拍照过程的焦点稳定性,可以将对焦距离设置为远焦点距离并保持焦点锁定。可选的,为了降低温度导致的焦点漂移的影响,电子设备在拍照过程中,还可以对焦点距离进行温漂补偿。根据标定的温度和漂移量,对对焦距离进行位移上的补偿。
在一些实施例中,为了提高电子设备获取拍照图像的画质。在上述步骤S104中,电子设备以第二拍照参数对拍照场景进行拍照,得到拍照场景的拍照图像。第二拍照参数包括但不限于:拍照帧率、曝光时间、光圈大小和对焦距离等。
在一些实施例中,第二拍照参数可以与第一拍照参数相同,即电子设备采用同一拍照参数得到拍照场景的预览图像和拍照图像。在另一些实施例中,为获得更加清晰的目标对象的图像,第二拍照参数还可以与第一拍照参数不相同。具体的,第二拍照参数可以基于第一拍照参数,根据拍照环境光线条件(例如拍照环境光亮度)的变化、电子设备的稳定性以及用户的拍照需求,进行动态调整。例如,如果拍照环境光亮度较高,则可以降低曝光时间,减小光圈。如果拍照环境光亮度较低,则可以增加曝光时间,增加光圈。
在一些实施例中,为了提高电子设备获得目标图像的效率,电子设备还可以采用多帧拍照,实时合并的方式得到目标图像。如图20所示,该方法具体包括以下步骤S601-S605:
S601、用户向电子设备发起拍照操作。用户发起拍照操作的具体方法可以参照上述步骤S101,在此不做赘述。
S602、电子设备响应于用户的拍照操作,触发对拍照场景拍照,得到拍照场景的拍照图像。
S603、电子设备检测拍照图像中是否包括目标对象。电子设备检测目标对象的的具体方法可以参照上述步骤S103,在此不做赘述。
S604、如果电子设备检测拍照图像中包括目标对象,则将该帧拍照图像与中间目标图像合并,得到新的中间目标图像。
在本申请实施例中,中间目标图像由该帧拍照图像之前,所有包括目标对象的拍照图像合并得到的。将该帧拍照图像与中间目标图像合并,得到新的中间目标图像。新的中间目标图像即为所有包括目标对象的拍照图像的合并图像。
可选的,在一些实施例中,在电子设备触发对拍照场景拍照时,首先获取一帧拍照场景的背景图像。当电子设备检测到包括目标对象的第一帧拍照图像,则将该帧拍照图像与背景图像合并,得到中间目标图像。
S605、当电子设备停止对拍照场景拍照时,输出最新的中间目标图像,即为目标图像。
具体的,电子设备可以响应用户的停止指令,停止对拍照场景拍照。或者,当电子设备满足预设的停止条件时,停止对拍照场景拍照。停止条件例如为:拍照时间达到1分钟、拍照图像帧数达到100帧等。
电子设备输出的最新的中间目标图像,为所有包括目标对象的拍照图像的合并图像,即最终的目标图像。这样,电子设备对拍照的拍照图像实时检测,如果包括目标对象,则与中中间目标图像进行合并,最终得到合并有所有目标对象的目标图像,提高了电子设备获得目标图像的效率。
在一些实施例中,为了提高电子设备获得目标图像的画质,在步骤S604中,在电子设备检测拍照图像中包括目标对象之后,还包括:电子设备对该帧拍照图像进行画质检测,如果该帧拍照图像满足画质要求,则将该帧拍照图像与中间目标图像合并,得到新的中间目标图像。电子设备对该帧拍照图像进行画质检测的具体方法可参照上述步骤S5021-S5022,在此不做赘述。
上述主要从各个节点之间交互的角度对本申请实施例提供的方案进行了介绍。可以理解的是,各个节点,例如电子设备等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备等进行功能模块的分组,例如,可以对应各个功能分组各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的分组是示意性的,仅仅为一种逻辑功能分组,实际实现时可以有另外的分组方式。
图21示出了一种拍照装置的结构示意图,该拍照装置200可以是电子设备,或者是电子设备中的功能模块,该拍照装置200可以用于执行上述实施例中涉及的电子设备的功能。
作为一种可实现方式,图21所示的拍照装置200包括:获取模块210和处理模块220。其中,获取模块210用于响应于用户的拍照操作,获取拍照场景的预览图像。处理模块220用于检测预览图像中是否包括目标对象。获取模块210还用于若检测到预览图像中包括目标对象,则触发对拍照场景拍照,得到拍照场景的拍照图像。处理模块220还用于根据预览图像集合和拍照图像集合确定目标图像集合。
在一些实施例中,获取模块210和处理模块220所实现的功能还可以由多个不同模块共同实现。例如,拍照装置200可以包括:接收模块、拍照模块、检测模块等。其中,接收模块用于接收用户的拍照操作,拍照模块用于获取拍照场景的预览图像和拍照图像,检测模块用于检测预览图像中是否包括目标对象。本申请对此不做限定。
可以理解的是,上述电子设备300还可以包括如图3所示部件,此时,上述电子设备300中的获取预览图像和拍照图像的动作可以由图3中摄像头193等部件执行,具体处理动作可以由图3中的处理器110执行。
本申请实施例还提供一种电子设备,该电子设备可以包括一个或者多个处理器、存储器和通信接口。其中,存储器、通信接口与处理器耦合。例如,存储器、通信接口与处理器可以通过总线耦合在一起。
其中,通信接口用于与其他设备进行数据传输。存储器中存储有计算机程序代码。计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行上述方法实施例中拍照方法的相关步骤。
可以理解的是,上述电子设备还可以包括如图3所示部件。例如,处理器可以为图3中的处理器110,存储器可以为图3中的内部存储器121或者通过外部存储器接口120连接的外部存储器,通信接口可以为图3中的USB接口。
本申请实施例还提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方法实施例中拍照方法的相关步骤。
本申请实施例还提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机上述方法实施例中拍照方法的相关步骤。
其中,本申请提供的电子设备、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种拍照方法,其特征在于,包括:
响应于用户的拍照操作,获取拍照场景的预览图像;
检测所述预览图像中是否包括目标对象;
若检测到所述预览图像中包括目标对象,则触发对所述拍照场景进行拍照,得到所述拍照场景的拍照图像;
根据预览图像集合和拍照图像集合确定目标图像集合,其中,所述目标图像集合包括至少一帧目标图像,所述目标图像为包括所述目标对象的图像;所述预览图像集合包括拍照时刻及拍照时刻之前的至少一帧预览图像,所述拍照图像集合包括所述拍照时刻之后的至少一帧拍照图像,所述拍照时刻为触发对所述拍照场景拍照的时刻。
2.根据权利要求1所述的方法,其特征在于,所述检测所述预览图像中是否包括目标对象包括:
获取所述预览图像中每一个像素点的灰度值;
根据所述灰度值确定所述预览图像中是否包括目标对象。
3.根据权利要求2所述的方法,其特征在于,根据所述灰度值确定所述预览图像中是否包括目标对象包括:
若所述预览图像中灰度值在灰度阈值范围内的像素点占比大于预设占比,则所述预览图像中包括目标对象。
4.根据权利要求2所述的方法,其特征在于,根据所述灰度值确定所述预览图像中是否包括目标对象包括:
若所述预览图像中与相邻帧预览图像的灰度差值在灰度差阈值范围内的像素点占比大于预设占比,则所述预览图像中包括目标对象。
5.根据权利要求1所述的方法,其特征在于,所述检测所述预览图像中是否包括目标对象包括:
将所述预览图像输入预设的目标对象检测模型得到检测结果;
所述检测结果用于指示所述预览图像中是否包含目标对象。
6.根据权利要求1所述的方法,其特征在于,所述目标对象检测模型的构建方法包括:
获取所述目标对象的样本图像集合;
根据所述样本图像集合训练目标对象检测初始模型,确定所述目标对象检测模型。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据预览图像集合和拍照图像集合确定目标图像集合包括:
根据所述预览图像集合和所述拍照图像集合确定初始目标图像集合,所述初始目标图像集合包括至少一帧初始目标图像,所述初始目标图像为包括目标对象的预览图像和/或包括目标对象的拍照图像;
根据所述初始目标图像集合确定所述目标图像集合。
8.根据权利要求7所述的方法,其特征在于,所述根据所述初始目标图像集合确定所述目标图像集合包括:
确定所述初始目标图像中每帧初始目标图像的画质参数值,所述画质参数值用于表征所述初始目标图像的画质情况;
将所述初始目标图像集合中,画质参数值满足画质参数阈值的初始目标图像包括在所述目标图像集合中。
9.根据权利要求8所述的方法,其特征在于,所述画质参数值包括亮度值、平均梯度值中至少一种;画质参数值满足画质参数阈值包括:所述亮度值在亮度范围阈值内、和/或所述平均梯度值在平均梯度范围阈值内。
10.根据权利要求1-9任一项所述的方法,其特征在于,还包括:
响应于用户的合并指令,将所述目标图像集合中的目标图像进行合并,得到目标合并图像。
11.根据权利要求10所述的方法,其特征在于,还包括:显示所述目标图像集合中每一帧的目标图像和/或所述目标合并图像。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述目标图像还包括背景图像,所述背景图像为所述拍照场景中去除所述目标对象后的图像。
13.根据权利要求12所述的方法,其特征在于,还包括:对所述背景图像进行去噪处理。
14.根据权利要求13所述的方法,其特征在于,所述对所述背景图像进行去噪处理包括:
确定所述背景图像和与所述背景图像相邻至少一帧背景图像中每个像素点的平均亮度值;
将所述背景图像中每个像素点的亮度值设置为所述平均亮度值。
15.一种拍照装置,其特征在于,包括:
获取模块,用于响应于用户的拍照操作,获取拍照场景的预览图像;
处理模块,用于检测所述预览图像中是否包括目标对象;
所述获取模块,还用于若检测到所述预览图像中包括目标对象,则触发对所述拍照场景进行拍照,得到所述拍照场景的拍照图像;
处理模块,用于根据预览图像集合和拍照图像集合确定目标图像集合,其中,所述目标图像集合包括至少一帧目标图像,所述目标图像为包括所述目标对象的图像;所述预览图像集合包括拍照时刻及拍照时刻之前的至少一帧预览图像,所述拍照图像集合包括所述拍照时刻之后的至少一帧拍照图像,所述拍照时刻为触发对所述待拍照场景拍照的时刻。
16.一种电子设备,其特征在于,包括:存储器、一个或多个处理器;所述存储器与所述处理器耦合;其中,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-14任一项所述的拍照方法。
17.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-14任一项所述的拍照方法。
18.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-14任一项所述的拍照方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211227539.1A CN117857915A (zh) | 2022-10-09 | 2022-10-09 | 一种拍照方法、拍照装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211227539.1A CN117857915A (zh) | 2022-10-09 | 2022-10-09 | 一种拍照方法、拍照装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117857915A true CN117857915A (zh) | 2024-04-09 |
Family
ID=90529702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211227539.1A Pending CN117857915A (zh) | 2022-10-09 | 2022-10-09 | 一种拍照方法、拍照装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117857915A (zh) |
-
2022
- 2022-10-09 CN CN202211227539.1A patent/CN117857915A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114205522B (zh) | 一种长焦拍摄的方法及电子设备 | |
WO2022267565A1 (zh) | 视频拍摄方法、电子设备及计算机可读存储介质 | |
CN113475057B (zh) | 一种录像帧率的控制方法及相关装置 | |
US20230276014A1 (en) | Photographing method and electronic device | |
US11949978B2 (en) | Image content removal method and related apparatus | |
US20230043815A1 (en) | Image Processing Method and Electronic Device | |
CN113938602B (zh) | 图像处理方法、电子设备、芯片及可读存储介质 | |
CN113709355B (zh) | 滑动变焦的拍摄方法及电子设备 | |
CN115689963B (zh) | 一种图像处理方法及电子设备 | |
CN116320783B (zh) | 一种录像中抓拍图像的方法及电子设备 | |
WO2023035921A1 (zh) | 一种录像中抓拍图像的方法及电子设备 | |
CN115967851A (zh) | 快速拍照方法、电子设备及计算机可读存储介质 | |
US20240193945A1 (en) | Method for determining recommended scenario and electronic device | |
CN115115679A (zh) | 一种图像配准方法及相关设备 | |
WO2022057384A1 (zh) | 拍摄方法和装置 | |
CN115150542B (zh) | 一种视频防抖方法及相关设备 | |
US20230412929A1 (en) | Photographing Method and Related Apparatus | |
CN116723383B (zh) | 一种拍摄方法及相关设备 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
WO2021204103A1 (zh) | 照片预览方法、电子设备和存储介质 | |
CN117857915A (zh) | 一种拍照方法、拍照装置及电子设备 | |
CN116055863B (zh) | 一种相机的光学图像稳定装置的控制方法及电子设备 | |
WO2023160224A9 (zh) | 一种拍摄方法及相关设备 | |
WO2024046162A1 (zh) | 一种图片推荐方法及电子设备 | |
WO2023035868A1 (zh) | 拍摄方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |