CN111277751B - 拍照方法、装置、存储介质及电子设备 - Google Patents

拍照方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111277751B
CN111277751B CN202010075364.1A CN202010075364A CN111277751B CN 111277751 B CN111277751 B CN 111277751B CN 202010075364 A CN202010075364 A CN 202010075364A CN 111277751 B CN111277751 B CN 111277751B
Authority
CN
China
Prior art keywords
key point
human body
point set
composition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010075364.1A
Other languages
English (en)
Other versions
CN111277751A (zh
Inventor
金越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010075364.1A priority Critical patent/CN111277751B/zh
Publication of CN111277751A publication Critical patent/CN111277751A/zh
Priority to EP20914860.0A priority patent/EP4093015A4/en
Priority to PCT/CN2020/142422 priority patent/WO2021147650A1/zh
Application granted granted Critical
Publication of CN111277751B publication Critical patent/CN111277751B/zh
Priority to US17/870,012 priority patent/US20220360707A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种拍照方法、装置、存储介质及电子设备。该方法包括:对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合;确定与所述拍摄场景对应的构图关键点集合;当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息;当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。本申请可以提高图像的质量。

Description

拍照方法、装置、存储介质及电子设备
技术领域
本申请属于电子技术领域,尤其涉及一种拍照方法、装置、存储介质及电子设备。
背景技术
随着电子设备的不断发展,诸如智能手机等电子设备上的摄像头像素越来越高,使得越来越多的用户倾向使用智能手机等电子设备进行拍照。各大电子设备厂商为满足用户的拍照需求,对电子设备硬件不断更新升级,以提高电子设备的拍照像素。但拍摄出高质量的照片,不但需要电子设备的摄像头具备较高分辨率,而且用户自身也应具备一定的专业摄影技能,如合理的运用构图。然而,大多数用户没有专业的摄影技能,不能合理的运用构图,从而无法拍出高质量的照片。
发明内容
本申请实施例提供一种拍照方法、装置、存储介质及电子设备,可以提高图像的质量。
本申请实施例提供一种拍照方法,应用于电子设备,包括:
对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合;
确定与所述拍摄场景对应的构图关键点集合;
当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息;
当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
本申请实施例提供一种拍照装置,应用于电子设备,包括:
检测模块,用于对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合;
确定模块,用于确定与所述拍摄场景对应的构图关键点集合;
生成模块,用于当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息;
拍摄模块,用于当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的拍照方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的拍照方法中的流程。
本申请实施例中,通过获取拍摄场景中的人体的人体关键点集合,并确定与拍摄场景对应的构图合理的构图关键点集合,在该人体关键点集合与构图关键点集合匹配时,可确认拍摄场景的预览图像构图合理。在该人体关键点集合与构图关键点集合不匹配时,可生成并输出调整电子设备的姿态的提示信息,以使拍摄场景的实时预览图像构图合理。从而可以使得对拍摄场景进行拍摄得到的图像构图合理,进而可以提高图像的质量。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的拍照方法的第一种流程示意图。
图2是本申请实施例提供的拍照方法的第二种流程示意图。
图3是本申请实施例提供的预览图像G1示意图。
图4是本申请实施例提供的人体边界框B1示意图。
图5是本申请实施例提供的人体图像G2示意图。
图6是本申请实施例提供的提示信息示意图。
图7是本申请实施例提供的目标图像G3示意图。
图8是本申请实施例提供的拍照装置的结构示意图。
图9是本申请实施例提供的电子设备的第一种结构示意图。
图10是本申请实施例提供的电子设备的第二种结构示意图。
图11是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等电子设备。
请参阅图1,图1是本申请实施例提供的拍照方法的第一种流程示意图,该拍照方法可应用于电子设备,该流程可以包括:
在101中,对拍摄场景中的人体进行关键点检测,得到该人体的人体关键点集合。
比如,电子设备可获取拍摄场景的预览图像。随后,电子设备可从该预览图像中确定出人体边界框。接着,电子设备可基于该人体边界框从预览图像中裁切出人体图像。最后,电子设备可对该人体图像进行关键点检测,得到拍摄场景中的人体的人体关键点集合。其中,人体关键点集合可包括:鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝等人体关键点中的一种或多种。
其中,电子设备在根据用户操作启动拍摄类应用程序(比如电子设备的***应用“相机”)后,其摄像头所对准的场景即为拍摄场景。比如,用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后,若用户使用电子设备的摄像头对准某一场景,则该场景即为拍摄场景。根据以上描述,本领域技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
在102中,确定与拍摄场景对应的构图关键点集合。
比如,电子设备中预置有多个不同的、构图合理的候选关键点集合。该候选关键点集合可与背景图像对应。其中,一个背景图像可对应多个候选关键点集合。每个候选关键点集合可包括:鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝等候选关键点中的一种或多种。
在本申请实施例中,电子设备可将拍摄场景的预览图像划分为前景图像和背景图像。之后,电子设备可获取该背景图像对应的多个候选关键点集合,并将该多个候选关键点集合中的其中一个候选关键点集合确定为与该拍摄场景对应的构图关键点集合。
其中,前景图像可以为包含“人”的图像、包含动物“猫”的图像、包含动物“狗”的图像等。背景图像可以为“山景”图像、“水景”图像、“海景”图像、“雪景”图像等。
比如,与该拍摄场景对应的构图关键点集合可以为该背景图像对应的多个候选关键点集合中与该人体关键点集合相同或相似的候选关键点集合。例如,假设人体关键点集合包括鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩这8个关键点。若拍摄场景的背景图像对应的多个候选关键点集合中存在一个候选关键点集合也仅包括鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩这8个关键点,电子设备可以确定该候选关键点集合与人体关键点集合相同,则电子设备可将该候选关键点集合确定为与该拍摄场景对应的构图关键点集合。若该多个候选关键点集合中存在一个候选关键点集合也包括鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩这8个关键点,同时还包括其他关键点,如还包括左肘和右肘这2个关键点,电子设备可确定该候选关键点集合与人体关键点集合相似,则电子设备也可以将该候选关键点集合确定为与该拍摄场景对应的构图关键点集合。
在103中,当人体关键点集合与构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息。
比如,当得到人体关键点集合和构图关键点集合之后,电子设备可判断该人体关键点集合与该构图关键点集合是否匹配。若该人体关键点集合与该构图关键点集合不匹配,电子设备可生成并输出调整电子设备的姿态的提示信息,从而使得人体的实时人体关键点集合与构图关键点集合匹配。
可以理解的是,随着电子设备的姿态的不断变化,拍摄场景也随之不断变化。随着拍摄场景的不断变化,对拍摄场景中的人体进行关键点检测,得到的人体关键点集合中的人体关键点的位置也会不断变化。该不断变化位置的人体关键点即为实时人体关键点,由实时人体关键点组成的集合即为实时人体关键点集合。
例如,在判断人体关键点集合与构图关键点集合是否匹配时,电子设备可计算每个人体关键点与对应的构图关键点之间的距离,得到多个距离;随后,电子设备可计算多个距离的平均距离;当该平均距离大于或等于预设平均距离时,电子设备判定人体关键点集合与构图关键点集合不匹配。其中,当人体关键点为鼻子时,与其对应的构图关键点也为鼻子;当人体关键点为左肩时,与其对应的构图关键点也为左肩。
又例如,在判断人体关键点集合与构图关键点集合是否匹配时,电子设备还可以从人体关键点集合中确定出人脸关键点集合,并从构图关键点集合中确定出与该人脸关键点集合对应的目标构图关键点集合。当该人脸关键点集合与该目标构图关键点集合不匹配时,电子设备可判定人体关键点集合与构图关键点集合不匹配。
又例如,在判断人体关键点集合与构图关键点集合是否匹配时,电子设备可确定人体关键点集合所包括的多个人体关键点的横坐标的均值A1和纵坐标的均值A2,并确定构图关键点集合所包括的多个构图关键点的横坐标的均值A3和纵坐标的均值A4。随后,电子设备可根据该均值A1和均值A2确定第一坐标。其中,该均值A1可作为第一坐标的横坐标,该均值A2可作为第一坐标的纵坐标。电子设备可根据该均值A3和均值A4确定第二坐标。其中,该均值A3可作为第二坐标的横坐标,该均值A4可作为第二坐标的纵坐标。接着,电子设备可计算该第一坐标与第二坐标的距离。当第一坐标与第二坐标的距离大于或等于预设距离时,电子设备可判定人体关键点集合与构图关键点集合不匹配。多个人体关键点的横坐标和纵坐标、多个构图关键点的横坐标和纵坐标、第一坐标和第二坐标均为屏幕坐标系中的坐标。
在104中,当人体的实时人体关键点集合与构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
在本申请实施例中,当人体的实时人体关键点集合与构图关键点集合匹配时,电子设备可对拍摄场景进行拍摄,从而得到符合一定美学规则,即构图合理的图像。或者,当人体的实时人体关键点集合与构图关键点集合匹配时,电子设备可生成一提示信息,以提示用户对拍摄场景进行拍摄。那么,用户可点击拍摄类应用程序界面中的“拍摄”按钮,以对拍摄场景进行拍摄,得到符合一定美学规则的目标图像。
可以理解的是,当人体关键点集合与构图关键点集合匹配时,电子设备可直接对拍摄场景进行拍摄,以得到符合一定美学规则,即构图合理的图像。
本申请实施例中,通过获取拍摄场景中的人体的人体关键点集合,并确定与拍摄场景对应的构图合理的构图关键点集合,在该人体关键点集合与构图关键点集合匹配时,可确认拍摄场景的预览图像构图合理。在该人体关键点集合与构图关键点集合不匹配时,可生成并输出调整电子设备的姿态的提示信息,以使拍摄场景的实时预览图像构图合理。从而可以使得对拍摄场景进行拍摄得到的图像构图合理,进而可以提高图像的质量。
在一实施例中,“对拍摄场景中的人体进行关键点检测,得到该人体的人体关键点集合”,包括:
(1)获取拍摄场景的预览图像;
(2)利用人像检测模型对预览图像进行人像检测,得到人体边界框;
(3)基于人体边界框裁切预览图像,得到人体图像;
(4)利用关键点检测模型对人体图像进行关键点检测,得到人体的人体关键点集合。
比如,电子设备可获取拍摄场景的预览图像,并对该预览图像中的对象进行识别,以确认出该预览图像中是否存在单个人体。当该预览图像中存在单个人体时,电子设备可利用预先训练好的人像检测模型对该预览图像进行人像检测,得到人体边界框。电子设备可基于该人体边界框从预览图像中裁切出人体图像。电子设备可利用预先训练好的关键点检测模型对人体图像进行关键点检测,得到预览图像中的人体的人体关键点集合。
可以理解的是,当该预览图像中不存在人体或存在多个人体时,电子设备可结束流程。
在一实施例中,“确定与拍摄场景对应的构图关键点集合”,包括:
(1)将预览图像划分为前景图像和背景图像;
(2)确定背景图像对应的多个候选关键点集合;
(3)确定拍摄场景中的人体的人体类型;
(4)将多个候选关键点集合中与人体类型对应的候选关键点集合确定为与拍摄场景对应的构图关键点集合。
比如,电子设备可利用预先训练好的场景识别模型对预览图像进行场景识别,得到场景识别结果。电子设备可根据场景识别结果将预览图像划分为前景图像和背景图像。场景识别结果可以包括图像的前景标签以及图像的背景标签,电子设备可根据前景标签以及背景标签将预览图像划分为前景图像和背景图像。
其中,前景标签用于描述预览图像中处于显著位置,且可以用矩形框进行标识的对象。背景标签用于描述预览图像的整体信息,如背景标签可以为“山景”、“水景”、“雪景”、“雨景”等,如前景标签可以为“人”、“猫”、“狗”等。例如,对于一个“人站立于湖水边”的预览图像,前景标签可以为“人”,背景标签可以为“水景”,则前景图像可以为包含“人”的图像,背景图像可以为“水景”图像。
需要说明的是,电子设备中可预置多个不同的预置背景图像,并为每个预置背景图像设置多个不同的候选关键点集合。其中,预置背景图像可以为“水景”图像、“山景”图像、“雪景”图像等。每个候选关键点集合可以包括:鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝等候选关键点中的一种或多种。
在将预览图像划分为前景图像和背景图像之后,电子设备可获取多个预置背景图像。随后,电子设备可判断多个预置背景图像中是否存在与该背景图像匹配的预置背景图像。其中,假设背景图像为“水景”图像,预置背景图像中也存在“水景”图像,电子设备可判定多个预置背景图像中存在与该背景图像匹配的预置背景图像。当判定多个预置背景图像中存在与该背景图像匹配的预置背景图像时,电子设备可获取与该背景图像匹配的预置背景图像对应的多个候选关键点集合,并将其作为背景图像对应的多个候选关键点集合。之后,电子设备可确定拍摄场景中的人体的人体类型。然后,电子设备可将多个候选关键点集合中与该人体类型对应的候选关键点集合确定为与拍摄场景对应的构图关键点集合。
可以理解的是,电子设备在为每个预置背景图像设置多个不同的候选关键点集合时,电子设备还可为每个预置背景图像对应的每个候选关键点集合设置对应的类型。例如,若某个候选关键点集合包括鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩等人体胸部以上的关键点时,电子设备可确定该候选关键点集合对应的类型为胸像类型。若某个候选关键点集合包括鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝等人体上半身以及人体下半身的关键点时,电子设备可确定该候选关键点集合对应的类型为全身像类型。在确定出人体类型之后,电子设备可获取背景图像对应的每个候选关键点集合对应的类型,得到多个类型。然后,电子设备可从多个类型中确定出与该人体类型匹配的类型,并将与该人体类型匹配的类型对应的候选关键点集合确定为与人体类型对应的候选关键点集合。例如,假设人体类型为全身像类型,多个类型中包括胸像类型和全身像类型。那么,电子设备可将多个类型中全身像类型对应的候选关键点集合确定为与人体类型对应的候选关键点集合。
在一实施例中,本申请实施例提供的拍照方法,还可以包括:
(1)当与人体类型对应的候选关键点集合有多个时,对于每个与人体类型对应的候选关键点集合,获取其对应的构图边界框;
(2)将多个与人体类型对应的候选关键点集合中构图边界框与人体边界框匹配的候选关键点集合确定为与拍摄场景对应的构图关键点集合。
可以理解的是,可能存在与人体类型对应的候选关键点集合有多个的情况。例如,人体类型为全身像类型,候选关键点集合K1和候选关键点集合K2对应的类型均是全身像类型,仅仅只是候选关键点集合K1和候选关键点集合K2各自所包括的候选关键点在屏幕坐标系中所处的位置不同,那么与人体类型对应的候选关键点集合包括候选关键点集合K1和候选关键点集合K2。
在本申请实施例中,电子设备在为每个预置背景图像设置多个不同的候选关键点集合时,电子设备还可为每个预置背景图像设置多个不同的构图边界框。其中,每个候选关键点集合对应一个构图边界框。当与人体类型对应的候选关键点集合有多个时,对于每个与人体类型对应的候选关键点集合,电子设备可获取其对应的构图边界框。随后,电子设备可将多个与人体类型对应的候选关键点集合中构图边界框与人体边界框匹配的候选关键点集合确定为与拍摄场景对应的构图关键点集合。
其中,某个候选关键点集合对应的构图边界框的高度与人体边界框的高度的差值处于预设第一差值范围内,且该候选关键点集合对应的构图边界框的宽度与人体边界框的宽度的差值处于预设第二差值范围内时,电子设备可判定该候选关键点集合对应的构图边界框与人体边界框匹配。其中,预设第一差值范围和预设第二差值范围可预先存储于电子设备。
在一些实施例中,当多个与人体类型对应的候选关键点集合中构图边界框与人体边界框匹配的候选关键点集合,记为第一候选关键点集合有多个时,电子设备还可以获取每个第一候选关键点集合对应的构图边界框的左上角坐标,并获取人体边界框的左上角坐标,并将多个第一候选关键点集合中构图边界框的左上角坐标与人体边界框的左上角坐标相同的第一候选关键点集合确定为与拍摄场景对应的构图关键点集合。
在另一些实施例中,当多个第一候选关键点集合中构图边界框的左上角坐标与人体边界框的左上角坐标相同的第一候选关键点集合,记为第二候选关键点集合有多个时,电子设备还可以获取每个第二候选关键点集合对应的构图边界框的右下角坐标,并获取人体边界框的右下角坐标,并将多个第二候选关键点集合中构图边界框的右下角坐标与人体边界框的右下角坐标相同的第二候选关键点集合确定为与拍摄场景对应的构图关键点集合。
在一些实施例中,电子设备可预置一构图数据库。构图数据库可以定义为一个哈希表。哈希表是根据键(Key)而直接访问在内存存储位置的数据结构,称为值(Value)。也就是说,它通过计算一个关于键值的函数,将所需查询的数据映射到表中一个位置来访问记录。构图数据库中,键指的是各预置背景图像,如“水景”图像、“山景”图像、“雪景”图像等。值指的是各预置背景图像对应的候选关键点集合和构图边界框。一个预置背景图像可对应多个候选关键点集合和多个构图边界框,其中,每个预置背景图像对应的每个候选关键点集合均与每个预置背景图像对应的一个构图边界框对应。
在实际应用中,当电子设备将预览图像划分为前景图像和背景图像之后,电子设备可获取与该背景图像匹配的预置背景图像,如该背景图像为“水景”图像,与该背景图像匹配的预置背景图像也为“水景”图像。电子设备可将与该背景图像匹配的预置背景图像作为键。电子设备可通过该键在构图数据库中查找到其映射的多个候选关键点集合和多个构图边界框,并将多个该候选关键点集合和多个构图边界框作为该背景图像对应的多个候选关键点集合和多个构图边界框。
在一实施例中,“确定与拍摄场景对应的构图关键点集合”之后,还可以包括:
(1)计算每个人体关键点与对应的构图关键点之间的距离,得到多个距离;
(2)计算多个距离的平均距离;
“人体关键点集合与构图关键点集合不匹配”,包括:平均距离大于或等于预设平均距离。
比如,假设人体关键点集合包括:鼻子N1、左眼LE1、右眼RE1;构图关键点集合包括:鼻子N2、左眼LE2、右眼RE2。电子设备可计算鼻子N1与鼻子N2之间的距离L1、左眼LE1与左眼LE2之间的距离L2以及右眼RE1与右眼RE2之间的距离L3;随后,电子设备可计算距离L1、L2和L3的平均距离。当平均距离大于或等于预设平均距离时,电子设备可判定人体关键点集合与构图关键点集合不匹配。可以理解的是,当平均距离小于预设平均距离时,电子设备可判定人体关键点集合与构图关键点集合匹配。其中,预设平均距离可以根据实际情况预先存储于电子设备中,此处不作具体限制。
在一实施例中,“生成并输出调整电子设备的姿态的提示信息”,包括:
(1)生成多个候选向量;
(2)预测按照每个候选向量调整电子设备的姿态之后所得到的目标人体关键点集合;
(3)将多个候选向量中目标人体关键点集合与构图关键点集合匹配的候选向量确定为目标向量;
(4)根据目标向量生成并输出调整电子设备的姿态的提示信息。
比如,当人体关键点集合与构图关键点集合不匹配时,电子设备可随机地生成多个候选向量。其中,候选向量可以包括大小和方向。例如,候选向量的大小可以为1厘米,方向为水平向右。随后,电子设备可预测按照每个候选向量调整电子设备的姿态之后所得到的目标人体关键点集合。例如,假设某候选向量的大小为1厘米,方向为水平向右,那么,电子设备可预测当用户将电子设备水平向右移动1厘米之后,电子设备对当前拍摄场景中的人体进行关键点检测,得到的目标人体关键点集合。对于每个候选向量对应的目标人体关键点集合,电子设备可检测其是否与构图关键点集合匹配。当某个候选向量对应的目标人体关键点集合与构图关键点集合匹配时,电子设备可将该候选向量确定为目标向量。随后,电子设备可根据目标向量生成并输出调整电子设备的姿态的提示信息。例如,假设目标向量的大小为1厘米,方向为水平向右,那么,电子设备可在显示屏上显示:请将电子设备水平向右移动1厘米。电子设备还可在显示屏上显示一进度条,该进度条的长度与1厘米对应,该进度条可随着电子设备不断向右移动而慢慢变短;该进度条可随着电子设备不断向左移动而慢慢变长。当电子设备移动1厘米时,该进度条也随之消失,因此,用户可根据进度条是否消失来确认是否已将电子设备移动1厘米。
在一实施例中,“确定与拍摄场景对应的构图关键点集合”之后,还可以包括:
(1)从人体关键点集合中确定人脸关键点集合;
(2)获取每个人脸关键点的横坐标,得到多个第一横坐标;
(3)计算多个第一横坐标的第一均值;
(4)当第一均值处于预设均值范围内时,从构图关键点集合中确定与人脸关键点集合对应的目标构图关键点集合;
“人体关键点集合与构图关键点集合不匹配”,可以包括:人脸关键点集合与目标构图关键点集合不匹配。
比如,当从人体关键点集合中选取出的部分人体关键点集合满足预设条件时,电子设备可通过判断该部分人体关键点集合与构图关键点集合中的部分构图关键点集合是否匹配来判断人体关键点集合与构图关键点集合是否匹配。
比如,当得到人体关键点集合和构图关键点集合之后,电子设备可从人体关键点集合中确定人脸关键点集合,如鼻子N1、左眼LE1和右眼RE1。随后,电子设备可获取每个人脸关键点在屏幕直角坐标系中的横坐标,得到多个第一横坐标。接着,电子设备可计算该多个第一横坐标的第一均值。当该第一均值处于预设均值范围内时,电子设备可从构图关键点集合中确定与人脸关键点集合对应的目标构图关键点集合,如鼻子N2、左眼LE2和右眼RE2。随后,电子设备可检测该人脸关键点集合与该目标构图关键点集合是否匹配。若不匹配,电子设备可判定人体关键点集合与构图关键点集合不匹配。若匹配,电子设备可判定人体关键点集合与构图关键点集合匹配。预设均值范围可根据实际情况预先存储于电子设备中。
在一实施例中,“从构图关键点集合中确定与人脸关键点集合对应的目标构图关键点集合”之后,还可以包括:
(1)获取每个人脸关键点的纵坐标,得到多个第一纵坐标,并获取每个目标构图关键点的横坐标和纵坐标,得到多个第二横坐标和多个第二纵坐标;
(2)计算多个第一纵坐标的第二均值、多个第二横坐标的第三均值,以及多个第二纵坐标的第四均值;
(3)根据第一均值和第二均值,确定第一目标坐标,并根据第三均值和第四均值,确定第二目标坐标;
(4)计算第一目标坐标与第二目标坐标之间的第一距离;
“人脸关键点集合与目标构图关键点集合不匹配”,可以包括:第一距离大于或等于第一预设距离。
例如,假设人脸关键点集合包括鼻子N1、左眼LE1和右眼RE1,目标构图关键点集合包括鼻子N2、左眼LE2和右眼RE2。假设鼻子N1的横坐标为1,纵坐标为2;左眼LE1的横坐标为4,纵坐标为1;右眼RE1的横坐标为4,纵坐标为3;鼻子N2的横坐标为3,纵坐标为3;左眼LE2的横坐标为6,纵坐标为2;右眼RE2的横坐标为6,纵坐标为4;第一预设距离为2。则第一均值为3,第二均值为2,第三均值为5,第四均值为3。第一目标坐标为(3,2),第二目标坐标为(5,3)。第一目标坐标与第二目标坐标之间的第一距离为√5。可以确定,该第一距离大于第一预设距离,那么电子设备可以判定人脸关键点集合与目标构图关键点集合不匹配,从而可以判定人体关键点集合与构图关键点集合不匹配。其中,鼻子N1、左眼LE1、右眼RE1、鼻子N2、左眼LE2和右眼RE2各自的横坐标和纵坐标均为屏幕坐标系中的坐标。第一预设距离可根据实际情况预先存储于电子设备中。
在一实施例中,“生成并输出调整电子设备的姿态的提示信息”,包括:
(1)根据第一目标坐标和第二目标坐标确定第一移动方向;
(2)根据第一移动方向和第一距离生成并输出调整电子设备的姿态的提示信息。
可以理解的是,该第一移动方向可以为由第一目标坐标指向第二目标坐标的方向。假设该第一移动方向为水平向右的方向,第一距离为√5,则电子设备可在显示屏上显示:请水平向右移动电子设备。同时,电子设备还可在显示屏上显示一进度条,该进度条与第一距离对应,该进度条可随着电子设备不断向右移动而慢慢变短;该进度条可随着电子设备不断向左移动而慢慢变长。当电子设备移动第一距离时,该进度条也随之消失,因此,用户可根据进度条是否消失来确认是否何时停止移动电子设备。
在一实施例中,“计算多个第一横坐标的第一均值”之后,还可以包括:
(1)当第一均值不处于预设均值范围内时,检测人体关键点集合中是否存在预设关键点;
(2)若人体关键点集合中不存在预设关键点,则获取人体边界框的第一中心坐标,以及构图关键点集合对应的构图边界框的第二中心坐标;
(3)计算第一中心坐标与第二中心坐标之间的第二距离;
“人体关键点集合与构图关键点集合不匹配”,可以包括:第二距离大于或等于第二预设距离。
比如,当第一均值不处于预设均值范围内时,电子设备还可检测人体关键点集合中是否存在预设关键点。若人体关键点集合中不存在预设关键点,电子设备可获取人体边界框的中心坐标,即第一中心坐标,以及构图关键点集合对应的构图边界框的中心坐标,即第二中心坐标。随后,电子设备可计算第一中心坐标与第二中心坐标之间的第二距离。当第二距离大于或等于第二预设距离时,电子设备可判定人体关键点集合与构图关键点集合不匹配。当第二距离小于第二预设距离时,电子设备可判定人体关键点集合与构图关键点集合不匹配。其中,第一中心坐标和第二中心坐标均为屏幕坐标系中的坐标。第二预设距离可根据实际情况预先存储于电子设备中。预设关键点可包括左膝盖、右膝盖、左脚踝、右脚踝等。
例如,当人体关键点集合中不存在预设关键点时,假设第一中心坐标为(1,1),第二中心坐标为(3,3),第二预设距离为2。可以确定,第二距离为√8,该第二距离大于第二预设距离,因此,电子设备可判定人体关键点集合与构图关键点集合不匹配。
在一实施例中,“生成并输出调整电子设备的姿态的提示信息”,包括:
(1)根据第一中心坐标和第二中心坐标确定第二移动方向;
(2)根据第二移动方向和第二距离生成并输出调整电子设备的姿态的提示信息。
可以理解的是,该第二移动方向可以为由第一中心坐标指向第二中心坐标的方向。假设该移动方向为水平向右的方向,第二距离为√8,则电子设备可在显示屏上显示:请水平向右移动电子设备。同时,电子设备还可在显示屏上显示一进度条,该进度条与第二距离对应,该进度条可随着电子设备不断向右移动而慢慢变短;该进度条可随着电子设备不断向左移动而慢慢变长。当电子设备移动第二距离时,该进度条也随之消失,因此,用户可根据进度条是否消失来确认是否何时停止移动电子设备。
在一实施例中,“检测人体关键点集合中是否存在预设关键点”之后,还可以包括:
(1)若人体关键点集合中存在预设关键点,则获取人体边界框的第一中心横坐标,以及构图关键点集合对应的构图边界框的第二中心横坐标;
(2)从构图关键点集合中确定与人脸关键点集合对应的目标构图关键点集合;
(3)获取每个人脸关键点的纵坐标,得到多个第三纵坐标,并获取每个目标构图关键点的纵坐标,得到多个第四纵坐标;
(4)计算多个第三纵坐标的第五均值,以及多个第四纵坐标的第六均值;
(5)根据第一中心横坐标和第五均值,确定第三目标坐标,并根据第二中心横坐标和第六均值,确定第四目标坐标;
(6)计算第三目标坐标与第四目标坐标之间的第三距离;
“人体关键点集合与构图关键点集合不匹配”,可以包括:第三距离大于或等于第三预设距离。
例如,当人体关键点集合中存在预设关键点时,假设人脸关键点集合包括鼻子N1、左眼LE1和右眼RE1,目标构图关键点集合包括鼻子N2、左眼LE2和右眼RE2。假设鼻子N1的纵坐标为2;左眼LE1的纵坐标为1;右眼RE1的纵坐标为3;鼻子N2的纵坐标为3;左眼LE2的纵坐标为2;右眼RE2的纵坐标为4;人体边界框的第一中心横坐标为2;构图关键点集合对应的构图边界框的第二中心横坐标为4;预设第三距离为2。则第五均值为2,第六均值为3。第三目标坐标为(2,2),第四目标坐标为(4,3)。第三目标坐标与第四目标坐标之间的第三距离为√5。可以确定,该第三距离大于第三预设距离,那么电子设备可以判定人体关键点集合与构图关键点集合不匹配。可以理解,若第三距离小于预设距离,则电子设备可判定人体关键点集合与构图关键点集合匹配。其中,人体边界框的第一中心横坐标为人体边界框的中心在屏幕坐标系中的横坐标,构图关键点集合对应的构图边界框的第二中心横坐标为构图关键点集合对应的构图边界框的中心在屏幕坐标系中的横坐标。预设第三距离可根据实际情况存储于电子设备中。预设关键点可包括左膝盖、右膝盖、左脚踝、右脚踝等。
在一实施例中,“生成并输出调整电子设备的姿态的提示信息”,包括:
(1)根据第三目标坐标和第四目标坐标确定第三移动方向;
(2)根据第三移动方向和第三距离生成并输出调整电子设备的姿态的提示信息。
可以理解的是,该第三移动方向可以为由第三目标坐标指向第四目标坐标的方向。假设该移动方向为水平向右的方向,第三距离为√5,则电子设备可在显示屏上显示:请水平向右移动电子设备。同时,电子设备还可在显示屏上显示一进度条,该进度条与第三距离对应,该进度条可随着电子设备不断向右移动而慢慢变短;该进度条可随着电子设备不断向左移动而慢慢变长。当电子设备移动第三距离时,该进度条也随之消失,因此,用户可根据进度条是否消失来确认是否何时停止移动电子设备。
在一实施例中,“对拍摄场景中的人体进行关键点检测,得到该人体的人体关键点集合”之前,还可以包括:
(1)检测电子设备是否处于预设状态;
(2)若电子设备处于预设状态,则执行对拍摄场景中的人体进行关键点检测,得到该人体的人体关键点集合;
(3)若电子设备不处于预设状态,则生成并输出调整电子设备的状态的提示信息;
(4)当调整后的电子设备处于预设状态时,执行对拍摄场景中的人体进行关键点检测,得到人体的人体关键点集合。
比如,预设状态可以为水平状态。为了拍摄出更美观的照片,在对拍摄场景中的人体进行关键点检测,得到人体的人体关键点集合之前,电子设备还可通过陀螺仪传感器等方位传感器获取电子设备的Pitch俯仰角和Roll翻转角。然后通过该Pitch俯仰角和Roll翻转角判断电子设备是否处于水平状态。若该Pitch俯仰角和该Roll翻转角均为180度,电子设备可判定电子设备处于水平状态,那么,电子设备可对拍摄场景中的人体进行关键点检测,得到人体的人体关键点集合。若该Pitch俯仰角不为180度,或该Roll翻转角不为180度,电子设备可判定电子设备不处于水平状态。电子设备可生成并输出调整电子设备的状态的提示信息。例如,该提示信息可以为:请使电子设备处于水平状态。当用户调整电子设备的状态时,电子设备也可持续检测所获取到的Pitch俯仰角和Roll翻转角是否为180度。当检测到所获取到的Pitch俯仰角和Roll翻转角为180度时,电子设备可生成一提示信息,该提示信息用于提示用户停止对电子设备的状态进行调整。当调整后的电子设备处于水平状态时,电子设备可对拍摄场景中的人体进行关键点检测,得到人体的人体关键点集合。
又比如,预设状态可以为垂直状态。为了拍摄出更美观的照片,在对拍摄场景中的人体进行关键点检测,得到人体的人体关键点集合之前,电子设备还可通过陀螺仪传感器等方位传感器获取电子设备的Pitch俯仰角和Roll翻转角。然后通过该Pitch俯仰角和Roll翻转角判断电子设备是否处于垂直状态。若该Pitch俯仰角和该Roll翻转角均为90度,电子设备可判定电子设备处于垂直状态,那么,电子设备可对拍摄场景中的人体进行关键点检测,得到人体的人体关键点集合。若该Pitch俯仰角不为90度,或该Roll翻转角不为90度,电子设备可判定电子设备不处于垂直状态。电子设备可生成并输出调整电子设备的状态的提示信息。例如,该提示信息可以为:请使电子设备处于垂直状态。当用户调整电子设备的状态时,电子设备也可持续检测所获取到的Pitch俯仰角和Roll翻转角是否为90度。当检测到所获取到的Pitch俯仰角和Roll翻转角为90度时,电子设备可生成一提示信息,该提示信息用于提示用户停止对电子设备的姿态进行调整。当调整后的电子设备处于垂直状态时,电子设备可对拍摄场景中的人体进行关键点检测,得到人体的人体关键点集合。
可以理解的是,调整电子设备的状态可以为使得电子设备相对于地面处于水平状态或垂直状态。调整电子设备的姿态可以为在电子设备处于任意状态(包括水平状态或垂直状态)的基础上,将电子设备相对于用户水平向前、水平向后、水平向左、水平向右、垂直向上、垂直向下移动等。
请参阅图2,图2是本申请实施例提供的拍照方法的第二种流程示意图,该拍照方法可应用于电子设备中,该流程可以包括:
201、电子设备获取拍摄场景的预览图像。
比如,如图3所示,电子设备可获取拍摄场景的预览图像G1。
其中,电子设备在根据用户操作启动拍摄类应用程序(比如电子设备的***应用“相机”)后,其摄像头所对准的场景即为拍摄场景。
202、电子设备利用人像检测模型对预览图像进行人像检测,得到人体边界框。
比如,如图4所示,当得到预览图像G1之后,电子设备可利用预先训练好的人像检测模型对预览图像G1进行人像检测,得到人体边界框B1。
需要说明的是,当电子设备利用人像检测模型对预览图像进行人像检测,得到的人体边界框有多个,或未得到人体边界框时,电子设备可直接结束流程。
203、电子设备基于人体边界框从预览图像中裁切出人体图像。
比如,如图5所示,当得到人体边界框B1之后,电子设备可沿着人体边界框对预览图像进行裁切,以从预览图像中裁切出人体图像G2。
204、电子设备利用关键点检测模型对人体图像进行关键点检测,得到人体的人体关键点集合。
比如,当得到人体图像G2之后,电子设备可利用预先训练好的关键点检测模型对人体图像G2进行关键点检测,得到人体的人体关键点集合。其中,人体关键点集合可以包括:鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝等人体关键点中的一种或多种。
205、电子设备将预览图像划分为前景图像和背景图像。
在本申请实施例中,在电子设备获取拍摄场景的预览图像之前,电子设备还可以获取多个图像样本,并获取每个图像样本的前景标签和背景标签。随后,电子设备可利用多个图像样本,以及每个图像样本的前景标签和背景标签对卷积神经网络等深度学习模型进行训练,得到训练好的模型,该训练好的模型可作为场景识别模型。
其中,前景标签用于描述图像样本中处于显著位置,且可以用矩形框进行标识的对象。背景标签用于描述图像样本的整体信息,如背景标签可以为“山景”、“水景”、“雪景”、“雨景”等,如前景标签可以为“人”、“猫”、“狗”等。例如,对于一个“人站立于湖水边”的图像样本,前景标签可以为“人”,背景标签可以为“水景”。
比如,在得到预览图像G1之后,电子设备可利用预先训练好的场景识别模型对预览图像G1进行场景识别,以得到该预览图像G1的前景标签和背景标签,从而根据该预览图像G1的前景标签和背景标签将预览图像G1划分为前景图像和背景图像。对于该预览图像G1,电子设备识别出该预览图像的背景标签为“山景”,那么,该背景图像即为“山景”图像;电子设备识别出该预览图像的前景标签为“人”,那么,该前景图像即为包含“人”的图像。
206、电子设备确定背景图像对应的多个候选关键点集合。
可以理解的是,在本申请实施例中,电子设备中可预置多个不同的预置背景图像,并为每个预置背景图像设置多个不同的、构图合理的候选关键点集合。其中,预置背景图像可以为“水景”图像、“山景”图像、“雪景”图像等。每个候选关键点集合可包括:鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝等候选关键点中的一种或多种。
比如,在将预览图像G1划分为前景图像和背景图像之后,电子设备可获取多个预置背景图像。随后,电子设备可判断多个预置背景图像中是否存在与该背景图像匹配的预置背景图像。其中,假设背景图像为“山景”图像,预置背景图像中也存在“山景”图像,电子设备可判定多个预置背景图像中存在与该背景图像匹配的预置背景图像。当判定多个预置背景图像中存在与该背景图像匹配的预置背景图像时,电子设备可获取与该背景图像匹配的预置背景图像对应的多个候选关键点集合,并将其作为背景图像对应的多个候选关键点集合。
207、电子设备确定人体的人体类型。
208、电子设备将多个候选关键点集合中与人体类型对应的候选关键点集合确定为与拍摄场景对应的构图关键点集合。
在本申请实施例中,当得到背景图像对应的多个候选关键点集合时,电子设备可确定拍摄场景中的人体的人体类型。然后,电子设备可将多个候选关键点集合中与该人体类型对应的候选关键点集合确定为与拍摄场景对应的构图关键点集合。
可以理解的是,电子设备在为每个预置背景图像设置多个不同的候选关键点集合时,电子设备还可为每个预置背景图像对应的每个候选关键点集合设置对应的类型。例如,若某个候选关键点集合包括鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩等人体胸部以上的关键点时,电子设备可确定该候选关键点集合对应的类型为胸像类型。若某个候选关键点集合包括鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝等人体上半身以及人体下半身的关键点时,电子设备可确定该候选关键点集合对应的类型为全身像类型。在确定出人体类型之后,电子设备可获取背景图像对应的每个候选关键点集合对应的类型,得到多个类型。然后,电子设备可从多个类型中确定出与该人体类型匹配的类型,并将与该人体类型匹配的类型对应的候选关键点集合确定为与人体类型对应的候选关键点集合。该与人体类型对应的候选关键点集合可作为与拍摄场景对应的构图关键点集合。例如,假设人体类型为全身像类型,多个类型中包括胸像类型和全身像类型。那么,电子设备可将多个类型中全身像类型对应的候选关键点集合确定为与人体类型对应的候选关键点集合。该与人体类型对应的候选关键点集合可作为与拍摄场景对应的构图关键点集合。
209、电子设备计算每个人体关键点与对应的构图关键点之间的距离,得到多个距离。
210、电子设备计算多个距离的平均距离。
比如,当得到人体关键点集合和构图关键点集合之后,电子设备可计算每个人体关键点与对应的构图关键点之间的距离,得到多个距离。例如,假设人体关键点集合包括:鼻子N1、左眼LE1、右眼RE1、左耳LA1、右耳RA1、脖子K1;构图关键点集合包括:鼻子N2、左眼LE2、右眼RE2、左耳LA2、右耳RA2、脖子K2。电子设备可计算鼻子N1与鼻子N2之间的距离L1。假设鼻子N1为(1,2),鼻子N2为(3,3),则鼻子N1与鼻子N2之间的距离L1为√5。以此类推,电子设备可按照上述方式计算左眼LE1与左眼LE2之间的距离L2;右眼RE1与右眼RE2之间的距离L3;左耳LA1与左耳LA2之间的距离L4、右耳RA1与右耳RA2之间的距离L5;脖子K1与脖子K2之间的距离L6。
当得到距离L1、L2、L3、L4、L5和L6之后,电子设备可计算L1、L2、L3、L4、L5和L6的平均距离。例如,假设L1为√5;L2为√5;L3为4;L4为3;L5为2;L6为4,则平均距离为3。
211、当平均距离大于或等于预设平均距离时,电子设备生成并输出调整电子设备的姿态的提示信息。
比如,当得到平均距离之后,电子设备可判断该平均距离是否大于或等于预设平均距离。若该平均距离大于或等于预设平均距离,电子设备可生成并输出调整电子设备的姿态的提示信息,以使用户根据该提示信息调整电子设备的姿态,从而使得调整电子设备的姿态之后,电子设备所得到的实时平均距离小于预设平均距离。其中,预设平均距离可预先存储于电子设备中。
可以理解的是,随着电子设备的姿态的不断变化,拍摄场景也随之不断变化。随着拍摄场景的不断变化,对拍摄场景中的人体进行关键点检测,得到的人体关键点集合中的人体关键点的位置也会变化。随着人体关键点的位置的不断变化,每个人体关键点与对应的构图关键点之间的距离也会不断变化。随着该距离的不断变化,电子设备所计算出的平均距离也会不断变化。该不断变化的平均距离即为实时平均距离。
例如,在该平均距离大于或等于预设平均距离时,电子设备可生成多个候选向量。其中,候选向量可以包括大小和方向。例如,候选向量的大小可以为1厘米,方向为水平向右。
随后,电子设备可预测按照每个候选向量调整电子设备的姿态之后所得到的目标人体关键点集合。例如,假设某候选向量的大小为1厘米,方向为水平向右,那么,电子设备可预测当用户将电子设备水平向右移动1厘米之后,电子设备对当前拍摄场景中的人体进行关键点检测,得到的目标人体关键点集合。对于每个候选向量对应的每个目标人体关键点,电子设备可计算其与对应的构图关键点之间的距离,得到每个候选向量对应的多个距离。随后,电子设备可计算每个候选向量对应的多个距离的平均距离;最后,电子设备可将多个候选向量中平均距离小于预设平均距离的候选向量确定为目标向量。
接着,电子设备可根据目标向量生成并输出调整电子设备的姿态的提示信息。例如,如图6所示,假设目标向量的大小为1厘米,方向为水平向右,那么,电子设备可在显示屏上显示:请水平向右移动电子设备。电子设备还可在显示屏上显示一进度条,该进度条的长度与1厘米对应,该进度条可随着电子设备不断向右移动而慢慢变短;该进度条可随着电子设备不断向左移动而慢慢变长。当电子设备移动1厘米时,该进度条也随之消失,因此,用户可根据进度条是否消失来确认何时停止移动电子设备。
212、当实时平均距离小于预设平均距离时,电子设备对拍摄场景进行拍摄,得到目标图像。
如图7所示,在本申请实施例中,当实时平均距离小于预设平均距离时,电子设备可对拍摄场景进行拍摄,从而得到符合一定美学规则、构图合理的图像,即目标图像G3。或者,当实时平均距离小于预设平均距离时,电子设备可生成一提示信息,以提示用户对拍摄场景进行拍摄。那么,用户可点击拍摄类应用程序界面中的“拍摄”按钮,以对拍摄场景进行拍摄,得到符合一定美学规则的目标图像G3。
可以理解的是,当通过流程210所得到的平均距离小于预设平均距离时,电子设备可直接对拍摄场景进行拍摄,以得到符合一定美学规则,即构图合理的图像。
请参阅图8,图8为本申请实施例提供的拍照装置的结构示意图。该拍照装置可应用于电子设备,该拍照装置300包括:检测模块301,确定模块302,生成模块303及拍摄模块304。
检测模块301,用于对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合。
确定模块302,用于确定与所述拍摄场景对应的构图关键点集合。
生成模块303,用于当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息。
拍摄模块304,用于当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
在一些实施例中,检测模块301,可以用于:获取拍摄场景的预览图像;利用人像检测模型对所述预览图像进行人像检测,得到人体边界框;基于所述人体边界框从所述预览图像中裁切出人体图像;利用关键点检测模型对所述人体图像进行关键点检测,得到所述人体的人体关键点集合。
在一些实施例中,确定模块302,可以用于:将所述预览图像划分为前景图像和背景图像;确定所述背景图像对应的多个候选关键点集合;确定所述人体的人体类型;将所述多个候选关键点集合中与所述人体类型对应的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合。
在一些实施例中,确定模块302,可以用于:当与所述人体类型对应的候选关键点集合有多个时,对于每个与所述人体类型对应的候选关键点集合,获取其对应的构图边界框;将多个与所述人体类型对应的候选关键点集合中构图边界框与所述人体边界框匹配的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合。
在一些实施例中,确定模块302,可以用于:计算每个人体关键点与对应的构图关键点之间的距离,得到多个距离;计算所述多个距离的平均距离;
生成模块303,可以用于:当所述平均距离大于或等于预设平均距离时,生成并输出调整电子设备的姿态的提示信息。
在一些实施例中,生成模块303,可以用于:生成多个候选向量;预测按照每个候选向量调整电子设备的姿态之后所得到的目标人体关键点集合;将多个候选向量中目标人体关键点集合与所述构图关键点集合匹配的候选向量确定为目标向量;根据所述目标向量生成并输出调整电子设备的姿态的提示信息。
在一些实施例中,确定模块302,可以用于:从所述人体关键点集合中确定人脸关键点集合;获取每个人脸关键点的横坐标,得到多个第一横坐标;计算所述多个第一横坐标的第一均值;当所述第一均值处于预设均值范围内时,从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合;
生成模块303,可以用于:当所述人脸关键点集合与所述目标构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息。
在一些实施例中,确定模块302,可以用于:获取每个人脸关键点的纵坐标,得到多个第一纵坐标,并获取每个目标构图关键点的横坐标和纵坐标,得到多个第二横坐标和多个第二纵坐标;计算所述多个第一纵坐标的第二均值、所述多个第二横坐标的第三均值,以及所述多个第二纵坐标的第四均值;根据所述第一均值和所述第二均值,确定第一目标坐标,并根据所述第三均值和所述第四均值,确定第二目标坐标;计算所述第一目标坐标与所述第二目标坐标之间的第一距离;
生成模块303,可以用于:当所述第一距离大于或等于第一预设距离时,生成并输出调整电子设备的姿态的提示信息。
在一些实施例中,确定模块302,可以用于:当所述第一均值不处于预设均值范围内时,检测所述人体关键点集合中是否存在预设关键点;若所述人体关键点集合中不存在预设关键点,则获取所述人体边界框的第一中心坐标,以及所述构图关键点集合对应的构图边界框的第二中心坐标;计算所述第一中心坐标与所述第二中心坐标之间的第二距离;
生成模块303,可以用于:当所述第二距离大于或等于第二预设距离时,生成并输出调整电子设备的姿态的提示信息。
在一些实施例中,确定模块302,可以用于:若所述人体关键点集合中存在预设关键点,则获取所述人体边界框的第一中心横坐标,以及所述构图关键点集合对应的构图边界框的第二中心横坐标;从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合;获取每个人脸关键点的纵坐标,得到多个第三纵坐标,并获取每个目标构图关键点的纵坐标,得到多个第四纵坐标;计算所述多个第三纵坐标的第五均值,以及所述多个第四纵坐标的第六均值;根据所述第一中心横坐标和所述第五均值,确定第三目标坐标,并根据所述第二中心横坐标和第六均值,确定第四目标坐标;计算所述第三目标坐标与所述第四目标坐标之间的第三距离;
生成模块303,可以用于:当所述第三距离大于或等于第三预设距离时,生成并输出调整电子设备的姿态的提示信息。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的拍照方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的拍照方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图9,图9为本申请实施例提供的电子设备的第一种结构示意图。
该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组401可以包括透镜、图像传感器和图像信号处理器,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像,即RAW图像,并将该RAW图像提供给图像信号处理器处理。图像信号处理器可以对该RAW图像进行格式转换,降噪等处理,得到YUV图像。其中,RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。YUV是一种颜色编码方法,其中Y表示亮度,U表示色度,V表示浓度,人眼从YUV图像中可以直观的感受到其中所包含的自然特征。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合;
确定与所述拍摄场景对应的构图关键点集合;
当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息;
当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
请参阅图10,电子设备400可以包括摄像模组401、存储器402、处理器403、触摸显示屏404、扬声器405、传感器406等部件。
摄像模组401可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图11,图11为本实施例中图像处理电路的结构示意图。如图11所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
触摸显示屏404可以用于接收用户对电子设备的触摸控制操作。扬声器405可以播放声音信号。传感器406可包括陀螺仪传感器、加速度传感器、方向传感器、磁场传感器等,其可用于获取电子设备400的当前姿态。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合;
确定与所述拍摄场景对应的构图关键点集合;
当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息;
当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
在一种实施方式中,处理器403执行对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合时,可以执行:获取拍摄场景的预览图像;利用人像检测模型对所述预览图像进行人像检测,得到人体边界框;基于所述人体边界框从所述预览图像中裁切出人体图像;利用关键点检测模型对所述人体图像进行关键点检测,得到所述人体的人体关键点集合。
在一种实施方式中,处理器403执行确定与所述拍摄场景对应的构图关键点集合时,可以执行:将所述预览图像划分为前景图像和背景图像;确定所述背景图像对应的多个候选关键点集合;确定所述人体的人体类型;将所述多个候选关键点集合中与所述人体类型对应的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合。
在一种实施方式中,处理器403还可以执行:当与所述人体类型对应的候选关键点集合有多个时,对于每个与所述人体类型对应的候选关键点集合,获取其对应的构图边界框;将多个与所述人体类型对应的候选关键点集合中构图边界框与所述人体边界框匹配的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合。
在一种实施方式中,处理器403执行确定与所述拍摄场景对应的构图关键点集合之后,还可以执行:计算每个人体关键点与对应的构图关键点之间的距离,得到多个距离;计算所述多个距离的平均距离;则处理器403执行当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息时,可以执行:当所述平均距离大于或等于预设平均距离时,生成并输出调整电子设备的姿态的提示信息。
在一种实施方式中,处理器403执行生成并输出调整电子设备的姿态的提示信息时,可以执行:生成多个候选向量;预测按照每个候选向量调整电子设备的姿态之后所得到的目标人体关键点集合;将多个候选向量中目标人体关键点集合与所述构图关键点集合匹配的候选向量确定为目标向量;根据所述目标向量生成并输出调整电子设备的姿态的提示信息。
在一种实施方式中,处理器403执行确定与所述拍摄场景对应的构图关键点集合之后,还可以执行:从所述人体关键点集合中确定人脸关键点集合;获取每个人脸关键点的横坐标,得到多个第一横坐标;计算所述多个第一横坐标的第一均值;当所述第一均值处于预设均值范围内时,从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合;则处理器403执行当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息时,可以执行:当所述人脸关键点集合与所述目标构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息。
在一种实施方式中,处理器403执行从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合之后,还可以执行:获取每个人脸关键点的纵坐标,得到多个第一纵坐标,并获取每个目标构图关键点的横坐标和纵坐标,得到多个第二横坐标和多个第二纵坐标;计算所述多个第一纵坐标的第二均值、所述多个第二横坐标的第三均值,以及所述多个第二纵坐标的第四均值;根据所述第一均值和所述第二均值,确定第一目标坐标,并根据所述第三均值和所述第四均值,确定第二目标坐标;计算所述第一目标坐标与所述第二目标坐标之间的第一距离;则处理器403执行当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息时,可以执行:当所述第一距离大于或等于第一预设距离时,生成并输出调整电子设备的姿态的提示信息。
在一种实施方式中,处理器403执行计算所述多个第一横坐标的第一均值之后,还可以执行:当所述第一均值不处于预设均值范围内时,检测所述人体关键点集合中是否存在预设关键点;若所述人体关键点集合中不存在预设关键点,则获取所述人体边界框的第一中心坐标,以及所述构图关键点集合对应的构图边界框的第二中心坐标;计算所述第一中心坐标与所述第二中心坐标之间的第二距离;则处理器403执行当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息时,可以执行:当所述第二距离大于或等于第二预设距离时,生成并输出调整电子设备的姿态的提示信息。
在一种实施方式中,处理器403执行检测所述人体关键点集合中是否存在预设关键点之后,还可以执行:若所述人体关键点集合中存在预设关键点,则获取所述人体边界框的第一中心横坐标,以及所述构图关键点集合对应的构图边界框的第二中心横坐标;从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合;获取每个人脸关键点的纵坐标,得到多个第三纵坐标,并获取每个目标构图关键点的纵坐标,得到多个第四纵坐标;计算所述多个第三纵坐标的第五均值,以及所述多个第四纵坐标的第六均值;根据所述第一中心横坐标和所述第五均值,确定第三目标坐标,并根据所述第二中心横坐标和第六均值,确定第四目标坐标;计算所述第三目标坐标与所述第四目标坐标之间的第三距离;则处理器403执行当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息时,可以执行:当所述第三距离大于或等于第三预设距离时,生成并输出调整电子设备的姿态的提示信息。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对拍照方法的详细描述,此处不再赘述。
本申请实施例提供的所述拍照装置与上文实施例中的拍照方法属于同一构思,在所述拍照装置上可以运行所述拍照方法实施例中提供的任一方法,其具体实现过程详见所述拍照方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述拍照方法而言,本领域普通技术人员可以理解实现本申请实施例所述拍照方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述拍照方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述拍照装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种拍照方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种拍照方法,应用于电子设备,其特征在于,包括:
对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合;
将拍摄场景的预览图像划分为前景图像和背景图像;
确定所述背景图像对应的多个候选关键点集合;
确定所述人体的人体类型;
将所述多个候选关键点集合中与所述人体类型对应的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合;
当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息;
当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
2.根据权利要求1所述的拍照方法,其特征在于,所述对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合,包括:
获取拍摄场景的预览图像;
利用人像检测模型对所述预览图像进行人像检测,得到人体边界框;
基于所述人体边界框从所述预览图像中裁切出人体图像;
利用关键点检测模型对所述人体图像进行关键点检测,得到所述人体的人体关键点集合。
3.根据权利要求2所述的拍照方法,其特征在于,所述方法还包括:
当与所述人体类型对应的候选关键点集合有多个时,对于每个与所述人体类型对应的候选关键点集合,获取其对应的构图边界框;
将多个与所述人体类型对应的候选关键点集合中构图边界框与所述人体边界框匹配的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合。
4.根据权利要求1至3任一项所述的拍照方法,其特征在于,所述将所述多个候选关键点集合中与所述人体类型对应的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合之后,还包括:
计算每个人体关键点与对应的构图关键点之间的距离,得到多个距离;
计算所述多个距离的平均距离;
所述人体关键点集合与所述构图关键点集合不匹配,包括:所述平均距离大于或等于预设平均距离。
5.根据权利要求4所述的拍照方法,其特征在于,所述生成并输出调整电子设备的姿态的提示信息,包括:
生成多个候选向量;
预测按照每个候选向量调整电子设备的姿态之后所得到的目标人体关键点集合;
将多个候选向量中目标人体关键点集合与所述构图关键点集合匹配的候选向量确定为目标向量;
根据所述目标向量生成并输出调整电子设备的姿态的提示信息。
6.根据权利要求1至3任一项所述的拍照方法,其特征在于,所述将所述多个候选关键点集合中与所述人体类型对应的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合之后,还包括:
从所述人体关键点集合中确定人脸关键点集合;
获取每个人脸关键点的横坐标,得到多个第一横坐标;
计算所述多个第一横坐标的第一均值;
当所述第一均值处于预设均值范围内时,从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合;
所述人体关键点集合与所述构图关键点集合不匹配,包括:所述人脸关键点集合与所述目标构图关键点集合不匹配。
7.根据权利要求6所述的拍照方法,其特征在于,所述从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合之后,还包括:
获取每个人脸关键点的纵坐标,得到多个第一纵坐标,并获取每个目标构图关键点的横坐标和纵坐标,得到多个第二横坐标和多个第二纵坐标;
计算所述多个第一纵坐标的第二均值、所述多个第二横坐标的第三均值,以及所述多个第二纵坐标的第四均值;
根据所述第一均值和所述第二均值,确定第一目标坐标,并根据所述第三均值和所述第四均值,确定第二目标坐标;
计算所述第一目标坐标与所述第二目标坐标之间的第一距离;
所述人脸关键点集合与所述目标构图关键点集合不匹配,包括:所述第一距离大于或等于第一预设距离。
8.根据权利要求6所述的拍照方法,其特征在于,所述计算所述多个第一横坐标的第一均值之后,还包括:
当所述第一均值不处于预设均值范围内时,检测所述人体关键点集合中是否存在预设关键点;
若所述人体关键点集合中不存在预设关键点,则获取人体边界框的第一中心坐标,以及所述构图关键点集合对应的构图边界框的第二中心坐标;
计算所述第一中心坐标与所述第二中心坐标之间的第二距离;
所述人体关键点集合与所述构图关键点集合不匹配,包括:所述第二距离大于或等于第二预设距离。
9.根据权利要求8所述的拍照方法,其特征在于,所述检测所述人体关键点集合中是否存在预设关键点之后,还包括:
若所述人体关键点集合中存在预设关键点,则获取所述人体边界框的第一中心横坐标,以及所述构图关键点集合对应的构图边界框的第二中心横坐标;
从所述构图关键点集合中确定与所述人脸关键点集合对应的目标构图关键点集合;
获取每个人脸关键点的纵坐标,得到多个第三纵坐标,并获取每个目标构图关键点的纵坐标,得到多个第四纵坐标;
计算所述多个第三纵坐标的第五均值,以及所述多个第四纵坐标的第六均值;
根据所述第一中心横坐标和所述第五均值,确定第三目标坐标,并根据所述第二中心横坐标和第六均值,确定第四目标坐标;
计算所述第三目标坐标与所述第四目标坐标之间的第三距离;
所述人体关键点集合与所述构图关键点集合不匹配,包括:所述第三距离大于或等于第三预设距离。
10.一种拍照装置,应用于电子设备,其特征在于,包括:
检测模块,用于对拍摄场景中的人体进行关键点检测,得到所述人体的人体关键点集合;
确定模块,用于将拍摄场景的预览图像划分为前景图像和背景图像;确定所述背景图像对应的多个候选关键点集合;确定所述人体的人体类型;将所述多个候选关键点集合中与所述人体类型对应的候选关键点集合确定为与所述拍摄场景对应的构图关键点集合;
生成模块,用于当所述人体关键点集合与所述构图关键点集合不匹配时,生成并输出调整电子设备的姿态的提示信息;
拍摄模块,用于当所述人体的实时人体关键点集合与所述构图关键点集合匹配时,对拍摄场景进行拍摄,得到目标图像。
11.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行权利要求1至9任一项所述的拍照方法。
12.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1至9任一项所述的拍照方法。
CN202010075364.1A 2020-01-22 2020-01-22 拍照方法、装置、存储介质及电子设备 Active CN111277751B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010075364.1A CN111277751B (zh) 2020-01-22 2020-01-22 拍照方法、装置、存储介质及电子设备
EP20914860.0A EP4093015A4 (en) 2020-01-22 2020-12-31 PHOTOGRAPHY METHOD AND APPARATUS, STORAGE MEDIA AND ELECTRONIC DEVICE
PCT/CN2020/142422 WO2021147650A1 (zh) 2020-01-22 2020-12-31 拍照方法、装置、存储介质及电子设备
US17/870,012 US20220360707A1 (en) 2020-01-22 2022-07-21 Photographing method, photographing device, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010075364.1A CN111277751B (zh) 2020-01-22 2020-01-22 拍照方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111277751A CN111277751A (zh) 2020-06-12
CN111277751B true CN111277751B (zh) 2021-06-15

Family

ID=71001190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075364.1A Active CN111277751B (zh) 2020-01-22 2020-01-22 拍照方法、装置、存储介质及电子设备

Country Status (4)

Country Link
US (1) US20220360707A1 (zh)
EP (1) EP4093015A4 (zh)
CN (1) CN111277751B (zh)
WO (1) WO2021147650A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277751B (zh) * 2020-01-22 2021-06-15 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274017A (ja) * 2006-03-30 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
KR101867051B1 (ko) * 2011-12-16 2018-06-14 삼성전자주식회사 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체
JP2014236334A (ja) * 2013-05-31 2014-12-15 株式会社ニコン 撮像装置
CN105100625B (zh) * 2015-08-27 2018-06-12 华南理工大学 一种基于图像美学的人物图像辅助拍摄方法和***
CN107426489A (zh) * 2017-05-05 2017-12-01 北京小米移动软件有限公司 拍摄图像时的处理方法、装置及终端
CN108289174A (zh) * 2018-01-25 2018-07-17 努比亚技术有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN109472198B (zh) * 2018-09-28 2022-03-15 武汉工程大学 一种姿态鲁棒的视频笑脸识别方法
CN109660719A (zh) * 2018-12-11 2019-04-19 维沃移动通信有限公司 一种信息提示方法及移动终端
CN111277751B (zh) * 2020-01-22 2021-06-15 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置

Also Published As

Publication number Publication date
WO2021147650A1 (zh) 2021-07-29
CN111277751A (zh) 2020-06-12
EP4093015A4 (en) 2023-06-21
US20220360707A1 (en) 2022-11-10
EP4093015A1 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
US20200045219A1 (en) Control method, control apparatus, imaging device, and electronic device
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN111327824B (zh) 拍摄参数的选择方法、装置、存储介质及电子设备
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
US20220329729A1 (en) Photographing method, storage medium and electronic device
CN110266954A (zh) 图像处理方法、装置、存储介质及电子设备
KR20130122411A (ko) 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
CN111246092A (zh) 图像处理方法、装置、存储介质及电子设备
CN111031256B (zh) 图像处理方法、装置、存储介质及电子设备
CN110581957B (zh) 图像处理方法、装置、存储介质及电子设备
CN107547789B (zh) 影像获取装置及其摄影构图的方法
CN108462831B (zh) 图像处理方法、装置、存储介质及电子设备
CN111277751B (zh) 拍照方法、装置、存储介质及电子设备
CN108513068B (zh) 图像的选取方法、装置、存储介质及电子设备
JP6937603B2 (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
CN111277752B (zh) 提示方法、装置、存储介质及电子设备
CN114466133A (zh) 拍照方法及装置
CN115908120B (zh) 图像处理方法和电子设备
CN108520036B (zh) 图像的选取方法、装置、存储介质及电子设备
WO2021179819A1 (zh) 照片处理方法、装置、存储介质及电子设备
WO2022183876A1 (zh) 拍摄方法、装置、计算机可读存储介质及电子设备
JP5451364B2 (ja) 被写体追跡装置及びその制御方法
CN116739908A (zh) 图像处理方法、装置及设备
KR20210101571A (ko) 이미지의 생성 방법 및 그 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant