CN116868577A - 用于建议电子设备的拍摄位置的方法及电子设备 - Google Patents
用于建议电子设备的拍摄位置的方法及电子设备 Download PDFInfo
- Publication number
- CN116868577A CN116868577A CN202180094209.7A CN202180094209A CN116868577A CN 116868577 A CN116868577 A CN 116868577A CN 202180094209 A CN202180094209 A CN 202180094209A CN 116868577 A CN116868577 A CN 116868577A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- guidance
- electronic device
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 18
- 230000005484 gravity Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
公开了一种建议电子设备的拍摄位置的方法。电子设备具有照相机以及用于实时显示照相机所捕获的图像的显示器。该方法包括获取由照相机所捕获的图像,获取与该图像对应的深度图像,检测深度图像中的多个对象并从多个对象中选择主对象和辅对象,基于与主对象和辅对象有关的对象信息来确定用于移动电子设备的引导方向,以及在显示器上利用图像显示指示引导方向的引导UI。
Description
技术领域
本公开涉及用于建议电子设备的拍摄位置的方法,以及实现此方法的电子设备。
背景技术
近年来,诸如智能手机的具有照相机的电子设备捕获的图像经常被上传到社交网络服务(social network service,SNS)等。当利用智能手机拍摄诸如桌子上的盘子之类的对象时,用户优选地拍摄构图具有距离感或深度感的图像,并且还通过应用散景处理(bokeh processing)来拍摄能够强调距离感的图像。
对于不熟悉捕获图像的用户来说,确定用于拍摄具有距离感的图像的合适的拍摄位置是很难的。虽然可以期待智能手机来处理用户捕获的图像以将所捕获的图像转换为具有距离感的图像。然而,改变用户捕获的图像的构图为具有距离感的构图并不是一件容易的事情。
发明内容
本公开旨在解决上述技术问题中的至少一个。因此,本公开需要提供一种建议电子设备的拍摄位置的方法以及实现这种方法的电子设备。
本公开提供了一种建议电子设备的拍摄位置的方法,该电子设备具有照相机和用于实时显示由照相机捕获的图像的显示器。该方法可以包括:
获取由照相机捕获的图像;
获取与该图像对应的深度图像;
检测深度图像中的多个对象,并从多个对象中选择主对象和辅对象;
基于与主对象和辅对象相关的对象信息,确定用于移动电子设备的引导方向;以及
在显示器上利用图像显示指示引导方向的引导UI。
在一些实施例中,引导UI可以覆盖在由照相机所捕获的图像上。
在一些实施例中,基于与主对象和辅对象相关的对象信息来确定用于移动电子设备的引导方向可以包括:
确定照相机是否足够靠近主对象;以及
如果照相机没有足够靠近主对象,则将沿着与X-Y平面垂直的Z轴靠近主对象的方向确定为引导方向,其中,X-Y平面平行于显示器的表面。
在一些实施例中,在显示器上利用图像显示指示引导方向的引导UI可以包括:将用于要求电子设备的用户将照相机靠近主对象的消息显示为引导UI。
在一些实施例中,确定照相机是否足够靠近主对象可以包括:
计算图像中的主对象的尺寸与该图像的尺寸之间的比率;以及
如果该比率大于预定值,则确定照相机足够靠近主对象。
在一些实施例中,确定照相机是否足够靠近主对象可以包括:
根据深度图像获取照相机与主对象之间的距离,该深度图像是由距离传感器模块获取的;以及
如果该距离短于预定距离,则确定照相机足够靠近主对象。
在一些实施例中,基于与主对象和辅对象相关的对象信息来确定用于移动电子设备的引导方向可以包括:
确定主对象是否位于与显示器的表面平行的X-Y平面中的合适位置;以及
如果主对象没有位于X-Y平面中的合适位置,则将X-Y平面中把照相机引导至合适位置的方向确定为所述引导方向。
在一些实施例中,在显示器上利用图像显示指示引导方向的引导UI可以包括:将指示确定的方向的箭头显示作为引导UI。
在一些实施例中,确定主对象是否位于与显示器的表面平行的X-Y平面中的合适位置可以包括:
计算主对象的参考点;
如果参考点位于预定区域内,则确定主对象位于X-Y平面中的合适位置。
在一些实施例中,确定主对象是否位于与显示器的表面平行的X-Y平面中的合适位置可以包括:
计算主对象的第一参考点和辅对象的第二参考点;
如果主对象的第一参考点位于预定区域内并且辅对象的第二参考点位于主对象的相对侧,则确定主对象位于X-Y平面中的合适位置。
在一些实施例中,预定区域可以是以下三分之一网格点为中心的区域。
在一些实施例中,基于与主对象和辅对象相关的对象信息确定用于移动电子设备的引导方向可以包括:
确定主对象和辅对象是否恰当地布置在与X-Y平面垂直的Z轴方向上,该X-Y平面与显示器的表面平行;以及
如果主对象和辅对象没有恰当地布置在Z轴方向上,则将沿着Y轴围绕主对象旋转以把照相机引导到主对象和次对象恰当地布置在Z轴方向上的位置的方向确定为引导方向。
在一些实施例中,在显示器上利用图像显示指示引导方向的引导UI可以包括:将围绕与Y轴平行的虚拟轴旋转的图标显示为引导UI,该虚拟轴穿过主对象。
在一些实施例中,确定主对象和辅对象是否恰当地布置在与X-Y平面(该X-Y平面平行于显示器的表面)垂直的Z轴方向上可以包括:
计算X-Z平面中的角度,该角度是连接主对象和辅对象的第一线与平行于X轴的第二线之间的角度;以及
如果角度在预定范围内,则确定主对象和辅对象恰当地布置在Z轴方向上。
在一些实施例中,基于与主对象和辅对象相关的对象信息来确定用于移动电子设备的引导方向可以包括:
确定对照相机的俯角是否合适;以及
如果该俯角不合适,则将沿着X轴围绕主对象旋转以把所述相机引导到俯角合适的位置的方向确定为引导方向。
在一些实施例中,在显示器上利用图像显示指示引导方向的引导UI可以包括:将围绕与X轴平行的虚拟轴旋转的图标显示为引导UI,该虚拟轴穿过主对象。
在一些实施例中,确定照相机的俯角是否合适可以包括:
计算沿Y轴主对象与辅对象之间的距离;以及
如果该距离与显示器的屏幕高度之间比率在预定范围内,则确定照相机的俯角是合适的。
本公开提供了一种电子设备。该电子设备可以包括:处理器和用于存储指令的存储器,其中,当指令由处理器执行时,使得处理器执行根据本公开的方法。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序由计算机执行以实现根据本公开的方法。
附图说明
根据参照附图进行的以下描述,本公开的实施例的这些和/或其他方面和优点将变得明显并更容易理解,在附图中:
图1是示出根据本公开的实施例的电子设备的配置示例的电路图;
图2示出了电子设备正在捕获处于平面P上的多个对象的图像的情况;
图3是示出根据本公开的实施例的为电子设备建议拍摄位置的方法的流程图;
图4示出了由电子设备捕获的RGB图像(左图)和深度图像(右图)的示例;
图5是详细示出检测深度图像中的对象的方法的流程图;
图6是详细示出确定移动电子设备的引导方向并显示引导UI的方法的流程图;
图7示出了沿着Z轴靠近主对象的引导方向;
图8是在电子设备上显示的图像的示例,该图像包括对象的RGB图像和引导UI;
图9示出了X-Y平面中的引导方向;
图10是说明确定主对象是否位于X-Y平面中的合适位置的方法的图;
图11是在电子设备上显示的图像的示例,该图像包括对象的RGB图像和引导UI;
图12示出了沿着Y轴围绕主对象旋转的引导方向;
图13是说明X-Z平面中的角度θa和θt的图,该角度θa和θt用于确定主对象和次对象是否恰当地布置在Z轴方向上;
图14是在电子设备上显示的图像的示例,该图像包括对象的RGB图像和引导UI;
图15示出了沿着X轴围绕主对象旋转的引导方向;
图16是说明确定照相机的俯角是否合适的方法的图;以及
图17是在电子设备上显示的图像的示例,该图像包括对象的RGB图像和引导UI。
具体实施方式
将详细描述本公开的实施例,并且将在附图中示出实施例的示例。在整个说明书中,相同或相似的元件和具有相同或相似功能的元件由相同的附图标记表示。本文中参考附图进行描述的实施例是解释性的,其旨在说明本公开,但不应被解释为限制本公开。
<电子设备100>
将参照图1描述电子设备100。图1是示出根据本公开的实施例的电子设备100的配置的示例的电路图。
在该实施例中,电子设备100是例如智能手机等的移动设备,但是可以是配备有一个或多个照相机模块的其他类型的电子设备。
如图1所示,电子设备100包括照相机模块10、距离传感器模块20和对照相机模块10和距离传感器模块20进行控制的图像信号处理器30。图像信号处理器30对辅相机模块10获取的图像和从距离传感器模块20获取的深度图像执行图像处理。
如图1所示,照相机模块10包括双目立体观看(binocular stereo viewing)的主相机模块11和辅相机模块12。
如图1所示,主相机模块11包括能够聚焦于对象的第一透镜11a、检测经由第一透镜11a输入的图像的第一图像传感器11b以及驱动第一图像传感器11b的第一图像传感器驱动器11c。
如图1所示,辅相机模块12包括能够聚焦于对象的第二透镜12a、检测经由第二透镜12a输入的图像的第二图像传感器12b以及驱动第二图像传感器12b的第二图像传感器驱动器12c。
主相机模块11捕获主相机图像。类似地,辅相机模块12捕获辅相机图像。主相机图像和辅相机图像可以是彩色图像(例如RGB图像)或单色图像。
距离传感器模块20捕获深度图像。具体地,距离传感器模块20通过向对象发射脉冲光并检测来自对象的反射光来获取飞行时间(time of flight,ToF)深度信息。ToF深度信息指示电子设备100和对象之间的实际距离。
图像信号处理器30控制主相机模块11、辅相机模块12和距离传感器模块20来捕获图像。基于主相机图像、辅相机图像和ToF深度信息,可以获得具有散景的图像。
此外,如图1所示,电子设备100包括全球导航卫星***(global navigationsatellite system,GNSS)模块40、无线通信模块41、编解码器(CODEC)42、扬声器43、麦克风44、显示模块45、输入模块46、惯性测量单元(inertial measurement unit,IMU)47、主处理器48和存储器49。
GNSS模块40测量电子设备100的当前位置。无线通信模块41执行与互联网的无线通信。CODEC 42使用预定的编码/解码方法双向地执行编码和解码。扬声器43根据由CODEC42解码后的声音数据来输出声音。麦克风44基于输入的声音向CODEC 42输出声音数据。
显示模块45显示例如主相机图像等的各种信息,以便用户可以检查主相机图像。显示模块45实时显示由照相机模块10捕获的图像。
输入模块46通过用户的操作来输入信息。例如,输入模块46输入指令以捕获和存储在显示模块45上显示的图像。
IMU 47检测电子设备100的角速度和加速度。通过IMU 47的测量结果可以掌握电子设备100的姿态。显示模块45可以根据电子设备100的姿态显示图像。
主处理器48对全球导航卫星***(GNSS)模块40、无线通信模块41、CODEC 42、扬声器43、麦克风44、显示模块45、输入模块46和IMU 47进行控制。
存储器49对由照相机模块10捕获的图像的数据、由距离传感器模块20捕获的深度图像的数据以及在图像信号处理器30和/或主处理器48上运行的程序进行存储。
关于电子设备100的配置,可以省略主相机模块11和辅相机模块12中的一个,也可以省略距离传感器模块20。因此,照相机模块10对于本公开来说不是必要的。同样,距离传感器模块20也不是必需的。
在本文中,将参考图2描述电子设备100使用的XYZ坐标系。图2示出了电子设备100正在捕获第一对象S1和第二对象S2的图像的情况。对象S1和S2处于平面P上,例如桌子表面或地板表面。
X轴是在显示模块45上显示的预览图像中的水平轴。Y轴是预览图像中的垂直轴。X-Y平面与显示模块45的显示器平行。Z轴是与X轴和Y轴都正交的轴。Z轴指示沿着深度方向的方向。XYZ坐标系的原点可以位于照相机模块10处。可以根据由IMU 47检测到的电子设备100的姿态来更新XYZ坐标系。
<建议拍摄位置的方法>
将描述为试图捕获第一对象S1和第二对象S2的图像的电子设备100的用户建议拍摄位置的方法。图3是示出根据本公开的实施例的方法的流程图。
在步骤S1中,图像信号处理器30获取由照相机模块10拍摄的图像。如图4所示,在该步骤中获取图像I1。第一对象S1和第二对象S2处于平面P上。
可以获取RGB图像作为图像。可以利用主相机模块11或辅相机模块12捕获图像。
在步骤S2中,图像信号处理器30获取由距离传感器模块20捕获的深度图像。如图4所示,在该步骤中获取深度图像I2。深度图像I2与在步骤S1中获取的图像I1对应。与图像I1类似,第一对象S1和第二对象S2处于深度图像I2中的平面P上。
可选地,当电子设备100没有设置距离传感器模块20时,可以通过对主相机图像和辅相机图像执行立体处理(stereo processing)来获取深度图像。
可选地,当照相机模块10仅具有主相机模块11和辅相机模块12中的一个时,或者当电子设备100没有设置距离传感器模块20时,可以通过移动单个照相机执行“移动立体处理”来获取深度图像。视觉同步定位和映射(simultaneous localization and mapping,SLAM)可以用作移动立体处理技术。
在步骤S3中,图像信号处理器30检测在步骤S2中捕获的深度图像I2中的多个对象,并从多个对象中选择主对象和辅对象。将参考图5描述该步骤的细节。图5是示出步骤S3的示例的流程图。
在步骤S31中,图像信号处理器30检测对象所处的平面。例如,在该步骤中,可以使用随机抽样一致性(RANdom Sample Con-sensus,RANSAC)方法来检测平面。
在步骤S32中,图像信号处理器30确定是否检测到平面。如果检测到平面,则进行步骤S33。否则,结束检测流程。如果检测到的平面不平坦,则也结束检测处理流程。
在步骤S33中,图像信号处理器30将平面P和背景B排除在外。
在步骤S34中,图像信号处理器30执行聚类处理以将小对象归为一组。例如,具有噪声的基于密度的空间聚类(density-based spatial clustering of applicationswith noise,DBSCAN)可以用于聚类处理。
在步骤S35中,图像信号处理器30忽略小对象以去除噪声。从而获取与深度图像中每个剩余对象的位置和大小有关的信息。
在步骤S36中,图像信号处理器30从经步骤S35之后留下的对象中选择主对象和辅对象。例如,当电子设备100设置有距离传感器模块20时,处理器30选择离电子设备100最近的对象作为主对象,并且选择离电子设备10第二近的对象作为辅对象。在该示例中,第一对象S1被选择为主对象,第二对象S2被选择为辅对象。
可选地,处理器30可以基于主对象和辅对象的大小来选择主对象和辅对象。
返回图3的流程图,将描述步骤S3之后的步骤S4。
在步骤S4中,图像信号处理器30基于对象信息确定用于移动电子设备100的引导方向。对象信息是在步骤S3中选择的与主对象和辅对象相关的信息。具体地,对象信息指示以下中的至少一个:(一个或多个)所选对象的位置、(一个或多个)所选对象的大小以及(一个或多个)所选对象与照相机模块10之间的距离。
在步骤S5中,显示模块45利用图像显示引导UI。引导UI指示在步骤S4中确定的引导方向。
将参照图6描述步骤S4和步骤S5的细节。图6示出了每当照相机模块10捕获图像时所执行的流程图。
在步骤S41中,图像信号处理器30确定照相机模块10是否足够靠近主对象S1。如果确定照相机模块10没有足够靠近主对象S1,如图7所示,图像信号处理器30将沿着Z轴靠近主对象以将照相机模块10引导得更靠近主对象S1的方向确定为引导方向(guidedirection,GD)。
为了确定照相机模块10是否足够靠近主对象S1,图像信号处理器30可以计算图像中的主对象S1的大小与该图像的整体大小的比率。主对象S1的大小可以是围绕主对象S1的形状(例如,矩形框)的面积。如果该比率大于预定值(例如,14%),则图像信号处理器30确定照相机模块10足够靠近主对象S1。
可选地,图像信号处理器30可以根据深度图像获取照相机模块10和主对象S1之间的距离,该深度图像是由距离传感器模块20获得的。如果该距离短于预定距离(例如,30cm),则图像信号处理器30确定照相机模块10足够靠近主对象S1。
如果确定照相机模块10没有足够靠近主对象S1,则处理进入步骤S51。
在步骤S51中,电子设备100将用于要求电子设备100的用户把照相机10移动得更靠近主对象S1的消息显示为引导UI。例如,如图8所示显示引导UI1“靠近些!”。引导UI1可以覆盖在显示模块45上所显示的实时图像上。引导UI1使得用户容易知道他/她应该在Z轴方向的方向上移动电子设备100。用户遵循引导UI1来将电子设备100(照相机模块10)移动得更靠近主对象。
可选地,引导UI1可以是语音消息。
否则(即,在照相机10足够靠近主对象S1的情况下),处理进入步骤S42。
在步骤S42中,图像信号处理器30确定主对象S1是否位于由照相机模块10捕获的图像的X-Y平面中的合适位置。如果确定主对象S1没有位于X-Y平面中的合适位置,则如图9所示,图像信号处理器30将X-Y平面中将照相机模块10引导到合适位置的方向确定为引导方向GD。
图10是用于说明确定主对象是否位于X-Y平面中的合适位置的方法的图。在该示例中,RGB图像实际上被两条水平线HL1、HL2和两条垂直线VL1、VL2分成九个相等的部分。水平线HL1和垂直线VL1的交点是目标点T。目标点T是下三分之一网格点。通过建议拍摄位置使得主物体的参考点位于目标点T处或包括目标点T的区域中。
例如,图像信号处理器30计算主对象S1的重心C1作为参考点,以及如果中重心C1位于以目标点T为中心的区域内,则确定主对象S1位于X-Y平面中的合适位置。
可选地,图像信号处理器30可以计算主对象S1的第一参考点和辅对象S2的第二参考点。第一参考点可以是主对象S1的重心C1,第二参考点可以是辅对象S2的重心C2。如果主对象S1的第一参考点(例如,重心C1)位于包括目标点T的预定区域内,并且辅对象S2的第二参考点(例如,重心C2)位于主对象的相对侧,则图像信号处理器30确定主对象S1位于X-Y平面中的合适位置。换句话说,如图10所示,重心C2位于图像的对角线上。在本文中,对角线穿过主对象S1。
如果确定主对象S1没有位于X-Y平面中的合适位置,则处理进入步骤S52。
在步骤S52中,电子设备100将指示确定方向的箭头显示为引导UI。例如,如图11所示,所显示的引导UI2是例如具有箭头的手机图标。引导UI2可以覆盖在显示模块45上显示的实时图像上。引导UI2使得用户容易知道在X-Y平面上他/她应该移动电子设备100的方向。用户遵循引导UI2在X-Y平面上移动电子设备100(照相机模块10),使得主对象位于屏幕的角落。
可选地,引导UI2可以是语音消息。
可选地,可以如图11所示显示指示主对象S1的帧M1,使得电子设备100的用户容易识别主对象。
否则(即,在主对象S1位于X-Y平面中的合适位置的情况下),处理进入步骤S43。
在步骤S43中,图像信号处理器30确定主对象S1和辅对象S2是否恰当地布置在Z轴方向上。如图12所示,如果确定主对象S1和次对象S2没有恰当地布置在Z轴方向上,则图像信号处理器30将确定如下方向为引导方向:在该方向上,沿着Y轴围绕主对象S1旋转以将照相机模块10引导到主对象S1和辅对象S2恰当地布置在Z轴方向上的位置。
在本公开中,基于由主对象S1和次对象S2之间的位置关系而形成的角度θa,来确定主对象S1和次对象S2是否恰当地布置在Z轴方向上。图13是用于说明X-Z平面中的角度θa和目标角度θt的图。角度θa是线L1和平行于X轴的线L2之间的角度。线L1连接主对象S1和辅对象S2。例如,线L1是连接重心C1和重心C2的线。目标角度θt是定义所确定的范围的角度。例如,目标角度θt为45°。
更具体地,首先,图像信号处理器30计算角度θa,然后,如果角度θa在由目标角度θt所定义的预定范围内,则确定主对象S1和辅对象S2恰当地布置在Z轴方向上。预定范围是以目标角度θt为中心的范围(例如θt±10°)。
如果确定主对象S1和次对象S2没有恰当地布置在Z轴方向上,则处理进入到步骤S53。
在步骤S53中,电子设备100将显示围绕与Y轴平行的虚拟轴旋转的图标作为引导UI,该虚拟轴穿过主对象S1。例如,如图14所示,所显示的引导UI3例如是围绕虚拟轴旋转的动画手机图标。引导UI3可以覆盖在显示模块45上显示的实时图像上。引导UI3使得用户容易知道在X-Z平面上他/她应该移动电子设备100的旋转方向。用户遵循引导UI3在X-Z平面中移动电子设备100(照相机模块10),使得主对象和辅对象位于对角线位置。
可选地,引导UI3可以是语音消息。
可选地,如图14所示,可以显示指示主对象S1的帧M1,使得电子设备100的用户容易识别主对象。
否则(即,在主对象S1和次对象S2恰当地布置在Z轴方向上的情况下),处理进入到步骤S44。
在步骤S44中,图像信号处理器30确定照相机模块10的俯角是否合适。如果确定俯角不合适,则如图15所示,图像信号处理器30将沿着X轴围绕主对象S1旋转以将照相机模块10引导到俯角合适的位置处的方向确定为引导方向GD。
在本公开中,基于沿着Y轴在主对象S1与辅对象S2之间的距离Dh来确定俯角是否合适。图16是用于说明确定俯角是否合适的方法的图。在该示例中,距离Dh是重心C1和重心C2之间的垂直距离。如果距离Dh与显示器的屏幕高度H的比率在预定范围内(例如,20%±10%),则确定照相机模块10的俯角是合适的。
更具体地,首先,图像信号处理器30计算距离Dh,然后,如果比率在预定范围内,则确定照相机模块10的俯角是合适的。
如果确定照相机模块10的俯角不合适,则处理进入到步骤S54。
在步骤S54中,电子设备100显示围绕与X轴平行的虚拟轴旋转的图标作为引导UI。虚拟轴穿过主对象S1。例如,如图16所示,所显示的引导UI4例如是围绕虚拟轴旋转的动画手机图标。引导UI4可以覆盖在显示模块45上显示的实时图像上。引导UI4使得用户容易知道围绕虚拟轴旋转而使得他/她应该移动电子设备100的方向。根据引导UI4,用户容易地围绕虚拟轴来移动电子设备100(照相机模块10),从而可以获得合适的俯角。
可选地,引导UI4可以是语音消息。
可选地,如图16所示,可以显示指示主对象S1的帧M1,使得电子设备100的用户容易识别主对象。
否则(即,在照相机模块10的俯角合适的情况下),处理进入到步骤S55。
在步骤S55中,电子设备100将显示通知用户电子设备100处于拍摄主对象S1和辅对象S2的良好位置的消息作为引导UI。例如,如图17所示,以在实时图像上叠加的方式来显示引导UI5“准备完毕”。
可选地,引导UI5可以是语音消息。
主处理器48可以执行上述步骤中的至少一个。
根据上述公开,考虑到主对象S1、辅对象S2和照相机模块10之间的位置关系,能够向电子设备100的用户建议拍摄位置,使得他/她可以容易地捕获具有距离感构图的图像。因此,即使用户不具有拍摄图像的特殊技能或经验,他/她也可以捕获对象之间具有距离感的图像。此外,电子设备100可以通过对图像应用散景处理来加强距离感。
在对本公开实施例的描述中,应当理解的是,诸如“中心的”、“纵向的”、“横向的”、“长度”、“宽度”、“厚度”、“较上的”、“较下的”、“前面的”、“后面的”、“背面的”、“左边的”、“右边的”、“垂直的”、“水平的”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”之类的术语在探讨时应该被解释为指代附图中所描述或示出的方向或位置。这些相关术语仅用于简化本公开的描述,并不指示或暗示所提及的装置或元件必须具有特定方向或必须以特定方向构造或操作。因此,这些术语不能构造为限制本公开。
此外,本文使用诸如“第一”和“第二”之类的术语的目的是用于描述,不旨在指示或暗示相对重要性或意义,或者暗示所指示的技术特征的数量。因此,定义为“第一”和“第二”的特征可以包括一个或多个该特征。在本公开的说明书中,除非另有规定,否则“多个”意味着“两个或多于两个”。
在本公开实施例的描述中,除非另有规定或限制,否则广泛使用“安装的”、“连接的”、“耦接的”等术语,并且可以是例如固定的连接、可拆卸的连接或整体的连接,也可以是机械的或电气的连接,也可以是通过中间结构直接的连接或间接的连接,也可以是本领域技术人员能够理解的根据特定情况下两个元件的内部通信。
在本公开的实施例中,除非另有规定或限制,否则第一特征“在”第二特征“上”或“在”第二特征“下”的结构可以包括第一特征与第二特征直接接触的实施例,也可以包括第一特征和第二特征彼此不直接接触,而是通过形成在二者之间的附加特征来接触的实施例。此外,“在第二特征上(相接触)”、“在第二特征之上”或“在第二特征顶上”的第一特征可以包括第一特征正交或倾斜地“在第二特征上”、“在第二特征之上”或“在第二特征顶上”的实施例,或者只意味着第一特征处于比第二特征高的位置。而“在第二特征下方”、“在第二特征下”或“在第二特征底下”的第一特征可以包括第一特征正交地或倾斜地“在第二特征下方”、“在第二特征下”或“在第二特征底下”的实施例,或者只意味着第一特征处于比第二特征低的位置。
上述说明提供了各种实施例和示例来实现本公开的不同结构。为了简化本公开,上文描述了特定的元件和设置。然而,这些元件和设置仅作为示例,并不旨在限制本公开。此外,附图标记和/或附图字母可以在本公开的不同示例中重复。这种重复是为了简化和清晰,并不指代不同实施例和/或设置之间的关系。此外,本公开提供了不同工艺和材料的示例。但是,本领域技术人员应该理解,也可以应用其他工艺和/或材料。
在整个说明书中提及的“实施例”、“一些实施例”、“示例性实施例”、“示例性实施例”、“示例”、“特定示例”或“一些示例”意味着结合实施例或示例描述的具体特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。因此,在整个说明书中出现的上述短语不一定指代本公开相同的实施例或示例。此外,特定特征、结构、材料或特性能够在一个或多个实施例或示例中以任何合适的方式组合。
在流程图中描述的或本文以其他方式描述的任何过程或方法可以理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令的代码的一个或多个模块、片段或部分,并且本公开的优选实施例的范围包括其他实现方式,本领域技术人员应该理解,在该其他实现方式中,功能能够以不同于示出的或讨论的顺序实现,包括以基本相同的顺序或以相反的顺序实现。
本文以其他方式描述的或在流程图中示出的逻辑和/或步骤(例如,用于实现逻辑功能的可执行指令的特定顺序表)可以在任何计算机可读介质中具体实现,该计算机可读介质由指令执行***、设备或装置(例如基于计算机的***、包括处理器的***或能够从执行指令的指令执行***、设备和装备获得指令的其他***)使用,或者将与指令执行***、装置或设备结合使用。就说明书而言,“计算机可读介质”可以是适于包括、存储、通信、传播或传输程序的任何设备,该程序由指令执行***、设备或装备使用或结合它们使用。计算机可读介质的更具体示例包括但不限于:具有一根或多根导线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤设备和便携式光盘只读存储器(CDROM)。此外,计算机可读介质甚至可以是能够在其上打印程序的纸或其他合适的介质,因为例如当需要以电子方式获得程序时,可以光学扫描纸或其他合适的介质,然后以其他合适的方法编译、解码或处理,然后可以把程序存储在计算机存储器中。
应当理解的是,本公开的每部分可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中,多个步骤或方法可以通过存储在存储器中的软件或固件来实现,并由合适的指令执行***来执行。例如,如果通过硬件实现,与另一个实施例类似,步骤或方法可以通过本领域已知的以下技术之一或组合来实现:具有用于实现数据信号逻辑功能的逻辑门电路的分立逻辑电路、具有合适组合的逻辑门电路的专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
本领域技术人员应当理解,本公开的上述示例性方法中步骤的全部或部分可以通过使用程序命令相关硬件来实现。程序在计算机上运行时可以存储在计算机可读存储介质中,该程序包括本公开的方法实施例的各步骤中的一个或组合。
此外,本公开的实施例的每个功能单元可以集成在处理模块中,或者这些单元可以是物理分离的,或者两个或多个单元集成在处理模块中。集成模块能够以硬件的形式或以软件功能模块的形式来实现。当集成模块以软件功能模块的形式来实现并作为独立产品出售或使用时,集成模块可以存储在计算机可读存储介质中。
上述存储介质可以是只读存储器、磁盘和CD等。
尽管已经示出和描述了本公开的实施例,但是本领域技术人员应当理解,这些实施例是解释性的,并不能被解释为限制本公开,并且在不脱离本公开的范围的情况下,可以对实施例进行改变、修改、替代和变化。
Claims (19)
1.一种建议电子设备的拍摄位置的方法,所述电子设备具有照相机和用于实时显示由所述照相机所捕获的图像的显示器,所述方法包括:
获取由所述照相机捕获的图像;
获取与所述图像对应的深度图像;
检测所述深度图像中的多个对象,并从所述多个对象中选择主对象和辅对象;
基于与所述主对象和所述辅对象相关的对象信息来确定用于移动所述电子设备的引导方向;以及
在所述显示器上利用所述图像显示指示所述引导方向的引导用户界面(UI)。
2.根据权利要求1所述的方法,其中,所述引导UI覆盖在所述照相机所捕获的所述图像上。
3.根据权利要求1或2所述的方法,其中,基于与所述主对象和所述辅对象相关的所述对象信息来确定用于移动所述电子设备的所述引导方向包括:
确定所述照相机是否足够靠近所述主对象;以及
如果所述照相机没有足够靠近所述主对象,则确定沿着与X-Y平面垂直的Z轴靠近所述主对象的方向作为所述引导方向,其中,所述X-Y平面平行于所述显示器的表面。
4.根据权利要求3所述的方法,其中,在所述显示器上利用所述图像来显示指示所述引导方向的所述引导UI包括:显示要求所述电子设备的用户将所述照相机靠近所述主对象的消息,作为所述引导UI。
5.根据权利要求3或4所述的方法,其中,确定所述照相机是否足够靠近所述主对象包括:
计算所述图像中的所述主对象的尺寸与所述图像的尺寸之间的比率;以及
如果所述比率大于预定值,则确定所述照相机足够靠近所述主对象。
6.根据权利要求3或4所述的方法,其中,确定所述照相机是否足够靠近所述主对象包括:
根据所述深度图像获取所述照相机与所述主对象之间的距离,所述深度图像由距离传感器模块获取的;以及
如果所述距离小于预定距离,则确定所述照相机足够靠近所述主对象。
7.根据权利要求1至6中任一项所述的方法,其中,基于与所述主对象和所述辅对象相关的所述对象信息来确定用于移动所述电子设备的所述引导方向包括:
确定所述主对象是否位于与所述显示器的表面平行的X-Y平面中的合适位置;以及
如果所述主对象没有位于所述X-Y平面中的合适位置,则将所述X-Y平面中的用于将所述照相机引导至合适位置的方向确定为所述引导方向。
8.根据权利要求7所述的方法,其中,在所述显示器上利用所述图像来显示指示所述引导方向的引导UI包括:显示指示所述确定的方向的箭头作为所述引导UI。
9.根据权利要求7或8所述的方法,其中,确定所述主对象是否位于与所述显示器的表面平行的所述X-Y平面中的合适位置包括:
计算所述主对象的参考点;
如果所述参考点位于预定区域内,则确定所述主对象位于所述X-Y平面中的合适位置。
10.根据权利要求7或8所述的方法,其中,确定所述主对象是否位于与所述显示器的表面平行的所述X-Y平面中的合适位置包括:
计算所述主对象的第一参考点和所述辅对象的第二参考点;
如果所述主对象的所述第一参考点位于预定区域内并且所述辅对象的所述第二参考点位于所述主对象的相对侧,则确定所述主对象位于所述X-Y平面中的合适位置。
11.根据权利要求9或10所述的方法,其中,所述预定区域是以下三分之一网格点为中心的区域。
12.根据权利要求1至11中任一项所述的方法,其中,基于与所述主对象和所述辅对象相关的所述对象信息来确定用于移动所述电子设备的所述引导方向包括:
确定所述主对象和所述辅对象是否恰当地布置在与X-Y平面垂直的Z轴方向上,其中,所述X-Y平面平行于所述显示器的表面;以及
如果所述主对象和所述辅对象没有恰当地布置在所述Z轴方向上,则确定以下方向作为所述引导方向:在所述方向上,沿着Y轴围绕主对象旋转以将照相机引导到所述主对象和所述辅对象恰当地布置在所述Z轴方向上的位置。
13.根据权利要求12所述的方法,其中,在所述显示器上利用所述图像来显示指示所述引导方向的所述引导UI包括:显示围绕与所述Y轴平行的虚拟轴旋转的图标作为所述引导UI,所述虚拟轴穿过所述主对象。
14.根据权利要求12或13所述的方法,其中,确定所述主对象和所述辅对象是否恰当地布置在与所述X-Y平面垂直的所述Z轴方向上,所述X-Y平面平行于所述显示器的表面,包括:
计算所述X-Z平面中的角度,所述角度是连接所述主对象和所述辅对象的第一线与平行于所述X轴的第二线之间的角度;以及
如果所述角度在预定范围内,则确定所述主对象和所述辅对象恰当地布置在所述Z轴方向上。
15.根据权利要求1至14中任一项所述的方法,其中,基于与所述主对象和所述辅对象相关的所述对象信息来确定用于移动所述电子设备的所述引导方向包括:
确定所述照相机的俯角是否合适;以及
如果所述俯角不合适,则将以下方向确定为所述引导方向:在所述方向上,沿着X轴围绕所述主对象旋转以将所述照相机引导到所述俯角合适的位置。
16.根据权利要求15所述的方法,其中,在所述显示器上利用所述图像来显示指示所述引导方向的所述引导UI包括:显示围绕与所述X轴平行的虚拟轴旋转的图标作为所述引导UI,所述虚拟轴穿过所述主对象。
17.根据权利要求15或16所述的方法,其中,确定所述照相机的所述俯角是否合适包括:
计算沿着Y轴所述主对象与所述辅对象之间的距离;以及
如果所述距离与所述显示器的屏幕高度之间的比率在预定范围内,则确定所述照相机的所述俯角是合适的。
18.一种电子设备,包括处理器和用于存储指令的存储器,其中,当所述指令由所述处理器执行时,使得所述处理器执行根据权利要求1至17中任一项所述的方法。
19.一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序由计算机执行以实现根据权利要求1至17中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/077127 WO2022174432A1 (en) | 2021-02-20 | 2021-02-20 | Method of suggesting shooting position for electronic device and electronic device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116868577A true CN116868577A (zh) | 2023-10-10 |
Family
ID=82931966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180094209.7A Pending CN116868577A (zh) | 2021-02-20 | 2021-02-20 | 用于建议电子设备的拍摄位置的方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116868577A (zh) |
WO (1) | WO2022174432A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011223250A (ja) * | 2010-04-08 | 2011-11-04 | Nec Corp | 撮影支援装置、撮影支援方法並びにそのプログラム |
CN107169148B (zh) * | 2017-06-21 | 2020-05-15 | 北京百度网讯科技有限公司 | 图像搜索方法、装置、设备以及存储介质 |
CN107509032A (zh) * | 2017-09-08 | 2017-12-22 | 维沃移动通信有限公司 | 一种拍照提示方法及移动终端 |
CN108650431B (zh) * | 2018-05-14 | 2021-01-15 | 联想(北京)有限公司 | 一种拍摄控制方法、装置及电子设备 |
CN108810409A (zh) * | 2018-06-07 | 2018-11-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照指引方法、终端设备及计算机可读介质 |
WO2020162264A1 (ja) * | 2019-02-07 | 2020-08-13 | 富士フイルム株式会社 | 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法 |
CN109889730B (zh) * | 2019-04-04 | 2020-12-18 | 中科创达软件股份有限公司 | 调整拍摄角度的提示方法、装置及电子设备 |
-
2021
- 2021-02-20 WO PCT/CN2021/077127 patent/WO2022174432A1/en active Application Filing
- 2021-02-20 CN CN202180094209.7A patent/CN116868577A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022174432A1 (en) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10217288B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
US9661214B2 (en) | Depth determination using camera focus | |
CN110148178B (zh) | 相机定位方法、装置、终端及存储介质 | |
EP2672459A1 (en) | Apparatus and method for providing augmented reality information using three dimension map | |
US20210158560A1 (en) | Method and device for obtaining localization information and storage medium | |
CN104204848B (zh) | 具有测距相机的勘测设备 | |
WO2020042968A1 (zh) | 一种对象信息的获取方法、装置以及存储介质 | |
CN113052919A (zh) | 一种视觉传感器的标定方法及装置、电子设备和存储介质 | |
CN113378705B (zh) | 车道线检测方法、装置、设备及存储介质 | |
KR101996241B1 (ko) | 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 장치 및 방법 | |
KR101308184B1 (ko) | 윈도우 형태의 증강현실을 제공하는 장치 및 방법 | |
CN110738185A (zh) | 表单对象的识别方法、装置及存储介质 | |
CN112308103A (zh) | 生成训练样本的方法和装置 | |
CN109559382A (zh) | 智能导游方法、装置、终端和介质 | |
WO2023088127A1 (zh) | 室内导航方法、服务器、装置和终端 | |
CN114089836B (zh) | 标注方法、终端、服务器和存储介质 | |
CN116868577A (zh) | 用于建议电子设备的拍摄位置的方法及电子设备 | |
CN110990728A (zh) | 兴趣点信息的管理方法、装置、设备及存储介质 | |
CN111754564A (zh) | 视频展示方法、装置、设备及存储介质 | |
US20230326147A1 (en) | Helper data for anchors in augmented reality | |
CN111832338A (zh) | 对象检测方法及装置、电子设备和存储介质 | |
CN116998159A (zh) | 建议电子设备的拍摄位置的方法及电子设备 | |
WO2022110777A1 (zh) | 定位方法及装置、电子设备、存储介质、计算机程序产品、计算机程序 | |
CN113066134A (zh) | 一种视觉传感器的标定方法及装置、电子设备和存储介质 | |
KR102084161B1 (ko) | 이미지를 보정하는 전자 장치 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |