CN113191976A - 图像拍摄方法、装置、终端及存储介质 - Google Patents
图像拍摄方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN113191976A CN113191976A CN202110478495.9A CN202110478495A CN113191976A CN 113191976 A CN113191976 A CN 113191976A CN 202110478495 A CN202110478495 A CN 202110478495A CN 113191976 A CN113191976 A CN 113191976A
- Authority
- CN
- China
- Prior art keywords
- image
- lens module
- detection
- cover plate
- glass cover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000011521 glass Substances 0.000 claims abstract description 125
- 238000003702 image correction Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 195
- 230000003287 optical effect Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000002366 time-of-flight method Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 6
- 238000005452 bending Methods 0.000 abstract description 3
- 230000002093 peripheral effect Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 239000000523 sample Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000006059 cover glass Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像拍摄方法、装置、终端及存储介质,涉及图像处理技术领域。该方法应用于终端中,所述终端包括设置于屏幕玻璃盖板下的镜头模组,该方法包括:获取所述屏幕玻璃盖板的面型信息;基于所述屏幕玻璃盖板的面型信息,对所述镜头模组拍摄所得的原始图像进行图像矫正;输出所述原始图像矫正后得到的矫正图像。本申请实施例提供的方法,一方面可以通过图像矫正提高图像拍摄的成像质量,另一方面,无需在进行终端的硬件设计时,由于考虑屏幕玻璃盖板的弯曲程度对摄像组件的设置位置的影响,影响终端原有组件的排布,从而降低了终端的实现复杂度。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像拍摄方法、装置、终端及存储介质。
背景技术
随着终端技术的发展,许多手机选择配置曲面屏这一类型的屏幕玻璃盖板。
曲面屏的两个侧边或四个侧边带有曲面,曲面屏不平整的屏幕玻璃盖板容易对设置于曲面屏下的前置摄像头的图像拍摄造成影响。
相关技术中,通过将前置摄像头尽量放置于曲面屏相对平整的区域的下方,以避免曲面屏对前置摄像头的图像拍摄的影响。
发明内容
本申请实施例提供了一种图像拍摄方法、装置、终端及存储介质,可以通过图像矫正提高图像拍摄的成像质量。所述技术方案如下。
根据本申请的一方面,提供了一种图像拍摄方法,应用于终端中,所述终端包括设置于屏幕玻璃盖板下的镜头模组,所述方法包括:
获取所述屏幕玻璃盖板的面型信息;
基于所述屏幕玻璃盖板的面型信息,对所述镜头模组拍摄所得的原始图像进行图像矫正;
输出所述原始图像矫正后得到的矫正图像。
根据本申请的一方面,提供了一种图像拍摄装置,应用于终端中,所述终端包括设置于屏幕玻璃盖板下的镜头模组,所述装置包括:面型信息获取模块、图像矫正模块和图像输出模块;
所述面型信息获取模块,用于获取所述屏幕玻璃盖板的面型信息;
所述图像矫正模块,用于基于所述屏幕玻璃盖板的面型信息,对所述镜头模组拍摄所得的原始图像进行图像矫正;
所述图像输出模块,用于输出所述原始图像矫正后得到的矫正图像。
根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括:处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像拍摄方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像拍摄方法。
根据本申请的另一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述可选实现方式中提供的图像拍摄方法。
本申请实施例提供的技术方案带来的有益效果至少包括如下的有益效果:
通过获取屏幕玻璃盖板的面型信息,对屏幕玻璃盖板下的镜头模组拍摄的原始图像进行图像矫正,避免曲面屏对镜头模组的图像拍摄的影响,一方面可以提高图像拍摄的成像质量,另一方面,无需在进行终端的硬件设计时,由于考虑屏幕玻璃盖板的弯曲程度对摄像组件的设置位置的影响,影响终端中原有组件的排布,从而降低了终端的实现复杂度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的图像拍摄方法的示意图;
图2是本申请一个示例性实施例提供的图像拍摄方法的流程图;
图3是本申请一个示例性实施例提供的存储屏幕玻璃盖板的面型信息的示意图;
图4是本申请一个示例性实施例提供的图像拍摄方法的流程图;
图5是本申请一个示例性实施例提供的条纹光探测的示意图;
图6是本申请一个示例性实施例提供的图像拍摄方法的流程图;
图7是本申请一个示例性实施例提供的图像拍摄方法的流程图;
图8是本申请一个示例性实施例提供的镜头模组的示意图;
图9是本申请一个示例性实施例提供的图像拍摄装置的框图;
图10是本申请一个示例性实施例提供的终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
近年来,使用曲面屏成了手机行业的标配,手机的曲面屏除了侧曲外,更有四曲的趋势,不平整的屏幕玻璃盖板对其下方的前置摄像头的对焦拍摄造成了很大的影响,如成像偏远焦,画面不清晰等等。
为了避免曲面屏对前置摄像头的图像拍摄的影响,相关技术从硬件设计的角度来进行解决,如:将前置摄像头设计于曲面屏中相对平整的区域的下方。
在本申请实施例中,通过获取屏幕玻璃盖板的面型信息,对屏幕玻璃盖板下的镜头模组拍摄的原始图像进行图像矫正,避免曲面屏对镜头模组的图像拍摄的影响。下面,结合参考如下图1,对本申请实施例提供的图像拍摄方法进行示例性的说明。
在本实施例中,镜头模组包括:条纹发射端、前置摄像头和图像传感器。前置摄像头用于进行前置图像拍摄;条纹发射端和图像传感器用于进行条纹光探测,具体的,条纹发射端用于发射探测条纹发射信号,图像传感器用于接收探测条纹反射信号,图像传感器可以是互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)接收器。
如图1所示,在终端使用镜头模组进行图像拍摄时,图像传感器可以获取探测条纹反射信号,并将探测条纹反射信号反馈给终端中的中央处理器(Central ProcessingUnit,CPU)。示例性的,在条纹发射端发射的探测条纹发射信号固定的情况下,图像传感器接收经被拍摄物体反射的探测条纹反射信号,并将探测条纹反射信号发送给CPU处理器,CPU处理器基于探测条纹发射信号和探测条纹反射信号,可以判断出条纹状态变化,条纹状态变化包括:条纹宽度的变化、条纹间距的变化等。
CPU处理器通过获取条纹发射端发射探测条纹发射信号与图像传感器接收探测条纹反射信号之间的时间差,计算得到被拍摄物体至前置摄像头的拍摄距离,并将拍摄距离反馈给前置摄像头。前置摄像头基于CPU处理器反馈的拍摄距离进行调焦,在调焦后进行图片拍摄,并将拍摄得到的原始图像反馈给CPU处理器。
CPU处理器通过条纹状态变化,计算得到拍摄的原始图像的深度信息,基于深度信息对原始图像进行图像分割。示例性的,CPU处理器基于深度信息先将原始图像中的人物与背景分割,再基于深度信息将人物分割成不同区域,分割的精度可以高于1mm。
图像分割完成后,CPU处理器调用存储在前置摄像头的电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)中的屏幕玻璃盖板的面型信息,基于屏幕玻璃盖板的面型信息对分割后的每个区域进行去卷积处理,从而在每个区域中都消除屏幕玻璃盖板的曲率对图像的影响,在去卷积处理完成后,CPU处理器进行图像合成,从而获得一张完整的图像矫正后的图片。
下面,对本申请实施例提供的图像拍摄方法进行进一步的说明。
图2示出了本申请一个示例性实施例提供的图像拍摄方法的流程图,该方法可以应用于终端中,终端包括设置于屏幕玻璃盖板下的镜头模组,该方法包括:
步骤201,获取屏幕玻璃盖板的面型信息。
在一种可能的实现方式中,终端获取预先存储好的镜头模组前的屏幕玻璃盖板的面型信息,或者,通过实时检测的方式,获取屏幕玻璃盖板的面型信息。
示例性的,在终端中的镜头模组处于拍摄状态的情况下,终端进行实时检测,获取屏幕玻璃盖板的面型信息。镜头模组处于拍摄状态指的是镜头模组正在进行取景,尚未完成拍摄的状态。示例性的,用户进入相机功能页面,点击摄像头转换的图标,将终端切换为使用前置摄像头,终端使用前置摄像头进行取景,获取当前的屏幕玻璃盖板的面型信息。
示例性的,终端从存储器(如EEPROM)中读取预先存储好的屏幕玻璃盖板的面型信息。其中,存储器中的屏幕玻璃盖板的面型信息可以是终端在组装完成之前进行预先存储的,也可以是在终端组装完成之后,对屏幕玻璃盖板进行检测后进行存储的。
在本申请实施例中,镜头模组设置于屏幕玻璃盖板下,镜头模组透过屏幕玻璃盖板,接收来自屏幕玻璃盖板前的区域的光线,对该区域的画面进行光学成像。也即,本申请实施例中的镜头模组并非是采用升降设计等,无需透过屏幕玻璃盖板即可接收光线的镜头模组。
示例性的,在屏幕玻璃盖板没有覆盖于终端相对的两个平面上,而是仅覆盖于终端的正面的情况下,镜头模组可以理解为是进行前置摄像的镜头模组。
屏幕玻璃盖板的面型信息是用于指示屏幕玻璃盖板的面型情况的信息。在本申请实施例中,屏幕玻璃盖板的面型信息也可以理解为屏幕玻璃盖板的曲率信息、屏幕玻璃盖板对成像的影响信息等等。
步骤202,基于屏幕玻璃盖板的面型信息,对镜头模组拍摄所得的原始图像进行图像矫正。
在一种可能的实现方式中,终端使用镜头模组拍摄得到原始图像,调用获取得到的屏幕玻璃盖板的面型信息,对原始图像进行图像矫正。
可选的,若终端设备通过实时检测的方式,获取屏幕玻璃盖板的面型信息,终端在获取屏幕玻璃盖板的面型信息后,将屏幕玻璃盖板的面型信息存储至镜头模组对应的存储器,如EEPROM,在拍摄得到原始图像后,从镜头模组对应的存储器中调用屏幕玻璃盖板的面型信息。
示例性的,结合参考图3,镜头模组中包括图像传感器和前置摄像头,图像传感器将接收到的探测反射信号反馈给CPU处理器,CPU处理器基于图像传感器反馈的探测反射信号,计算得到屏幕玻璃盖板的面型信息,将屏幕玻璃盖板的面型信息传递给前置摄像头EEPROM,存储于前置摄像头EEPROM中。
可选的,终端在通过一次检测而获取屏幕玻璃盖板的面型信息后,即可使用该屏幕玻璃盖板的面型信息对一个时间段内拍摄得到的原始图像进行图像矫正,也即,屏幕玻璃盖板的面型信息以固定的频率进行更新。示例性的,终端在获取一次屏幕玻璃盖板的面型信息后,对该屏幕玻璃盖板的面型信息进行存储,在接下来的一个月中,均使用该屏幕玻璃盖板的面型信息对拍摄得到的原始图像进行图像矫正。
可选的,屏幕玻璃盖板的面型信息在终端每次进行图像拍摄时进行自动更新。示例性的,终端使用镜头模组进行图像拍摄,在进行取景时获取屏幕玻璃盖板的面型信息,取景完成后进行图像拍摄,得到原始图像,使用本次获取到的屏幕玻璃盖板的面型信息对原始图像进行矫正。示例性的,在本次图像拍摄前,终端的屏幕玻璃盖板被贴膜,屏幕玻璃盖板的光学结构(材料/厚度)发生了变化,则终端对贴膜后的屏幕玻璃盖板的曲率进行检测,得到最新的面型信息,应用于实际拍照中的图像矫正。
步骤203,输出原始图像矫正后得到的矫正图像。
在一种可能的实现方式中,终端将原始图像矫正为矫正图像,输出矫正图像。
综上所述,本实施例提供的方法,通过获取屏幕玻璃盖板的面型信息,对屏幕玻璃盖板下的镜头模组拍摄的原始图像进行图像矫正,避免曲面屏对镜头模组的图像拍摄的影响,一方面可以提高图像拍摄的成像质量,另一方面,无需在进行终端的硬件设计时,由于考虑屏幕玻璃盖板的弯曲程度对摄像组件的设置位置的影响,影响终端中原有组件的排布,从而降低了终端的实现复杂度。
在示意性实施例中,终端通过基于原始图像的深度信息对原始图像进行图像矫正,以获取更好的图像矫正效果。
图4示出了本申请一个示例性实施例提供的图像拍摄方法的流程图,该方法可以应用于终端中,终端包括设置于屏幕玻璃盖板下的镜头模组,该方法包括:
步骤401,获取屏幕玻璃盖板的面型信息。
本步骤的实施方式参见上述步骤201,在此不进行赘述。
步骤402,获取原始图像的深度信息。
原始图像的深度信息指的是原始图像中被拍摄物体在三维世界中的三维信息。
可选的,终端中的镜头模组利用机器视觉技术,获取原始图像的深度信息,机器视觉技术可以包括:结构光(Structured-light)探测技术和光飞行时间(Time of Flight,ToF)法,本申请实施例对此不进行限制。
其中,光飞行时间法指的是通过测量光照射到被拍摄物体并返回的时间,从而获取被拍摄物体的深度信息的一种探测方式。
其中,结构光探测技术指的是通过投影特定的编码图案到被拍摄物体上,把深度变化信息转换成编码图案的变化,通过检测编码图案的变化从而获取深度信息的一种探测方式。可选的,结构光探测技术包括:条纹光探测和散斑图探测。条纹光探测中所投影的编码图案为条纹图案,散斑图探测中所投影的编码图案为斑点图案。在一种可能的实现方式中,终端通过如下条纹光探测方式,获取原始图像的深度信息:
S11,镜头模组发送第一探测条纹发射信号。
可选的,镜头模组包括条纹发射端,终端调用条纹发射端发射第一探测条纹发射信号。
S12,镜头模组接收第一探测条纹反射信号,第一探测条纹反射信号是第一探测条纹发射信号经被拍摄物体反射而形成的信号。
可选的,镜头模组包括图像传感器,第一探测条纹发射信号透过屏幕玻璃盖板,投射到被拍摄物体的表面,经被拍摄物体反射形成第一探测条纹发射信号,第一探测条纹发射信号被图像传感器接收。
S13,基于第一探测条纹反射信号与第一探测条纹发射信号之间的变化情况,获取原始图像的深度信息。
在一种可能的实现方式中,第一探测条纹反射信号与第一探测条纹发射信号之间条纹的间距、宽度等发生变化,终端基于上述变化,计算得到原始图像的深度信息。
示例性的,结合参考图5,将条纹图501(即第一探测条纹发射信号)投射到物体502上,可以发现条纹图501中原本竖直的条纹图案发生了扭曲,条纹的间距、宽度等发生变化,条纹图501被物体502的高度调制,条纹图503(即第一探测条纹反射信号)扭曲的条纹形状就蕴藏了物体502的深度信息。
可选的,终端基于第一探测条纹反射信号与第一探测条纹发射信号之间的变化情况,获取原始图像的深度信息的方式为:终端基于第一探测条纹反射信号与第一探测条纹发射信号之间的变化情况进行拟合计算,从而得到原始图像的深度信息。可选的,拟合计算采用的拟合方式可为高斯多项式拟合或其他拟合方案,本申请实施例对此不进行限制。
步骤403,基于深度信息,将原始图像分割出至少一个图像区域。
可选的,终端基于图像的深度信息,将具有相似的深度的像素划分为一个图像区域。
在一种可能的实现方式中,终端基于深度信息将原始图像中的一部分分割出至少一个图像区域。在另一种可能的实现方式中,终端基于深度信息将整个原始图像分割出至少一个图像区域。
示例性的,原始图像中包括人物和背景,终端先基于深度信息将人物和背景进行分割,再基于深度信息进一步将人物和背景分割成更小的图像区域。
示例性的,原始图像中包括人物和背景,终端将原始图像中的人物部分分割出至少一个图像区域。
步骤404,基于屏幕玻璃盖板的面型信息,对至少一个图像区域进行图像矫正。
在一种可能的实现方式中,终端使用屏幕玻璃盖板的面型信息,对至少一个图像区域进行去卷积处理以进行图像矫正。
镜头模组输出的原始图像可以视为是真实图像与屏幕玻璃盖板面型进行卷积而得到的结果。因此,使用屏幕玻璃盖板的面型信息,对至少一个图像区域对应的原始图像进行去卷积处理,可以得到该图像区域对应的真实图像。
可选的,去卷积处理是基于交叉通道先验的去卷积处理。交叉通道先验指的是在去卷积过程中共享不同通道的信息,从而一个通道保留的频率信息可以帮助其他通道重建,消除色差。通过交叉通道先验加入色差矫正,减弱在图像矫正过程中色差引起的模糊和彩边现象,从而实现高像质成像。
步骤405,将原始图像与图像矫正后的至少一个图像区域进行合成,得到矫正图像。
在一种可能的实现方式中,终端在对至少一个图像区域分别进行图像矫正后,将原始图像中未进行图像矫正的部分与图像矫正后的至少一个图像区域执行图像合成,从而得到矫正图像。
示例性的,终端将原始图像中的人物部分分割出一个图像区域,对人物部分对应的图像区域进行图像矫正,再将矫正完成后的人物部分与原始图像中的其他部分进行合成,得到矫正图像。
可以理解的是,若整个原始图像被分割成至少一个图像区域,则终端将图像矫正后的至少一个图像区域进行合成,得到矫正图像。步骤406,输出矫正图像。
综上所述,本实施例提供的方法,终端获取原始图像的深度信息,基于原始图像的深度信息将原始图像划分成多个图像区域后分别进行矫正,相较于统一对原始图像进行矫正的矫正方式,由于计算的粒度更小,可以提升图像矫正的精确性。
在示意性实施例中,屏幕玻璃盖板的面型信息是终端基于机器视觉技术进行探测得到的。机器视觉技术可以包括:结构光探测技术和光飞行时间法,本申请实施例对此不进行限制。可选的,结构光探测技术包括:条纹光探测和散斑图探测。下面,以终端通过条纹光探测方式,获取屏幕玻璃盖板的面型信息进行示例性的说明。
图6示出了本申请一个示例性实施例提供的图像拍摄方法的流程图,该方法可以应用于终端中,终端包括设置于屏幕玻璃盖板下的镜头模组,该方法包括:
步骤601,调用镜头模组进行条纹光探测,获取屏幕玻璃盖板的面型信息。
条纹光探测指的是通过带有确定条纹信息的探测条纹信号进行反射测试的探测方式。确定条纹信息指的是探测条纹信号所对应的条纹图案中,条纹的间距、宽度等是固定的。
在一种可能的实现方式中,终端通过如下方式进行条纹光探测:
S21,镜头模组发送第二探测条纹发射信号。
可选的,镜头模组包括条纹发射端,终端调用条纹发射端发射第二探测条纹发射信号。
在本申请实施例中,第二探测条纹发射信号与上文实施例所述第一探测条纹发射信号可以是条纹发射端在同一个时间点发射的探测条纹发射信号的两个不同部分:第一部分即第一探测条纹发射信号,该部分信号透过屏幕玻璃盖板,投射到被拍摄物体的表面;第二部分即第二探测条纹发射信号,该部分信号未透过屏幕玻璃盖板。
S22,镜头模组接收第二探测条纹反射信号,第二探测条纹反射信号是第二探测条纹发射信号经屏幕玻璃盖板反射而形成的信号。
可选的,镜头模组包括图像传感器,第二探测条纹发射信号被屏幕玻璃盖板反射形成第二探测条纹发射信号,第二探测条纹发射信号被图像传感器接收。
S23,基于第二探测条纹反射信号与第二探测条纹发射信号之间的变化情况,获取屏幕玻璃盖板的面型信息。
在一种可能的实现方式中,第二探测条纹反射信号与第二探测条纹发射信号之间条纹的间距、宽度等发生变化,终端基于上述变化,计算得到屏幕玻璃盖板的面型信息。
可选的,终端基于第二探测条纹反射信号与第二探测条纹发射信号之间的变化情况,获取屏幕玻璃盖板的面型信息的方式为:终端基于第二探测条纹反射信号与第二探测条纹发射信号之间的变化情况进行拟合计算,从而得到屏幕玻璃盖板的面型信息。可选的,拟合计算采用的拟合方式可为高斯多项式拟合或其他拟合方案,本申请实施例对此不进行限制。
步骤602,基于屏幕玻璃盖板的面型信息,对镜头模组拍摄所得的原始图像进行图像矫正。
本步骤的实施方式参见上述步骤202,在此不进行赘述。
步骤603,输出原始图像矫正后得到的矫正图像。
本步骤的实施方式参见上述步骤203,在此不进行赘述。
综上所述,本实施例提供的方法,终端通过进行条纹光探测,获取准确的屏幕玻璃盖板的面型信息,从而提升图像矫正的效果。
在示意性实施例中,终端在进行图像拍摄之前,对镜头模组进行调焦,从而提升图像的成像质量。
图7示出了本申请一个示例性实施例提供的图像拍摄方法的流程图,该方法可以应用于终端中,终端包括设置于屏幕玻璃盖板下的镜头模组,该方法包括:
步骤701,获取屏幕玻璃盖板的面型信息。
本步骤的实施方式参见上述步骤201,在此不进行赘述。
步骤702,获取参考距离,参考距离是被拍摄物体至镜头模组之间的距离。
在镜头模组正在进行取景时,终端获取被拍摄的拍摄物体至镜头模组之间的距离,基于该距离进行对焦。
可选的,参考距离是终端基于机器视觉技术进行探测得到的。机器视觉技术可以包括:结构光探测技术和光飞行时间法,本申请实施例对此不进行限制。可选的,结构光探测技术包括:条纹光探测和散斑图探测。
在一种可能的实现方式中,终端通过条纹光探测方式,获取参考距离:
S31,调用镜头模组发送第三探测条纹发射信号。
可选的,镜头模组包括条纹发射端,终端调用条纹发射端发射第三探测条纹发射信号。
在本申请实施例中,第三探测条纹发射信号与上文实施例所述第一探测条纹发射信号可以是同一个信号。
S32,调用镜头模组接收第三探测条纹反射信号,第三探测条纹反射信号是第三探测条纹发射信号经被拍摄物体反射而形成的信号。
可选的,镜头模组包括图像传感器,第三探测条纹发射信号透过屏幕玻璃盖板,投射到被拍摄物体表面,经被拍摄物体反射形成第三探测条纹发射信号,第三探测条纹发射信号被图像传感器接收。
在本申请实施例中,第三探测条纹反射信号与上文实施例所述第一探测条纹发射信号可以是同一个信号。
S33,基于第一往返时间,确定参考距离。
其中,第一往返时间是镜头模组发射第三探测条纹发射信号的时间点与接收第三探测条纹反射信号的时间点之间的差值。
由于第三探测条纹发射信号由镜头模组发射,第三探测条纹反射信号是第三探测条纹发射信号经被拍摄物体反射而形成,且第三探测条纹反射信号同样由镜头模组接收,则基于发射和接收的时间差(即第一往返时间)和信号的传播速度,可以计算出被拍摄物体至镜头模组之间的距离。
可以理解的是,若第三探测条纹发射信号和第二探测条纹发射信号是终端在同一个时间点发射的一个信号的不同部分,则第一往返时间可以通过镜头模组接收第三探测条纹反射信号的时间点和接收第二探测条纹反射信号的时间点之间的差值来进行衡量,其中,第二探测条纹反射信号是第二探测条纹发射信号经屏幕玻璃盖板反射而形成的信号。这是由于屏幕玻璃盖板与镜头模组之间的距离很近,该距离对参考距离的数值的影响很小,则在终端同时发射第三探测条纹发射信号和第二探测条纹发射信号的情况下,终端可以将镜头模组接收第三探测条纹反射信号的时间点和接收第二探测条纹反射信号的时间点之间的差值等价于第一往返时间。
步骤703,基于参考距离,对镜头模组进行调焦。
在一种可能的实现方式中,镜头模组采用变焦镜头,则终端在获取参考距离后,采用对焦马达将镜头模组中的镜片驱动到理想位置以完成对焦,其中,理想位置是镜头支持对当前参考距离下的被拍摄物体取得理想对焦效果时,镜片所在的位置。
可以理解的是,若镜头模组采用定焦镜头,则终端在获取参考距离后,将参考距离与理想参考距离范围进行比对,若参考距离不在理想参考距离范围之内,则在终端上显示提示信息,提示信息用于提示用户调整被拍摄物体与终端之间的距离,其中,理想参考距离范围是在镜头模组取得理想对焦效果的情况下,被拍摄物体至镜头模组之间的距离对应的距离范围。示例性的,若参考距离大于理想参考距离范围,则终端提示用户缩短被拍摄物体与终端之间的距离;若参考距离小于理想参考距离范围,则终端提示用户增加被拍摄物体与终端之间的距离。
可选的,参考距离可以为一个值,也可以为多个值。参考距离为一个值时,参考距离是被拍摄物体的一个点与镜头模组之间的距离;参考距离为多个值时,参考距离是被拍摄物体的多个点分别与镜头模组之间的距离。
可选的,响应于得到至少两个参考距离,终端基于注意力机制对至少两个参考距离进行处理,得到目标参考距离;基于目标参考距离,对镜头模组进行调焦。
基于注意力机制对至少两个参考距离进行处理指的是为至少两个参考距离分配不同的权重,再进行加权的处理方式。
可选的,终端基于参考距离对应的被拍摄物体的点在图像中的位置,为不同参考距离分配权重。如:第一参考距离对应的点在图像的中部位置,第二参考距离对应的点在图像的边缘位置,则第一参考距离的权重高于第二参考距离的权重。
可选的,终端基于参考距离对应的被拍摄物体的点的性质,为不同参考距离分配权重。如:第一参考距离对应的点属于人物,第二参考距离对应的点属于背景,则第一参考距离的权重高于第二参考距离的权重。
步骤704,使用调焦后的镜头模组进行图像拍摄,得到原始图像。
在一种可能的实现方式中,终端基于参考距离进行调焦后,使用镜头模组进行图像拍摄,此时拍摄得到的原始图像对应有较好的对焦效果。
步骤705,基于屏幕玻璃盖板的面型信息,对镜头模组拍摄所得的原始图像进行图像矫正。
本步骤的实施方式参见上述步骤202,在此不进行赘述。
步骤706,输出原始图像矫正后得到的矫正图像。
本步骤的实施方式参见上述步骤203,在此不进行赘述。
综上所述,本实施例提供的方法,终端在进行图像拍摄之前,获取被拍摄物体与镜头模组之间的参考距离,使用参考距离对镜头模组进行调焦,提供一种辅助对焦的实现方式,从而提升图像的成像质量。
下面,对上述实施例的镜头模组进行示例性的说明。图8示出了本申请一个示例性实施例提供的镜头模组的示意图,镜头模组包括:摄像头801、探测信号发射端802和图像传感器803。
如图8所示,探测信号发射端802和图像传感器803以摄像头801的光轴为对称轴而对称设置。可选的,探测信号发射端802的光轴和图像传感器803感光面的中心轴,以摄像头801的光轴为对称轴而对称设置。
可选的,探测信号发射端802和图像传感器803可以独立设置,两个器件之间没有进行固定连接;探测信号发射端802和图像传感器803也可以统一设置,两个器件之间进行固定连接,如:两个器件构成U型结构,环绕于摄像头801两侧。
摄像头801用于进行图像拍摄。可选的,摄像头801为前置摄像头。
探测信号发射端802用于发射探测发射信号。可选的,探测信号发射端802用于发射探测条纹发射信号,探测信号发射端802为一种条纹发射端。可选的,探测信号发射端802用于发射探测斑点发射信号,探测信号发射端802为一种散斑图发射端。
可选的,探测信号发射端802为液晶显示器(Liquid Crystal Display,LCD)屏幕。可选的,探测信号发射端802发射的探测信号的波长在非可见光范围内,如:属于红外光。
图像传感器803用于接收探测反射信号,探测反射信号是探测发射信号经反射而形成的信号。可选的,图像传感器803的探测靶面像素不小于2000*2000,单个像素大小2um-4um。可选的,图像传感器803为面阵图像传感器,面阵图像传感器支持探测被拍摄物体的多个点分别至镜头模组之间的距离,即,面阵图像传感器支持获取多个参考距离。
结合参考图8,以探测信号发射端802为条纹发射端为例,对镜头模组进行条纹光探测进行示例性的说明。
探测信号发射器802发射带有确定条纹信息的探测条纹发射信号。探测条纹发射信号对应的探测条纹反射信号被图像传感器803吸收。
一部分探测条纹发射信号(即第二探测条纹发射信号)经终端的屏幕玻璃盖板804反射,反射形成第二探测条纹反射信号,第二探测条纹反射信号被图像传感器803吸收,送至终端中的CPU处理器,由CPU处理器根据条纹变化计算出屏幕玻璃盖板804的面型信息,主要包括X和Y方向的曲率,从而构建出屏幕玻璃盖板804的三维模型。
另一部分的探测条纹发射信号(即第一探测条纹发射信号)透过屏幕玻璃盖板804,透射到所要拍摄的被拍摄物体805表面,反射形成第一探测条纹反射信号,第一探测条纹反射信号被图像传感器803吸收,送至终端中的CPU处理器,同样是根据条纹的变化,由CPU处理器计算被拍摄物体805的深度信息。CPU处理器还可以根据图像传感器803接收到第一探测条纹发射信号与第二探测条纹发射信号之间的时间差,计算被拍摄物体805至镜头模组之间的参考距离。
在本申请实施例中,屏幕玻璃盖板804是一种曲面屏幕玻璃盖板,该曲面屏幕玻璃盖板下设置有如上所述的镜头模组。相应的,终端可以是曲面屏终端。
可以理解的是,若终端中的屏幕玻璃盖板804是一种卷轴屏玻璃盖板、折叠屏玻璃盖板,本申请所示出的图像拍摄方法也可以同样适用于该类型下的终端中。
综上所述,本申请实施例所示的镜头模组,镜头模组通过对称设置的条纹发射端和图像传感器,可以进行条纹光探测,条纹光探测方案可以应用于手机前置,一是探测计算镜头模组之上的屏幕玻璃盖板的面型信息,通过算法补偿,矫正像差,对拍摄得到的原始图像进行矫正;二是探测计算拍摄物体的距离和深度信息,实现更精确的面部识别和对焦。
可以理解的是,上述方法实施例可以单独实施,也可以组合实施,本申请实施例对此不进行限制。
以下为本申请的装置实施例,对于装置实施例中未详细描述的细节,可以结合参考上述方法实施例中相应的记载,本文不再赘述。
图9示出了本申请的一个示例性实施例提供的图像拍摄装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分,该装置包括:面型信息获取模块901、图像矫正模块902和图像输出模块903;
所述面型信息获取模块901,用于获取所述屏幕玻璃盖板的面型信息;
所述图像矫正模块902,用于基于所述屏幕玻璃盖板的面型信息,对所述镜头模组拍摄所得的原始图像进行图像矫正;
所述图像输出模块903,用于输出所述原始图像矫正后得到的矫正图像。
在一个可选的实施例中,所述图像矫正模块902,用于获取所述原始图像的深度信息;基于所述深度信息,将所述原始图像分割出至少一个图像区域;基于所述屏幕玻璃盖板的面型信息,对所述至少一个图像区域进行图像矫正;所述图像输出模块903,用于将所述原始图像与矫正后的所述至少一个图像区域进行合成,得到所述矫正图像;输出所述矫正图像。
在一个可选的实施例中,所述图像矫正模块902,用于所述镜头模组基于结构光探测技术,获取所述原始图像的深度信息;或,所述图像矫正模块902,用于所述镜头模组基于光飞行时间法,获取所述原始图像的深度信息。
在一个可选的实施例中,所述图像矫正模块902,用于所述镜头模组发送第一探测条纹发射信号;所述镜头模组接收第一探测条纹反射信号,所述第一探测条纹反射信号是所述第一探测条纹发射信号经被拍摄物体反射而形成的信号;基于所述第一探测条纹反射信号与所述第一探测条纹发射信号之间的变化情况,获取所述原始图像的深度信息。
在一个可选的实施例中,所述图像矫正模块902,用于使用所述屏幕玻璃盖板的面型信息,对所述至少一个图像区域进行去卷积处理以进行图像矫正。
在一个可选的实施例中,所述面型信息获取模块901,用于所述镜头模组基于结构光探测技术,获取所述屏幕玻璃盖板的面型信息;或,所述面型信息获取模块901,用于所述镜头模组基于光飞行时间法,获取所述屏幕玻璃盖板的面型信息。
在一个可选的实施例中,所述面型信息获取模块901,用于所述镜头模组发送第二探测条纹发射信号;所述镜头模组接收第二探测条纹反射信号,所述第二探测条纹反射信号是所述第二探测条纹发射信号经所述屏幕玻璃盖板反射而形成的信号;基于所述第二探测条纹反射信号与所述第二探测条纹发射信号之间的变化情况,获取所述屏幕玻璃盖板的面型信息。
在一个可选的实施例中,装置还包括调焦模块;所述调焦模块,用于获取参考距离,所述参考距离是被拍摄物体至所述镜头模组之间的距离;基于所述参考距离,对所述镜头模组进行调焦;使用调焦后的所述镜头模组进行图像拍摄,得到所述原始图像。
在一个可选的实施例中,所述调焦模块,用于所述镜头模组基于结构光探测技术,获取所述参考距离;或,所述调焦模块,用于所述镜头模组基于光飞行时间法,获取所述参考距离。
在一个可选的实施例中,所述调焦模块,用于所述镜头模组发送第三探测条纹发射信号;所述镜头模组接收第三探测条纹反射信号,所述第三探测条纹反射信号是所述第三探测条纹发射信号经所述被拍摄物体反射而形成的信号;基于第一往返时间,确定所述参考距离;其中,所述第一往返时间是所述镜头模组发射所述第三探测条纹发射信号的时间点与接收所述第三探测条纹反射信号的时间点之间的差值。
在一个可选的实施例中,所述调焦模块,用于响应于得到至少两个所述参考距离,基于注意力机制对至少两个所述参考距离进行处理,得到目标参考距离;基于所述目标参考距离,对所述镜头模组进行调焦。
图10示出了本申请一个示例性实施例提供的终端1000的结构框图。该终端1000可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
在本申请实施例中,终端1000包括有:处理器1001、存储器1002、***设备接口1003和镜头模组1006。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的图像拍摄方法。
***设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。镜头模组1006可以通过总线、信号线或电路板与***设备接口1003相连。
镜头模组1006用于采集图像或视频。可选地,镜头模组1006包括:摄像头、以所述摄像头的光轴为对称轴而对称设置的探测信号发射端和图像传感器;所述摄像头用于进行图像拍摄;所述探测信号发射端用于发射探测发射信号;所述图像传感器用于接收探测反射信号,所述探测反射信号是所述探测发射信号经反射而形成的信号。摄像头包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,镜头模组1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
在一些实施例中,终端1000还包括有:除镜头模组1006之外的其他***设备。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地,其他***设备包括:射频电路1004、显示屏1005、音频电路1007、定位组件1008和电源1009中的至少一种。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置在终端1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在另一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端1000的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时,可以检测用户对终端1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时,由处理器1001根据用户对显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置在终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制显示屏1005的显示亮度。具体地,当环境光强度较高时,调高显示屏1005的显示亮度;当环境光强度较低时,调低显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时,由处理器1001控制显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时,由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请还提供一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像拍摄方法。
本申请还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述可选实现方式中提供的图像拍摄方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (17)
1.一种图像拍摄方法,其特征在于,应用于终端中,所述终端包括设置于屏幕玻璃盖板下的镜头模组,所述方法包括:
获取所述屏幕玻璃盖板的面型信息;
基于所述屏幕玻璃盖板的面型信息,对所述镜头模组拍摄所得的原始图像进行图像矫正;
输出所述原始图像矫正后得到的矫正图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述屏幕玻璃盖板的面型信息,对所述镜头模组拍摄所得的原始图像进行图像矫正,包括:
获取所述原始图像的深度信息;
基于所述深度信息,将所述原始图像分割出至少一个图像区域;
基于所述屏幕玻璃盖板的面型信息,对所述至少一个图像区域进行图像矫正;
所述输出所述原始图像矫正后得到的矫正图像,包括:
将所述原始图像与矫正后的所述至少一个图像区域进行合成,得到所述矫正图像;
输出所述矫正图像。
3.根据权利要求2所述的方法,其特征在于,所述获取所述原始图像的深度信息,包括:
所述镜头模组基于结构光探测技术,获取所述原始图像的深度信息;
或,
所述镜头模组基于光飞行时间法,获取所述原始图像的深度信息。
4.根据权利要求3所述的方法,其特征在于,所述镜头模组基于结构光探测技术,获取所述原始图像的深度信息,包括:
所述镜头模组发送第一探测条纹发射信号;
所述镜头模组接收第一探测条纹反射信号,所述第一探测条纹反射信号是所述第一探测条纹发射信号经被拍摄物体反射而形成的信号;
基于所述第一探测条纹反射信号与所述第一探测条纹发射信号之间的变化情况,获取所述原始图像的深度信息。
5.根据权利要求2所述的方法,其特征在于,所述基于所述屏幕玻璃盖板的面型信息,对所述至少一个图像区域进行图像矫正,包括:
使用所述屏幕玻璃盖板的面型信息,对所述至少一个图像区域进行去卷积处理以进行图像矫正。
6.根据权利要求1至5任一所述的方法,其特征在于,所述获取所述屏幕玻璃盖板的面型信息,包括:
所述镜头模组基于结构光探测技术,获取所述屏幕玻璃盖板的面型信息;
或,
所述镜头模组基于光飞行时间法,获取所述屏幕玻璃盖板的面型信息。
7.根据权利要求6所述的方法,其特征在于,所述镜头模组基于结构光探测技术,获取所述屏幕玻璃盖板的面型信息,包括:
所述镜头模组发送第二探测条纹发射信号;
所述镜头模组接收第二探测条纹反射信号,所述第二探测条纹反射信号是所述第二探测条纹发射信号经所述屏幕玻璃盖板反射而形成的信号;
基于所述第二探测条纹反射信号与所述第二探测条纹发射信号之间的变化情况,获取所述屏幕玻璃盖板的面型信息。
8.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
获取参考距离,所述参考距离是被拍摄物体至所述镜头模组之间的距离;
基于所述参考距离,对所述镜头模组进行调焦;
使用调焦后的所述镜头模组进行图像拍摄,得到所述原始图像。
9.根据权利要求8所述的方法,其特征在于,所述获取参考距离,包括:
所述镜头模组基于结构光探测技术,获取所述参考距离;
或,
所述镜头模组基于光飞行时间法,获取所述参考距离。
10.根据权利要求9所述的方法,其特征在于,所述镜头模组基于结构光探测技术,获取所述参考距离,包括:
所述镜头模组发送第三探测条纹发射信号;
所述镜头模组接收第三探测条纹反射信号,所述第三探测条纹反射信号是所述第三探测条纹发射信号经所述被拍摄物体反射而形成的信号;
基于第一往返时间,确定所述参考距离;
其中,所述第一往返时间是所述镜头模组发射所述第三探测条纹发射信号的时间点与接收所述第三探测条纹反射信号的时间点之间的差值。
11.根据权利要求8所述的方法,其特征在于,基于所述参考距离,对所述镜头模组进行调焦,包括:
响应于得到至少两个所述参考距离,基于注意力机制对至少两个所述参考距离进行处理,得到目标参考距离;
基于所述目标参考距离,对所述镜头模组进行调焦。
12.一种终端,其特征在于,所述终端包括:处理器,存储器和设置于屏幕玻璃盖板下的镜头模组;
所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行,以实现如权利要求1至11任一所述的图像拍摄方法。
13.根据权利要求12所述的终端,其特征在于,
所述屏幕玻璃盖板为曲面屏幕玻璃盖板。
14.根据权利要求12或13所述的终端,其特征在于,所述镜头模组包括:摄像头、以所述摄像头的光轴为对称轴而对称设置的探测信号发射端和图像传感器;
所述摄像头用于进行图像拍摄;
所述探测信号发射端用于发射探测发射信号;
所述图像传感器用于接收探测反射信号,所述探测反射信号是所述探测发射信号经反射而形成的信号。
15.根据权利要求14所述的终端,其特征在于,
所述探测发射信号包括探测条纹发射信号。
16.一种图像拍摄装置,其特征在于,应用于终端中,所述终端包括设置于屏幕玻璃盖板下的镜头模组,所述装置包括:面型信息获取模块、图像矫正模块和图像输出模块;
所述面型信息获取模块,用于获取所述屏幕玻璃盖板的面型信息;
所述图像矫正模块,用于基于所述屏幕玻璃盖板的面型信息,对所述镜头模组拍摄所得的原始图像进行图像矫正;
所述图像输出模块,用于输出所述原始图像矫正后得到的矫正图像。
17.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行,以实现如权利要求1至11任一项所述的图像拍摄方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110478495.9A CN113191976B (zh) | 2021-04-30 | 2021-04-30 | 图像拍摄方法、装置、终端及存储介质 |
PCT/CN2022/080664 WO2022227893A1 (zh) | 2021-04-30 | 2022-03-14 | 图像拍摄方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110478495.9A CN113191976B (zh) | 2021-04-30 | 2021-04-30 | 图像拍摄方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113191976A true CN113191976A (zh) | 2021-07-30 |
CN113191976B CN113191976B (zh) | 2024-03-22 |
Family
ID=76982857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110478495.9A Active CN113191976B (zh) | 2021-04-30 | 2021-04-30 | 图像拍摄方法、装置、终端及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113191976B (zh) |
WO (1) | WO2022227893A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114666509A (zh) * | 2022-04-08 | 2022-06-24 | Oppo广东移动通信有限公司 | 图像获取方法与装置、探测模组、终端及存储介质 |
WO2022227893A1 (zh) * | 2021-04-30 | 2022-11-03 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、终端及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080266413A1 (en) * | 2007-04-24 | 2008-10-30 | Noy Cohen | Techniques for adjusting the effect of applying kernals to signals to achieve desired effect on signal |
US20190371219A1 (en) * | 2018-06-04 | 2019-12-05 | Acer Incorporated | Demura system for non-planar screen |
CN111274849A (zh) * | 2018-12-04 | 2020-06-12 | 上海耕岩智能科技有限公司 | 曲面屏成像比例的确定方法、存储介质及电子设备 |
CN111722816A (zh) * | 2019-03-19 | 2020-09-29 | 上海耕岩智能科技有限公司 | 可弯折屏的成像比例的确定方法、电子设备、存储介质 |
CN112004054A (zh) * | 2020-07-29 | 2020-11-27 | 深圳宏芯宇电子股份有限公司 | 多方位监控方法、设备及计算机可读存储介质 |
CN112130800A (zh) * | 2020-09-29 | 2020-12-25 | Oppo广东移动通信有限公司 | 图像处理方法、电子装置、设备和存储介质 |
CN112232155A (zh) * | 2020-09-30 | 2021-01-15 | 墨奇科技(北京)有限公司 | 非接触指纹识别的方法、装置、终端及存储介质 |
CN112651286A (zh) * | 2019-10-11 | 2021-04-13 | 西安交通大学 | 一种基于透明屏的三维深度感知装置及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191976B (zh) * | 2021-04-30 | 2024-03-22 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、终端及存储介质 |
-
2021
- 2021-04-30 CN CN202110478495.9A patent/CN113191976B/zh active Active
-
2022
- 2022-03-14 WO PCT/CN2022/080664 patent/WO2022227893A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080266413A1 (en) * | 2007-04-24 | 2008-10-30 | Noy Cohen | Techniques for adjusting the effect of applying kernals to signals to achieve desired effect on signal |
US20190371219A1 (en) * | 2018-06-04 | 2019-12-05 | Acer Incorporated | Demura system for non-planar screen |
CN111274849A (zh) * | 2018-12-04 | 2020-06-12 | 上海耕岩智能科技有限公司 | 曲面屏成像比例的确定方法、存储介质及电子设备 |
CN111722816A (zh) * | 2019-03-19 | 2020-09-29 | 上海耕岩智能科技有限公司 | 可弯折屏的成像比例的确定方法、电子设备、存储介质 |
CN112651286A (zh) * | 2019-10-11 | 2021-04-13 | 西安交通大学 | 一种基于透明屏的三维深度感知装置及方法 |
CN112004054A (zh) * | 2020-07-29 | 2020-11-27 | 深圳宏芯宇电子股份有限公司 | 多方位监控方法、设备及计算机可读存储介质 |
CN112130800A (zh) * | 2020-09-29 | 2020-12-25 | Oppo广东移动通信有限公司 | 图像处理方法、电子装置、设备和存储介质 |
CN112232155A (zh) * | 2020-09-30 | 2021-01-15 | 墨奇科技(北京)有限公司 | 非接触指纹识别的方法、装置、终端及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022227893A1 (zh) * | 2021-04-30 | 2022-11-03 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、终端及存储介质 |
CN114666509A (zh) * | 2022-04-08 | 2022-06-24 | Oppo广东移动通信有限公司 | 图像获取方法与装置、探测模组、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022227893A1 (zh) | 2022-11-03 |
CN113191976B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109302632B (zh) | 获取直播视频画面的方法、装置、终端及存储介质 | |
CN112270718B (zh) | 摄像头标定方法、装置、***及存储介质 | |
WO2022227893A1 (zh) | 图像拍摄方法、装置、终端及存储介质 | |
CN111565309B (zh) | 显示设备及其畸变参数确定方法、装置、***及存储介质 | |
CN112396076A (zh) | 车牌图像生成方法、装置及计算机存储介质 | |
CN113763228A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110503159B (zh) | 文字识别方法、装置、设备及介质 | |
CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
CN109754439B (zh) | 标定方法、装置、电子设备及介质 | |
KR20160031819A (ko) | 이동단말기 및 그 제어방법 | |
CN112381729B (zh) | 图像处理方法、装置、终端及存储介质 | |
CN113012211B (zh) | 图像采集方法、装置、***、计算机设备及存储介质 | |
CN113470116B (zh) | 对摄像装置标定数据的验证方法、装置、设备及存储介质 | |
CN111127539B (zh) | 视差确定方法、装置、计算机设备及存储介质 | |
CN110672036B (zh) | 确定投影区域的方法及装置 | |
CN110443841B (zh) | 地面深度的测量方法、装置及*** | |
CN112243083B (zh) | 抓拍方法、装置及计算机存储介质 | |
CN112399080A (zh) | 视频处理方法、装置、终端及计算机可读存储介质 | |
CN114093020A (zh) | 动作捕捉方法、装置、电子设备及存储介质 | |
CN113592874A (zh) | 图像显示方法、装置和计算机设备 | |
CN112184802A (zh) | 标定框的调整方法、装置及存储介质 | |
CN110889391A (zh) | 人脸图像处理的方法、装置、计算设备和存储介质 | |
CN116681746B (zh) | 深度图像的确定方法和装置 | |
CN112150554B (zh) | 画面显示方法、装置、终端和存储介质 | |
CN111353934B (zh) | 一种视频合成的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |