CN110445988B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110445988B CN110445988B CN201910718278.5A CN201910718278A CN110445988B CN 110445988 B CN110445988 B CN 110445988B CN 201910718278 A CN201910718278 A CN 201910718278A CN 110445988 B CN110445988 B CN 110445988B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- dynamic range
- preview
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,本申请实施例获取拍摄场景的至少两帧预览图像;确定预览图像的动态范围,以及预览图像中移动区域的比例;根据动态范围和移动区域的比例计算图像合成系数;若图像合成系数大于预设阈值,则按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像;若图像合成系数不大于预设阈值,则按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像,实现了根据拍摄场景灵活选择图像合成模式,得到具有高动态范围的合成图像。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
随着智能终端技术的不断发展,电子设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数电子设备都内置有摄像头,并且随着移动终端处理能力的增强以及摄像头技术的发展,用户对拍摄的图像质量的要求也越来越高。
但是由于电子设备本身硬件的限制,在对明暗相差较大的场景进行拍摄时,容易丢失亮处或暗处的细节,只能拍摄亮度范围较小的图像或者视频。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,能够实现具有高动态范围的图像的拍摄。
第一方面,本申请实施例提供一种图像处理方法,包括:
获取拍摄场景的至少两帧预览图像;
确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例;
根据所述动态范围和所述移动区域的比例计算图像合成系数,其中,所述图像合成系数与所述动态范围成正比、与所述移动区域的比例成反比;
若所述图像合成系数大于预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
若所述图像合成系数不大于预设阈值,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像。
第二方面,本申请实施例提供一种图像处理装置,包括:
获取模块,用于获取拍摄场景的至少两帧预览图像;
确定模块,用于确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例;
计算模块,用于根据所述动态范围和所述移动区域的比例计算图像合成系数,其中,所述图像合成系数与所述动态范围成正比、与所述移动区域的比例成反比;
合成模块,用于若所述图像合成系数大于预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
以及,若所述图像合成系数不大于预设阈值,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的图像处理方法。
本申请实施例提供的方案,获取拍摄场景的至少两帧预览图像,确定预览图像的动态范围,以及预览图像中移动区域的比例,根据动态范围和移动区域的比例计算图像合成系数,其中,动态范围越大,图像合成系数越大,移动区域的比例越小,图像合成系数越大,当该图像合成系数大于预设阈值时,按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像;当图像合成系数不大于图像合成系数时,按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围与移动区域的大小,灵活地选择匹配的图像合成模式,得到高动态范围图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的第一种流程示意图。
图2为本申请实施例提供的图像处理方法的应用流程示意图。
图3为本申请实施例提供的图像处理方法的第二种流程示意图。
图4为本申请实施例提供的图像处理方法的第三种流程示意图。
图5为本申请实施例提供的图像处理装置的结构示意图。
图6为本申请实施例提供的电子设备的结构示意图。
图7为本申请实施例提供的电子设备的图像处理电路的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参照图1,图1为本申请实施例提供的图像处理方法的第一种流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下:
101、获取拍摄场景的至少两帧预览图像。
其中,电子设备在根据用户启动摄像头进行拍摄时,摄像头对准的场景即为拍摄场景。例如,用户开启电子设备上的相机应用程序,将摄像头对准某一物体进行拍照或者录像,则电子设备的摄像头对准的包含有该物体的场景即为拍摄场景。因此,可以理解的是,拍摄场景并不一定是固定不变的一个特定场景,而是会随着摄像头的移动而变化的场景。
该实施例中,电子设备在启动摄像头后,在用户触发拍摄指令之前,需要在取景框中对拍摄场景进行实时预览显示。此时,电子设备可以按照相机的测光***确定自动曝光参数,按照该自动曝光参数通过图像传感器进行持续曝光,获取拍摄场景对应的预览图像,其中,拍摄指令可以是拍照指令或录像指令。此外,需要说明的是,在获取预览图像时,可以按照全分辨率获取。
在一些实施例中,电子设备在内存中预先设置有图像缓存队列,将曝光得到的预览图像按照曝光的先后时间顺序,存储在该图像缓存队列中。其中,图像缓存队列可以为定长队列,例如,设定该图像缓存队列能够存储10帧图像,则当图像缓存队列中存储的预览图像的数量达到10帧时,可以将队列中存储时间最早的图像删除。
本实施例的方案中,为了得到具有高动态范围的合成图像,即HDR图像,需要将连续曝光得到的多帧图像进行合成处理。而在拍摄时,可能存在拍摄场景中的物体的位置发生移动的情况,例如拍摄场景中的行人、行驶中的车辆等。当使用多帧连续曝光的图像进行合成时,移动物体在这连续的多帧图像中有相对位置的变化,导致合成得到的图像中可能出现光晕和/或重影(鬼影)现象,特别是对于使用不同曝光参数得到的多帧图像进行合成时,这种出现光晕或重影的现象尤为严重。因此,在进行图像合成时,需要考虑选择合适的图像合成模式,以避免出现这种重影现象。此外,根据预览图像的动态范围的不同,需要的图像合成模式也不相同。
因此,本申请实施例的方案,可以通过对这些预览图像的动态范围、以及移动物体在预览图像中所占的比例进行综合评估,以根据拍摄场景动态地调整图像合成模式,以使合成得到的图像具有更好的HDR效果。
102、确定预览图像的动态范围,以及预览图像中移动区域的比例。
本申请实施例中,采用预览图像中过曝区域(亮度过高)和欠曝区域(亮度过低)之和在整个预览图像中所占的比例,来表示该预览图像的动态范围。其中,当过曝区域和欠曝区域在预览图像中所占的比例越大,则该预览图像的动态范围越大,反之,当过曝区域和欠曝区域在预览图像中所占的比例越小,则该预览图像的动态范围越小。其中,在对预览图像的过曝区域和欠曝区域的大小进行检测时,可以获取当前时刻图像缓存队列中最近存储的一帧预览图像作为检测对象。
在对预览图像的动态范围进行计算的同时,识别出预览图像移动物体所在的区域,即移动区域,计算移动区域在预览图像中所占的比例。
103、根据动态范围和移动区域的比例计算图像合成系数,其中,图像合成系数与动态范围成正比、与移动区域的比例成反比。
其中,当动态范围相差不大时,移动区域在预览图像中所占的比例越大,则图像合成系数越大。当移动区域在预览图像中所占的比例相差不大时,图像的动态范围越大,则图像合成系数越大。
若图像合成系数大于预设阈值,则执行104,若图像合成系数不大于预设阈值,则执行105。
104、按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像。
105、按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像。
该实施例中,曝光参数包括曝光值(Exposure Value,简称EV),曝光值用来表示曝光量的大小,曝光值越大,则说明曝光量越大。EV+表示过曝光,其后的数值越大,则过曝光的程度越高。EV-表示欠曝光,其后的数值越大,则欠曝光的程度越高。
曝光值可以由曝光时长、感光度、光圈三个参数来调整。当本方案应用于手机或者平板电脑等电子设备时,可以通过调节上述三个参数中的曝光时长来设置多个不同的曝光值。例如,保持另外两个参数不变,通过增大曝光时长来增大曝光值,通过减小曝光时长来减小曝光值。在另外一些实施例中,也可以通过上述三个参数中的感光度或光圈来增大或者减小曝光值。
电子设备中预先配置有多种图像合成模式,例如,在电子设备中设置第一图像合成模式和第二图像合成模式。
其中,使用第一图像合成模式拍摄HDR(High-Dynamic Range,高动态范围)图像时,按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像,该模式下合成得到的图像具有更高的动态的范围。例如,在第一图像合成模式下,使用3-7帧横跨EV+、EV0和EV-的图像进行合成,在这种模式下,EV-可以根据需要取到比较低的值,例如,EV-6。比如,使用曝光值分别为EV+3、EV0、EV-3进行曝光,分别得到过曝图像、正常曝光图像和欠曝图像,过曝光的图像保留了目标场景中较暗区域的特征,欠曝光的图像保留了目标场景中较亮区域的特征,在合成时可以利用过曝光的图像保留的目标场景中较暗区域的特征,以及欠曝光的图像保留的目标场景中较亮区域的特征,进行合成得到具有高动态范围的合成图像。
使用第二图像合成模式拍摄HDR图像时,按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像,使用该模式合成,能够避免出现合成图像中出现重影现象。该图像合成模式为一种多帧欠曝的合成模式,使用多帧具有相同曝光参数的欠曝图像进行合成。例如,使用EV-的曝光值连续多次曝光,得到多帧欠曝图像进行合成处理。例如,使用EV-3的曝光值连续进行8次曝光,得到8帧拍摄场景的欠曝图像,使用这8帧图像进行HDR合成处理,得到具有高动态范围的合成图像。
基于上述两种图像合成模式的原理不同,第一图像合成模式相对于第二图像合成模式来说,得到的合成图像具有更高的动态范围。而第二图像合成模式相对于第一图像合成模式来说,虽然动态范围相对较差,但是由于采用的是EV-的曝光值,并且多帧图像是相同的曝光值,这些图像的亮度和噪声表现相似,能很好地侦测出图像中的移动区域和亮区过度,合成后对于光晕和鬼影的副作用能减到最小,即如果采用第二图像合成模式进行曝光与合成,可以将合成图像中的光晕和重影的影响降到最低。
基于此,当预览图像中的动态范围较小,移动区域的比例较大时,计算得到的图像合成系数会较小,若图像合成系数不大于第一预设阈值,对应的选择第二图像合成模式进行图像的曝光与合成。当预览图像中的动态范围较大,移动区域的比例较小时,计算得到的图像合成系数会较大,若图像合成系数大于第一预设阈值,对应的选择第一图像合成模式进行图像的曝光与合成。请参阅图2,图2为本申请实施例提供的图像处理方法的应用流程示意图。
可以理解的是,在电子设备中预先配置图像合成系数对应的预设阈值,该预设阈值可以是通过多次测试得到的经验值,例如,在不同场景下拍照并分别采用不同的图像合成模式进行处理,以确定出一个最合适的预设阈值,以使在实际应用时,能够通过图像合成系数与该预设阈值大小关系,确定出最合适当前拍摄场景的图像合成模式。
此外,可以理解的是,本申请实施例的方案可以应用于预览、拍照或录像。
在拍照或者录像时,需要在取景框中实时显示拍摄场景的预览画面,可以将合成得到的第一高动态范围图像或第二高动态范围图像显示在取景框中,而非直接显示未合成的预览图像,实现HDR预览效果。
在一些实施例中,“若图像合成系数大于预设阈值,则按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像”可以包括:
若图像合成系数大于预设阈值,则在接收到拍照指令时,按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像。然后,基于第一高动态范围图像响应拍照指令。
同理地,“若图像合成系数不大于预设阈值,则按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像”可以包括:
若图像合成系数不大于预设阈值,则在接收到拍照指令时,按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像。然后,基于第二高动态范围图像响应拍照指令。
该实施例中,电子设备在接收到拍照指令时,按照对应的图像合成模式进行曝光与合成处理,得到具有高动态范围的合成图像,并输出该合成图像,作为响应该拍照指令得到的图像。
在电子设备进行录像时,可以采用与拍照类似的原理,将录像看作是在持续不停的拍照,只是并不直接输出得到的合成图像,而是对合成图像进行视频编码处理,得到当前拍摄场景对应的视频。视频是由连续的多帧图像构成的,其中,可以根据电子设备的硬件配置或者用户设置来决定视频的帧率,最终经过编码得到的视频中,每一帧图像都是具有高动态范围的合成图像。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提出的图像处理方法,获取拍摄场景的至少两帧预览图像,确定预览图像的动态范围,以及预览图像中移动区域的比例,根据动态范围和移动区域的比例计算图像合成系数,其中,动态范围越大,图像合成系数越大,移动区域的比例越小,图像合成系数越大,当该图像合成系数大于预设阈值时,按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像;当图像合成系数不大于图像合成系数时,按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围与移动区域的大小,灵活地选择匹配的图像合成模式,得到高动态范围图像。
请参照图3,图3为本申请实施例提供的图像处理方法的第二种流程示意图。
在一些实施例中,“确定预览图像的动态范围,以及预览图像中移动区域的比例”可以包括:
1021、统计预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,第一亮度阈值大于第二亮度阈值;
1022、计算第一区域面积与第二区域面积之和在预览图像中所占的比例,作为预览图像的动态范围;
1023、从至少两帧预览图像中,获取任意连续两帧预览图像;
1024、对两帧预览图像进行图像相减处理,以确定差异像素点;
1025、将差异像素点数量除以预览图像的像素点数量,得到预览图像中移动区域的比例。
该实施例中,通过计算图像中过曝区域和欠曝区域的大小来确定预览图像的动态范围。可以从图像缓存队列中获取最近存储的一帧预览图像,计算该预览图像的动态范围。
其中,将亮度大于第一亮度阈值的像素点的位置作为过曝区域,可以通过统计亮度大于第一亮度阈值的像素点的数量,来表示过曝区域的面积,即第一区域面积;将亮度小于第二亮度阈值的像素点的位置作为欠曝区域,通过统计亮度小于第二亮度阈值的像素点的数量(即分辨率的大小),来表示欠曝区域的面积,即第二区域面积。将一帧预览图像中的像素点的总数量作为该预览图像的总面积。由于在一次拍照或录像操作时,一般图像分辨率在设置好之后,拍照或者录像的过程中不会再发生变化,例如,用户使用电子设备中1600分辨率的摄像头进行拍照,将拍照尺寸设置为16:9,则图像缓存队列中的预览图像的分辨率均为5312x2988,即预览图像中的总像素点数量为5312x2988。
同时,电子设备可以对预览图像中移动物体进行检测,以识别出移动区域。由于判断一个物体在拍摄场景中是否发生移动,至少需要两帧图像进行对比才能进行判断。故该实施例中,从至少两帧预览图像中选择两帧预览图像进行判断,例如,可以选择最新存储的两帧预览图像,对这两帧预览图像进行相减处理,即在两帧预览图像之间对应像素做减法运算,去定出差异像素点,并判定这些差异像素点的位置即为发生物体运动的移动区域,计算这些差异像素点数量在预览图像中所占的比例,作为在预览图像中移动区域的比例。
请参阅图4,图4为本申请实施例提供的图像处理方法的第三种流程示意图。
在一些实施例中,“确定预览图像的动态范围,以及预览图像中移动区域的比例”之前,还包括:
106、根据预览图像,识别拍摄场景对应的场景类型;
若场景类型属于第一预设类型,则执行104;
若场景类型属于第二预设类型,则执行105;
若场景类型不属于第一预设类型且不属于第二预设类型,则执行102。
该实施例中,在获取到预览图像后,先通过预览图像识别拍摄场景对应的场景类型,如夜景、室内、室外、风景、人像等场景类型。其中,可以通过设置在电子设备中的分类模式,例如神经网络模型来实现场景类型的识别。
其中,用户可以根据需要将某一特定的场景类型标记为第一预设类型或第二预设类型。第一预设类型可以是对亮度范围要求比较高的场景类型,如人像、风景等;第二预设类型可以是对光晕和重影效果要求比较高(尽量不出现光晕和重影现象)的场景类型,例如,室外、夜景等。
当拍摄场景属于第一预设类型时,采用第一图像合成模式进行曝光与合成,当拍摄场景属于第二预设类型时,采用第二图像合成模式进行曝光与合成。当拍摄场景既不属于第一预设类型,也不属于第二预设类型,则确定预览图像的动态范围,以及预览图像中移动区域的比例,并计算图像合成系数,根据图像合成系数来选择图像合成模式。
在一些实施例中,“获取拍摄场景的至少两帧预览图像”之前,该方法还可以包括:
确定当前的拍摄模式;若拍摄模式属于预设拍摄模式,则执行101。
该实施例中,可以将本申请实施例的方案应用于多种拍摄模式下,例如,预设拍摄模式可以有多种,比如HDR模式、夜景模式、人像模式等,只要电子设备拍摄时处于预设拍摄模式,都会采用本申请实施例的方案选择对应的图像合成模式拍摄HDR图像,并不局限于HDR模式下,才会拍摄HDR图像。
在一实施例中还提供了一种图像处理装置。请参阅图5,图5为本申请实施例提供的图像处理装置400的结构示意图。其中该图像处理装置200应用于电子设备,该图像处理装置200包括获取模块201、确定模块202、计算模块203以及合成模块204,如下:
获取模块201,用于获取拍摄场景的至少两帧预览图像;
确定模块202,用于确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例;
计算模块203,用于根据所述动态范围和所述移动区域的比例计算图像合成系数,其中,所述图像合成系数与所述动态范围成正比、与所述移动区域的比例成反比;
合成模块204,用于若所述图像合成系数大于预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
以及,若所述图像合成系数不大于预设阈值,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像。
在一些实施例中,确定模块202还用于:
统计所述预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,所述第一亮度阈值大于所述第二亮度阈值;
计算所述第一区域面积与所述第二区域面积之和在所述预览图像中所占的比例,作为所述预览图像的动态范围。
在一些实施例中,确定模块202还用于:
从所述至少两帧预览图像中,获取任意连续两帧预览图像;
对所述两帧预览图像进行图像相减处理,以确定差异像素点;
将所述差异像素点数量除以所述预览图像的像素点数量,得到所述预览图像中移动区域的比例。
在一些实施例中,确定模块202还用于:
统计所述预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,所述第一亮度阈值大于所述第二亮度阈值;
计算所述第一区域面积与所述第二区域面积的面积差值;
将所述面积差值除以所述预览图像的总面积,得到所述预览图像中移动区域的比例。
在一些实施例中,计算模块203还用于:
在一些实施例中,该图像处理装置200还包括第一识别模块,该第一识别模块用于:
根据所述预览图像,识别所述拍摄场景对应的场景类型;
若所述场景类型属于第一预设类型,则合成模块204按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
若所述场景类型属于第二预设类型,则合成模块204按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像;
若所述场景类型不属于所述第一预设类型且不属于所述第二预设类型,则确定模块202确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例。
在一些实施例中,该图像处理装置200还包括第二识别模块,该第二识别模块用于:确定当前的拍摄模式;
若所述拍摄模式属于预设拍摄模式,则获取模块201获取拍摄场景的至少两帧预览图像。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
应当说明的是,本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,在图像处理装置上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
由上可知,本申请实施例提出的图像处理装置,获取模块201获取拍摄场景的至少两帧预览图像,确定模块202确定预览图像的动态范围,以及预览图像中移动区域的比例,计算模块203根据动态范围和移动区域的比例计算图像合成系数,其中,动态范围越大,图像合成系数越大,移动区域的比例越小,图像合成系数越大,当该图像合成系数大于预设阈值时,合成模块204按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像;当图像合成系数不大于图像合成系数时,合成模块204按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围与移动区域的大小,灵活地选择匹配的图像合成模式,得到高动态范围图像。
本申请实施例还提供一种电子设备,该电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图6,图6为本申请实施例提供的电子设备的结构示意图。电子设备800可以包括摄像模组801、存储器802、处理器803、触摸显示屏804、扬声器805、麦克风806等部件。
摄像模组801可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图7,图7为本申请实施例提供的电子设备的图像处理电路的结构示意图。为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的图像传输给图像信号处理器进行处理。图像信号处理器处理图像后,可将图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器802存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器803通过运行存储在存储器802的应用程序,从而执行各种功能应用以及数据处理。
处理器803是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器802内的应用程序,以及调用存储在存储器802内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
触摸显示屏804可以用于接收用户对电子设备的触摸控制操作。扬声器805可以播放声音信号。麦克风806可以用于拾取声音信号。
在本实施例中,电子设备中的处理器803会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器802中,并由处理器803来运行存储在存储器802中的应用程序,从而执行:
获取拍摄场景的至少两帧预览图像;
确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例;
根据所述动态范围和所述移动区域的比例计算图像合成系数,其中,所述图像合成系数与所述动态范围成正比、与所述移动区域的比例成反比;
若所述图像合成系数大于预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
若所述图像合成系数不大于预设阈值,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像。
在一些实施例中,在确定所述预览图像的动态范围时,处理器803执行:
统计所述预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,所述第一亮度阈值大于所述第二亮度阈值;
计算所述第一区域面积与所述第二区域面积之和在所述预览图像中所占的比例,作为所述预览图像的动态范围。
在一些实施例中,在确定所述预览图像中移动区域的比例时,处理器803执行:
从所述至少两帧预览图像中,获取任意连续两帧预览图像;
对所述两帧预览图像进行图像相减处理,以确定差异像素点;
将所述差异像素点数量除以所述预览图像的像素点数量,得到所述预览图像中移动区域的比例。
在一些实施例中,在根据所述动态范围和所述移动区域的比例计算图像合成系数时,处理器803执行:
在一些实施例中,在确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例之前,处理器803还执行:
根据所述预览图像,识别所述拍摄场景对应的场景类型;
若所述场景类型属于第一预设类型,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
若所述场景类型属于第二预设类型,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像;
若所述场景类型不属于所述第一预设类型且不属于所述第二预设类型,则执行确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例。
在一些实施例中,在获取拍摄场景的至少两帧预览图像之前,处理器803还执行:
确定当前的拍摄模式;
若所述拍摄模式属于预设拍摄模式,则获取拍摄场景的至少两帧预览图像。
由上可知,本申请实施例提供了一种电子设备,所述电子设备获取拍摄场景的至少两帧预览图像,确定预览图像的动态范围,以及预览图像中移动区域的比例,根据动态范围和移动区域的比例计算图像合成系数,其中,动态范围越大,图像合成系数越大,移动区域的比例越小,图像合成系数越大,当该图像合成系数大于预设阈值时,按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像;当图像合成系数不大于图像合成系数时,按照同一曝光参数获取拍摄场景的多帧第二图像,对多帧第二图像合成处理,得到第二高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围与移动区域的大小,灵活地选择匹配的图像合成模式,得到高动态范围图像。
本申请实施例还提供一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,所述计算机执行上述任一实施例所述的图像处理方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种图像处理方法,其特征在于,包括:
获取拍摄场景的至少两帧预览图像;
按照预设分类模型对所述预览图像的内容进行识别,以确定所述拍摄场景对应的场景类型;
若所述场景类型属于第一预设类型,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
若所述场景类型属于第二预设类型,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像;
若所述场景类型不属于所述第一预设类型且不属于所述第二预设类型,则根据所述预览图像的亮度确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例;
根据所述动态范围和所述移动区域的比例计算图像合成系数,其中,所述图像合成系数与所述动态范围成正比、与所述移动区域的比例成反比;
若所述图像合成系数大于预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
若所述图像合成系数不大于预设阈值,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像,其中,所述第二图像为欠曝光图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述确定所述预览图像的动态范围,包括:
统计所述预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,所述第一亮度阈值大于所述第二亮度阈值;
计算所述第一区域面积与所述第二区域面积之和在所述预览图像中所占的比例,作为所述预览图像的动态范围。
3.如权利要求1所述的图像处理方法,其特征在于,所述确定所述预览图像中移动区域的比例,包括:
从所述至少两帧预览图像中,获取任意连续两帧预览图像;
对所述两帧预览图像进行图像相减处理,以确定差异像素点;
将所述差异像素点数量除以所述预览图像的像素点数量,得到所述预览图像中移动区域的比例。
5.一种图像处理装置,其特征在于,包括:
获取模块,用于获取拍摄场景的至少两帧预览图像;
确定模块,用于按照预设分类模型对所述预览图像的内容进行识别,以确定所述拍摄场景对应的场景类型;
若所述场景类型属于第一预设类型,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
若所述场景类型属于第二预设类型,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像;
若所述场景类型不属于所述第一预设类型且不属于所述第二预设类型,则根据所述预览图像的亮度确定所述预览图像的动态范围,以及所述预览图像中移动区域的比例;
计算模块,用于根据所述动态范围和所述移动区域的比例计算图像合成系数,其中,所述图像合成系数与所述动态范围成正比、与所述移动区域的比例成反比;
合成模块,用于若所述图像合成系数大于预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第一图像,对所述多帧第一图像合成处理,得到第一高动态范围图像;
以及,若所述图像合成系数不大于预设阈值,则按照同一曝光参数获取所述拍摄场景的多帧第二图像,对所述多帧第二图像合成处理,得到第二高动态范围图像,其中,所述第二图像为欠曝光图像。
6.如权利要求5所述的图像处理装置,其特征在于,所述确定模块还用于:
从所述至少两帧预览图像中,获取任意连续两帧预览图像;
对所述两帧预览图像进行图像相减处理,以确定差异像素点;
将所述差异像素点数量除以所述预览图像的像素点数量,得到所述预览图像中移动区域的比例。
7.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至4任一项所述的图像处理方法。
8.一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至4任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910718278.5A CN110445988B (zh) | 2019-08-05 | 2019-08-05 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910718278.5A CN110445988B (zh) | 2019-08-05 | 2019-08-05 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110445988A CN110445988A (zh) | 2019-11-12 |
CN110445988B true CN110445988B (zh) | 2021-06-25 |
Family
ID=68433240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910718278.5A Active CN110445988B (zh) | 2019-08-05 | 2019-08-05 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110445988B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028189B (zh) * | 2019-12-09 | 2023-06-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110958400B (zh) * | 2019-12-13 | 2021-11-23 | 上海海鸥数码照相机有限公司 | 一种连续拍摄的照片曝光量一致的***、方法及装置 |
CN113568688B (zh) * | 2020-04-29 | 2023-06-06 | RealMe重庆移动通信有限公司 | 一种视图切换方法、装置、电子设备和存储介质 |
CN111766606A (zh) * | 2020-06-19 | 2020-10-13 | Oppo广东移动通信有限公司 | Tof深度图像的图像处理方法、装置、设备及存储介质 |
CN111986131B (zh) * | 2020-07-31 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 图像合成方法、装置及电子设备 |
CN114390212B (zh) * | 2020-10-22 | 2023-03-24 | 华为技术有限公司 | 拍照预览方法、电子设备以及存储介质 |
CN114650361B (zh) * | 2020-12-17 | 2023-06-06 | 北京字节跳动网络技术有限公司 | 拍摄模式确定方法、装置、电子设备和存储介质 |
CN112804464B (zh) * | 2020-12-30 | 2023-05-09 | 北京格视科技有限公司 | 一种hdr图像生成方法、装置、电子设备及可读存储介质 |
CN112822413B (zh) * | 2020-12-30 | 2024-01-26 | Oppo(重庆)智能科技有限公司 | 拍摄预览方法、装置、终端和计算机可读存储介质 |
CN112929576B (zh) * | 2021-02-01 | 2023-08-01 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备和存储介质 |
CN113472980B (zh) * | 2021-06-15 | 2022-12-09 | 展讯通信(上海)有限公司 | 一种图像处理方法、装置、设备、介质和芯片 |
CN113489909B (zh) * | 2021-07-30 | 2024-01-19 | 维沃移动通信有限公司 | 拍摄参数的确定方法、装置及电子设备 |
CN115706870B (zh) * | 2021-08-12 | 2023-12-26 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
CN114531552B (zh) * | 2022-02-16 | 2023-06-27 | 四川创安微电子有限公司 | 一种高动态范围图像合成方法及*** |
CN115278046A (zh) * | 2022-06-15 | 2022-11-01 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备和存储介质 |
CN116095513B (zh) * | 2022-08-05 | 2024-03-26 | 荣耀终端有限公司 | 拍照方法和相关装置 |
CN115767262B (zh) * | 2022-10-31 | 2024-01-16 | 华为技术有限公司 | 拍照方法及电子设备 |
CN117135293B (zh) * | 2023-02-24 | 2024-05-24 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107465882A (zh) * | 2017-09-22 | 2017-12-12 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
CN108391059A (zh) * | 2018-03-23 | 2018-08-10 | 华为技术有限公司 | 一种图像处理的方法和装置 |
CN109996009A (zh) * | 2019-04-09 | 2019-07-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI520604B (zh) * | 2012-03-20 | 2016-02-01 | 華晶科技股份有限公司 | 攝像裝置及其影像預覽系統及影像預覽方法 |
-
2019
- 2019-08-05 CN CN201910718278.5A patent/CN110445988B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107465882A (zh) * | 2017-09-22 | 2017-12-12 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
CN108391059A (zh) * | 2018-03-23 | 2018-08-10 | 华为技术有限公司 | 一种图像处理的方法和装置 |
CN109996009A (zh) * | 2019-04-09 | 2019-07-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110445988A (zh) | 2019-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110445989B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN110062160B (zh) | 图像处理方法和装置 | |
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN108989700B (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108683862B (zh) | 成像控制方法、装置、电子设备及计算机可读存储介质 | |
CN110381263B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110290289B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109194882B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110213502B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110198417A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN111684788A (zh) | 一种图像处理的方法和装置 | |
CN110166707B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN110266954B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110198418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110166706B (zh) | 图像处理方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |