CN109671106B - 一种图像处理方法、装置与设备 - Google Patents
一种图像处理方法、装置与设备 Download PDFInfo
- Publication number
- CN109671106B CN109671106B CN201710959936.0A CN201710959936A CN109671106B CN 109671106 B CN109671106 B CN 109671106B CN 201710959936 A CN201710959936 A CN 201710959936A CN 109671106 B CN109671106 B CN 109671106B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure time
- target image
- ghost
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000035945 sensitivity Effects 0.000 claims description 95
- 230000004927 fusion Effects 0.000 claims description 80
- 206010034960 Photophobia Diseases 0.000 claims description 51
- 208000013469 light sensitivity Diseases 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 13
- 238000007499 fusion processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 238000010295 mobile communication Methods 0.000 claims description 6
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000013461 design Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 238000003825 pressing Methods 0.000 description 6
- 239000000047 product Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000035800 maturation Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Abstract
本发明公开了一种图像处理方法、装置和设备。获得N帧图像;在所述N帧图像中确定一个参考图像,其余N‑1帧图像为待处理图像;根据所述N‑1帧待处理图像得到N‑1帧去鬼影图像;对所述参考图像和所述N‑1帧去鬼影图像进行均值运算得到第一目标图像。该方法能够为相机提供抓拍模式。使得用户可以在不同的场景下抓拍到清晰的图像,提高用户体验。
Description
技术领域
本发明涉及终端技术领域,尤其涉及一种图像处理方法、装置与设备。
背景技术
现实拍照中,在拍摄运动物体时,都会存在或轻或重的运动模糊,如若拍摄玩耍的孩子,奔跑的宠物等运动速度较快的目标时,更是会出现较为严重的拖影现象。在按下快门键之后的曝光过程中,若存在手持抖动,还会使图像模糊现象更加严重。
为了提升拍摄运动物体的清晰度,降低手抖影响,专业摄影师常常配备昂贵的大光圈,光学防抖镜头,三脚架等辅助拍照设备。但对于无时无刻,随时随地都在拍照的手机用户来说,这些方法却因为价格高,不便携等原因较难以普及。
为了解决运动模糊以及可能会同时存在的亮度、噪声等拍照时比较常见的问题,本发明提出一套针对运动场景抓拍的拍照方法。
发明内容
本发明实施例提供一种图像处理方法、装置与设备,可以为用户提供抓拍机制,在处理运动场景时,能够抓拍到高清晰度的图像,提高用户的拍照体验。
本发明实施例提供的具体技术方案如下:
第一方面,本发明实施例提供一种图像处理方法,方法包括:获得N帧图像;在N帧图像中确定一个参考图像,其余N-1帧图像为待处理图像;根据N-1帧待处理图像得到N-1帧去鬼影图像;对参考图像和N-1帧去鬼影图像进行均值运算得到第一目标图像;其中,根据所述N-1帧待处理图像得到N-1帧去鬼影图像包括:对于N-1帧待处理图像中的第i帧图像执行步骤1-步骤4,i取遍不大于N-1的所有正整数,
步骤1:将第i帧图像与参考图像进行配准,得到第i配准图像;步骤2:根据第i配准图像与参考图像得到第i差异图像;步骤3:根据第i差异图像得到第i鬼影权重图像;步骤4:根据第i鬼影权重图像,将第i配准图像与参考图像进行融合,得到第i帧去鬼影图像。
第二方面,本发明实施例提供一种图像处理装置,装置包括:获取模块,用于获得N帧图像;确定模块,用于在N帧图像中确定一个参考图像,其余N-1帧图像为待处理图像;去鬼影模块,用于对于N-1帧待处理图像中的第i帧图像执行以下步骤1-步骤4,以得到N-1帧去鬼影图像,i取遍不大于N-1的所有正整数;步骤1:将第i帧图像与参考图像进行配准,得到第i配准图像;步骤2:根据第i配准图像与参考图像得到第i差异图像;步骤3:根据第i差异图像得到第i鬼影权重图像;步骤4:根据第i鬼影权重图像,将第i配准图像与参考图像进行融合,得到第i帧去鬼影图像;均值运算模块,对参考图像和N-1帧去鬼影图像进行均值运算得到第一目标图像。
根据本发明实施例提供的上述方法和装置的技术方案,用户可以在运动场景中,依旧能对运动中的图像进行抓拍,并能得到高清晰度的图片。
根据第一方面或者第二方面,在一种可能的设计中,在获得N帧图像之前,方法还包括:检测到以下三种情形同时存在时,产生控制信号,所述控制信号用于指示获取N帧图像;情形1:检测到相机的取景图像为运动图像;情形2:检测到相机的当前曝光时长超过安全时长;情形3:检测到相机处于极高亮场景中,相应的,相机的当前感光度小于第一预设阈值,且所述当前曝光时长小于第二预设阈值。其中,作为实施例的补充,上述3种情形可以检测到至少一个即可产生相应的控制信号。例如检测到情形3,表示极高亮条件,则智能切换到下文提到的第一抓拍模式,产生控制信号用第一抓拍模式的方式获取N帧图片。检测上述情形的方法可以由检测模块执行。
根据第一方面或者第二方面,在一种可能的设计中,获得N帧图像包括:保持相机当前的感光度和曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第一曝光时长和第一感光度;将相机的曝光时长和感光度分别设置为所述第一曝光时长和所述第一感光度,拍摄N帧图像。
根据第一方面或者第二方面,在一种可能的设计中,在获得N帧图像之前,方法还包括:检测到以下三种情形同时存在时,产生控制信号,所述控制信号用于指示获取N帧图像;情形1:检测到相机的取景图像为运动图像;情形2:检测到相机的当前曝光时长超过安全时长;情形3:检测到相机处于中度高亮场景中,相应的,相机的当前感光度在第一预设阈值区间,且当前曝光时长在第二预设阈值区间。其中,作为实施例的补充,上述3种情形可以检测到至少一个即可产生相应的控制信号。例如检测到情形3,表示中度高亮条件,则智能切换到下文提到的第二抓拍模式或第三抓拍模式,产生控制信号用第二抓拍模式或第三抓拍模式的方式获取N帧图片。检测上述情形的方法可以由检测模块执行。
根据第一方面或者第二方面,在一种可能的设计中,即第二抓拍模式,获得N帧图像包括:保持相机当前的感光度和曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第二曝光时长和第二感光度;将相机的曝光时长和感光度分别设置为第二曝光时长和第二感光度,拍摄N帧图像;方法还包括:按照相机当前的感光度和曝光时长拍摄一帧第一新图像;根据第一目标图像和第一新图像得到第二目标图像。该技术方案可以用于纯粹的抓拍模式,无需对当前拍照环境进行判定。
根据第一方面或者第二方面,在一种可能的设计中,即第二抓拍模式,所述根据所述第一目标图像和所述第一新图像得到第二目标图像包括:将所述第一新图像与所述参考图像或者第一目标图像进行配准,得到第一(二)配准图像;根据所述第一(二)配准图像与所述第一目标图像得到第一(二)差异图像;根据所述第一(二)差异图像得到第一(二)鬼影权重图像;根据所述第一(二)鬼影权重图像,将所述第一(二)配准图像与所述第一目标图像进行融合,得到第一(二)去鬼影图像;根据所述第一(二)去鬼影图像和所述第一目标图像进行像素值的加权融合,得到所述第二目标图像。
根据第一方面或者第二方面,在一种可能的设计中,即第三抓拍模式,获得N帧图像包括:保持相机当前的感光度不变,将当前曝光时长设置为更低的第三曝光时长;并拍摄N帧图像;所述方法还包括:按照所述相机当前的感光度和曝光时长拍摄一帧第二新图像;根据所述第一目标图像和所述第二新图像得到第三目标图像。该技术方案可以用于纯粹的抓拍模式,无需对当前拍照环境进行判定。
根据第一方面或者第二方面,在一种可能的设计中,即第三抓拍模式,根据所述第一目标图像和所述第二新图像得到第三目标图像包括:根据第二新图像,对所述第一目标图像按照预设的亮度校正算法进行处理得到第四目标图像;将所述第二新图像与所述参考图像或者所述第四目标图像进行配准,得到第三(四)配准图像;根据所述第三(四)配准图与所述所述第四目标图像得到第三(四)差异图像;根据所述第三(四)差异图像得到第三(四)鬼影权重图像;根据所述第三(四)鬼影权重图像,将所述第三(四)配准图像与所述第四目标图像进行融合,得到第三(四)去鬼影图像;根据所述第三(四)去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第五(六)目标图像;对所述第五(六)目标图像和所述第一目标图像进行金字塔融合处理,得到所述第三目标图像。
更具体地,上述了可能的技术实现可以由处理器调用存储器中的程序与指令进行相应的运算处理。
根据第一方面或者第二方面,在一种可能的设计中,用户根据自己的选择直接进入抓拍模式,如上文中会提到的第一抓拍模式或者第二抓拍模式或者第三抓拍模式;这时,终端无需对取景环境进行检测,因为每一个抓拍模式都会有个预先设定的参数规则(预先存储在终端本地或者云端服务器),即每一个抓拍模式都会有对应的感光度和曝光时长,当然还可以包括有其他的性能参数等;一旦进入到特定的抓拍模式,相机会自动地调整到对应的感光度和对应的曝光时长进行拍摄。因此如果用户直接采用了抓拍模式,则所述获取N张图片就会采用对应的感光度和对应的曝光时长拍摄N张图片,以进行相应模式的后续图像处理。
在第一抓拍模式下,一种可能的设计方式中,拍照的动作可以由用户按下快门键进行触发。一种情形下,用户按下快门之前,相机当前的感光度和当前曝光时长就已经被调整设置为第一曝光时长和第一感光度,用户按下快门时,便以第一曝光时长和第一感光度拍摄N张图片进行后续处理;另一种情形下,用户按下快门之前,相机依旧保持所述当前的感光度和当前曝光时长,当用户按下快门时,相机当前的感光度和当前曝光时长被调整设置为第一曝光时长和第一感光度,并以第一曝光时长和第一感光度拍摄N张图片进行后续处理。此外,预览图像数据流中即可以以所述当前的感光度和当前曝光时长的状态进行显示图像,也可以以所述第一曝光时长和第一感光度的状态进行显示图像。
在第二抓拍模式下,一种可能的设计方式中,拍照的动作可以由用户按下快门键进行触发。一种情形下,当用户按下快门时,便以所述当前的感光度和当前曝光时长获得一帧第一新图像,并将所述当前的感光度和当前曝光时长调整设置为第二曝光时长和第二感光度并在该条件下拍摄N张图片,共得到N+1张图片,以进行后续处理。另一种情形下,当用户按下快门时,便将当前的感光度和当前曝光时长设置为第二曝光时长和第二感光度,并在该条件下拍摄N张图片,然后再恢复到所述当前的感光度和当前曝光时长的条件下获得一帧第一新图像;共得到N+1张图片,以进行后续处理。此外,预览图像数据流中即可以以所述当前的感光度和当前曝光时长的状态进行显示图像,也可以以所述第二曝光时长和第二感光度的状态进行显示图像。
在第三抓拍模式下,一种可能的设计方式中,拍照的动作可以由用户按下快门键进行触发。一种情形下,当用户按下快门时,便以当前的感光度和当前曝光时长获得一帧第二新图像;并保持相机当前的感光度不变,将当前曝光时长设置为更低的第三曝光时长,并在该条件下拍摄N张图片,共得到N+1张图片,以进行后续处理。另一种情形下,当用户按下快门时,便将当前曝光时长设置为更低的第三曝光时长,并在该条件下拍摄N张图片,然后再恢复到所述当前曝光时长在当前感光度的条件下获得一帧第二新图像;共得到N+1张图片,以进行后续处理。此外,预览图像数据流中即可以以所述当前的感光度和当前曝光时长的状态进行显示图像,也可以以所述第三曝光时长和所述当前感光度的状态进行显示图像。
第三方面,本发明实施例提供一种终端设备,终端设备包含存储器、处理器、总线、摄像头,所述存储器、所述摄像头以及所述处理器通过所述总线相连;其中,摄像头用于在所述处理器的控制下采集图像信号;存储器用于存储计算机程序和指令;处理器用于调用所述存储器中存储的所述计算机程序和指令,使所述终端设备执行如上述任何一种可能的设计方法。
根据第三方面,在一种可能的设计中,终端设备还包括天线***、天线***在处理器的控制下,收发无线通信信号实现与移动通信网络的无线通信;移动通信网络包括以下的一种或多种:GSM网络、CDMA网络、3G网络、4G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
上述方法、装置与设备既可以应用于终端自带的拍照软件进行拍摄的场景;也可以应用于终端中运行第三方拍照软件进行拍摄的场景;拍摄包括普通拍摄,自拍,以及视频电话、视频会议、VR拍摄、航拍等多种拍摄方式。
通过上述方案,本发明的实施例中终端,可以包含多种拍照模式,如单纯的抓拍模式,或者根据场景条件检测后决定是否进行抓拍的只能拍照模式;终端处于抓拍模式时,对于运动场景、或者信噪比较高等不易拍出清晰照片的场景,本方案已经能够拍出高清晰度的照片,大大提高用户的拍照体验。
附图说明
图1为一种终端的结构示意图;
图2为本发明实施例中一种图像处理方法的流程图;
图3为本发明实施例中一种对图像去鬼影方法的流程图;
图4为本发明实施例中一种抓拍***流程图;
图5为本发明实施例中另一种图像处理方法示意图;
图6为本发明实施例中另一种图像处理方法示意图;
图7为本发明实施例中的一种图像处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,并不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,终端,可以是向用户提供拍照和/或数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备,比如:数码相机、单反相机、移动电话(或称为“蜂窝”电话),可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC,Personal Computer)、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、无人机、航拍器等。
图1示出了终端100的一种可选的硬件结构示意图。
参考图1所示,终端100可以包括射频单元110、存储器120、输入单元130、显示单元140、摄像头150、音频电路160、扬声器161、麦克风162、处理器170、外部接口180、电源190等部件,在本发明实施例中,所述摄像头150至少存在两个。
摄像头150用于采集图像或视频,可以通过应用程序指令触发开启,实现拍照或者摄像功能。摄像头可以包括成像镜头,滤光片,图像传感器,对焦防抖马达等部件。物体发出或反射的光线进入成像镜头,通过滤光片,最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可称为待拍摄对象)发出或反射的光汇聚成像;滤光片主要是用于将光线中的多余光波(例如除可见光外的光波,如红外)滤去;图像传感器主要是用于对接收到的光信号进行光电转换,转换成电信号,并输入到处理170进行后续处理。
本领域技术人员可以理解,图2仅仅是便携式多功能装置的举例,并不构成对便携式多功能装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
所述输入单元130可用于接收输入的数字或字符信息,以及产生与所述便携式多功能装置的用户设置以及功能控制有关的键信号输入。具体地,输入单元130可包括触摸屏131以及其他输入设备132。所述触摸屏131可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏附近的操作),并根据预先设定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作,将所述触摸动作转换为触摸信号发送给所述处理器170,并能接收所述处理器170发来的命令并加以执行;所述触摸信号至少包括触点坐标信息。所述触摸屏131可以提供所述终端100和用户之间的输入界面和输出界面。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏。除了触摸屏131,输入单元130还可以包括其他输入设备。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键132、开关按键133等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单。在本发明实施例中,显示单元还用于显示设备利用摄像头150获取到的图像,包括预览图像、拍摄的初始图像以及拍摄后经过一定算法处理后的目标图像。
进一步的,触摸屏131可覆盖显示面板141,当触摸屏131检测到在其上或附近的触摸操作后,传送给处理器170以确定触摸事件的类型,随后处理器170根据触摸事件的类型在显示面板141上提供相应的视觉输出。在本实施例中,触摸屏与显示单元可以集成为一个部件而实现终端100的输入、输出、显示功能;为便于描述,本发明实施例以触摸显示屏代表触摸屏和显示单元的功能集合;在某些实施例中,触摸屏与显示单元也可以作为两个独立的部件。
所述存储器120可用于存储指令和数据,存储器120可主要包括存储指令区和存储数据区,存储数据区可存储关节触摸手势与应用程序功能的关联关系;存储指令区可存储操作***、应用、至少一个功能所需的指令等软件单元,或者他们的子集、扩展集。还可以包括非易失性随机存储器;向处理器170提供包括管理计算处理设备中的硬件、软件以及数据资源,支持控制软件和应用。还用于多媒体文件的存储,以及运行程序和应用的存储。
处理器170是终端100的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的指令以及调用存储在存储器120内的数据,执行终端100的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器170可包括一个或多个处理单元;优选的,处理器170可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器170中。在一些实施例中,处理器、存储器、可以在单一芯片上实现,在一些实施例中,他们也可以在独立的芯片上分别实现。处理器170还可以用于产生相应的操作控制信号,发给计算处理设备相应的部件,读取以及处理软件中的数据,尤其是读取和处理存储器120中的数据和程序,以使其中的各个功能模块执行相应的功能,从而控制相应的部件按指令的要求进行动作。
所述射频单元110可用于收发信息或通话过程中信号的接收和发送,特别地,将基站的下行信息接收后,给处理器170处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,射频单元110还可以通过无线通信与网络设备和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(Global System of Mobile communication,GSM)、通用分组无线服务(General PacketRadio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,麦克风162用于收集声音信号,还可以将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器170处理后,经射频单元110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理,音频电路也可以包括耳机插孔163,用于提供音频电路和耳机之间的连接接口。
终端100还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理***与处理器170逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
终端100还包括外部接口180,所述外部接口可以是标准的Micro USB接口,也可以使多针连接器,可以用于连接终端100与其他装置进行通信,也可以用于连接充电器为终端100充电。
尽管未示出,终端100还可以包括闪光灯、无线保真(wireless fidelity,WiFi)模块、蓝牙模块、各种传感器等,在此不再赘述。下文中描述的全部方法均可以应用在图1所示的终端中。
参阅图2所示,本发明实施例提供一种图像处理方法,具体处理方法流程包括如下步骤:
步骤31:获得N帧图像,N为大于2的正整数;
步骤32:在所述N帧图像中确定一个参考图像,其余N-1帧图像为待处理图像;如N为20,第一帧图像为参考图像,其余的19帧图像为待处理图像,步骤33中的i可以是1-19中的任意一个;
步骤33:根据所述N-1帧待处理图像得到N-1帧去鬼影图像;具体地,可以对N-1帧中的第i帧执行步骤s331-s334;其中i可以取遍不大于N-1的所有正整数,在一些实施例中,也可以只取其中的M帧待处理图像得到M帧去鬼影图像,M为小于N-1的正整数;仍以N-1进行说明,参见图3;
s331:将第i帧图像与所述参考图像进行配准,得到第i配准图像;
s332:根据第i配准图像与参考图像得到第i差异图像;
s333:根据第i差异图像得到第i鬼影权重图像;
s334:根据第i鬼影权重图像,将第i配准图像与参考图像进行融合,得到第i帧去鬼影图像;
步骤34:根据所述参考图像和所述N-1帧去鬼影图像得到第一目标图像;具体地,对参考图像和N-1帧去鬼影图像进行均值运算得到第一目标图像,均值运算也可以包含对平均值的一些修正,或者是绝对值的平均值等。
如果终端的相机直接处于抓拍模式,那么步骤31在当前参数设置下,接收到拍摄指令,连续拍摄N张图片即可,并可以作为下文中第一抓拍模式、第二抓拍模式、第三抓拍模式中步骤31的替换方式。具体地,用户根据自己的选择直接进入抓拍模式,如下文中会提到的第一抓拍模式或者第二抓拍模式或者第三抓拍模式;这时,终端无需对取景环境进行检测,因为每一个抓拍模式都会有个预先设定的参数规则(预先存储在终端本地或者云端服务器),即每一个抓拍模式都会有对应的感光度和曝光时长,当然还可以包括有其他的性能参数等;一旦进入到特定的抓拍模式,相机会自动地调整到对应的感光度和对应的曝光时长进行拍摄。因此如果用户直接采用了抓拍模式,则所述获取N张图片就会采用该抓拍模式对应的感光度和对应的曝光时长拍摄N张图片,以进行相应模式的后续图像处理。
如果终端的相机处于自动模式或是智能模式,这时相机需要进行对取景环境进行检测,如果检测到相机的取景图像为运动图像;且检测到相机的当前曝光时长超过安全时长;且检测到取景环境为极高亮环境下;则采用本发明中提出的第一种抓拍模式。如果检测到相机的取景图像为运动图像;且检测到相机的当前曝光时长超过安全时长;且检测到取景环境为中等高亮环境下;则采用本发明中提出的第二种抓拍模式或者第三种抓拍模式。如果以上任意情景都没有检测到,则可以采用任意一种终端支持的拍照模式进行拍摄。一种具体的拍照流程可以参见图4。
其中,本文中的“相机”泛指终端设备中能够完成拍照功能的***,包括摄像头、以及必要的处理模块和存储模块,以完成图像的获取、传输,还可以包含一些处理功能模块。
其中,“当前的曝光时长”、“当前的感光度”分别是指相机在初始条件下预览取景图像的数据流时所对应的曝光时长和感光度。通常与相机自身属性以及初始设置有关。在一种可能的设计中,如终端没有对相机的取景环境进行检测,或者对取景环境进行检测却检测不到以下三者中的任意一种情形时,相机预览取景图像数据流时所对应的曝光时长和感光度也属于“当前的曝光时长”、“当前的感光度”。情形1:相机的取景图像为运动图像;情形2:检测到相机的当前曝光时长超过安全时长;情形3::检测到取景环境为极高亮环境或中度高亮环境。
其中,检测取景图像为运动图像的方式有很多种,例如对预览数据流进行运动检测,分析拍照预览流,每隔x帧(间隔帧数x可调,x为正整数)检测一次,每次检测时对比当前检测帧图像与上一次检测帧图像之间的差异。具体可以将两个图像采用相同的划分方式分别分成若干区域,如每个图像64个区域,若出现一个或一个以上区域存在较大差异,则视为运动场景。
其中,当前曝光时间和安全快门是可以通过获取相机参数来获取的。安全快门是终端相机的一种属性。一般说来,当前曝光时间大于安全快门才会考虑采用抓拍模式。
其中,检测拍摄环境的光照强度很有必要,环境亮度越高,图像的清晰度也相对越高,需要后续的处理就会越简单。极高亮场景定义:预览图的感光度(记为ISO)和曝光时长(记为expo)小于阈值,即ISO<iso_th1,且expo<expo_th1。预览图的ISO和expo可以通过获取相机参数来获取,iso_th1和expo_th1可根据用户具体需求决定;中高亮场景定义:iso_th1≤ISO<iso_th2,且expo_th1≤expo<expo_th2,同理iso_th2和expo_th2也可根据用户具体需求决定;低亮场景定义:iso_th2≤ISO且expo_th2≤expo;应理解,这些区间的划分是由用户需求确定的,这些取值区间之间允许存在不连续或者重合的情况。
下面针对第一抓拍模式、第二抓拍模式和第三抓拍模式进行详细说明。
第一抓拍模式
抓拍模式一的流程图可参见图2和图3。
步骤31具体为:获取相机当前的感光度和当前曝光时长等参数,保持相机当前的感光度和曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第一曝光时长和第一感光度,如第一曝光时长为原曝光时长的1/2或1/4,而第一感光度相应为原感光度的2倍或4倍,具体的比例可以根据用户的需求或者设定规则进行调整;将相机的曝光时长和感光度分别设置为所述第一曝光时长和所述第一感光度,拍摄N帧图像。下面的步骤是对这N帧进行降噪处理。
一种可能的设计方式中,拍照的动作可以由用户按下快门键进行触发。一种情形下,用户按下快门之前,相机当前的感光度和当前曝光时长就已经被调整设置为第一曝光时长和第一感光度,用户按下快门时,便以第一曝光时长和第一感光度拍摄N张图片进行后续处理;另一种情形下,用户按下快门之前,相机依旧保持所述当前的感光度和当前曝光时长,当用户按下快门时,相机当前的感光度和当前曝光时长被调整设置为第一曝光时长和第一感光度,并以第一曝光时长和第一感光度拍摄N张图片进行后续处理。此外,预览图像数据流中即可以以所述当前的感光度和当前曝光时长的状态进行显示图像,也可以以所述第一曝光时长和第一感光度的状态进行显示图像。
步骤32具体为:在所述N帧图像中确定一个参考图像,其余N-1帧图像为待处理图像。例如,取这N帧图像中的第一帧图像或者中间某一帧图像作为参考图像。后面的步骤以第一帧图像为例进行说明。
步骤33具体为:根据所述N-1帧待处理图像得到N-1帧去鬼影图像。这一步骤里又可以细分为很多子步骤。可以对其余N-1帧中的第i帧执行步骤s331-s334;其中i可以取遍不大于N-1的所有正整数,在具体实现过程中,也可以取局部帧得到局部帧的去鬼影图像,为了方便说明,本实施例中以N-1帧中的全部帧得到去鬼影图像进行说明。
s331具体为:将第i帧图像与参考图像进行配准,得到第i配准图像。具体的配准方式可以为:(1)对第i帧图像以及参考图像分别按照同样的方式进行特征提取,得到一系列的特征点,并对每个特征点进行特征描述;(2)将第i帧图像与参考图像的特征点进行匹配;得到一系列特征点对,并用ransac算法(现有技术)进行坏点剔除;(3)在匹配得到的特征点对中求解得到两幅图像的变换矩阵(homography矩阵或affine矩阵等),根据变换矩阵,将第i帧图像与参考图像进行配准对齐,得到第i帧的配准图。此步骤现阶段已有成熟的开源算法可以用来调用,故在此不详细展开。
s332具体为:根据第i配准图像与参考图像得到第i差异图像。具体地,将得到第i帧配准图与参考图像进行逐个像素点求差,根据每个差值取绝对值得到两幅图像的差异图。
s333具体为:根据第i差异图像得到第i鬼影权重图像;具体地,差异图中超过预设阈值的像素点置为M(如255),没超过预设阈值的像素点置为N(如0),并对重新赋值后的差异图做高斯平滑,即可得到第i鬼影权重图像。
s334具体为:根据第i鬼影权重图像,将第i配准图像与参考图像进行融合,得到第i帧去鬼影图像。具体地,根据鬼影权重图像(下列公式中的ghost_mask),将第i帧配准图(下列公式中的image_i)与参考图像(下列公式中的image_1)进行逐个像素的融合,即可以得到第i帧去除鬼影图像(no_ghost_mask)。融合公式如下,其中m,n代表像素坐标:
步骤34具体为:对参考图像和N-1帧去鬼影图像进行均值运算得到第一目标图像。如业界的像素平均算法等。第一目标图像就是终端执行该拍照模式时得到的最终图像。
第二抓拍模式
第二抓拍模式相对第一抓拍模式较为复杂。其中有部分步骤与抓拍模式1的方法相同。第二抓拍模式的流程图可以参见图5。
步骤41:按照相机当前的感光度和曝光时长拍摄一帧第一新图像;并按照预设比例降低曝光时长并提高感光度,得到第二曝光时长和第二感光度,将相机的曝光时长和感光度分别设置为第二曝光时长和第二感光度,拍摄N帧图像;
一种可能的设计方式中,拍照的动作可以由用户按下快门键进行触发。一种情形下,当用户按下快门时,便以所述当前的感光度和当前曝光时长获得一帧第一新图像,并将所述当前的感光度和当前曝光时长调整设置为第二曝光时长和第二感光度并在该条件下拍摄N张图片,共得到N+1张图片,以进行后续处理。另一种情形下,当用户按下快门时,便将当前的感光度和当前曝光时长设置为第二曝光时长和第二感光度,并在该条件下拍摄N张图片,然后再恢复到所述当前的感光度和当前曝光时长的条件下获得一帧第一新图像;共得到N+1张图片,以进行后续处理。此外,预览图像数据流中即可以以所述当前的感光度和当前曝光时长的状态进行显示图像,也可以以所述第二曝光时长和第二感光度的状态进行显示图像。
步骤42:对上一步中得到的N帧图像采用第一抓拍模式方案(步骤31-步骤34)获得到第一目标图像,其中,应理解,第二感光度、第二曝光时长以及上述一些可调整的阈值可能会因为场景的变化而产生相应的变化;
步骤43:根据第一目标图像和第一新图像得到第二目标图像。具体实现过程中,可以包含但不仅限于下列两种实现方式:
步骤43方式(1):
s4311:将第一新图像与参考图像(同获取第一目标图像时选出的参考图像)进行配准,得到第一配准图像;
s4312:根据第一配准图与第一目标图像得到第一差异图像;
s4313:根据第一差异图像得到第一鬼影权重图像;
s4314:根据第一鬼影权重图像,将第一配准图像与第一目标图像进行融合,得到第一去鬼影图像;
s4315:根据第一去鬼影图像和第一目标图像进行像素值的加权融合,得到第二目标图像,具体地,可以包括时域融合s4315(1)、时域融合s4315(3)和频域融合s4315(2)、频域融合s4315(4)四种实现方式。
时域融合s4315(1):分别对第一目标图像和第一去鬼影图像做导向滤波,滤掉短帧信息(现有成熟算法),记为fusion_gf和noghost_gf。将fusion_gf和noghost_gf进行像素值加权融合。具体融合公式如下:
其中,v为根据当前ISO档位对应标定好的噪声大小,为常量,W为权重值,取值范围为[0,1)。
对融合后的图像逐个像素点加回目标细节,对于任何一个像素点,目标细节为第一目标图像和第一去鬼影图像在该像素点导向滤波中过滤掉的细节的较大值,以增加图像细节,得到第二目标图像。
时域融合s4315(3):分别对第一目标图像(记为fusion)和第一去鬼影图像(记为noghost)做下采样,宽高都下采样2倍,分别得到第一目标图像下采样图和第一去鬼影图像下采样图,记为fusionx4和noghostx4。再对fusionx4和noghostx4做上采样,宽高都上采样2倍,分别得到两张与未采样之前大小一致的图,记为fusion’和noghost’。对fusion与fusion’逐像素点求差,得到第一目标图像的采样误差图,记为fusion_se;对noghost与noghost’逐像素点求差,得到第一去鬼影图像的采样误差图,记为noghost_se。分别对fusionx4和noghostx4做导向滤波(现有成熟算法),得到两张滤波后的图像,记为fusion_gf和noghost_gf。将fusion_gf和noghost_gf进行像素值加权融合得到融合图像,记为Fusion,具体融合公式同s4315(1)中的公式。对融合图像逐点加回第一目标图像在导向滤波中过滤掉的细节,对图像做上采样,宽高都上采样2倍,记为FusionUp。对fusion_se和noghost_se这两张采样误差图逐点选取较大值,并逐点加至FusionUp中以增加图像细节,得到第二目标图像。
频域融合s4315(2):分别对第一目标图像和第一去鬼影图像像做导向滤波(现有成熟算法);分别对两个滤波后的图像做傅里叶变换,并求对应的幅值;将幅值比值作为权重,将两个图像对应的傅里叶频谱进行融合,具体融合公式与时域融合类似。将融合的频谱做傅里叶逆变换,得到一幅融合后的图像。对融合后的图像逐个像素点加回目标细节,对于任何一个像素点,目标细节为第一目标图像和第一去鬼影图像在该像素点导向滤波中过滤掉的细节的较大值,以增加图像细节,得到第二目标图像。
频域融合s4315(4):分别对第一目标图像(记为fusion)和第一去鬼影图像(记为noghost)做下采样,宽高都下采样2倍,分别得到第一目标图像下采样图和第一去鬼影图像下采样图,记为fusionx4和noghostx4。再对fusionx4和noghostx4做上采样,宽高都上采样2倍,分别得到两张与未采样之前大小一致的图,记为fusion’和noghost’。对fusion与fusion’逐像素点求差,得到第一目标图像的采样误差图,记为fusion_se;对noghost与noghost’逐像素点求差,得到第一去鬼影图像的采样误差图,记为noghost_se。分别对fusionx4和noghostx4做导向滤波(现有成熟算法),记为fusion_gf和noghost_gf。分别对两个滤波后的图像做傅里叶变换,并求对应的幅值;将幅值比值作为权重,将两个图像对应的傅里叶频谱进行融合,具体融合公式与时域融合类似。将融合的频谱做傅里叶逆变换,得到一幅融合后的图像。对融合后的图像逐个像素点加回第一目标图像在导向滤波中过滤掉的细节,并对加回后的图像做宽高都是2倍的上采样,记为FusionUp。对fusion_se和noghost_se这两张采样误差图逐点选取较大值,并逐点加至FusionUp中以增加图像细节,得到第二目标图像。
其中,s4311-s4314与s331-s334涉及的具体算法相同,主要是输入图像的替换,此处不再赘述。
步骤43方式(2):
s4321:将第一新图像与第一目标图像进行配准,得到第二配准图像;
s4322:根据第二配准图与第一目标图像得到第二差异图像;
s4323:根据第二差异图像得到第二鬼影权重图像;
s4324:根据第二鬼影权重图像,将第二配准图像与第一目标图像进行融合,得到第二去鬼影图像;
s4325:根据第二去鬼影图像和第一目标图像进行像素值的加权融合,得到第二目标图像,具体地,可以包括时域融合和频域融合两种实现方式,可以参照上述s4315(1)、s4315(3)和频域融合s4315(2)、s4315(4)中的任意一个,因算法一样,仅是输入图像的替换,此处不再赘述。
第三抓拍模式
第三抓拍模式相对第一抓拍模式较为复杂,某种程度上可以理解为第二抓拍模式的一种替换,中高亮场景中常用第二种和第三种抓拍模式。第三抓拍模式的流程图可以参见图6。
步骤51:按照相机当前感光度和当前曝光时长拍摄一帧第二新图像;并保持相机当前的感光度不变,将当前曝光时长设置为更低的第三曝光时长,并拍摄N帧图像;
一种可能的设计方式中,拍照的动作可以由用户按下快门键进行触发。一种情形下,当用户按下快门时,便以当前的感光度和当前曝光时长获得一帧第二新图像;并保持相机当前的感光度不变,将当前曝光时长设置为更低的第三曝光时长,并在该条件下拍摄N张图片,共得到N+1张图片,以进行后续处理。另一种情形下,当用户按下快门时,便将当前曝光时长设置为更低的第三曝光时长,并在该条件下拍摄N张图片,然后再恢复到所述当前曝光时长在当前感光度的条件下获得一帧第二新图像;共得到N+1张图片,以进行后续处理。此外,预览图像数据流中即可以以所述当前的感光度和当前曝光时长的状态进行显示图像,也可以以所述第三曝光时长和所述当前感光度的状态进行显示图像。
步骤52:对上一步中得到的N帧图像采用第一抓拍模式方案(步骤31-步骤34)获得到第一目标图像,其中,应理解,第三曝光时长以及一些可调整的阈值可能会因为场景的变化而产生相应的变化。
步骤53:根据第一目标图像和第二新图像得到第三目标图像。具体实现过程中,可以包含但不仅限于下列两种实现方式:
步骤53方式(1):
s5311;根据第二新图像,对第一目标图像进行亮度校正得到第四目标图像;具体地,分别统计第二新图像和第一目标图像的直方图,根据直方图统计累计直方图;将第一目标图像的累计直方图映射到第二新图像的累计直方图上,得到映射关系曲线;对映射关系曲线进行平滑,以抑制曲线出现斜率较大的凸起或者凹陷;根据映射曲线提高第一目标图像的亮度。亮度校正算法为现有成熟算法,不加详述。
s5312:将第二新图像与参考图像(同获取第一目标图像时选出的参考图像)进行配准,得到第三配准图像;
s5313:根据第三配准图与第四目标图像得到第三差异图像;
s5314:根据第三差异图像得到第三鬼影权重图像;
s5315:根据第三鬼影权重图像,将第三配准图像与第四目标图像进行融合,得到第三去鬼影图像;
s5316:根据第三去鬼影图像和第四目标图像进行像素值的加权融合,得到第五目标图像,融合算法可参见时域融合s4315(1)、s4315(3)和频域融合s4315(2)、s4315(4)中的任意一个;
s5317:对第五目标图像和第一目标图像进行金字塔融合处理,得到第三目标图像;具体地,分别构建第五目标图像和第一目标图像的拉普拉斯金字塔,构建图像融合的权重图,并对权重图做归一化及平滑,对归一化平滑后的权重图构建高斯金字塔,根据每层金字塔的权重设置,将所有图像的金字塔在相应层上融合,得到合成金字塔;从拉普拉斯金字塔顶层开始,将该合成金字塔按照金字塔生成的逆过程进行重构,逐一加回每一层信息,恢复融合图像。金字塔融合处理为现有成熟算法,不加详述。
此外,s5312-s5316中涉及的算法,可以对应参照s4311-s4315;此处不再赘述。
步骤53方式(2):
s5321;根据第二新图像,对第一目标图像进行亮度校正得到第四目标图像;具体地,分别统计第二新图像和第一目标图像的直方图,根据直方图统计累计直方图;将第一目标图像的累计直方图映射到第二新图像的累计直方图上,得到映射关系曲线;对映射关系曲线进行平滑,以抑制曲线出现斜率较大的凸起或者凹陷;根据映射曲线提高第一目标图像的亮度。亮度校正算法为现有成熟算法,不加详述。
s5322:将第二新图像与参考图像(同获取第一目标图像时选出的参考图像)进行配准,得到第三配准图像;
s5323:根据第三配准图与第四目标图像得到第三差异图像;
s5324:根据第三差异图像得到第三鬼影权重图像;
s5325:根据第三鬼影权重图像,将第三配准图像与第四目标图像进行融合,得到第三去鬼影图像;
s5326:根据第三去鬼影图像和第四目标图像进行像素值的加权融合,得到第五目标图像,融合算法可参见时域融合s4315(1)、s4315(3)和频域融合s4315(2)、s4315(4)中的一个;
s5327:对第五目标图像和第一目标图像进行金字塔融合处理,得到第三目标图像;具体地,分别构建第五目标图像和第一目标图像的拉普拉斯金字塔,构建图像融合的权重图,并对权重图做归一化及平滑,对归一化平滑后的权重图构建高斯金字塔,根据每层金字塔的权重设置,将所有图像的金字塔在相应层上融合,得到合成金字塔;从拉普拉斯金字塔顶层开始,将该合成金字塔按照金字塔生成的逆过程进行重构,逐一加回每一层信息,恢复融合图像。金字塔融合处理为现有成熟算法,不加详述。
此外,s5322-s5326中涉及的算法,可以对应参照s4321-s4325;此处不再赘述。
本发明提供了一种图像处理方法,该方法能够为相机提供抓拍模式。采用该方法,用户可以在不同的场景下抓拍到清晰的图像,满足用户的抓拍心理,随时随地可以抓拍记录自己的生活场景,大大提高用户体验。
基于上述实施例提供的图像处理方法,本发明实施例提供一种图像处理装置700,所述装置700可以应用于各类拍照设备,如图7所示,该装置700包括获取模块701、确定模块702、去鬼影模块703、均值运算模块704,其中:
获取模块701,用于获得N帧图像。该获取模块701可以由处理器调用存储器中的程序指令控制摄像头获取图像实现。
确定模块702,用于在N帧图像中确定一个参考图像,其余N-1帧图像为待处理图像。该确定模块702可以由处理器调用存储器中的程序指令或者外部输入的程序指令实现。
去鬼影模块703,用于对于所述N-1帧待处理图像中的第i帧图像执行以下步骤1-步骤4,以得到N-1帧去鬼影图像,i取遍不大于N-1的所有正整数;
步骤1:将所述第i帧图像与所述参考图像进行配准,得到第i配准图像;
步骤2:根据所述第i配准图像与所述参考图像得到第i差异图像;
步骤3:根据所述第i差异图像得到第i鬼影权重图像;
步骤4:根据所述第i鬼影权重图像,将所述第i配准图像与所述参考图像进行融合,得到第i帧去鬼影图像;
该去鬼影模块703可以由处理器实现,可以通过调用本地存储器或云端服务器中的数据以及算法,进行相应计算。
均值运算模块704,用于对所述参考图像和所述N-1帧去鬼影图像进行均值运算得到第一目标图像;该均值运算模块704可以由处理器实现,可以通过调用本地存储器或云端服务器中的数据以及算法,进行相应计算实现。
在具体实现过程中,获取模块701具体用于执行步骤31中所提到的方法以及可以等同替换的方法;确定模块702具体用于执行步骤32中所提到的方法以及可以等同替换的方法;去鬼影模块703具体用于执行步骤33中所提到的方法以及可以等同替换的方法;均值运算模块704具体用于执行步骤34中所提到的方法以及可以等同替换的方法。其中,上述具体的方法实施例以及实施例中的解释和表述也适用于装置中的方法执行。
在一种具体实现过程中,装置700还包括检测模块705,检测模块705用于在检测到以下三种情形同时存在时,控制所述获取模块按照以下第一获取方式获取N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机处于极高亮的环境中,即当前感光度小于第一预设阈值,且当前曝光时长小于第二预设阈值。
第一获取方式:保持相机当前的感光度和曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第一曝光时长和第一感光度;将相机的曝光时长和感光度分别设置为所述第一曝光时长和所述第一感光度,拍摄N帧图像。
在一种具体实现过程中,检测模块705用于在检测到以下三种情形同时存在时,控制所述获取模块按照以下第二获取方式或者第三获取方式获取N帧图像;
情形1:检测到相机的取景图像为运动图像;或,
情形2:检测到相机的当前曝光时长超过安全时长;或,
情形3:检测到相机处于中度高亮的环境中,即当前感光度在第一预设阈值区间,且当前曝光时长在第二预设阈值区间。
第二获取方式:保持相机当前的感光度和曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第二曝光时长和第二感光度;将相机的曝光时长和感光度分别设置为所述第二曝光时长和所述第二感光度,拍摄N帧图像;
第三获取方式:按照所述相机当前的感光度和曝光时长拍摄一帧第二新图像;保持相机当前的感光度不变,将当前曝光时长设置为更低的第三曝光时长;并拍摄N帧图像。
装置700还可以包括融合模块706,用于根据所述第一目标图像和所述第一新图像得到第二目标图像,或者用于根据所述第一目标图像和所述第二新图像得到第三目标图像。
如具体用于,将第一新图像与参考图像进行配准,得到第一配准图像;根据第一配准图与所述第一目标图像得到第一差异图像;根据第一差异图像得到第一鬼影权重图像;根据第一鬼影权重图像,将第一配准图像与所述第一目标图像进行融合,得到第一去鬼影图像;根据第一去鬼影图像和第一目标图像进行像素值的加权融合,得到第二目标图像。具体用于执行如步骤43方式(1)中所提到的方法以及可以等同替换的方法。
或者具体用于,将第一新图像与第一目标图像进行配准,得到第二配准图像;根据所述第二配准图与所述第一目标图像得到第二差异图像;根据所述第二差异图像得到第二鬼影权重图像;根据所述第二鬼影权重图像,将所述第二配准图像与所述第一目标图像进行融合,得到第二去鬼影图像;根据所述第二去鬼影图像和所述第一目标图像进行像素值的加权融合,得到所述第二目标图像。具体用于执行如步骤43方式(2)中所提到的方法以及可以等同替换的方法。
或具体用于,根据第二新图像,对所述第一目标图像进行亮度校正得到第四目标图像;将所述第二新图像与所述参考图像进行配准,得到第三配准图像;根据所述第三配准图与所述第四目标图像得到第三差异图像;根据所述第三差异图像得到第三鬼影权重图像;根据所述第三鬼影权重图像,将所述第三配准图像与所述第四目标图像进行融合,得到第三去鬼影图像;根据所述第三去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第五目标图像;对所述第五目标图像和所述第一目标图像进行金字塔融合处理,得到所述第三目标图像。具体用于执行如步骤53方式(1)中所提到的方法以及可以等同替换的方法。
或具体用于,根据第二新图像,对所述第一目标图像进行亮度校正得到第四目标图像;将所述第二新图像与所述所述第四目标图像进行配准,得到第四配准图像;根据所述第四配准图与所述第四目标图像得到第四差异图像;根据所述第四差异图像得到第四鬼影权重图像;根据所述第四鬼影权重图像,将所述第四配准图像与所述第四目标图像进行融合,得到第四去鬼影图像;根据所述第四去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第六目标图像;对所述第六目标图像和所述第一目标图像进行金字塔融合处理,得到所述第三目标图像。具体用于执行如步骤53方式(2)中所提到的方法以及可以等同替换的方法。
如果用户根据自己的选择直接进入抓拍模式,如上文中会提到的第一抓拍模式或者第二抓拍模式或者第三抓拍模式;这时,终端无需对取景环境进行检测,因为每一个抓拍模式都会有个预先设定的参数规则(预先存储在终端本地或者云端服务器),即每一个抓拍模式都会有对应的感光度和曝光时长,当然还可以包括有其他的性能参数等;一旦进入到特定的抓拍模式,获取模块会自动地调整到对应的感光度和对应的曝光时长进行拍摄。因此如果用户直接采用了抓拍模式,则获取模块就会采用对应的感光度和对应的曝光时长拍摄N张图片,以进行相应模式的后续图像处理。
上述检测模块705和融合模块706可以由处理器调用存储器中的程序指令或者云端的程序指令实现。
本发明提供了一种图像处理装置700。采用该装置或含有该装置的终端,用户可以在不同的场景下抓拍到清晰的图像,满足用户的抓拍心理,随时随地可以抓拍记录自己的生活场景,大大提高用户体验。
应理解以上装置700中的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。例如,以上各个模块可以为单独设立的处理元件,也可以集成在终端的某一个芯片中实现,此外,也可以以程序代码的形式存储于控制器的存储元件中,由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器,例如中央处理器(英文:central processing unit,简称:CPU),还可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(英文:application-specific integrated circuit,简称:ASIC),或,一个或多个微处理器(英文:digital signal processor,简称:DSP),或,一个或者多个现场可编程门阵列(英文:field-programmable gate array,简称:FPGA)等。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的部分实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括已列举实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也包含这些改动和变型在内。
Claims (27)
1.一种图像处理方法,其特征在于,所述方法包括:
获得N帧图像,包括:保持相机当前的感光度和当前的曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第一曝光时长和第一感光度;将相机当前的曝光时长和当前的感光度分别设置为所述第一曝光时长和所述第一感光度,并拍摄N帧图像,或,保持相机当前的感光度不变,将当前的曝光时长设置为更低的第三曝光时长,并拍摄N帧图像;
在所述N帧图像中确定一个参考图像,其余的N-1帧图像为待处理图像;
根据所述N-1帧待处理图像得到N-1帧去鬼影图像;
对所述参考图像和所述N-1帧去鬼影图像进行均值运算得到第一目标图像;
其中,根据所述N-1帧待处理图像得到N-1帧去鬼影图像包括:
对于所述N-1帧待处理图像中的第i帧图像执行步骤1-步骤4,i取遍不大于N-1的所有正整数,
步骤1:将所述第i帧图像与所述参考图像进行配准,得到第i配准图像;
步骤2:根据所述第i配准图像与所述参考图像得到第i差异图像;
步骤3:根据所述第i差异图像得到第i鬼影权重图像;
步骤4:根据所述第i鬼影权重图像,将所述第i配准图像与所述参考图像进行融合,得到第i帧去鬼影图像。
2.如权利要求1所述方法,其特征在于,在所述获得N帧图像之前,所述方法还包括:检测到以下三种情形同时存在时,产生控制信号,所述控制信号用于指示获取N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度小于第一预设阈值,且所述当前曝光时长小于第二预设阈值。
3.如权利要求1所述方法,其特征在于,在所述获得N帧图像之前,所述方法还包括:检测到以下三种情形同时存在时,产生控制信号,所述控制信号用于指示获取N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度在第一预设阈值区间,且当前曝光时长在第二预设阈值区间。
4.如权利要求1或3所述方法,其特征在于,所述方法还包括:
按照相机所述当前的感光度和当前的曝光时长拍摄一帧第一新图像;
根据所述第一目标图像和所述第一新图像得到第二目标图像。
5.如权利要求4所述方法,其特征在于,所述根据所述第一目标图像和所述第一新图像得到第二目标图像包括:
将所述第一新图像与所述参考图像进行配准,得到第一配准图像;
根据所述第一配准图像与所述第一目标图像得到第一差异图像;
根据所述第一差异图像得到第一鬼影权重图像;
根据所述第一鬼影权重图像,将所述第一配准图像与所述第一目标图像进行融合,得到第一去鬼影图像;
根据所述第一去鬼影图像和所述第一目标图像进行像素值的加权融合,得到所述第二目标图像。
6.如权利要求4所述方法,其特征在于,所述根据所述第一目标图像和所述第一新图像得到第二目标图像包括:
将所述第一新图像与所述第一目标图像进行配准,得到第二配准图像;
根据所述第二配准图与所述第一目标图像得到第二差异图像;
根据所述第二差异图像得到第二鬼影权重图像;
根据所述第二鬼影权重图像,将所述第二配准图像与所述第一目标图像进行融合,得到第二去鬼影图像;
根据所述第二去鬼影图像和所述第一目标图像进行像素值的加权融合,得到所述第二目标图像。
7.如权利要求1或3所述方法,其特征在于,所述方法还包括:
按照相机所述当前的感光度和所述当前的曝光时长拍摄一帧第二新图像;
根据所述第一目标图像和所述第二新图像得到第三目标图像。
8.如权利要求7所述方法,其特征在于,根据所述第一目标图像和所述第二新图像得到第三目标图像包括:
根据第二新图像,对所述第一目标图像进行亮度校正得到第四目标图像;
将所述第二新图像与所述参考图像进行配准,得到第三配准图像;
根据所述第三配准图与所述第四目标图像得到第三差异图像;
根据所述第三差异图像得到第三鬼影权重图像;
根据所述第三鬼影权重图像,将所述第三配准图像与所述第四目标图像进行融合,得到第三去鬼影图像;
根据所述第三去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第五目标图像;
对所述第五目标图像和所述第一目标图像进行金字塔融合处理,得到所述第三目标图像。
9.如权利要求7所述方法,其特征在于,根据所述第一目标图像和所述第二新图像得到第三目标图像包括:
根据第二新图像,对所述第一目标图像进行亮度校正得到第四目标图像;
将所述第二新图像与所述第四目标图像进行配准,得到第四配准图像;
根据所述第四配准图与所述第四目标图像得到第四差异图像;
根据所述第四差异图像得到第四鬼影权重图像;
根据所述第四鬼影权重图像,将所述第四配准图像与所述第四目标图像进行融合,得到第四去鬼影图像;
根据所述第四去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第六目标图像;
对所述第六目标图像和所述第一目标图像进行金字塔融合处理,得到所述第三目标图像。
10.如权利要求1所述方法,其特征在于,所述获得N帧图像包括:接收到拍摄指令,且检测到以下三种情形同时存在时,保持相机当前的感光度和当前的曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第一曝光时长和第一感光度;
根据所述第一曝光时长和所述第一感光度拍摄N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度小于第一预设阈值,且所述当前曝光时长小于第二预设阈值。
11.如权利要求1所述方法,其特征在于,所述获得N帧图像包括:检测到以下三种情形同时存在时,保持相机当前的感光度和当前的曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第一曝光时长和第一感光度;
接收到拍摄指令,并根据所述第一曝光时长和所述第一感光度拍摄N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度小于第一预设阈值,且所述当前曝光时长小于第二预设阈值。
12.如权利要求1所述方法,其特征在于,所述获得N帧图像包括:接收到拍摄指令,且检测到以下三种情形同时存在时,保持相机当前的感光度和当前的曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第二曝光时长和第二感光度;
根据所述第二曝光时长和所述第二感光度拍摄N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度在第一预设阈值区间,且当前曝光时长在第二预设阈值区间。
13.如权利要求12所述方法,其特征在于,所述方法还包括:
按照相机所述当前的感光度和当前的曝光时长拍摄一帧第一新图像;
将所述第一新图像与所述第一目标图像或所述参考图像进行配准,得到第一配准图像;
根据所述第一配准图像与所述第一目标图像得到第一差异图像;
根据所述第一差异图像得到第一鬼影权重图像;
根据所述第一鬼影权重图像,将所述第一配准图像与所述第一目标图像进行融合,得到第一去鬼影图像;
根据所述第一去鬼影图像和所述第一目标图像进行像素值的加权融合,得到第二目标图像。
14.如权利要求1所述方法,其特征在于,所述获得N帧图像包括:检测到以下三种情形同时存在时,保持相机当前的感光度不变,将当前的曝光时长设置为更低的第三曝光时长;
接收到拍摄指令,并根据所述第三曝光时长和第二感光度拍摄N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度在第一预设阈值区间,且当前曝光时长在第二预设阈值区间。
15.如权利要求1所述方法,其特征在于,所述获得N帧图像包括:接收到拍摄指令,且检测到以下三种情形同时存在时,保持相机当前的感光度不变,将当前的曝光时长设置为更低的第三曝光时长;
根据所述第三曝光时长和第二感光度拍摄N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度在第一预设阈值区间,且当前曝光时长在第二预设阈值区间。
16.如权利要求14或15所述方法,其特征在于,所述方法还包括:
按照相机所述当前的感光度和所述当前的曝光时长拍摄一帧第二新图像;
根据第二新图像,对所述第一目标图像进行亮度校正得到第四目标图像;
将所述第二新图像与所述第四目标图像或所述参考图像进行配准,得到第三配准图像;
根据所述第三配准图与所述第四目标图像得到第三差异图像;
根据所述第三差异图像得到第三鬼影权重图像;
根据所述第三鬼影权重图像,将所述第三配准图像与所述第四目标图像进行融合,得到第三去鬼影图像;
根据所述第三去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第五目标图像;
对所述第五目标图像和所述第一目标图像进行金字塔融合处理,得到第三目标图像。
17.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获得N帧图像,包括:保持相机当前的感光度和当前的曝光时长的乘积不变,按照预设比例降低曝光时长并提高感光度,得到第一曝光时长和第一感光度;将相机当前的曝光时长和当前的感光度分别设置为所述第一曝光时长和所述第一感光度,并拍摄N帧图像,或,保持相机当前的感光度不变,将当前的曝光时长设置为更低的第三曝光时长,并拍摄N帧图像;
确定模块,用于在所述N帧图像中确定一个参考图像,其余的N-1帧图像为待处理图像;
去鬼影模块,用于对于所述N-1帧待处理图像中的第i帧图像执行以下步骤1-步骤4,以得到N-1帧去鬼影图像,i取遍不大于N-1的所有正整数;
步骤1:将所述第i帧图像与所述参考图像进行配准,得到第i配准图像;
步骤2:根据所述第i配准图像与所述参考图像得到第i差异图像;
步骤3:根据所述第i差异图像得到第i鬼影权重图像;
步骤4:根据所述第i鬼影权重图像,将所述第i配准图像与所述参考图像进行融合,得到第i帧去鬼影图像;
均值运算模块,对所述参考图像和所述N-1帧去鬼影图像进行均值运算得到第一目标图像。
18.如权利要求17所述装置,其特征在于,所述装置还包括检测模块,所述检测模块用于在检测到以下三种情形同时存在时,控制所述获取模块获取N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度小于第一预设阈值,且所述当前曝光时长小于第二预设阈值。
19.如权利要求17所述装置,其特征在于,所述装置还包括检测模块,所述检测模块用于在检测到以下三种情形同时存在时,控制所述获取模块获取N帧图像;
情形1:检测到相机的取景图像为运动图像;
情形2:检测到相机的当前曝光时长超过安全时长;
情形3:检测到相机的当前感光度在第一预设阈值区间,且当前曝光时长在第二预设阈值区间。
20.如权利要求17或19所述装置,其特征在于,所述装置还包括:
融合模块,用于按照相机所述当前的感光度和当前的曝光时长拍摄一帧第一新图像,根据所述第一目标图像和所述第一新图像得到第二目标图像。
21.如权利要求20所述装置,其特征在于,所述融合模块用于:
将所述第一新图像与所述参考图像进行配准,得到第一配准图像;
根据所述第一配准图与所述第一目标图像得到第一差异图像;
根据所述第一差异图像得到第一鬼影权重图像;
根据所述第一鬼影权重图像,将所述第一配准图像与所述第一目标图像进行融合,得到第一去鬼影图像;
根据所述第一去鬼影图像和所述第一目标图像进行像素值的加权融合,得到所述第二目标图像。
22.如权利要求20所述装置,其特征在于,所述融合模块用于:
将所述第一新图像与所述第一目标图像进行配准,得到第二配准图像;
根据所述第二配准图与所述第一目标图像得到第二差异图像;
根据所述第二差异图像得到第二鬼影权重图像;
根据所述第二鬼影权重图像,将所述第二配准图像与所述第一目标图像进行融合,得到第二去鬼影图像;
根据所述第二去鬼影图像和所述第一目标图像进行像素值的加权融合,得到所述第二目标图像。
23.如权利要求17或19所述装置,其特征在于,所述装置还包括:
融合模块,用于按照相机所述当前的感光度和所述当前的曝光时长拍摄一帧第二新图像,根据所述第一目标图像和所述第二新图像得到第三目标图像。
24.如权利要求23所述装置,其特征在于,所述融合模块用于:
根据所述第二新图像,对所述第一目标图像进行亮度校正得到第四目标图像;
将所述第二新图像与所述参考图像进行配准,得到第三配准图像;
根据所述第三配准图与所述第四目标图像得到第三差异图像;
根据所述第三差异图像得到第三鬼影权重图像;
根据所述第三鬼影权重图像,将所述第三配准图像与所述第四目标图像进行融合,得到第三去鬼影图像;
根据所述第三去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第五目标图像;
对所述第五目标图像和所述第一目标图像进行金字塔融合处理,得到所述第三目标图像。
25.如权利要求23所述装置,其特征在于,所述融合模块用于:
根据第二新图像,对所述第一目标图像进行亮度校正得到第四目标图像;
将所述第二新图像与所述第四目标图像进行配准,得到第四配准图像;
根据所述第四配准图与所述第四目标图像得到第四差异图像;
根据所述第四差异图像得到第四鬼影权重图像;
根据所述第四鬼影权重图像,将所述第四配准图像与所述第四目标图像进行融合,得到第四去鬼影图像;
根据所述第四去鬼影图像和所述第四目标图像进行像素值的加权融合,得到第六目标图像;
对所述第六目标图像和所述第一目标图像进行金字塔融合处理,得到所述第三目标图像。
26.一种终端设备,其特征在于,所述终端设备包含存储器、处理器、总线、摄像头,所述存储器、所述摄像头以及所述处理器通过所述总线相连;其中,
所述摄像头用于在所述处理器的控制下采集图像信号;
所述存储器用于存储计算机程序和指令;
所述处理器用于调用所述存储器中存储的所述计算机程序和指令,使所述终端设备执行如权利要求1~16任一项所述方法。
27.如权利要求26所述的终端设备,所述终端设备还包括天线***、所述天线***在处理器的控制下,收发无线通信信号实现与移动通信网络的无线通信;所述移动通信网络包括以下的一种或多种:GSM网络、CDMA网络、3G网络、4G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18866515.2A EP3686845B1 (en) | 2017-10-13 | 2018-10-12 | Image processing method and device and apparatus |
PCT/CN2018/109951 WO2019072222A1 (zh) | 2017-10-13 | 2018-10-12 | 一种图像处理方法、装置与设备 |
US16/847,178 US11445122B2 (en) | 2017-10-13 | 2020-04-13 | Image processing method and apparatus, and device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2017109543011 | 2017-10-13 | ||
CN201710954301 | 2017-10-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109671106A CN109671106A (zh) | 2019-04-23 |
CN109671106B true CN109671106B (zh) | 2023-09-05 |
Family
ID=66139200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710959936.0A Active CN109671106B (zh) | 2017-10-13 | 2017-10-16 | 一种图像处理方法、装置与设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11445122B2 (zh) |
EP (1) | EP3686845B1 (zh) |
CN (1) | CN109671106B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
US11915446B2 (en) * | 2018-10-24 | 2024-02-27 | Siemens Healthineers Ag | Generating a medical result image |
CN110428391B (zh) * | 2019-08-02 | 2022-05-03 | 格兰菲智能科技有限公司 | 用以去除鬼影假象的图像融合方法及装置 |
CN110602467B (zh) * | 2019-09-09 | 2021-10-08 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、存储介质及电子设备 |
CN112927144A (zh) * | 2019-12-05 | 2021-06-08 | 北京迈格威科技有限公司 | 图像增强方法、图像增强装置、介质和电子设备 |
CN112288642A (zh) * | 2020-09-21 | 2021-01-29 | 北京迈格威科技有限公司 | 鬼影检测方法、图像融合方法及对应装置 |
CN114338956A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN112565595B (zh) * | 2020-11-25 | 2022-07-01 | 西安闻泰电子科技有限公司 | 图像抖动消除方法、装置、电子设备和存储介质 |
CN112598716B (zh) * | 2020-12-01 | 2024-04-05 | 浙江大华技术股份有限公司 | 一种多模态图像的配准方法、装置及*** |
CN114650361B (zh) * | 2020-12-17 | 2023-06-06 | 北京字节跳动网络技术有限公司 | 拍摄模式确定方法、装置、电子设备和存储介质 |
CN112785537A (zh) * | 2021-01-21 | 2021-05-11 | 北京小米松果电子有限公司 | 图像处理方法、装置以及存储介质 |
CN115706863B (zh) * | 2021-08-12 | 2023-11-21 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
CN113691761B (zh) * | 2021-08-30 | 2023-01-06 | 联想(北京)有限公司 | 通信控制方法、装置及电子设备 |
CN113706421B (zh) * | 2021-10-27 | 2022-02-22 | 深圳市慧鲤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
CN116188343A (zh) * | 2023-02-27 | 2023-05-30 | 上海玄戒技术有限公司 | 一种图像融合方法、装置、电子设备、芯片及介质 |
CN117440253A (zh) * | 2023-12-22 | 2024-01-23 | 荣耀终端有限公司 | 图像处理方法和相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013258444A (ja) * | 2012-06-11 | 2013-12-26 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
CN104349066A (zh) * | 2013-07-31 | 2015-02-11 | 华为终端有限公司 | 一种生成高动态范围图像的方法、装置 |
CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
WO2017173585A1 (zh) * | 2016-04-05 | 2017-10-12 | 华为技术有限公司 | 一种拍照方法及终端 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG88824A1 (en) | 1996-11-28 | 2002-05-21 | Nikon Corp | Projection exposure method |
US7509038B2 (en) * | 2005-09-29 | 2009-03-24 | Seiko Epson Corporation | Determining maximum exposure time to limit motion blur during image capture |
CN101305397B (zh) * | 2005-10-12 | 2012-09-19 | 有源光学有限公司 | 基于多个图像帧形成图像的方法,图像处理***和数字照相机 |
KR101225482B1 (ko) | 2012-02-15 | 2013-01-23 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
TW201437965A (zh) * | 2013-03-28 | 2014-10-01 | Novatek Microelectronics Corp | 影像模糊防止方法及其影像處理晶片 |
US9491360B2 (en) * | 2013-06-06 | 2016-11-08 | Apple Inc. | Reference frame selection for still image stabilization |
CN105931213B (zh) | 2016-05-31 | 2019-01-18 | 南京大学 | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 |
CN106506981B (zh) | 2016-11-25 | 2019-04-19 | 阿依瓦(北京)技术有限公司 | 生成高动态范围图像的设备和方法 |
-
2017
- 2017-10-16 CN CN201710959936.0A patent/CN109671106B/zh active Active
-
2018
- 2018-10-12 EP EP18866515.2A patent/EP3686845B1/en active Active
-
2020
- 2020-04-13 US US16/847,178 patent/US11445122B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013258444A (ja) * | 2012-06-11 | 2013-12-26 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
CN104349066A (zh) * | 2013-07-31 | 2015-02-11 | 华为终端有限公司 | 一种生成高动态范围图像的方法、装置 |
WO2017173585A1 (zh) * | 2016-04-05 | 2017-10-12 | 华为技术有限公司 | 一种拍照方法及终端 |
Non-Patent Citations (1)
Title |
---|
A digital ISO expansion technique for digital cameras;Youngjin Yoo等;《Processing of SPIE》;20100118;第2节 * |
Also Published As
Publication number | Publication date |
---|---|
EP3686845A4 (en) | 2020-12-02 |
EP3686845A1 (en) | 2020-07-29 |
US20200244862A1 (en) | 2020-07-30 |
US11445122B2 (en) | 2022-09-13 |
EP3686845B1 (en) | 2023-07-26 |
CN109671106A (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109671106B (zh) | 一种图像处理方法、装置与设备 | |
CN111669493B (zh) | 一种拍摄方法、装置与设备 | |
JP6803982B2 (ja) | 光学撮像方法および装置 | |
WO2019183813A1 (zh) | 一种拍摄方法及设备 | |
WO2019071613A1 (zh) | 一种图像处理方法及装置 | |
US9906732B2 (en) | Image processing device, image capture device, image processing method, and program | |
CN112672060A (zh) | 拍摄方法、装置和电子设备 | |
CN112422798A (zh) | 拍照方法、装置、电子设备和存储介质 | |
US11032483B2 (en) | Imaging apparatus, imaging method, and program | |
WO2023137956A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN107147851B (zh) | 照片处理方法、装置、计算机可读存储介质及电子设备 | |
CN110766729B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108156392B (zh) | 一种拍摄方法、终端和计算机可读存储介质 | |
KR20170011876A (ko) | 영상 처리 장치 및 그 동작 방법 | |
CN114143471B (zh) | 图像处理方法、***、移动终端及计算机可读存储介质 | |
CN113744139A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113011497B (zh) | 图像比对方法和*** | |
JP5182395B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
WO2019072222A1 (zh) | 一种图像处理方法、装置与设备 | |
WO2024078032A1 (zh) | 信号处理方法、装置、设备、存储介质及计算机程序 | |
CN114845036B (zh) | 电子设备、图像处理器、应用处理器及图像处理方法 | |
WO2023225825A1 (zh) | 位置差异图生成方法及装置、电子设备、芯片及介质 | |
CN116416141A (zh) | 图像处理方法及装置、设备、存储介质 | |
CN117391965A (zh) | 图像处理方法、装置、电子设备及芯片 | |
CN112954224A (zh) | 拍摄方法及装置、电子设备、可读存储介质和芯片 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |