CN115529448B - 图像处理方法及相关装置 - Google Patents

图像处理方法及相关装置 Download PDF

Info

Publication number
CN115529448B
CN115529448B CN202210240132.6A CN202210240132A CN115529448B CN 115529448 B CN115529448 B CN 115529448B CN 202210240132 A CN202210240132 A CN 202210240132A CN 115529448 B CN115529448 B CN 115529448B
Authority
CN
China
Prior art keywords
original image
path
gain
color
color channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210240132.6A
Other languages
English (en)
Other versions
CN115529448A (zh
Inventor
李子荣
雷佳明
解强强
钱彦霖
刘吉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210240132.6A priority Critical patent/CN115529448B/zh
Publication of CN115529448A publication Critical patent/CN115529448A/zh
Application granted granted Critical
Publication of CN115529448B publication Critical patent/CN115529448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

一种图像处理方法及相关装置,涉及图像处理技术领域,该方法包括:利用多光谱传感器摄像头得到的N路不同颜色通道拜耳阵列的原始图像,包括第一路原始图像和第二路原始图像,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法,通过源自动白平衡算法计算出第一路原始图像三个颜色通道各自的增益,根据该增益映射得到第二路原始图像三个颜色通道各自的增益,使得原来无法使用源自动白平衡算法的第二路原始图像能够根据映射得到的增益进行修正,从而得到色差更小的图像,使得拍摄画面的颜色更接近物体真实的颜色。

Description

图像处理方法及相关装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及相关装置。
背景技术
随着终端技术的发展,用户对于终端设备的功能需求也越发多样化,为了满足用户对于图像、视频的记录需求,越来越多的终端设备支持拍照、录像等功能。
通常情况下,在利用终端设备实现拍照、录像等功能时,终端设备可以基于相机图像信号处理(image signal processing,ISP)管道(pipeline)流程中的自动白平衡(autowhite balance,AWB)算法来提升拍摄效果,AWB算法通过计算红(red,R)、绿(green,G)、蓝(blue,B)三颜色通道的增益值来调整图像色差。
然而,用现有的AWB算法调整后的图像往往存在色差仍然较大的现象。
发明内容
本申请实施例提供一种图像处理方法及相关装置,涉及图像处理技术领域,有助于进一步减小图像色差。
第一方面,本申请实施例提供一种图像处理方法,该方法包括:获取利用多光谱传感器得到的N路原始图像;N路原始图像中包括第一路原始图像和第二路原始图像,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法;N为大于或等于2的整数;根据源自动白平衡算法计算第一路原始图像的三个颜色通道各自的增益;根据第一路原始图像的三个颜色通道各自的增益映射得到第二路原始图像的三个颜色通道各自的增益;根据第二路原始图像的三个颜色通道各自的增益对第二路原始图像进行白平衡处理。
本申请实施例中,利用多光谱传感器摄像头得到的N路原始图像包括第一路原始图像和第二路原始图像,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法,通过源自动白平衡算法计算出第一路原始图像三个颜色通道各自的增益,根据该增益映射得到第二路原始图像三个颜色通道各自的增益,使得原来无法使用源自动白平衡算法的第二路原始图像能够根据映射得到的增益进行修正,从而得到色差更小的图像,使得拍摄画面的颜色更接近物体真实的颜色。
在一种可能的实现方式中,第一路原始图像对应设置有第一增益色温曲线,第二路原始图像对应设置有第二增益色温曲线;第一增益色温曲线中标定有M个色温,第二增益色温曲线中标定有M个色温;根据第一路原始图像的三个颜色通道各自的增益映射得到第二路原始图像的三个颜色通道各自的增益,包括:根据第一路原始图像的三个颜色通道各自的增益,计算得到第一路原始图像对应的白点坐标;根据第一路原始图像对应的白点坐标、第一增益色温曲线和第二增益色温曲线,计算得到第二路原始图像的白点坐标;根据第二路原始图像的白点坐标,计算得到第二路原始图像的三个颜色通道各自的增益。这样,可以使不适用于源自动白平衡算法的第二路原始图像可以基于映射的增益进行白平衡处理,减小图像色差。
在一种可能的实现方式中,根据第一路原始图像对应的白点坐标、第一增益色温曲线和第二增益色温曲线,计算得到第二路原始图像的白点坐标,包括:分别计算第一路原始图像对应的白点坐标与第一增益色温曲线中M个色温坐标的欧式距离,得到与第一路原始图像对应的白点坐标距离最近的三个色温值T1、T2和T3;根据第一路原始图像对应的白点坐标,以及T1、T2和T3在第一增益色温曲线中的坐标,计算得到第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值;根据T1、T2和T3在第二增益色温曲线中的坐标,以及第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值,计算得到第二路原始图像的白点坐标。这样,有助于基于该白点坐标完成增益映射,为第二路原始图像的自动白平衡调整色差提供有利条件。
在一种可能的实现方式中,第一路原始图像对应的白点坐标满足下述公式:
横坐标
Figure BDA0003541041690000021
纵坐标/>
Figure BDA0003541041690000022
其中,C1,C2,C3分别为第一路原始图像的三个颜色通道对应的值,C1gain为C1对应的增益,C3gain为C3对应的增益。
在一种可能的实现方式中,还包括:
T1对应的坐标满足:横坐标为
Figure BDA0003541041690000023
纵坐标为/>
Figure BDA0003541041690000024
T2对应的坐标满足:横坐标为
Figure BDA0003541041690000025
纵坐标为/>
Figure BDA0003541041690000026
T3对应的坐标满足:横坐标为
Figure BDA0003541041690000027
纵坐标为/>
Figure BDA0003541041690000028
其中,T1对应的坐标、T2对应的坐标和T3对应的坐标为T1、T2和T3在第一增益色温曲线中的坐标。
在一种可能的实现方式中,第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值满足:
Figure BDA0003541041690000029
Figure BDA00035410416900000210
α3=1-α1-α2。
在一种可能的实现方式中,第二路原始图像的三个颜色通道各自的增益,满足下述公式:
Figure BDA00035410416900000211
Figure BDA00035410416900000212
Figure BDA00035410416900000213
C5gain=1,
其中,C4,C5,C6分别为第二路原始图像的三个颜色通道对应的值,C4gain为C4对应的增益,C5gain为C5对应的增益,C6gain为C6对应的增益,xn
Figure BDA00035410416900000214
为第二路原始图像中白点的横坐标,yn和/>
Figure BDA00035410416900000215
为第二路原始图像中白点的纵坐标,/>
Figure BDA00035410416900000216
为T1在第二路原始图像中的横坐标,/>
Figure BDA00035410416900000217
为T1在第二路原始图像中的纵坐标,/>
Figure BDA00035410416900000218
为T2在第二路原始图像中的横坐标,/>
Figure BDA00035410416900000219
为T2在第二路原始图像中的纵坐标,/>
Figure BDA00035410416900000220
为T3在第二路原始图像中的横坐标,
Figure BDA00035410416900000221
为T3在第二路原始图像中的纵坐标。
在一种可能的实现方式中,第一路原始图像的三个颜色通道为RGB通道。这样,利用源自动白平衡算法对第一路原始图像进行白平衡处理时,不需要进行映射等其他步骤,能够达到减少该某一路原始图像输出的色差的问题。
在一种可能的实现方式中,N路原始图像中还包括第三路原始图像,包括:第一路原始图像的三个颜色通道各自的增益映射得到第三路原始图像的三个颜色通道各自的增益;根据第三路原始图像的三个颜色通道各自的增益对第三路原始图像进行白平衡处理。
第二方面,本申请实施例提供一种图像处理装置,处理单元,用于获取利用多光谱传感器得到的N路原始图像;N路原始图像中包括第一路原始图像和第二路原始图像,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法;N为大于或等于2的整数;
处理单元,还用于根据源自动白平衡算法计算第一路原始图像的三个颜色通道各自的增益;处理单元,还用于根据第一路原始图像的三个颜色通道各自的增益映射得到第二路原始图像的三个颜色通道各自的增益;处理单元,还用于根据第二路原始图像的三个颜色通道各自的增益对第二路原始图像进行白平衡处理。
在一种可能的实现方式中,第一路原始图像对应设置有第一增益色温曲线,第二路原始图像对应设置有第二增益色温曲线;第一增益色温曲线中标定有M个色温,第二增益色温曲线中标定有M个色温;处理单元,还用于根据第一路原始图像的三个颜色通道各自的增益,计算得到第一路原始图像对应的白点坐标;处理单元,还用于根据第一路原始图像对应的白点坐标、第一增益色温曲线和第二增益色温曲线,计算得到第二路原始图像的白点坐标;处理单元,还用于根据第二路原始图像的白点坐标,计算得到第二路原始图像的三个颜色通道各自的增益。
在一种可能的实现方式中,处理单元,还用于分别计算第一路原始图像对应的白点坐标与第一增益色温曲线中M个色温坐标的欧式距离,得到与第一路原始图像对应的白点坐标距离最近的三个色温值T1、T2和T3;处理单元,还用于根据第一路原始图像对应的白点坐标,以及T1、T2和T3在第一增益色温曲线中的坐标,计算得到第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值;处理单元,还用于根据T1、T2和T3在第二增益色温曲线中的坐标,以及第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值,计算得到第二路原始图像的白点坐标。
在一种可能的实现方式中,第一路原始图像对应的白点坐标满足下述公式:
横坐标
Figure BDA0003541041690000031
纵坐标/>
Figure BDA0003541041690000032
其中,C1,C2,C3分别为第一路原始图像的三个颜色通道对应的值,C1gain为C1对应的增益,C3gain为C3对应的增益。
在一种可能的实现方式中,
T1对应的坐标满足:横坐标为
Figure BDA0003541041690000033
纵坐标为/>
Figure BDA0003541041690000034
T2对应的坐标满足:横坐标为
Figure BDA0003541041690000035
纵坐标为/>
Figure BDA0003541041690000036
T3对应的坐标满足:横坐标为
Figure BDA0003541041690000037
纵坐标为/>
Figure BDA0003541041690000038
其中,T1对应的坐标、T2对应的坐标和T3对应的坐标为T1、T2和T3在第一增益色温曲线中的坐标。
在一种可能的实现方式中,第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值满足:
Figure BDA0003541041690000041
Figure BDA0003541041690000042
α3=1-α1-α2。
在一种可能的实现方式中,第二路原始图像的三个颜色通道各自的增益,满足下述公式:
Figure BDA0003541041690000043
Figure BDA0003541041690000044
Figure BDA0003541041690000045
C5gain=1,
其中,C4,C5,C6分别为第二路原始图像的三个颜色通道对应的值,C4gain为C4对应的增益,C5gain为C5对应的增益,C6gain为C6对应的增益,xn
Figure BDA0003541041690000046
为第二路原始图像中白点的横坐标,yn和/>
Figure BDA0003541041690000047
为第二路原始图像中白点的纵坐标,/>
Figure BDA0003541041690000048
为T1在第二路原始图像中的横坐标,/>
Figure BDA0003541041690000049
为T1在第二路原始图像中的纵坐标,/>
Figure BDA00035410416900000410
为T2在第二路原始图像中的横坐标,/>
Figure BDA00035410416900000411
为T2在第二路原始图像中的纵坐标,/>
Figure BDA00035410416900000412
为T3在第二路原始图像中的横坐标,
Figure BDA00035410416900000413
为T3在第二路原始图像中的纵坐标。
在一种可能的实现方式中,第一路原始图像的三个颜色通道为RGB通道。
在一种可能的实现方式中,N路原始图像中还包括第三路原始图像,处理单元,还用于根据第一路原始图像的三个颜色通道各自的增益映射得到第三路原始图像的三个颜色通道各自的增益;处理单元,还用于根据第三路原始图像的三个颜色通道各自的增益对第三路原始图像进行白平衡处理。
第三方面,本申请实施例提供一种终端设备,存储器用于存储代码指令;处理器用于运行代码指令,使得终端设备以执行如第一方面的实现方式中描述的图像处理方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令被执行时,使得计算机执行如第一方面的实现方式中描述的图像处理方法。
第五方面,一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面的实现方式中描述的图像处理方法。
应当理解的是,本申请的第一方面与本申请的第二方面至第五方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1为本申请实施例的ISP pipeline流程图;
图2为本申请实施例提供的一种图像处理方法适用的场景示意图;
图3为本申请实施例提供的电子设备100的结构示意图;
图4为本申请实施例提供的电子设备100的软件结构框图;
图5为本申请实施例提供的一种图像处理方法的流程示意图;
图6为本申请实施例提供的多光谱CFA sensor的AWB映射框架图;
图7为本申请实施例提供的增益色温曲线图;
图8为本申请实施例提供的一种图像处理装置的结构示意图;
图9为本申请实施例提供的一种终端设备的硬件结构示意图;
图10为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,以下,对本申请实施例中所涉及的部分术语和技术进行简单介绍:
1)色温:是照明光学中用于定义光源颜色的一个物理量,即把某个黑体加热到一个温度,其发射的光的颜色与某个光源所发射的光的颜色相同时,这个黑体加热的温度称之为该光源的颜色温度,简称色温。
2)颜色通道:保存图像颜色信息的通道称为颜色通道。
3)AWB算法:通过对白色被摄物的颜色还原(产生纯白的色彩效果),进而达到其他物体色彩准确还原的一种数字图像色彩处理的计算方法,主要可分为以下三个步骤:估计光源色温;计算通道增益;进行偏色矫正。
4)拜耳阵列(bayer pattern):一个4×4阵列,由8个绿色、4个蓝色和4个红色像素组成,在将灰度图形转换为彩色图片时会以2×2矩阵进行9次运算,最后生成一幅彩色图形。
5)欧氏距离:指在m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
6)其他术语
在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一原始图像和第二原始图像仅仅是为了区分不同的原始图像,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
随着终端技术的发展,越来越多的终端设备支持拍照、录像等功能,在不同光线的场合下拍摄出的照片会有不同的色温。
人的视觉***具有颜色恒常性,能从变化的光照环境和成像条件下获取物体表面颜色的不变特性,但终端设备不具有这样的调节功能,不同的光照环境会导致采集的图像颜色与真实颜色存在一定程度的色差。
一种可能的实现方式中,终端设备通过图像处理ISP pipeline流程对图像进行处理,图1示出了ISP pipeline流程,如图1所示,从摄像头(sensor)端过来的图像是bayerpattern的原始图像,经过线性化(linearization)、相位检测像素矫正(phase detectorpixels correction,PDPC)、坏点像素矫正(bad pixel correction,BPC)、黑电平补偿(black level compensation,BLC)、镜头阴影矫正(lens shading correction,LSC)、自动白平衡矫正、去马赛克(demosaic)、RGB降噪、串扰、颜色校正(color correction,CC)、gamma矫正、全局色调映射(global tone mapping)、色彩空间转换(RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强,中间还要进行自动曝光控制等,然后输出YUV(或者RGB)格式的数据,再通过I/O接口输出处理后的图像。
一般的ISP pipeline流程中使用AWB算法对图像进行色差矫正,AWB算法通过计算RGB三通道的gain值来实现图像的自动白平衡处理,矫正图像色差。但是,这样处理后的图像仍然存在色差较大的现象。
有鉴于此,本申请实施例提供一种图像处理方法,该方法从多光谱sensor得到不同颜色通道的拜耳阵列原始图像,不同颜色通道拜耳阵列的原始图像传入不同的图像处理管道(pipeline),当不同颜色通道拜耳阵列的原始图像经过图像处理管道的自动白平衡算法时,可通过跨pipeline来实现自动白平衡增益(gain)映射,通过映射的关系可以得到大部分颜色收益,使得拍摄画面的颜色更接近物体真实的颜色,图像色差更小,并减少一定程度的计算量。
图2示出了本申请实施例的图像处理方法适用的场景示意图。如图2所示,电子设备100可以为带有拍照、录像等功能的终端设备。
在电子设备100中,提供有多光谱sensor和基于多光谱CFA sensor的AWB映射算法,用户在使用拍照、录像功能时,电子设备100可以基于本申请实施例的图像处理方法调整图像色差。
示例性的,图像处理方法可以包括:利用多光谱传感器摄像头拍摄图片后,可以得到N路未经处理的bayer pattern的原始图像,N可以为大于或等于2的整数。每一路原始图像对应的pattern可以有3个颜色通道,其中,N路原始图像中可以存在对应于RGB颜色通道的一路或多路,适用于源自动白平衡算法,也可以存在对应于非RGB颜色通道的一路或多路,不适用于源自动白平衡算法。通过源自动白平衡算法计算出适用于源自动白平衡算法的某路原始图像三个颜色通道各自的增益,根据该增益映射得到不适用于源自动白平衡算法的某路或某多路原始图像三个颜色通道各自的增益,使得原来无法使用源自动白平衡算法的某路或某多路原始图像能够根据映射得到的增益进行修正,从而得到色差更小的图像。
示例性的,图3示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的安卓(android)***为例,示例性说明电子设备100的软件结构。
图4为本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android***分为四层,从上至下分别为应用层,应用程序框架层,安卓运行时(android runtime)和***库,以及内核层。
应用层可以包括一系列应用程序包。
如图4所示,应用程序包可以包括电话、邮箱、日历、相机等应用程序。
应用程序框架层为应用层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括输入***、活动管理器、位置管理器、包管理器、通知管理器、资源管理器、电话管理器和视图***等。
输入***用于管理输入设备的程序。例如,输入***可以确定鼠标点击操作、键盘输入操作和触摸滑动等输入操作。
活动管理器用于管理各个应用程序的生命周期以及导航回退功能。负责Android的主线程创建,各个应用程序的生命周期的维护。
位置管理器用于为应用程序提供位置服务,包括查询上一个已知位置、注册和注销来自某个周期性的位置更新等。
包管理器用于***内的程序管理,例如:应用程序安装、卸载和升级等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备振动,指示灯闪烁等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
电话管理器用于管理移动设备功能,包括:手机通话状态、获取电话信息(设备、sim卡、网络信息),监听电话状态以及调用电话拨号器拨打电话
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
Android runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用层和应用程序框架层运行在虚拟机中。虚拟机将应用层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:图像绘制模块、图像渲染模块、图像合成模块、函数库、和输入处理库等。
图像绘制模块用于二维或三维图像的绘制。图像渲染模块用于二维或三维图像的渲染。图像合成模块用于二维或三维图像的合成。
函数库提供C语言中所使用的宏、类型定义、字符串操作函数、数学计算函数以及输入输出函数等
输入处理库用于处理输入设备的库,可以实现鼠标、键盘和触摸输入处理等。
内核层是硬件和软件之间的层。内核层至少包含触控面板驱动、LCD/LED屏幕驱动、显示驱动、蓝牙驱动、WIFI驱动、键盘驱动、共用存储器驱动和相机驱动等。
硬件可以是音频设备、蓝牙设备、相机设备、传感器设备等。
下面结合应用程序启动或应用程序中拍照的场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。相机摄像头193可以为多光谱传感器摄像头,拍照后可以得到不同颜色通道的bayer pattern图像,不同pattern的原始图像经过AWB算法时通过跨pipeline来实现AWB增益映射。
下面通过具体的实施例对本申请实施例的图像处理方法进行详细说明。下面的实施例可以相互结合或独立实施,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图5为本申请实施例的一种图像处理方法的流程示意图。如图5所示,方法可以包括:
S501、获取利用多光谱传感器得到的N路原始图像;N路原始图像中包括第一路原始图像和第二路原始图像,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法。
本申请实施例中,原始图像可以为相机拍摄得到的图片的原始数据,例如为RAW格式的图像数据。
示例性的,利用多光谱传感器摄像头拍摄图片后,可以得到N路未经处理的bayerpattern的原始图像,N可以为大于或等于2的整数。每一路原始图像对应的pattern可以有3个颜色通道,其中,N路原始图像中可以存在对应于RGB颜色通道的一路或多路,也可以存在对应于非RGB颜色通道的一路或多路。
为便于描述,以N路原始图像中的第一路原始图像和第二路原始图像为例进行说明,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法。
本申请实施例的源自动白平衡算法可以理解为能够适应于其中某一路原始图像的白平衡,利用该源自动白平衡算法对该某一路原始图像进行白平衡处理时,不需要进行映射等其他步骤,能够达到减少该某一路原始图像输出的色差的问题。
可以理解的是,对于RGB颜色通道,存在较多能够实现自动白平衡的自动白平衡算法,因此,可以将适用于RGB颜色通道的自动白平衡算法称为源自动白平衡算法。当然,也可能存在适用于某种非RGB颜色通道的自动白平衡算法,则可以将适用于某种非RGB颜色通道的自动白平衡算法称为源自动白平衡算法,本申请实施例对源自动白平衡算法不作具体限定。
可以理解的是,对于不适用于该源自动白平衡算法的第二路原始图像,如果不进行白平衡处理,色差会较大,因此,本申请实施例将利用第一路原始图像对源自动白平衡算法进行映射,使得映射后的算法可以实现对第二路原始图像的白平衡处理,具体映射方式将在后续步骤中详细说明,在此不作赘述。
一种可能的实现中,本申请实施例可以在终端设备中接收到拍照操作、录像操作或其他任意使用摄像头获取图片的操作时,获取利用多光谱传感器得到的N路原始图像,本申请实施例对具体的使用场景不作限定。
S502、根据源自动白平衡算法计算第一路原始图像的三个颜色通道各自的增益。
其中,增益为每一路原始图像的白平衡矫正参数。
具体的,第一路原始图像的三个颜色通道适用于源自动白平衡算法来调整色差,通过源自动白平衡算法计算得到第一路原始图像各通道的增益值C1gain、C2gain、C3gain
以第一路原始图像的三个颜色通道为RGB三通道为例。对于特定光源其色温是确定的,且随着色温变化,其R、G、B的变化趋势也是相似的,同一个色温的R/G、B/G基本上都在一个比较确定的范围内。通过源自动白平衡算法计算R、G、B对应的增益值Rgain、Ggain、Bgain
S503、根据第一路原始图像的三个颜色通道各自的增益映射得到第二路原始图像的三个颜色通道各自的增益。
一种可能的实现中,可以为第二路原始图像预先标定增益色温曲线,利用第一路原始图像的三个颜色通道各自的增益在增益色温曲线计算出第二路原始图像的白点坐标,进而根据第二路原始图像的白点坐标,得到第二路原始图像的三个颜色通道各自的增益。
另一种可能的实现中,也可以为预先计算第一路原始图像与第二路原始图像在各种色温下的映射关系,进而基于映射关系从第一路原始图像的三个颜色通道各自的增益映射得到第二路原始图像的三个颜色通道各自的增益,本申请实施例不作具体限定。
S504、根据第二路原始图像的三个颜色通道各自的增益对第二路原始图像进行白平衡处理。
根据映射得到的第二路原始图像的三个颜色通道各自的增益对第二路原始图像进行修正,实现对第二路原始图像的白平衡处理。
一种可能的实现方式中,第二路原始图像的三个颜色通道的原始值分别乘以三个颜色通道各自的增益值,得到的值即为第二路原始图像矫正后的三个通道的值。
可以理解的是,上述实施例中的RGB也可以替换为YUV、CMY、HSV、HLS等色域空间,AWB算法也可以用灰度世界算法、完美反射算法和动态阈值算法,对此本申请实施例不作具体限定。
综上,本申请实施例提供一种图像处理方法,该方法利用多光谱传感器摄像头拍摄图片后,可以得到N路未经处理的bayer pattern的原始图像,N可以为大于或等于2的整数。每一路原始图像对应的pattern可以有3个颜色通道,其中,N路原始图像中包括第一路原始图像和第二路原始图像,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法。通过源自动白平衡算法计算出第一路原始图像三个颜色通道各自的增益,根据该增益映射得到第二路原始图像三个颜色通道各自的增益,使得原来无法使用源自动白平衡算法的第二路原始图像能够根据映射得到的增益进行修正,从而得到色差更小的图像,使得拍摄画面的颜色更接近物体真实的颜色。
可选的,在图5对应的实施例的基础上,一种可能的实现中,第一路原始图像对应设置有第一增益色温曲线,第二路原始图像对应设置有第二增益色温曲线,第一增益色温曲线和第二增益色温曲线中都标定有M个色温。根据第一路原始图像的三个颜色通道各自的增益映射得到第二路原始图像的三个颜色通道各自的增益可以包括:
根据第一路原始图像的三个颜色通道各自的增益,计算得到第一路原始图像对应的白点坐标;根据第一路原始图像对应的白点坐标、第一增益色温曲线和第二增益色温曲线,计算得到第二路原始图像的白点坐标;根据第二路原始图像的白点坐标,计算得到第二路原始图像的三个颜色通道各自的增益。
其中,白点为图像中最亮的点,例如可以是RGB三者的和最大的点。
示例性的,图6示出了第一路原始图像和第二路原始图像各自对应的增益色温曲线,如图6所示,第一增益色温曲线和第二增益色温曲线中都标定有M个色温,M可以是10或者根据实际场景设定。需要说明的是,增益色温曲线可以是终端设备已预先设定完成的,在本申请实施例中直接使用即可。如图6所示,第一增益色温曲线可以对应
Figure BDA0003541041690000101
增益色温曲线,第二增益色温曲线可以对应/>
Figure BDA0003541041690000102
增益色温曲线,根据第一增益色温曲线中的白点坐标与第二增益色温曲线,计算出第二路原始图像的白点坐标,根据该白点坐标计算得到该第二路原始图像的三个颜色通道各自的增益。
可以理解的是,第一路原始图像和第二路原始图像各自的白点坐标与颜色通道增益的线性转换关系相同。
另一种可能的实现中,对第二路原始图像进行色域空间转换,使得第二路原始图像可以适用于源自动白平衡算法进行色差修正。
本申请实施例中,根据第一路原始图像的三个颜色通道各自的增益,计算出第一路原始图像对应的白点坐标,再根据该白点坐标、第一增益色温曲线和第二增益色温曲线,计算得到第二路原始图像的白点坐标,根据第二路原始图像的白点坐标,计算得到第二路原始图像的三个颜色通道各自的增益,完成了第一路原始图像对第二路原始图像的增益映射,使得不适用于该源自动白平衡算法的第二路原始图像可以基于映射的增益进行白平衡处理,减小图像色差。
可选的,根据第一路原始图像对应的白点坐标、第一增益色温曲线和第二增益色温曲线,计算得到第二路原始图像的白点坐标可以包括:
分别计算第一路原始图像对应的白点坐标与第一增益色温曲线中M个色温坐标的欧式距离,得到与第一路原始图像对应的白点坐标距离最近的三个色温值T1、T2和T3;根据第一路原始图像对应的白点坐标,以及T1、T2和T3在第一增益色温曲线中的坐标,计算得到第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值;根据T1、T2和T3在第二增益色温曲线中的坐标,以及第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值,计算得到第二路原始图像的白点坐标。
具体的,增益色温曲线中各个色温的坐标值是已知的,确定第一路原始图像对应的白点坐标后,分别计算第一路原始图像对应的白点坐标与第一增益色温曲线中M个色温坐标的欧式距离,一种可能的实现方式中,可以通过排序选出对当前色温白点影响最大的三个色温,即与该白点坐标距离最近的三个色温值T1、T2和T3。根据第一路原始图像对应的白点坐标,以及在第一增益色温曲线中查询的三个色温T1、T2和T3的坐标值,计算这三个标准色温分别对应的横纵坐标与当前色温白点横纵坐标线性转换关系的权重值,即得到第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值。由于同一张照片的不同路原始图像色温相等,因此与第二路原始图像色温白点最相关的3个标准色温也为T1、T2和T3,根据在第二增益色温曲线中查询得到的T1、T2和T3的坐标值以及第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值,计算得到第二路原始图像的白点坐标。
本申请实施例通过计算第一路原始图像对应的白点坐标与第一增益色温曲线中M个色温的欧式距离选出对当前色温白点影响最大的三个色温T1、T2和T3,通过查询第一增益色温曲线得到这三个色温的坐标值,根据这三个坐标值以及第一路原始图像对应的白点坐标,计算得到这三个标准色温分别对应的横纵坐标与当前色温白点横纵坐标线性转换关系的权重值,由于同一张照片的不同路原始图像色温相等,查询第二路原始图像中T1、T2和T3的坐标值,根据该坐标值以及上述权重值,计算得到第二路原始图像的白点坐标,第二路原始图像的白点坐标的确定有助于基于该白点坐标完成增益映射,为第二路原始图像的自动白平衡调整色差提供有利条件。
可选的,第一路原始图像对应的白点坐标可以满足下述公式:
横坐标
Figure BDA0003541041690000111
纵坐标/>
Figure BDA0003541041690000112
/>
其中,C1,C2,C3为第一路原始图像的三个颜色通道对应的值,C1gain为C1对应的增益,C2gain为C2对应的增益,C3gain为C3对应的增益,C2gain=1。
可选的,色温值T1对应的坐标满足:横坐标为
Figure BDA0003541041690000113
纵坐标为/>
Figure BDA0003541041690000114
色温值T2对应的坐标满足:横坐标为
Figure BDA0003541041690000115
纵坐标为/>
Figure BDA0003541041690000116
色温值T3对应的坐标满足:横坐标为
Figure BDA0003541041690000117
纵坐标为/>
Figure BDA0003541041690000118
计算这三个标准色温T1、T2和T3分别对应的横纵坐标与第一路原始图像色温白点横纵坐标线性转换关系的3个权重值α1,α2,α3,根据已知条件可建立3个方程:
xm=α1*x1+α2*x2+α3*x3
ym=α1*y1+α2*y2+α3*y3
1=α1+α2+α3
3个方程3个未知数,解方程可得:
Figure BDA0003541041690000121
Figure BDA0003541041690000122
α3=1-α1-α2
同一张照片的不同路原始图像色温相等,因此与第二路原始图像最相关的3个标准色温也为T1、T2和T3,根据终端设备预先标定好的3个标准色温T1、T2和T3的坐标值以及上述权重值,可计算出第二路原始图像对应的色温曲线白点横坐标xn、纵坐标yn:
Figure BDA0003541041690000123
Figure BDA0003541041690000124
最终映射出第二路原始图像的白点增益值分别为:
Figure BDA0003541041690000125
C5gain=1,
其中,C4,C5,C6分别为第二路原始图像的三个颜色通道对应的值,C4gain为C4对应的增益,C5gain为C5对应的增益,C6gain为C6对应的增益,
Figure BDA0003541041690000126
为第二路原始图像中白点的横坐标,/>
Figure BDA0003541041690000127
为第二路原始图像中白点的纵坐标,/>
Figure BDA0003541041690000128
为T1在第二路原始图像中的横坐标,
Figure BDA0003541041690000129
为T1在第二路原始图像中的纵坐标,/>
Figure BDA00035410416900001210
为T2在第二路原始图像中的横坐标,
Figure BDA00035410416900001211
为T2在第二路原始图像中的纵坐标,/>
Figure BDA00035410416900001212
为T3在第二路原始图像中的横坐标,/>
Figure BDA00035410416900001213
为T3在第二路原始图像中的纵坐标。
可选的,第一路原始图像的三个颜色通道为RGB通道。
本申请实施例中第一路原始图像的三个颜色通道为RGB通道,RGB通道适用于源自动白平衡算法,利用该源自动白平衡算法对第一路原始图像进行白平衡处理时,不需要进行映射等其他步骤,能够达到减少该某一路原始图像输出的色差的问题。
可选的,N路原始图像中还包括第三路原始图像,本申请实施例可以根据第一路原始图像的三个颜色通道各自的增益映射得到第三路原始图像的三个颜色通道各自的增益;根据第三路原始图像的三个颜色通道各自的增益对第三路原始图像进行自动白平衡处理,具体实现方式与上述第二路原始图像的自动白平衡相似或相同,此处不再赘述。
本申请实施例利用多光谱传感器摄像头拍摄图片后,可以得到N路未经处理的bayer pattern的原始图像,N可以为大于或等于2的整数。每一路原始图像对应的pattern可以有3个颜色通道,其中,N路原始图像中包括第一路原始图像和第二路原始图像,第一路原始图像的三个颜色通道适用于源自动白平衡算法,第二路原始图像的三个颜色通道不适用于源自动白平衡算法。通过源自动白平衡算法计算出第一路原始图像三个颜色通道各自的增益,根据该增益计算得到该第一路原始图像对应的白点坐标,分别计算第一路原始图像对应的白点坐标与第一增益色温曲线中M个色温的欧式距离,选出与该白点坐标距离最近的三个色温值T1、T2和T3,根据该T1、T2和T3各自对应的坐标以及第一路原始图像对应的白点坐标,计算得到第一路原始图像的三个颜色通道向第二路原始图像的三个颜色通道映射时的权重值,根据T1、T2和T3在第二增益色温曲线中的坐标以及该权重值得到第二路原始图像的白点坐标,根据该第二路原始图像的白点坐标计算得到第二路原始图像的三个颜色通道各自的增益,使得原来无法使用源自动白平衡算法的第二路原始图像能够根据映射得到的增益进行修正,从而得到色差更小的图像,使得拍摄画面的颜色更接近物体真实的颜色。
示例性地,图7示出了本申请实施例的图像处理方法的一种具体实现示意图。
如图7所示,从多光谱传感器得到的N路原始图像分别经过相机的不同ISPpipeline。具体的,第一路原始图像可以对应pattern a,第一路原始图像的三个颜色通道可以为RGB通道,可适用于源自动白平衡算法。第一路原始图像经过ISP的一条pipeline中一系列例如相位检测像素矫正、坏点像素矫正、黑电平补偿、镜头阴影矫正等前置模块处理后,通过源自动白平衡算法计算得到第一路原始图像三个颜色通道对应的增益,根据本申请实施例提供的增益映射算法映射得到第二路原始图像的三个颜色通道对应的增益。第二路原始图像可以对应pattern x,第二路原始图像的三个颜色通道可以为非RGB通道,不适用于源自动白平衡算法。第二路原始图像经过ISP的另一条pipeline中一系列例如相位检测像素矫正、坏点像素矫正、黑电平补偿、镜头阴影矫正等前置模块处理后,直接应用上述增益映射算法映射得到的第二路原始图像的三个颜色通道对应的增益进行色差修正,实现自动白平衡,有助于采用多光谱颜色滤波阵列传感器进行相机图像信号处理的工程化落地。
可选的,本申请实施例中实现的跨pipeline进行AWB映射,可一条pipeline对一条pipeline进行映射或一条pipeline对多条pipeline进行映射。
示例性的,当存在第三路原始图像时,通过源自动白平衡算法计算得到第一路原始图像三个颜色通道对应的增益,根据本申请实施例提供的增益映射算法映射得到第三路原始图像的三个颜色通道对应的增益。第三路原始图像经过ISP的另一条pipeline中一系列例如相位检测像素矫正、坏点像素矫正、黑电平补偿、镜头阴影矫正等前置模块处理后,直接应用上述增益映射算法得到的第三路原始图像的三个颜色通道对应的增益进行色差修正,实现自动白平衡。
上述增益映射算法在一种可能的实现中,可以为第二路原始图像预先标定增益色温曲线,利用第一路原始图像的三个颜色通道各自的增益在增益色温曲线计算出第二路原始图像的白点坐标,进而根据第二路原始图像的白点坐标,得到第二路原始图像的三个颜色通道各自的增益。
另一种可能的实现中,也可以为预先计算第一路原始图像与第二路原始图像在各种色温下的映射关系,进而基于映射关系从第一路原始图像的三个颜色通道各自的增益映射得到第二路原始图像的三个颜色通道各自的增益,本申请实施例不作具体限定。
可选的,本申请实施例也可用于AWB模块之后的CC,CC可通过一条pipeline路的颜色校正矩阵(color correction matrix,CCM)映射出另一条pipeline路的颜色校正矩阵,从而实现另一条目前不支持的pipeline路颜色校正。
上面结合图5-图7,对本申请实施例提供的方法进行了说明,下面对本申请实施例提供的执行上述方法的装置进行描述。如图8所示,图8为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置可以是本申请实施例中的终端设备,也可以是终端设备内的芯片或芯片***。
如图8所示,图像处理装置80可以用于通信设备、电路、硬件组件或者芯片中,该图像处理装置包括处理单元802。其中,处理单元802用于支持图像处理装置执行信息处理的步骤,例如,处理单元用于处理图5中的S501至S504的步骤。
可选的,该图像处理装置还可以包括:显示单元801。其中,显示单元可以用于显示处理单元处理后的图像。
处理单元802可以和显示单元801可以集成在一起,处理单元802和显示单元801可能会发生通信。
在一种可能的实现方式中,该图像处理装置还可以包括:存储单元804。其中,存储单元804可以包括一个或者多个存储器,存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。
存储单元804可以独立存在,通过通信总线与处理单元802相连。存储单元804也可以和处理单元802集成在一起。
以图像处理装置可以是本申请实施例中的终端设备的芯片或芯片***为例,存储单元804可以存储终端设备的方法的计算机执行指令,以使处理单元802执行上述实施例中终端设备的方法。存储单元804可以是寄存器、缓存或者随机存取存储器(random accessmemory,RAM)等,存储单元804可以和处理单元802集成在一起。存储单元804可以是只读存储器(read-only memory,ROM)或者可存储静态信息和指令的其他类型的静态存储设备,存储单元804可以与处理单元802相独立。
在一种可能的实现方式中,图像处理装置还可以包括:通信单元803。其中,通信单元803用于支持图像处理装置与其它设备交互。示例性的,当该图像处理装置是终端设备时,该通信单元803可以是通信接口或接口电路。当该图像处理装置是终端设备内的芯片或芯片***时,该通信单元803可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。
本实施例的装置对应地可用于执行上述方法实施例中执行的步骤,其实现原理和技术效果类似,此处不再赘述。
图9为本申请实施例提供的另一种终端设备的硬件结构示意图,如图9所示,该终端设备包括处理器901,通信线路904以及至少一个通信接口(图9中示例性的以通信接口903为例进行说明)。
处理器901可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路904可包括在上述组件之间传送信息的电路。
通信接口903,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线局域网(wireless local area networks,WLAN)等。
可能的,该终端设备还可以包括存储器902。
存储器902可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路904与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器902用于存储执行本申请方案的计算机执行指令,并由处理器901来控制执行。处理器901用于执行存储器902中存储的计算机执行指令,从而实现本申请实施例所提供的方法。
可能的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,处理901可以包括一个或多个CPU,例如图9中的CPU0和CPU1。
在具体实现中,作为一种实施例,终端设备可以包括多个处理器,例如图9中的处理器901和处理器905。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
示例性的,图10为本申请实施例提供的一种芯片的结构示意图。芯片1000包括一个或两个以上(包括两个)处理器1002和通信接口1003。
在一些实施方式中,存储器1004存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
本申请实施例中,存储器1004可以包括只读存储器和随机存取存储器,并向处理器1002提供指令和数据。存储器1004的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。
本申请实施例中,存储器1004、通信接口1003以及处理器1002通过总线***1001耦合在一起。其中,总线***1001除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。为了便于描述,在图10中将各种总线都标为总线***1001。
上述本申请实施例描述的方法可以应用于处理器1002中,或者由处理器1002实现。处理器1002可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1002中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1002可以是通用处理器(例如,微处理器或常规处理器)、数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件,处理器1002可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1004,处理器1002读取存储器1004中的信息,结合其硬件完成上述方法的步骤。
在上述实施例中,存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中,计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如,可用介质可以包括磁性介质(例如,软盘、硬盘或磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
作为一种可能的设计,计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory,CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器;计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且,任何连接线也可以被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,DSL或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD),激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。
上述的组合也应包括在计算机可读介质的范围内。以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种图像处理方法,其特征在于,所述方法包括:
获取利用多光谱传感器摄像头拍摄图片后在RAW域进行信道拆分得到的N路原始图像;所述N路原始图像中包括第一路原始图像和第二路原始图像,所述第一路原始图像的三个颜色通道适用于源自动白平衡算法,所述第二路原始图像的三个颜色通道不适用于所述源自动白平衡算法;N为大于或等于2的整数;
根据所述源自动白平衡算法计算所述第一路原始图像的三个颜色通道各自的增益;
根据所述第一路原始图像的三个颜色通道各自的增益映射得到所述第二路原始图像的三个颜色通道各自的增益;
根据所述第二路原始图像的三个颜色通道各自的增益对所述第二路原始图像进行白平衡处理;
所述第一路原始图像对应设置有第一增益色温曲线,所述第二路原始图像对应设置有第二增益色温曲线;所述第一增益色温曲线中标定有M个色温,所述第二增益色温曲线中标定有所述M个色温;
所述根据所述第一路原始图像的三个颜色通道各自的增益映射得到所述第二路原始图像的三个颜色通道各自的增益,包括:
根据所述第一路原始图像的三个颜色通道各自的增益,计算得到所述第一路原始图像对应的白点坐标;
根据所述第一路原始图像对应的白点坐标、所述第一增益色温曲线和所述第二增益色温曲线,计算得到所述第二路原始图像对应的白点坐标;
根据所述第二路原始图像的白点坐标,计算得到所述第二路原始图像的三个颜色通道各自的增益。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一路原始图像对应的白点坐标、所述第一增益色温曲线和所述第二增益色温曲线,计算得到所述第二路原始图像对应的白点坐标,包括:
分别计算所述第一路原始图像对应的白点坐标与所述第一增益色温曲线中M个色温坐标的欧式距离,得到与所述第一路原始图像对应的白点坐标距离最近的三个色温值T1、T2和T3
根据所述第一路原始图像对应的白点坐标,以及所述T1、所述T2和所述T3在所述第一增益色温曲线中的坐标,计算得到所述第一路原始图像的三个颜色通道向所述第二路原始图像的三个颜色通道映射时的权重值;
根据所述T1、所述T2和所述T3在所述第二增益色温曲线中的坐标,以及所述第一路原始图像的三个颜色通道向所述第二路原始图像的三个颜色通道映射时的权重值,计算得到所述第二路原始图像的白点坐标。
3.根据权利要求2所述的方法,其特征在于,所述第一路原始图像对应的白点坐标满足下述公式:
横坐标
Figure FDA0004151105450000011
纵坐标/>
Figure FDA0004151105450000012
其中,C1,C2,C3分别为所述第一路原始图像的三个颜色通道对应的值,C1gain为C1对应的增益,C3gain为C3对应的增益,
Figure FDA0004151105450000013
为所述第一路原始图像中白点的横坐标,/>
Figure FDA0004151105450000014
所述第一路原始图像中白点的纵坐标;所述第一路原始图像的三个颜色通道为RGB通道。
4.根据权利要求3所述的方法,其特征在于,
所述T1对应的坐标满足:横坐标为
Figure FDA0004151105450000021
纵坐标为/>
Figure FDA0004151105450000022
所述T2对应的坐标满足:横坐标为
Figure FDA0004151105450000023
纵坐标为/>
Figure FDA0004151105450000024
所述T3对应的坐标满足:横坐标为
Figure FDA0004151105450000025
纵坐标为/>
Figure FDA0004151105450000026
其中,所述T1对应的坐标、所述T2对应的坐标和所述T3对应的坐标为所述T1、所述T2和所述T3在所述第一增益色温曲线中的坐标。
5.根据权利要求4所述的方法,其特征在于,所述第一路原始图像的三个颜色通道向所述第二路原始图像的三个颜色通道映射时的权重值满足:
Figure FDA0004151105450000027
Figure FDA0004151105450000028
α3=1-α1-α2。
6.根据权利要求5所述的方法,其特征在于,所述第二路原始图像的三个颜色通道各自的增益,满足下述公式:
Figure FDA0004151105450000029
Figure FDA00041511054500000210
Figure FDA00041511054500000211
C5gain=1,
其中,C4,C5,C6分别为所述第二路原始图像的三个颜色通道对应的值,C4gain为C4对应的增益,C5gain为C5对应的增益,C6gain为C6对应的增益,xn
Figure FDA00041511054500000212
为所述第二路原始图像中白点的横坐标,yn和/>
Figure FDA00041511054500000213
为所述第二路原始图像中白点的纵坐标,/>
Figure FDA00041511054500000214
为所述T1在所述第二路原始图像中的横坐标,/>
Figure FDA00041511054500000215
为所述T1在所述第二路原始图像中的纵坐标,/>
Figure FDA00041511054500000216
为所述T2在所述第二路原始图像中的横坐标,/>
Figure FDA00041511054500000217
为所述T2在所述第二路原始图像中的纵坐标,/>
Figure FDA00041511054500000218
为所述T3在所述第二路原始图像中的横坐标,/>
Figure FDA00041511054500000219
为所述T3在所述第二路原始图像中的纵坐标。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述N路原始图像中还包括第三路原始图像,所述方法还包括:
根据所述第一路原始图像的三个颜色通道各自的增益映射得到所述第三路原始图像的三个颜色通道各自的增益;
根据所述第三路原始图像的三个颜色通道各自的增益对所述第三路原始图像进行白平衡处理。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,使得所述终端设备执行如权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得计算机执行如权利要求1-7任一项所述的方法。
CN202210240132.6A 2022-03-10 2022-03-10 图像处理方法及相关装置 Active CN115529448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210240132.6A CN115529448B (zh) 2022-03-10 2022-03-10 图像处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210240132.6A CN115529448B (zh) 2022-03-10 2022-03-10 图像处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN115529448A CN115529448A (zh) 2022-12-27
CN115529448B true CN115529448B (zh) 2023-07-11

Family

ID=84695059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210240132.6A Active CN115529448B (zh) 2022-03-10 2022-03-10 图像处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN115529448B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709438A (zh) * 2020-05-22 2021-11-26 浙江宇视科技有限公司 一种图像的白平衡校正方法、装置、存储介质及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6934240B2 (ja) * 2017-03-01 2021-09-15 株式会社ブライセン 画像処理装置
CN107277480B (zh) * 2017-07-10 2019-03-29 Oppo广东移动通信有限公司 白平衡同步方法、装置和终端设备
CN107872663B (zh) * 2017-12-25 2019-05-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN112598594A (zh) * 2020-12-24 2021-04-02 Oppo(重庆)智能科技有限公司 颜色一致性矫正方法及相关装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709438A (zh) * 2020-05-22 2021-11-26 浙江宇视科技有限公司 一种图像的白平衡校正方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN115529448A (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
KR102149187B1 (ko) 전자 장치와, 그의 제어 방법
US11558553B2 (en) Electronic device for stabilizing image and method for operating same
CN112202986B (zh) 图像处理方法、图像处理装置、可读介质及其电子设备
EP3707671B1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
CN115601244B (zh) 图像处理方法、装置和电子设备
US10929961B2 (en) Electronic device and method for correcting images using external electronic device
KR20160038460A (ko) 전자 장치와, 그의 제어 방법
WO2023279862A1 (zh) 图像处理方法、装置和电子设备
EP4203468A1 (en) Algorithm calling method and algorithm calling apparatus
KR20190105380A (ko) 이미지 보정 방식 및 이미지의 특징 정보에 기반하여 이미지를 보정하는 전자 장치 및 방법
CN114782296B (zh) 图像融合方法、装置及存储介质
US12035053B2 (en) Method for processing photographed image and electronic device therefor
CN115150542A (zh) 一种视频防抖方法及相关设备
CN116668862B (zh) 图像处理方法与电子设备
CN116668838B (zh) 图像处理方法与电子设备
CN115529448B (zh) 图像处理方法及相关装置
CN116055699B (zh) 一种图像处理方法及相关电子设备
CN117135470A (zh) 拍摄方法、电子设备及存储介质
CN115767290A (zh) 图像处理方法和电子设备
US20230156349A1 (en) Method for generating image and electronic device therefor
CN117119316B (zh) 图像处理方法、电子设备及可读存储介质
CN115767287B (zh) 图像处理方法与电子设备
CN117710264A (zh) 图像的动态范围校准方法和电子设备
CN117690177A (zh) 人脸对焦方法、人脸对焦装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant