CN108769510B - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN108769510B
CN108769510B CN201810408621.1A CN201810408621A CN108769510B CN 108769510 B CN108769510 B CN 108769510B CN 201810408621 A CN201810408621 A CN 201810408621A CN 108769510 B CN108769510 B CN 108769510B
Authority
CN
China
Prior art keywords
image
pixel
color temperature
temperature data
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810408621.1A
Other languages
English (en)
Other versions
CN108769510A (zh
Inventor
武隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810408621.1A priority Critical patent/CN108769510B/zh
Publication of CN108769510A publication Critical patent/CN108769510A/zh
Application granted granted Critical
Publication of CN108769510B publication Critical patent/CN108769510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括:通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的第一像素点和由所述第二像素阵列采集的第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道;根据所述拍摄图像计算目标色温数据;根据所述目标色温数据将所述拍摄图像进行处理。上述图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的准确性。

Description

图像处理方法、装置、计算机可读存储介质和电子设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。
背景技术
电子设备上可以安装摄像头,并通过安装的摄像头采集光线,然后通过图像传感器将采集的光信号转化为电信号,从而使得电子设备可以将图像进行处理并显示,供用户查看。然而拍摄照片的场景往往是非常复杂的,光线的强弱和色温都会影响图像最终的成像效果。例如,在拍摄同一物体的时候,不同颜色的光照拍摄出来的效果会不同。日光灯的房间里拍摄到的物体会显得发绿,在室内钨丝灯光下拍摄出来的物体就会偏黄,而在日光阴影处拍摄到的物体会偏蓝。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的准确性。
一种图像处理方法,所述方法包括:
通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的第一像素点和由所述第二像素阵列采集的第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道;
根据所述拍摄图像计算目标色温数据;
根据所述目标色温数据将所述拍摄图像进行处理。
一种图像处理装置,所述装置包括:
图像采集模块,用于通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的第一像素点和由所述第二像素阵列采集的第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道;
数据获取模块,用于根据所述拍摄图像计算目标色温数据;
图像处理模块,用于根据所述目标色温数据将所述拍摄图像进行处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的第一像素点和由所述第二像素阵列采集的第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道;
根据所述拍摄图像计算目标色温数据;
根据所述目标色温数据将所述拍摄图像进行处理。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的第一像素点和由所述第二像素阵列采集的第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道;
根据所述拍摄图像计算目标色温数据;
根据所述目标色温数据将所述拍摄图像进行处理。
上述图像处理方法、装置、计算机可读存储介质和电子设备,图像传感器中可以包含第一像素阵列和第二像素阵列,采集的拍摄图像中通过第一像素阵列采集的第一像素点包含一个通道,通过第二像素阵列采集的第二像素点至少包括两个通道。然后根据采集的拍摄图像计算目标色温数据,并根据目标色温数据将拍摄图像进行处理。这样通过图像传感器可以对拍摄图像中的部分像素点同时采集至少两个通道,采集的图像就能更准确地反应环境的真实颜色,这样计算出来的色温数据更加准确,提高了图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图;
图2为一个实施例中图像处理方法的流程图;
图3为一个实施例中图像传感器的展示示意图;
图4为另一个实施例中图像处理方法的流程图;
图5为又一个实施例中图像处理方法的流程图;
图6为一个实施例中色温数据的分布图;
图7为一个实施例中图像处理装置的结构示意图;
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
图1为一个实施例中图像处理方法的应用环境图。参考如图1所示,电子设备102上安装有摄像头和图像传感器,图像传感器中包含第一像素阵列和第二像素阵列。电子设备102上可以通过安装的摄像头采集物体104的光线,然后通过图像传感器进行成像,从而生成拍摄图像。采集的拍摄图像中包括由第一像素阵列采集的第一像素点和由第二像素阵列采集的第二像素点,第一像素点对应一个通道,第二像素点对应至少两个通道。然后电子设备102会根据拍摄图像计算目标色温数据;根据目标色温数据将拍摄图像进行处理。该电子设备102可以是手机、平板电脑或者个人数字助理或穿戴式设备等,在此不做限定。
图2为一个实施例中图像处理方法的流程图。如图2所示,该图像处理方法包括步骤202至步骤206。其中:
步骤202,通过图像传感器采集拍摄图像,图像传感器中包含第一像素阵列和第二像素阵列,拍摄图像中包括由第一像素阵列采集的第一像素点和由第二像素阵列采集的第二像素点,第一像素点对应一个通道,第二像素点对应至少两个通道。
在一个实施例中,电子设备上可安装摄像头,安装的摄像头的数量不限。例如,电子设备上可以安装一个、两个或两个以上的摄像头。当电子设备接收到开启摄像头的指令时,可调用摄像头进入拍摄状态。电子设备可提供用于触发进行拍摄的拍摄按钮,当侦测到对该按钮的点击操作时,触发开启摄像头的指令。电子设备还可预设用于触发该开启摄像头的指令的拍摄语音信息。通过调用语音接收装置,接收对应的语音信息,通过解析该语音信息,当检测到该语音信息与该拍摄语音信息匹配时,可触发该开启摄像头的指令。
进入拍摄状态后,摄像头会定时采集拍摄画面,并通过图像传感器生成预览图像,生成的预览图像一般不会进行存储,而是在电子设备的显示界面上进行显示,供用户进行查看。用户可以根据预览图像调整当前拍摄画面以及拍摄参数,以生成最后的拍摄图像。例如,摄像头在拍摄过程中会每间隔0.5秒采集一帧预览图像,并在显示界面上显示生成的每一帧预览图像。在预览过程中,生成的预览图像会形成一个连续的预览图像序列,供用户查看。
图像传感器中分布了若干个感光元件,摄像头采集的光线可以通过感光元件转换为数字信号,从而得到图像中对应的像素点的像素值。感光元件一般只能过滤单色光,即一次只能采集一种颜色的光线。例如,感光元件可以分别采集红、蓝、绿三种颜色的光,红色感光元件就只能采集红光,蓝色感光元件就只能采集蓝光,绿色感光元件就只能采集绿光。在本实施例中,图像传感器中包含了第一像素阵列和第二像素阵列,第一像素阵列中包含多个像素点,第二像素点中也包含了多个像素点。通过第一像素阵列中分布的像素点只能同时采集一种颜色的通道值,第二像素阵列中分布的像素点可以同时采集多种颜色的通道值。例如,第一像素阵列只能采集红蓝绿(Red Green Blue,RGB)中的一个通道,第二像素阵列可以同时采集红蓝绿三个通道。
图3为一个实施例中图像传感器的展示示意图。如图3所示,该图像传感器中包含像素阵列30。该像素阵列30中包含第一像素阵列302和第二像素阵列304。其中,第一像素阵列302中每一个像素点只对应一个RGB中的一个颜色通道,第二像素阵列304中每一个像素点对应RGB三个颜色通道。该图像传感器中只包含一个第二像素阵列304,该第二像素阵列304为3*3的阵列。可以理解的是,图像传感器中还可以包含两个或两个以上的第二像素阵列304,每一个第二像素阵列304中包含n*n阵列的像素点,n为任意整数,在此不做限定。
步骤204,根据拍摄图像计算目标色温数据。
可以理解的是,采集的拍摄图像是由若干个像素点构成的,这若干个像素点按照一定的规律排列成一个二维矩阵,每个像素点对应一个或多个通道。色温数据用于表示拍摄环境中光线所包含的颜色成分,拍摄图像可以反正所拍摄物体的颜色变化,因此可以通过拍摄图像来计算拍摄环境的色温。具体地,电子设备可预设有获取目标色温数据的算法,该算法可以但不限于包括灰度世界算法、完美反射算法等。
步骤206,根据目标色温数据将拍摄图像进行处理。
可以理解的是,形成的拍摄图像中每一个第一像素点只对应一个颜色通道,每一个第二像素点可以对应两个以上的颜色通道。根据目标色温数据对拍摄图像进行处理,可以直接对拍摄图像进行处理,还可以将拍摄图像进行转化,得到待处理图像,并将待处理图像进行处理。将拍摄图像中的像素点进行处理,使每一个像素点都对应相同数量的通道。具体地,第一像素点只感应红、绿、蓝中的一个颜色,第二像素点可以同时感应红、绿、蓝三种颜色,第一像素点和第二像素点按照一定的规律进行排列。每四个第一像素点构成一个像素单元,最常见的排列方式为RG/GB的排列方式,即每个像素单元中由50%的G、25%的R和25%的B构成。图像传感器采集的拍摄图像可以发送给ISP(Image Signal Processing,图像信号处理)处理器,ISP处理器会将拍摄图像进行处理,通过插值处理将每个第一像素点都通过RGB三个通道值来进行表示。处理后的第一像素点可以同时对应RGB三个通道值,即得到的待处理图像中的每一个像素点都对应RGB三个通道值。
得到目标色温数据之后,目标色温数据可以反映拍摄环境中的色温值,通过目标色温数据可以将待处理图像进行颜色矫正。例如,可以对图像进行白平衡、色彩渲染、特效等处理,根据用户的需求和喜好进行颜色的处理,得到的图像会更加准确。则根据目标色温数据对待处理图像进行处理的步骤包括:将采集的拍摄图像转化为待处理图像,该待处理图像中的每一个像素点都对应至少两个通道;根据目标色温数据将待处理图像进行处理
上述实施例提供的图像处理方法,图像传感器中可以包含第一像素阵列和第二像素阵列,采集的拍摄图像中通过第一像素阵列采集的第一像素点包含一个通道,通过第二像素阵列采集的第二像素点至少包括两个通道。然后根据采集的拍摄图像计算目标色温数据,并根据目标色温数据将拍摄图像进行处理。这样通过图像传感器可以对拍摄图像中的部分像素点同时采集至少两个通道值,采集的图像就能更准确地反应环境的真实颜色,这样计算出来的色温数据更加准确,提高了图像处理的准确性。
图4为另一个实施例中图像处理方法的流程图。如图4所示,该图像处理方法包括步骤402至步骤414。其中:
步骤402,控制摄像头进行旋转,在摄像头旋转的过程中通过图像传感器采集拍摄图像。
在一个实施例中,在采集拍摄图像的时候,还可以控制摄像头进行旋转,以采集拍摄场景中不同角度的拍摄图像,这样可以更准确的计算色温数据。具体地,当开启电子设备上的摄像头时,摄像头会实时采集当前拍摄画面,形成预览图像。但是摄像头的视场是固定的,或者只能在一定的范围内变化。因此为了让摄像头可以采集更加全面的拍摄画面,可以让摄像头产生转动,在摄像头转动的过程中,获取预览图像。可以理解的是,摄像头转动可以是通过电子设备控制摄像头进行转动,也可以是通过转动电子设备来带动摄像头的转动,在本实施例中不做具体限定。
电子设备在拍摄模式下,还可以在显示屏上显示转动摄像头的提示信息,以提示用户对摄像头进行转动。然后在摄像头的转动过程中,获取预览图像。可以理解地,该提示信息的显示方式和提示信息的数据格式均可包含多种。例如,可显示“请左右转动摄像头”等类似的文字提示信息,或者可显示用于表示左右转动图形或符号等标记,比如可显示表示左右转动的箭头等。电子设备可在拍摄模式下,即可缓存该实时扫描得到的帧图像。可选地,摄像头可进行左右、上下、前后等任意角度的转动,在电子设备转动的过程中,生成预览图像,比如可以以某个固定位置进行左右转动。摄像头转动范围越大,则对应可采集到的拍摄画面更丰富,使得后续白平衡处理的准确性更高。举例来说,用户可在拍摄图像之前,手持该电子设备,对要拍摄的场景进行环境扫描,比如可手持该电子设备360°水平转动一圈,以得到整个空间的拍摄图像。
摄像头在旋转的过程中,电子设备可以通过图像传感器采集一张或多张拍摄图像。这一张或多张拍摄图像可以从不同的角度反映拍摄场景中光线的变化,根据这一张或多张拍摄图像可以更准确地计算得到色温数据,以更准确地对图像进行处理。
步骤404,将拍摄图像划分为至少一个参考图像块。
每一张拍摄图像都可以通过一个二维图像矩阵进行表示,拍摄图像的宽度和高度可以通过像素点的数量进行表示,拍摄图像的大小则可以通过宽度和高度进行表示。例如,拍摄图像的大小可以表示为640*320,则表示该拍摄图像的宽度方向上有640个像素点,高度方向上有320个像素点。具体地,可以将该拍摄图像的二维矩阵像素点划分成不同的区域,每个区域中包含了拍摄图像中的部分像素点,一个区域就是一个参考图像块。参考图像块的大小可以相同,则拍摄图像就可以划分成大小相同的若干个参考图像块。
步骤406,获取各个参考图像块中包含的参考像素点,并根据获取的参考像素点计算对应的颜色参考值。
在一个实施例中,参考像素点是用于筛选目标图像块的像素点。参考像素点可以是第一像素点和第二像素点,也可以只是第二像素点。具体地,获取各个参考图像块中所包含的第一像素点和第二像素点,作为参考像素点;或获取参考图像块中包含的第二像素点作为参考像素点。
参考像素点的每个颜色通道都会通过一个数值进行表示,该数值的取值范围为0~255。获取色温数据时需要找到图像中最白的点作为标准参考点,进行然后根据该标准参考点的颜色通道值计算色温数据。当像素点呈白色的时候,像素点的RGB通道值分别为255、255、255。颜色参考值就是用来匹配白色像素点的值,计算每一个像素点的颜色参考值,再通过颜色参考值可以筛选白色像素点。
步骤408,根据颜色参考值从参考图像块中获取目标图像块,并根据目标图像块计算目标色温数据。
计算参考图像块中每一个参考像素点的颜色参考值,根据颜色参考值可以判断像素点是否为白色像素点。可以筛选包含白色像素点较多的参考图像块作为目标图像块,然后根据目标图像块来计算目标色温数据。具体地,遍历参考图像块;计算参考图像块中每一个参考像素点对应的颜色参考值,并统计颜色参考值在预设参考值范围内的参考像素点的像素点数量;将像素点数量在预设数量范围内的参考图像块作为目标图像块。例如,划分的每一个参考图像块中包含20*20个像素点,则可以将包含300个白色像素点的参考图像块作为目标图像块,然后根据目标图像块来计算目标色温数据。
若在摄像头旋转过程中,采集到多张拍摄图像,则可以将每一张拍摄图像划分为至少一个参考图像块,并从得到的所有参考图像块中筛选出目标图像块,再根据目标图像块计算得到目标色温数据。这样摄像头在旋转过程中可以采集到更多的颜色信息,从而得到更准确地目标色温数据。
步骤410,将拍摄图像中的第二像素点进行像素补偿,得到补偿拍摄图像;其中,补偿拍摄图像中包含的每一个像素点对应一个通道。
拍摄图像中包含的每一个第一像素点对应一个通道,每一个第二像素点对应至少两个通道。在对拍摄图像进行颜色矫正处理之前,需要将拍摄图像中的像素点对应的通道值进行修正。可以将拍摄图像中的第二像素点当做坏点,对第二像素点进行像素补偿,像素补偿之后的第二像素点对应一个通道值,这样就可以将补偿之后的拍摄图像进行统一地处理。具体地,拍摄图像中的第一像素点是按照一定规律排列的,那么第二像素点也必须按照第一像素点的排列规则进行像素补偿。举例来说,若第一像素点是按照RG/GB的排列方式进行采集的,那么像素补偿后的第二像素点也必须按照RG/GB的排列方式进行排列,这样才能保证对拍摄图像进行统一化处理。
在一个实施例中,可以根据第二像素点自身的通道值来进行像素补偿,也可以根据第一像素点的通道值来对第二像素点进行像素补偿。具体地,从第二像素点对应的至少两个通道中选取一个通道,作为像素补偿后的第二像素点对应的通道;或根据第一像素点对应的通道,确定像素补偿后的第二像素点对应的通道。
步骤412,将补偿拍摄图像转化为待处理图像。
得到的补偿拍摄图像中包含的每一个像素点都对应一个通道,这样就可以将补偿拍摄图像进行统一处理,以转化得到的待处理图像。转化得到的待处理图像中的每一个像素点对应至少两个通道,然后可以对待处理图像进行颜色矫正处理。具体地,补偿拍摄图像中的像素点是按照RG/GB的规律进行排列的,可以遍历补偿拍摄图像中的像素点,并从相邻的像素点中获取补偿通道值,从而得到待处理图像。例如,假设一个像素点对应为G通道值,那么这个单通道像素点就可以读取相邻的R通道像素点和B通道像素点,并将读取的相邻的R通道像素点和B通道像素点对应的通道值,作为该像素点补偿后的R通道值和B通道值,从而将该单通道像素点转化为三通道像素点。
若在摄像头旋转过程中采集到两张以上的拍摄图像,则可以将每张拍摄图像都转化为待处理图像,再根据得到的目标色温数据对得到的每一张待处理图像都进行颜色矫正处理。也可以从拍摄图像中选取一张目标拍摄图像,并将目标拍摄图像转化为待处理图像,根据得到的目标色温数据将待处理图像进行处理。例如,可以计算每一个拍摄图像的清晰度,将清晰度最高的拍摄图像作为目标拍摄图像。或者检测每一张拍摄图像中包含的人脸,将包含人脸最多的拍摄图像作为目标拍摄图像。
步骤414,根据目标色温数据将待处理图像进行处理。
在本申请提供的实施例中,在拍摄图像的时候,拍摄图像中的物体颜色很容易受到环境光颜色的影响。得到目标色温数据之后,就可以根据得到的目标色温数据对待处理图像进行颜色矫正处理。颜色矫正处理之后的待处理图像中,颜色就会更接近物体本来的颜色,这样使得到的图像更加准确。
在一个实施例中,计算色温数据的步骤具体包括:
步骤502,计算每一个目标图像块对应的色温数据,并统计色温数据的分布图。
目标图像块是包含白色像素点比较多的图像块,也即比较接近白色区域的图像块。筛选出目标图像块之后,可以对每一个目标图像块计算一个对应的色温数据,再根据色温数据的分布来得到最中的目标色温数据。可以理解的是,RGB通道值和色温数据具有一定的对应关系,因此根据RGB通道值可以计算对应的色温数据。具体地,可以计算目标图像块中各个通道值的均值,再根据各个通道值的均值计算得到色温数据。例如,计算目标图像块中R通道的均值为Rave,G通道的均值为Gave,计算得到Rave/Gave。Rave/Gave与色温数据具有一定的对应关系,那么根据得到的Rave/Gave就可以得到目标图像块对应的色温数据。
步骤504,根据分布图从色温数据中确定目标色温数据。
每一个目标图像块会对应一个色温数据,然后可以将得到的色温数据进行统计,得到色温数据的分布图。分布图中可以看到色温数据的分布情况,根据色温数据的分布情况可以确定最终的目标色温数据。图6为一个实施例中色温数据的分布图。如图6所示,该分布图中横轴表示色温数据,纵轴表示R通道均值Rave和G通道均值Gave的比值。根据目标图像块计算得到的Rave和Gave,可以得到Rave/Gave。根据该色温曲线就可以获取到目标图像块对应的色温数据。然后统计色温数据的分布图,假设总共有100个目标图像块,其中有80个图像块对应的色温数据都在4500K左右,那么可以认为目标色温数据就为4500K。
上述实施例提供的图像处理方法,图像传感器中可以包含第一像素阵列和第二像素阵列,采集的拍摄图像中通过第一像素阵列采集的第一像素点包含一个通道,通过第二像素阵列采集的第二像素点至少包括两个通道。然后根据采集的拍摄图像计算目标色温数据,并根据目标色温数据将拍摄图像进行处理。这样通过图像传感器可以对拍摄图像中的部分像素点同时采集至少两个通道,采集的图像就能更准确地反应环境的真实颜色,这样计算出来的色温数据更加准确,提高了图像处理的准确性。
应该理解的是,虽然图2、4、5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、4、5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例中图像处理装置的结构示意图。如图7所示,该图像处理装置700包括图像采集模块702、数据获取模块704和图像处理模块706。其中:
图像采集模块702,用于通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的第一像素点和由所述第二像素阵列采集的第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道。
数据获取模块704,用于根据所述拍摄图像计算目标色温数据。
图像处理模块706,用于根据所述目标色温数据将所述拍摄图像进行处理。
上述实施例提供的图像处理装置,图像传感器中可以包含第一像素阵列和第二像素阵列,采集的拍摄图像中通过第一像素阵列采集的第一像素点包含一个通道,通过第二像素阵列采集的第二像素点至少包括两个通道。然后根据采集的拍摄图像计算目标色温数据,并根据目标色温数据将拍摄图像进行处理。这样通过图像传感器可以对拍摄图像中的部分像素点同时采集至少两个通道,采集的图像就能更准确地反应环境的真实颜色,这样计算出来的色温数据更加准确,提高了图像处理的准确性。
在一个实施例中,图像采集模块702还用于控制摄像头进行旋转,在摄像头旋转的过程中通过图像传感器采集拍摄图像。
在一个实施例中,数据获取模块704还用于将所述拍摄图像划分为至少一个参考图像块;获取各个参考图像块中包含的参考像素点,并根据获取的参考像素点计算对应的颜色参考值;根据所述颜色参考值从所述参考图像块中获取目标图像块,并根据所述目标图像块计算目标色温数据。
在一个实施例中,数据获取模块704还用于获取各个参考图像块中所包含的第一像素点和第二像素点,作为参考像素点;或获取所述参考图像块中包含的第二像素点作为参考像素点。
在一个实施例中,数据获取模块704还用于计算每一个目标图像块对应的色温数据,并统计所述色温数据的分布图;根据所述分布图从所述色温数据中确定目标色温数据。
在一个实施例中,图像处理模块706还用于将采集的所述拍摄图像转化为待处理图像,所述待处理图像中的每一个像素点都对应至少两个通道;根据所述目标色温数据将所述待处理图像进行处理。
在一个实施例中,图像处理模块706还用于将所述拍摄图像中的第二像素点进行像素补偿,得到补偿拍摄图像;其中,所述补偿拍摄图像中包含的每一个像素点对应一个通道;将所述补偿拍摄图像转化为待处理图像。
在一个实施例中,图像处理模块706还用于从所述第二像素点对应的至少两个通道中选取一个通道,作为像素补偿后的第二像素点对应的通道值;或根据第一像素点对应的通道,确定像素补偿后的第二像素点对应的通道。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述实施例提供的图像处理方法。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的图像处理方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840,或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器840的输出还可发送给图像存储器830,且显示器870可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器860,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
以下为运用图8中图像处理技术实现上述实施例提供的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法,其特征在于,所述方法包括:
通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的多个第一像素点和由所述第二像素阵列采集的多个第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道;所述第一像素阵列和第二像素阵列为连续的像素阵列,所述第二像素点的个数小于第一像素点的个数;
根据所述拍摄图像计算目标色温数据;
根据所述第二像素点自身的通道值或根据所述第一像素点的通道值对所述拍摄图像中的第二像素点进行像素补偿,得到补偿拍摄图像;其中,所述补偿拍摄图像中包含的每一个像素点对应一个通道;
将所述补偿拍摄图像转化为待处理图像,所述待处理图像中的每一个像素点都对应至少两个通道;
根据所述目标色温数据将所述待处理图像进行处理。
2.根据权利要求1所述的方法,其特征在于,所述通过图像传感器采集拍摄图像,包括:
控制摄像头进行旋转,在摄像头旋转的过程中通过图像传感器采集拍摄图像。
3.根据权利要求1所述的方法,其特征在于,所述根据所述拍摄图像计算目标色温数据包括:
将所述拍摄图像划分为至少一个参考图像块;
获取各个参考图像块中包含的参考像素点,并根据获取的参考像素点计算对应的颜色参考值;
根据所述颜色参考值从所述参考图像块中获取目标图像块,并根据所述目标图像块计算目标色温数据。
4.根据权利要求3所述的方法,其特征在于,所述获取各个参考图像块中包含的参考像素点,包括:
获取各个参考图像块中所包含的第一像素点和第二像素点,作为参考像素点;或
获取所述参考图像块中包含的第二像素点作为参考像素点。
5.根据权利要求3所述的方法,其特征在于,所述根据所述目标图像块计算目标色温数据,包括:
计算每一个目标图像块对应的色温数据,并统计所述色温数据的分布图;
根据所述分布图从所述色温数据中确定目标色温数据。
6.一种图像处理装置,其特征在于,所述装置包括:
图像采集模块,用于通过图像传感器采集拍摄图像,所述图像传感器中包含第一像素阵列和第二像素阵列,所述拍摄图像中包括由所述第一像素阵列采集的多个第一像素点和由所述第二像素阵列采集的多个第二像素点,所述第一像素点对应一个通道,所述第二像素点对应至少两个通道;所述第一像素阵列和第二像素阵列为连续的像素阵列,所述第二像素点的个数小于第一像素点的个数;
数据获取模块,用于根据所述拍摄图像计算目标色温数据,并根据所述第二像素点自身的通道值或根据所述第一像素点的通道值对所述拍摄图像中的第二像素点进行像素补偿,得到补偿拍摄图像;其中,所述补偿拍摄图像中包含的每一个像素点对应一个通道;
图像处理模块,用于将所述补偿拍摄图像转化为待处理图像,所述待处理图像中的每一个像素点都对应至少两个通道;根据所述目标色温数据将所述待处理图像进行处理。
7.根据权利要求6所述的装置,其特征在于,
所述图像采集模块,还用于控制摄像头进行旋转,在摄像头旋转的过程中通过图像传感器采集拍摄图像。
8.根据权利要求6所述的装置,其特征在于,
所述数据获取模块,还用于将所述拍摄图像划分为至少一个参考图像块;获取各个参考图像块中包含的参考像素点,并根据获取的参考像素点计算对应的颜色参考值;根据所述颜色参考值从所述参考图像块中获取目标图像块,并根据所述目标图像块计算目标色温数据。
9.根据权利要求8所述的装置,其特征在于,
所述数据获取模块,还用于获取各个参考图像块中所包含的第一像素点和第二像素点,作为参考像素点;或
获取所述参考图像块中包含的第二像素点作为参考像素点。
10.根据权利要求8所述的装置,其特征在于,
所述数据获取模块,还用于计算每一个目标图像块对应的色温数据,并统计所述色温数据的分布图;根据所述分布图从所述色温数据中确定目标色温数据。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如1至5中任一项所述的方法。
12.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的方法。
CN201810408621.1A 2018-05-02 2018-05-02 图像处理方法、装置、计算机可读存储介质和电子设备 Active CN108769510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810408621.1A CN108769510B (zh) 2018-05-02 2018-05-02 图像处理方法、装置、计算机可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810408621.1A CN108769510B (zh) 2018-05-02 2018-05-02 图像处理方法、装置、计算机可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108769510A CN108769510A (zh) 2018-11-06
CN108769510B true CN108769510B (zh) 2021-03-23

Family

ID=64009122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810408621.1A Active CN108769510B (zh) 2018-05-02 2018-05-02 图像处理方法、装置、计算机可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN108769510B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125113B (zh) * 2019-12-25 2020-09-15 中科三清科技有限公司 空气污染物数据的存储方法和装置
CN113691716B (zh) * 2021-08-26 2023-07-11 维沃移动通信有限公司 图像传感器、图像处理方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394570A (zh) * 2007-09-21 2009-03-25 微彩智库有限公司 图像传感器和图像数据处理***
CN102273208A (zh) * 2009-10-20 2011-12-07 索尼公司 图像处理设备、图像处理方法以及程序
CN103327345A (zh) * 2012-03-19 2013-09-25 华晶科技股份有限公司 白平衡处理方法及其处理装置
JP2014072658A (ja) * 2012-09-28 2014-04-21 Mega Chips Corp 画素補間装置、撮像装置、プログラムおよび集積回路
CN105721843A (zh) * 2014-12-21 2016-06-29 瑞沃罗申显示有限责任公司 具有彩色像素和白色像素的大幅面显示***
CN106162135A (zh) * 2016-07-29 2016-11-23 广东欧珀移动通信有限公司 白平衡调整方法以及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394570A (zh) * 2007-09-21 2009-03-25 微彩智库有限公司 图像传感器和图像数据处理***
CN102273208A (zh) * 2009-10-20 2011-12-07 索尼公司 图像处理设备、图像处理方法以及程序
CN103327345A (zh) * 2012-03-19 2013-09-25 华晶科技股份有限公司 白平衡处理方法及其处理装置
JP2014072658A (ja) * 2012-09-28 2014-04-21 Mega Chips Corp 画素補間装置、撮像装置、プログラムおよび集積回路
CN105721843A (zh) * 2014-12-21 2016-06-29 瑞沃罗申显示有限责任公司 具有彩色像素和白色像素的大幅面显示***
CN106162135A (zh) * 2016-07-29 2016-11-23 广东欧珀移动通信有限公司 白平衡调整方法以及装置

Also Published As

Publication number Publication date
CN108769510A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN109767467B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110166695B (zh) 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN108921823B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN108198152B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107911682B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
CN110290323B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107959841B (zh) 图像处理方法、装置、存储介质和电子设备
CN110213494B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109862269B (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN112004029B (zh) 曝光处理方法、装置、电子设备、计算机可读存储介质
CN110035206B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2019105304A1 (zh) 图像白平衡处理方法、计算机可读存储介质和电子设备
CN107948617B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109963080B (zh) 图像采集方法、装置、电子设备和计算机存储介质
CN110213498B (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109951641B (zh) 图像拍摄方法和装置、电子设备、计算机可读存储介质
CN112087571A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN107948511A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN111246100A (zh) 防抖参数的标定方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant