CN107370917B - 控制方法、电子装置和计算机可读存储介质 - Google Patents

控制方法、电子装置和计算机可读存储介质 Download PDF

Info

Publication number
CN107370917B
CN107370917B CN201710526558.7A CN201710526558A CN107370917B CN 107370917 B CN107370917 B CN 107370917B CN 201710526558 A CN201710526558 A CN 201710526558A CN 107370917 B CN107370917 B CN 107370917B
Authority
CN
China
Prior art keywords
pixel
color
infrared
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710526558.7A
Other languages
English (en)
Other versions
CN107370917A (zh
Inventor
唐城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710526558.7A priority Critical patent/CN107370917B/zh
Publication of CN107370917A publication Critical patent/CN107370917A/zh
Application granted granted Critical
Publication of CN107370917B publication Critical patent/CN107370917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种控制方法，用于电子装置，电子装置包括成像装置，成像装置包括镜头和图像传感器，镜头包括双带通滤光膜，图像传感器包括阵列排布的感光像素单元和设置在感光像素单元上且呈阵列排布的滤光片单元。所述控制方法包括：控制图像传感器曝光；根据原始红外像素的输出得到红外图像；和根据原始红外像素的输出去除原始彩色像素的输出的红外光通道值以得到彩色图像。此外，本发明还公开了一种电子装置和计算机可读存储介质。本发明的控制方法、电子装置和计算机可读存储介质利用同一图像传感器可以同时获取红外图像和彩色图像，从而避免电子装置为了同时获取红外图像和彩色图像而增设图像传感器带来的体积增大问题。

Description

控制方法、电子装置和计算机可读存储介质
技术领域
本发明涉及电子装置，特别涉及一种控制方法、电子装置和计算机可读存储介质。
背景技术
为了具备可见光成像和红外光成像(虹膜识别)两个功能，电子装置(如手机)一般都需要可见光摄像头和红外摄像头，如此会增大电子装置的体积。
发明内容
本发明的实施方式提供了一种控制方法，用于控制电子装置，所述电子装置包括成像装置，所述成像装置包括镜头和图像传感器，所述镜头包括双带通滤光膜，所述双带通滤光膜用于通过可见光和红外光，所述图像传感器包括阵列排布的感光像素单元和设置在所述感光像素单元上且呈阵列排布的滤光片单元，每个所述滤光片单元包括彩色子单元和红外子单元，所述彩色子单元覆盖对应一个感光像素单元并用于通过单色可见光和红外光，所述红外子单元覆盖对应一个感光像素单元并用于通过红外光，每个所述感光像素单元包括多个感光像素，所述彩色子单元覆盖的所述感光像素为原始彩色像素，所述红外子单元覆盖的所述感光像素为原始红外像素；所述控制方法包括以下步骤：
控制所述图像传感器曝光；
根据所述原始红外像素的输出得到红外图像；和/或
根据所述原始红外像素的输出去除所述原始彩色像素的输出的红外光通道值以得到彩色图像。
本发明的实施方式的一种电子装置，包括成像装置，所述成像装置包括镜头和图像传感器，所述镜头包括双带通滤光膜，所述双带通滤光膜用于通过可见光和红外光，所述图像传感器包括阵列排布的感光像素单元和设置在所述感光像素单元上且呈阵列排布的滤光片单元，每个所述滤光片单元包括彩色子单元和红外子单元，所述彩色子单元覆盖对应一个感光像素单元并用于通过单色可见光和红外光，所述红外子单元覆盖对应一个感光像素单元并用于通过红外光，每个所述感光像素单元包括多个感光像素，所述彩色子单元覆盖的所述感光像素为原始彩色像素，所述红外子单元覆盖的所述感光像素为原始红外像素；所述电子装置还包括处理器，所述处理器用于：
控制所述图像传感器曝光；
根据所述原始红外像素的输出得到红外图像；和/或
根据所述原始红外像素的输出去除所述原始彩色像素的输出的红外光通道值以得到彩色图像。
本发明的实施方式的一种电子装置，包括：
成像装置；
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置由所述一个或多个处理器执行，所述程序用于执行所述控制方法的指令。
本发明的实施方式的一种计算机可读存储介质，包括与电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成所述控制方法。
本发明实施方式的控制方法、电子装置和计算机可读存储介质利用同一图像传感器可以同时获取红外图像和彩色图像，从而避免电子装置为了同时获取红外图像和彩色图像而增设图像传感器带来的体积增大问题。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的控制方法的流程示意图；
图2是本发明实施方式的电子装置的平面示意图；
图3是本发明实施方式的成像装置的结构示意图；
图4是本发明实施方式的图像传感器的结构示意图；
图5是本发明实施方式的滤光片单元的状态示意图；
图6是本发明实施方式的控制方法的另一个流程示意图；
图7是本发明实施方式的控制方法的再一个流程示意图；
图8是本发明实施方式的红外图像的状态示意图；
图9是本发明实施方式的控制方法的又一个流程示意图；
图10是本发明实施方式的控制方法的又一个流程示意图；
图11是本发明实施方式的彩色图像的状态示意图；
图12是本发明实施方式的控制方法的又一个流程示意图；
图13是本发明实施方式的控制方法的又一个流程示意图；
图14是本发明实施方式的色块图像和合并图像的状态示意图；
图15是本发明实施方式的电子装置的另一个平面示意图；
图16是本发明实施方式的电子装置和计算接可读存储介质的连接示意图。
主要元件符号说明：
电子装置1000、成像装置100、镜头10、双带通滤光膜12、图像传感器20、感光像素单元22、感光像素222、滤光片单元24、彩色子单元242、红色子单元2422、绿色子单元2424、蓝色子单元2426、红外子单元244、处理器300、存储器500、计算机可读存储介质8000。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
请一并参阅图1-5，本发明实施方式的控制方法可以用于控制电子装置1000。电子装置1000包括成像装置100，成像装置100包括镜头10和图像传感器20。镜头10包括双带通滤光膜12，双带通滤光膜12用于通过可见光和红外光。图像传感器20包括阵列排布的感光像素单元22和设置在感光像素单元22上且呈阵列排布的滤光片单元24，每个滤光片单元24包括彩色子单元242和红外子单元244。彩色子单元242覆盖对应一个感光像素单元22并用于通过单色可见光和红外光，红外子单元244覆盖对应一个感光像素单元22并用于通过红外光。每个感光像素单元22包括多个感光像素222。彩色子单元242覆盖的感光像素222为原始彩色像素，红外子单元244覆盖的感光像素222为原始红外像素。控制方法包括以下步骤：
S32：控制图像传感器20曝光；
S34：根据原始红外像素的输出得到红外图像；和/或
S36：根据原始红外像素的输出去除原始彩色像素的输出的红外光通道值以得到彩色图像。
请再次参阅图2-5，本发明实施方式的电子装置1000包括成像装置100。成像装置100包括镜头10和图像传感器20。镜头10包括双带通滤光膜12，双带通滤光膜12用于通过可见光和红外光。图像传感器20包括阵列排布的感光像素单元22和设置在感光像素单元22上且呈阵列排布的滤光片单元24，每个滤光片单元24包括彩色子单元242和红外子单元244。彩色子单元242覆盖对应一个感光像素单元22并用于通过单色可见光和红外光，红外子单元244覆盖对应一个感光像素单元22并用于通过红外光。每个感光像素单元22包括多个感光像素222。彩色子单元242覆盖的感光像素222为原始彩色像素，红外子单元244覆盖的感光像素222为原始红外像素。电子装置1000还包括处理器300，处理器300用于：
控制图像传感器20曝光；
根据原始红外像素的输出得到红外图像；和/或
根据原始红外像素的输出去除原始彩色像素的输出的红外光通道值以得到彩色图像。
也即是说，本发明实施方式的控制方法可以由本发明实施方式的电子装置1000实现，其中，步骤S32、S34和S36可以由处理器300实现。
本发明实施方式的控制方法和电子装置1000利用同一图像传感器20可以同时获取红外图像和彩色图像，从而避免电子装置1000为了同时获取红外图像和彩色图像而增设图像传感器20带来的体积增大问题。
可以理解，双带通滤光膜12是指可以同时通过不同波长范围的光的膜层，比如可以同时通过可见光和红外光的膜层，通过在镜头10上镀膜形成双带通滤光膜12，光线通过镜头10的双带通滤光膜12的滤光后，只有可见光和红外光到达图像传感器20。可见光和红外光通过红外子单元244(红外滤光片)时，会通过红外光而滤除可见光；可见光和红外光通过彩色子单元242(彩色滤光片)时，会通过部分可见光和部分红外光，其中部分可见光为滤光片单元24对应的颜色的光线，部分红外光为通过红外子单元244的红外光的三分之一。
在某些实施方式中，控制方法包括步骤S34和/或步骤S36是指控制方法包括步骤S34，或控制方法包括步骤S36，或控制方法包括步骤S34和S36。
在某些实施方式中，滤光片单元24大小相同且呈正矩阵排布。
在某些实施方式中，红外光通道值是指红外光经过图像传感器20的光电转换后的信号值。
在某些实施方式中，彩色图像是指只包含可见光的信号值的图像。
在某些实施方式中，电子装置1000包括手机、笔记本电脑、平板电脑、智能手表或智能眼镜。在本发明实施方式中，电子装置1000是手机。
请再次参阅图5，在某些实施方式中，彩色子单元242包括红色子单元2422、绿色子单元2424和蓝色子单元2426。
如此，可以方便将图像传感器20输出的图像转化为彩色图像。
具体地，为了实现彩色效果，一般图像需要包括色光三原色：红色、绿色和蓝色，因此可以利用红色子单元2422(红色滤光片)、绿色子单元2424(绿色滤光片)和蓝色子单元2426(蓝色滤光片)获得可见光中的红色光、绿色光和蓝色光的信号值。
在某些实施方式中，感光像素单元22包括2*2阵列的感光像素222。
请参阅图6，在某些实施方式中，控制方法包括以下步骤：
S38：将彩色图像转化成真彩图像。
请再次参阅图2，在某些实施方式中，处理器300用于：
将彩色图像转化成真彩图像。
也即是说，步骤S38可以由处理器300实现。
如此，可以将彩色图像转换为真彩图像。
可以理解，真彩图像是指真实反映色彩的图像。在某些实施方式中，彩色图像是马赛克图像，因此，需要通过对彩色图像进行去马赛克处理，从而获得真彩图像。
请一并参阅图7和图8，在某些实施方式中，红外图像包括阵列排布的红外像素，红外像素包括第一当前像素，感光像素222包括与第一当前像素对应的第一关联像素，步骤S34包括以下步骤：
S342：判断第一当前像素对应的第一关联像素是否为原始红外像素；
S344：在第一当前像素对应的第一关联像素为原始红外像素时，将第一关联像素的像素值作为第一当前像素的像素值；和
S346：在第一当前像素对应的第一关联像素为原始彩色像素时，根据第一插值算法计算第一当前像素的像素值。
请再次参阅图2和图8，在某些实施方式中，红外图像包括阵列排布的红外像素，红外像素包括第一当前像素，感光像素222包括与第一当前像素对应的第一关联像素，处理器300用于：
判断第一当前像素对应的第一关联像素是否为原始红外像素；
在第一当前像素对应的第一关联像素为原始红外像素时，将第一关联像素的像素值作为第一当前像素的像素值；和
在第一当前像素对应的第一关联像素为原始彩色像素时，根据第一插值算法计算第一当前像素的像素值。
也即是说，步骤S342、S344和S346可以由处理器300实现。
如此，可以将图像传感器20曝光获得的图像转化为红外图像。
具体地，在第一当前像素对应的第一关联像素为原始红外像素时，说明第一当前像素和第一关联像素都是用于表征红外光，可以直接将第一关联像素的像素值作为第一当前像素的像素值；在第一当前像素对应的第一关联像素不是原始红外像素而是原始彩色像素时，说明第一当前像素表征的是红外光，第一关联像素表征的是可见光和红外光，无法直接利用第一关联像素的像素值获得第一当前像素的像素值，因此，可以通过第一插值算法获得第一当前像素的像素值。
在一个实施例中，获取第一当前像素IR3’5’时，由于IR3’5’与对应的第一关联像素IR35为原始红外像素，因此可以直接将IR35的像素值作为IR3’5’的像素值。
请一并参阅图8和图9，在某些实施方式中，步骤S346包括以下步骤：
S3462：根据第一关联像素相邻的原始红外像素计算第一关联像素各个方向上的第一渐变量和第一权重；和
S3464：根据第一渐变量和第一权重计算第一当前像素的像素值。
请再次参阅2和图8，在某些实施方式中，处理器300用于：
根据第一关联像素相邻的原始红外像素计算第一关联像素各个方向上的第一渐变量和第一权重；和
根据第一渐变量和第一权重计算第一当前像素的像素值。
也即是说，步骤S3462和S3464可以由处理器300实现。
如此，可以在第一当前像素对应的第一关联像素为原始彩色像素时获得第一当前像素的像素值。
具体地，插值处理方式是参考图像在不同方向上的能量渐变，将与第一关联像素相邻的原始红外像素依据在不同方向上的渐变权重大小，通过线性插值的方式计算得到第一当前像素的像素值。其中，在能量变化量较小的方向上，参考比重较大，因此，在第一插值计算时的权重较大。
在某些实施方式中，为方便计算，仅考虑水平和垂直方向。
在一个实施例中，在获取当前像素IR5’3’时，IR5’3’对应的第一关联像素IR53相邻的原始红外像素为IR42、IR45、IR72和IR75，IR5’3’可以由IR42、IR45、IR72和IR75插值得到，在IR53的水平和垂直方向上并不存在原始红外像素，因此需先根据IR42、IR45、IR72和IR75计算在水平和垂直方向上的分量。其中，水平方向上的分量为IR52和IR55、垂直方向的分量为IR43和IR73可以分别通过IR42、IR45、IR72和IR75计算得到。
具体地，IR52＝IR42*2/3+IR72*1/3，IR55＝2/3*IR45+1/3*IR75，IR43＝2/3*IR42+1/3*IR45，IR73＝2/3*IR72+1/3*IR75。
然后，分别计算在水平和垂直方向的渐变量及权重，也即是说，根据原始红外像素在不同方向的渐变量，以确定在插值时不同方向的参考权重，在渐变量小的方向，权重较大，而在渐变量较大的方向，权重较小。其中，在水平方向的渐变量X1＝|IR52-IR55|，在垂直方向上的渐变量X2＝|IR43-IR73|，W1＝X1/(X1+X2)，W2＝X2/(X1+X2)。
如此，根据上述可计算得到，IR5’3’＝(2/3*IR52+1/3*IR55)*W2+(2/3*IR43+1/3*IR73)*W1。可以理解，若X1大于X2，则W1大于W2，因此计算时水平方向的权重为W2，而垂直方向的权重为W1，反之亦反。
如此，可根据第一插值算法计算得到第一当前像素的像素值。依据上述对第一关联像素的处理方式，可将图像转化为红外图像。
需要说明的是，可以通过其他插值方法获取第一当前像素的像素值，比如取第一关联像素相邻的原始红外像素的平均值作为第一当前像素的像素值等方式，在此不做具体限定。
请一并参阅图10和图11，在某些实施方式中，彩色图像包括阵列排布的彩色像素，彩色像素包括第二当前像素，感光像素222包括与第二当前像素对应的第二关联像素，步骤S36包括以下步骤：
S362：判断第二当前像素对应的第二关联像素是否为原始彩色像素；
S364：在第二当前像素对应的第二关联像素为原始彩色像素时，利用原始彩色像素的像素值减去预定比例的对应的红外像素的像素值以得到第二当前像素的像素值；和
S366：在第二当前像素对应的第二关联像素为原始红外像素时，根据第二插值算法计算第二当前像素的像素值。
请再次参阅图2和图11，在某些实施方式中，彩色图像包括阵列排布的彩色像素，彩色像素包括第二当前像素，感光像素222包括与第二当前像素对应的第二关联像素，处理器300用于：
判断第二当前像素对应的第二关联像素是否为原始彩色像素；
在第二当前像素对应的第二关联像素为原始彩色像素时，利用原始彩色像素的像素值减去预定比例的对应的红外像素的像素值以得到第二当前像素的像素值；和
在第二当前像素对应的第二关联像素为原始红外像素时，根据第二插值算法计算第二当前像素的像素值。
也即是说，步骤S362、S364和S366可以由处理器300实现。
如此，可以将图像传感器20曝光获得的图像转化为彩色图像。
具体地，在第二当前像素对应的第二关联像素为原始彩色像素时，说明第二当前像素表征的是可见光，第二关联像素表征的是可见光和红外光，因此，需要将第二关联像素表征的红外光通道值去除，通过利用原始彩色像素的像素值减去预定比例的红外图像的红外像素的像素值可以获得第二当前像素的像素值，其中，预定比例可以为三分之一；在第二当前像素对应的第二关联像素不是原始彩色像素而是原始红外像素时，说明第二当前像素表征的是可见光，第二关联像素表征的是红外光，因此，可以通过第二插值算法获得第二当前像素的像素值。
请一并参阅图11和图12，在某些实施方式中，步骤S366包括以下步骤：
S3662：根据与第二当前像素颜色相同且与第二当前像素相邻的彩色像素计算第二当前像素各个方向上的第二渐变量和第二权重；和
S3664：根据第二渐变量和第二权重计算第二当前像素的像素值。
请再次参阅图2和图11，在某些实施方式中，处理器300用于：
根据与第二当前像素颜色相同且与第二当前像素相邻的彩色像素计算第二当前像素各个方向上的第二渐变量和第二权重；和
根据第二渐变量和第二权重计算第二当前像素的像素值。
也即是说，步骤S3662和S3664可以由处理器300实现。
如此，可以在第二当前像素对应的第二关联像素为原始红外像素时获得第二当前像素的像素值。
具体地，第二渐变量的计算方法和第一渐变量的计算方法类似，第二权重的计算方法和第一权重的计算方法类似，在此不做赘述。
需要说明的是，第二当前像素的像素值也可以通过其他插值方法获取，比如取与第二当前像素颜色相同且与第二当前像素相邻的彩色像素的平均值作为第二当前像素的像素值等方式，在此不做具体限定。
请一并参阅图13和图14，在某些实施方式中，步骤S32包括以下步骤：
S322：获取环境亮度；
S324：判断环境亮度是否小于等于预设亮度；
S326：在环境亮度小于等于预设亮度时，控制图像传感器20输出合并图像，合并图像包括阵列排布的合并像素，同一感光像素单元22的多个感光像素222合并输出作为一个合并像素；和
S328：在环境亮度大于预设亮度时，控制图像传感器20输出色块图像，色块图像包括阵列排布的色块像素单元，色块像素单元包括多个色块像素，每个色块像素对应一个感光像素222。
请再次参阅图2和图13，在某些实施方式中，处理器300用于：
获取环境亮度；
判断环境亮度是否小于等于预设亮度；
在环境亮度小于等于预设亮度时，控制图像传感器20输出合并图像，合并图像包括阵列排布的合并像素，同一感光像素单元22的多个感光像素222合并输出作为一个合并像素；和
在环境亮度大于预设亮度时，控制图像传感器20输出色块图像，色块图像包括阵列排布的色块像素单元，色块像素单元包括多个色块像素，每个色块像素对应一个感光像素222。
也即是说，步骤S322、S324、S326和S328可以由处理器300实现。
如此，可以根据环境亮度控制图像传感器20输出合适的图像。
具体地，在环境亮度小于等于预设亮度时，说明环境亮度比较小，即环境处于低亮条件下，因此可以将同一感光像素单元22的多个感光像素222合并输出以提高图像传感器20输出的图像信号的信噪比；在环境亮度大于预设亮度时，说明环境亮度比较大，即环境处于高亮条件下，因此可以将每个感光像素222都进行输出以提高图像传感器20输出的图像的分辨率。
需要说明的是，环境亮度可以根据图像处理判断获得，比如通过处理图像传感器20输出的图像，通过图像处理获得图像对应的亮度值作为环境亮度。环境亮度也可根据电子装置1000上的感光装置获得，比如光线传感器等，在此不做具体限定。此外，预设亮度可以预设在电子装置1000中或由用户设置，其中，用户自由设置预设亮度可以控制图像传感器20输出用户所需的图像。
请再次参阅图11，在某些实施方式中，彩色图像呈贝尔阵列排布。
如此，可以方便将彩色图像转化为真彩图像。
具体地，贝尔阵列排布的彩色图像转化为真彩图像的处理方法比较多样化和成熟，因此可以先将图像传感器20输出的图像转化为贝尔阵列排布的彩色图像，再通过去马赛克处理将彩色图像转化为真彩图像。
在图像传感器20输出的图像为合并图像时，合并图像可以根据上述的第二插值算法转化为彩色图像，其中彩色图像呈正常贝尔阵列排布。在图像传感器20输出的图像为色块图像时，色块图像根据上述的第二插值算法转化为彩色图像，其中彩色图像呈大贝尔阵列排布。大贝尔阵列是指将同一感光像素单元22的多个感光像素222视作同一像素。因此，需要先将彩色图像转化为贝尔阵列排布的图像，再将贝尔阵列排布的图像转化为真彩图像。可以利用多种转化方法将大贝尔阵列排布的彩色图像转化为贝尔阵列排布的图像，比如利用与上述第一插值算法和第二插值算法类似的第三插值算法计算贝尔阵列排布的图像的像素的像素值，其中，大贝尔阵列排布的彩色图像的像素称为大贝尔像素，贝尔阵列排布的图像的像素称为贝尔像素，第三插值算法的具体步骤可以为：
判断贝尔像素的颜色是否和对应的大贝尔像素的颜色相同；
在贝尔像素的颜色和对应的大贝尔像素的颜色相同时，将对应的大贝尔像素的像素值作为贝尔像素的像素值；和
在贝尔像素的颜色和对应的大贝尔像素的颜色不同时，根据与贝尔像素的颜色相同且与对应的大贝尔像素相邻的大贝尔像素计算大贝尔像素各个方向上的第三渐变量和第三权重，根据第三渐变量和第三权重计算贝尔像素的像素值。
请参阅图15，本发明实施方式的电子装置1000包括成像装置100、一个或多个处理器300、存储器500以及一个或多个程序。其中一个或多个程序被存储在存储器500中，并且被配置由一个或多个处理器300执行，程序用于执行本发明上述任一实施方式的控制方法的指令。
举其中一个例子来说，程序可以用于执行以下控制方法的指令：
S32：控制图像传感器20曝光；
S34：根据原始红外像素的输出得到红外图像；和/或
S36：根据原始红外像素的输出去除原始彩色像素的输出的红外光通道值以得到彩色图像。
请参阅图16，本发明实施方式的计算机可读存储介质8000，包括与电子装置1000结合使用的计算机程序，计算机程序可被处理器300执行以完成本发明上述任一实施方式的控制方法。
举其中一个例子来说，计算机程序可被处理器300执行以完成以下控制方法：
S32：控制图像传感器20曝光；
S34：根据原始红外像素的输出得到红外图像；和/或
S36：根据原始红外像素的输出去除原始彩色像素的输出的红外光通道值以得到彩色图像。
需要指出的是，计算机可读存储介质8000可以是内置在电子装置1000中的存储介质，也可以是能够插拔地插接在电子装置1000的存储介质。
在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理模块的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (20)

1.一种控制方法，用于控制电子装置，其特征在于，所述电子装置包括成像装置，所述成像装置包括镜头和图像传感器，所述镜头包括双带通滤光膜，所述双带通滤光膜用于通过可见光和红外光，所述图像传感器包括阵列排布的感光像素单元和设置在所述感光像素单元上且呈阵列排布的滤光片单元，每个所述滤光片单元包括彩色子单元和红外子单元，所述彩色子单元覆盖对应一个感光像素单元并用于通过单色可见光和红外光，所述红外子单元覆盖对应一个感光像素单元并用于通过红外光，每个所述感光像素单元包括多个感光像素，所述彩色子单元覆盖的所述感光像素为原始彩色像素，所述红外子单元覆盖的所述感光像素为原始红外像素；所述控制方法包括以下步骤：
控制所述图像传感器曝光；
根据所述原始红外像素的输出得到红外图像；和/或
去除所述原始彩色像素的输出的红外光通道值以得到彩色图像，其中，所述原始彩色像素的输出的红外光通道值根据所述原始红外像素的输出确定；
所述红外图像包括阵列排布的红外像素，所述红外像素包括第一当前像素，所述感光像素包括与所述第一当前像素对应的第一关联像素，所述根据所述原始红外像素的输出得到红外图像的步骤包括以下步骤：
判断所述第一当前像素对应的所述第一关联像素是否为所述原始红外像素；
在所述第一当前像素对应的所述第一关联像素为所述原始红外像素时，将所述第一关联像素的像素值作为所述第一当前像素的像素值；和
在所述第一当前像素对应的所述第一关联像素为所述原始彩色像素时，根据第一插值算法计算所述第一当前像素的像素值。
2.如权利要求1所述的控制方法，其特征在于，所述在所述第一当前像素对应的所述第一关联像素为所述原始彩色像素时，根据第一插值算法计算所述第一当前像素的像素值的步骤包括以下步骤：
根据所述第一关联像素相邻的所述原始红外像素计算所述第一关联像素各个方向上的第一渐变量和第一权重；和
根据所述第一渐变量和所述第一权重计算所述第一当前像素的像素值。
3.如权利要求1所述的控制方法，其特征在于，所述彩色图像包括阵列排布的彩色像素，所述彩色像素包括第二当前像素，所述感光像素包括与所述第二当前像素对应的第二关联像素，所述去除所述原始彩色像素的输出的红外光通道值以得到彩色图像的步骤包括以下步骤：
判断所述第二当前像素对应的所述第二关联像素是否为所述原始彩色像素；
在所述第二当前像素对应的所述第二关联像素为所述原始彩色像素时，利用所述原始彩色像素的像素值减去预定比例的对应的红外像素的像素值以得到所述第二当前像素的像素值；和
在所述第二当前像素对应的所述第二关联像素为所述原始红外像素时，根据第二插值算法计算所述第二当前像素的像素值。
4.如权利要求3所述的控制方法，其特征在于，所述在所述第二当前像素对应的所述第二关联像素为所述原始红外像素时，根据第二插值算法计算所述第二当前像素的像素值的步骤包括以下步骤：
根据与所述第二当前像素颜色相同且与所述第二当前像素相邻的所述彩色像素计算所述第二当前像素各个方向上的第二渐变量和第二权重；和
根据所述第二渐变量和所述第二权重计算所述第二当前像素的像素值。
5.如权利要求1所述的控制方法，其特征在于，所述控制所述图像传感器曝光的步骤包括以下步骤：
获取环境亮度；
判断所述环境亮度是否小于等于预设亮度；
在所述环境亮度小于等于所述预设亮度时，控制所述图像传感器输出合并图像，所述合并图像包括阵列排布的合并像素，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素；和
在所述环境亮度大于所述预设亮度时，控制所述图像传感器输出色块图像，所述色块图像包括阵列排布的色块像素单元，所述色块像素单元包括多个色块像素，每个色块像素对应一个所述感光像素。
6.如权利要求1所述的控制方法，其特征在于，所述彩色子单元包括红色子单元、绿色子单元和蓝色子单元。
7.如权利要求1所述的控制方法，其特征在于，所述彩色图像呈贝尔阵列排布。
8.如权利要求1所述的控制方法，其特征在于，所述感光像素单元包括2*2阵列的所述感光像素。
9.如权利要求1所述的控制方法，其特征在于，所述控制方法包括以下步骤：
将所述彩色图像转化成真彩图像。
10.一种电子装置，其特征在于，包括成像装置，所述成像装置包括镜头和图像传感器，所述镜头包括双带通滤光膜，所述双带通滤光膜用于通过可见光和红外光，所述图像传感器包括阵列排布的感光像素单元和设置在所述感光像素单元上且呈阵列排布的滤光片单元，每个所述滤光片单元包括彩色子单元和红外子单元，所述彩色子单元覆盖对应一个感光像素单元并用于通过单色可见光和红外光，所述红外子单元覆盖对应一个感光像素单元并用于通过红外光，每个所述感光像素单元包括多个感光像素，所述彩色子单元覆盖的所述感光像素为原始彩色像素，所述红外子单元覆盖的所述感光像素为原始红外像素；所述电子装置还包括处理器，所述处理器用于：
控制所述图像传感器曝光；
根据所述原始红外像素的输出得到红外图像；和/或
去除所述原始彩色像素的输出的红外光通道值以得到彩色图像，其中，所述原始彩色像素的输出的红外光通道值根据所述原始红外像素的输出确定；
所述红外图像包括阵列排布的红外像素，所述红外像素包括第一当前像素，所述感光像素包括与所述第一当前像素对应的第一关联像素，所述处理器用于：
判断所述第一当前像素对应的所述第一关联像素是否为所述原始红外像素；
在所述第一当前像素对应的所述第一关联像素为所述原始红外像素时，将所述第一关联像素的像素值作为所述第一当前像素的像素值；和
在所述第一当前像素对应的所述第一关联像素为所述原始彩色像素时，根据第一插值算法计算所述第一当前像素的像素值。
11.如权利要求10所述的电子装置，其特征在于，所述处理器用于：
根据所述第一关联像素相邻的所述原始红外像素计算所述第一关联像素各个方向上的第一渐变量和第一权重；和
根据所述第一渐变量和所述第一权重计算所述第一当前像素的像素值。
12.如权利要求10所述的电子装置，其特征在于，所述彩色图像包括阵列排布的彩色像素，所述彩色像素包括第二当前像素，所述感光像素包括与所述第二当前像素对应的第二关联像素，所述处理器用于：
判断所述第二当前像素对应的所述第二关联像素是否为所述原始彩色像素；
在所述第二当前像素对应的所述第二关联像素为所述原始彩色像素时，利用所述原始彩色像素的像素值减去预定比例的对应的红外像素的像素值以得到所述第二当前像素的像素值；和
在所述第二当前像素对应的所述第二关联像素为所述原始红外像素时，根据第二插值算法计算所述第二当前像素的像素值。
13.如权利要求12所述的电子装置，其特征在于，所述处理器用于：
根据与所述第二当前像素颜色相同且与所述第二当前像素相邻的所述彩色像素计算所述第二当前像素各个方向上的第二渐变量和第二权重；和
根据所述第二渐变量和所述第二权重计算所述第二当前像素的像素值。
14.如权利要求10所述的电子装置，其特征在于，所述处理器用于：
获取环境亮度；
判断所述环境亮度是否小于等于预设亮度；
在所述环境亮度小于等于所述预设亮度时，控制所述图像传感器输出合并图像，所述合并图像包括阵列排布的合并像素，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素；和
在所述环境亮度大于所述预设亮度时，控制所述图像传感器输出色块图像，所述色块图像包括阵列排布的色块像素单元，所述色块像素单元包括多个色块像素，每个色块像素对应一个所述感光像素。
15.如权利要求10所述的电子装置，其特征在于，所述彩色子单元包括红色子单元、绿色子单元和蓝色子单元。
16.如权利要求10所述的电子装置，其特征在于，所述彩色图像呈贝尔阵列排布。
17.如权利要求10所述的电子装置，其特征在于，所述感光像素单元包括2*2阵列的所述感光像素。
18.如权利要求10所述的电子装置，其特征在于，所述处理器用于：
将所述彩色图像转化成真彩图像。
19.一种电子装置，其特征在于，包括：
成像装置；
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置由所述一个或多个处理器执行，所述程序用于执行权利要求1-9任意一项所述的控制方法的指令。
20.一种计算机可读存储介质，其特征在于，包括与电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1-9任意一项所述的控制方法。
CN201710526558.7A 2017-06-30 2017-06-30 控制方法、电子装置和计算机可读存储介质 Active CN107370917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710526558.7A CN107370917B (zh) 2017-06-30 2017-06-30 控制方法、电子装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710526558.7A CN107370917B (zh) 2017-06-30 2017-06-30 控制方法、电子装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107370917A CN107370917A (zh) 2017-11-21
CN107370917B true CN107370917B (zh) 2020-01-10

Family

ID=60305965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710526558.7A Active CN107370917B (zh) 2017-06-30 2017-06-30 控制方法、电子装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107370917B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282644B (zh) * 2018-02-14 2020-01-10 北京飞识科技有限公司 一种单摄像头成像方法及装置
CN108419022A (zh) * 2018-03-06 2018-08-17 广东欧珀移动通信有限公司 控制方法、控制装置、计算机可读存储介质和计算机设备
CN110248050B (zh) * 2018-03-07 2021-03-02 维沃移动通信有限公司 一种摄像头模组及移动终端
CN109040720B (zh) * 2018-07-24 2019-11-19 浙江大华技术股份有限公司 一种生成rgb图像的方法及装置
CN112602316B (zh) * 2018-09-14 2022-06-24 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
CN114703048A (zh) * 2022-06-08 2022-07-05 珠海市尚维高科生物技术有限公司 小型化核酸扩增检测装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
US8134191B2 (en) * 2006-01-24 2012-03-13 Panasonic Corporation Solid-state imaging device, signal processing method, and camera
CN102687502B (zh) * 2009-08-25 2015-07-08 双光圈国际株式会社 减少彩色图像中的噪声
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
CN105430360B (zh) * 2015-12-18 2018-01-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN106357967B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN106507018B (zh) * 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106341670B (zh) * 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Also Published As

Publication number Publication date
CN107370917A (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN107370917B (zh) 控制方法、电子装置和计算机可读存储介质
US8203633B2 (en) Four-channel color filter array pattern
US8237831B2 (en) Four-channel color filter array interpolation
US8253832B2 (en) Interpolation for four-channel color filter array
US8125546B2 (en) Color filter array pattern having four-channels
EP2529554B1 (en) Iteratively denoising color filter array images
US8224082B2 (en) CFA image with synthetic panchromatic image
US20170295332A1 (en) Image sensor, output method, phase focusing method, imaging device, and terminal
JP5749741B2 (ja) ノイズ低減方法
US10356315B2 (en) Image processing method and apparatus, and electronic device
EP2420051A1 (en) Producing full-color image with reduced motion blur
BR112013007146B1 (pt) Método, sistema de processamento de sinal de imagem e dispositivo eletrônico para sincronização de flash com o uso de sinal de temporização de interface de sensor de imagem
US11108943B2 (en) Image sensor, focusing control method, and electronic device
WO2018098978A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
JP2018502492A (ja) 結像方法、結像装置及び電子装置
WO2018098982A1 (zh) 图像处理方法、图像处理装置、成像装置及电子装置
CN108419022A (zh) 控制方法、控制装置、计算机可读存储介质和计算机设备
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
CN104796600B (zh) 图像合成装置和图像合成方法
EP3328078A1 (en) Image processing method and apparatus, and electronic device
US9313375B1 (en) Software-implemented graduated neutral density filter for balancing exposure of a photograph
CN104010134B (zh) 用于形成具有宽动态范围的***和方法
CN115187487A (zh) 图像处理方法及装置、电子设备、存储介质
CN115205159A (zh) 图像处理方法及装置、电子设备、存储介质
US20240037710A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong Opel Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant