CN114424522A - 图像处理装置、电子设备、图像处理方法与程序 - Google Patents

图像处理装置、电子设备、图像处理方法与程序 Download PDF

Info

Publication number
CN114424522A
CN114424522A CN202080065424.XA CN202080065424A CN114424522A CN 114424522 A CN114424522 A CN 114424522A CN 202080065424 A CN202080065424 A CN 202080065424A CN 114424522 A CN114424522 A CN 114424522A
Authority
CN
China
Prior art keywords
image
correction
unit
processing apparatus
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080065424.XA
Other languages
English (en)
Other versions
CN114424522B (zh
Inventor
马场翔太郎
草刈高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114424522A publication Critical patent/CN114424522A/zh
Application granted granted Critical
Publication of CN114424522B publication Critical patent/CN114424522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

该图像处理装置包括：图像生成单元(212)，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像以及在脉冲波处于关闭的状态下捕获的第二IR图像；以及图像校正单元(213)，其基于第二IR图像校正第一IR图像。

Description

图像处理装置、电子设备、图像处理方法与程序
技术领域
本公开涉及图像处理装置、电子设备、图像处理方法和程序。
背景技术
被称为飞行时间(TOF)的测距***是已知的，在该测距***中，基于从通过光源发射光直到由光接收单元接收到反射光(即由待测量对象反射的光)时的时间来测量到待测量对象的距离。
还有一种情况，其中自动曝光(AE)功能安装在TOF传感器上，以便接收具有适当亮度的光。通过利用AE功能，根据拍摄场景的亮度等自动调整曝光(亮度)，并且无论拍摄场景如何，都可以获得良好的测距精确度。
引用列表
专利文献
专利文献1:JP 2018-117117 A
发明内容
技术问题
顺便提一下，在使用TOF传感器的面部认证中，通常使用在四个相位中计算图像精确度的置信度图像。然而，由于四个相位的图像被合并并输出红外(IR)图像，因此存在应对运动的弱点。例如，在各相位之间存在被摄体运动的情况下，很可能会生成模糊。
因此，可以设想生成具有少量相位(例如一个相位或两个相位)的IR图像。然而，例如，当使用预先准备的暗图像执行固定模式噪声(FPN)校正时，关于在诸如背景光强烈的情况的特定场景下捕获的图像，存在由于捕获的图像和暗图像之间的不匹配而无法获得期望的图像质量的可能性。
因此，本公开提出了能够适当地去除背景光的影响的图像处理装置、电子设备、图像处理方法和程序。
问题的解决方案
根据本公开实施例的图像处理装置包括：图像生成单元，其在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像和在脉冲波处于关闭的状态下捕获的第二IR图像；以及图像校正单元，其基于第二IR图像校正第一IR图像。
附图说明
图1是示出使用可应用于本公开实施例的测距装置的电子设备的配置的示例的示图。
图2是用于描述帧构成的示图。
图3是描述间接TOF方法原理的示图。
图4是示出应用了根据本公开的技术的间接TOF距离图像传感器的***配置的示例的框图。
图5是示出应用了根据本公开的技术的间接TOF距离图像传感器中的像素的电路配置的示例的电路图。
图6是示出根据本公开的第一实施例的图像处理装置的配置的示例的框图。
图7A是用于描述根据本公开的实施例的图像处理方法的示图。
图7B是用于描述根据本公开的实施例的图像处理方法的示图。
图8A是用于描述根据本公开的实施例的FPN校正的效果的示图。
图8B是用于描述根据本公开的实施例的FPN校正的效果的示图。
图8C是用于描述根据本公开的实施例的FPN校正的效果的示图。
图9A是用于描述根据本公开的实施例的帧构成的示图。
图9B是用于描述根据本公开的实施例的帧构成的示图。
图10是示出根据本公开的第二实施例的图像处理装置的配置的示例的框图。
图11是用于描述根据本公开的第二实施例的校正选择方法的示图。
图12是用于描述根据本公开的第二实施例的校正选择方法的示图。
图13A是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图13B是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图14A是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图14B是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图15A是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图15B是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图16A是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图16B是用于描述根据本公开的第二实施例的通过校正选择方法选择的校正的效果的示图。
图17是示出根据本公开的第二实施例的校正选择方法的处理流程的示例的流程图。
图18A是用于描述根据本公开的第二实施例的变形例的校正选择方法的示图。
图18B是用于描述根据本公开的第二实施例的变形例的校正选择方法的示图。
具体实施方式
在下文中，将基于附图详细描述本公开的实施例。注意，在以下实施例中，通过将相同的参考符号分配给相同的部分来省略重叠的描述。
本公开将按以下项目顺序描述。
1.电子设备的配置
1-1.帧构成
1-2.间接TOF法
1-3.间接TOF距离图像传感器的***配置
1-4.间接TOF距离图像传感器中像素的电路配置
2.第一实施例
2-1.图像处理装置的配置
2-2.图像处理方法
2-3.帧构成
3.第二实施例
3-1.图像处理装置
3-2.校正选择方法
3-3.校正选择方法的处理
4.第二实施例的变形例
[1.电子设备的配置]
本发明可以适用于校正通过使用TOF传感器拍摄对象而获得的IR图像的技术。因此，首先，将描述间接TOF方法，以便易于理解本公开。间接TOF方法是将通过例如脉宽调制(PWM)调制的源光(例如红外区域的激光)发射到对象，用光接收元件接收其反射光，并基于接收的反射光中的相位差执行关于待测对象的测距的技术。
将参考图1描述根据本公开的实施例的电子设备的配置的示例。图1是用于描述根据本公开的实施例的电子设备的配置示例的示图。
如图1所示，电子设备1包括成像装置10和图像处理装置20。例如，当通过中央处理单元(CPU)、微处理单元(MPU)等利用随机存取存储器(RAM)等作为工作区域执行存储在存储单元(未示出)中的程序(例如根据本发明的程序)时，实现图像处理装置20。此外，图像处理装置20是控制器，并且可以由例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的集成电路来实现。图像处理装置20请求成像装置10执行成像(测距)，并从成像装置10接收成像结果。
成像装置10包括光源单元11、光接收单元12和成像处理单元13。
光源单元11包括：例如，发射具有红外区域波长的光的发光元件和驱动发光元件发光的驱动电路。该发光元件可以通过例如发光二极管(LED)来实现。注意，发光元件不限于LED，并且可以通过例如将多个发光元件形成为阵列的垂直腔面发射激光器(VCSEL)来实现。
光接收单元12包括：例如，能够检测具有红外区域波长的光的光接收元件；以及输出与由光接收元件检测到的光对应的像素信号的信号处理电路。光接收元件例如可以通过光电二极管来实现。注意，光接收元件不限于光电二极管，并且可以由其他元件实现。
成像处理单元13执行各种成像处理，例如，响应于来自图像处理装置20的成像指令。例如，成像处理单元13生成光源控制信号以驱动光源单元11，并对光源单元11执行其输出。
成像处理单元13控制光接收单元12的光接收与提供给光源单元11的光源控制信号同步。例如，成像处理单元13生成曝光控制信号以控制光接收单元12的曝光时间与光源控制信号同步，并将其输出到光接收单元12。光接收单元12执行用于由曝光控制信号指示的曝光周期的曝光，并向成像处理单元13输出像素信号。
成像处理单元13基于从光接收单元12输出的像素信号计算距离信息。成像处理单元13可以基于该像素信号生成预定图像信息。成像处理单元13将生成的距离信息和图像信息输出到图像处理装置20。
例如，成像处理单元13根据执行来自图像处理装置20的成像的指令生成光源控制信号以驱动光源单元11，并将光源控制信号提供给光源单元11。这里，成像处理单元13生成由PWM调制成具有预定占空比的方波的光源控制信号，并将光源控制信号提供给光源单元11。同时，成像处理单元13基于与光源控制信号同步的曝光控制信号来控制光接收单元12的光接收。
在成像装置10中，光源单元11响应于由成像处理单元13生成的光源控制信号，根据预定占空比闪烁并发光。从光源单元11发射的光作为发射光30从光源单元11发射。例如，发射光30被对象31反射并作为反射光32被光接收单元12接收。光接收单元12生成对应于反射光32的接收的像素信号，并将其输出到成像处理单元13。注意，实际上，除了反射光32之外，光接收单元12还接收周边的背景光(环境光)，并且像素信号包括该背景光和由光接收单元12引起与反射光32的分量一起的暗分量。
此外，在本实施例中，成像装置10在光源单元11处于关闭并且不发光的状态下对对象31进行成像。然后，光接收单元12接收对象31周围的背景光。在这种情况下，由光接收单元12生成的像素信号仅包括背景光和由光接收单元12引起的暗分量。
成像处理单元13针对不同的相位多次执行光接收单元12的光接收。成像处理单元13基于由于在不同相位的光接收而引起的像素信号之间的差，计算到对象31的距离D。成像处理单元13基于像素信号之间的差，计算通过提取反射光32的分量而获得的图像信息，以及包括反射光32的分量和环境光的分量的图像信息。在下文中，通过基于像素信号之间的差提取反射光32的分量而获得的图像信息被称为直接反射光信息，并且包括反射光32的分量和环境光的分量的图像信息被称为RAW(原始)图像信息。
(1-1.帧构成)
将参考图2描述通过成像装置10成像的帧的构成。图2是用于描述通过成像装置10成像的帧的示图。
如图2所示，该帧包括多个微帧，诸如第一微帧、第二微帧、…、第m(m为等于或大于3的整数)微帧。一个微帧的周期是比一个成像帧的周期(如1/30秒)短的周期。因此，可以在一个帧周期内执行多个微帧的处理。另外，每个微帧的周期可以单独设置。
一个微帧包括多个相位，例如第一相位、第二相位、第三相位、第四相位、第五相位、第六相位、第七相位和第八相位。一个微帧最多可以包括八个相位。因此，可以在一个微帧周期内执行多个相位的处理。注意，为了防止干扰下一个微帧的处理，在每个微帧的结束处提供死区时间周期。
在本实施例中，可以在一个相位中对对象成像。如图2所示，初始化处理、曝光处理和读取处理可以在一个相位中执行。换句话说，可以在一个相位中生成原始图像信息。因此，在本实施例中，可以在一个微帧中生成多条原始图像信息。例如，可以在一个微帧中生成通过在光源单元11处于开启的状态下对对象31进行成像而获得的原始图像信息和通过在光源单元11处于关闭的状态下对对象31进行成像而获得的原始图像信息。注意，在每个相位的结束处设置用于调整帧速率的死区时间周期。
(1-2.间接TOF方法)
将参考图3描述间接TOF方法的原理。图3是用于描述间接TOF方法原理的示图。
在图3中，使用由正弦波调制的光作为从光源单元11发射的发射光30。理想地，反射光32相对于发射光30变成具有与距离D对应的相位差的正弦波。
成像处理单元13在不同相位处对接收到的反射光32的像素信号执行多次采样，并且获取指示每次采样的光量的光量值。在图3的示例中，光量值C0、C90、C180和C270分别以相对于发射光30的相位0°、90°、180°和270°的相位获取。在间接TOF法中，距离信息是基于在0°、90°、180°和270°相位之中具有相位差为180°的一对光量值的差来计算的。
(1-3.间接TOF距离图像传感器的***配置)
将参考图4描述根据本公开的间接TOF图像传感器的***配置的示例。图4是示出根据本公开的间接TOF距离图像传感器的***配置的示例的框图。
如图4所示，间接TOF距离图像传感器10000具有层叠结构，包括传感器芯片10001和层叠在传感器芯片10001上的电路芯片10002。在该层叠结构中，传感器芯片10001和电路芯片10002通过诸如通孔或Cu-Cu连接的连接部分(未示出)电连接。注意，传感器芯片10001的布线和电路芯片10002的布线经由上述连接部分电连接的状态在图4中示出。
在传感器芯片10001上形成像素阵列部10020。像素阵列部10020包括在传感器芯片10001上以二维网格图案排列成矩阵(阵列)的多个像素10230。在像素阵列部10020中，多个像素10230中的每一个接收红外光，执行光电转换，并输出模拟像素信号。在像素阵列部10020中，两条垂直信号线VSL1和VSL2针对每个像素列布线。当假设像素阵列部10020中的像素列的数目为M(M是整数)时，在像素阵列部10020上总共布线2×M个垂直信号线VSL。
多个像素10230中的每一个具有两个抽头A和B(其细节将在后面描述)。在两个垂直信号线VSL1和VSL2中，基于对应像素列中的像素10230的抽头A的电荷的像素信号AINP1被输出到垂直信号线VSL1，并且基于对应像素列中的像素10230的抽头B的电荷的像素信号AINP2被输出到垂直信号线VSL2。后面将描述像素信号AINP1和AINP2。
在电路芯片10002上布置垂直驱动电路10010、列信号处理单元10040、输出电路单元10060和定时控制单元10050。垂直驱动电路10010以像素行为单位驱动像素阵列部10020的每个像素10230，并使像素信号AINP1和AINP2被输出。在垂直驱动电路10010的驱动下，从所选行中的像素10230输出的像素信号AINP1和AINP2通过垂直信号线VSL1和VSL2提供给列信号处理单元10040。
列信号处理单元10040具有如下配置，包括：例如以对应于像素阵列部10020的像素列的方式，分别为像素列提供的多个ADC(对应于上述列AD电路)。每个ADC对通过垂直信号线VSL1和VSL2提供的像素信号AINP1和AINP2执行AD转换处理，并将其输出到输出电路单元10060。输出电路单元10060对从列信号处理单元10040输出的数字化像素信号AINP1和AINP2执行CDS处理等，并将其输出到电路芯片10002的外部。
定时控制单元10050生成各种定时信号、时钟信号、控制信号等。基于这些信号执行垂直驱动电路10010、列信号处理单元10040、输出电路单元10060等的驱动控制。
(1-4.间接TOF距离图像传感器中像素的电路配置)
图5是示出应用了根据本公开的技术的间接TOF距离图像传感器中的像素的电路配置的示例的电路图。
根据本示例的像素10230包括例如作为光电转换单元的光电二极管10231。除了光电二极管10231之外，像素10230包括溢出晶体管10242、两个传输晶体管10232和10237、两个复位晶体管10233和10238、两个浮动扩散层10234和10239、两个放大器晶体管10235和10240，以及两个选择晶体管10236和10241。两个浮动扩散层10234和10239对应于图4中示出的抽头A和B。
光电二极管10231对接收的光进行光电转换并生成电荷。光电二极管10231可以具有背照像素结构。背照结构如CMOS图像传感器的像素结构所述。然而，背照结构不受限制，并且可以采用捕获从基板的前表面侧发射的光的前照结构。
溢出晶体管10242连接在光电二极管10231的阴极电极和电源电压VDD的电源线之间，并且具有复位光电二极管10231的功能。具体地说，溢出晶体管10242通过响应于从垂直驱动电路10010提供的溢出栅极信号OFG而进入开启状态，以将光电二极管10231的电荷顺序地放电到电源线。
两个传输晶体管10232和10237分别连接在光电二极管10231的阴极电极和两个浮动扩散层10234和10239之间。然后，传输晶体管10232和10237通过响应于从垂直驱动电路10010提供的传输信号TRG而进入开启状态，依次将光电二极管10231中生成的电荷分别传输到浮动扩散层10234和10239。
对应于抽头A和B的浮动扩散层10234和10239累积从光电二极管10231传输的电荷，将电荷转换为具有与电荷量相对应的电压值的电压信号，并生成像素信号AINP1和AINP2。
两个复位晶体管10233和10238分别连接在电源电压VDD的电源线和两个浮动扩散层10234和10239之间。然后，通过响应于从垂直驱动电路10010提供的复位信号RST而进入开启状态，复位晶体管10233和10238分别从浮动扩散层10234和10239提取电荷，并初始化电荷量。
两个放大晶体管10235和10240分别连接在电源电压VDD的电源线和两个选择晶体管10236和10241之间，并分别放大在浮动扩散层10234和10239中分别对其执行电荷-电压转换的电压信号。
两个选择晶体管10236和10241分别连接在两个放大器晶体管10235和10240与垂直信号线VSL1和VSL2之间。然后，通过响应于从垂直驱动电路10010提供的选择信号SEL而进入开启状态，选择晶体管10236和10241分别将在放大器晶体管10235和10240中分别放大的电压信号作为像素信号AINP1和AINP2输出到两条垂直信号线VSL1和VSL2。
对于每个像素列，两条垂直信号线VSL1和VSL2连接到列信号处理单元10040中的一个ADC的输入端，并将从每个像素列中的像素10230输出的像素信号AINP1和AINP2发送到ADC。
注意，像素10230的电路配置不限于图4示出的电路配置。只要在电路配置中可以通过光电转换生成像素信号AINP1和AINP2即可。
[2.第一实施例]
(2-1.图像处理装置)
将参考图6描述根据本公开的第一实施例的图像处理装置20的配置。图6是示出根据本公开的第一实施例的图像处理装置20的配置的示例的框图。
如图6所示，图像处理装置20包括IR图像处理装置210、深度图像处理装置220和存储单元230。
IR图像处理装置210执行校正IR图像等的处理。深度图像处理装置220执行计算深度等的处理。IR图像处理装置210和深度图像处理装置220并行地执行处理。
存储单元230存储各种信息。存储单元230存储例如用于校正IR图像的暗图像。例如，存储单元230通过诸如随机存取存储器(RAM)或闪存的半导体存储元件或诸如硬盘或光盘的存储装置实现。
IR图像处理装置210包括获取单元211、IR图像生成单元212、图像校正单元213、标准化单元214、参考单元215、第一曝光时间计算单元216和第二曝光时间计算单元217。
获取单元211从成像装置10获取各种信息。获取单元211获取例如关于通过成像装置10成像的对象的原始图像信息。例如，获取单元211选择性地获取包括在微帧中的每一个相位的原始图像信息。例如，为了校正IR图像，获取单元211获取关于在光源单元11处于开启的状态下成像的对象的原始图像信息，以及关于在光源单元11处于关闭的状态下成像的对象部分的原始图像信息。获取单元211将获取的原始图像信息输出到IR图像生成单元212。
IR图像生成单元212基于从获取单元211接收的原始图像信息生成IR图像。例如，IR图像生成单元212可以生成将其转换为适合于面部认证的IR图像分辨率。IR图像生成单元212将生成的IR图像输出到图像校正单元213。
图像校正单元213对从IR图像生成单元212接收的IR图像执行各种校正处理。图像校正单元213以IR图像变得适合于对包括在此的人的面部认证的方式执行校正处理。例如，基于存储在存储单元230中的暗图像，图像校正单元213对从IR图像生成单元212接收的IR图像执行FPN校正。例如，基于关于在光源单元11处于关闭的状态下成像的对象的IR图像(以下，也称为光源关闭图像)，图像校正单元213对关于在光源单元11处于开启的状态下成像的对象的IR图像执行FPN校正。
(2-2.图像处理方法)
将参考图7A和图7B描述基于在光源处于开启的状态和在光源处于关闭的状态下捕获的多个原始图像信息执行FPN校正的方法的原理。图7A是示出在光源处于开启的状态对对象成像的情况下，由光接收单元接收的光量、从抽头A输出的像素信号的输出值和从抽头B输出的像素信号的输出值的示图。图7B是示出在光源处于关闭的状态对对象成像的情况下，由光接收单元接收的光量、从抽头A输出的像素信号的输出值和从抽头B输出的像素信号的输出值的示图。
图7A的(a)是示出由光接收单元12接收的光量的示图，图7A的(b)是示出来自抽头A的像素信号的输出值的示图，以及图7A的(c)是示出来自抽头B的像素信号的输出值的示图。
图7A的(a)至图7A的(c)示出的示例表示在t1的时间点开始成像，在t2的时间点开始通过光接收单元12的光接收和来自抽头A的输出，并且在t3的时间点结束来自抽头A的输出和开始来自抽头B的输出。此外，这表示通过光接收单元12的光接收在时间点t4结束，并且来自抽头B的输出在时间点t5结束。在图7A的(a)至图7A的(c)，反射光的分量用阴影表示。
在图7A的(a)至图7A的(c)示出的示例中，从抽头A输出的像素信号A和从抽头B输出的像素信号B的值可以如下表示。
A＝GA(S+Amb)+DA (1)
B＝GB(P-S+Amb)+DB (2)
在表达式(1)和表达式(2)中，GA表示抽头A的增益值，GB表示抽头B的增益值，P表示反射光，S表示由抽头A接收的反射光的光量，Amb表示背景光，DA表示抽头A的暗分量，DB表示抽头B的暗分量。
即，来自抽头A的输出值包括背景光和抽头A的暗分量以及来自对象的反射光。类似地，来自抽头B的输出值包括背景光和抽头B的暗分量以及来自对象的反射光。成像装置10将像素信号A和像素信号B的和作为原始图像信息输出到图像处理装置20。因此，从成像装置10输出到图像处理装置20的原始图像信息包括背景光、抽头A的暗分量和抽头B的暗分量的影响。因此，为了准确地执行诸如面部认证的识别处理，希望去除背景光、抽头A的暗分量和抽头B的暗分量的影响。
图7B的(a)是示出由光接收单元12接收的光量的示图，图7B的(b)是示出来自抽头A的像素信号的输出值的示图，而图7B的(c)是示出来自抽头B的像素信号的输出值的示图。
如图7B的(a)所示，由于光源单元11处于关闭状态，所以光接收单元12仅接收背景光。当成像装置10在这种情况下对物体成像时，抽头A输出仅包括背景光和暗分量的像素信号AOff。类似地，抽头B输出仅包括背景光和暗分量的像素信号BOff。此时的像素信号AOff和像素信号BOff的值可以表示如下。
AOff＝GA(AmbOff)+DAOff (3)
BOff＝GB(AmbOff)+DBOff (4)
在表达式(3)和表达式(4)中，AmbOff是当光源单元11处于关闭状态时的背景光，DAOff是当光源单元11处于关闭状态时抽头A的暗分量，DBOff是当光源单元11处于关闭状态时抽头B的暗分量。由于无论光源单元11的状态处于开启状态还是关闭状态，背景光和暗分量都不改变，所以以下关系成立。
AmbOff＝Amb (5)
DAOff＝DA (6)
DBOff＝DB (7)
将表达式(5)到表达式(7)代入表达式(3)，并从表达式(1)减去表达式(3)给出以下关系式。
A-AOff＝SGA (8)
将表达式(5)到表达式(7)代入表达式(4)，并从表达式(2)减去表达式(4)给出以下关系式。
B-BOff＝SGB (9)
然后，通过计算表达式(8)和表达式(9)获得以下关系式。
(A-AOff)+(B-BOff)＝S(GA+GB) (10)
如上所述，图像校正单元213可以基于在光源处于开启的状态和光源处于关闭的状态捕获的多条原始图像信息来去除背景光和暗分量的影响。
将参考图8A、图8B和图8C描述根据本公开的实施例的FPN校正的效果。图8A至图8C是用于描述根据本公开实施例的FPN校正的效果的示图。
图8A是示出基于来自抽头A的像素信号和来自抽头B的像素信号生成的图像校正之前的IR图像IM1的示图。IR图像IM1包括人M1和太阳S。在IR图像IM1中，人M1的整个面部由于阳光的影响而模糊。因此，即使在基于IR图像IM1执行对人M1的面部认证处理时，不能获得期望的识别精确度。注意，IR图像IM1是在光源单元11处于开启的状态下拍摄的IR图像。
图8B是示出通过将传统的FPM校正应用于图8A示出的IR图像IM1而获得的IR图像IM1A的示图。例如，图像校正单元213可以提供基于预先存储在存储单元230中的暗图像对IR图像IM1执行FPN校正来获取IR图像IM1A。然而，同样在IR图像IM1A中，由于太阳S的影响，难以识别人M1的面部。如上所述，例如，在阳光等强光的环境中，存在与暗图像发生失配的情况，并且即使在执行FPN校正时也不能获得期望的IR图像。
图8C是示出了通过将根据本公开的实施例的FPN校正应用于图8A示出的IR图像IM1而获得的IR图像IM1B的示图。即，图像校正单元213基于对应于IR图像IM1的光源关闭图像，对在光源单元11开启的状态下捕获的IR图像IM1执行FPN校正。IR图像IM1和对应于IR图像IM1的光源关闭图像分别在相同微帧中的连续相位被捕获。因为不包括反射光的影响，所以对应于IR图像IM1的光源关闭图像是仅包括太阳S的IR图像。因此，可以通过使用对应于IR图像IM1的光源关闭图像从IR图像IM1去除太阳S的影响。因此，在IR图像IM1B中可以清晰地识别人M1的面部。因此，提高了人M1的面部认证中的识别率。
将再次参照图6。图像校正单元213将校正过的IR图像输出到标准化单元214和第一曝光时间计算单元216。具体地，图像校正单元213将基于暗图像的校正结果或基于对应于IR图像IM1的光源关闭图像的校正结果中的至少一个输出到标准化单元214和第一曝光时间计算单元216。
标准化单元214对从图像校正单元213接收的IR图像进行标准化。标准化单元214将标准化IR图像输出到外部。结果，适用于面部识别处理的IR图像被提供给用户。
参考单元215接收例如由深度计算单元222计算的深度。例如，参考单元215接收深度的精确度。参考单元215基于深度和深度的精确度生成掩膜图像。这里，例如掩膜图像是通过覆盖除了包括在深度图像中的对象之外的被摄体获取的掩膜图像。参考单元215将所生成的掩膜图像输出到第一曝光时间计算单元216和第二曝光时间计算单元217。
基于从图像校正单元213接收的校正IR图像和从参考单元215接收的掩膜图像，第一曝光时间计算单元216计算成像中的曝光时间以生成IR图像。因此，用于生成IR图像的最佳曝光时间被计算。
基于从参考单元215接收的掩膜图像和从深度计算单元222接收的深度的精确度，第二曝光时间计算单元217计算成像时的曝光时间以计算深度。
深度图像处理装置220包括获取单元221和深度计算单元222。
获取单元221从成像装置10获取各种信息。例如，获取单元221获取关于通过成像装置10成像的对象的原始图像信息。例如，获取单元221选择性地获取包括在微帧中的每一个相位的原始图像信息。例如，获取单元221获取四个相位的原始图像信息以便生成深度图像，该信息在0°、90°、180°以及270°的相位处被捕获。获取单元221将获取的原始图像信息输出至深度计算单元222。
例如，深度计算单元222基于从获取单元221接收的信息的四个相位的原始图像信息计算深度。深度计算单元222例如基于所计算的深度计算精确度。例如，深度计算单元222可基于计算的深度生成深度图像。深度计算单元222将计算的深度输出到外部。因此，可以获取到对象的距离信息。此外，深度计算单元222将计算的深度和精确度输出到参考单元215。
(2-3.帧构成)
将参考图9A和图9B描述根据本公开的实施例的用于成像的帧的构成。图9A和图9B是用于描述根据本公开的实施例的用于成像的帧构成的示图。
如图9A所示，根据本公开的实施例的帧F1包括IR图像微帧和深度图像微帧。
IR图像微帧包括例如相位A0和相位A1的两个相位。相位A0是例如在光源单元11处于关闭的状态下对对象成像的相位。相位A1是例如在光源单元11处于开启的状态下对对象成像的相位。
深度图像微帧包括例如四个相位：相位B0、相位B1、相位B2和相位B3。例如，相位B0是当到对象的发射光与来自对象的反射光之间的相位差为0°时使对象成像的相位。例如，相位B1是当到对象的发射光与来自对象的反射光之间的相位差为90°时使对象成像的相位。例如，相位B2是当到对象的发射光与来自对象的反射光之间的相位差为180°时使对象成像的相位。例如，相位B3是当到对象的发射光与来自对象的反射光之间的相位差为270°时使对象成像的相位。
在帧F1中，IR图像微帧和深度图像微帧中的曝光时间可以单独地调整(自动曝光(AE))。例如，曝光时间可以在IR图像微帧中被调整为长，以便确保亮度，并且曝光时间可以在深度图像微帧中被调整为短，以便控制功耗。在这种情况下，例如，可以将IR图像微帧的相位A0和相位A1中的每一个中的曝光时间调整为1ms。此外，例如，可以将深度图像微帧的相位B0、相位B1、相位B2和相位B3中的每一个的曝光时间调整为500μs。注意，每个相位中的曝光时间不限于这些。
如图9B所示，除了IR图像微帧和深度图像微帧之外，根据本公开的实施例的帧F2还可以包括眼睛注视检测微帧。在下文中，由于IR图像微帧和深度图像微帧的情况类似于图9A所示的情况，所以省略其描述。
该眼睛注视检测微帧包括例如两个相位：相位C0和相位C1。相位C0是例如在光源单元11处于关闭的状态下使对象成像的相位。相位C1是例如在光源单元11处于开启的状态下使对象成像的相位。
在帧F2中，IR图像微帧、深度图像微帧、和眼睛注视检测微帧中的曝光时间可以单独地调整。例如，在待拍摄的人佩戴眼镜的情况下，存在眼镜反射光的情况并且当执行用于面部认证所需的眼睛注视检测时不能检测到眼睛注视的情况。由此，在眼睛注视检测微帧中，曝光时间可以被调整成比IR图像微帧和深度图像微帧的曝光时间短，使得光不被眼镜反射。例如，可以将眼睛注视检测微帧的相位C0和相位C1中的每一个中的曝光时间调整为例如200μs。注意，相位C0和相位C1的每一个中的曝光时间不限于此。
如上所述，在第一实施例中，基于在光源处于关闭的状态下捕获的IR图像来校正在具有强背景光(诸如太阳)的环境中捕获的IR图像，由此能够消除太阳的影响。因此，使用由TOF捕获的IR图像的面部认证的识别精确度等可提高。
[3.第二实施例]
将描述根据本公开的第二实施例的校正方法选择处理。
如上所述，当通过利用包括诸如阳光的强光的IR图像来执行面部认证时，可以通过使用光源关闭图像而不是暗图像来消除阳光的影响。由此，可以提高识别率。然而，例如，当在诸如内部存在少量环境光的情况中通过利用光源关闭图像来校正IR图像时，存在图像的对比度变小并且识别率降低的可能性。因此，优选地，根据背景光的强度，在使用暗图像的校正与使用光源关闭图像的校正之间进行切换。
(3-1.图像处理装置)
将参考图10描述根据本公开的第二实施例的图像处理装置的配置。图10是示出根据本公开的第二实施例的图像处理装置的配置的框图。
如图10所示，图像处理装置20A与图6所示的图像处理装置20的不同之处在于，IR图像处理装置210A包括校正选择单元218。
校正选择单元218选择关于IR图像的校正方法。例如，校正选择单元218从参考单元215接收与深度相关的信息。例如，校正选择单元218从图像校正单元213接收基于光源关闭图像校正的IR图像。校正选择单元218基于从图像校正单元213接收的IR图像以及从参考单元215接收的与深度相关的信息来选择校正方法。
(3-2.校正选择方法)
将参照图11描述校正选择方法。图11是用于描述校正选择方法的示图。在图11中，假设了太阳S位于人M的头部上方的情况。
例如，校正选择单元218基于从参考单元215接收的关于深度的信息来提取人M的头部H和身体部分B的轮廓。例如，校正选择单元218基于所提取的轮廓计算人M的重心GM。
例如，基于从图像校正单元213接收的IR图像，校正选择单元218将光量饱和的区域假设为太阳S并且提取其轮廓。例如，校正选择部218基于所提取的轮廓来计算太阳S的重心GS。
校正选择单元218绘制连接重心GM和重心GS的直线L1。校正选择单元218绘制穿过重心GS且与直线L正交的正交线O。例如，校正选择单元218在以重心GS为原点从直线L1的±90度的范围内从直线L1向人M以角度θ绘制诸如直线L2和直线L3等N条直线(N是2以上的整数)。
校正选择单元218提取朝向人M绘制的直线与人M的轮廓之间的接触点。例如，校正选择单元218提取直线L1与人M的轮廓之间的接触点I1、直线L2与人M的轮廓之间的接触点12以及直线L3与人M的轮廓之间的接触点I3。
校正选择单元218计算从重心GS到人的轮廓的距离。例如，校正选择部218计算从重心GS到接触点I1的距离。例如，校正选择单元218计算从重心GS到接触点I2的距离。例如，校正选择单元218计算从重心GS到接触点I3的距离。校正选择单元218将计算出的距离中的最短的距离设置为最短距离。在图11示出的示例中，校正选择单元218将从重心GS到接触点I1的距离设置为最短距离。
例如，当最短距离等于或短于预先设定的预定值时，校正选择单元218确定太阳接近，并选择使用光源关闭图像的校正。例如，在最短距离超过预先设置的预定值或者确定不存在太阳的情况下，校正选择单元218选择使用预先存储在存储单元230中的暗图像的校正。
要注意的是，如图12所示，即使在太阳S位于人M的倾斜位置的情况下，校正选择单元218可以通过类似于图11中所示的方法来选择校正。具体地，校正选择单元218可绘制连接重心GS与重心GM的直线L11，并且绘制多条直线，诸如，在±90度的范围内从直线以角度0倾斜的直线L12和直线L13。在这种情况下，校正选择单元218可提取直线L11与人M的轮廓之间的接触点I11、直线L12与人M的轮廓之间的接触点I12、以及直线L13与人M的轮廓之间的接触点I13，并且计算其中的每一个的距离。然后，校正选择单元218可将所计算的距离中的最短距离设置为最短距离。
将参照图13A、图13B、图14A、图14B、图15A、图15B、图16A和图16B描述通过根据本公开的第二实施例的校正选择方法选择的校正的效果。图13A至图16B是用于描述通过根据本公开的第二实施例的校正选择方法选择的校正的效果的示图。
图13A中所示的IR图像IM2是校正之前的IR图像，在该图像中，太阳S位于人M2的头部正上方的相对近的位置处。在IR图像IM2中，由于太阳S的阳光的影响，难以识别人M2的面部。在校正这种IR图像IM2的情况下，校正选择单元218选择使用光源关闭图像的校正。
图13B中示出的IR图像IM2A是通过基于光源关闭图像对IR图像IM2执行校正获取的IR图像。在IR图像IM2A中，通过基于光源关闭图像的校正去除太阳光的影响。因此，在IR图像IM2A中可以清晰地识别人M2的面部。因此，提高了人M2的面部认证中的识别率。
图14A中所示的IR图像IM3是校正之前的IR图像，在该图像中，太阳S在人M3的头部斜上方的相对近的位置处。在IR图像IM3中，由于太阳S的阳光的影响，难以识别人M3的面部。在校正这种IR图像IM3的情况下，校正选择单元218选择使用光源关闭图像的校正。
在图14B中示出的IR图像IM3A是通过基于光源关闭图像对IR图像IM3执行校正获取的IR图像。在IR图像IM3A中，通过基于光源关闭图像的校正去除太阳光的影响。因此，在IR图像IM3A中可以清晰地识别人M3的面部。结果，提高了人M3的面部认证中的识别率。
图15A中示出的IR图像IM4是校正之前的IR图像，在该图像中，太阳S位于人M4的头部斜上方的相对较远位置处。在IR图像IM4中，因为太阳S位于相对远的位置，相对容易识别人M4的面部。在校正这种IR图像IM4的情况下，校正选择单元218选择使用暗图像的校正。
在图15B中示出的IR图像IM4A是通过基于暗图像对IR图像IM4执行校正获取的IR图像。在IR图像IM4A中，通过基于暗图像的校正去除背景的影响，因此可以更清楚地识别人M4的面部。因此，提高了人M4的面部认证中的识别率。
图16A所示的IR图像IM5是校正之前的IR图像，在该图像中，不包括太阳。在IR图像IM4中，因为不包括太阳，所以相对容易识别人M5的面部。在校正这种IR图像IM5的情况下，校正选择单元218选择使用暗图像的校正。
在图16B中示出的IR图像IM5A是通过基于暗图像对IR图像IM5执行校正获取的IR图像。在IR图像IM5A中，由于通过基于暗图像的校正去除了背景的影响，因此可以更清楚地识别人M4的面部。因此，提高了人M5的面部认证中的识别率。
(3-3.校正选择方法的处理)
将参考图17描述根据本公开第二实施例的校正选择方法的处理流程。图17是示出根据本公开第二实施例的校正选择方法的处理的流程的示例的流程图。
首先，基于关于深度的信息，校正选择单元218提取包括在待校正的IR图像中的人的轮廓(步骤S101)。然后，处理进行至步骤S102。
校正选择单元218基于在步骤S101中提取了轮廓的人的轮廓来计算人的重心(步骤S102)。然后，处理进行至步骤S103。
校正选择单元218基于在待校正的IR图像中具有饱和光量的区域来提取太阳的轮廓(步骤S103)。然后，处理进行至步骤S104。
校正选择单元218基于在步骤S103中提取了轮廓的太阳的轮廓来计算太阳的重心(步骤S104)。然后，处理进行至步骤S105。
校正选择单元218绘制连接人的重心和太阳的重心的直线(步骤S105)，人的重心在步骤S102中计算，并且太阳的重心在步骤S104中计算。然后，处理进行至步骤S106。
校正选择单元218从太阳的重心向人绘制多条直线(步骤S106)。具体地说，校正选择单元218在从太阳的重心到在步骤S105中绘制的直线的±90度的范围内绘制多条直线。然后，处理进行至步骤S107。
校正选择单元218计算到从在步骤S106中的太阳的重心绘制的每条直线与人的轮廓的交点的距离(步骤S107)。然后，处理进行至步骤S108。
校正选择单元218确定从太阳重心到人的轮廓绘制的直线的最短距离是否等于或短于预定值(步骤S108)。在确定最短距离等于或短于预定值的情况下(在步骤S108)，处理进行到步骤S109。在确定最短距离不等于或不短于预定值的情况下(在步骤S108中为否)，处理进行到步骤S110。
在步骤S108中确定为是的情况下，校正选择单元218选择使用光源关闭图像的校正(步骤S109)。然后，图17的处理结束。
另一方面，在步骤S108中确定为否的情况下，校正选择单元218选择使用暗图像的校正(步骤S110)。然后，图17的处理结束。
如上所述，在第二实施例中，可以根据人与太阳之间的距离适当地选择用于IR图像的校正。因此，可以提高面部认证等的识别率。
[4.第二实施例的变形例]
将参考图18A和图18B描述本公开的第二实施例的变形例。图18A和图18B是用于描述本公开的第二实施例的变形例的示图。
如上所述，在第二实施例中，基于从太阳重心到人的轮廓的最短距离来选择校正方法。例如，由于面部认证中所需的信息是面部信息，所以在第二实施例的变形例中，可以基于从太阳重心到人的面部轮廓的最短距离来选择校正方法。
如图18A所示，考虑太阳S在人M一侧的情况。在这种情况下，校正选择单元218绘制从太阳的重心GS到人M的重心GM的直线L21。然后，校正选择单元218绘制从重心GS到人的轮廓M的多条直线，诸如直线L22、直线L23和直线L24。然后，校正选择单元218提取直线L21和人M的轮廓之间的接触点I21、直线L22和人的轮廓M之间的接触点I22、直线L23和人的轮廓M之间的接触点I23、直线L24和人的轮廓M之间的接触点I24。在这种情况下，校正选择单元218将从太阳的重心GS到接触点I22的距离确定为最短距离。由于太阳的重心GS相对靠近接触点I22，所以校正选择单元218选择使用光源关闭图像的校正。然而，由于从太阳的重心GS到人的面部M的距离(从太阳的重心GS到接触点I23)相对较长，所以当执行面部认证时，存在通过使用光源关闭图像的校正不能获得期望的识别精确度的可能性。
如图18B所示，在第二实施例的变形例中，校正选择单元218计算人M的面部的重心GF。具体地，校正选择单元218基于关于深度的信息提取人M的轮廓，并计算人M的面部的重心GF。
在图18B示出的示例中，校正选择单元218绘制从太阳的重心GS到人M的面部的重心GF的直线L31。然后，校正选择单元218从重心GS向人M的面部轮廓绘制多条直线，诸如直线L32和直线L33。然后，校正选择单元218提取直线L31与人M的面部轮廓之间的接触点I31、直线L32与人M的面部轮廓之间的接触点I32、直线L33与人M的轮廓之间的接触点I33。在这种情况下，校正选择单元218将从太阳重心GS到接触点I31的距离确定为最短距离。由于太阳的重心GS相对远离接触点I31，所以校正选择单元218选择使用暗图像的校正。因此，可以提高执行面部认证时的识别率。
如上所述，在第二实施例的变形例中，可以根据从人的面部到太阳的距离来适当地选择用于IR图像的校正。因此，可以进一步提高面部认证等的识别率。
(效果)
根据本公开的方面的图像处理装置20包括：IR图像生成单元212，其在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像和在脉冲波处于关闭的状态下捕获的第二IR图像；以及图像校正单元213，其基于第二IR图像校正第一IR图像。
因此，可以基于在脉冲波处于关闭的状态下捕获的IR图像来校正在脉冲波处于开启的状态下捕获的IR图像。结果，可以消除诸如太阳的强光的影响，并提高识别率。
此外，IR图像帧可以包括生成第一IR图像的相位和生成第二IR图像的相位。
因此，可以在一个微帧中生成脉冲波处于开启的状态下的IR图像和脉冲波处于关闭的状态下的IR图像。
此外，图像校正单元213可以基于第二IR图像来去除包括在第一IR图像中的背景光和暗分量。
因此，仅提取反射光的分量。
此外，图像校正单元213可以单独地调整每帧中的TOF传感器的曝光时间。
因此，可以适当地调整每一步处理中的曝光时间。
此外，图像校正单元213可以在IR图像帧和深度图像帧中的每一个中单独地调整TOF传感器的曝光时间。
因此，可以适当地生成IR图像和深度图像。
此外，图像校正单元213可以将包括在IR图像帧中的相位中的曝光时间控制为长于包括在深度图像帧中的相位中的曝光时间。
因此，可以适当地生成IR图像和深度图像，并且可以控制功耗。
此外，图像校正单元213可以在IR图像帧、深度图像帧和眼睛注视检测帧中的每一个中单独地调整TOF传感器的曝光时间。
因此，可以适当地生成IR图像和深度图像，并且可以适当地检测眼睛注视。
此外，图像校正单元213可以以这样的方式执行控制，即依次延长包括在IR图像帧中的相位中的曝光时间、包括在眼睛注视检测帧中的相位中的曝光时间和包括在深度图像帧中的相位中的曝光时间。
因此，可以更适当地生成IR图像和深度图像，并且可以更适当地检测眼睛注视。此外，还可以控制功耗。
还可以包括校正选择单元218，其根据包括在第一IR图像中的被摄体与光源之间的位置关系选择校正方法。
因此，可以根据被摄体和光源之间的位置关系选择适当的校正方法，并提高识别精确度。
校正选择单元218可以根据被摄体与光源之间的距离选择校正方法。
因此，可以更多地根据被摄体与光源之间的距离来选择校正方法，并进一步提高识别精确度。
校正选择单元218可以根据被摄体与光源之间的距离，针对第一IR图像，选择基于第二IR图像的校正或基于预先存储在存储单元230中的暗图像的校正中的任何一个。
因此，可以根据被摄体与光源之间的距离选择更合适的校正方法，并进一步提高识别精确度。
对于第一IR图像，校正选择单元218可以在被摄体和光源之间的距离等于或短于阈值的情况下选择基于第二IR图像的校正，并且可以在被摄体和光源之间的距离超过阈值的情况下选择基于暗图像的校正。
因此，由于可以根据被摄体与光源之间的距离是否超过阈值来选择更合适的合法方法，因此提高了识别精确度。
被摄体可以是一个人的面部，光源可以是太阳。
因此，可以在阳光影响强烈的外面提高面部认证的精确度。
本公开的一个方面的电子设备1包括TOF传感器；IR图像生成单元212，其基于来自TOF传感器的输出在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像和在脉冲波处于关闭的状态下捕获的第二IR图像；以及图像校正单元213，其基于第二IR图像校正第一IR图像。
因此，可以基于在脉冲波处于关闭的状态下捕获的IR图像来校正在脉冲波处于开启的状态下捕获的IR图像。因此，可以消除诸如太阳的强光的影响，并提高识别率。
在本公开的一个方面的图像处理方法中，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像和在脉冲波处于关闭的状态下捕获的第二IR图像，并且基于第二IR图像校正第一IR图像。
因此，可以基于在脉冲波处于关闭的状态下捕获的IR图像来校正在脉冲波处于开启的状态下捕获的IR图像。因此，可以消除诸如太阳的强光的影响，并提高识别率。
本发明的一个方面的程序使计算机用作图像生成单元，其在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像和在脉冲波处于关闭的状态下捕获的第二IR图像，以及图像校正单元，其基于第二IR图像校正第一IR图像。
因此，可以基于在脉冲波处于关闭的状态下捕获的IR图像来校正在脉冲波处于开启的状态下捕获的IR图像。因此，可以消除诸如太阳的强光的影响，并提高识别率。
注意，在本说明书中描述的效果仅仅是示例而不是限制，并且可能存在不同的效果。
注意，本技术也可以具有以下配置。
(1)一种图像处理装置，包括：
图像生成单元，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像以及在脉冲波处于关闭的状态下捕获的第二IR图像；以及
图像校正单元，基于第二IR图像校正第一IR图像。
(2)根据(1)所述的图像处理装置，其中
所述IR图像帧包括生成所述第一IR图像的相位与生成所述第二IR图像的相位。
(3)根据(1)或(2)所述的图像处理装置，其中
所述图像校正单元基于所述第二IR图像去除包括在所述第一IR图像中的背景光与暗分量。
(4)根据(1)至(3)中任何一项所述的图像处理装置，其中
所述图像校正单元单独地调整在每一帧中的TOF传感器的曝光时间。
(5)根据(4)所述的图像处理装置，其中
所述图像校正单元单独地调整在所述IR图像帧与深度图像帧的每一者中的TOF传感器的所述曝光时间。
(6)根据(5)所述的图像处理装置，其中
所述图像校正单元将包括在所述IR图像帧中的相位中的所述曝光时间控制为比包括在所述深度图像帧中的相位中的所述曝光时间长。
(7)根据(4)所述的图像处理装置，其中
所述图像校正单元单独地调整所述IR图像帧、深度图像帧与眼睛注视检测帧中每一者中所述TOF传感器的曝光时间。
(8)根据(7)所述的图像处理装置，其中
所述图像校正单元以这样的方式执行控制，使得包括在所述IR图像帧中的相位中的曝光时间、包括在所述眼睛注视检测帧中的相位中的曝光时间以及包括在所述深度图像帧中的相位中的曝光时间顺次增大。
(9)根据(1)至(8)中任何一项所述的图像处理装置，进一步包括：
校正选择单元，根据包括在所述第一IR图像中的被摄体与光源之间的位置关系选择校正方法。
(10)根据(9)所述的图像处理装置，其中
所述校正选择单元，根据所述被摄体与所述光源之间的距离选择校正方法。
(11)根据(9)或(10)所述的图像处理装置，其中
对于所述第一IR图像，所述校正选择单元根据所述被摄体与所述光源之间的所述距离选择基于所述第二IR图像的校正或基于预先存储在存储单元中的暗图像的校正。
(12)根据(9)至(11)中任何一项所述的图像处理装置，其中
对于所述第一IR图像，所述校正选择单元在所述被摄体与所述光源之间的所述距离等于或小于阈值的情况下，选择基于所述第二IR图像的所述校正，并且在所述被摄体与所述光源之间的距离超过所述阈值的情况下选择基于所述暗图像的所述校正。
(13)根据(9)至(12)中任何一项所述的图像处理装置，其中
所述被摄体是人的面部，并且
所述光源是太阳。
(14)电子设备包括，
TOF传感器；
图像生成单元，基于来自所述TOF传感器的输出，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像与在所述脉冲波处于关闭的状态下捕获的第二IR图像；以及
图像校正单元，基于所述第二IR图像校正所述第一IR图像。
(15)图像处理方法包括，
在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像与在所述脉冲波处于关闭的状态下捕获的第二IR图像；以及
基于所述第二IR图像校正所述第一IR图像。
(16)程序使得计算机，用作：
图像生成单元，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像与在脉冲波处于关闭的状态下捕获的第二IR图像，以及
图像校正单元，基于所述第二IR图像校正所述第一IR图像。
参考符号列表
1 电子设备
10 成像装置
11 光源单元
12 光接收单元
13 成像处理单元
20 图像处理装置
30 发射光
31 对象
32 反射光
210 IR图像处理装置
211、221 获取单元
212 IR图像生成单元
213 图像校正单元
214 标准化单元
215 参考单元
216 第一曝光时间计算单元
217 第二曝光时间计算单元
218 校正选择单元
220 深度图像处理装置
222 深度计算单元
230 存储单元

Claims (16)

1.一种图像处理装置，包括：
图像生成单元，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像以及在脉冲波处于关闭的状态下捕获的第二IR图像；以及
图像校正单元，基于所述第二IR图像校正所述第一IR图像。
2.根据权利要求1所述的图像处理装置，其中：
所述IR图像帧包括生成所述第一IR图像的相位与生成所述第二IR图像的相位。
3.根据权利要求1所述的图像处理装置，其中：
所述图像校正单元基于所述第二IR图像去除包括在所述第一IR图像中的背景光与暗分量。
4.根据权利要求1所述的图像处理装置，其中：
所述图像校正单元单独地调整每一帧中的TOF传感器的曝光时间。
5.根据权利要求4所述的图像处理装置，其中：
所述图像校正单元单独地调整所述IR图像帧与深度图像帧中每一者的所述TOF传感器的所述曝光时间。
6.根据权利要求5所述的图像处理装置，其中：
所述图像校正单元将包括在所述IR图像帧中的相位中的所述曝光时间控制为比包括在所述深度图像帧中的相位中的所述曝光时间长。
7.根据权利要求4所述的图像处理装置，其中：
所述图像校正单元单独地调整所述IR图像帧、深度图像帧与眼睛注视检测帧中每一者的所述TOF传感器的曝光时间。
8.根据权利要求7所述的图像处理装置，其中：
所述图像校正单元以这样的方式执行控制，使得包括在所述IR图像帧中的相位中的曝光时间、包括在所述眼睛注视检测帧中的相位中的曝光时间以及包括在所述深度图像帧中的相位中的曝光时间顺次延长。
9.根据权利要求1所述的图像处理装置，进一步包括：
校正选择单元，根据包括在所述第一IR图像中的被摄体与光源之间的位置关系选择校正方法。
10.根据权利要求9所述的图像处理装置，其中：
所述校正选择单元根据所述被摄体与所述光源之间的距离选择所述校正方法。
11.根据权利要求10所述的图像处理装置，其中：
所述校正选择单元根据所述被摄体与所述光源之间的所述距离选择基于所述第二IR图像的校正或基于预先存储在存储单元中的暗图像的校正以用于所述第一IR图像。
12.根据权利要求11所述的图像处理装置，其中：
所述校正选择单元在所述被摄体与所述光源之间的所述距离等于或小于阈值的情况下，选择基于所述第二IR图像的所述校正，并且在所述被摄体与所述光源之间的所述距离超过所述阈值的情况下选择基于所述暗图像的所述校正，以用于所述第一IR图像。
13.根据权利要求12所述的图像处理装置，其中：
所述被摄体是人的面部，并且
所述光源是太阳。
14.电子设备，包括：
TOF传感器；
图像生成单元，基于来自所述TOF传感器的输出，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像与在所述脉冲波处于关闭的状态下捕获的第二IR图像；以及
图像校正单元，基于所述第二IR图像校正所述第一IR图像。
15.图像处理方法，包括：
在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像与在所述脉冲波处于关闭的状态下捕获的第二IR图像；以及
基于所述第二IR图像校正所述第一IR图像。
16.程序使得计算机，用作：
图像生成单元，在IR图像帧中生成在脉冲波处于开启的状态下捕获的第一IR图像与在所述脉冲波处于关闭的状态下捕获的第二IR图像，以及
图像校正单元，基于所述第二IR图像校正所述第一IR图像。
CN202080065424.XA 2019-09-26 2020-07-29 图像处理装置、电子设备、图像处理方法与程序 Active CN114424522B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019175291A JP2021051042A (ja) 2019-09-26 2019-09-26 画像処理装置、電子機器、画像処理方法及びプログラム
JP2019-175291 2019-09-26
PCT/JP2020/029053 WO2021059735A1 (ja) 2019-09-26 2020-07-29 画像処理装置、電子機器、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN114424522A true CN114424522A (zh) 2022-04-29
CN114424522B CN114424522B (zh) 2024-06-21

Family

ID=75157662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080065424.XA Active CN114424522B (zh) 2019-09-26 2020-07-29 图像处理装置、电子设备、图像处理方法与程序

Country Status (5)

Country Link
US (1) US20220360702A1 (zh)
JP (1) JP2021051042A (zh)
CN (1) CN114424522B (zh)
DE (1) DE112020004555T5 (zh)
WO (1) WO2021059735A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4156674A4 (en) * 2021-08-12 2023-10-11 Honor Device Co., Ltd. METHOD AND DEVICE FOR DATA COLLECTION
JPWO2023033057A1 (zh) * 2021-08-31 2023-03-09

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717422A (zh) * 2013-12-17 2015-06-17 奥林巴斯映像株式会社 显示设备以及显示方法
CN106896370A (zh) * 2017-04-10 2017-06-27 上海图漾信息科技有限公司 结构光测距装置及方法
CN107005639A (zh) * 2014-12-10 2017-08-01 索尼公司 图像拾取设备，图像拾取方法，程序和图像处理设备
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014494A (ja) * 2007-07-04 2009-01-22 Konica Minolta Sensing Inc 計測装置
CN107066962B (zh) * 2012-01-17 2020-08-07 超级触觉资讯处理有限公司 用于通过光学成像进行的对象检测和表征的增强对比度
JP6340838B2 (ja) * 2014-03-10 2018-06-13 富士通株式会社 生体認証装置、生体認証方法及びプログラム
JP6691101B2 (ja) 2017-01-19 2020-04-28 ソニーセミコンダクタソリューションズ株式会社 受光素子
DE112018004891T5 (de) * 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717422A (zh) * 2013-12-17 2015-06-17 奥林巴斯映像株式会社 显示设备以及显示方法
CN107005639A (zh) * 2014-12-10 2017-08-01 索尼公司 图像拾取设备，图像拾取方法，程序和图像处理设备
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN106896370A (zh) * 2017-04-10 2017-06-27 上海图漾信息科技有限公司 结构光测距装置及方法

Also Published As

Publication number Publication date
WO2021059735A1 (ja) 2021-04-01
JP2021051042A (ja) 2021-04-01
CN114424522B (zh) 2024-06-21
DE112020004555T5 (de) 2022-06-15
US20220360702A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
US11991444B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
US20190109165A1 (en) Solid-state image sensor, electronic apparatus, and imaging method
US9229096B2 (en) Time-of-flight imaging systems
US11438536B2 (en) Imaging device including lines for each column
JP2007081806A (ja) 撮像システム
US11102434B2 (en) Synchronized solid-state imaging element, imaging device, and electronic device
US20170150077A1 (en) Imaging device, a solid-state imaging device for use in the imaging device
KR20140092712A (ko) 센싱 픽셀 및 이를 포함하는 이미지 센서
CN114424522B (zh) 图像处理装置、电子设备、图像处理方法与程序
JP6716902B2 (ja) 電子機器
CN112866592A (zh) 图像传感器和操作成像装置的方法
CN113366383B (zh) 摄像头装置及其自动聚焦方法
US20220046158A1 (en) Distance measuring device
JP2005354568A (ja) 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
WO2020170969A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
EP1872572B1 (en) Generation and strorage of column offsets for a column parallel image sensor
US20230232132A1 (en) Pixel and method for operating a pixel
CN106416227B (zh) 信号处理装置、控制方法、图像捕获元件和电子设备
US10469731B2 (en) Image sensor and imaging device including the same
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
WO2021059699A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
JP7164579B2 (ja) 画像センサー及び電子デバイス
WO2021059698A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
JP2009010627A (ja) 固体撮像装置およびこれを用いたカメラ
JP7431552B2 (ja) センサ、センサシステム、および撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant