CN115136185A

CN115136185A - 图像处理装置和图像处理方法

Info

Publication number: CN115136185A
Application number: CN202080078769.9A
Authority: CN
Inventors: 全世美; 朴贞娥
Original assignee: LG Innotek Co Ltd
Current assignee: LG Innotek Co Ltd
Priority date: 2019-10-14
Filing date: 2020-10-08
Publication date: 2022-09-30
Also published as: WO2021075799A1; US20240119561A1; KR20210043933A

Abstract

根据实施方式的图像处理装置包括：第一处理单元，其用于根据具有第一分辨率的第一拜耳数据输出具有第二分辨率的第二拜耳数据；第二处理单元，其用于根据具有第三分辨率的第一IR数据输出具有第四分辨率的第二IR数据；以及图像处理单元，其用于通过计算根据第二拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来输出第二RGB图像。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置，并且更具体地，涉及用于使用深度学习算法根据低分辨率拜耳数据生成高分辨率拜耳数据以及通过使用IR图像改善RGB图像的低照度的图像处理和图像处理方法。

背景技术

随着技术进步以及相机模块的小型化变得可能，小的相机模块正被应用于诸如智能电话、移动电话、PDA等的各种IT装置并在各种IT装置中使用。这样的相机模块使用诸如CCD或CMOS的图像传感器作为主要部件来制造，并且被制造成使得能够进行对焦调整以调整图像的尺寸。

这样的相机模块被配置成包括多个透镜和致动器，并且当致动器移动每个透镜以改变相对距离时，可以以调整光学焦距的方式拍摄相对于被摄体的对象。

具体地，相机模块包括将从外部接收的光信号转换成电信号的图像传感器、将光聚焦到图像传感器上的透镜、红外(IR)滤波器、包含上述部件的壳体以及对图像传感器信号进行处理的印刷电路板等，并且致动器通过诸如音圈马达(VCM)致动器或微机电***(MEMS)致动器的致动器来调整透镜的焦距。

同时，随着技术进步并使得能够实现高分辨率图像，对能够实现远处对象的高分辨率图像的技术的需求也在增加。

通常，相机配备有变焦功能以拍摄远处对象的图片。变焦功能主要分为光学变焦和数字变焦方法，在光学变焦中，相机内的实际透镜移动以放大被摄体，在数字变焦方法中，通过使用数字处理方法放大被拍摄的被摄体的图像数据的一部分来实现变焦效果。

在通过使用透镜移动获得被摄体的图像的光学变焦的情况下，可以获得具有相对高分辨率的图像，但是存在的问题在于相机的内部结构复杂，并且由于增加了部件而成本增加。另外，对可以通过使用光学变焦放大被摄体的区域存在限制，并且对于这部分，正在开发利用软件进行校正的技术。

除了这些方法之外，还存在通过移动相机内的部件生成更多像素信息来实现高分辨率图像的技术，例如利用音圈马达(VCM)或微机电***(MEMS)技术来摇动传感器的传感器移位技术、通过利用VCM等摇动透镜来获得像素信息的光学图像稳定器(OIS)技术、以及将滤波器在传感器与透镜之间进行摇动的技术等。

然而，这些技术的缺点是，当拍摄移动对象时，可能出现诸如运动模糊或伪像的现象，原因是它们合成了若干视差的数据，这导致降低图像质量的问题。

另外，存在的问题在于，当将用于实现这一点的复杂装置***到相机中时，相机模块的尺寸增大，由于其是通过摇动部件来实现的，因此难以在安装有相机的车辆中使用，并且其只能在静止环境中使用。

另一方面，作为使用通常在TV中使用的软件算法的高分辨率实现技术，存在诸如单帧超分辨率(SR)或多帧超分辨率(SR)等的技术。

在这些技术的情况下，不存在伪像问题，但是这是难以应用于可以应用小型相机模块诸如移动装置、车辆、IoT等的装置的算法，并且另外，存在除非安装单独的图像处理器以实现这样的技术否则难以实现的问题。

另外，通常安装在移动装置中的RGB相机的问题在于图像质量差，原因是当在低照度环境下拍摄图像时，亮度非常低或噪声严重。作为改善RGB相机在弱光环境下的图像质量的方法，可以使用闪光灯功能。然而，当使用闪光灯功能时，可能难以获得自然的图像，原因是在闪光灯被照射的近距离处光会饱和。改善RGB相机在低照度环境下的图像质量的另一方法是将IR传感器与RGB相机一起使用。然而，对RGB颜色的灵敏度可能由于IR传感器而降低。因此，存在对用于改善RGB相机在弱光环境下的图像质量的新方法的需求。

另外，随着在智能电话中对3D相机的需求的增加，结合现有RGB相机提供新应用。随着3D相机应用于先前仅受RGB颜色技术限制的技术，现有功能的附加值也在增加。然而，由于两种类型的相机之间的分辨率的较大差异，正在努力改***件(HW)结构以提高3D分辨率或者开发具有较高分辨率的ToF传感器。

目前安装在智能电话中的RGB相机的分辨率一直在逐渐提高，甚至40MP或更高的传感器也在不断出现。然而，ToF或结构光3D相机的分辨率除了立体之外仍然处于VGA的水平。由于立体方法使用两个RGB相机，因此分辨率高，但是距离分辨率低，并且因此通常为了距离准确度而使用ToF或结构光方法。这两种方法需要发射光的发光部件(例如，VCSEL)，该发光部件发射IR信号，并且接收器(传感器)接收该IR信号以通过比较时间或模式来计算距离。由于存在IR信号，因此接收器可以根据其创建IR图像。特别地，ToF可以生成我们通常用IR相机看到的图像形式的IR图像。

当两个图像一起使用时，两个图像的分辨率如此不同，以致于仅可以利用其一部分，因此需要提高ToF的分辨率。

发明内容

技术课题

要由本发明解决的技术课题是提供下述图像处理装置和图像处理方法：用于通过执行深度学习来生成高分辨率拜耳数据或IR数据，并且通过使用IR数据来改善RGB图像的质量。

技术解决方案

为了解决以上技术课题，根据本发明的实施方式的图像处理装置包括：第一处理单元，其用于根据具有第一分辨率的第一拜耳数据输出具有第二分辨率的第二拜耳数据；第二处理单元，其用于根据具有第三分辨率的第一IR数据输出具有第四分辨率的第二IR数据；以及图像处理单元，其用于通过计算根据第二拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来输出第二RGB图像。

另外，第一处理单元可以包括第一卷积神经网络，该第一卷积神经网络经过学习以根据第一拜耳数据输出第二拜耳数据，并且第二处理单元可以包括第二卷积神经网络，该第二卷积神经网络经过学习以根据第一IR数据输出第二IR数据。

另外，第一拜耳数据可以是从图像传感器输出的数据，并且第一IR数据可以是从ToF传感器输出的数据。

另外，ToF传感器的每小时帧速率可以比图像传感器的每小时帧速率快。

另外，图像处理单元可以通过使用结果值来生成第二RGB图像，所述结果值是通过计算IR图像和第一RGB图像的反射分量以及第一RGB图像的色调分量和色度分量而计算出的，在利用第一RGB图像执行操作之前校正IR图像，根据第二拜耳数据生成第一RGB数据，并且根据第二IR数据生成IR图像。

另外，由图像处理单元生成的IR图像可以是幅度图像或强度图像，所述幅度图像或强度图像是根据由第二处理单元生成的基于四个不同相位的第二IR数据生成的。

另外，第一处理单元包括至少一个行缓冲器，该至少一个行缓冲器用于存储每行的第一拜耳数据，并且当预定数目的行的第一拜耳数据被存储在行缓冲器中时，第一处理单元可以针对存储在行缓冲器中的第一拜耳数据执行第二拜耳数据的生成。

另外，第一处理单元使用通过用于拜耳数据处理的训练而得出的第一参数根据第一拜耳数据输出第二拜耳数据，并且第二处理单元可以使用通过用于IR数据处理的训练而得出的第二参数根据第一IR数据输出第二IR数据。

另外，第一处理单元和第二处理单元可以形成在图像传感器模块、相机模块或AP模块上。

另外，第二分辨率可以高于第一分辨率，第四分辨率可以高于第三分辨率，并且第二分辨率与第四分辨率可以相同。

为了解决以上技术课题，根据本发明的另一实施方式的图像处理装置包括：第三处理单元，其根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据，并且根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据；以及图像处理单元，其通过计算根据第二拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来生成第二RGB图像。

另外，第三处理单元可以通过时分复用执行第二拜耳数据的生成和第二IR数据的生成。

为了解决以上技术课题，根据本发明的另一实施方式的图像处理装置包括：第四处理单元，其用于根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据；以及图像处理单元，其用于通过计算根据拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来生成第二RGB图像。

为了解决以上技术课题，根据本发明的实施方式的图像处理方法包括以下步骤：根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据；根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据；根据第二拜耳数据生成第一RGB图像；根据第二IR数据生成IR图像；以及通过计算第一RGB图像和IR图像来生成第二RGB图像。

为了解决以上技术课题，根据本发明的另一实施方式的图像处理方法包括以下步骤：根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据；根据拜耳数据生成第一RGB图像；根据第二IR数据生成IR图像；以及通过计算第一RGB图像和IR图像来生成第二RGB图像。

有益效果

根据本发明的实施方式，在生成高分辨率RGB图像时，由于通过提高作为原始数据的拜耳数据而不是RGB图像的分辨率来执行数字变焦，因此与提高RGB图像的分辨率的情况相比，由于大量信息而能够获得具有高图像质量的高分辨率图像。

另外，通过提高ToF IR图像的分辨率并将其与RGB图像合并，可以增加改善RGB的低照度的效果。不需要增加额外的配置，并且即使不显著增加计算量，也能够在低照度环境中获得具有优异的图像质量的RGB图像。

此外，可以在提高RGB图像的分辨率的同时生成具有改善的图像质量的RGB图像。

另外，以仅使用几个行缓冲器的方式实现高分辨率，并且以对网络配置进行优化使得其可以利用具有相对小尺寸的小芯片实现的方式生成高分辨率图像，并且通过这样，可以根据所安装的装置的使用目的以各种方式将小芯片安装在各处，并且因此可以增加设计的自由度。另外，由于不需要昂贵的处理器来执行常规的深度学习算法，因此可以更经济地产生高分辨率图像。

另外，由于该技术的实现方式可以以能够安装在任何地方(例如，图像传感器模块、相机模块和AP模块)的方式进行，因此可以通过将该技术应用于各种现有模块(例如，不具有变焦功能的相机模块或仅支持特定倍率的固定变焦的相机模块)来使用连续变焦功能。

另外，通过将该技术应用于仅支持特定倍率的光学连续变焦的相机模块，存在可以在更宽的倍率范围内利用连续变焦功能的效果。

附图说明

图1是根据本发明的实施方式的图像处理装置的框图。

图2是示出根据本发明的实施方式的图像处理装置的图像处理过程的图。

图3至图6是用于说明提高拜耳数据或IR数据的分辨率的过程的图。

图7至图11是用于说明通过利用IR图像的操作改善RGB图像的质量的过程的图。

图12是根据本发明的另一实施方式的图像处理装置的框图。

图13是示出根据本发明的另一实施方式的图像处理装置的图像处理过程的图。

图14是根据本发明的另一实施方式的图像处理装置的框图。

图15是示出根据本发明的另一实施方式的图像处理装置的图像处理过程的图。

图16是根据本发明的实施方式的图像处理方法的流程图。

图17是根据本发明的另一实施方式的图像处理方法的流程图。

具体实施方式

在下文中，将参照附图详细描述本发明的优选实施方式。

然而，本发明的技术构思不限于要描述的一些实施方式，而是可以以各种形式实现，并且在本发明的技术构思的范围内，构成元件中的一个或更多个可以在实施方式之间选择性地组合或替换。

另外，除非明确地限定和描述，否则本发明的实施方式中使用的术语(包括技术术语和科学术语)可以解释为可以由本领域技术人员通常理解的含义，并且通常使用的术语例如词典中定义的术语可以在考虑相关技术的背景的含义的情况下进行解释。

另外，本说明书中使用的术语用于描述实施方式而不旨在限制本发明。

在本说明书中，除非在短语中具体说明，否则单数形式可以包括复数形式，并且当被描述为“A和B和C中的至少之一(或多于一个)”时，其可以包括可以与A、B和C组合的所有组合中的一个或更多个组合。

另外，在描述本发明的实施方式的部件时，可以使用诸如第一、第二、A、B、(a)和(b)的术语。这些术语仅旨在将部件与其他部件区分开，并且这些术语不限制部件的性质、顺序或次序。

此外，当部件被描述为“连接”、“耦接”或“互连”至另一部件时，该部件不仅直接连接、耦接或互连至其他部件，而且还可以包括该部件由于其他部件之间的另一部件进行“连接”、“耦接”或“互连”的情况。

另外，当描述为形成或布置在每个部件的“上(上方)”或“下(下方)”时，“上(上方)”或“下(下方)”是指不仅包括两个部件直接接触的情况，而且还包括一个或更多个其他部件形成或布置在两个部件之间的情况。另外，当表述为“上(上方)”或“下(下方)”时，不仅可以包括基于一个部件的向上方向的含义，而且还可以包括基于一个部件的向下方向的含义。

图1是根据本发明的实施方式的图像处理装置130的框图。根据本发明的实施方式的图像处理装置130包括第一处理单元131、第二处理单元132和图像处理单元133。该图像处理装置130还可以包括通信单元和一个或更多个存储器。

第一处理单元131根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据。

更具体地，第一处理单元131提高拜耳数据的分辨率，该拜耳数据是由图像传感器110生成并输出的图像数据。也就是说，根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据。在此，第二分辨率是指具有与第一分辨率的分辨率值不同的分辨率值的分辨率，并且第二分辨率可以高于第一分辨率。第一分辨率可以是由图像传感器110输出的拜耳数据的分辨率，并且第二分辨率可以根据用户的设置而改变或者可以是预设分辨率。在此，图像传感器110可以是RGB图像传感器。

图像处理装置130还可以包括用于从用户接收关于分辨率的信息的输入单元(未示出)。用户可以通过输入单元输入关于要由第一处理单元131生成的第二分辨率的信息。例如，如果用户想要获得高分辨率图像，则可以将第二分辨率设置为与第一分辨率不同的分辨率，以及当要在相对短的时间内获取新图像时，可以将第二分辨率设置为与第一分辨率没有显著差异的分辨率。

为了执行超分辨率(SR)，第一处理单元131可以根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据。超分辨率是基于低分辨率图像生成高分辨率图像的过程，并且超分辨率用作通过图像处理而不是物理光学变焦根据低分辨率图像生成高分辨率图像的数字变焦。超分辨率可以用来改善经压缩的图像或经下采样的图像的质量，或者可以用来增强具有根据装置限制的分辨率的图像的质量。另外，超分辨率可以用来提高各种领域中图像的分辨率。

与超分辨率中一样，当执行提高分辨率的过程时，可以通过使用拜耳数据而不是RGB图像执行提高分辨率的过程来改善提高分辨率的结果的质量。拜耳数据是由图像传感器110生成并输出的原始数据，并且包括比通过图像处理生成的RGB图像多的信息。因此，使用拜耳数据提高分辨率具有比使用RGB图像提高分辨率好的处理质量。

第二处理单元132根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

更具体地，第二处理单元132提高IR数据的分辨率，该IR数据是从ToF传感器120生成并输出的数据。也就是说，根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。在此，第四分辨率是指具有与第三分辨率不同的分辨率值的分辨率，并且第四分辨率可以高于第三分辨率。第三分辨率可以是由ToF传感器120输出的IR数据的分辨率，并且第四分辨率可以根据用户的设置而改变或者可以是预设分辨率。

第四分辨率可以是具有与第二分辨率相同的分辨率值的分辨率。为了通过在稍后将描述的图像处理单元中使用根据第二IR数据生成的IR图像来改善根据第二拜耳数据生成的第一RGB图像的质量，第二处理单元132可以生成第二IR数据，使得第二IR数据的第四分辨率与第二拜耳数据的第二分辨率相同，使得IR图像和第一RGB图像的尺寸即分辨率相同。

稍后将参照图3至图7详细描述提高由第一处理单元131或第二处理单元132接收的数据的分辨率的过程。

图像处理单元133通过计算根据第二拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来生成第二RGB图像。

更具体地，图像处理单元133通过操作根据第二IR数据生成的IR图像和根据第二拜耳数据生成的第一RGB图像，生成具有与第一RGB图像相比改善的图像质量的第二RGB图像。在低照度环境下，仅利用拜耳数据创建的RGB图像具有低亮度或大量噪声，因此图像质量劣化很多。图像处理单元133使用IR图像以改善当仅利用拜耳数据生成RGB图像时可能出现的图像质量劣化。也就是说，通过计算第一RGB图像和IR图像来生成具有改善的图像质量的第二RGB图像。稍后将参照图8至图13详细描述生成第二RGB图像的过程，在该过程中，通过使用IR图像提高第一RGB图像的质量。

根据本发明的实施方式的图像处理装置130可以应用于使用图像传感器110的拜耳数据的RGB相机装置和使用ToF传感器120的IR图像的3D相机装置，并且除了提高每个数据的分辨率的变焦功能之外，还可以通过使用高分辨率IR数据来改善RGB图像的低照度。拜耳数据或IR数据可以通过提高分辨率的过程生成高分辨率RGB图像、高分辨率IR图像和高分辨率深度图像。另外，由于IR图像具有比RGB图像低得多的分辨率(1MP或更小)，因此以高分辨率处理IR数据的第二处理单元132适合于以芯片的形式被实现。为了制造小型化的芯片，重要的是使算法逻辑和计算所需的数据存储器最小化，并且这是因为相机装置的分辨率与存储器和计算量直接相关。

提高IR数据的分辨率的过程可以使用RGB相机装置中包括的提高拜耳数据的分辨率的芯片。仅需要在使用并入在RGB相机装置内部的芯片的一部分时，切换经过学习的权重值以提高IR数据的分辨率。

当以这种方式使用具有提高的分辨率的IR图像来改善低照度情况下的RGB图像时，可以出现较高的改善效果，并且当应用于各种应用(例如，面部识别、对象识别、尺寸识别等)时，通过与深度图像的融合来改善识别率。

根据本发明的实施方式的图像处理过程可以在使用经过学习的卷积神经网络的图像处理装置、相机装置、图像处理方法和图像处理***中使用。

根据本发明的实施方式的图像处理装置的第一处理单元可以包括第一卷积神经网络，该第一卷积神经网络根据具有第一分辨率的第一拜耳数据输出具有第二分辨率的第二拜耳数据。第一处理单元可以包括流水线处理器和卷积神经网络，该卷积神经网络经过学习以根据第一拜耳数据生成第二拜耳数据。第一处理单元可以使用通过针对拜耳数据处理的训练而得出的第一参数来根据第一拜耳数据输出第二拜耳数据。在此，第一参数可以被称为第一深度学习参数。

根据本发明的实施方式的第一卷积神经网络经过学习以根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据。

已学习的第一卷积神经网络可以接收第一拜耳数据并且生成第二拜耳数据。在此，第一拜耳数据可以是具有第一分辨率的拜耳数据，并且第二拜耳数据可以是具有第二分辨率的拜耳数据。在此，第一分辨率可以具有与第二分辨率不同的分辨率，并且第二分辨率可以是比第一分辨率高的分辨率。例如，可以根据在低照度下生成的低分辨率拜耳数据生成高分辨率拜耳数据。

通过使用经过学习的第一卷积神经网络生成第二拜耳数据，可以在不改变诸如变焦倍率、孔径、快门速度等的图像传感器设置的情况下或者在不使用高分辨率图像传感器的情况下输出具有第二分辨率的第二拜耳数据。可以在不增加在改变图像传感器设置时可能出现的诸如光拖尾或模糊的噪声的情况下或者在不使用高规格图像传感器的情况下输出高分辨率拜耳数据。

第一处理单元可以通过移动工业处理器接口(MIPI)从图像传感器接收第一拜耳数据。接收到的第一拜耳数据被输入到第一卷积神经网络中，并且卷积神经网络根据具有第一分辨率的第一拜耳数据输出具有第二分辨率的第二拜耳数据。

通过训练来学习以根据具有第一分辨率的第一拜耳数据输出具有第二分辨率的第二拜耳数据的第一卷积神经网络通过接收具有第一分辨率的第一拜耳数据来输出具有第二分辨率的第二拜耳数据。

卷积神经网络可以是完全卷积网络(FCN)、U-Net、MobileNet、残差密集网络(RDN)和残差通道注意网络(RCAN)中的至少之一的模型。自然地，除了这些之外，还可以使用各种其他模型。

可以将具有第二分辨率的第二拜耳数据输出至ISP。如前所述，通过在ISP的去马赛克(RGB转换)之前使用拜耳数据执行分辨率转换，根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据，并将具有第二分辨率的第二拜耳数据输出至ISP。ISP可以通过对具有第二分辨率的第二拜耳数据执行RGB转换来生成RGB图像。

为此，用于使用第一卷积神经网络或第一卷积神经网络根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据的处理器可以被实现为ISP前端(AP的软件逻辑，即，ISP前端的预处理逻辑)、被实现为单独的芯片、或者被实现在相机模块内。通过接收拜耳数据(图像)，可以输出基于拜耳数据的高分辨率拜耳数据(图像)。作为原始数据的拜耳数据具有10位或更高的位分辨率，而如果拜耳数据经受了ISP的图像处理过程，由于ISP中发生的诸如噪声/伪像减少和压缩的数据丢失，则RGB数据为8位，并且其包含的信息大大减少。另外，ISP包括诸如色调映射的非线性处理，使得难以处理图像恢复，但是拜耳数据具有与光成比例的线性，使得可以容易地处理图像恢复。另外，当使用与使用RGB数据——其使用拜耳数据——相比相同的算法时，信噪比(PSNR)也提高约2dB至4dB，并且通过此，可以有效地处理在AP中执行的多帧去噪或SR等。

也就是说，通过使用拜耳数据，可以增强高分辨率转换的性能，并且由于输出拜耳数据，还可以增强AP的附加图像处理性能。

第一卷积神经网络可以经学习(训练)以基于第一拜耳数据输出具有第二分辨率的第二拜耳数据，以生成高分辨率的第二拜耳数据。用于训练第一卷积神经网络的训练集可以被配置成包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据。

第一卷积神经网络被训练成使得通过根据构成训练集的具有第一分辨率的第一拜耳数据提高分辨率而输出的拜耳数据与构成训练集的第二拜耳数据相同。稍后将详细描述训练第一卷积神经网络的过程。

根据本发明的实施方式的图像处理装置的第二处理单元可以包括第二卷积神经网络，该第二卷积神经网络根据具有第三分辨率的第一IR数据输出具有第四分辨率的第二IR数据。第二处理单元可以包括流水线处理器和卷积神经网络，该卷积神经网络经过学习以根据第一IR数据生成第二IR数据。第二处理单元可以使用通过针对IR数据处理的训练而得出的第二参数根据第一IR数据输出第二IR数据。在此，第二参数可以被称为第二深度学习参数。

根据本发明的实施方式的第二卷积神经网络经过学习以根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

经过学习的第二卷积神经网络可以接收第一IR数据并生成第二IR数据。在此，第一IR数据可以是具有第三分辨率的IR数据，并且第二IR数据可以是具有第四分辨率的IR数据。在此，第三分辨率可以具有与第四分辨率不同的分辨率，并且第四分辨率可以是比第三分辨率高的分辨率。

通过使用经过学习的第二卷积神经网络生成第二IR数据，可以在不改变诸如变焦倍率、孔径和快门速度的图像传感器的设置或者不使用具有高分辨率的ToF传感器的情况下输出具有第四分辨率的第二IR数据。可以在不使用高规格图像传感器的情况下或者在不增加在改变ToF传感器的设置时可能出现的噪声的情况下输出高分辨率IR数据。

第一处理单元可以通过移动工业处理器接口(MIPI)从图像传感器接收第一IR数据。接收到的第一IR数据被输入至第二卷积神经网络，并且第二卷积神经网络根据具有第三分辨率的第一IR数据输出具有第四分辨率的第二IR数据。

通过训练来学习以根据具有第三分辨率的第一IR数据输出具有第四分辨率的第二IR数据的第二卷积神经网络通过接收具有第三分辨率的第一IR数据来输出具有第四分辨率的第二IR数据。

可以将具有第四分辨率的第二IR数据输出至ISP。如上所述，通过在ISP操作之前使用IR数据执行分辨率转换，根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据，并将具有第四分辨率的第二IR数据输出至ISP。ISP可以根据具有第四分辨率的第二IR数据生成IR图像。

为此，用于使用第二卷积神经网络或第二卷积神经网络根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据的处理器可以被实现为ISP前端(AP的软件逻辑，即，ISP前端的预处理逻辑)、被实现为单独的芯片、或者被实现在相机模块内。通过接收IR数据(图像)，可以输出基于IR数据的高分辨率IR数据(图像)。

也就是说，通过使用IR数据，可以增强高分辨率转换的性能，并且由于输出IR数据，还可以增强AP的附加图像处理性能。

第二卷积神经网络可以经学习(训练)以基于第一IR数据输出具有第四分辨率的第二IR数据，以生成高分辨率的第二IR数据。用于训练第二卷积神经网络的训练集可以被配置成包括具有第三分辨率的第一IR数据和具有第四分辨率的第二IR数据。

第二卷积神经网络被训练成使得通过根据构成训练集的具有第三分辨率的第一IR数据增加分辨率而输出的IR数据与构成训练集的第二IR数据相同。稍后将详细描述训练第二卷积神经网络的过程。

图像传感器110可以包括诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的图像传感器，其将通过相机模块的透镜进入的光转换成电信号。图像传感器110可以通过使用通过滤色器的获取的图像来生成包括关于拜耳图案的信息的拜耳数据。拜耳数据可以具有根据图像传感器110的规格或在生成对应图像时设置的变焦倍率的第一分辨率。

由图像传感器110生成并输出的具有第一分辨率的第一拜耳数据被输入至第一处理单元131。第一处理单元131可以执行深度学习以根据第一拜耳数据生成第二拜耳数据。可以通过使用除了深度学习之外提高分辨率的算法根据第一拜耳数据生成第二拜耳数据。自然地，可以使用用于超分辨率(SR)的各种算法。第一处理单元131通过使用深度学习根据第一拜耳数据生成第二拜耳数据的过程可以如下执行。

如图2所示，第一处理单元131包括根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的拜耳数据的深度学习网络131-1，并且可以存储作为第一深度学习参数的拜耳参数131-2，该第一深度学习参数用于根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的拜耳数据。可以将第一深度学习参数131-2存储在存储器上。第一处理单元131可以以芯片的形式被实现以根据第一拜耳数据生成第二拜耳数据。

第一处理单元131可以包括一个或更多个处理器，并且可以将通过处理器执行的至少一个程序命令存储在一个或更多个存储器中。存储器可以包括诸如SRAM或DRAM的易失性存储器。然而，其不限于此，并且在一些情况下，存储器115可以包括非易失性存储器，例如闪速存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)。

一般的相机装置或相机模块从图像传感器接收拜耳图案，并且通过应用颜色的处理(颜色插值处理、颜色插值或去马赛克)以图像的形式输出数据，并且可以从图像中提取包括拜耳图案信息的信息，并且可以将包括提取的信息的数据发送至外部。在此，拜耳图案可以包括由将相机装置或相机模块中包括的光信号转换成电信号的图像传感器输出的原始数据。

为了详细说明这一点，可以通过能够检测颜色R、G和B的图像传感器中设置的每个像素将通过相机模块中包括的透镜发送的光信号转换成电信号。例如，如果相机模块的规格是5百万像素，则可以认为包括了能够检测颜色R、G和B的包括5百万像素的图像传感器。尽管图像传感器的像素的数目为5百万，但是可以看出每个像素实际上不检测所有颜色，而是仅检测黑白亮度的单色像素与R、G和B滤波器中的任何一个组合。也就是说，在图像传感器中，R、G和B滤色器以特定图案设置在被布置成与像素的数目一样多的单色像素单元上。因此，根据用户(即，人)的视觉特性将R、G和B颜色图案彼此交叉地设置，并且这被称为拜耳图案。通常，拜耳图案具有比图像数据小的数据量。因此，存在下述优点：即使装置配备有不具有高端处理器的相机模块，装置也可以比图像数据相对快地发送和接收拜耳图案图像信息，并且基于此，可以将拜耳图案图像转换成具有各种分辨率的图像。

例如，由于相机模块安装在车辆上，因此即使在使用全双工传输速度为100Mbit/s的低压差分信号(LVDS)的环境中，相机模块也不需要许多处理器来处理图像，并且因此相机模块不会过载，使得其可能不会危及驾驶员或使用车辆的驾驶员的安全。另外，由于可以减小通过车内通信网络发送的数据的大小，因此存在下述效果：即使将车内通信网络应用于自主车辆，也可以根据在车辆中设置的多个相机的操作消除由通信方法、通信速度等引起的问题。

另外，当将拜耳图案的拜耳数据发送至第一处理单元131时，图像传感器可以在将拜耳图案帧下采样到1/n的大小之后发送数据。在下采样之前通过高斯滤波器等对接收的拜耳图案数据执行平滑之后，可以执行下采样。此后，在基于下采样的图像数据生成帧分组之后，可以将完成的帧分组发送至第一处理单元131。然而，该功能可以由第一处理单元131而不是图像传感器执行。

另外，图像传感器可以包括串行器(未示出)，该串行器将拜耳图案转换成串行数据以使用诸如低压差分信号(LVDS)的串行通信方法来发送拜耳数据。串行器通常包括临时存储数据的缓冲器和形成要发送的数据的周期的锁相环(PLL)，或者可以用缓冲器和锁相环来实现。

应用于第一处理单元131的深度学习算法(模型)是生成具有比输入图像数据的分辨率高的分辨率的图像数据的算法，并且该深度学习算法(模型)可以是指通过深度学习训练重复执行学习而生成的最优算法。

深度学习——也被称为深度结构化学习——是指与机器学习相关的算法集，该机器学习通过几种非线性变换方法的组合来尝试高级抽象(在大量数据或复杂数据中概括核心内容或功能的任务)。

具体地，深度学习以计算机能够理解的形式表达任何学习数据(例如，在图像的情况下，将像素信息表达为列向量等)，并且深度学习是用于大量研究(如何形成更好的表示技术以及如何形成学习这些的模型)以将这些应用于学习的学习技术，并且可以包括诸如深度神经网络(DNN)和深度信念网络(DBN)的学习技术。

第一处理单元131通过执行深度学习根据第一拜耳数据生成第二拜耳数据。图3的深度学习模型可以用作执行深度学习根据具有第一分辨率的第一拜耳数据以生成具有第二分辨率的第二拜耳数据的方法的示例。

图3中的深度学习模型是应用深度神经网络(DNN)算法的深度学习模型，并且是示出在应用DNN算法时生成具有新分辨率的数据的过程的图。

可以将深度神经网络(DNN)指定为：深度神经网络，其中在输入层与输出层之间存在多个隐藏层；卷积神经网络，其形成神经元之间的连接模式，类似于动物的视觉皮层的结构；以及递归神经网络，其随着时间在每个时刻建立神经网络。

具体地，DNN通过重复卷积和子采样以减少和扭曲数据量来对神经网络进行分类。也就是说，DNN通过特征提取和分类动作输出分类结果，并且主要用于分析图像；并且卷积是指图像滤波。

参照图3，为了描述应用DNN算法的第一处理单元131执行深度学习的过程，第一处理单元131基于第一分辨率的拜耳数据10对区域执行卷积和子采样以增加倍率。

增加倍率是指仅扩大第一拜耳数据的特定部分。因此，由于未被用户选择的部分是用户不关注的部分，因此不需要执行提高分辨率的过程，使得仅被用户选择的部分可以经受卷积和子采样过程。通过此，通过不执行不必要的计算，可以减少计算量并且可以提高处理速度。

子采样是指减小图像的尺寸的过程。作为示例，子采样可以使用最大池化方法等。最大池化是在给定区域中选择最大值的技术，类似于神经元如何响应最大信号。子采样具有降低噪声和提高学习速度的优点。

当执行卷积和子采样时，可以输出多个图像数据20，如图3所示。在此，多个图像数据20可以是特征图。此后，可以基于输出的图像数据使用扩展方法来输出具有不同特征的多个图像数据。扩展方法意指使用r^²个不同滤波器将图像扩展r*r倍。

当根据扩展30如图4所示输出多个图像数据时，第一处理单元131可以通过基于图像数据重新组合图像数据来最终输出具有第二分辨率的第二拜耳数据40。

由第一处理单元131用于通过执行深度学习根据第一拜耳数据生成第二拜耳数据的第一深度学习参数可以通过深度学习训练而得出。

深度学习可以被划分成训练和推理。训练是指通过输入数据学习深度学习模型的过程，而推理是指利用经过学习的深度学习模型执行图像处理的过程。也就是说，使用应用了通过训练而得出的深度学习模型的参数的深度学习模型来处理图像。

为了执行深度学习以根据第一拜耳数据生成第二拜耳数据，必须通过训练得出拜耳数据处理所需的第一深度学习参数。当通过训练得出第一深度学习参数时，可以通过下述操作来执行用于根据第一拜耳数据生成第二拜耳数据的推理：使用应用了对应拜耳参数的深度学习模型来执行深度学习。因此，应当执行用于得出用于执行深度学习的参数的训练过程。

如图4所示，可以通过重复学习来执行深度学习训练过程。在接收到具有不同分辨率的第一样本数据X和第二样本数据Z之后，可以基于此来执行深度学习训练。

具体地，基于通过对使用第一样本数据X作为输入数据经受深度学习训练的第一输出数据Y和第二样本数据Z进行比较和分析而生成的参数，可以生成生成拜耳数据的较高分辨率算法。

在此，输出数据Y是通过实际深度学习输出的数据，而第二样本数据Z是由用户输入的数据，并且可以意指当将第一样本数据X输入至算法时能够最理想地输出的数据。在此，第一样本数据X可以是通过将第二样本数据Z进行下采样而降低其分辨率的数据。此时，下采样程度可以根据通过深度学习要放大的变焦比即要执行数字变焦的变焦比而变化。例如，如果通过深度学习要执行的变焦比为3倍，并且第二样本数据Z的分辨率为9MP(百万像素)，则当执行深度学习时，第一采样数据X的分辨率必须为1MP，使得分辨率增加三倍的第一输出数据Y的分辨率变为9MP，并且因此可以通过将9MP的第二样本数据Z下采样1/9来生成1MP的第一样本数据Y。

通过对根据第一样本数据X的输入通过深度学习输出的第一输出数据Y和第二样本数据Z进行比较和分析，计算两个数据之间的差，并且可以在减小两个数据之间的差的方向上向深度学习模型的参数给出反馈。此时，可以通过均方误差(MSE)方法计算这两个数据之间的差，该均方误差(MSE)方法是损失函数之一。另外，可以使用各种损失函数例如交叉熵误差(CEE)等。

具体地，在分析影响输出数据的参数之后，通过改变、删除或生成新的参数来给出反馈，使得在第二样本数据Z与作为实际输出数据的第一输出数据Y之间可以没有差。

如图4所示，可以假设存在影响算法的总共3个层L1、L2和L3，并且在每个层中存在总共8个参数P11、P12、P13、P21、P22、P31和P32。在这种情况下，如果当参数在增加参数P22的值的方向上改变时第一输出数据Y与第二样本数据Z之间的差增加，则反馈可以在减小参数P22的方向上改变算法。相比之下，如果当参数在增加参数P33的值的方向上改变时第一输出数据Y与第二样本数据Z之间的差减小，则反馈可以在增加P33参数的方向上改变算法。

也就是说，通过该方法应用深度学习的算法可以得出参数，使得第一输出数据Y与第二样本数据Z类似地输出。此时，第二样本数据Z的分辨率可以与第一输出数据Y的分辨率相同或高于第一输出数据Y的分辨率，以及第二样本数据Z的分辨率可以与第一输出数据Y的分辨率相同。

在深度学习训练中，如图4所示，当存在输出结果和比较目标，并且通过与比较目标的比较来执行学习时，也可以使用奖励值来执行训练。在这种情况下，可以首先识别周围环境，并且将当前环境状态发送至执行深度学习训练的处理器。处理器执行与其相对应的动作，并且环境再次根据该动作向处理器通知奖励值。此外，处理器采取使奖励值最大化的动作。可以通过经由该过程重复执行学习来执行训练。另外，可以使用各种深度学习训练方法来执行深度学习训练。

通常，为了用小芯片实现能够深度学习的处理器，应当使深度学习过程和记忆门的数目最小化，并且在此，对门的数目具有最大影响的因素是算法复杂度以及每时钟处理的数据量，并且由处理器处理的数据量根据输入分辨率而变化。

因此，由于根据实施方式的处理器220通过降低输入分辨率以减少门的数目然后稍后将其扩展来生成具有高倍率的图像，因此存在可以更快地生成图像的优点。

例如，如果具有8MP(百万像素)的输入分辨率的图像需要2倍变焦，则基于1/4区域(2MP)来执行两次2倍的水平扩展和竖直扩展。此外，在1/4区域(2MP)的1/4缩小并且使用分辨率为0.5MP的图像作为输入数据进行深度学***扩展和竖直扩展4倍来执行4倍变焦，则可以生成与2倍变焦相同区域的变焦图像。

因此，由于为了防止由于输入分辨率的损失而引起的性能劣化深度学习通过学习多达与分辨率的损失相对应的倍率来生成图像，因此存在可以使性能劣化最小化的优点。

另外，用于实现高分辨率图像的基于深度学习的算法通常使用帧缓冲器，该帧缓冲器由于其特性可能难以在通用PC和服务器中实时运行。

然而，由于根据本发明的实施方式的第一处理单元131应用已经通过深度学习生成的算法，因此其可以容易地应用于低规格相机模块和包括低规格相机模块的各种装置。由于以仅使用几个行缓冲器的方式实现高分辨率，因此还存在可以用相对小的芯片实现处理器的效果。

逐行存储第一拜耳数据的至少一个行缓冲器被包括，并且当预定数目的行的第一拜耳数据被存储在行缓冲器中时，第一处理单元131可以执行以针对存储在行缓冲器中的第一拜耳数据生成第二拜耳数据。第一处理单元131对第一拜耳数据进行划分并针对每个行接收第一拜耳数据，并且将针对每个行接收的第一拜耳数据存储在行缓冲器中。在接收到所有行的第一拜耳数据之后，第一处理单元131不生成第二拜耳数据，并且当预定数目的行的第一拜耳数据被存储时，则可以执行以针对存储在行缓冲器中的第一拜耳数据生成第二拜耳数据。如果你想要将分辨率提高9倍——等同于3倍变焦，并且当3个行的第一拜耳数据被存储在行缓冲器中时，生成针对所存储的三个行的第一拜耳数据的第二拜耳数据。将参照图5描述形成行缓冲器的详细配置。

参照图5，第一处理单元131可以包括：多个行缓冲器11，其用于接收第一拜耳数据；第一数据对齐单元221，其用于生成第一阵列数据，该第一阵列数据用于针对每个波长带布置通过行缓冲器输出的第一拜耳数据；深度学习处理器222，其执行深度学习；第二数据对齐单元223，其用于通过以拜耳图案布置通过深度学习处理器222输出的第二阵列数据来生成第二拜耳数据；以及多个行缓冲器12，其用于输出通过第二数据对齐单元223输出的第二拜耳数据。

第一拜耳数据是包括先前描述的拜耳图案的信息，并且尽管在图5中被描述为拜耳数据，但也可以将其定义为拜耳图像或拜耳图案。

另外，在图5中，为了方便起见，第一数据对齐单元221和第二数据对齐单元223被示出为单独的部件，但不限于此，并且深度学习处理器222可以执行由第一数据对齐单元221和第二数据对齐单元223执行的功能，这将在稍后描述。

参照图5，第一分辨率的第一拜耳数据可以将关于由用户选择的区域的图像信息发送至n+1个行缓冲器11a、11b、…、11n和11n+1。如先前所述，由于仅针对由用户选择的区域生成具有第二分辨率的拜耳图像，因此关于未被用户选择的区域的图像信息不被发送至行缓冲器11。

具体地，第一拜耳数据包括多个行数据，并且多个行数据可以通过多个行缓冲器11被发送至第一数据对齐单元221。

例如，如果要由深度学习处理器222执行深度学习的区域是3x3区域，则总共三个行必须同时被发送至第一数据对齐单元221或深度学习处理器222以执行深度学习。因此，关于三个行中的第一行的信息被发送至第一行缓冲器11a，然后被存储在第一行缓冲器11a中，并且关于三个行中的第二行的信息被发送至第二行缓冲器11b，然后可以被存储在第二行缓冲器11b中。

此后，在第三行的情况下，由于不存在之后接收的关于该行的信息，因此它可以不被存储在行缓冲器11中并且可以直接被发送至深度学习处理器222或第一数据对齐单元221。

此时，由于第一数据对齐单元221或深度学习处理器222必须同时接收关于三个行的信息，因此被存储在第一行缓冲器11a和第二行缓冲器11b中的关于第一行的信息和关于第二行的信息可以同时被传送至深度学习处理器222或第一图像对齐单元219。

相比之下，如果要由深度学习处理器222执行深度学习的区域是(N+1)×(N+1)区域，则仅当总共N+1个行同时被发送至第一数据对齐单元221或深度学习处理器222以执行深度学习。因此，关于N+1个行中的第一行的信息被发送至第一行缓冲器11a然后被存储在第一行缓冲器11a中，关于N+1个行中的第二行的信息可以被发送至第二行缓冲器11b然后被存储在第二行缓冲器11b中，并且关于N+1个行中的第N行的信息可以被发送至第N行缓冲器11n然后被存储在第N行缓冲器11n中。

此后，在第(N+1)行的情况下，由于不存在之后接收的关于该行的信息，因此它不被存储在行缓冲器11中并且可以直接被发送至深度学习处理器222或第一数据对齐单元221，并且如先前所述，此时，由于第一数据对齐单元221或深度学习处理器222必须同时接收关于N+1个行的信息，因此存储在行缓冲器11a至11n中的关于第一行至第n行的信息也可以同时被发送至深度学习处理器222或第一图像对齐单元219。

在从行缓冲器11接收到拜耳数据之后，第一图像对齐单元219通过针对每个波长带布置拜耳数据来生成第一阵列数据，然后可以将生成的第一阵列数据发送至深度学习处理器222。

第一图像对齐单元219可以生成通过将接收到的信息分类为特定波长或特定颜色(红、绿和蓝)而布置的第一阵列数据。

此后，深度学习处理器222可以通过基于通过第一图像对齐单元219接收的第一阵列数据执行深度学习来生成第二阵列数据。

因此，深度学习处理器222可以基于通过第一图像对齐单元219接收的第一阵列数据来执行深度学习，使得可以生成高于第一分辨率的第二分辨率的第二阵列数据。

例如，如先前所述，当接收到针对3×3区域的第一阵列数据时，针对3×3区域执行深度学习，以及当接收到针对(n+1)×(n+1)区域的第一阵列数据时，可以针对(n+1)×(n+1)区域执行深度学习。

此后，由深度学习处理器222生成的第二阵列数据被发送至第二数据对齐单元223，并且第二数据对齐单元223可以将第二阵列数据转换成具有拜耳图案的第二拜耳数据。

此后，经转换的第二拜耳数据通过多个行缓冲器12a输出至外部，并且输出的第二拜耳数据可以通过又一过程生成为具有比第一分辨率高的第二分辨率的拜耳数据。

图6是示出其中由第一处理单元131将第一分辨率的第一拜耳数据的图像转换成第二分辨率的第二拜耳数据的图像的图。

当用户选择具有第一分辨率的拜耳数据10中的特定区域时，第一处理单元131执行深度学习以转换分辨率，并且结果，如图6所示，可以生成具有第二分辨率的拜耳数据40。

第二处理单元132可以执行深度学习以根据第一IR数据生成第二IR数据。如先前所述，第一IR数据是具有第三分辨率的IR数据，并且第二IR数据是具有第四分辨率的IR数据。第四分辨率可以是与第三分辨率不同的分辨率，并且第四分辨率可以高于第三分辨率。IR数据是由ToF传感器120生成并输出的数据，并且通常具有比由图像传感器110生成并输出的拜耳数据低的分辨率。为了使用IR数据改善根据拜耳数据生成的RGB图像的质量，必须提高IR数据的分辨率，因此第二处理单元132将第一IR数据转换为具有高分辨率的第二IR数据。因此，使用已经生成的第二IR数据来生成IR图像。

ToF传感器120是能够获取深度信息的装置中之一。根据ToF方法，ToF传感器120通过测量飞行时间即光被发射和反射的时间来计算到对象的距离。ToF传感器120和图像传感器110可以被设置在一个装置例如一个光学装置内或者实现为单独的装置以拍摄同一区域。ToF传感器120生成输出光信号，然后照射对象。

ToF传感器120可以使用直接方法和间接方法中的至少之一。在间接方法的情况下，输出光信号可以以脉冲波或连续波的形式生成和输出。连续波可以呈正弦波或方波的形式。通过生成以脉冲波或连续波形式的输出光信号，ToF传感器120可以检测输出光信号与从对象反射之后输入至ToF传感器120的输入光信号之间的相位差。

直接方法是通过测量向对象发送的输出光信号返回到接收器的时间来推断距离的方法，而间接方法是使用当向对象发送的正弦波返回到接收器时的相位差来间接测量距离的方法。其利用了具有相同频率的两个波形的峰(最大值)或谷(最小值)之间的差。间接方法需要具有大脉冲宽度的光以增加测量距离，并且存在下述特性：随着测量距离增加，精度降低，以及相比之下，随着精度增加，测量距离降低。直接方法与间接方法相比对于长距离测量更有利。

ToF传感器120根据输入光信号生成电信号。使用生成的电信号计算输出光与输入光之间的相位差，并且使用该相位差计算对象与ToF传感器120之间的距离。具体地，可以使用电信号的电荷量的信息来计算输出光与输入光之间的相位差。可以针对输出光信号的每个频率生成四个电信号。因此，ToF传感器120可以使用下面的等式1计算输出光信号与输入光信号之间的相位差t_d。

[等式1]

在此，Q₁至Q₄是四个电信号中的每一个的电荷量。Q₁是和与输出光信号相同相位的参考信号相对应的电信号的电荷量。Q₂是和相位比输出光信号慢180度的参考信号相对应的电信号的电荷量。Q₃是和相位比输出光信号慢90度的参考信号相对应的电信号的电荷量。Q₄是和相位比输出光信号慢270度的参考信号相对应的电信号的电荷量。然后，可以使用输出光信号与输入光信号之间的相位差来计算对象与ToF传感器120之间的距离。

此时，可以使用下面的等式2来计算对象与ToF传感器120之间的距离d。

[等式2]

在此，c是光速，以及f是输出光的频率。

ToF传感器120使用输出光和输入光生成IR数据。此时，ToF传感器120可以生成作为四个相位的IR数据的原始数据。在此，四个相位可以是0°、90°、180°和270°，并且每个相位的IR数据可以是包括每个相位的数字化像素值的数据。IR数据可以与相位数据(图像)、相位IR数据(图像)等互换使用。

第二处理单元132根据由ToF传感器120生成并输出的具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。如图2所示的第二处理单元132可以存储：深度学习网络132-1，其根据第一IR数据生成第二IR数据；以及IR数据参数132-2，其是用于根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据的第二深度学习参数。第二深度学习参数132-2可能已经存储在存储器中，并且第二处理单元132可以以芯片(芯片2)的形式实现以根据第一IR数据生成第二IR数据。

第二处理单元132的深度学习网络132-1可以具有与第一处理单元131的深度学习网络131-1相同的结构。当使用拜耳数据执行深度学习时，它可以由4个通道构成。当ToF传感器使用间接方法时，输入4个第一IR数据，因此可以按原样使用4个通道的深度学习网络，以及即使当ToF传感器使用直接方法时，也可以通过将第一IR数据之一划分成4份并将其输入来按原样使用4个通道的深度学习网络。或者，第二处理单元132的深度学习网络132-1可以以与第一处理单元131的深度学习网络131-1不同的结构形成。

应用于第二处理单元132的深度学习算法(模型)可以是用于生成具有比输入图像数据的分辨率高的分辨率的图像数据的算法。应用于第二处理单元132的深度学习模型可以对应于上述应用于第一处理单元131的深度学习模型。或者，可以使用用于根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据的各种深度学习模型。

当应用于第二处理单元132的深度学习模型是与应用于第一处理单元131的深度学习模型相对应的深度学习模型时，可以通过单独的深度学习训练来得出用于根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据的第二深度学习参数。由于应用于第二处理单元132的深度学习模型的详细描述对应于参照图3和图4描述的应用于第一处理单元131的深度学习模型，因此将省略以下重复的描述。

第二处理单元132通过使用通过深度学习训练而得出的IR数据参数执行深度学习来根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

另外，逐行存储第一拜耳数据的至少一个行缓冲器被包括，并且当预定数目的行的第一拜耳数据被存储在行缓冲器中时，第二处理单元132可以执行以针对存储在行缓冲器中的第一IR数据生成第二IR数据。第二处理单元132的行缓冲器的描述对应于第一处理单元131的行缓冲器的描述，并且因此将省略重复的描述。

图像处理单元133可以通过接收通过在第一处理单元131中执行深度学习而生成的第二拜耳数据以及通过在第二处理单元132中执行深度学习而生成的第二IR数据来根据第二拜耳数据生成第一RGB图像，并且可以根据第二IR数据生成IR图像。

如图2所示，第二拜耳数据通过图像处理单元133中的图像处理生成第一RGB图像133-1，并且第二IR数据在图像处理单元133中用于生成IR图像133-2和深度图像133-3。生成的IR图像用于根据第一RGB图像生成具有改善的图像质量的第二RGB图像133-1。最后，可以通过图像处理单元133的图像处理来输出具有改善的亮度的高分辨率RGB图像、高分辨率IR图像和高分辨率深度图像。

图像处理单元133可以通过对第二拜耳数据的图像处理来生成第一RGB图像。图像处理单元133的用于第二拜耳数据的图像处理过程可以包括伽马校正、颜色校正、自动曝光校正和自动白平衡校正过程中的多于一个。图像处理单元133可以是图像信号处理器(ISP)，并且可以形成在AP上。或者，它可以是与ISP分开配置的处理单元。

另外，图像处理单元133可以通过使用IR数据生成作为幅度图像或强度图像的IR数据。

当ToF传感器120为间接方法时，当使用从ToF传感器120输出的具有四个不同相位的四个IR数据如等式3中那样计算时，可以获得作为ToF IR图像的幅度图像。

[等式3]

在此，Raw(x₀)是由ToF传感器在相位0°接收的每个像素的数据值，Raw(x₉₀)是由传感器在相位90°接收的每个像素的数据值，Raw(x₁₈₀)是由传感器在相位180°接收的每个像素的数据值，以及Raw(x₂₇₀)可以是由传感器在相位270°接收的每个像素的数据值。

或者，可以通过使用四个IR数据执行如等式4中那样的运算来获得作为另一ToFIR图像的强度图像。

[等式4]

强度＝|Raw(x₉₀)-Raw(x₂₇₀)|+|Raw(x₁₈₀)-Raw(x₀)|

如上所述，ToF IR图像是通过将四个相位IR数据中的两个彼此相减的过程而生成的图像，并且在该过程中，可以去除外部光(背景光)。因此，只有由光源输出的波长带的信号保留在ToF IR图像中，从而提高了对象的IR灵敏度并显著降低噪声。

由图像处理单元133生成的IR图像可以是指幅度图像或强度图像，并且强度图像可以与置信图像互换使用。IR图像可以是灰度图像。

同时，当使用四相位IR数据如等式5和等式6中那样计算时，也可以获得深度图像。

[等式5]

[等式6]

图像处理单元133通过使用生成的IR图像根据第一RGB图像生成具有改善的图像质量的第二RGB图像。

更具体地，图像处理单元133可以通过使用结果值来生成第二RGB图像，所述结果值是通过计算IR图像和第一RGB图像的反射分量以及第一RGB图像的色调分量和色度分量而计算出的。

通过使用如上所述生成的IR图像，可以改善通过在低照度环境中由图像传感器110拍摄而生成的RGB图像的质量。参照图7，图像处理单元133根据由第一处理单元131生成的具有第二分辨率的第二拜耳数据生成(910)第一RGB图像。此后，通过颜色通道转换(920)将第一RGB图像转换成第一HSV图像。在此，RGB图像是指由红、绿和蓝的三个分量的组合表示的数据，并且HSV图像可以是指表达为三个分量——色调、饱和度和值——的组合的数据。在此，色调和饱和度可以具有颜色信息，而值可以具有亮度信息。然后，将第一HSV图像的色调分量(H)、色度分量(S)和亮度分量(V)中的亮度分量(V)分成反射分量和照度分量，从而提取反射分量(930)。

在此，反射分量可以包括高频分量，照度分量可以包括低频分量，并且在下文中，尽管作为示例说明了为了提取反射分量，将亮度分量(V)分成低频分量和高频分量，然后从中分离高频分量，但是不限于此。反射分量例如高频分量可以包括图像的梯度信息或边缘信息，并且照度分量例如低频分量可以包括图像的亮度信息。

为此，可以通过对第一HSV图像的亮度分量(V)执行低通滤波来获得低频分量(L)。如果对第一HSV图像的亮度分量(V)执行低通滤波，则其可能模糊，并且因此可能丢失梯度信息或边缘信息。通过去除低频分量(L)的操作获得第一HSV图像的亮度分量的高频分量(R)。为此，可以计算第一HSV图像的亮度分量(V)和低频分量(L)。例如，可以执行从第一HSV图像的亮度分量(V)减去低频分量(L)的操作。

图像处理单元133根据由第二处理单元132生成的第二IR数据生成(960)IR图像。在此，ToF IR图像可以是根据0°、90°、180°和270°四个相位的IR数据生成的幅度图像或强度图像。

此时，图像处理单元133可以在利用第一RGB图像执行计算之前校正IR图像。如图8所示，ToF IR图像可以在计算之前经受用于执行校正的预处理(970)。例如，ToF IR图像可以具有与第一RGB图像不同的尺寸，并且通常，ToF IR图像可以小于第一RGB图像。因此，通过对ToF IR图像执行插值，ToF IR图像的尺寸可以被放大到第一RGB图像的尺寸(971)。由于图像可能在插值过程期间失真，因此可以校正ToF IR图像的亮度(972)。或者，如上所述，当在第二处理单元132中生成第二IR数据时，第二IR数据可以生成为具有等于第一RGB图像的分辨率的第四分辨率。当第二处理单元132生成第二IR数据以具有与第一RGB图像的分辨率相同的第四分辨率时，可以省略IR图像的尺寸插值。

返回参照图7，在获得第一HSV图像的亮度分量的照度分量的同时，使用第一HSV图像的亮度分量的反射分量例如高频分量以及ToF IR图像来获得第二HSV，从而获得图像的亮度分量(V')(930)。具体地，如图10所示，可以将第一HSV图像的亮度分量的反射分量例如高频分量与ToF IR图像进行匹配(980)。在此，可以使用通过合并使用ToF IR图像建模的反射分量和照度分量来获得具有改善的亮度的图像的计算，并且这可以是与用于从第一HSV图像的亮度分量中去除低频分量L的计算相反的计算。例如，可以执行将反射分量例如高频分量和ToF IR图像添加至第一HSV图像的亮度分量的操作(940)。以这种方式，在去除第一HSV图像的亮度分量的照度分量例如低频分量之后，并且当计算第一HSV图像的亮度分量的反射分量例如高频分量和ToF IR图像时，可以改善在低照度环境中拍摄的RGB图像的亮度。

此后，使用通过颜色通道转换(920)获得的色调分量(H)和色度分量(S)以及亮度分量(V')来通过颜色通道转换(950)生成第二RGB图像。在HSV图像中，色调分量(H)和色度分量(S)可以具有颜色信息，并且亮度分量可以具有亮度信息。当仅使用如利用ToF IR图像(V')计算的亮度分量的反射分量并且使用如先前获得的色调分量(H)和色度分量(S)时，仅改善低照度环境中的亮度而没有颜色失真。如图11所示，输入图像可以由反射分量和照度分量的乘积构成；反射分量可以由高频分量构成；照度分量可以由低频分量构成；并且图像的亮度可能受照度分量的影响。然而，当从在低照度环境中拍摄的RGB图像中去除照度分量即低频分量时，RGB图像的亮度值可能变得过高。为了对此进行补偿，通过将ToF IR图像与去除了照度分量即低频分量的RGB图像的亮度分量进行匹配，作为结果，可以在低照度环境中获得具有改善的图像质量的RGB图像。

如先前所述，由图像处理单元133生成的IR图像可以是根据由第二处理单元132生成的基于四个不同相位的第二IR数据生成的幅度图像或强度图像，并且在使用基于四个不同相位的IR数据的间接ToF传感器的情况下，由于需要ToF传感器的一个周期时间来生成一个IR图像，因此在ToF传感器中生成第一IR数据的时间可能比生成拜耳数据的时间长，并且因此，在生成具有改善的图像质量的RGB图像时可能发生时间延迟。

为了防止这样的时间延迟，ToF传感器120的每小时帧速率(fps)可以比图像传感器110的每小时帧速率快。为了使ToF传感器120生成一个IR图像，需要生成根据四个不同相位的IR数据，并且为此，可以通过将对作为根据每个相位的IR数据的子帧进行拍摄的ToF传感器120的每小时帧速率控制为比图像传感器110的每小时帧速率快来防止时间延迟。可以根据图像传感器110的每小时帧速率来设置ToF传感器120的每小时帧速率。ToF传感器120捕获作为根据一个相位的IR数据的子帧的速度可以比图像传感器110拍摄单个拜耳数据以生成一个拜耳数据的速度快。另外，每小时帧速率可以根据工作环境、变焦倍率、或者ToF传感器120或图像传感器110的规格而变化。因此，考虑到ToF传感器120生成根据四个不同相位的IR数据以生成一个IR图像的时间以及图像传感器110生成一个拜耳数据所用的时间，可以不同地设置ToF传感器120的每单位时间帧速率。每小时帧速率可以是每个传感器的快门速度。

另外，图像处理单元133可以通过将第二RGB图像以及根据ToF传感器120的IR数据生成的IR图像和深度图像进行匹配并渲染到RGB图像来生成包括颜色信息和深度信息二者的三维彩色图像。

第一处理单元131或第二处理单元132可以以独立芯片的形式形成。或者，其可以以其他芯片的功能块为单位形成。第一处理单元131或第二处理单元132可以形成在图像传感器模块、相机模块或AP模块上。

在此，应用处理器(AP)是移动存储器芯片，并且是指负责移动终端装置中的各种应用操作和图形处理的核心半导体。AP可以以片上***(SoC)的形式实现，该片上***包括计算机的中央处理单元(CPU)的功能和控制诸如存储器、硬盘和图形卡的其他装置的连接的芯片组的功能二者。

当第一处理单元131或第二处理单元132形成在图像传感器模块中时，第一处理单元131形成在RGB图像传感器模块中，并且第二处理单元132可以形成在ToF传感器模块中。或者，第一处理单元131和第二处理单元132可以形成在一个图像传感器模块中。

当第一处理单元131或第二处理单元132形成在相机模块或AP模块上时，第一处理单元131和第二处理单元132可以单独形成，或者可以集成到一个模块或芯片中。或者，其可以形成为一个处理单元。此外，第一处理单元131和第二处理单元132可以以各种形状和位置形成，诸如形成在不同位置处。

第一处理单元131或第二处理单元132已经被描述为执行提高分辨率的功能，但是与相机模块的驱动器IC类似，其可以被实现为处理由其中形成有图像处理装置130的装置的一个或更多个处理器处理的功能，所述装置例如相机装置、图像处理装置、光学装置和智能终端。以这种方式，可以集成或代替现有处理器的功能。

图像处理装置可以以与图1中示出的根据本发明的实施方式的图像处理装置不同的实施方式被配置。图12是根据本发明的另一实施方式的图像处理装置的框图；图13是示出根据本发明的另一实施方式的图像处理装置的图像处理过程的图；图14是根据本发明的另一实施方式的图像处理装置的框图；以及图15是示出根据本发明的另一实施方式的图像处理装置的图像处理过程的图。根据图12和图14的实施方式的图像处理装置130的每个配置的详细描述对应于具有与根据图1的实施方式的图像处理装置130的附图标记相同的附图标记的配置的详细描述。因此，在下文中将省略重复的描述。

如图12所示，根据本发明的另一实施方式的图像处理装置130包括第三处理单元134和图像处理单元133。

第三处理单元134根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据，并且根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

更具体地，与根据图1的实施方式的包括第一处理单元131和第二处理单元132的图像处理装置130相比，根据图12的实施方式的图像处理装置130包括第三处理单元134，使得其可以在第三处理单元134中处理由第一处理单元131和第二处理单元132执行的过程。

为此，如图13所示，第三处理单元134从图像传感器110接收第一拜耳数据并且从ToF传感器120接收第一IR数据。第三处理单元134根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据，并且根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

当生成第二拜耳数据时，第三处理单元134使用通过关于拜耳数据处理的训练而得出的第一深度学习参数134-2来执行深度学习，以及当生成第二IR数据时，可以使用通过关于IR数据处理的训练而得出的第二深度学习参数134-3来执行深度学习。

第三处理单元134使用一个深度学习网络生成第二拜耳数据和第二IR数据。即使使用相同的深度学习网络，由于用于生成第二拜耳数据和第二IR数据的深度学习模型的参数不同，因此第三处理单元134存储通过关于拜耳数据处理的训练而得出的第一深度学习参数和通过关于IR数据处理的训练而得出的第二深度学习参数二者。

另外，由于其使用一个深度学习网络，并且由于第二拜耳数据和第二IR数据不能同时生成，因此第三处理单元134可以通过时间分割执行第二拜耳数据生成和第二IR数据生成。通过顺序地分割时间，可以执行第二拜耳数据的生成和第二IR数据的生成。此时，对应于一个帧的第二拜耳数据生成或第二IR数据生成被分割和处理，或者在使用行缓冲器的情况下，考虑到将所需数目的行的数据存储在行缓冲器中所需的时间，可以根据每行的处理通过时间分割来执行第二拜耳数据的生成和第二IR数据的生成。

图像处理单元133通过计算根据第二拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来生成第二RGB图像。如图13所示，由第三处理单元134生成的第二拜耳数据在图像处理单元133中通过图像处理，并且生成第一RGB图像(133-1)，并且第二IR数据在图像处理单元133中用于生成IR图像(133-2)和深度图像(133-3)。生成的IR图像用于通过利用第一RGB图像的计算来生成具有改善的图像质量的第二RGB图像(133-1)。

如图14所示，根据本发明的另一实施方式的图像处理装置130包括第四处理单元135和图像处理单元133。

第四处理单元135根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

更具体地，与根据图1的实施方式的包括第一处理单元131和第二处理单元132的图像处理装置130相比，根据图12的实施方式的图像处理装置130包括第四处理单元135，并且第四处理单元135可以处理由第二处理单元132执行的过程。不执行由根据图1的实施方式的图像处理装置130的第一处理单元131根据第一拜耳数据生成第二拜耳数据的过程。

在不对拜耳数据进行分辨率转换的情况下，仅执行对IR数据的分辨率转换。如上所述，由于IR数据的大小通常小于拜耳数据的大小，因此重要的是提高IR数据的分辨率。也就是说，即使不需要提高拜耳数据的分辨率，但为了改善根据拜耳数据生成的RGB图像的质量，也需要提高IR数据的分辨率。因此，第四处理单元135根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

为此，如图15所示，第四处理单元135从ToF传感器120接收第一IR数据，并且根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。第四处理单元135的配置和功能可以与图1的第二处理单元132的配置和功能基本上相同。可以通过深度学习网络135-1使用通过关于IR数据处理的训练而得出的第二深度学习参数135-2来执行深度学习。

图像处理单元133通过计算根据拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来生成第二RGB图像。如图15所示，从图像传感器110生成并输出的拜耳数据由图像处理单元133处理以生成第一RGB图像(133-1)，并且第二IR数据在图像处理单元133中用于生成IR图像(133-2)和深度图像(133-3)。使用已经生成的IR图像以通过利用第一RGB图像的计算生成(133-1)具有改善的图像质量的第二RGB图像。

图16是根据本发明的实施方式的图像处理方法的流程图，以及图17是根据本发明的另一实施方式的图像处理方法的流程图。图16至图17的每个步骤的详细描述对应于图1至图15的图像处理装置130的详细描述。具体地，图16的详细描述对应于图1至图11以及图14至图15的图像处理装置130的详细描述，以及图17的详细描述对应于图12和图13的图像处理装置130的详细描述。在下文中，将省略重复的描述。

根据本发明的实施方式的图像处理方法涉及用于在包括一个或更多个处理器的图像处理装置中处理图像的方法。

在步骤S11中，根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据，以及在步骤S12中，根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。步骤S11和步骤S12可以同时执行，或者可以先执行任一步骤。或者，可以根据从图像传感器或ToF传感器接收到拜耳数据或IR数据的时间来执行。步骤S11可以使用被训练成根据第一拜耳数据输出第二拜耳数据的第一卷积神经网络来执行。可以执行深度学习以根据具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据。另外，步骤S12可以使用被训练成根据第一IR数据输出第二IR数据的第二卷积神经网络来执行。可以执行深度学习以根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。方法还可以包括从图像传感器接收第一拜耳数据或从ToF传感器接收第一IR数据。

此后，在步骤S13中根据第二拜耳数据生成第一RGB图像，以及在步骤S14中根据第二IR数据生成IR图像。步骤S13和步骤S14可以同时执行，或者可以先执行任一步骤。或者，可以根据生成第二拜耳数据或第二IR数据的时间来执行。

此后，在步骤S15中，通过计算第一RGB图像和IR图像来生成第二RGB图像。通过此，可以同时生成具有高分辨率的图像和具有改善的图像质量的RGB图像。

根据图17的实施方式的图像处理方法涉及在包括一个或更多个处理器的图像处理装置中处理图像的方法。

在步骤S21中，根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。不同于图16的实施方式，不包括根据第一拜耳数据生成第二数据的步骤。步骤S21可以使用被训练成根据第一IR数据输出第二IR数据的第二卷积神经网络来执行。可以执行深度学习以根据具有第三分辨率的第一IR数据生成具有第四分辨率的第二IR数据。

然后，在步骤S22中，根据拜耳数据生成第一RGB图像，以及在步骤S23中，根据第二IR数据生成IR图像。步骤S22和步骤S23可以同时执行，或者可以先执行任一步骤。或者，可以根据从图像传感器接收到拜耳数据的时间或者生成第二IR数据的时间来执行。

此后，在步骤S24中，计算第一RGB图像和IR图像以生成第二RGB图像。通过此，可以生成具有改善的图像质量的RGB图像。

同时，本发明的实施方式可以实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括其中存储有计算机***可读的数据的所有类型的记录装置。

作为计算机可读记录介质的示例，存在ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置；另外，计算机可读记录介质分布在联网的计算机***上；并且计算机可读代码可以以分布式方式被存储和执行。另外，本发明所属技术领域的程序员可以容易地推断出用于实现本发明的功能程序、代码和代码段。

如上所述，在本发明中，已经利用诸如特定部件和有限实施方式的特定内容以及附图进行了描述，但是这些仅被提供用于帮助对本发明的更一般的理解，本发明不限于以上实施方式，并且本发明所属领域的技术人员可以根据这些描述进行各种修改和变化。

因此，本发明的精神不应当限于所描述的实施方式，并且不仅所附权利要求，而且对权利要求进行等同或等同修改的所有权利要求都将被认为属于本发明的精神范围。

Claims

1.一种图像处理装置，包括：

第一处理单元，所述第一处理单元被配置成根据具有第一分辨率的第一拜耳数据输出具有第二分辨率的第二拜耳数据；

第二处理单元，所述第二处理单元被配置成根据具有第三分辨率的第一IR数据输出具有第四分辨率的第二IR数据；以及

图像处理单元，所述图像处理单元被配置成通过计算根据所述第二拜耳数据生成的第一RGB图像和根据所述第二IR数据生成的IR图像来输出第二RGB图像。

2.根据权利要求1所述的图像处理装置，其中，所述第一处理单元包括第一卷积神经网络，所述第一卷积神经网络经过学习以根据所述第一拜耳数据输出所述第二拜耳数据。

3.根据权利要求1所述的图像处理装置，其中，所述第二处理单元包括第二卷积神经网络，所述第二卷积神经网络经过学习以根据所述第一IR数据输出所述第二IR数据。

4.根据权利要求1所述的图像处理装置，其中，所述第一拜耳数据是从图像传感器输出的数据，并且所述第一IR数据是从ToF传感器输出的数据。

5.根据权利要求4所述的图像处理装置，其中，所述ToF传感器的每小时帧速率比所述图像传感器的每小时帧速率快。

6.根据权利要求1所述的图像处理装置，其中，所述图像处理单元通过使用结果值来生成所述第二RGB图像，所述结果值是通过计算所述IR图像和所述第一RGB图像的反射分量以及所述第一RGB图像的色调分量和色度分量而计算出的。

7.根据权利要求1所述的图像处理装置，其中，所述第一处理单元使用通过关于拜耳数据处理的训练而得出的第一参数根据所述第一拜耳数据输出所述第二拜耳数据，并且

其中，所述第二处理单元使用通过关于IR数据处理的训练而得出的第二参数根据所述第一IR数据输出所述第二IR数据。

8.根据权利要求1所述的图像处理装置，其中，所述第一处理单元和所述第二处理单元形成在图像传感器模块、相机模块或AP模块上。

9.根据权利要求1所述的图像处理装置，其中，所述第二分辨率高于所述第一分辨率，并且所述第四分辨率高于所述第三分辨率。

10.根据权利要求1所述的图像处理装置，其中，所述第二分辨率与所述第四分辨率相同。