CN109155824B - 图像处理设备和图像处理方法以及学习设备和学习方法 - Google Patents

Abstract

学习设备50的第一图像拾取模拟单元51根据学习图像的图像数据生成通过使用图像拾取单元21‑1捕获的学习图像而获得的图像数据，并且第二图像拾取模拟单元52生成由图像拾取单元21‑2捕获的图像数据。参数生成单元53和54将所生成的图像数据中的一种视为教师数据并且将另一种视为学生数据；通过学习生成使学生数据具有教师数据的特性的特性差异校正参数；并且将特性差异校正参数存储在数据库单元DB1‑1和DB1‑2中。特性差异校正单元222使用存储在数据库单元DB1‑1和DB1‑2中的特性差异参数，将由图像拾取单元21‑1和21‑2生成的捕获图像中的具有较低性能的图像数据中的一个校正为具有较高性能的图像数据。通过使用由多个图像拾取单元分别生成的捕获图像的图像数据，可以生成具有比分别生成的捕获图像更高性能的捕获图像的图像数据。

Description

图像处理设备和图像处理方法以及学习设备和学习方法

技术领域

本技术涉及下述图像处理设备、图像处理方法、学习设备和学习方法，与由多个成像部分别生成的捕获图像相比，所述图像处理设备、图像处理方法、学习设备和学习方法能够使用分别生成的捕获图像的图像数据来生成具有改进性能的捕获图像的图像数据。

背景技术

在诸如移动电子设备的传统信息处理终端例如智能电话中，由于小型化和纤薄化，成像部的性能低于单反相机等的性能。为了解决该问题，例如，专利文献1提出了通过无线通信将由可从信息处理终端移除的相机生成的捕获图像提供给信息处理终端。另外，专利文献2公开了设置多个成像部以同时生成具有不同图像质量的多个图像，例如第一视角的图像以及小于第一视角的第二视角的图像。

引用列表

专利文献

[专利文献1]

JP 2015-088824 A

JP2013-219525 A

发明内容

技术问题

同时，可移除相机在尺寸上大于信息处理终端的成像部，并且在利用可移除相机的情况下，需要在可移除相机与信息处理终端之间建立通信。这使得用于获得有利的捕获图像的操作变得复杂并且降低了便携性。另外，即使设置了多个成像部，所获取的图像也是根据各个成像部的性能的图像，并且不可能改进例如第一视角的图像的图像质量。

因此，本技术的目的是提供下述图像处理设备、图像处理方法、学习设备和学习方法，与由多个成像部分别生成的捕获图像相比，所述图像处理设备、图像处理方法、学习设备和学习方法能够使用分别生成的捕获图像的图像数据来生成具有改进性能的捕获图像的图像数据。

问题的解决方案

根据本技术的第一方面，提供了一种图像处理设备，该图像处理设备包括特性差异校正部，将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，特性差异校正部根据用于使学生数据的特性与教师数据的特性相同的学习模型，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。

根据本技术，将由第一成像部生成的学***衡控制中的至少任何一个的差异引起的特性差异的校正。

此外，图像处理设备还包括：视差检测部，其使用在第一成像部和第二成像部中生成并且由特性差异校正部校正过特性差异的图像数据来检测第一成像部与第二成像部之间的视差；以及视差补偿部，其基于由视差检测部检测的视差检测结果对由第一成像部和第二成像部生成的图像数据执行视差补偿。例如，视差补偿部对由第一成像部生成的图像数据和由第二成像部生成的图像数据中的一个图像数据执行视差补偿，并且特性差异校正部将另一个图像数据的分辨率校正为经过对在检测视差时使用的图像数据进行视差补偿的图像数据的分辨率。

此外，将学习图像的图像数据假设为教师数据并且将由第一成像部生成的学习图像的图像数据以及由第二成像部生成的学习图像的图像数据假设为学生数据，使用通过学习预先生成的用于使多条学生数据的特性与教师数据的特性相同的合成控制参数，对在对由第一成像部和第二成像部生成的图像数据进行视差补偿之后的图像数据执行合成。

根据本技术的第二方面，提供了一种图像处理方法，包括：将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，根据用于使学生数据的特性与教师数据的特性相同的学习模型，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。

根据本技术的第三方面，提供了一种学习设备，包括：特性差异参数生成部，特性差异参数生成部通过学习生成用于使学生数据的特性与教师数据的特性相同的特性差异校正参数，其中，将以下图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据：指示由第一成像模拟部根据由第一成像部捕获的学习图像的图像数据生成的学习图像的图像数据；以及指示由第二成像模拟部根据由第二成像部捕获的学习图像的图像数据生成的学习图像的图像数据。

根据本技术的第四方面，提供了一种学习方法，包括：由特性差异参数生成部通过学习生成用于使学生数据的特性与教师数据的特性相同的特性差异校正参数，其中，将下述图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据：指示由第一成像模拟部根据由第一成像部捕获的学习图像的图像数据生成的学习图像的图像数据；以及指示由第二成像模拟部根据由第二成像部捕获的学习图像的图像数据生成的学习图像的图像数据。

本发明的有益效果

根据本发明，将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，根据用于使学生数据的特性与教师数据的特性相同的学习模型，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。因此，与由多个成像部分别生成的捕获图像相比，可以使用分别生成的捕获图像的图像数据来生成具有改进性能的捕获图像的图像数据。注意，本说明书中描述的效果仅作为示例给出，并且效果不限于本说明书中描述的效果，而是可以包含额外的效果。

附图说明

[图1]图1是示出应用图像处理设备的装置的外观的示例的图。

[图2]图2是示出信息处理终端的配置的示例的图。

[图3]图3是示出图像处理部的配置的示例的图。

[图4]图4是示出成像部中的像素阵列的示例的图。

[图5]图5是示出在生成特性差异校正参数的情况下学习设备的配置的示例的图。

[图6]图6是示出在生成合成控制参数的情况下学习设备的配置的示例的图。

[图7]图7是示出由学习设备执行的生成特性差异校正参数的操作的示例的流程图。

[图8]图8是示出由特性差异校正部执行的操作的示例的流程图。

[图9]图9是示出由图像处理部执行的特性差异校正操作的图。

[图10]图10是示出由第二特性差异校正部执行的特性差异校正处理的示例的图。

[图11]图11是示意性地示出对颜色空间的特性差异校正的结果的图。

[图12]图12是示出由学习设备执行的用于生成合成控制参数的操作的示例的流程图。

[图13]图13是示出由图像合成部执行的操作的示例的流程图。

[图14]图14是示出由图像合成部执行的图像合成操作的图。

[图15]图15是示出由图像合成部执行的图像合成操作的示例的图。

[图16]图16是示出成像部的配置和(通过其生成捕获图像的)操作的合成元素的示例的图。

[图17]图17是示出多个成像部的成像区域的示例的图。

[图18]图18是示出车辆控制***的示意性配置的示例的框图。

[图19]图19是辅助说明车外信息检测部和成像部的安装位置的示例的图。

具体实施方式

在下文中将描述用于执行本技术的模式。注意，将按以下顺序给出描述。

1.应用图像处理设备的装置的配置

2.图像处理设备的配置

3.学习设备的配置

3-1.生成特性差异校正参数的情况

3-2.生成合成控制参数的情况

4.由学习设备和图像处理部执行的操作

5.修改例

6.应用实例

<1.应用图像处理设备的装置的配置>

图1示出了应用本技术的图像处理设备的装置的外观的示例。注意，在以下描述中，图像处理设备被应用于例如信息处理终端。图1(a)示出了信息处理终端10的前侧，并且显示部25和操作部27被设置在前侧。图1(b)示出了信息处理终端10的后侧，并且多个成像部——例如两个成像部21-1和21-2——被设置在后侧。

图2示出了信息处理终端的配置的示例。信息处理终端10具有多个成像部例如成像部21-1和21-2、图像处理部22、传感器部23、通信部24、显示部25、触摸板26、操作部27、存储部28和控制部30。

如图1(b)所示，成像部21-1和21-2被设置在信息处理终端10的同一表面侧。成像部21-1和21-2均使用诸如互补金属氧化物半导体(CMOS)图像传感器的成像元件配置，对由镜头(未示出)捕获的光执行光电转换，生成捕获图像的图像数据，并且将图像数据输出到图像处理部22。图像处理部22使用由成像部21-1和21-2生成的捕获图像的图像数据执行图像处理，并且生成具有改进性能的捕获图像的图像数据，即下述捕获图像的图像数据，该图像数据类似于由具有比单个成像部21-1和21-2的性能更高的性能的成像部生成的捕获图像。

本技术中的性能包括图像质量性能和功能性能。图像质量性能是与捕获图像的颜色空间、分辨率、灵敏度、噪声等相关的性能，而功能性能是与诸如在生成捕获图像时的视角、焦距、聚焦控制、光圈控制、白平衡控制等功能相关的性能。

成像部21-1和21-2具有与其间的图像质量相关的特性差异。与图像质量相关的特性差异是与图像质量性能相关的特性的差异，并且包括下述中的至少一种：颜色空间的差异和区域的差异。与图像质量相关的特性差异的示例包括光谱特性差异(差异在于，其中一个成像部生成黑白图像而另一个成像部生成彩色图像)、颜色阵列差异(差异在于，其中一个成像部的颜色滤波器为拜耳(Bayer)阵列，而另一个成像部的颜色滤波器为平面阵列)、像素数量的差异(差异在于，其中一个成像部在像素数方面高于另一个成像部)、F数、调制传递函数(MTF)值等的差异。另外，作为特性差异，成像部21-1和21-2可以具有与其间的功能性能相关的特性差异。与功能相关的特性差异的示例包括由视角、焦距、聚焦控制、光圈控制和白平衡控制中的至少任何差异引起的特性差异。

图像处理部22使用由成像部21-1和21-2生成的图像数据执行图像处理，与分别使用成像部21-1和21-2的情况相比，与使用具有更高性能的成像部的情况类似地生成捕获图像的图像数据，并且将图像数据输出到显示部25和存储部28。注意，图像处理部22的配置和操作的细节将在后面描述。

传感器部23使用陀螺仪传感器等来配置，并且检测在信息处理终端10中产生的抖动。传感器部23将关于检测到的抖动的信息输出到控制部30。

通信部24通过诸如局域网(LAN)或因特网的网络与设备通信。

显示部25基于从图像处理部22提供的图像数据来显示捕获图像，并且基于来自控制部30的信息信号来显示菜单画面、用于各种类型的应用的画面等。另外，触摸板26被安装在显示部25的显示表面侧，并且触摸板26被配置成能够利用GUI功能。

操作部27使用操作开关等来配置，响应于用户的操作来生成操作信号，并且将操作信号输出到控制部30。

存储部28存储由信息处理终端10生成的信息，例如，从图像处理部22提供的图像数据以及由信息处理终端10用来执行通信或应用的各种类型的信息。

控制部30被配置有中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)(未示出)等。控制部30执行存储在ROM或RAM中的程序，以控制由这些部分执行的操作，使得信息处理终端10可以响应于对触摸板26或操作部27的用户操作来执行操作。另外，在控制部30中设置有数据库部DB1和DB2，数据库部DB1和DB2存储当图像处理部22执行图像处理时所需的参数。应注意，数据库部DB1和DB2可以被设置在存储部28中。

注意，信息处理终端10的配置不限于图2中所示出的配置，并且例如，在信息处理终端10中还可以设置：编码处理部，其将图像数据进行编码以将该图像数据存储在存储部28中；分辨率转换部，其使图像数据符合显示部的分辨率，等等。

<2.图像处理设备的配置>

图3示出了图像处理部的配置的示例。图像处理部22使用由成像部21-1和21-2生成的图像数据执行图像处理，并且与由成像部21-1和21-2分别获取的捕获图像的图像数据相比，生成具有改进性能的捕获图像的图像数据。

作为图像处理，图像处理部22使用由成像部21-1和21-2生成的图像数据来执行特性差异校正处理。另外，图像处理部22执行视差补偿，该视差由于成像部21-1与21-2之间的视点位置的差异而引起。此外，图像处理部22对已经过特性差异校正处理和视差补偿的图像数据执行合成。在下文中将给出对关于下述情况的描述：成像部21-1生成捕获黑白图像的图像数据，成像部21-2生成捕获彩色图像的图像数据，并且图像处理部22使用所生成的图像数据执行图像处理并且生成具有比由成像部21-2获取的捕获彩色图像的图像质量更高的图像质量的捕获彩色图像的图像数据。

图4示出了成像部的像素阵列的示例。图4(a)示出了成像部21-1的像素阵列。成像区域21-1包含所有像素都配置有W(白色)像素的像素，每个像素基于可见光的所有波长范围内的入射光的量来输出电信号。因此，成像部21-1生成捕获黑白图像的图像数据。

图4(b)示出了成像部21-2的像素阵列。成像部21-2使用具有拜耳阵列中的红色(G)像素、蓝色(B)像素和绿色(G)像素的滤色器来配置。在拜耳阵列中，在2×2像素的每个像素单位中，对角线位置处的两个像素是绿色(G)像素，而剩余像素是红色(R)像素和蓝色(B)像素。在成像部21-2中，每个像素基于作为红色、蓝色和绿色分量中的任何一种颜色分量的入射光的量来生成电信号。换言之，成像部21-2以三原色(RGB)生成捕获彩色图像的图像数据。

图像处理部22具有显影处理部221、特性差异校正部222、视差检测部223、视差补偿部224和图像合成部225。

显影处理部221使用由成像部21-2生成的捕获彩色图像的图像数据执行显影处理。在显影处理中，显影处理部221执行去马赛克处理，该去马赛克处理用于根据指示每个像素处的作为红色、蓝色和绿色分量的任何一种颜色分量的图像数据生成指示每个像素处的红色、蓝色和绿色分量的颜色分量的图像数据。另外，在显影处理中，显影处理部221执行白平衡处理，以调整每个颜色分量的图像数据，使得白色对象可以以白色显示。显影处理部221将已经过显影处理的图像数据输出到特性差异校正部222和视差检测部223。

特性差异校正部222遵循使学生数据的特性与教师数据的特性相同的学习模型，将由成像部21-1生成的学习图像的图像数据和由特性不同的成像部21-2生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据。根据学习模型，特性差异校正部222将由成像部21-1和21-2生成的捕获图像的图像数据中的具有较低图像质量性能的一个图像数据校正为具有较高图像质量性能的图像数据。例如，特性差异校正参数生成部222使用通过学习预先生成的特性差异校正参数来执行特性差异校正，以这种方式消除从成像部21-1提供的捕获黑白图像的图像数据与从显影处理部221提供的捕获彩色图像的图像数据之间的特性差异。

作为特性差异校正，特性差异校正部222执行例如颜色空间差异的校正和区域差异的校正(分辨率和灵敏度的特性差异)。在颜色空间校正中，特性差异校正部222响应于从例如显影处理部221提供的图像数据从数据库部DB1获取特性差异校正参数。此外，特性差异校正部222执行特性差异校正处理，以使用所获取的特性差异校正参数将从显影处理部221提供的图像数据的颜色空间校正为从成像部21-1提供的图像数据的颜色空间。在分辨率特性差异校正中，特性差异校正部222响应于从例如成像部21-1提供的图像数据从数据库部DB1获取特性差异校正参数。另外，特性差异校正部222使用所获取的特性差异校正参数来执行特性差异校正，以将从成像部21-1提供的图像数据的分辨率校正为从显影处理部221提供的图像数据的分辨率。此外，在灵敏度特性差异校正中，特性差异校正部222响应于从例如显影处理部221提供的图像数据从数据库部DB1获取特性差异校正参数。此外，特性差异校正部222使用所获取的特性差异校正参数执行特性差异校正，以将从显影处理部221提供的图像数据的灵敏度校正为从成像部21-1提供的图像数据的灵敏度。此外，在后面将描述的视差补偿部224对由成像部21-1和21-2生成的图像数据中的一个执行视差补偿的情况下，特性差异校正部222将另一个图像数据的分辨率校正为与经过视差补偿的图像数据的分辨率相同。特性差异校正部222将经特性差异校正的图像数据中的每一个输出到视差检测部223。假设在使得在特性上相同的图像数据中，来自成像部21-1的图像数据是视差检测第一图像数据，并且来自显影处理部221的图像数据是视差检测第二图像数据。另外，假设基于视差检测第一图像数据的图像是视差检测第一捕获图像，并且基于视差检测第二图像数据的图像是视差检测第二捕获图像。

视差检测部223基于经特性差异校正的视差检测第一图像数据和经特性差异校正的视差检测第二图像数据来生成指示视差检测第一捕获图像与视差检测第二捕获图像之间的视差的视差信息。如图1(b)所示，由于成像部21-1和21-2从不同的视点执行成像，因此基于由成像部21-1与21-2生成的图像数据的捕获图像——即视差检测第一捕获图像与视差检测第二捕获图像——之间具有视差。因此，视差检测部223使用视差检测第一图像数据和视差检测第二图像数据来执行诸如块匹配的对应点检测处理，生成指示每个像素的视差的视差信息，并且将所生成的视差信息输出到视差补偿部224以补偿视差。

视差检测部223将例如视差检测第一捕获图像和视差检测第二捕获图像中的任何一个假设为基准捕获图像，并且检测另一捕获图像上的与以基准捕获图像上的关注位置为基准的基准块区域最相似的块区域。视差检测部223将检测到的块区域与基准块区域之间的位置差确定为视差。另外，视差检测部223计算与基准捕获图像上作为关注位置的每个像素的视差，并且生成指示按照像素计算的视差的视差信息。

视差补偿部224基于视差信息、基于由成像部21-2生成的图像数据来执行捕获图像的视差补偿。视差补偿部224基于视差信息来移动从显影处理部221提供的图像数据的像素位置，并且生成指示与从成像部21-1的视点捕获的图像类似的捕获图像的图像数据。视差补偿部224将所生成的图像数据输出到图像合成部225。

图像合成部225遵循用于使多条学生数据的合成数据的特性与教师数据的特性相同的学习模型，将学习图像的图像数据假设为教师数据，并且将由成像部21-1和21-2生成的学习图像的图像数据假设为学生数据。根据学习模型，图像合成部225使用通过学习预先生成的、例如用于使多条学生数据的合成数据的特性与教师数据的特性相同的合成控制参数，将从成像部21-1提供的图像数据与通过在视差补偿部224中对由成像部21生成的图像数据执行视差补偿而获得的图像数据进行合成。图像合成部225根据通过预先学习而获取的控制参数，响应于由成像部21-1生成的图像数据和从视差补偿部224提供的图像数据，从数据库部DB2获取用于执行合成处理的合成控制参数，以例如使区域最大化。图像合成部225以由所获取的合成控制参数指示的合成比将从成像部21-1提供的图像数据与从视差补偿部224提供的图像数据进行合成，并且生成具有比由成像部21-1和21-2获取的捕获图像的性能更高的性能的图像数据。

<3.学习设备的配置>

接下来将描述在预先生成由图像处理部使用的参数时使用的学习设备的配置。

<3-1.生成特性差异校正参数的情况>

图5示出了在生成特性差异校正参数的情况下学习设备的配置的示例。学习设备50具有第一成像模拟部51、第二成像模拟部52、第一特性差异校正参数生成部53和第二特性差异校正参数生成部54。

学习图像的图像数据被提供给第一成像模拟部51和第二成像模拟部52。

第一成像模拟部51模拟例如成像部21-1的成像特性，并且基于学习图像的图像数据来生成指示由成像部21-1捕获的学习图像的图像数据。第一成像模拟部51将所生成的图像数据作为学生数据输出到第一特性差异校正参数生成部53。另外，第一成像模拟部51将所生成的图像数据作为教师数据输出到第二特性差异校正参数生成部54。

第二成像模拟部52模拟例如成像部21-2的成像特性，并且基于学习图像的图像数据来生成指示由成像部21-2捕获的学习图像的图像数据。第二成像模拟部52将所生成的图像数据作为学生数据输出到第二特性差异校正参数生成部54。另外，第二成像模拟部52将所生成的图像数据作为教师数据输出到第一特性差异校正参数生成部53。

第一特性差异校正参数生成部53使用教师数据和学生数据执行学习，并且计算用于根据学生数据来生成与教师数据等效的图像数据的特性差异校正参数。为了对由学生数据指示的学生图像中的关注像素进行分类，第一特性差异校正参数生成部53从学生图像中提取以关注像素为基准的特征量计算目标区域中的像素，并且根据所提取像素的图像数据来计算特性量。另外，第一特性差异校正参数生成部53基于所计算的特征量对关注像素进行分类，并且按照类别计算预测系数。第一特性差异校正参数生成部53在预测系数的计算中从学生图像中提取以关注像素为基准的预测抽头(tap)的像素。另外，第一特性差异校正参数生成部53计算下述预测系数，该预测系数使得通过将预测抽头的像素数据和预测系数的相乘结果进行累积而获得的累积数据与和关注像素对应的教师图像的像素数据之间的差变得最小。第一特性差异校正参数生成部53将按照类别计算的预测系数存储到数据库部DB1-1中作为特性差异校正参数。换言之，特性差异校正参数被存储在数据库部DB1-1中，该特性差异校正参数用于由特性差异校正部222中的第一特性差异校正部222-1根据由成像部21-1生成的图像数据生成与由成像部21-2生成的图像数据在特性上等效的图像数据。

与第一特性差异校正参数生成部53类似，第二特性差异校正参数生成部54使用教师数据和学生数据执行学习，并且计算用于根据学生数据来生成与教师数据等效的图像数据的特性差异校正参数。为了对由学生数据指示的学生图像中的关注像素进行分类，第二特性差异校正参数生成部54从学生图像中提取以关注像素为基准的特征量计算目标区域中的像素，并且计算来自所提取的像素上的图像数据的特性量。另外，第二特性差异校正参数生成部54基于所计算的特征量对关注像素进行分类，并且按照类别计算预测系数。第二特性差异校正参数生成部54在预测系数的计算中从学生图像中提取以关注像素为基准的预测抽头的像素。另外，第二特性差异校正参数生成部54计算下述预测系数，该预测系数使得通过将预测抽头的像素数据和预测系数的相乘结果进行累积而获得的累积数据与和关注像素对应的教师图像的像素数据之间的差变得最小。第二特性差异校正参数生成部54将按照类别计算的预测系数存储到数据库部DB1-2中作为特性差异校正参数。换言之，特性差异校正参数被存储在数据库部DB1-2中，该特性差异校正参数用于由特性差异校正部222中的第二特性差异校正部222-2根据由成像部21-2生成的图像数据生成与由成像部21-1生成的图像数据在特性上等效的图像数据。

在由学***均像素数据或者特征量计算目标区域中的像素的噪声量(标准偏差)可以被用作特征量。替选地，可以使用关注像素的图像高度作为特征量。在另一替选方案中，通过使用特征量计算目标区域中的像素数据执行自适应动态范围编码(ADRC)而获得的重新量化数据可以被用作特征量。

<3-2.生成合成控制参数的情况>

图6示出了在生成合成控制参数的情况下学习设备的配置的示例。学习设备60具有第一成像模拟部61、第二成像模拟部62和合成控制参数生成部63。

学习图像的图像数据被提供给第一成像模拟部61和第二成像模拟部62。另外，学习图像的图像数据被提供给合成控制参数生成部63作为教师数据。

第一成像模拟部61模拟例如成像部21-1的成像特性，并且基于学习图像的图像数据来生成指示由成像部21-1捕获的学习图像的图像数据。第一成像模拟部51将所生成的图像数据作为学生数据输出到合成控制参数生成部63。

第二成像模拟部62模拟例如成像部21-2的成像特性，并且基于学习图像的图像数据来生成指示由成像部21-2捕获的学习图像的图像数据。第二成像模拟部62将所生成的图像数据作为学生数据输出到合成控制参数生成部63。

合成控制参数生成部63使用教师数据和学生数据执行学习，并且在将从第一成像模拟部61提供的学生数据和从第二成像模拟部62提供的学生数据进行合成时计算用于生成与教师数据具有最小特性差异的图像数据的合成控制参数。为了对由每个学生数据指示的学生图像中的关注像素进行分类，例如，合成控制参数生成部63从两个学生图像中的每一个中提取以关注像素为基准的特征量计算目标区域中的像素，并且根据所提取的像素的图像数据来计算特征量。另外，合成控制参数生成部63基于所计算的特征量对关注像素进行分类，并且按照类别计算合成比。合成控制参数生成部63在计算合成比时从以关注像素为基准的学生图像中的每个中提取预测抽头。另外，合成控制参数生成部63按照学生图像计算通过将预测抽头的像素数据和预测系数的相乘结果进行累积而获得的累积数据，并且计算下述预测系数，该预测系数使得按照学生图像计算的累积数据的相加结果与和关注像素对应的教师图像的图像数据之间的特性差异变得最小。另外，合成控制参数生成部63将按照类别计算的预测系数存储到数据库部DB2中作为合成控制参数。换言之，合成控制参数被存储在数据库部DB2中，该合成控制参数指示通过将由成像部21-1生成的图像数据与由成像部21-2生成的图像数据进行合成来生成与学习图像最相似的图像数据的合成比。

在由学***均像素数据或者特征量计算目标区域中的像素的噪声量(标准偏差)可以被用作特征量。替选地，可以使用关注像素的图像高度作为特征量。在另一替选方案中，通过使用特征量计算目标区域中的像素数据执行自适应动态范围编码(ADRC)而获得的重新量化数据可以被用作特征量。此外，在发生未对准待合成的捕获图像的情况下，与合成之前的图像质量相比，合成图像的图像质量可能劣化；因此，可以将待合成的捕获图像之间的每个像素位置处的像素数据的差异用作特征量。

<4.由学习设备和图像处理部执行的操作>

图7是示出由生成特性差异校正参数的学习设备执行的操作的示例的流程图，图8是示出由特性差异校正部执行的操作的示例的流程图。

在图7的步骤ST1中，学习设备执行第一成像模拟处理。学习设备50根据学习图像的图像数据生成与由成像部21-1生成的图像数据性能相同的第一模拟图像数据，并且操作进行到步骤ST2。

在步骤ST2中，学习设备执行第二成像模拟处理。学习设备50根据学习图像的图像数据生成与由成像部21-2生成的图像数据性能相同的第二模拟图像数据，并且操作进行到步骤ST3。

在步骤ST3中，学习设备启动执行特性差异校正参数的学习的像素循环，并且操作进行到步骤ST4。

在步骤ST4中，学习设备获取教师像素。学习设备50从用作教师数据的第一模拟图像数据或第二模拟图像数据中获取关注像素的像素数据，并且操作进行到步骤ST5。

在步骤ST5中，学习设备获取学生像素。学习设备50从用作与教师数据不同的学生数据的第一模拟图像数据或第二模拟图像数据中获取以关注像素为基准的特征量计算目标区域中的像素数据，并且操作进行到步骤ST6。

在步骤ST6中，学习设备对关注像素进行分类。学习设备50根据在步骤ST5中获取的特征量计算目标区域中的像素数据计算关注像素的特征量，并且基于所计算的特征量对关注像素进行分类，并且操作进行到步骤ST7。

在步骤ST7中，学习设备获取预测抽头。学习设备50从学生数据中获取以关注像素为基准的预测抽头的像素数据，并且操作进行到步骤ST8。

在步骤ST8中，学习设备将像素添加到学习矩阵。学习设备50使用在步骤ST4中获取的教师数据中的关注像素的像素数据以及在步骤ST7中获取的预测抽头的像素数据将像素添加到学习矩阵例如正规方程，并且操作进行到步骤ST9。注意，按照关注像素的类别来提供正规方程。

在步骤ST9中，学习设备结束像素循环。在将学习图像中的每个像素作为关注像素添加到学习矩阵的情况下，学习设备50结束像素循环，并且操作进行到步骤ST10。另外，在剩余未添加到正规方程的未完成像素的情况下，操作然后返回到步骤ST6，将未被设置成学习图像中的关注像素的新像素设置成关注像素，并且学习设备执行从步骤ST6到ST8的处理。

在步骤ST10中，学习设备计算特性差异校正参数。学习设备50按照类别计算学习矩阵的逆矩阵，以将该逆矩阵确定为预测系数。学习设备50计算例如完成了添加的正规方程的系数的解，并且将所计算的系数确定为预测系数。另外，学习设备50将按照类别计算的预测系数存储在数据库部DB1中作为特性差异校正参数。

在图8的步骤ST21中，图像处理部获取第一捕获图像数据。图像处理部22中的特性差异校正部222获取由成像部21-1生成的图像数据作为第一捕获图像数据，并且操作进行到步骤ST22。

在步骤ST22中，图像处理部获取第二捕获图像数据。图像处理部22中的特性差异校正部222获取由成像部21-2生成的图像数据，以对所获取的图像数据执行显影处理，并且获取经显影处理的图像数据作为第二捕获图像数据，并且操作进行到步骤ST23。

在步骤ST23中，图像处理部开始执行特性差异校正的像素循环，并且操作进行到步骤ST24。

在步骤ST24中，图像处理部对关注像素进行分类。图像处理部22中的特性差异校正部222从要经过特性差异校正的第一捕获图像数据或第二捕获图像数据中获取以关注像素为基准的特征量计算目标区域中的像素数据，并且根据所获取的图像数据计算关注像素的特征量。另外，特性差异校正部222基于所计算的特征量对关注像素进行分类，并且操作进行到步骤ST25。

在步骤ST25中，图像处理部获取特征差异校正参数。图像处理部22中的特征差异校正部222从数据库部DB1获取与步骤ST25的分类结果对应的特征差异校正参数，并且操作进行到步骤ST26。

在步骤ST26中，图像处理部获取预测抽头。图像处理部22中的特征差异校正部222从经过特征差异校正的捕获图像数据中获取以关注像素为基准的预测抽头的像素数据，并且操作进行到步骤ST27。

在步骤ST27中，图像处理部执行特征差异校正。图像处理部22中的特征差异校正部222使用由在步骤ST26中获取的特征差异校正参数指示的预测系数以及预测抽头的像素数据来执行预测算术运算，并且计算关注像素的特征差异已被校正的像素数据，并且操作进行到步骤ST28。

在步骤ST28中，图像处理部结束像素循环。在使用要进行特性差异校正的图像中的每个像素作为关注像素计算了特性差异已被校正的像素数据的情况下，图像处理部22中的特性差异校正部222结束像素循环。另外，在剩余未计算特性差异校正像素数据的像素的情况下，操作然后返回到步骤ST24，未被设置成要经过特性差异校正的图像中的关注像素的新像素被设置成关注像素，并且图像处理部22执行从步骤ST24到ST27的处理。

图9示出了由图像处理部执行的特性差异校正操作。图9示出了校正作为特征差异的颜色空间和区域(分辨率和灵敏度)的情况的示例，并且按照性能的降序使用双圆圈标记、圆圈标记和三角标记。另外，在图9中，校正方向由箭头表示。例如，执行用于使由成像部21-2生成的图像数据的颜色空间和灵敏度与由成像部21-1生成的图像数据的颜色空间和灵敏度相同的校正处理。另外，执行用于使由成像部21-1生成的图像数据的分辨率与由成像部21-2生成的图像数据的分辨率相同的校正处理。注意，特性差异校正操作旨在生成用于视差检测的图像数据，并且使得由成像部21-1生成的图像数据的分辨率与由成像部21-2生成的图像数据的分辨率相同，使得可以对捕获彩色图像执行最佳视差补偿。

图10示出了由第二特性差异校正部执行的特性差异校正处理的示例。注意，通过预先学习，用于执行颜色空间转换的预测系数被存储在数据库部DB1-2a中。另外，通过预先学习，用于执行区域校正的预测系数被存储在数据库部DB1-2b中。

第二特性差异校正部222-2执行颜色空间转换和区域校正。在颜色空间转换中，第二特性差异校正部222-2使用从显影处理部221提供的并且指示RGB分量的图像数据以及响应于关注图像的分类结果从数据库部DB1-2a获取的预测系数k1、k2和k3执行由等式(1)表示的算术运算。第二特性差异校正部222-2执行这样的算术运算以生成指示W(白色)分量的图像数据WY。

WY＝k1×R+k2×G+k3×B...(1)

在区域校正中，第二特性差异校正部222-2从图像数据WY中获取例如以关注像素为基准的二维方向上的预测抽头，并且响应于关注图像的分类结果从数据库部DB1-2b获取作为预测系数的二维滤波器系数。然后，第二特性差异校正部222-2使用所获取的预测抽头pix(i)和二维滤波器系数coef(i)对如等式(2)所示的预测抽头和系数执行卷积算术运算，并且生成关注像素的经特性差异校正的像素数据W'。注意，“n”指示等式(2)中的抽头数。

[数学式1]

图11示意性地示出了颜色空间的特性差异校正结果。图11(a)典型地示出了由成像部21-1生成的图像数据指示的捕获图像的W(白色)分量与由成像部21-2生成的图像数据指示的捕获图像的R(红色)分量、G(绿色)分量和B(蓝色)分量中的每一个的波长与灵敏度之间的关系。

图11(b)是将使用颜色空间转换方程根据R分量、G分量和B分量计算的Y(亮度)分量的波长与灵敏度之间的关系添加到图11(a)中的图。

图11(c)是将通过学习预先生成的特性差异校正参数计算的W'(白色)分量的波长与灵敏度之间的关系添加到图11(a)中的图。

如图11(b)所示，使用颜色空间转换方程计算的Y分量在特征上与W分量不同。因此，假设在使用W分量的图像数据和用颜色空间转换方程计算的Y分量的图像数据来执行视差检测的情况下，由于灵敏度相对于波长的差异，可能不能执行精确的视差检测。然而，如图11(c)所示，使用通过学习预先生成的特性差异校正参数计算的W'分量的特征被校正为与W分量类似的特性。因此，与使用用颜色空间转换方程计算的Y分量的图像特征的情况相比，可以改进视差检测性能。

接下来将描述由学习设备执行的操作以及由生成合成控制参数的图像合成部执行的操作。图12是示出由学习设备执行的生成合成控制参数的操作的示例的流程图，图13是示出由图像合成部执行的操作的示例的流程图。

在图12的步骤S31中，学习设备执行第一成像模拟处理。学习设备60根据学习图像的图像数据生成与由成像部21-1生成的图像数据性能相同的第一模拟图像数据，并且操作进行到步骤ST32。

在步骤ST32中，学习设备执行第二成像模拟处理。学习设备60根据学习图像的图像数据生成与由成像部21-2生成的图像数据性能相同的第二模拟图像数据，并且操作进行到步骤ST33。

在步骤ST33中，学习设备启动执行合成控制参数的学习的像素循环，并且操作进行到步骤ST34。

在步骤ST34中，学习设备获取教师像素。学习设备60从作为学习图像的图像数据的教师数据中获取关注像素的像素数据，并且操作进行到步骤ST35。

在步骤ST35中，学习设备获取学生像素。学习设备60从用作学生数据的第一模拟图像数据和第二模拟图像数据中的每一个获取以关注像素为基准的特征量计算目标区域中的像素数据，并且操作进行到步骤ST36。

在步骤ST36中，学习设备对关注像素进行分类。学习设备60根据在步骤ST35中获取的像素数据计算关注像素的特征量，并且基于所计算的特征量对关注像素进行分类，并且操作进行到步骤ST37。

在步骤ST37中，学习设备获取预测抽头。学习设备60从每个学生数据中获取以关注像素为基准的预测抽头的像素数据，并且操作进行到步骤ST38。

在步骤ST38中，学习设备将像素添加到学习矩阵。学习设备60使用在步骤ST34中获取的教师数据中的关注像素的像素数据以及在步骤ST37中获取的预测抽头的像素数据将像素添加到学习矩阵例如正规方程，并且操作进行到步骤ST39。注意，按照关注像素的类别来提供正规方程。

在步骤ST39中，学习设备结束像素循环。在将学习图像中的每个像素作为关注像素添加到学习矩阵的情况下，学习设备60结束像素循环，并且操作进行到步骤ST40。另外，在剩余未添加到正规方程的未完成像素的情况下，操作然后返回到步骤ST36，将未被设置成学习图像中的关注像素的新像素设置成关注像素，并且学习设备执行从步骤ST36到ST38的处理。

在步骤ST40中，学习设备计算合成控制参数。学习设备60按照类别计算学习矩阵的逆矩阵，以将该逆矩阵确定为预测系数。学习设备60计算例如完成了添加的正规方程的系数的解，并且将所计算的系数确定为预测系数和合成比。另外，学习设备60将按照类别计算的预测系数存储在数据库部DB2中作为合成控制参数。

在图13的步骤ST51中，图像处理部获取第一捕获图像数据。图像处理部22中的图像合成部225获取由成像部21-1生成的图像数据作为第一捕获图像数据，并且操作进行到步骤ST52。

在步骤ST52中，图像处理部获取第二捕获图像数据。图像处理部22中的图像合成部225获取由成像部21-2生成的图像数据，以对获取的图像数据执行显影处理，并且获取经显影处理的图像数据作为第二捕获图像数据，并且操作进行到步骤ST53。

在步骤ST53中，图像处理部开始执行图像合成的像素循环，并且操作进行到步骤ST54。

在步骤ST54中，图像处理部对关注像素进行分类。图像处理部22中的图像合成部225从用于图像合成的第一捕获图像数据和第二捕获图像数据中的每一个中获取以关注像素为基准的特征量计算目标区域中的像素数据，并且根据所获取的图像数据计算关注像素的特征量。另外，图像合成部225基于所计算的特征量对关注像素进行分类，并且操作进行到步骤ST55。

在步骤ST55中，图像处理部获取合成控制参数。图像处理部22中的图像合成部225从数据库部DB2获取与步骤ST54的分类结果对应的合成控制参数，并且操作进行到步骤ST56。

在步骤ST56中，图像处理部获取预测抽头。图像处理部22中的图像合成部225从用于图像合成的第一捕获图像数据和第二捕获图像数据中的每一个获取以关注像素为基准的预测抽头的像素数据，并且操作进行到步骤ST57。

在步骤ST57中，图像处理部执行图像合成。图像处理部22中的图像处理部225使用由在步骤ST55中获取的合成控制参数指示的预测系数以及预测抽头的像素数据来执行卷积算术运算。另外，图像合成部225以由合成控制参数指示的合成比将卷积算术运算的运算结果相加，并且计算合成图像数据，并且操作进行到步骤ST58。注意，合成图像数据是合成图像的图像数据。

在步骤ST58中，图像处理部结束像素循环。在使用用于图像合成的第一捕获图像数据和第二捕获图像数据中的每个像素作为关注像素计算出了像素合成值的情况下，图像处理部22中的图像合成部225结束像素循环。另外，在剩余未计算像素合成值的像素的情况下，操作然后返回到步骤ST54，未被设置成关注像素的新像素被设置成关注像素，并且图像合成部225执行从步骤ST54到ST57的处理。

图14示出了由图像合成部执行的图像合成操作。注意，图14示出了作为性能的色彩空间和区域(分辨率和灵敏度)的示例，并且按照性能的降序使用双圆圈标记、圆圈标记和三角标记。图像处理部22中的图像合成部225使用通过学习预先生成的合成控制参数来执行每个像素的合成处理，从而生成指示通过对例如由成像部21-1生成的图像数据和由成像部21-2生成的图像数据进行合成而获得的RGB分量的合成图像数据。另外，图像合成部225使用通过学习预先生成的合成控制参数来执行每个像素的合成处理，从而生成具有比由例如成像部21-2生成的图像数据的分辨率更高的分辨率的合成图像数据。此外，图像合成部225使用通过学习预先生成的合成控制参数对每个像素执行合成处理，从而生成具有比由例如由成像部21-2生成的图像数据的灵敏度更高的灵敏度的合成图像数据。

图15示出了由图像合成部执行的图像合成操作的示例。图像合成部225从由成像部21-1生成的图像数据(W)和来自显影处理部221的图像数据(RGB)中获取例如以关注像素为基准的二维方向上的预测抽头。另外，图像合成部225响应于图像数据(W)和图像数据(RGB)中的每一个的关注像素的分类结果，从数据库部DB2获取合成比α以及作为预测系数的二维滤波器系数。图像合成部225使用所获取的预测抽头pix1(i)和pix(j)、合成比α以及二维滤波器系数coef1(i)和coef2(j)来执行由等式(3)表示的算术运算。换言之，图像合成部225以合成比将预测抽头和预测系数的卷积算术运算的算术结果相加，以生成关注像素的合成像素数据DY。注意，“n”指示等式(3)中的抽头数。

[数学式2]

另外，由等式(3)生成的合成图像数据是指示亮度(白色)分量的图像数据；因此，图像合成部225对从例如显影处理部221提供的并且指示RGB分量的图像数据执行颜色空间转换以生成U分量和V分量，并且输出指示DY分量、U分量和V分量的图像数据。此外，在将颜色空间相同的图像数据从图像合成部225输出到由成像部21-2生成的图像数据的情况下，图像合成部225可以根据指示DY分量、U分量和V分量的图像数据生成指示RGB分量的图像数据，并且可以输出该图像数据。

<5.修改例>

同时，上述实施方式示出了使用生成捕获黑白图像的图像数据的成像部21-1以及生成捕获彩色图像的图像数据的成像部21-2来生成比由成像部21-2生成的捕获彩色图像在分辨率和灵敏度方面更高的捕获彩色图像。然而，多个成像部和所生成的捕获图像不限于上述配置。

图16示出了成像部的配置的合成元素和操作(生成的捕获图像)的示例。引起与功能性能相关的特性差异的元素的示例包括视角、颜色阵列、曝光时间、焦点和其他元素。关于视角，例如，可以使用广角拍摄图像或者远距离拍摄图像。颜色阵列不限于拜耳阵列或者上述单一白色像素的阵列，并且还可以是其中像素指示任何原色和互补色的阵列，或者是其中在原色像素处设置有对白色或红外区域敏感的像素等的阵列。另外，颜色阵列可以是其中在光电转换的波长范围内不同的光电转换层在光入射方向上层叠的垂直光谱阵列。关于曝光时间，例如，可以使用长时间曝光的捕获图像、短时间曝光的捕获图像或者具有不同曝光定时的捕获图像。关于焦点，例如，可以使用聚焦在前景上的捕获图像或聚焦在背景上的捕获图像。对于其他元素，可以使用像素数不同的捕获图像、像素阵列不同的捕获图像、光源的色温不同的捕获图像、特定偏振方向上的捕获图像等。

图像处理部通过这些元素的合成来执行特性差异校正和图像合成，并且与基于模型的合成处理相比，可以根据特性差异校正和图像合成中的学习模型容易地生成具有良好图像质量的合成图像。例如，图像处理部可以通过将曝光时间不同的多个捕获图像进行合成，生成具有良好的图像质量的高动态范围合成图像。另外，图像处理部可以通过在时间方向上对准曝光定时不同的多个捕获图像同时使其特性均匀来生成具有良好图像质量的高帧率图像。此外，图像处理部可以通过对颜色阵列不同的多个捕获图像进行合成来生成具有改进的颜色再现性的合成图像。

此外，与基于模型的特性差异校正和合成处理相比，图像处理部可以容易地生成具有改进的功能的合成图像。图17示出了多个成像部的成像区域的示例。注意，图17示出了使用两个成像部21-1和21-2的情况的示例，并且示出了视角为AG1的成像部21-1以及视角为AG2的成像部21-2。图17(a)示出了成像部21-1和21-2捕获与上述实施方式中相同的对象范围的情况。另外，图17(b)示出了由成像部21-1和21-2捕获的对象范围仅部分交叠的情况的示例，并且图17(c)示出了由视角不同的成像部21-1和21-2中的一个捕获的对象范围被包含在由另一成像部捕获的对象范围中的情况的示例。例如，通过将如图17(b)所示布置的捕获图像进行合成同时使其特性均匀，图像处理部可以以广视角生成捕获图像。另外，通过使如图17(c)所示布置的捕获图像的特性均匀，图像处理部可以容易地改变具有高图像质量的广角图像和变焦图像。此外，在图17(c)中，成像部21-1可以生成捕获黑白图像或捕获彩色图像，并且成像部21-2还可以将所捕获的红外图像的分辨率增强到捕获黑白图像或捕获彩色图像中任意一个的分辨率。此外，图16中所示的元素的合成使得可以改进图像处理部的性能，例如自动聚焦速度、自动光圈调节、自动白平衡调节等。

<6.应用示例>

根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术可以被实现为不仅安装在信息处理终端中而且还被安装在诸如车辆、电动车辆、混合动力电动车辆、两轮车辆、自行车、个人行动工具、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)的任何类型的移动体中的设备。

图18是示出车辆控制***7000的示意性配置的实例的框图，该车辆控制***是可应用作为根据本公开的实施方式的技术的移动体控制***的实例。车辆控制***7000包括经由通信网络7010彼此连接的多个电子控制单元。在图18所示出的实例中，车辆控制***7000包括驱动***控制单元7100、车身***控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图18所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。

驱动***控制单元7100根据各种程序对与车辆的驱动***相关的设备的工作进行控制。例如，驱动***控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动***控制单元7100可具有防抱死制动***(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动***控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动***控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身***控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身***控制单元7200用作控制设备来控制：无钥匙进入***，智能钥匙***，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身***控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身***控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制***7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制***7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图19示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图19示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图18，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理,以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过合成多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制***7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制***7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制***7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F,调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信***(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的合成)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以通过，接收来自GNSS卫星的全球导航卫星***(GNSS)信号(例如，来自全球定位***(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话***(PHS)或具有定位功能的智能电话。

信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制***7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动***控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助***(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图18的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图18所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制***7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

在到目前为止描述的车辆控制***7000中，假设成像部7410、7910、7912、7914、7916和7918中的每个使用多个成像部例如图1中所示的成像部21-1和21来配置。另外，在图18所示的应用示例中，图像处理部22被设置在集成控制单元7600中。利用这种配置，即使成像部7410、7910、7912、7914、7916和7918被小型化和纤薄化，仍可以获取高性能的拍摄图像；因此，所获取的捕获图像可以用于驾驶辅助、驾驶控制等。注意，图像处理部22可以被实现在用于图18中所示的集成控制单元7600的模块(例如，配置有一个管芯的集成电路模块)中。

说明书中描述的一系列处理可以由硬件、软件或者硬件和软件二者合成的配置来执行。在通过软件执行处理的情况下，将记录处理序列的程序安装到并入要执行的专用硬件的计算机内的存储器中。替选地，程序可以通过被安装到能够执行各种类型的处理的通用计算机中来执行。

例如，可以将程序预先记录到用作存储介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。替选地，可以将程序临时或持久地存储(记录)到例如下述可移除记录介质中：软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(BD)(注册商标)、磁盘或半导体存储卡。这种可移除记录介质可以以所谓的封装软件的形式提供。

此外，程序不仅可以从可移除记录介质安装到计算机中，而且还可以通过诸如局域网(LAN)或因特网之类的网络从下载网站通过无线或有线传输方式传输到计算机。计算机可以接收以这种方式传送的程序，并且将程序安装在诸如计算机中包括的硬盘之类的记录介质中。

本说明书中描述的效果仅作为示例给出，并且效果不限于说明书中描述的效果并且可以包含额外的效果。另外，本技术不应限制对上述技术的实施方式的解释。本技术的实施方式以示例的形式公开了本技术，并且明显的是，本领域普通技术人员可以在本技术的范围内构思对实施方式的修改和变更。换言之，应该参考权利要求书以用于评估本技术的范围。

另外，本技术的图像处理设备可以采用以下配置。

(1)1.一种图像处理设备，包括：

特性差异校正部，将由第一成像部生成的学习图像的图像数据和由与所述第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，所述特性差异校正部根据用于使所述学生数据的特性与所述教师数据的特性相同的学习模型，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。

(2)根据(1)所述的图像处理设备，还包括：

视差检测部，其使用由所述特性差异校正部进行过特性差异校正的图像数据来检测所述第一成像部与所述第二成像部之间的视差；以及

视差补偿部，其基于由所述视差检测部检测的视差检测结果对由所述第一成像部和所述第二成像部生成的图像数据执行视差补偿。

(3)根据(2)所述的图像处理设备，其中，

所述视差补偿部对由所述第一成像部生成的图像数据和由所述第二成像部生成的图像数据中的一个执行所述视差补偿，并且

所述特性差异校正部将另一个图像数据的分辨率校正为经过对在检测所述视差时使用的图像数据进行所述视差补偿的图像数据的分辨率。

(4)根据(2)或(3)所述的图像处理设备，还包括：

图像合成部，将学习图像的图像数据假设为教师数据并且将由所述第一成像部生成的学习图像的图像数据以及由所述第二成像部生成的学习图像的图像数据假设为学生数据，所述图像合成部根据用于使多条所述学生数据的合成数据的特性与所述教师数据的特性相同的学习模型，使用通过学习预先生成的合成控制参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据进行合成。

(5)根据(4)所述的图像处理设备，其中，

所述图像合成部在对由所述第一成像部和所述第二成像部生成的图像数据进行的所述视差补偿之后对所述图像数据执行合成。

(6)根据(4)或(5)所述的图像处理设备，其中，

所述特性差异校正部使用通过预先学习生成的用于使所述学生数据的特性与所述教师数据的特性相同的特性差异校正参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据，并且

所述图像合成部使用通过学习预先生成的用于使所述多条学生数据的合成数据的特性与所述教师数据的特性相同的合成控制参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据进行合成。(7)根据(1)至(6)中任一项所述的图像处理设备，其中，

所述性能包括图像质量性能，并且

所述特性差异校正部执行与所述图像质量性能相关的特性差异的校正。

(8)根据(7)所述的图像处理设备，其中，

作为与所述图像质量性能相关的特性差异的校正，所述特性差异校正部对作为颜色空间差异和区域差异中的至少一个的特性差异执行校正。

(9)根据(8)所述的图像处理设备，其中，

所述第一成像部生成捕获黑白图像的图像数据，

所述第二成像部生成捕获彩色图像的指示像素处的一个颜色分量的图像数据，并且

所述特性差异校正部使所述捕获彩色图像的图像数据的灵敏度高于由所述第二成像部生成的图像数据的灵敏度，作为相对于所述区域差异的特性差异的校正。

(10)根据(1)至(9)中任一项所述的图像处理设备，其中，

所述性能包括功能性能，并且

所述特性差异校正部执行与所述功能性能相关的特性差异的校正。

(11)根据(10)所述的图像处理设备，其中，

作为与所述功能性能相关的特性差异的校正，所述特性差异校正部执行由视角、焦距、聚焦控制、光圈控制和白平衡控制中的至少任何一个的差异引起的特性差异的校正。

[工业适用性]

在本技术的图像处理设备和图像处理方法中，将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，根据用于使学生数据的特性与教师数据的特性相同的学习模型，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。因此，与由多个成像部分别生成的捕获图像相比，可以使用分别生成的捕获图像的图像数据来生成具有改进性能的捕获图像的图像数据。因此，本技术适用于使用成像部的设备以及需要使成像部小型化或纤薄化的设备。

附图标记列表

10 信息处理终端

21-1、21-2 成像部

22 图像处理部

23 传感器部

24 通信部

25 显示部

26 触摸板

27 操作部

28 存储部

30 控制部

50、60 学习设备

51、61 第一成像模拟部

52、62 第二成像模拟部

53 第一特性差异校正参数生成部

54 第二特性差异校正参数生成部

63 合成控制参数生成部

221 显影处理部

222 特性差异校正部

222-1 第一特性差异校正部

222-2 第二特性差异校正部

223 视差检测部

224 视差补偿部

225 图像合成部

7000 车辆控制***

Claims (13)

1.一种图像处理设备，包括：

特性差异校正部，其将由第一成像部生成的学习图像的图像数据和由与所述第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一种图像数据假设为教师数据并且将另一种图像数据假设为学生数据，所述特性差异校正部根据用于使所述学生数据的特性与所述教师数据的特性相同的学习模型，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据；以及

图像合成部，其根据用于使多种学生数据的合成数据的特性与教师数据的特性相同的学习模型，将学习图像的图像数据假设为所述教师数据并且将由所述第一成像部生成的学习图像的图像数据以及由所述第二成像部生成的学习图像的图像数据假设为所述学生数据，使用通过预先学习生成的合成控制参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据进行合成。

2.根据权利要求1所述的图像处理设备，还包括：

视差检测部，其使用由所述特性差异校正部进行过特性差异校正的图像数据来检测所述第一成像部与所述第二成像部之间的视差；以及

视差补偿部，其基于由所述视差检测部检测的视差检测结果对由所述第一成像部和所述第二成像部生成的图像数据执行视差补偿。

3.根据权利要求2所述的图像处理设备，其中，

所述视差补偿部对由所述第一成像部生成的图像数据和由所述第二成像部生成的图像数据中的一种图像数据执行所述视差补偿，并且

所述特性差异校正部针对在检测所述视差时使用的图像数据，将另一种图像数据的分辨率校正为进行所述视差补偿的图像数据的分辨率。

4.根据权利要求2所述的图像处理设备，其中，

所述图像合成部在对由所述第一成像部和所述第二成像部生成的图像数据进行的所述视差补偿之后对该图像数据执行合成。

5.根据权利要求1所述的图像处理设备，其中，

所述特性差异校正部使用通过预先学习生成的用于使所述学生数据的特性与所述教师数据的特性相同的特性差异校正参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据，并且

所述图像合成部使用通过预先学习生成的用于使所述多种学生数据的合成数据的特性与所述教师数据的特性相同的合成控制参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据进行合成。

6.根据权利要求1所述的图像处理设备，其中，

所述性能包括图像质量性能，并且

所述特性差异校正部执行与所述图像质量性能相关的特性差异的校正。

7.根据权利要求6所述的图像处理设备，其中，

作为与所述图像质量性能相关的特性差异的校正，所述特性差异校正部对作为颜色空间差异和区域差异中的至少一个的特性差异执行校正。

8.根据权利要求7所述的图像处理设备，其中，

所述第一成像部生成黑白捕获图像的图像数据，

所述第二成像部生成像素表示一种颜色分量的彩色捕获图像的图像数据，并且

作为相对于所述区域差异的特性差异的校正，所述特性差异校正部使所述彩色捕获图像的图像数据的灵敏度高于由所述第二成像部生成的图像数据的灵敏度。

9.根据权利要求1所述的图像处理设备，其中，

所述性能包括功能性能，并且

所述特性差异校正部执行与所述功能性能相关的特性差异的校正。

10.根据权利要求9所述的图像处理设备，其中，

作为与所述功能性能相关的特性差异的校正，所述特性差异校正部执行由视角、焦距、聚焦控制、光圈控制和白平衡控制中的至少任何一个的差异引起的特性差异的校正。

11.一种图像处理方法，包括：

将由第一成像部生成的学习图像的图像数据和由与所述第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一种图像数据假设为教师数据并且将另一种图像数据假设为学生数据，根据用于使所述学生数据的特性与所述教师数据的特性相同的学习模型，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据；以及

根据用于使多种学生数据的合成数据的特性与教师数据的特性相同的学习模型，将学习图像的图像数据假设为所述教师数据并且将由所述第一成像部生成的学习图像的图像数据以及由所述第二成像部生成的学习图像的图像数据假设为所述学生数据，使用通过预先学习生成的合成控制参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据进行合成。

12.一种学习设备，包括：

特性差异参数生成部，所述特性差异参数生成部通过学习生成用于使学生数据的特性与教师数据的特性相同的特性差异校正参数，其中，将以下图像数据中的一种图像数据假设为所述教师数据并且将另一种图像数据假设为所述学生数据：由第一成像模拟部根据学习图像的图像数据生成的由第一成像部捕获所述学习图像而得到的图像数据；以及由第二成像模拟部根据学习图像的图像数据生成的由第二成像部捕获所述学习图像而得到的图像数据；以及

合成控制参数生成部，其将所述学习图像的图像数据假设为教师数据并且将由所述第一成像模拟部生成的图像数据以及由所述第二成像模拟部生成的图像数据假设为学生数据，所述合成控制参数生成部通过学习生成用于使多种所述学生数据的合成数据与所述教师数据相同的合成控制参数。

13.一种学习方法，包括：

由特性差异参数生成部通过学习生成用于使学生数据的特性与教师数据的特性相同的特性差异校正参数，其中，将以下图像数据中的一种图像数据假设为所述教师数据并且将另一种图像数据假设为所述学生数据：由第一成像模拟部根据学习图像的图像数据生成的由第一成像部捕获所述学习图像而得到的图像数据；以及由第二成像模拟部根据学习图像的图像数据生成的由第二成像部捕获所述学习图像而得到的图像数据；以及

由合成控制参数生成部将所述学习图像的图像数据假设为教师数据并且将由所述第一成像模拟部生成的图像数据以及由所述第二成像模拟部生成的图像数据假设为学生数据，由所述合成控制参数生成部通过学习生成用于使多种所述学生数据的合成数据与所述教师数据相同的合成控制参数。

Images