CN111355942B - 半导体设备、图像处理***、方法和计算机可读存储介质 - Google Patents

半导体设备、图像处理***、方法和计算机可读存储介质 Download PDF

Info

Publication number
CN111355942B
CN111355942B CN201911157844.6A CN201911157844A CN111355942B CN 111355942 B CN111355942 B CN 111355942B CN 201911157844 A CN201911157844 A CN 201911157844A CN 111355942 B CN111355942 B CN 111355942B
Authority
CN
China
Prior art keywords
image data
image
processing
estimation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911157844.6A
Other languages
English (en)
Other versions
CN111355942A (zh
Inventor
川口裕史
高桥明秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN111355942A publication Critical patent/CN111355942A/zh
Application granted granted Critical
Publication of CN111355942B publication Critical patent/CN111355942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及半导体设备、图像处理***、方法和计算机可读存储介质。一种半导体设备包括：图像获取电路，其获取通过捕获多个图像而获得的多个捕获的图像数据；估计源图像生成电路，其消除每个捕获的图像数据上的初始色彩调整处理的效果，以生成多个估计源图像的图像数据；重新调整电路，其将每个估计源图像划分为多个处理区域，以对每个处理区域执行色彩平衡重新调整处理；以及图像合成电路，其合成多个估计源图像的图像数据，使得估计源图像中包括的重叠区域彼此重叠，以生成经合成的图像的图像数据。

Description

半导体设备、图像处理***、方法和计算机可读存储介质
相关申请的交叉引用
于2018年12月21日提交的日本专利申请号2018-239560的公开内容，包括其说明书、附图和摘要，通过引用以整体并入本文。
背景技术
本公开涉及一种半导体设备、一种图像处理方法和一种计算机可读存储介质。
用于通过多个相机同时捕获单个场景的图像，并且通过执行合成或几何变换来显示该捕获的图像的图像处理技术已经普及。在汽车中，通过使用这种技术以允许驾驶员容易地识别汽车周围的***正在变得普及。这种图像处理技术的一个示例是环绕视图***。环绕视图***显示例如是如同从正上方观看的、由驾驶员操作的汽车周围的、360度场景的二维图像的环绕视图。查看环绕视图可以使驾驶员直观地识别存在于汽车周围的对象。因此，环绕视图***作为有助于改善汽车安全性的技术而迅速普及。
附带地，在多个相机同时捕获周围场景的图像的情况下，对于由相机捕获的图像的每个图像捕获区域，照明的色彩可以不同。此外，每个相机具有对捕获的图像执行色彩平衡处理的功能。也就是说，每个相机可以使用与另一相机不同的色彩平衡来处理捕获的图像。因此，当合成由多个相机捕获的图像时，存在对一种用于合成经过不同色彩平衡处理的多个图像且不产生不适感的技术的需要。
例如，日本未审查专利申请公开号2008-079248中的合成视频显示设备，通过对合成视频中的重叠的捕获像素的像素值进行统计来计算第一统计值和第二统计值，并且通过将第一统计值和第二统计值的平均值除以第一统计值，来计算目标增益。然后，合成视频显示设备将调整增益从1改变为目标增益，调整增益用于从拍摄像素到重叠拍摄像素而执行的图像调整处理，拍摄像素对应于已经拍摄作为图像调整目标的视频的拍摄设备的光轴。
发明内容
然而，在日本未审查专利申请公开号2008-079248中描述的技术中，色彩平衡处理是基于与拍摄设备的光轴相对应的拍摄像素来执行。因为这个原因，随着距拍摄设备的光轴的距离的增加，日本未审查专利申请公开号2008-079248中描述的技术可能不能执行适当的色彩平衡处理。例如，在合成通过拍摄汽车的前侧而获得的图像、以及通过拍摄汽车的左侧而获得的图像的情况下，作为重叠区域的在汽车的左前侧的区域，可能使用与其他区域不同的色彩来发光。在这种情况下，在日本未审查专利申请公开号2008-079248中描述的技术不能执行适合于整个图像的色彩平衡处理。
根据本说明书的描述和附图，其他目的和新特征将变得很清楚。
根据一个实施例的一种半导体设备包括图像获取电路，其获取通过捕获多个图像而获得的多个捕获的图像数据。每个捕获的图像数据是在其上已经进行了初始色彩调整处理的图像数据。每个图像自身的图像的图像捕获区域中包括重叠区域。重叠区域是图像的图像捕获区域彼此重叠的区域。该半导体设备还包括：估计源图像生成电路，其消除每个捕获的图像数据上的初始色彩调整处理的效果，以生成多个估计源图像的图像数据；重新调整电路，将每个估计源图像划分为多个处理区域，以对每个处理区域执行色彩平衡重新调整处理；以及图像合成电路，其合成多个估计源图像的图像数据，使得被包括在估计源图像中的重叠区域彼此重叠，以生成经合成的图像的图像数据。
根据另一实施例的半导体设备是一种用于合成第一捕获的图像数据和第二捕获的图像数据的半导体设备，第一捕获的图像数据和第二捕获的图像数据均包括重叠区域的捕获的图像数据。第一捕获的图像数据是通过捕获第一图像捕获区域的图像而获得的数据。第二捕获的图像数据是通过捕获第二图像捕获区域的图像而获得的数据。重叠区域是第一图像捕获区域和第二图像捕获区域彼此重叠的区域。该半导体设备包括：图像数据获取电路，其获取在其上已经执行过了初始色彩调整处理的第一捕获的图像数据和第二捕获的图像数据；估计源图像生成电路，其消除在第一捕获的图像数据和第二捕获的图像数据上执行的初始色彩调整处理的效果，以生成第一估计源图像的图像数据和第二估计源图像的图像数据；重新调整电路，其将第一估计源图像和第二估计源图像中的每一项划分为多个处理区域，并且在第一估计源图像的图像数据和第二估计源图像的图像数据中的每一项上，针对每个处理区域来执行色彩平衡重新调整处理；以及图像合成电路，合成第一估计源图像的图像数据和第二估计源图像的图像数据，使得被包括在第一估计源图像中的、与重叠区域相关联的区域与被包括在第二估计源图像中的、与重叠区域相关联的区域彼此重叠，以生成经合成的图像的图像数据。
根据又一实施例的一种图像处理方法包括获取通过捕获多个图像而获得的多个捕获的图像数据。每个捕获的图像数据是在其上已经执行过初始色彩调整处理的图像数据。每个图像在该图像自身的图像捕获区域中包括重叠区域。重叠区域是图像的图像捕获区域彼此重叠的区域。该图像处理方法还包括：消除每个捕获的图像数据的初始色彩调整处理的效果，以生成多个估计源图像的图像数据；将每个估计源图像划分为多个处理区域，以对每个处理区域执行色彩平衡重新调整处理；以及合成多个估计源图像的图像数据，使得被包括在估计源图像中的重叠区域彼此重叠，以生成经合成的图像的图像数据。
根据一个实施例，可以提供一种半导体设备或类似物，用于执行适合于整个图像的色彩平衡处理。
附图说明
图1是根据第一实施例的配备有图像处理***的汽车的概览。
图2是根据第一实施例的图像处理***的示意性配置图。
图3是根据第一实施例的半导体设备的功能框图。
图4是示出根据第一实施例的半导体设备的处理的流程图。
图5是示出了由图像处理***的相机捕获的图像捕获区域的一个示例的图。
图6是示出了由前方相机生成的图像数据的一个示例的图。
图7是示出了由左侧相机生成的图像数据的一个示例的图。
图8是示出了在由半导体设备执行的匹配增益计算时的一系列处理的流程图。
图9是示出了重叠区域中的处理区域不完全重叠的一个示例的图。
图10是示出了使用相邻区域的插值处理的一个示例的图。
图11是示出了在图像的末端处的插值处理的示例的图。
图12是示出了根据第一实施例的、对图像执行几何变换处理的一个示例的图。
图13是示意性地示出根据第一实施例的、执行用于合成图像的处理的一个示例的图。
图14是根据第一实施例的一个修改的汽车的概览。
图15是根据第二实施例的半导体设备的功能框图。
图16是示出了根据第二实施例的半导体设备的处理的流程图。
具体实施方式
为了描述的清楚，适当地省略和简化了以下描述和附图。另外，在附图中被示出为用于执行各种类型的处理的功能块的每个元件能够由中央处理单元(CPU)、存储器和其他硬件电路来配置，其可以实现为以软件的形式的被加载到存储器等中的程序等。因此，本领域技术人员将理解，这些功能块能够通过仅硬件，仅软件或硬件和软件的组合以各种形式来实现，并且不限于它们中的任何一个。因此，在下面的描述中，示出为电路的配置可以由硬件或软件或两者来实现，并且示出为用于实现某种功能的电路的配置还可以示出为用于实现类似功能的软件的一部分。例如，描述为控制电路的配置可以描述为控制单元。附带的，在各个附图中，相同的标号被分配给相同的元素，并且根据需要省略其重复描述。
第一实施例
参考图1和2，将描述第一实施例的配置的概述。图1是根据第一实施例的配备有图像处理***的汽车的概述。图像处理***10安装在图中所示的汽车1上。该图是汽车1的俯视图。图的上侧是汽车1的前侧。图的左侧是汽车1的左侧。图的下侧是汽车1的后侧。图的右侧是汽车1的右侧。
图2是根据第一实施例的图像处理***的示意性配置图。图2示意性地示出了安装在汽车1上的、图像处理***10的主要硬件配置。在下文中，将参考图1和2描述图像处理***10的每种配置。
图像处理***10是用于以下操作的***：捕获汽车1的周围的图像，对捕获的图像数据执行预定处理，并且将处理后的图像显示给驾驶员等。图像处理***10包括相机11F、相机11L、相机11B、相机11R、显示设备12和半导体设备100，作为图像处理***10的主要部件。
相机11F、相机11L、相机11B和相机11R是用于相应地捕获汽车1周围的场景的成像设备。这四个相机中的每个相机包括透镜、用于将图像转换为电信号的图像元件、用于根据由图像元件生成的电信号来生成图像数据的图像信号处理器(ISP)等。ISP是用于相对于由图像元件生成的电信号，针对每个像素来适当地图像质量的图像信号处理设备。利用这种配置，每个相机根据预设算法自动地调整色彩平衡等，并且输出经调整的图像数据。也就是说，难以识别在室内特殊照明环境下或在日落时拍摄的对象。另一方面，ISP具有通过执行算法来改变每个像素的R、G和B中的每个的信号水平的功能，因此可以像通过自然光(白光)拍摄的对象一样轻松地识别对象。
此外，四个相机处理图像数据以符合预定文件格式。例如，预定文件格式是可交换图像文件格式(Exif)。被处理以符合Exif的图像数据包括诸如捕获日期和时间、相机型号、光圈值、像素数目以及色彩调整增益等信息、以及捕获的图像数据。由ISP执行的色彩调整处理也称为初始色彩调整处理、自动白平衡(AWB)处理或色彩平衡处理。符合Exif的图像数据被配置为使得能够基于这样的信息来执行数据管理、设备之间的数据交换、以最佳设置的数据输出等。此外，这四个相机中的每个相机连接到半导体设备100，并且将所生成的图像数据供应给半导体设备100。
在四个相机中，相机11F安装在汽车1的前侧以便捕获汽车1的前方的图像。类似地，相机11L安装在汽车1的左侧以便捕获汽车1的左侧的图像。类似地，相机11B安装在汽车1的后侧以便捕获汽车1的后方的图像，并且相机11R安装在汽车1的右侧以便捕获汽车1的右侧的图像。
注意，四个相机中的每个包括重叠图像捕获区域。由于捕获汽车1的前方的图像的相机11F、以及捕获汽车1的左侧的图像的相机11L均捕获汽车1的左前方的图像，因此，相机11F和相机11L的图像捕获区域在汽车1的左前部中彼此重叠。类似地，相机11L的图像捕获区域和相机11B的图像捕获区域在汽车1的左后部中彼此重叠。类似地，相机11B的图像捕获区域和相机11R的图像捕获区域在汽车1的右后部中彼此重叠，并且相机11R的图像捕获区域和相机11F的图像捕获区域在汽车1的右前部中彼此重叠。如上所述，由于四个相机每个包括重叠区域，因此图像处理***10捕获汽车1的前部、后部、左侧和右侧的图像，而没有间断。
半导体设备100从四个相机获取图像数据，对所获取的图像数据执行预定处理，并且将处理后的图像数据输出到显示设备12。半导体设备100配置为包括CPU、存储器等在内的电组件，并且安装在汽车1的任何位置。半导体设备100包括图像数据获取接口(IF)110、处理器120、内部存储器130和图像数据输出IF 140，来作为半导体设备100的主要部件。半导体设备100的每个组件通过内部总线彼此连接。
图像数据获取IF 110是用于从上述四个相机获取图像数据的接口。当图像数据获取IF 110从相机获取图像数据时，图像数据获取IF110将获取的图像数据供应给处理器120或内部存储器130。
处理器120是用于与内部存储器130协作地、对从相机获取的图像数据执行预定处理的算术单元。作为主要功能，处理器120通过消除(cancel)在所获取的图像数据上的初始色彩调整的效果，来生成估计源图像数据。另外，处理器120将估计源图像数据(估计源图像)划分为处理区域，该处理区域具有预先设置的多个像素，处理器120针对每个处理区域再次执行色彩平衡调整处理，并且合成图像数据，使得重叠区域彼此重叠以生成经合成的图像。
内部存储器130是用于与处理器120协作来临时存储图像数据的存储单元。内部存储器130通过易失性存储器(诸如动态随机存取存储器(DRAM)或同步动态随机存取存储器(SDRAM))、非易失性存储器(诸如闪存)或其组合来配置。图像数据输出IF 140是用于将由处理器生成的处理后的图像数据输出到显示设备的接口。
显示设备12是用于显示从半导体设备100接收到的图像数据的设备，并且包括图像数据输入电路、显示单元、显示驱动器等。显示单元例如通过液晶面板、有机电致发光(EL)面板、平视显示器(HUD)等来配置。例如，显示设备12安装在驾驶员容易看到的、例如仪表板、中央仪表盘等上。
接下来，将描述半导体设备100的功能和由半导体设备100执行的处理。图3是根据第一实施例的半导体设备的功能框图。半导体设备100包括图像数据获取单元101、估计源图像生成单元102、重新调整单元103、色彩插值单元104、几何变换单元105、图像合成单元106和输出单元107，其作为半导体设备100的主要功能块。
图4是示出了根据第一实施例的半导体设备的处理的流程图。半导体设备100通过图3所示的功能块来实现图4的处理。下面将参考图3的功能块来描述图4的处理。
首先，图像数据获取单元101从上述四个相机获取图像数据(步骤S10)。由图像数据获取单元101获取的图像数据具有符合Exif的文件格式。例如，图像数据包括由联合图像专家组(JPEG)格式的多个像素组成的图像。多个像素中的每个像素具有R、G和B的三个信号水平。此外，图像数据包括诸如AWB增益等信息。图像数据获取单元101将获取的图像数据供应给估计源图像生成单元102。
在此，将描述用于导出被包括在图像数据中的AWB增益的一个示例。相机的ISP从图像元件接收由多个像素组成的图像。图像中包括的多个像素中的每个像素具有R、G和B的三个信号水平。每个信号水平由8位灰度(0-255)表示。在此，图像的R的一组信号水平由R0表示。类似地，图像的信号G的一组信号水平由G0表示，并且图像的信号B的一组信号水平由B0表示。当相机的ISP从图像拾取设备接收图像时，ISP从图像的中央部分提取无彩色区域。在本公开中，术语“无彩色(achromatic color)”是指这样的色彩，其中RGB的每个信号水平的最大值与最小值之间的差值小于预设值。例如，本公开中的无彩色可以是这样的色彩，其中RGB中的每个信号水平的最大值与最小值之间的差值小于10。在此，由ISP提取的无彩色区域中的R的一组信号水平限定为C_R0。类似地，无彩色区域中的G的一组信号水平限定为C_G0，并且无彩色区域中的B的一组信号水平限定为C_B0。自然地，所提取的无彩色区域的多个像素被包括在构成图像的多个像素中。相机的ISP确定AWB增益以调整色彩平衡，以使得该无彩色区域接近白色。在本公开中，“白色”表示这样的色彩，其中R、G和B的信号水平之间的差值基本上是0。具体地，ISP确定将要乘以C_R0、C_G0和C_B0的积分值的AWB增益(参数)α、γ和β，使得以下等式中的各个积分值相等。
[等式1]
α∫图像的中央C_R0＝γ∫图像的中央C_G0＝β∫图像的中央C_B0
ISP将以这种方式确定的每个AWB增益(参数)α、γ和β乘以整个图像的像素的信号水平R、G和B中的每一者。作为结果，图像的R的一组信号水平改变为R1，图像的G的一组信号水平改变为G1，并且图像的B的一组信号水平改变为B1。并且，生成包括R1、G1和B1的图像。该图像是被包括在上述图像数据中的图像。
[等式2]
应当注意，最后，通常由诸如显示器或打印机等输出设备的色彩设置来确定要显示的何种色彩白。以这种方式，ISP生成像素信号，其中从图像元素接收到的像素信号的色彩平衡被调整。然后，ISP输出图像数据，该图像数据通过向所生成的像素信号添加与Exif相对应的各种类型的信息而获得。
以上处理是普通相机中的AWB处理的一个示例。在本公开的四个相机中，执行了相同的处理。也就是说，四个相机中的每个相机均执行AWB处理。因此，由四个相机确定的AWB增益的值不一定相同。
接下来，将参考图5描述图像的图像捕获区域。图5是示出由图像处理***中包括的相机来成像的成像区域的一个示例的图。安装在汽车1的前侧中的相机11F被设置以便在图像捕获区域300F中捕获图像。类似地，安装在汽车1的左侧的相机11L被设置以在图像捕获区域300L中捕获图像，安装在后侧的相机11B被设置以在图像捕获区域300B中捕获图像，并且安装在右侧的相机11R被设置以在图像捕获区域300R中捕获图像。
此外，重叠区域300FL是相机11F的图像捕获区域300F和相机11L的图像捕获区域300L重叠的区域。类似地，重叠区域300LB是相机11L的图像捕获区域300L和相机11B的图像捕获区域300B重叠的区域。类似地，重叠区域300BR是相机11B的图像捕获区域300B和相机11R的图像捕获区域300R重叠的区域。重叠区域300RF是相机11R的图像捕获区域300R和相机11F的图像捕获区域300F重叠的区域。
如上所述，由四个相机捕获的图像可以包括重叠区域，而四个相机可以确定不同的AWB增益。因此，例如，当由用于捕获正面图像的相机11F所确定的AWB增益、以及由用于捕获左侧图像的相机11L所确定的AWB增益彼此不同时，被包括在图像捕获区域300F中的重叠区域300FL的色彩平衡与被包括在图像捕获区域300L中的重叠区域300FL的色彩平衡彼此不同。
接下来，半导体设备100获取每个图像数据的区域信息(步骤S11)。区域信息是用于限定从每个相机、在具有预先设置的多个像素的区域中所获取的图像数据中包括的像素信号的信息。例如，区域信息包括例如关于将要获取的图像数据的视角和重叠区域的信息，并且被预先存储在内部存储器130中。因此，例如，半导体设备100将预先存储的区域信息与从相机11F获取的图像数据相比较，从而在预设区域中限定被包括在图像数据中的像素信号。
将参考图6和7描述区域信息。图6是示出令人由前方相机(相机11F)生成的图像数据的一个示例的图。图中所示的图像数据301F是通过相机11F采集图像捕获区域300F的图像而生成的。在图像数据301F中，由于相机11F的广角镜头的像差的影响而产生桶形失真。在本实施例中，图像数据以桶形失真的形式示出，但是从相机提供的图像数据通常是矩形的。在此，为了容易理解，在稍后描述的显示区域中使用的部分的图像数据是在矩形图像数据中提取和描述。
图像数据301F沿着桶形失真被分成栅格状区域。在本实施例中，从图像的左上方开始，将图像数据301F在水平方向上划分为32个并且在竖直方向上划分为12个。下文中将每个划分得到的区域称为处理区域。也就是说，图像数据301F划分为384(＝32×12)个处理区域。在此，为了便于解释，图像数据301F在水平方向上被赋予从FC1至FC32的编号，并且在竖直方向上被赋予从FR1至FR12的编号。例如，图像数据301F的左上部被指示为处理区域(FC1，FR1)。处理区域由重新调整单元103生成。换言之，重新调整单元103根据区域信息将图像数据301F划分为多个处理区域。
在图中用粗框指示的重叠区域301FL是与图5所示的重叠区域300FL相对应的区域。重叠区域301FL占据从处理区域(FC1，FR1)到处理区域(FC12，FR12)的范围。类似地，在图中用粗框指示的重叠区域301RF是与图5所示的重叠区域300RF相对应的区域。重叠区域301RF占据从处理区域(FC21，FR1)到处理区域(FC32，FR12)的范围。
图7是示出由左侧相机(相机11L)生成的图像数据的示例的图。图中所示的图像数据301L是通过相机11L捕获图像捕获区域300L的图像而生成的。注意，图7所示的图像数据也如图6的描述，被划分为具有多个像素的处理区域，并且在水平方向和竖直方向上的相应区域被赋予编号，以便能够指示该相应地区域。也就是说，图像数据301L在水平方向上划分为12个，在竖直方向上划分为48个，并且被划分为576(＝12×48)个处理区域。图像数据301L的左上部表示为处理区域(LC1，LR1)，并且图像数据301L的右下部表示为处理区域(LC12，LR48)。
在图中用粗框指示的重叠区域301LF是与图5所示的重叠区域300FL相对应的区域。重叠区域301LF占据从处理区域(LC1，LR1)到处理区域(LC12，LR12)的范围。类似地，在图中用粗框指示的重叠区域301LB是与图5所示的重叠区域300LB相对应的区域。重叠区域301LB占据从处理区域(LC1，LR37)到处理区域(LC12，LR48)的范围。
接下来，将描述重叠区域之间的对应关系。图6中所示的图像数据301F的重叠区域301FL与图7中所示的图像数据301L的重叠区域301LF具有对应关系。更具体地，图像数据301F的处理区域(FC1，FR1)对应于图像数据301L的处理区域(LC1，LR1)，并且它们是通过捕获共享区域的图像而获得的图像数据。类似地，图像数据301F的处理区域(FC12，FR1)对应于图像数据301L的处理区域(LC12，LR1)。类似地，图像数据301F的处理区域(FC1，FR12)对应于图像数据301L的处理区域(LC1，LR12)。图像数据301F的处理区域(FC12，FR12)对应于图像数据301L的处理区域(LC12，LR12)。
区域信息包括能够限定上述图像数据中的每个图像数据的处理区域和重叠区域的信息。因此，半导体设备100获取区域信息，限定每个图像数据的处理区域和重叠区域，并且确定重叠区域之间的对应关系。
接下来，估计源图像生成单元102根据以下步骤，针对接收到的图像数据中的每个图像数据，执行生成估计源图像数据的处理。估计源图像生成单元102确定所接收的图像数据中是否包括AWB增益值(步骤S12)。在此，术语“AWB增益值”表示AWB增益的特定值，并且不包括诸如“自动”等信息。
当关于AWB增益的信息未包括在图像数据中时(步骤S12中为“否”)，估计源图像生成单元102计算匹配增益(步骤S13)。通过计算匹配增益并且使用所计算的匹配增益，半导体设备100可以消除由ISP在图像数据上执行的初始色彩调整处理的效果。
将参考图8描述步骤S13中的处理的细节。图8是示出了在由半导体设备执行的匹配增益的计算时的一系列处理的流程图。下面以任意图像的图像数据作为一个示例，来说明计算匹配增益时的一系列处理。在此处描述的示例中，在处理进行的同时，图像数据的水平方向上的处理区域的坐标从0到Hmax依次递增，并且图像数据的竖直方向上的处理区域的坐标从0到Vmax依次递增。
首先，估计源图像生成单元102确定给定处理区域的水平方向上的坐标是否小于Hmax+1(步骤S130)。当确定处理区域的水平方向上的坐标小于Hmax+1时(步骤S130中为“是”)，估计源图像生成单元102确定竖直方向上的坐标是否小于Vmax+1(步骤S131)。当竖直方向上的坐标小于Vmax+1时(步骤S131中为“是”)，估计源图像生成单元102确定处理区域是否被包括在重叠区域中(步骤S132)。当确定处理区域被包括在重叠区域中时(步骤S132中为“是”)，估计源图像生成单元102获取与与处理区域(m，n)相对应的处理区域(s，t)的R、G和B中的每个的信号水平相关的数据(步骤S133)。例如，此处处理的与处理区域(m，n)中的R、G和B中的每一项的信号水平相关的、以及与处理区域(s，t)中的R、G和B中的每一项的信号水平相关的数据，是针对R、G和B中的每一项，通过对在具有多个像素的处理区域中的、特定像素的信号水平求平均而获得的值。特定像素是具有无彩色并且亮度值高于预设值的像素。此外，预设值是例如256个灰度中的200个或更多个。另外，当在每个处理区域中没有足够的特定像素时(例如，5％或更多)，则认为没有充分获得用于估计原始光源的信息，并且在该处理区域中没有计算出稍后将描述的匹配增益。
接下来，估计源图像生成单元102根据与上述处理区域(m，n)的R、G和B中的每一项的信号水平相关的数据、以及与处理区域(s，t)的R、G和B中的每一项的信号水平相关的数据，来计算匹配增益(步骤S134)。在此，例如，图像数据301F中包括的处理区域(m，n)中的每种色彩的信号水平、以及图像数据301L中包括的处理区域(s，t)中的每种色彩的信号水平可以由以下等式来限定。
[等式3]
在此，α是针对图像数据301F的R信号的AWB增益(参数)，γ是针对图像数据301F的G信号的AWB增益(参数)，并且β是针对图像数据301F的B信号的AWB增益(参数)。F(m,n)_R是通过对区域(m，n)中的、无彩色并且亮度值高于预设值的像素R的信号水平求平均而获得的值。F(m,n)_G是通过对区域(m，n)中的、无彩色并且亮度值高于预设值的像素G的信号水平求平均而获得的值，并且F(m,n)_B是通过对区域(m，n)中的、无彩色并且亮度值高于预设值的像素B的信号水平求平均而获得的值。α'是针对图像数据301L的R信号的AWB增益(参数)，γ'是针对图像数据301L的G信号的AWB增益(参数)，并且β'是针对图像数据301L的B信号的AWB增益(参数)。L(s,t)_R是通过对区域(s，t)中的、无彩色并且亮度值高于预设值的像素R的信号水平求平均而获得的值。L(s,t)_G是通过对区域(s，t)中的、无彩色并且亮度值高于预设值的像素G的信号水平求平均而获得的值，并且L(s,t)_B是通过对区域(s，t)中的、无彩色并且亮度值高于预设值的像素的B的信号水平求平均而获得的值。如等式3所示，与重叠区域相对应的区域的像素信号分别乘以由相机的ISP所施加的AWB增益的倒数，并且成为在调整色彩平衡之前的像素信号。结果，对应区域之间的每种色彩的信号水平彼此相等。
使用上述原理，根据以下等式计算相对于不包括关于AWB增益的信息的图像数据的、用于使与重叠区域相对应的区域的每种色彩的信号水平相匹配的增益。
[等式4]
在此，αFe是针对图像数据301F的处理区域(m，n)中的R信号的匹配增益(参数)。类似地，γFe是针对图像数据301F的处理区域(m，n)中的G信号的匹配增益(参数)，并且βFe是针对图像数据301F的处理区域(m，n)中的B信号的匹配增益(参数)。此外，αLe是针对图像数据301L的处理区域(s，t)中的R信号的匹配增益(参数)。类似地，γLe是针对图像数据301L的处理区域(s，t)中的G信号的匹配增益(参数)，并且βLe是针对图像数据301L的处理区域(s)中的B信号的匹配增益(参数)。
如上所述，估计源图像生成单元102为接收的图像数据中的每个图像数据计算匹配增益。然而，以上示例基于以下假定：重叠区域中具有对应关系的处理区域完全重叠。在具有对应关系的处理区域没有完全重叠并且位置偏移的情况下，如下所述通过加权来计算匹配增益。
图9是示出一个示例的图，其中重叠区域中的处理区域不完全重叠。如图所示，图像数据301F的处理区域(m，n)不完全与图像数据301L的对应处理区域(s，t)重叠，并且处理区域(m，n)相对于处理区域(s，t)向右下方移位。在这种情况下，如以下等式所示，通过加权来计算匹配增益。
[等式5]
在此，W1、W2、W3和W4是加权因子，并且W1+W2+W3+W4＝4。
返回图8，在步骤S134中计算匹配增益之后，估计源图像生成单元102使n递增以移动其中计算过匹配增益的区域(步骤S135)。在使n递增之后，估计源图像生成单元102返回到步骤S131并且继续处理。
如果在步骤S132中确定处理区域没有被包括在重叠区域中(步骤S132中为“否”)，估计源图像生成单元102进行到步骤S135，并且执行用于使n递增的处理(步骤S135)。
在步骤S131中，当n超过Vmax值时，估计源图像生成单元102确定n不小于Vmax+1(步骤S131中为“否”)，Vmax是竖直方向上的坐标的最大值。在这种情况下，估计源图像生成单元102将n设置为零并且使m递增(在步骤S136中)。然后，估计源图像生成单元102返回到步骤S130并且继续处理。在步骤S130中，当m超过Hmax值时，估计源图像生成单元102确定m不小于Hmax+1(步骤S130中为“否”)，Hmax是水平方向上的坐标的最大值。在这种情况下，估计源图像生成单元102结束这一系列处理。
在本实施例中描述的匹配增益计算的示例中，针对每个处理区域计算匹配增益。半导体设备100还可以计算以这种方式计算出的多个匹配增益的平均值。代替平均值，可以计算基于标准偏差的值，或者可以选择代表值。备选地，可以在排除异常值之后执行这些计算。此外，从计算多个匹配增益的平均值的观点出发，可以将多个区域分组为一个处理区域，并且可以针对图像数据的该多个处理区域中的每一者来计算匹配增益。
此外，例如，估计源图像生成单元102关于图像数据301L来在图像数据301F上执行上述计算处理，图像数据301L具有与图像数据301F的重叠区域相对应的重叠区域，并且类似地估计源图像生成单元102关于图像数据301R来在图像数据301F上执行上述计算处理，图像数据301R具有与图像数据301F的重叠区域相对应的重叠区域。因此，估计源图像生成单元102从所有匹配增益中为图像数据301F确定一个匹配增益。
返回图4，估计源图像生成单元102使用如上所述计算的匹配增益，来生成估计源图像(步骤S14)。通过使用匹配增益，例如，针对图像数据301F的R、G和B中的每一项的信号水平和针对图像数据301L的R、G和B中的每一项的信号水平具有以下关系。
[等式6]
在此，αFE、γFE和βFE是针对图像数据301F的匹配增益(参数)，并且αLE、γLE和βLE是针对图像数据301L的匹配增益(参数)。估计源图像生成单元102针对每个图像数据计算匹配增益，其用于使在重叠区域中的、彼此相对应的处理区域中的每种色彩的信号水平相匹配，并且将匹配增益乘以对应图像数据中包括的像素的每种色彩的信号水平。因此，估计源图像生成单元102生成估计源图像数据。如上所述，通过计算匹配增益并且使用计算的匹配增益，半导体设备100可以消除由ISP对图像数据执行的初始色彩调整处理的效果。
返回步骤12，当关于AWB增益的信息被包括在图像数据中时(步骤S12中为“是”)，估计源图像生成单元102使用AWB增益来生成估计源图像(步骤S21)。在这种情况下，估计源图像生成单元102可以通过将每个区域的像素信号乘以AWB增益的值的倒数，来消除由ISP对图像数据执行的初始色彩调整处理的效果。
接下来，如图3所示，估计源图像生成单元102使用如上所述的步骤S14或步骤S21的处理，来消除由ISP执行的初始色彩调整处理的效果，并且然后将所生成的估计源图像的图像数据提供给重新调整单元103。
接下来，如图4所示，重新调整单元103从所接收的图像数据获得每个处理区域中的重新调整增益(步骤S15)。重新调整是重新调整估计源图像数据的色彩平衡的处理。例如，相对于图像数据301F，重新调整单元103为最多384个处理区域中的每个处理区域来计算重新调整增益。
在计算重新调整增益时，首先，重新调整单元103将所接收的估计源图像的图像数据划分为处理区域，并且从划分的处理区域中，提取无彩色并且具有R、G和B的每个信号水平高于预设值的像素来作为参考像素。例如，预设值是256灰度中的200或更多。当参考像素占据处理区域中的像素的5％或更多时，重新调整单元103使用参考像素计算重新调整增益。
下面将描述计算重新调整增益的方法的一个示例。重新调整增益例如通过以下等式来计算。
[等式7]
在此，αwb、γwb和βwb是给定处理区域中的重新调整增益(参数)。AVR(R)、AVR(G)和AVR(B)是参考像素的相应的色彩的平均信号水平。此外，MIN(R，G，B)是每种色彩的平均信号水平(AVR(R)，AVR(G)，AVR(B))中的最小值。
将使用具体示例来描述重新调整增益的计算。例如，假定特定处理区域中的多个参考像素的平均信号水平是(R，G，B)＝(200，210，205)。在这种情况下，平均信号水平的最小值是200。因此，重新调整增益是(αwb，γwb，βwb)＝(200/200，200/210，200/205)＝(1，0.95，0.98)。等式7是示例，并且例如，可以将分母从参考像素的每种色彩的平均信号水平改变为最大值(在上述具体示例的情况下是210)，并且可以将分子从最小值改变为参考像素的每种色彩的平均信号水平。
在计算重新调整增益之后，重新调整单元103使用计算的重新调整增益来对每个处理区域执行重新调整处理。如果参考像素未占据处理区域中的像素的5％或更多，则使用周围的重新调整增益来执行处理。
当存在多个相邻增益作时，该多个相邻增益是相邻处理区域的重新调整增益，重新调整单元103可以计算多个相邻增益的平均值，并且使用该平均值作为针对待处理的处理区域的色彩平衡的重新调整增益。
当参考像素没有占据处理区域中的像素的5％或更多时，重新调整单元103可以存储多个过去的增益，其是与该处理区域相对应的过去使用的重新调整增益，并且可以使用过去的增益的平均值作为待处理的处理区域的重新调整增益。也就是说，图像数据获取单元101可以从多个ISP在多个不同的时间连续地获取图像数据。在这种情况下，将在预定时刻获取的图像数据称为一帧图像数据。在这种情况下，重新调整单元103可以使用如下平均值作为过去的增益：从一帧之前的处理区域中的重新调整增益至向后预设时间段内的时间点的帧的处理区域中的重新调整增益的平均值。平均值包括加权平均值和移动平均值。
在以这种方式获得每个处理区域的重新调整增益之后，重新调整单元103将图像数据与重新调整增益一起供应给色彩插值单元104。重新调整单元103划分估计源图像数据，使得一个或多个处理区域被包括在重叠区域中。通过执行这样的处理，半导体设备100可以优选地在重叠区域中执行白平衡处理。
接下来，色彩插值单元104基于从重新调整单元103接收的重新调整增益和图像数据，来在图像数据的处理区域中的每个处理区域的像素上执行色彩插值处理(步骤S16)。此时，色彩插值单元104在待处理的预定处理区域中的重新调整增益的值与相邻重新调整增益的值相差很大时，执行色彩插值处理，相邻重新调整增益是相邻处理区域的重新调整增益。这是因为，如果重新调整增益的值与相邻重新调整增益的值相差很大，则在处理区域和与其相邻的处理区域之间会出现原本不存在的边界(突然的色彩改变)。因此，对处理区域的像素执行色彩插值处理，以便抑制原本不存在的边界的出现。
将参考图10描述色彩插值处理的一个示例。图10是示出了使用相邻区域的插值处理的一个示例的图。图中所示的示例使用周围像素px1至px4，来执行对处理区域(m，n)中的给定像素px0插值处理。在图中，像素px1是在处理区域(m，n)的中央部分处的像素。此外，像素px2是在处理区域(m+1，n)的中央部分处的像素。类似地，像素px3是处理区在域(m，n+1)的中央部分处的像素，像素px4是在处理区域(m+1，n+1)的中央部分处的像素。像素px1和像素px2在竖直方向上具有相同的坐标，并且像素px1和像素px3在水平方向上具有相同的坐标。另外，像素px2和像素px4在水平方向上具有相同的坐标，并且像素px3和px4在竖直方向上具有相同的坐标。要***值的像素px0存在于由像素px1至px4形成的矩形内的任何位置。从像素px0到像素px1或像素px3的水平距离是dh0，并且从像素px0到像素px2或像素px4的水平距离是dh1。从像素px0到像素px1或像素px2的竖直距离是dv0，并且从像素px0到像素px3或像素px4的竖直距离是dv1。像素px1的重新调整增益是g1，像素px2的重新调整增益是g2，像素px3的重新调整增益是g3，像素px4的重新调整增益是g4。在上述情况下，通过以下插值处理来计算像素px0的增益。
首先，通过以下等式计算水平增益。
[等式8]
[等式9]
接下来，使用由等式8计算出的增益g12和由等式9计算出的增益g34，如下计算像素px0的增益g0。
[等式10]
色彩插值单元104通过以这种方式线性插值的重新调整增益，来计算由像素px1至px4围绕的区域中的每个像素的插值增益，并且使用计算出的插值增益来执行色彩插值处理。注意，上述插值处理仅是一个示例，并且可以执行使用双三次方法、最近邻方法等的插值处理来代替上述线性插值处理。
注意，可以将色彩插值单元104设置为不对处理区域内的预定区域执行色彩插值处理。图10所示的非插值区域BS是在处理区域m+1和n+1的中央部分处的预定区域。通过以这种方式在处理区域的中央部分处提供不执行色彩插值处理的区域，可以产生其中将优先考虑重新调整处理的结果的图像。另外，如果处理区域之间的接合(边界)明显，则可以通过减小非插值区域BS的大小并且在更大范围内执行插值处理来使接合点不明显。
除了上述色彩插值处理之外，色彩插值单元104执行针对图像数据的外边缘部分的处理区域的插值处理。图11是示出了在图像的外边缘部分处的插值处理的一个示例的图。图11示出了图像数据301F的右下部中的处理区域(FC31，FR11)、处理区域(FC32，FR11)、处理区域(FC31，FR12)和处理区域(FC32，FR12)的放大图。在图中所示的外边缘区域中，没有相邻处理区域。
在这种情况下，色彩插值单元104例如使用在处理区域(FC31，FR11)的中央部分处的像素px5、在处理区域(FC32，FR11)的中央部分处的像素px6、在处理区域(FC31，FR12)的中央部分处的像素px7、以及在处理区域(FC32，FR12)的中央部分处的像素px8来对外边缘区域中的像素执行线性插值处理。
在执行上述色彩插值处理之后，色彩插值单元104将图像数据供应给几何变换单元105。在从色彩插值单元104接收到图像数据之后，几何变换单元105对图像数据执行几何变换处理(步骤S17)。
图12是示出了根据第一实施例的、对图像执行几何变换处理的一个示例的图。图的上侧所示的桶形图像是经过色彩插值处理的图像数据301F。几何变换单元105对图像数据301F执行几何变换处理。作为结果，通过清除由广角透镜的像差的效果引起的桶形失真，图像数据301F被变换为矩形图像数据302F。几何变换单元105对从安装在汽车1上的四个相机获得的、并且经过上述处理的图像数据301F、301L、301B和301R中的每个图像数据执行这样的处理。结果，从四个相机获取的图像数据被转换为矩形图像。
在本实施例的描述中，已经示出了通过对桶形图像数据执行几何变换处理来校正桶形失真的一个示例，但是除了校正桶形失真的处理之外，可以对图像数据进行诸如梯形校正等线性变换处理。当从安装在汽车1上的相机捕获汽车1周围的图像、并且从所捕获的图像生成将要进行被称为环绕视图的视点转换处理的图像时，半导体设备100执行这种视点转换处理，并且与该处理一起执行上述线性变换。
接下来，几何变换单元105执行上述几何变换处理，并且然后将图像数据供应给图像合成单元106。然后，图像合成单元106执行用于合成所接收到的图像数据的处理(步骤S18)。图13是示意性示出了根据第一实施例的一个示例的图，其执行用于合成图像的处理。在图的上侧，示出了由几何变换单元105变换为矩形图像的图像数据302F。类似地，图像数据302L、图像数据302B和图像数据302R分别在图的左侧、下部和右侧示出。在由这四个图像数据围绕的部分中示出了经合成的图像数据303。
经合成的图像数据303被配置为叠加图像数据302F、302L、302B和302R的重叠区域。例如，图像数据302F的处理区域(FC1，FR1)对应于图像数据302L的处理区域(LC1，LR1)。因此，在经合成的图像数据303中，图像数据302F的处理区域(FC1，FR1)和图像数据302L的处理区域(LC1，LR1)被叠加。
此外，经合成的图像数据303在水平方向上的大小被配置为与图像数据302F在水平方向上的大小、以及图像数据302B在水平方向上的大小相一致。经合成的图像数据303在竖直方向上的大小被配置为与图像数据302L在竖直方向上的大小、以及图像数据302R在竖直方向上的大小相一致。因此，在经合成的图像数据303中，在水平方向上示出了C1至C32，并且在竖直方向上示出了R1至R48。
而且，在根据这四个图像数据生成的经合成的图像数据303中，中央部分中不存在图像数据。因此，半导体设备100将预先存储的虚拟汽车的图像数据1D叠加在经合成的图像数据303上。结果，经合成的图像数据303生成其中驾驶员从汽车上方观看他/她驾驶的汽车的图像。在这样的***中，显示具有合适的色彩平衡的图像能够使得驾驶员可以容易地识别对象，这可以有助于提高汽车和汽车周围的环境的安全性。
在由图像合成单元106接收图像数据302F、302L、302B和3021R之前，由ISP对图像数据302F、302L、302B和3021R执行的初始色彩调整处理的效果被消除，并且图像数据的色彩平衡通过重新调整增益来重新调整。因此，即使叠加具有这种对应关系的处理区域，经合成的图像数据303整体上能够维持适当的色彩平衡。
另外，当具有这种对应关系的处理区域重叠时，存在具有对应关系的两个处理区域中包括的像素的R、G和B中的每个的信号水平彼此完全不一致并且不同的情况。在这种情况下，采用两个处理区域中包括的像素的R、G和B中的每一项的信号水平的平均值。根据本实施例，即使以这种方式采用平均值，由于通过上述处理减小了包括在两个处理区域中的像素的R、G和B中的每一项的信号水平之间的差异，可以生成经合成的图像数据，其进行了适合于驱动器等的色彩平衡处理。
图像合成单元106将以这种方式生成的经合成的图像数据303供应给输出单元107。然后，输出单元107将所接收的经合成的图像数据303输出给外部(显示设备12)(步骤S19)。
接下来，半导体设备100确定是否终止处理(步骤S20)。如果确定不需要终止处理(步骤S20中为“否”)，则半导体设备100返回步骤S10并且重复该处理。另一方面，如果确定处理将要终止(步骤S20中为“是”)，则半导体设备100终止该处理。
尽管上面已经描述了第一实施例，但是根据第一实施例的配置不限于上述配置。例如，图1所示的四个相机可以安装在汽车1的左前部、左后部、右前部和右后部。或者，这四个相机可以安装在汽车1的车顶，以使得汽车1的周围在成像范围内。相机的数目不限于四个。此外，相机可以是可移动的，并且可以被配置为在移动的同时顺序地捕获汽车周围的图像。
根据上述配置，半导体设备100或图像处理***1对图像执行适合于汽车1周围的对象的色彩平衡处理。结果，汽车1的驾驶员等可以容易地识别汽车1周围的对象。也就是说，根据第一实施例，可以提供一种用于执行适合于整个图像的色彩平衡处理的半导体设备等。
第一实施例的修改
接下来，将描述第一实施例的修改。图14是根据第一实施例的修改的汽车的概览。根据第一实施例的修改的图像处理***20与根据第一实施例的图像处理***10的不同之处在于相机的数目和相机的布置。
根据第一实施例的修改的图像处理***20是用于进行以下操作的***：捕获汽车1的后侧的图像，对捕获的图像的图像数据执行预定处理，并且将经处理的图像数据显示给驾驶员等。图像处理***20可以被安装在汽车的侧镜和后视镜的位置处。图像处理***20包括相机21L、相机11B、相机21R、显示设备12和半导体设备100，其作为图像处理***20的主要配置。
相机21L捕获在汽车1的左后侧的图像捕获区域210L的图像，相机11B捕获在汽车1的后侧的中央的图像捕获区域210B的图像，并且相机21R捕获在汽车1的右后侧的图像捕获区域210R的图像。在这些图像捕获区域中，彼此相邻的图像捕获区域包括重叠区域，该重叠区域是在其中图像捕获区域重叠的区域。也就是说，图像捕获区域210L和图像捕获区域210B均具有重叠区域210LB，在重叠区域210LB中图像捕获区域210L和图像捕获区域210B重叠。类似地，图像捕获区域210B和图像捕获区域210R具有重叠区域210BR，其中图像捕获区域210B和图像捕获区域210R重叠。
在这样的配置中，半导体设备100通过消除由ISP对图像数据执行的初始色彩调整处理的效果，来生成估计源图像数据。然后，半导体设备100将估计源图像数据(估计源图像)划分为处理区域，处理区域具有预先设置的多个像素，半导体设备100针对每个处理区域执行色彩平衡重新调整处理，并且合成图像数据，使得重叠区域彼此重叠以生成经合成的图像。此外，半导体设备100将经重新调整的经合成的图像数据输出给显示设备12。
利用上述配置，驾驶员可以通过经过适当的色彩平衡处理的图像来识别汽车1的后侧。因此，第一实施例的修改可以提供一种半导体设备等，其用于执行适合于整个图像的色彩平衡处理。
第二实施例
接下来，将描述第二实施例。根据第二实施例的图像处理***与根据第一实施例的图像处理***的不同之处在于半导体设备的功能块的配置和由半导体设备执行的处理过程。在下文中，将参考图15和16来描述第一实施例和第二实施例之间的差异。
图15是根据第二实施例的半导体设备的功能框图。根据第二实施例的半导体设备200的每个功能块与根据第一实施例的半导体设备100的相同。但是，在半导体设备200中，几何变换单元105设置在图像数据获取单元101与估计源图像生成单元102之间。在半导体设备200中，图像合成单元106设置在估计源图像生成单元102与重新调整单元103之间。
图16是示出根据第二实施例的半导体设备的处理的流程图。由根据第二实施例的半导体设备200所执行的每个处理(步骤)与由根据第一实施例的半导体设备100执行的每个处理(步骤)相同。然而，在根据第二实施例的处理中，几何变换处理(步骤S17)是在执行获得区域信息的处理(步骤S11)之后执行，并且确定是否存在AWB增益信息的处理(步骤S12)是在执行几何变换处理(步骤S17)之后执行。在根据第二实施例的过程中，在生成估计源图像的处理之后(在步骤S14或步骤S21之后)，执行合成图像的处理(步骤S18)。在合成图像的处理(步骤S18)之后，执行重新调整处理(步骤S15)。
尽管上面已经描述了第二实施例，但是第二实施例的配置不限于此，并且可以根据半导体设备的特性适当地替换处理过程。
根据上述配置，半导体设备200在图像上执行适合于汽车1周围的对象的色彩平衡处理。结果，汽车1的驾驶员等可以容易地识别汽车1周围的对象。根据第二实施例，可以提供一种半导体设备等，用于执行适合于整个图像的色彩平衡处理。
而且，可以使用各种类型的非暂态计算机可读介质来向计算机存储和提供上述程序。非暂态计算机可读介质包括各种类型的有形存储介质。非暂态计算机可读介质的示例包括磁记录介质(例如，软盘、磁带、硬盘驱动器)、磁光记录介质(例如，磁光盘)、光盘只读存储器(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-R/W)以及半导体存储器(例如，带掩码的只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、闪存ROM、随机存取存储器(RAM))。另外，程序也可以通过各种类型的暂态计算机可读介质提供给计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由诸如电线和光纤等有线通信路径或无线通信路径将程序提供给计算机。
尽管已经基于实施例具体描述了本发明人做出的发明，但是不用说，本发明不限于上述实施例，并且可以在不脱离本发明的范围的情况下进行各种改变。

Claims (20)

1.一种半导体设备，包括：
图像获取电路，被配置为获取通过捕获多个图像而获得的多个捕获的图像数据，每个捕获的图像数据是在其上已经被执行过初始色彩调整处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；
估计源图像生成电路，被配置为消除每个捕获的图像数据上的所述初始色彩调整处理的效果，以生成多个估计源图像的图像数据；
重新调整电路，被配置为将每个估计源图像划分为多个处理区域，以针对每个处理区域执行色彩平衡重新调整处理；以及
图像合成电路，被配置为合成所述多个估计源图像的所述图像数据，使得被包括在所述估计源图像中的所述重叠区域彼此重叠，以生成经合成的图像的图像数据。
2.根据权利要求1所述的半导体设备，其中所述重新调整电路被配置为划分每个估计源图像，以便在所述重叠区域中包括一个或多个处理区域。
3.根据权利要求1所述的半导体设备，进一步包括：输出电路，被配置为输出所述经合成的图像的所述图像数据。
4.根据权利要求1所述的半导体设备，
其中每个捕获的图像数据的所述图像根据对应的估计源图像的多个处理区域来被划分为多个处理区域；
其中所述估计源图像生成电路被配置为：为每个捕获的图像数据计算匹配增益，所述匹配增益用于匹配在所述捕获的图像数据的所述图像的所述重叠区域中的、彼此具有对应关系的处理区域中的像素的信号水平，并且通过将所述匹配增益乘以被包括在对应的所述捕获的图像数据中的像素的信号水平，来生成所述图像数据的所述估计源图像。
5.根据权利要求4所述的半导体设备，其中所述估计源图像生成电路被配置为：基于具有所述对应关系的所述处理区域中的所述像素的所述信号水平的平均值，来计算所述匹配增益。
6.根据权利要求1所述的半导体设备，其中所述估计源图像生成电路被配置为：基于被包括在每个捕获的图像数据中的、关于所述初始色彩调整处理的信息，来生成对应的所述估计源图像的所述图像数据。
7.根据权利要求4所述的半导体设备，其中所述估计源图像生成电路被配置为：通过将被包括在每个捕获的图像数据中的、关于所述初始色彩调整处理的信息的倒数乘以对应的所述捕获的图像数据中的所述像素的所述信号水平，来生成对应的所述估计源图像的所述图像数据。
8.根据权利要求1所述的半导体设备，其中所述重新调整电路被配置为：提取在所述处理区域中具有预设色彩和预设信号水平的像素作为参考像素，基于所述参考像素来计算重新调整增益，以及基于所述重新调整增益，针对从其中所述参考像素被提取的所述处理区域执行所述色彩平衡重新调整处理。
9.根据权利要求8所述的半导体设备，其中当在与从其中所述参考像素被提取的所述处理区域相邻的处理区域中不存在具有预设色彩和预设信号水平的像素时，所述重新调整电路被配置为将基于所述参考像素而被计算的所述重新调整增益设置为相邻增益，并且基于所述相邻增益，针对与从其中所述参考像素被提取的所述处理区域相邻的所述处理区域执行所述色彩平衡重新调整处理。
10.根据权利要求9所述的半导体设备，其中在存在多个相邻增益时，所述重新调整电路被配置为计算所述多个相邻增益的平均值，并且基于所述平均值，针对与从其中所述参考像素被提取的所述处理区域相邻的所述处理区域执行所述色彩平衡重新调整处理。
11.根据权利要求1所述的半导体设备，其中所述处理区域是通过将每个估计源图像划分为栅格状区域而获得的区域。
12.根据权利要求1所述的半导体设备，其中所述图像合成电路被配置为合成所述多个估计源图像的所述图像数据，在所述多个估计源图像上，所述色彩平衡重新调整处理已经被所述重新调整电路执行过。
13. 根据权利要求1所述的半导体设备，
其中所述图像合成电路被配置为在所述色彩平衡重新调整处理被所述重新调整电路执行之前，合成所述多个估计源图像的所述图像数据，以及
其中所述重新调整电路被配置为将被包括在所述经合成的图像中的所述估计源图像划分为所述多个处理区域数据，并且在每个处理区域数据上，执行所述色彩平衡重新调整处理。
14.一种图像处理***，包括：
根据权利要求1所述的半导体设备；
多个相机，被配置为输出所述多个捕获的图像数据；以及
显示设备，被配置为接收所述经合成的图像的所述图像数据。
15. 根据权利要求14所述的图像处理***，
其中每个相机包括图像信号处理器，以及
其中所述图像信号处理器被配置为在所述捕获的图像数据上执行所述初始色彩调整处理。
16. 根据权利要求14所述的图像处理***，
其中所述多个相机被配置为捕获移动对象周围的场景的图像，以生成所述多个捕获的图像数据，以及
其中所述经合成的图像是所述移动对象周围的360度场景的二维图像。
17.一种半导体设备，用于合成第一捕获的图像数据和第二捕获的图像数据，所述第一捕获的图像数据和所述第二捕获的图像数据均包括重叠区域的捕获的图像数据，所述第一捕获的图像数据是通过捕获第一图像捕获区域的图像而获得的数据，所述第二捕获的图像数据是通过捕获第二图像捕获区域的图像而获得的数据，所述重叠区域是所述第一图像捕获区域和所述第二图像捕获区域彼此重叠的区域，所述半导体包括：
图像数据获取电路，被配置为获取在其上已经被执行过初始色彩调整处理的所述第一捕获的图像数据和所述第二捕获的图像数据；
估计源图像生成电路，被配置为消除在所述第一捕获的图像数据和所述第二捕获的图像数据上被执行的所述初始色彩调整处理的效果，以生成第一估计源图像的图像数据和第二估计源图像的图像数据；
重新调整电路，被配置为将所述第一估计源图像和所述第二估计源图像中的每一项划分为多个处理区域，并且在所述第一估计源图像的所述图像数据和所述第二估计源图像的所述图像数据中的每一项上，针对每个处理区域来执行色彩平衡重新调整处理；以及
图像合成电路，被配置为合成所述第一估计源图像的所述图像数据和所述第二估计源图像的所述图像数据，使得被包括在所述第一估计源图像中的、与所述重叠区域相关联的区域和被包括在所述第二估计源图像中的、与所述重叠区域相关联的区域彼此重叠，以生成经合成的图像的图像数据。
18.一种图像处理***，包括：
根据权利要求17所述的半导体设备；
第一相机，被配置为输出所述第一捕获的图像数据；
第二相机，被配置为输出所述第二捕获的图像数据；以及
显示设备，被配置为接收所述经合成的图像的所述图像数据，
其中所述第一相机包括第一图像信号处理器，所述第一图像信号处理器被配置为在所述第一捕获的图像数据上执行所述初始色彩调整处理，以及
其中所述第二相机包括第二图像信号处理器，所述第二图像信号处理器被配置为在所述第二捕获的图像数据上执行所述初始色彩调整处理。
19.一种图像处理方法，包括：
获取通过捕获多个图像而获得的多个捕获的图像数据，每个捕获的图像数据是在其上已经被执行过初始色彩调整处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；
消除每个捕获的图像数据上的所述初始色彩调整处理的效果，以生成多个估计源图像的图像数据；
将每个估计源图像划分为多个处理区域，以针对每个处理区域执行色彩平衡重新调整处理；以及
合成所述多个估计源图像的所述图像数据，使得被包括在所述估计源图像中的所述重叠区域彼此重叠，以生成经合成的图像的图像数据。
20.一种计算机可读存储介质，存储用于引起计算机执行方法的程序，所述方法包括：
获取通过捕获多个图像而获得的多个捕获的图像数据，每个捕获的图像数据是在其上已经被执行过初始色彩调整处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；
消除每个捕获的图像数据上的所述初始色彩调整处理的效果，以生成多个估计源图像的图像数据；
将每个估计源图像划分为多个处理区域，以针对每个处理区域执行色彩平衡重新调整处理；以及
合成所述多个估计源图像的所述图像数据，使得被包括在所述估计源图像中的所述重叠区域彼此重叠，以生成经合成的图像的图像数据。
CN201911157844.6A 2018-12-21 2019-11-22 半导体设备、图像处理***、方法和计算机可读存储介质 Active CN111355942B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-239560 2018-12-21
JP2018239560A JP7100574B2 (ja) 2018-12-21 2018-12-21 半導体装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111355942A CN111355942A (zh) 2020-06-30
CN111355942B true CN111355942B (zh) 2023-08-15

Family

ID=71097723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911157844.6A Active CN111355942B (zh) 2018-12-21 2019-11-22 半导体设备、图像处理***、方法和计算机可读存储介质

Country Status (3)

Country Link
US (1) US11145093B2 (zh)
JP (1) JP7100574B2 (zh)
CN (1) CN111355942B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616909B2 (en) * 2020-12-08 2023-03-28 Aspeed Technology Inc. Method of compensating for color differences between adjacent lens images in a panoramic image

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005565A (zh) * 2005-12-14 2007-07-25 日本胜利株式会社 电子设备
JP2008017197A (ja) * 2006-07-06 2008-01-24 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2008079248A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
WO2008056565A1 (fr) * 2006-11-10 2008-05-15 Olympus Corporation Système d'analyse d'image et programme de traitement d'image
CN102298785A (zh) * 2010-06-28 2011-12-28 索尼公司 信息处理装置，信息处理方法及其程序
WO2012013784A1 (en) * 2010-07-29 2012-02-02 Centre National De La Recherche Scientifique (C.N.R.S) Regulation of glypican 4 activity to modulate the fate of stem cells and uses thereof
JP2012023691A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
CN102708558A (zh) * 2012-06-01 2012-10-03 惠州华阳通用电子有限公司 视频图像拼接装置、拼接方法以及视频监视***
CN103118219A (zh) * 2011-11-16 2013-05-22 瑞萨电子株式会社 图像处理装置、图像处理方法以及程序产品
CA2820241A1 (en) * 2012-06-13 2013-12-13 Robert G. Hilkes An apparatus and method for enhancing human visual performance in a head worn video system
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
CN106416226A (zh) * 2014-05-27 2017-02-15 株式会社理光 图像处理***、成像设备、图像处理方法以及计算机可读记录介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP4543514B2 (ja) * 2000-07-18 2010-09-15 株式会社ニコン 電子カメラ
US7196724B2 (en) * 2000-12-08 2007-03-27 Nikon Corporation Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas
JP5971207B2 (ja) * 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
JP6325841B2 (ja) * 2014-02-27 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
US10863158B2 (en) * 2016-05-17 2020-12-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US10298864B2 (en) * 2016-06-10 2019-05-21 Apple Inc. Mismatched foreign light detection and mitigation in the image fusion of a two-camera system
US20180007336A1 (en) * 2016-07-01 2018-01-04 Qualcomm Incorporated Correlation based approach for skipping frames
JP6873688B2 (ja) * 2016-12-27 2021-05-19 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005565A (zh) * 2005-12-14 2007-07-25 日本胜利株式会社 电子设备
JP2008017197A (ja) * 2006-07-06 2008-01-24 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2008079248A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
WO2008056565A1 (fr) * 2006-11-10 2008-05-15 Olympus Corporation Système d'analyse d'image et programme de traitement d'image
CN102298785A (zh) * 2010-06-28 2011-12-28 索尼公司 信息处理装置，信息处理方法及其程序
JP2012023691A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
WO2012013784A1 (en) * 2010-07-29 2012-02-02 Centre National De La Recherche Scientifique (C.N.R.S) Regulation of glypican 4 activity to modulate the fate of stem cells and uses thereof
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
CN103118219A (zh) * 2011-11-16 2013-05-22 瑞萨电子株式会社 图像处理装置、图像处理方法以及程序产品
CN102708558A (zh) * 2012-06-01 2012-10-03 惠州华阳通用电子有限公司 视频图像拼接装置、拼接方法以及视频监视***
CA2820241A1 (en) * 2012-06-13 2013-12-13 Robert G. Hilkes An apparatus and method for enhancing human visual performance in a head worn video system
CN106416226A (zh) * 2014-05-27 2017-02-15 株式会社理光 图像处理***、成像设备、图像处理方法以及计算机可读记录介质

Also Published As

Publication number Publication date
JP2020102755A (ja) 2020-07-02
JP7100574B2 (ja) 2022-07-13
CN111355942A (zh) 2020-06-30
US20200202581A1 (en) 2020-06-25
US11145093B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
US11477372B2 (en) Image processing method and device supporting multiple modes and improved brightness uniformity, image conversion or stitching unit, and computer readable recording medium realizing the image processing method
EP2629506A1 (en) Two-step brightness adjustment in around-view systems
US20130113875A1 (en) Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method
JP2002158893A (ja) 画像補正装置、画像補正方法および記録媒体
JP5696783B2 (ja) 画像処理装置
KR20180008244A (ko) 이미지 생성 방법 및 생성 장치
JP2005141527A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8810693B2 (en) Image processing apparatus and method thereof
JP5195841B2 (ja) 車載カメラ装置および車両
JP4862321B2 (ja) 車載カメラ装置
KR101535518B1 (ko) 차량 이미지를 생성하기 위한 이미지 처리 방법 및 이미지 처리 장치
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
CN111355942B (zh) 半导体设备、图像处理***、方法和计算机可读存储介质
CN111355880B (zh) 半导体器件、图像处理***和方法及计算机可读存储介质
US11017508B2 (en) Image matching method and apparatus
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
KR20180028354A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
TWI759136B (zh) 圖像輸出的方法、電腦程式產品、裝置及圖像產生方法
JP2023054476A (ja) 画像処理装置及び画像処理方法
KR20180028353A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법
KR20160080461A (ko) 분할 영역 영상의 영상 합성 처리장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant