CN109076167A - 图像处理器、摄像装置和图像处理*** - Google Patents

图像处理器、摄像装置和图像处理*** Download PDF

Info

Publication number
CN109076167A
CN109076167A CN201780028141.6A CN201780028141A CN109076167A CN 109076167 A CN109076167 A CN 109076167A CN 201780028141 A CN201780028141 A CN 201780028141A CN 109076167 A CN109076167 A CN 109076167A
Authority
CN
China
Prior art keywords
pixel
image data
color
adjustment parameter
conversion treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780028141.6A
Other languages
English (en)
Inventor
片山博诚
上原修二
村松良徳
山崎智裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109076167A publication Critical patent/CN109076167A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

根据本发明的图像处理装置设置有：乘法器，所述乘法器从包括多种颜色的像素的像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个像素的颜色等级；调节器，所述调节器计算各个像素中的各种颜色在所述图像数据中的比率，并且基于各种颜色的所述比率调节所述调节参数的值；以及二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取特定颜色的目标图像。

Description

图像处理器、摄像装置和图像处理***
技术领域
本公开涉及适用于例如目标跟踪***的图像处理器、摄像装置和图像处理***。
背景技术
存在有一种跟踪特定颜色的移动物体作为目标的目标跟踪***。在这种目标跟踪***中，例如，使用作为要跟踪的目标的RGB的颜色信息的阈值对来自摄像装置的图像数据直接进行二值化，并且汇总如此二值化的图像数据以便估计目标的位置。
引用列表
专利文献
专利文献1：日本未审查专利申请公开第H07-086936号
专利文献2：日本未审查专利申请公开第H01-173269号
专利文献3：日本未审查专利申请公开第2003-189129号
专利文献4：日本未审查专利申请公开第2015-115922号
发明内容
在上述的目标跟踪***中，难以在阈值根据照度或周边光而变化的环境下动态地控制该阈值，或者难以动态地控制诸如人体肤色等具有根据光源而变化的RGB比率的颜色的对象的阈值；因此，可能无法通过二值化处理来提取目标，从而导致目标跟踪失败。
期望提供能够提高目标提取精度的图像处理器、摄像装置和图像处理***。
根据本公开的实施例的图像处理器包括：乘法器，所述乘法器从包括多种颜色的像素的像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取特定颜色的目标图像。
根据本公开的实施例的摄像装置包括：像素部，所述像素部包括多种颜色的像素；乘法器，所述乘法器从所述像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取特定颜色的目标图像。
根据本公开的实施例的图像处理***包括摄像装置和使所述摄像装置在跟踪特定颜色的目标的同时进行拍摄的致动器，并且所述摄像装置包括：像素部，所述像素部包括多种颜色的像素；乘法器，所述乘法器从所述像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取所述特定颜色的目标图像。
在根据本公开的实施例的图像处理器、摄像装置或图像处理***中，计算各个像素中的各种颜色在图像数据中的比率，并且基于所述各种颜色的所述比率来调节调节参数的值。基于已经与所述调节参数相乘的所述图像数据来提取特定颜色的目标图像。
根据本公开的实施例的图像处理器、摄像装置或图像处理***，基于已经与所述调节参数相乘的所述图像数据来提取所述特定颜色的目标图像，从而可以提高目标提取精度。
需要注意的是，这里描述的效果不一定受限制，并且可以包括在本公开中描述的任意效果。
附图说明
图1是示意性地图示了根据本公开的第一实施例的图像处理***的构造示例的构造图。
图2是示意性地图示了根据第一实施例的图像处理***中的二值化处理器的构造示例的构造图。
图3是图示了目标跟踪的概要的说明图。
图4是二值化的说明图。
图5是图示了特定颜色提取的计算示例的说明图。
图6是示意性地图示了根据第二实施例的图像处理***的构造示例的构造图。
图7是示意性地图示了闪光的产生原理的说明图。
图8是示意性地图示了颜色滚动的发生原理的说明图。
图9是示意性地图示了在高帧率处理的期间内的采样周期的说明图。
图10是描述车辆控制***的示意性构造示例的框图。
图11是帮助说明车外信息检测部和摄像部的安装位置的示例的图。
具体实施方式
以下，将参照附图详细描述本公开的一些实施例。需要注意的是，将按照以下顺序进行描述。
0.比较示例
1.第一实施例(能够提高目标提取精度的图像处理***)(图1至图5)
1.1根据第一实施例的图像处理***的构造(图1和图2)
1.2根据第一实施例的图像处理***的操作(图3至图5)
1.3效果
2.第二实施例(能够采取措施防止闪光并且能够提高目标提取精度的图像处理***)(图6至图9)
3.应用示例(图10和图11)
4.其他实施例
<0.比较示例>
根据比较示例的图像处理***的示例是这样的感测***：图像传感器和图像处理电路形成在一个芯片中，并且通过高速帧率操作可以实现各种功能。例如，已经开发出使用以自窗口(Self Window)方法为代表的高帧率的目标跟踪***。
图3图示了目标跟踪的概要。目标跟踪***的示例是一种跟踪特定颜色的移动物体作为目标的***。这种目标跟踪***包括摄像装置和使该摄像装置跟踪并拍摄特定颜色的目标的致动器。例如，如图3所示，该致动器控制摄像装置，以使在屏幕上移动的目标(目标图像30)来到屏幕30的中心。
在根据比较示例的目标跟踪***中，例如，对来自传感器像素的数据直接设置电压阈值，并且根据要提取的目标图像20的级别执行变为“1”或“0”的二值化处理(参见日本未审查专利申请公开第H07-086936号和日本未审查专利申请公开第H01-173269号)。根据比较示例的目标跟踪***无法根据当前帧或过去帧的图像状况对该阈值的设置执行反馈；因此，在周边光源和环境变化导致正在进行目标提取的像素级别变化较大的情况下，不能进行跟踪，这可能导致目标提取失败，即，对功能的实现造成诸如跟踪目标图像20失败等不利影响。
此外，例如，在以大约1000fps执行高帧率操作的照相机中，由诸如荧光灯等光源的影响而引起的闪光不仅在屏幕上输出，而且在光源的亮度发生改变的同时在每一帧中输出。作为比较示例的技术，存在着这样的***：在该***中，检测该光源的周期，并且估计光源下一次产生的周期性亮度以进行校正(参见日本未审查专利申请公开第2003-189129号、日本未审查专利申请公开第2015-115922号等)。近年来，难以在通过各种光源的多样化来混合多个光源的环境中估计闪烁周期，并且难以对所有的光源环境进行周期性校正。
因此，在本公开中，期望提供一种能够实现以下目的的技术。
(1)在具有并行计算单元(列并行计算单元或平面并行计算单元是可应用的)的传感器结构中以高帧率执行高速移动物体的目标提取时，针对环境变化执行鲁棒性二值化(robust binarization)。
(2)通过在高帧率摄像中产生的平面闪光或颜色滚动来及时反馈光源的周期性亮度的变化，从而抑制由闪光引起的亮度和颜色变化。
<1.第一实施例>
[1.1根据第一实施例的图像处理器的构造]
图1示意性地图示了根据本公开的第一实施例的图像处理***的构造示例。图2示意性地图示了二值化处理器5的构造示例。
根据本实施例的图像处理***包括：像素部1、AD转换器2、存储部3、色比乘法器(color-specific multiplier)4、二值化处理器5、调节器40、驱动信息生成器41和致动器10。
调节器40包括色比积分器6和颜色调节比率计算器7。如图2所示，二值化处理器5包括特定颜色提取部51和二值化输出部52。
驱动信息生成器41生成用于驱动致动器10的信息，并且驱动信息生成器41包括图像矩提取部8和重心计算器9。
根据本实施例的图像处理***包括摄像装置和使该摄像装置在跟踪特定颜色的目标的同时进行拍摄的致动器10，并且该图像处理***可以是如图3所示的执行目标跟踪的***。
摄像装置可以包括像素部1、AD转换器2、存储部3、色比乘法器4、二值化处理器5、调节器40和驱动信息生成器41。此外，像素部1可以用作摄像装置的部件，并且其他电路部分(AD转换器2、存储部3、色比乘法器4、二值化处理器5、调节器40和驱动信息生成器41)可以构成图像处理器。
在根据本实施例的图像处理***中，可以在一个芯片中形成图像处理器的至少一部分。可替代地，可以在一个芯片中形成除了致动器10之外的部分。
像素部1可以是CMOS(互补MOS)图像传感器。例如，像素部1包括光接收部和滤色器阵列。在光接收部中，多个光电转换器以预定间隔二维地布置着。滤色器阵列设置在光接收部的光入射表面上。像素部1包括互补金属氧化物半导体(CMOS：Complementary Metal-Oxide Semiconductor)图像传感器。需要注意的是，图1图示了在像素部1中R(红色)、G(绿色)和B(蓝色)这三种颜色的像素以拜耳阵列布置的构造示例。在拜耳阵列的情况下，一个像素包括一个R色像素、一个B色像素和两个G色像素。可替代地，像素部1可以具有与拜耳阵列不同的阵列。
AD转换器2、存储部3、色比乘法器4和二值化处理器5可以以列并行的方式设置。
来自像素部1的图像数据经由AD转换器2和存储部3输入到色比乘法器4，在像素部1中，一个像素包括多种颜色的彩色像素。色比乘法器4具有将图像数据与调节参数相乘的功能，所述调节参数用于调节各个像素中的颜色等级。
调节器40具有以下功能：计算各个像素中的各种颜色在图像数据中的比率，并且基于各种颜色的比率来调节调节参数的值。
二值化处理器5具有基于通过色比乘法器4已经与调节参数相乘的图像数据来提取特定颜色的目标图像20的功能。
特定颜色提取部51将已经与调节参数相乘的图像数据中的各个像素中的颜色分量进行比较，以提取特定颜色的像素数据。
二值化输出部52具有如下功能：将通过对已经与调节参数相乘的图像数据执行二值化处理而获得的二值化图像数据输出到驱动信息生成器41。在二值化处理中，由特定颜色提取部51提取的特定颜色的像素数据被转换为1，并且除了特定颜色之外的像素数据被转换为0。
色比积分器6具有在预定周期内(例如，在一个帧周期内)对各个像素的图像数据进行积分的功能。色比积分器6包括：通过RGB颜色中的每种颜色进行积分的RGB色比积分器和计算亮度Y的亮度计算器。
颜色调节比率计算器7具有如下功能：计算各个像素中的各种颜色在已经由色比积分器6进行积分的图像数据中的比率。
[1.2根据第一实施例的图像处理器的操作]
在根据本实施例的图像处理***中，在像素部1中已经经过光电转换的各列的图像数据被输出到AD转换器2。AD转换器2以列并行的方式执行各个像素的AD转换。存储部3以列并行的方式锁存已经通过AD转换器2进行了AD转换的图像数据。
色比乘法器4读取由存储部3锁存的图像数据，以像素为单位将图像数据与对应于各种颜色的调节参数相乘，并将相乘后的图像数据输出到二值化处理器5的特定颜色提取部51。需要注意的是，通过色比乘法器4进行相乘的调节参数是由颜色调节比率计算器7计算获得的，并且被反馈到色比乘法器4。
在特定颜色提取部51中，针对特定颜色设置特定颜色提取参数，并且使用参数从已经与调节参数相乘的图像数据中提取特定颜色的像素数据。可替代地，在特定颜色提取部51中，针对各个颜色等级设置阈值，并提取特定颜色的像素数据。
如图4所示，二值化输出部52向驱动信息生成器41输出已经经过二值化处理的二值化图像数据，在二值化处理中，由特定颜色提取部51提取的特定颜色的像素数据被转换为1，并且除了特定颜色之外的像素数据被转换为0。
图5图示了特定颜色提取的计算示例。
需要注意的是，图5图示了与HSV模型对应的颜色空间。HSV模型是一种包括如下三个分量的颜色空间模型：色调(Hue)、饱和度(Saturation·Chroma)和亮度(Value·Lightness·Brightness)。
图5图示了使用R作为基准颜色提取并检测特定颜色的像素数据的示例(肤色检测)(1)、使用G作为基准颜色提取并检测特定颜色的像素数据的示例(2)、以及使用B作为基准颜色提取并检测特定颜色的像素数据的示例(3)。
在图5的计算示例中，α、β和γ是决定阈值的系数，该阈值用于确定二值化输出部52中的像素数据是特定颜色的像素数据还是除了特定颜色之外的像素数据。非基本色比率阈值和基本色比率绝对阈值被输入到二值化输出部52。基本色是与特定颜色对应的颜色。
在驱动信息生成器41(图像矩提取部8和重心计算器9)中计算从二值化输出部52输出的二值化图像数据的矩、重心等，以生成用于驱动致动器10的信息。
相反，在色比积分器6中，由存储部3在预定周期内(例如，在一个帧周期内)锁存的图像数据通过各种颜色在各像素中进行积分。色比积分器6通过R、G和B中的各种颜色对整个屏幕的图像数据进行积分。
颜色调节比率计算器7根据R、G和B的积分结果来计算R、G和B的比率，并且基于各种颜色的比率调节(反馈)通过色比乘法器4进行相乘的调节参数的值。颜色调节比率计算器7计算白平衡，以使R：G：B的比率为1：1：1，并且将白平衡反映为色比乘法器4的调节参数的值。
此外，在色比积分器6中，基于由存储部3锁存的图像数据且通过R、G和B中的各种颜色来计算各像素中的亮度Y。在色比积分器6中，通过典型的计算表达式(例如，“Y＝0.30R+0.59G+0.11B”等)计算亮度Y，并且对预定时段内(例如，在一个帧周期内)的亮度Y进行积分。例如，可以在由重心计算器9计算的重心周围的目标区域中或在整个屏幕上执行该积分。为了使亮度Y的积分结果达到合适的水平，颜色调节比率计算器7可以计算(调节)自动曝光(AE：autoexposure)水平，并将自动曝光水平反映到像素部1的各像素中的累积时间(快门)或反映到色比乘法器4。
可以在各个帧中执行上述处理。
[1.3效果]
如上所述，根据本实施例，基于已经与调节参数相乘的图像数据来提取特定颜色的目标图像20，从而可以提高目标提取精度。
根据本实施例的图像处理***，可以提高目标图像20的提取精度，从而使物体跟踪精度得到提高。根据本实施例的图像处理***，可以抑制由周边环境的变化引起的对象跟踪失败。
此外，根据本实施例的图像处理***，在高速帧率照相机中，可以在各帧中抑制在整个屏幕上产生的图像的亮度和颜色变化。这有望改善图像质量性能。
需要注意的是，在说明书中描述的效果仅仅是说明性的而非限制性的，并且可以包括其他效果。这适用于通过以下其他实施例实现的效果。
<2.第二实施例>
然后，将对根据本公开的第二实施例的图像处理***进行描述。需要注意的是，利用相同的附图标记表示与根据前述第一实施例的图像处理***的部件基本相同的部件，并且适当地省略其描述。
图6示意性地图示了根据本公开的第二实施例的图像处理***的构造示例。
在本实施例中，提供了一种能够采取措施防止闪光并且能够提高目标提取精度的图像处理***。
在根据前述第一实施例的图像处理***的构造中，根据本实施例的图像处理***还包括图像I/F(接口)11和外部设备12。
外部设备12可以是其他图像处理器或图像输出设备(例如，显示器)。
在根据本实施例的图像处理***中，来自色比积分器4的输出被输入到色比积分器6和图像I/F 11。
图7图示了闪光生成的图像。图7图示了电源的周期、荧光灯的闪烁周期和垂直同步信号VD。这同样适用于下面的图8和图9。
如图7所示，在帧率慢的情况下，各帧的亮度不同，从而引起闪光。为了抑制闪光，需要适合于荧光灯的周期的帧率操作。
图8图示了发生颜色滚动的图像。各帧中颜色分量的比率的差异导致了颜色滚动。
在根据本实施例的图像处理***中，可以在各帧中执行将来自颜色调节比率计算器7的输出反馈到色比乘法器4的操作。这使得可以以高帧率执行自动白平衡(AWB：autowhite balance)操作和AE操作。
图9图示了在以高帧率进行拍摄的期间内的采样周期的示例。
如图9所示，以高帧率在各帧中执行与采样亮度对应的AE操作使得可以几乎消除图7中所示的闪光的影响。这使得可以抑制待输出到外部设备12的图像数据中发生闪光。
此外，对于图8中所示的颜色滚动，以高帧率在各帧中执行AWB操作使得可以将颜色滚动的影响最小化。这使得可以抑制待输出到外部设备12的图像数据中发生颜色滚动。
其他构造、操作和效果可以与根据前述第一实施例的图像处理***中的构造、操作和效果基本类似。
<3.应用示例>
根据本公开的技术适用于各种产品。例如，根据本公开的技术可以以安装到任何类型的移动体的设备的形式实现。移动体的示例包括汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动设备(personal mobility)、飞机、无人机、船、机器人、建筑机械、农业机械(拖拉机)等。
图10是描述作为能够应用根据本公开的实施例的技术的移动体控制***的示例的车辆控制***7000的示意性构造的示例的框图。车辆控制***7000包括多个经由通信网络7010彼此连接的电子控制单元。在图10所示的示例中，车辆控制***7000包括：驱动***控制单元7100、主体***控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500以及集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合诸如控制器局域网(CAN：Controller Area Network)、局域互联网(LIN：Local Interconnect Network)、局域网(LAN：Local Area Network)或FlexRay等的车载通信网络。
各个控制单元包括：微型计算机，其根据各种程序执行算术处理；存储部，其存储由微型计算机执行的程序或用于各种操作的参数等；以及驱动电路，其驱动各种控制目标设备。各个控制单元还包括：网络接口(I/F)，其用于经由通信网络7010与其他控制单元进行通信；以及通信I/F，其用于经由有线通信或无线电通信而与车辆内部和外部的设备或传感器等进行通信。图10中所示的集成控制单元7600的功能构造包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其他控制单元类似地包括微型计算机、通信I/F和存储部等。
驱动***控制单元7100根据各种程序控制与车辆的驱动***有关的设备的操作。例如，驱动***控制单元7100用作如下设备的控制设备：用于产生车辆的驱动力的驱动力产生设备(例如，内燃机或驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角度的转向机构或用于产生车辆的制动力的制动设备等。驱动***控制单元7100可以具有作为防抱死制动***(ABS：Antilock Brake System)或电子稳定控制(ESC：Electronic Stability Control)等的控制设备的功能。
驱动***控制单元7100与车辆状态检测部7110连接。例如，车辆状态检测部7110包括如下传感器中的至少一者：检测车体的轴向旋转运动的角速度的陀螺仪传感器；检测车辆的加速度的加速度传感器；以及用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角和发动机转速或车轮转速等的传感器。驱动***控制单元7100使用从车辆状态检测部7110输入的信号进行算术处理，并且控制内燃机、驱动电机、电动转向设备和制动设备等。
主体***控制单元7200根据各种程序控制设置在车体上的各种设备的操作。例如，主体***控制单元7200用作无钥匙进入***、智能钥匙***或电动车窗装置的控制设备，或者用作诸如前灯、尾灯、刹车灯、转弯信号、雾灯等各种灯的控制设备。在这种情况下，从作为替代钥匙的移动设备发送的无线电波或各种开关的信号能够输入到主体***控制单元7200。主体***控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置或灯等。
电池控制单元7300根据各种程序控制作为驱动电机的供电电源的二次电池7310。例如，电池控制单元7300被供应关于包括二次电池7310的电池装置的电池温度、电池输出电压或电池剩余电量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制或控制设置在电池装置上的冷却装置等。
车外信息检测单元7400检测关于包括车辆控制***7000的车辆外部的信息。例如，车外信息检测单元7400与摄像部7410和车外信息检测部7420中的至少一者连接。摄像部7410包括飞行时间(ToF：Time of Flight)照相机、立体照相机、单眼照相机、红外照相机和其他照相机中的至少一者。例如，车外信息检测部7420包括用于检测当前大气条件或天气状况的环境传感器以及用于检测包括车辆控制***7000的车辆的周边的其他车辆、障碍物或行人等的周边信息检测传感器中的至少一者。
例如，环境传感器可以是检测雨水的雨滴传感器、检测雾的雾传感器、检测日照度的日照传感器以及检测降雪的雪传感器中的至少一者。周边信息检测传感器可以是超声波传感器、雷达装置和LIDAR装置(光检测和测距装置、或者激光成像检测和测距装置)中的至少一者。摄像部7410和车外信息检测部7420中的各者可以设置为独立的传感器或装置，或者可以设置为集成了多个传感器或装置的设备。
图11描述了摄像部7410和车外信息检测部7420的安装位置的示例。例如，摄像部7910、7912、7914、7916和7918设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置以及车内的挡风玻璃的上部上的位置中的至少一个位置处。设置在前鼻处的摄像部7910和设置在车内的挡风玻璃的上部处的摄像部7918主要获得车辆7900前方的图像。设置在侧视镜处的摄像部7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门处的摄像部7916主要获得车辆7900后方的图像。设置在车内的挡风玻璃的上部处的摄像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志或车道等。
顺便提及地，图11描述了各个摄像部7910、7912、7914和7916的拍摄范围的示例。摄像范围a表示设置在前鼻处的摄像部7910的摄像范围。摄像范围b和c分别表示设置在侧视镜处的摄像部7912和7914的摄像范围。摄像范围d表示设置在后保险杠或后门处的摄像部7916的摄像范围。例如，通过将由摄像部7910、7912、7914和7916拍摄的图像数据叠加，能够获得从上方观看的车辆7900的鸟瞰图像。
设置在车辆7900的前方、后方、侧面和角部以及车内的挡风玻璃的上部处的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。设置在车辆7900的前鼻处、车辆7900的后保险杠和后门处、以及车内的挡风玻璃的上部处的车外信息检测部7920、7926和7930可以是例如LIDAR装置。这些车外信息检测部7920～7930主要用于检测前方车辆、行人或障碍物等。
返回到图10，继续进行描述。车外信息检测单元7400使摄像部7410拍摄车辆外部的图像，并且接收拍摄的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置或LIDAR装置的情况下，车外信息检测单元7400发送超声波或电磁波等，并接收所接收到的反射波的信息。基于所接收的信息，车外信息检测单元7400可以对诸如人类、车辆、障碍物、标志或路面上的字符等物体进行检测处理或对距上述物体的距离执行检测处理。车外信息检测单元7400可以基于所接收的信息来执行识别降雨、雾或路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算距车辆外部的物体的距离。
此外，基于所接收的图像数据，车外信息检测单元7400可以执行识别人类、车辆、障碍物、标志或路面上的字符等的图像识别处理，或执行检测距上述物体的距离的处理。车外信息检测单元7400可以使接收的图像数据经受诸如失真校正或对准等处理，并且可以组合由多个不同的摄像部7410拍摄的图像数据，以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同摄像部件的摄像部7410拍摄的图像数据来执行视点转换处理。
车内信息检测单元7500检测车辆内部的信息。例如，车内信息检测单元7500与用于检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括拍摄驾驶员的照相机、检测驾驶员的生物信息的生物传感器或收集车内的声音的麦克风等。例如，生物传感器设置在座椅表面或方向盘等中，并检测坐在座椅中的乘员或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以判定驾驶员是否在打瞌睡。车内信息检测单元7500可以使通过收集声音而获得的音频信号经受诸如噪声消除处理等处理。
集成控制单元7600根据各种程序控制车辆控制***7000内的一般操作。集成控制单元7600与输入部7800连接。例如，输入部7800通过诸如触摸面板、按钮、麦克风、开关或控制杆等能够由乘员进行输入操作的设备来实现。可以向集成控制单元7600提供通过麦克风输入的语音的语音识别而获得的数据。例如，输入部7800可以是使用红外线或其他无线电波的遥控装置，或者是诸如移动电话或个人数字助理(PDA：Personal Digital Assistant)等支持车辆控制***7000的操作的外部连接设备。例如，输入部7800可以是照相机。在这种情况下，乘员能够通过手势输入信息。可替代地，可以输入通过检测乘员佩戴的可穿戴式设备的移动而获得的数据。此外，例如，输入部7800可以包括输入控制电路等，该输入控制电路基于由乘员等使用上述输入部7800输入的信息而生成输入信号并将生成的输入信号输出到集成控制单元7600。乘员等通过操作输入部7800向车辆控制***7000输入各种数据或者给出处理操作的指令。
存储部7690可以包括：存储由微型计算机执行的各种程序的只读存储器(ROM)；和存储各种参数、操作结果或传感器值等的随机存取存储器(RAM)。此外，存储部7690可以通过诸如硬盘驱动器(HDD：Hard Disc Drive)等磁存储设备、半导体存储设备、光存储设备或磁光存储设备等来实现。
通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可以实现诸如全球移动通信***(GSM：GlobalSystem for Mobile communications)、全球微波接入互操作性(WiMAX：Worldwideinteroperability for Microwave Access)、长期演进(LTE：Long Term Evolution)或高级LTE(LTE-A：LTE-Advanced)等蜂窝通信协议，或诸如无线LAN(也称为无线保真(Wi-Fi))或Bluetooth等其他无线通信协议。例如，通用通信I/F 7620可以经由基站或接入点连接到外部网络(例如，因特网、云网络、或公司特定网络)上存在的装置(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F 7620可以使用点对点(P2P：Peer To Peer)技术连接到存在于车辆附近的终端(例如，该终端是驾驶员、行人或商店的终端，或者是机器类型通信(MTC：Machine Type Communication)终端)。
专用通信I/F 7630是用于支持为车辆使用而开发的通信协议的通信I/F。例如，专用通信I/F 7630可以实现诸如车载环境中的无线接入(WAVE：Wireless Access inVehicle Environment)、专用短距离通信(DSRC：Dedicated Short RangeCommunications)或蜂窝通信协议等标准协议，所述车载环境中的无线接入是作为较低层的电气与电子工程师协会(IEEE：Institute of Electrical and Electronic Engineers)802.11p和作为较高层的IEEE 1609的组合。专用通信I/F 7630通常执行作为包括以下通信中的一个或多个通信在内的概念的V2X通信：车辆与车辆之间(车辆到车辆)的通信、道路与车辆之间(车辆到基础设施)的通信、车辆与家之间(车辆到家)的通信、以及行人与车辆之间(车辆到行人)的通信。
例如，定位部7640通过从GNSS卫星接收全球导航卫星***(GNSS：GlobalNavigation Satellite System)信号(例如，来自全球定位***(GPS：Global PositioningSystem)卫星的GPS信号)来执行定位，并生成包括车辆的纬度、经度和高度的位置信息。顺便提及地，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如具有定位功能的移动电话、个人手持电话***(PHS：Personal Handyphone System)或智能电话等终端来获得定位信息。
例如，信标接收部7650接收从安装在道路等上的无线电台发送过来的无线电波或电磁波，从而获得关于当前位置、拥堵、道路封闭或必要时间等的信息。顺便提及地，上述的专用通信I/F 7630可以包括信标接收部7650的功能。
车内装置I/F 7660是调解微型计算机7610与车内存在的各种车内装置7760之间的连接的通信接口。车内装置I/F 7660可以使用诸如无线LAN、Bluetooth、近场通信(NFC：Near Field Communication)或无线通用串行总线(WUSB：Wireless Universal SerialBus)等无线通信协议来建立无线连接。此外，车内装置I/F 7660可以经由图中未示出的连接终端(如有必要，和电缆)通过通用串行总线(USB：Universal Serial Bus)、高清多媒体接口(HDMI：High-Definition Multimedia Interface)或移动高清链接(MHL：MobileHigh-definition Link)等建立有线连接。例如，车内装置7760可以包括乘员拥有的移动设备和可穿戴式设备以及载入或附接到车辆的信息设备中的至少一者。车内装置7760还可以包括用于搜索通往任意目的地的路径的导航设备。车内装置I/F 7660与这些车内装置7760交换控制信号或数据信号。
车载网络I/F 7680是用于调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680发送和接收符合通信网络7010支持的预定协议的信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一者获得的信息而根据各种程序来控制车辆控制***7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并向驱动***控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助***(ADAS：Advanced Driver Assistance System)的功能的协同控制，所述功能包括车辆的碰撞避免或撞击减轻、基于车间距离的跟随驾驶、车速保持行驶、车辆碰撞警告或车辆偏离车道警告等。此外，微型计算机7610可以基于所获得的关于车辆周围的信息且通过控制驱动力产生设备、转向机构或制动设备等来执行旨在自动驾驶等的协同控制，自动驾驶使车辆能够不依赖驾驶员的操作而自动行驶。
微型计算机7610可以生成车辆与诸如周围结构或人物等物体之间的三维距离信息，并且可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一者获得的信息来生成包括关于车辆当前位置的周围环境的信息的本地地图信息。此外，微型计算机7610可以基于获得的信息来预测诸如车辆碰撞、行人等靠近、或进入封闭道路等危险。例如，警告信号可以是用于产生警告声音或点亮警告灯的信号。
声音/图像输出部7670将声音和图像中的至少一者的输出信号发送到输出设备，该输出设备能够视觉或听觉地将信息通知给车上的乘员或车辆外部。在图10的示例中，音频扬声器7710、显示部7720和仪表板7730被图示为输出设备。例如，显示部7720可以包括车载显示器和平视显示器中的至少一者。显示部7720可以具有增强现实(AR：AugmentedReality)显示功能。输出设备可以不是这些设备，并且可以是诸如耳机、例如乘员佩戴的眼镜型显示器等可穿戴式设备、投影仪、或灯等其他设备。在输出设备是显示设备的情况下，显示设备以各种形式(例如，文本、图像、表格或图表等)视觉地显示由微型计算机7610执行各种处理而获得的结果或从其他控制单元接收的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将由复制的音频数据或声音数据等构成的音频信号转换为模拟信号，并且听觉地输出该模拟信号。
顺便提及地，在图10所示的示例中，至少两个经由通信网络7010彼此连接的控制单元可以集成到一个控制单元中。可替代地，各个单独的控制单元可以包括多个控制单元。此外，车辆控制***7000可以包括图中未示出的其他控制单元。此外，由上述说明中的控制单元中的一个控制单元执行的功能的一部分或全部可以被分配给其他控制单元。即，只要能够经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。类似地，与控制单元中的一个控制单元连接的传感器或设备可以连接至其他控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
在上述的车辆控制***7000中，根据本公开的图像处理器、摄像装置和图像处理***例如适用于车外信息检测单元7400和摄像部7410、或车内信息检测单元7500和驾驶员状态检测部7510。
<4.其他实施例>
通过本公开实现的技术不限于前述各个实施例的描述，并且可以以各种方式对该技术进行修改。
例如，在前述各个实施例中，虽然将目标跟踪***作为图像处理***的示例来进行说明；但是，本技术可广泛适用于使用二值化图像数据的其他感测***。
例如，本技术可以具有以下构造。
(1)图像处理器，其包括：
乘法器，所述乘法器从包括多种颜色的像素的像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；
调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及
二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取特定颜色的目标图像。
(2)根据(1)所述的图像处理器，其中，所述二值化处理器包括特定颜色提取部，所述特定颜色提取部将与所述调节参数相乘后的所述图像数据中的各个所述像素中的颜色分量进行比较并且提取所述特定颜色的像素数据。
(3)根据(2)所述的图像处理器，其中，所述二值化处理器还包括二值化输出部，所述二值化输出部输出通过对与所述调节参数相乘后的所述图像数据执行二值化处理而获得的二值化图像数据，在所述二值化处理中，由所述特定颜色提取部提取的所述特定颜色的像素数据被转换为1，并且除了所述特定颜色之外的像素数据被转换为0。
(4)根据(3)所述的图像处理器其还包括驱动信息生成器，所述驱动信息生成器基于所述二值化图像数据生成用于驱动致动器的信息，所述致动器用于跟踪所述特定颜色的目标。
(5)根据(1)至(4)中任一项所述的图像处理器，其中，所述调节器包括：
积分器，所述积分器在预定时段内对各个所述像素的所述图像数据进行积分，以及
颜色调节比率计算器，所述颜色调节比率计算器计算各个所述像素中的所述各种颜色在积分后的所述图像数据中的所述比率。
(6)摄像装置，其包括：
像素部，所述像素部包括多种颜色的像素；
乘法器，所述乘法器从所述像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；
调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及
二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取特定颜色的目标图像。
(7)图像处理***，其设置有摄像装置和使所述摄像装置在跟踪特定颜色的目标的同时进行拍摄的致动器，所述摄像装置包括：
像素部，所述像素部包括多种颜色的像素；
乘法器，所述乘法器从所述像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；
调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及
二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取所述特定颜色的目标图像。
本申请要求于2016年6月17日向日本专利局提交的日本优先权专利申请第2016-120965号的权益，因此将其全部内容以引用的方式并入本文中。
本领域技术人员应当理解的是，可以根据设计要求和其他因素进行各种变形、组合、次组合和变更，只要这些变形、组合、次组合和变更在所附权利要求或其等同物的范围内。

Claims (7)

1.图像处理器，其包括：
乘法器，所述乘法器从包括多种颜色的像素的像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；
调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及
二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取特定颜色的目标图像。
2.根据权利要求1所述的图像处理器，其中，所述二值化处理器包括特定颜色提取部，所述特定颜色提取部将与所述调节参数相乘后的所述图像数据中的各个所述像素中的颜色分量进行比较并且提取所述特定颜色的像素数据。
3.根据权利要求2所述的图像处理器，其中，所述二值化处理器还包括二值化输出部，所述二值化输出部输出通过对与所述调节参数相乘后的所述图像数据执行二值化处理而获得的二值化图像数据，在所述二值化处理中，由所述特定颜色提取部提取的所述特定颜色的像素数据被转换为1，并且除了所述特定颜色之外的像素数据被转换为0。
4.根据权利要求3所述的图像处理器，其还包括驱动信息生成器，所述驱动信息生成器基于所述二值化图像数据生成用于驱动致动器的信息，所述致动器用于跟踪所述特定颜色的目标。
5.根据权利要求1所述的图像处理器，其中，所述调节器包括：
积分器，所述积分器在预定时段内对各个所述像素的所述图像数据进行积分，以及
颜色调节比率计算器，所述颜色调节比率计算器计算各个所述像素中的所述各种颜色在积分后的所述图像数据中的所述比率。
6.摄像装置，其包括：
像素部，所述像素部包括多种颜色的像素；
乘法器，所述乘法器从所述像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；
调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及
二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取特定颜色的目标图像。
7.图像处理***，其设置有摄像装置和使所述摄像装置在跟踪特定颜色的目标的同时进行拍摄的致动器，所述摄像装置包括：
像素部，所述像素部包括多种颜色的像素；
乘法器，所述乘法器从所述像素部接收图像数据并且将所述图像数据与调节参数相乘，所述调节参数用于调节各个所述像素中的颜色等级；
调节器，所述调节器计算各个所述像素中的各种颜色在所述图像数据中的比率，并且基于所述各种颜色的所述比率调节所述调节参数的值；以及
二值化处理器，所述二值化处理器基于与所述调节参数相乘后的所述图像数据来提取所述特定颜色的目标图像。
CN201780028141.6A 2016-06-17 2017-05-17 图像处理器、摄像装置和图像处理*** Pending CN109076167A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-120965 2016-06-17
JP2016120965 2016-06-17
PCT/JP2017/018538 WO2017217177A1 (ja) 2016-06-17 2017-05-17 画像処理装置、および撮像装置、ならびに画像処理システム

Publications (1)

Publication Number Publication Date
CN109076167A true CN109076167A (zh) 2018-12-21

Family

ID=60663106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780028141.6A Pending CN109076167A (zh) 2016-06-17 2017-05-17 图像处理器、摄像装置和图像处理***

Country Status (6)

Country Link
US (1) US11202046B2 (zh)
EP (1) EP3474534B1 (zh)
JP (1) JP6977722B2 (zh)
KR (1) KR102392221B1 (zh)
CN (1) CN109076167A (zh)
WO (1) WO2017217177A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961450A (zh) * 2019-02-19 2019-07-02 厦门码灵半导体技术有限公司 图像二值化处理方法、装置、存储介质和电子设备
CN112132861A (zh) * 2020-08-17 2020-12-25 浙江大华技术股份有限公司 一种车辆事故监测方法、***和计算机设备
CN113421183A (zh) * 2021-05-31 2021-09-21 中汽数据(天津)有限公司 车辆环视全景图的生成方法、装置、设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092495A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 画像センサ
US10863155B2 (en) * 2018-12-24 2020-12-08 Gopro, Inc. Reduction of banding artifacts in image processing
CN109299711B (zh) * 2018-12-25 2019-04-05 常州纺织服装职业技术学院 颜色跟踪方法和装置
CN113942458B (zh) * 2021-10-29 2022-07-29 禾多科技（北京）有限公司 用于车载摄像头调整***的控制方法、装置、设备和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185977A (ja) * 2000-12-08 2002-06-28 Nikon Corp 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
US20020167592A1 (en) * 2001-02-09 2002-11-14 Tetsuya Toyoda Electronic camera, image forming apparatus, storage medium, and electronic camera system
US20030218677A1 (en) * 2002-05-27 2003-11-27 Tomoyuki Nishimura Auto white balance controlling method and electronic camera
CN101086551A (zh) * 2006-06-08 2007-12-12 奥林巴斯映像株式会社 变焦镜头***和使用该变焦镜头***的电子摄像装置
CN102170640A (zh) * 2011-06-01 2011-08-31 南通海韵信息技术服务有限公司 基于模式库的智能手机端不良内容网站鉴别方法
US20110304719A1 (en) * 2010-06-14 2011-12-15 Sony Corporation Image processing apparatus, image processing method, program, and electronic apparatus
CN102651818A (zh) * 2011-02-28 2012-08-29 索尼公司 图像处理装置、图像处理方法和程序
CN102918845A (zh) * 2010-05-28 2013-02-06 富士胶片株式会社 成像设备和计算白平衡增益的方法
US9196056B2 (en) * 2013-08-19 2015-11-24 Manufacturing Techniques, Inc. Electro-optical system and method for analyzing images of a scene to identify the presence of a target color
CN105491120A (zh) * 2015-12-01 2016-04-13 小米科技有限责任公司 图片传输的方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01173269A (ja) 1987-12-28 1989-07-07 Fujitsu Ltd 色物***置自動測定装置
JP2748678B2 (ja) * 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
JPH06203157A (ja) * 1992-10-14 1994-07-22 Fujitsu Ltd カラー画像処理方法および装置
JPH0786936A (ja) 1993-09-14 1995-03-31 Nippon Steel Corp Ａ／ｄコンバータ
JPH09298693A (ja) 1996-05-08 1997-11-18 Fuji Photo Film Co Ltd 電子スチルカメラの記録制御方法
EP1619876A3 (en) * 1997-06-17 2006-02-01 Seiko Epson Corporation Colour image processing apparatus and method
US7196724B2 (en) * 2000-12-08 2007-03-27 Nikon Corporation Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas
JP3823314B2 (ja) 2001-12-18 2006-09-20 ソニー株式会社 撮像信号処理装置及びフリッカ検出方法
JP2003259352A (ja) * 2002-02-26 2003-09-12 Minolta Co Ltd 物体検出装置、物体検出方法、および物体検出プログラム
KR100707269B1 (ko) * 2005-08-18 2007-04-16 삼성전자주식회사 영상의 칼라를 픽셀에 적응적으로 조절할 수 있는칼라조절장치 및 방법
WO2007132652A1 (ja) * 2006-05-12 2007-11-22 Konica Minolta Business Technologies, Inc. 画像処理方法および装置
JP2008306377A (ja) * 2007-06-06 2008-12-18 Fuji Xerox Co Ltd 色調整装置および色調整プログラム
JP2009193429A (ja) * 2008-02-15 2009-08-27 Mitsubishi Electric Corp 画像読取装置
JP5147994B2 (ja) * 2009-12-17 2013-02-20 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置
JP2011203814A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置および方法、プログラム
JP2015115922A (ja) 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
JP2016161763A (ja) * 2015-03-02 2016-09-05 株式会社ジャパンディスプレイ 表示装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185977A (ja) * 2000-12-08 2002-06-28 Nikon Corp 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
US20020167592A1 (en) * 2001-02-09 2002-11-14 Tetsuya Toyoda Electronic camera, image forming apparatus, storage medium, and electronic camera system
US20030218677A1 (en) * 2002-05-27 2003-11-27 Tomoyuki Nishimura Auto white balance controlling method and electronic camera
CN101086551A (zh) * 2006-06-08 2007-12-12 奥林巴斯映像株式会社 变焦镜头***和使用该变焦镜头***的电子摄像装置
CN102918845A (zh) * 2010-05-28 2013-02-06 富士胶片株式会社 成像设备和计算白平衡增益的方法
US20110304719A1 (en) * 2010-06-14 2011-12-15 Sony Corporation Image processing apparatus, image processing method, program, and electronic apparatus
CN102651818A (zh) * 2011-02-28 2012-08-29 索尼公司 图像处理装置、图像处理方法和程序
CN102170640A (zh) * 2011-06-01 2011-08-31 南通海韵信息技术服务有限公司 基于模式库的智能手机端不良内容网站鉴别方法
US9196056B2 (en) * 2013-08-19 2015-11-24 Manufacturing Techniques, Inc. Electro-optical system and method for analyzing images of a scene to identify the presence of a target color
CN105491120A (zh) * 2015-12-01 2016-04-13 小米科技有限责任公司 图片传输的方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961450A (zh) * 2019-02-19 2019-07-02 厦门码灵半导体技术有限公司 图像二值化处理方法、装置、存储介质和电子设备
CN109961450B (zh) * 2019-02-19 2021-08-24 厦门码灵半导体技术有限公司 图像二值化处理方法、装置、存储介质和电子设备
CN112132861A (zh) * 2020-08-17 2020-12-25 浙江大华技术股份有限公司 一种车辆事故监测方法、***和计算机设备
CN112132861B (zh) * 2020-08-17 2024-04-26 浙江大华技术股份有限公司 一种车辆事故监测方法、***和计算机设备
CN113421183A (zh) * 2021-05-31 2021-09-21 中汽数据(天津)有限公司 车辆环视全景图的生成方法、装置、设备和存储介质
CN113421183B (zh) * 2021-05-31 2022-09-20 中汽数据(天津)有限公司 车辆环视全景图的生成方法、装置、设备和存储介质

Also Published As

Publication number Publication date
KR20190019904A (ko) 2019-02-27
EP3474534B1 (en) 2023-12-20
US11202046B2 (en) 2021-12-14
WO2017217177A1 (ja) 2017-12-21
KR102392221B1 (ko) 2022-05-02
JP6977722B2 (ja) 2021-12-08
JPWO2017217177A1 (ja) 2019-04-04
EP3474534A4 (en) 2019-10-16
US20190166345A1 (en) 2019-05-30
EP3474534A1 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
CN109076167A (zh) 图像处理器、摄像装置和图像处理***
US10805548B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
US11698642B2 (en) Information processing apparatus, mobile object, control system, and information processing method
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
CN109844813A (zh) 图像处理装置和图像处理方法
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
EP3805045B1 (en) Information processing device, information processing method
WO2018150685A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7500798B2 (ja) 固体撮像装置、補正方法、および電子装置
US11585898B2 (en) Signal processing device, signal processing method, and program
CN109479093A (zh) 图像处理装置和图像处理方法
US11375137B2 (en) Image processor, image processing method, and imaging device
CN109644241B (zh) 图像处理设备和图像处理方法
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
WO2021229983A1 (ja) 撮像装置及びプログラム
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法
EP3751512A1 (en) Recognition device, recognition method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221