JP6977722B2 - 撮像装置、および画像処理システム - Google Patents

撮像装置、および画像処理システム Download PDF

Info

Publication number
JP6977722B2
JP6977722B2 JP2018523602A JP2018523602A JP6977722B2 JP 6977722 B2 JP6977722 B2 JP 6977722B2 JP 2018523602 A JP2018523602 A JP 2018523602A JP 2018523602 A JP2018523602 A JP 2018523602A JP 6977722 B2 JP6977722 B2 JP 6977722B2
Authority
JP
Japan
Prior art keywords
unit
color
image data
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523602A
Other languages
English (en)
Other versions
JPWO2017217177A1 (ja
Inventor
博誠 片山
修二 上原
良徳 村松
智裕 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017217177A1 publication Critical patent/JPWO2017217177A1/ja
Application granted granted Critical
Publication of JP6977722B2 publication Critical patent/JP6977722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本開示は、例えばターゲットトラッキングシステムに好適な撮像装置、および画像処理システムに関する。
特定色の移動物体をターゲットとして追尾するようなターゲットトラッキングシステムがある。このようなターゲットトラッキングシステムでは、例えば、撮像装置からの画像データを直接、追尾したいターゲットのＲＧＢの色情報として閾値で２値化し、これを集計してターゲットの位置の推定を行う。
特開平０７−０８６９３６号公報 特開平０１−１７３２６９号公報 特開２００３−１８９１２９号公報 特開２０１５−１１５９２２号公報
上記したターゲットトラッキングシステムでは、照度や周辺光によって閾値が変わる環境下や、人の肌色等、ＲＧＢの比率が光源によって変わる色の被写体では閾値を動的に制御するのが難しく、２値化処理でターゲットを抽出できずに、ターゲットの追尾外れが発生し得る。
ターゲットの抽出精度を向上させることができるようにした撮像装置、および画像処理システムを提供することが望ましい。
本開示の一実施の形態に係る撮像装置は、複数色の画素を含む画素部と、画素部からの画像データが入力され、１フレームごとに画素ごとの色レベルを調整する調整パラメータを画像データに乗算する乗算器と、調整パラメータが乗算された画像データに基づいて、１フレームごとに画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整すると共に、１フレームごとに露出レベルを計算し、露出制御を行う調整部と、調整パラメータが乗算された画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部とを備え、光源の明滅の周期よりも短い周期となるようなフレームレートで連続的に撮影を行うようになされ、乗算器は、外部装置と、調整部と、２値化処理部とに調整パラメータが乗算された画像データを出力するものである。
本開示の一実施の形態に係る画像処理システムは、撮像装置と、撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータとを含み、撮像装置は、複数色の画素を含む画素部と、画素部からの画像データが入力され、１フレームごとに画素ごとの色レベルを調整する調整パラメータを画像データに乗算する乗算器と、調整パラメータが乗算された画像データに基づいて、１フレームごとに画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整すると共に、１フレームごとに露出レベルを計算し、露出制御を行う調整部と、調整パラメータが乗算された画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部とを備え、光源の明滅の周期よりも短い周期となるようなフレームレートで連続的に撮影を行うようになされ、乗算器は、外部装置と、調整部と、２値化処理部とに調整パラメータが乗算された画像データを出力するものである。
本開示の一実施の形態に係る撮像装置、または画像処理システムでは、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値が調整される。調整パラメータが乗算された後の画像データに基づいて、特定色のターゲット画像が抽出される。
本開示の一実施の形態に係る撮像装置、または画像処理システムによれば、調整パラメータが乗算された画像データに基づいて特定色のターゲット画像を抽出するようにしたので、ターゲットの抽出精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第１の実施の形態に係る画像処理システムの一構成例を概略的に示す構成図である。 第１の実施の形態に係る画像処理システムにおける２値化処理部の一構成例を概略的に示す構成図である。 ターゲットトラッキングの概要を示す説明図である。 ２値化についての説明図である。 特定色抽出の計算例を示す説明図である。 第２の実施の形態に係る画像処理システムの一構成例を概略的に示す構成図である。 フリッカの発生の原理を模式的に示す説明図である。 カラーローリングの発生の原理を模式的に示す説明図である。 高フレームレート処理時のサンプリング周期を模式的に示す説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例
１．第１の実施の形態（ターゲット抽出の精度を高めることを可能にした画像処理システム）（図１〜図５）
１．１ 第１の実施の形態に係る画像処理システムの構成（図１、図２）
１．２ 第１の実施の形態に係る画像処理システムの動作（図３〜図５）
１．３ 効果
２．第２の実施の形態（ターゲット抽出の精度を高めると共にフリッカ対策を可能にした画像処理システム）（図６〜図９）
３．応用例（図１０〜図１１）
４．その他の実施の形態
＜０．比較例＞
比較例の画像処理システムの一例として、イメージセンサと画像処理回路とをワンチップ化し、高速なフレームレート動作で様々な機能を実現することを可能にしたセンシングシステムがある。例えば、Ｓｅｌｆ Ｗｉｎｄｏｗ法を代表とする高フレームレートを利用したターゲットトラッキングシステムが開発されている。
図３は、ターゲットトラッキングの概要を示している。ターゲットトラッキングシステムとしては、例えば、特定色の移動物体をターゲットとして追尾するようなシステムがある。このようなターゲットトラッキングシステムは、撮像装置と、撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータとを備え、例えば図３に示したように、画面内を移動するターゲット（ターゲット画像２０）が、常に画面３０の中央部に来るようにアクチュエータによって撮像装置を制御する。
比較例のターゲットトラッキングシステムでは、例えば、センサ画素からのデータに対して直接電圧の閾値を設定し、抽出したいターゲット画像２０のレベルによって”１”，”０”の２値化処理を実施している（特開平０７−０８６９３６号公報、特開平０１−１７３２６９号公報）。比較例のターゲットトラッキングシステムでは、この閾値設定に対し、現フレームや過去フレームの画像状況からフィードバックを行う経路を有していなかったため、周辺の光源や環境変化により、ターゲット抽出している画素レベルに大きな変化が発生すると追従ができず、ターゲット抽出の失敗、すなわちターゲット画像２０の追尾外れ等機能実現の弊害が発生し得る。
また、例えば１０００ｆｐｓ程度の高フレームレート動作を実施するカメラにおいては、蛍光灯等の光源影響により発生するフリッカは、画面内だけではなく、フレームごとに明るさが変わって出力される。比較例の技術として、この光源周期を検出して、次に発生する周期的な光源の明るさを想定し、補正を行う方式がある（特開２００３−１８９１２９号公報、特開２０１５−１１５９２２号公報等）。近年、光源種類の多様化により、複数の光源が混ざった環境などでは点滅周期の想定が難しく、全ての光源環境に対して周期的な補正を行うことは困難である。
そこで、本開示では、以下のことが可能な技術を提供することが望ましい。
（１）センサ構造が並列演算器（列並列、面並列どちらでも可能）を持つ高フレームレートでの高速移動物体のターゲット抽出実施に際し、環境変化に対しロバストに２値化を実施する。
（２）高フレームレート撮像で発生する面フリッカやカラーローリングによる光源の周期的な明るさの変化に対し、変化分を迅速にフィードバックして、フリッカによる明るさや色変化を抑圧する。
＜１．第１の実施の形態＞
［１．１ 第１の実施の形態に係る画像処理装置の構成］
図１は、本開示の第１の実施の形態に係る画像処理システムの一構成例を概略的に示している。図２は、２値化処理部５の一構成例を概略的に示している。
本実施の形態に係る画像処理システムは、画素部１と、ＡＤ変換部２と、メモリ部３と、色別乗算器４と、２値化処理部５と、調整部４０と、駆動情報生成部４１と、アクチュエータ１０とを備えている。
調整部４０は、色別積分器６と、色調整比率計算器７とを有している。２値化処理部５は、図２に示したように、特定色抽出部５１と、２値化出力部５２とを有している。
駆動情報生成部４１は、アクチュエータ１０を駆動するための情報を生成するものであり、画像モーメント抽出部８と、重心計算部９とを有している。
本実施の形態に係る画像処理システムは、撮像装置と、撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータ１０とを備え、図３に示したようなターゲットトラッキングを行うシステムであってもよい。
撮像装置は、画素部１と、ＡＤ変換部２と、メモリ部３と、色別乗算器４と、２値化処理部５と、調整部４０と、駆動情報生成部４１とを備えていてもよい。また、画素部１を撮像装置の構成要素の一部とし、他の回路部分（ＡＤ変換部２、メモリ部３、色別乗算器４、２値化処理部５、調整部４０、および駆動情報生成部４１）を画像処理装置として構成してもよい。
本実施の形態に係る画像処理システムにおいて、少なくとも画像処理装置の部分をワンチップ化した構成にしてもよい。または、アクチュエータ１０以外の部分をワンチップ化した構成にしてもよい。
画素部１は、ＣＭＯＳ（Complementary MOS）イメージセンサであってもよい。画素部１は、例えば、複数の光電変換素子が所定の間隔で２次元配置された受光部と、受光部の光入射面に配置されたカラーフィルタアレイとを有している。画素部１は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサによって構成されている。なお、図１では、画素部１が、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つの色画素がベイヤ配列された構造の例を示している。ベイヤ配列の場合、１画素は、１つのＲ色画素と、１つのＢ色画素と、２つのＧ色画素とを含む。ただし、画素部１は、ベイヤ配列とは異なる配列となっていてもよい。
ＡＤ変換部２、メモリ部３、色別乗算器４、および２値化処理部５は、列並列に設けられていてもよい。
色別乗算器４には、ＡＤ変換部２およびメモリ部３を介して、１画素が複数色の色画素を含む画素部１からの画像データが入力される。色別乗算器４は、画素ごとの色レベルを調整する調整パラメータを画像データに乗算する機能を有している。
調整部４０は、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整する機能を有している。
２値化処理部５は、色別乗算器４によって調整パラメータが乗算された後の画像データに基づいて、特定色のターゲット画像２０を抽出する機能を有している。
特定色抽出部５１は、調整パラメータが乗算された後の画像データにおける画素ごとに色成分を比較し、特定色の画素データを抽出する機能を有している。
２値化出力部５２は、調整パラメータが乗算された後の画像データに対して、特定色抽出部５１によって抽出された特定色の画素データを１、特定色以外の画素データを０とする２値化処理を施した２値化画像データを、駆動情報生成部４１に出力する機能を有している。
色別積分器６は、画像データを画素ごとに所定期間分（例えば１フレーム期間分）、積分する機能を有している。色別積分器６は、ＲＧＢの色別に積分するＲＧＢ色別積分器と、輝度Ｙを計算する輝度計算器とを有している。
色調整比率計算器７は、色別積分器６によって積分された後の画像データにおける画素ごとの各色の比率を算出する機能を有している。
［１．２ 第１の実施の形態に係る画像処理装置の動作］
本実施の形態に係る画像処理システムでは、画素部１で光電変換された列単位の画像データが、ＡＤ変換部２に出力される。ＡＤ変換部２では、列並列に各画素のＡＤ変換を実施する。メモリ部３は、ＡＤ変換部２によってＡＤ変換された画像データを列並列にラッチする。
色別乗算器４は、メモリ部３にラッチされた画像データを読み出し、この画像データに画素ごとに各色に応じた調整パラメータを乗算し、乗算した後の画像データを２値化処理部５の特定色抽出部５１に出力する。なお、色別乗算器４で乗算する調整パラメータは、色調整比率計算器７で計算され、色別乗算器４にフィードバックされたものである。
特定色抽出部５１では、特定色抽出のパラメータを特定色に設定し、調整パラメータが乗算された後の画像データに対し、そのパラメータで特定色の画素データを抽出する。もしくは、特定色抽出部５１では、各色レベルに閾値を設定し、特定色の画素データを抽出する。
２値化出力部５２では、図４に示したように、特定色抽出部５１によって抽出された特定色の画素データを１、特定色以外の画素データを０とする２値化処理を施した２値化画像データを、駆動情報生成部４１に出力する。
図５は、特定色抽出の計算例を示している。
なお、図５は、色空間をＨＳＶモデルに対応させて示している。ＨＳＶモデルは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、および明度（Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）の３つの成分からなる色空間モデルである。
図５には、Ｒを基準色とした特定色の画素データの抽出、検出を行う例（肌色検出）（１）と、Ｇを基準色とした特定色の画素データの抽出、検出を行う例（２）と、Ｂを基準色とした特定色の画素データの抽出、検出を行う例（３）とを示す。
図５の計算例において、α、β、γは、２値化出力部５２において、特定色の画素データであるか、特定色以外の画素データであるかを決める閾値を決定する係数である。２値化出力部５２には、基幹色外比率閾値と、基幹色絶対閾値とが入力される。基幹色は、特定色に対応する色である。
２値化出力部５２から出力された２値化画像データは、駆動情報生成部４１（画像モーメント抽出部８および重心計算部９）において、モーメントや重心等が算出され、アクチュエータ１０を駆動するための情報が生成される。
一方、色別積分器６では、メモリ部３にラッチされた画像データを画素ごとに色別に所定期間分（例えば１フレーム期間分）、積分する。色別積分器６では、画面全体の画像データをＲ，Ｇ，Ｂ色別に積分する。
色調整比率計算器７では、Ｒ，Ｇ，Ｂの積分結果からＲ，Ｇ，Ｂの比率を計算し、各色の比率に基づいて、色別乗算器４で乗算する調整パラメータの値を調整する（フィードバックする）。色調整比率計算器７では、例えば、Ｒ：Ｇ：Ｂが１：１：１の比率になるようにホワイトバランスを計算し、色別乗算器４の調整パラメータの値に反映させる。
また、色別積分器６では、メモリ部３にラッチされた画像データに基づいて画素ごとにＲ，Ｇ，Ｂの色別に輝度Ｙを計算する。色別積分器６では、輝度Ｙを一般的な計算式、例えば「Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ」などによって算出し、輝度Ｙを所定期間分（例えば１フレーム期間分）、積分する。この積分は、例えば重心計算部９で算出した重心周辺のターゲット領域もしくは画面全体で行ってもよい。輝度Ｙの積分結果が適切なレベルになるように、色調整比率計算器７でオートエクスポージャ（ＡＥ、自動露出）レベルを計算（調整）し、画素部１の各画素の蓄積時間（シャッタ）もしくは色別乗算器４に反映するようにしてもよい。
以上の処理は、毎フレームごとに実施してもよい。
［１．３ 効果］
以上のように、本実施の形態によれば、調整パラメータが乗算された後の画像データに基づいて特定色のターゲット画像２０を抽出するようにしたので、ターゲットの抽出精度を向上させることができる。
本実施の形態に係る画像処理システムによれば、ターゲット画像２０の抽出が精度が向上し、結果として、物体追尾精度が向上する。本実施の形態に係る画像処理システムによれば、周辺環境光変化による被写体追尾外れを抑制する。
また、本実施の形態に係る画像処理システムによれば、高速フレームレートカメラにて、フレームごとの画面全体に発生する画像の明るさや色の変化を抑制できる。結果として画質性能を向上させることが期待できる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る画像処理システムについて説明する。なお、以下では、上記第１の実施の形態に係る画像処理システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
図６は、本開示の第２の実施の形態に係る画像処理システムの一構成例を概略的に示している。
本実施の形態では、ターゲット抽出の精度を高めると共にフリッカ対策を可能にした画像処理システムを提供する。
本実施の形態に係る画像処理システムは、上記第１の実施の形態に係る画像処理システムの構成に対して、画像Ｉ／Ｆ（インタフェース）１１と、外部装置１２とをさらに備えている。
外部装置１２は、他の画像処理装置や、ディスプレイ等の画像出力装置であってもよい。
本実施の形態に係る画像処理システムでは、色別乗算器４からの出力が、色別積分器６と画像Ｉ／Ｆ１１とに入力される。
図７は、フリッカの発生イメージを示している。図７には、電源の周期と、蛍光灯の明滅の周期と、垂直同期信号ＶＤとを示す。以降の図８および図９についても同様である。
図７に示したように、フレームレートが遅いと、フレームごとに明るさが異なるため、フリッカが発生する。フリッカを抑制するためには、蛍光灯の周期に合ったフレームレート動作が必要となる。
図８は、カラーローリングの発生イメージを示している。フレームごとに色成分の比率が異なることで、カラーローリングが発生する。
本実施の形態に係る画像処理システムでは、色調整比率計算器７からの出力を色別乗算器４にフィードバックする動作を毎フレームごとに行うことが可能となっている。このため、高フレームレートでのオートホワイトバランス（ＡＷＢ）動作やＡＥ動作が可能となっている。
図９は、高フレームレート撮影時のサンプリング周期の一例を示す。
図９のように、サンプリングした明るさに対応し、高フレームレートで毎フレームごとにＡＥ動作をさせることで、図７に示したフリッカの影響をほぼ無くすことができる。これにより、外部装置１２に出力する画像データにおけるフリッカの発生を抑制できる。
また、図８に示したカラーローリングに対しても、高フレームレートで毎フレームごとにＡＷＢ動作をさせることで、カラーローリングの影響を最小限に抑えることができる。これにより、外部装置１２に出力する画像データにおけるカラーローリングの発生を抑制できる。
その他の構成、動作、ならびに効果は、上記第１の実施の形態に係る画像処理システムと略同様であってもよい。
＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図１１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図１０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）（登録商標）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図１０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム７０００において、本開示の画像処理装置、および撮像装置、ならびに画像処理システムは、例えば、車外情報検出ユニット７４００および撮像部７４１０、又は、車内情報検出ユニット７５００および運転者状態検出部７５１０に適用することができる。
＜４．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、上記各実施の形態では、画像処理システムの一例としてターゲットトラッキングシステムの例を示したが、本技術は２値化画像データを利用するその他のセンシングシステムに広く適用可能である。
例えば、本技術は以下のような構成を取ることもできる。
（１）
複数色の画素を含む画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部と
を備える
画像処理装置。
（２）
前記２値化処理部は、
前記調整パラメータが乗算された前記画像データにおける前記画素ごとに色成分を比較し、前記特定色の画素データを抽出する特定色抽出部
を有する
上記（１）に記載の画像処理装置。
（３）
前記２値化処理部は、
前記調整パラメータが乗算された前記画像データに対して、前記特定色抽出部によって抽出された前記特定色の画素データを１、前記特定色以外の画素データを０とする２値化処理を施した２値化画像データを出力する２値化出力部
をさらに有する
上記（２）に記載の画像処理装置。
（４）
前記２値化画像データに基づいて、前記特定色のターゲットを追尾するアクチュエータを駆動する情報を生成する駆動情報生成部
をさらに備える
上記（３）に記載の画像処理装置。
（５）
前記調整部は、
前記画像データを前記画素ごとに所定期間分、積分する積分器と、
前記積分した後の前記画像データにおける前記画素ごとの前記各色の比率を算出する色調整比率計算器と
を有する
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（６）
複数色の画素を含む画素部と、
前記画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部と
を備える
撮像装置。
（７）
撮像装置と、
前記撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータと
を含み、
前記撮像装置は、
複数色の画素を含む画素部と、
前記画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、前記特定色のターゲット画像を抽出する２値化処理部と
を備える
画像処理システム。
本出願は、日本国特許庁において２０１６年６月１７日に出願された日本特許出願番号第２０１６−１２０９６５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (7)

  1. 複数色の画素を含む画素部と、
    前記画素部からの画像データが入力され、１フレームごとに前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
    前記調整パラメータが乗算された前記画像データに基づいて、１フレームごとに前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、１フレームごとに前記調整パラメータの値を調整すると共に、１フレームごとに露出レベルを計算し、露出制御を行う調整部と、
    前記調整パラメータが乗算された前記画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部と
    を備え、
    光源の明滅の周期よりも短い周期となるようなフレームレートで連続的に撮影を行うようになされ、
    前記乗算器は、外部装置と、前記調整部と、前記２値化処理部とに前記調整パラメータが乗算された前記画像データを出力する
    撮像装置。
  2. 前記２値化処理部は、
    色相、彩度、および明度を含む色空間モデルにおける、前記色相の値を用いて、前記調整パラメータが乗算された前記画像データにおける前記画素ごとに色成分を比較し、前記特定色の画素データを抽出する特定色抽出部
    を有する
    請求項１に記載の撮像装置。
  3. 前記２値化処理部は、
    前記調整パラメータが乗算された前記画像データに対して、前記特定色抽出部によって抽出された前記特定色の画素データを１、前記特定色以外の画素データを０とする２値化処理を施した２値化画像データを出力する２値化出力部
    をさらに有する
    請求項２に記載の撮像装置。
  4. 前記２値化画像データに基づいて、前記特定色のターゲットを追尾するアクチュエータを駆動する情報を生成する駆動情報生成部
    をさらに備える
    請求項３に記載の撮像装置。
  5. 前記調整部は、
    前記画像データを前記画素ごとに１フレーム期間分、積分する積分器と、
    １フレームごとに、前記積分した後の前記画像データにおける前記画素ごとの前記各色の比率を算出する色調整比率計算器と
    を有する
    請求項１ないし４のいずれか１つに記載の撮像装置。
  6. 前記外部装置は、画像出力装置である
    請求項１ないし５のいずれか１つに記載の撮像装置。
  7. 撮像装置と、
    前記撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータと
    を含み、
    前記撮像装置は、
    複数色の画素を含む画素部と、
    前記画素部からの画像データが入力され、１フレームごとに前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
    前記調整パラメータが乗算された前記画像データに基づいて、１フレームごとに前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整すると共に、１フレームごとに露出レベルを計算し、露出制御を行う調整部と、
    前記調整パラメータが乗算された前記画像データに基づいて、前記特定色のターゲット画像を抽出する２値化処理部と
    を備え、
    光源の明滅の周期よりも短い周期となるようなフレームレートで連続的に撮影を行うようになされ、
    前記乗算器は、外部装置と、前記調整部と、前記２値化処理部とに前記調整パラメータが乗算された前記画像データを出力する
    画像処理システム。
JP2018523602A 2016-06-17 2017-05-17 撮像装置、および画像処理システム Active JP6977722B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016120965 2016-06-17
JP2016120965 2016-06-17
PCT/JP2017/018538 WO2017217177A1 (ja) 2016-06-17 2017-05-17 画像処理装置、および撮像装置、ならびに画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2017217177A1 JPWO2017217177A1 (ja) 2019-04-04
JP6977722B2 true JP6977722B2 (ja) 2021-12-08

Family

ID=60663106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523602A Active JP6977722B2 (ja) 2016-06-17 2017-05-17 撮像装置、および画像処理システム

Country Status (6)

Country Link
US (1) US11202046B2 (ja)
EP (1) EP3474534B1 (ja)
JP (1) JP6977722B2 (ja)
KR (1) KR102392221B1 (ja)
CN (1) CN109076167A (ja)
WO (1) WO2017217177A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092495A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 画像センサ
US10863155B2 (en) * 2018-12-24 2020-12-08 Gopro, Inc. Reduction of banding artifacts in image processing
CN109299711B (zh) * 2018-12-25 2019-04-05 常州纺织服装职业技术学院 颜色跟踪方法和装置
CN109961450B (zh) * 2019-02-19 2021-08-24 厦门码灵半导体技术有限公司 图像二值化处理方法、装置、存储介质和电子设备
CN112132861B (zh) * 2020-08-17 2024-04-26 浙江大华技术股份有限公司 一种车辆事故监测方法、***和计算机设备
CN113421183B (zh) * 2021-05-31 2022-09-20 中汽数据(天津)有限公司 车辆环视全景图的生成方法、装置、设备和存储介质
CN113942458B (zh) * 2021-10-29 2022-07-29 禾多科技（北京）有限公司 用于车载摄像头调整***的控制方法、装置、设备和介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01173269A (ja) 1987-12-28 1989-07-07 Fujitsu Ltd 色物***置自動測定装置
JP2748678B2 (ja) * 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
JPH06203157A (ja) * 1992-10-14 1994-07-22 Fujitsu Ltd カラー画像処理方法および装置
JPH0786936A (ja) 1993-09-14 1995-03-31 Nippon Steel Corp Ａ／ｄコンバータ
JPH09298693A (ja) 1996-05-08 1997-11-18 Fuji Photo Film Co Ltd 電子スチルカメラの記録制御方法
EP1619875A1 (en) * 1997-06-17 2006-01-25 Seiko Epson Corporation Image processing apparatus, image processing method, color adjustment method, and color adjusment system
US7196724B2 (en) * 2000-12-08 2007-03-27 Nikon Corporation Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas
JP4649734B2 (ja) * 2000-12-08 2011-03-16 株式会社ニコン 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
US7633523B2 (en) * 2001-02-09 2009-12-15 Olympus Corporation Image capturing device using correction information for preventing at least a part of correction process from being performed when image data is corrected at an external device
JP3823314B2 (ja) 2001-12-18 2006-09-20 ソニー株式会社 撮像信号処理装置及びフリッカ検出方法
JP2003259352A (ja) * 2002-02-26 2003-09-12 Minolta Co Ltd 物体検出装置、物体検出方法、および物体検出プログラム
JP2003348601A (ja) * 2002-05-27 2003-12-05 Fuji Photo Film Co Ltd オートホワイトバランス制御方法及び電子カメラ
KR100707269B1 (ko) * 2005-08-18 2007-04-16 삼성전자주식회사 영상의 칼라를 픽셀에 적응적으로 조절할 수 있는칼라조절장치 및 방법
WO2007132652A1 (ja) * 2006-05-12 2007-11-22 Konica Minolta Business Technologies, Inc. 画像処理方法および装置
JP5111789B2 (ja) 2006-06-08 2013-01-09 オリンパスイメージング株式会社 ズームレンズ及びそれを備えた電子撮像装置
JP2008306377A (ja) * 2007-06-06 2008-12-18 Fuji Xerox Co Ltd 色調整装置および色調整プログラム
JP2009193429A (ja) * 2008-02-15 2009-08-27 Mitsubishi Electric Corp 画像読取装置
CN102714737B (zh) * 2009-12-17 2015-12-02 佳能株式会社 图像处理设备和使用图像处理设备的图像捕获装置
JP2011203814A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置および方法、プログラム
CN102918845B (zh) 2010-05-28 2015-09-02 富士胶片株式会社 成像设备和计算白平衡增益的方法
JP2012002541A (ja) * 2010-06-14 2012-01-05 Sony Corp 画像処理装置、画像処理方法、プログラム、及び電子機器
JP5821214B2 (ja) * 2011-02-28 2015-11-24 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN102170640A (zh) * 2011-06-01 2011-08-31 南通海韵信息技术服务有限公司 基于模式库的智能手机端不良内容网站鉴别方法
US9196056B2 (en) * 2013-08-19 2015-11-24 Manufacturing Techniques, Inc. Electro-optical system and method for analyzing images of a scene to identify the presence of a target color
JP2015115922A (ja) 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
JP2016161763A (ja) * 2015-03-02 2016-09-05 株式会社ジャパンディスプレイ 表示装置
CN105491120A (zh) * 2015-12-01 2016-04-13 小米科技有限责任公司 图片传输的方法及装置

Also Published As

Publication number Publication date
KR102392221B1 (ko) 2022-05-02
EP3474534A4 (en) 2019-10-16
JPWO2017217177A1 (ja) 2019-04-04
EP3474534A1 (en) 2019-04-24
US11202046B2 (en) 2021-12-14
US20190166345A1 (en) 2019-05-30
WO2017217177A1 (ja) 2017-12-21
CN109076167A (zh) 2018-12-21
KR20190019904A (ko) 2019-02-27
EP3474534B1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
JP6977722B2 (ja) 撮像装置、および画像処理システム
US10957029B2 (en) Image processing device and image processing method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
WO2018074252A1 (ja) 画像処理装置および画像処理方法
US10704957B2 (en) Imaging device and imaging method
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7235906B2 (ja) 固体撮像装置
US11585898B2 (en) Signal processing device, signal processing method, and program
JP2018064007A (ja) 固体撮像素子、および電子装置
US11375137B2 (en) Image processor, image processing method, and imaging device
CN110012215B (zh) 图像处理装置和图像处理方法
JP6981416B2 (ja) 画像処理装置と画像処理方法
JP7030703B2 (ja) 信号処理装置、撮影装置、及び、信号処理方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211025

R151 Written notification of patent or utility model registration

Ref document number: 6977722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151