JPWO2019064825A1 - 情報処理装置と情報処理方法および制御装置と画像処理装置 - Google Patents

情報処理装置と情報処理方法および制御装置と画像処理装置 Download PDF

Info

Publication number
JPWO2019064825A1
JPWO2019064825A1 JP2019544313A JP2019544313A JPWO2019064825A1 JP WO2019064825 A1 JPWO2019064825 A1 JP WO2019064825A1 JP 2019544313 A JP2019544313 A JP 2019544313A JP 2019544313 A JP2019544313 A JP 2019544313A JP WO2019064825 A1 JPWO2019064825 A1 JP WO2019064825A1
Authority
JP
Japan
Prior art keywords
transmittance
region
captured image
detection unit
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019544313A
Other languages
English (en)
Inventor
諭志 河田
諭志 河田
神尾　和憲
和憲 神尾
友希 鴇崎
友希 鴇崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019064825A1 publication Critical patent/JPWO2019064825A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

透過率推定部１１は、撮像画像から領域毎に透過率を推定する。透過率推定部１１は、例えばダークチャンネル処理を用いて画素毎の透過率を推定する。透過率検出部１２は、透過率推定部１１で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出する。透過率検出部１２は、例えば撮像画像の全体または所定部分における透過率の対数平均値とデプス情報が示すデプスの平均値に基づいて煙霧の透過率を検出する。あるいは、透過率検出部１２は、撮像画像から領域毎に推定した透過率の階調を領域毎のデプス情報が示すデプスの階調に変換して、階調変換後の透過率を煙霧の透過率とする。精度よく透過率を検出できるようになる。

Description

この技術は、情報処理装置と情報処理方法および制御装置と画像処理装置に関し、精度よく透過率を検出できるようにする。
従来、霧や塵埃等の煙霧（ヘイズ）によって視認性が損なわれている撮像画像から透過率を計測する方法として、例えば非特許文献１に記載された方法が知られている。非特許文献１では、ダークチャンネル(Dark Channel)という局所領域におけるＲ，Ｇ，Ｂの最小値を用いて煙霧の密度を推定して、推定した煙霧の密度から透過率を算出している。また、特許文献２では、画素毎のダークチャンネルと局所領域のダークチャンネルのうち小さいものを最終的なダークチャンネルとして、透過率を算出している。
特開２０１３−０５８２０３号公報
Kaiming He, Jian Sun, Xiaoou Tang, "Single Image Haze Removal Using Dark Channel Prior," Computer Vision and Pattern Recognition, 2009. CVPR 2009.IEEE Conference on, pp.1956-1963, 2009.
ところで、ダークチャンネルを用いて透過率を推定する手法（Dark Channel Prior）では、撮像画像の三原色チャンネルにおける少なくとも１つの色チャンネルは強度が低いと仮定しており、最も暗い色チャンネル（ダークチャンネル）の画素値を、透過率の反転値と見なしている。したがって、撮像画像における白や明るい灰色の被写体領域における透過率を精度に計測することができない。
そこで、この技術では、精度よく透過率を検出できる情報処理装置と情報処理方法および制御装置と画像処理装置を提供することを目的とする。
この技術の第１の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
を備える情報処理装置にある。
この技術においては、撮像画像から推定した透過率を用いて算出した撮像画像の全体または所定部分における対数平均値と、デプス情報が示すデプスの平均値とに基づいて撮像時における大気の散乱係数を算出する。さらに、算出した大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。または、デプス情報が示すデプスの階調を撮像画像から推定した透過率の階調に変換する処理を行い、例えばデプス情報が示すデプスを正規化して得られるヒストグラムを推定した透過率のヒストグラムに対応させて、階調変換後のデプスを煙霧の透過率としてもよい。なお、領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域である。
この技術の第２の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
を含む情報処理方法にある。
この技術の第３の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置にある。
この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報とを用いて、撮像画像の撮像時における煙霧の透過率を検出して、この透過率に基づき動作制御、例えばランプ駆動制御を行う。ランプ駆動制御では、例えばフォグランプに対して、検出された透過率に基づき点灯制御や光量制御、領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかの制御を行う。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力する制御を行う。さらに、動作制御では、検出された領域毎の透過率に基づき、移動動作を制御する。
この技術の第４の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
を備える画像処理装置にある。
この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて検出された撮像画像の撮像時における煙霧の透過率の逆数に応じてコントラストを調整して煙霧が除去された画像を生成する。または、撮像画像と検出された透過率を用いて、透過率モデルに基づき煙霧が除去された画像の生成を行う。
この技術によれば、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。したがって、精度よく透過率を検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
透過率のモデルを示した図である。 情報処理装置の構成を例示した図である。 階調処理を例示した図である。 制御装置の構成を示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 画像処理装置の構成を例示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．透過率について
２．情報処理装置の構成と動作
３．制御装置の構成と動作
４．画像処理装置の構成と動作
＜１．透過率について＞
撮像装置で取得される画像の画素位置ｘにおいて、情景放射（煙霧の影響のない被写体の本来の色）をＪ（ｘ）、煙霧によって分散した環境光（大気散乱光）をＡ、煙霧の透過率をｔ（ｘ）とすると、撮像装置で取得される画像の画素値Ｉ（ｘ）は、式（１）を用いて算出できることが知られている。なお、図１は透過率のモデルを示している。
Ｉ（ｘ）＝ｔ（ｘ）Ｊ（ｘ）＋（１−ｔ（ｘ））Ａ ・・・（１）
また、透過率ｔ（ｘ）は、撮像装置から被写体までの距離（デプス）ｄ（ｘ）と大気の散乱係数βを用いて式（２）で表すことができる。
ｔ（ｘ）＝ｅｘｐ（−βｄ（ｘ）） ・・・（２）
＜２．情報処理装置の構成と動作＞
図２は、本技術の情報処理装置の構成を例示している。情報処理装置１０は、透過率推定部１１と透過率検出部１２を有している。透過率推定部１１は、撮像装置で取得された撮像画像から領域毎に透過率を推定する。透過率検出部１２は、透過率推定部１１で推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を領域毎に検出する。領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域であり、透過率が推定される領域に対応するデプス情報、あるいはデプス情報が取得された領域に対応する透過率が得られている。なお、以下の説明では透過率の推定とデプス情報の取得が画素毎に行われているとして説明を行う。
透過率推定部１１は、非特許文献１に記載されている手法（以下「ダークチャンネル処理」という）を用いて画素毎の透過率を推定する。また、透過率推定部１１は、文献「R. Fattal, “Single Image Dehazing,” ACM Transactions on Graphics, 2008」に記載された手法や文献「R. T. Tan, “Visibility in Bad Weather from a Single Image,” CVPR2008」に記載された手法などの一般的に知られている他の手法を用いて透過率を推定してもよい。
以下、非特許文献１に記載されている手法であるダークチャンネル処理を用いて透過率マップを生成する場合の動作について説明する。ダークチャンネル処理では三原色の色チャンネルのうち少なくとも１つの色チャンネルは強度が低いと仮定しており、ダークチャンネルは、式（３）に示すように定義される。なお、式（３）においてｃはＲＧＢ色成分のいずれかであり、Ω（ｘ）は画素位置ｘを中心とする局所領域であり、ｙは局所領域内の座標を示している。
Figure 2019064825
ここで、ダークチャンネル処理では、強度が最も低い色チャンネルの画素値がダークチャンネルであり、ダークチャンネルにおける情景放射を式（４）に示すように「０」とすると、画素位置ｘの透過率は式（５）に基づいて推定できる。なお、「〜（チルダ）」が上に付されたｔを「ｔ〜」とも記す。
Figure 2019064825
透過率推定部１１は、撮像装置で取得された撮像画像、例えば赤成分Ｒの画像と緑成分Ｇの画像と青成分Ｂの画像で構成されている撮像画像から環境光Ａを推定する。透過率推定部１１は、例えば撮像画像における輝度が最も高い画素を環境光とする。透過率推定部１１は、推定した環境光Ａを用いて式（５）の演算を行い、画素毎に透過率を推定して透過率検出部１２へ出力する。
透過率検出部１２は、透過率推定部１１で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを出力する。デプス情報は、撮像装置から取得してもよくデプス測定装置から取得してもよい。例えば像面位相差画素が設けられたイメージセンサを用いた撮像装置では、撮像画像だけでなく像面位相差画素の画素信号を用いて被写体までの距離を示すデプス情報を得ることができる。このような撮像装置が用いられている場合、情報処理装置１０は、撮像装置から撮像画像と撮像画像に対応するデプス情報を取得する。また、デプス測定装置としてＴＯＦ（Time of Flight）センサやＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサ等を用いてデプス情報を取得してもよい。デプス情報は被写体までの距離を精度よく示しているが、例えば距離が等しくとも撮像装置から被写体までの大気の状態によって透過率は変化する。そこで、透過率検出部１２は、推定した透過率とデプス情報を用いることで、推定した透過率よりも精度よく煙霧の透過率を検出する。
次に、透過率検出部１２で行う第１の透過率検出動作について説明する。透過率検出部１２は、撮像画像から画素毎に推定した透過率の対数平均値とデプス情報が示す画素毎のデプスの平均値に基づいて煙霧の透過率を検出する。例えば、透過率検出部１２は、推定された透過率とデプス情報で示されたデプスの平均値を用いて散乱係数を算出する。推定された透過率ｔ〜（ｘ）とデプスｄ（ｘ）と大気の散乱係数βの関係は上述の式（２）に示す関係であることから、散乱係数βの算出式は式（６）になる。
β＝−（ｌｏｇ（ｔ〜（ｘ））／ｄ（ｘ）） ・・・（６）
したがって、透過率検出部１２は、各画素の透過率ｔ（ｘ）とデプスｄ（ｘ）から、透過率ｔ〜（ｘ）の対数の平均値Ｅ［ｌｏｇ（ｔ〜（ｘ））］とデプスの平均値Ｅ［ｄ（ｘ）］を算出して、式（７）に基づき散乱係数βａを算出する。さらに、透過率検出部１２は、大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。透過率検出部１２は、算出された散乱係数βａとデプスｄ（ｘ）を用いて式（８）の演算を各画素で行い透過率ｔａ（ｘ）を検出して、煙霧の透過率を画素毎に示す透過率マップを生成する。
βａ＝−（Ｅ［ｌｏｇ（ｔ〜（ｘ））］／Ｅ［ｄ（ｘ）］） ・・・（７）
ｔａ（ｘ）＝ｅｘｐ（−βａｄ（ｘ）） ・・・（８）
透過率検出部１２は、推定された透過率とデプス情報で示されたデプスの平均値の算出において、撮像画像の各画素の透過率とデプスを全て用いてもよく、撮像画像の所定部分例えば中央部分の画素の透過率とデプスを用いてもよい。また、予め指定された画素間隔で抽出した画素の透過率とデプスを用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
次に、透過率検出部１２で行う第２の透過率検出動作について説明する。透過率検出部１２は、デプス情報が示すデプスの階調を推定した透過率の階調に対応させる階調変換を行うことで煙霧の透過率を検出する。例えば、透過率検出部１２は、デプス情報が示すデプスの正規化と正規化後のデプスの階調を推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを煙霧の透過率とする。すなわち、透過率検出部１２は、デプスマップを正規化して、推定した透過率に応じた階調変換を行い、煙霧の透過率を画素毎に示す透過率マップを生成する。
階調変換では、ヒストグラムの均等化等を行い、正規化後のデプスのヒストグラムを、推定した透過率のヒストグラムに対応させる。例えば階調変換では、正規化後のデプスのヒストグラムと透過率のヒストグラムのビンの数を等しくして、度数がピークとなるビンの位置、ピーク位置とピーク位置の度数、あるいはヒストグラム形状が等しくなるようにデプスの変換を行う。
図３は、階調処理を例示している。図３の（ａ）は、所定距離を「１」として正規化したデプスのヒストグラムである。なお、所定距離は例えばデプス情報で示された画素毎のデプスの最大値とする。図３の（ｂ）は推定した透過率のヒストグラムである。透過率検出部１２は、図３の（ａ）に示すデプスのヒストグラムの例えばピーク位置が図３の（ｂ）に示す推定した透過率のヒストグラムに対応するように階調処理を行い、図３の（ｃ）に示すヒストグラムとなるデプスを煙霧の透過率とする。
なお、第２の透過率検出動作で用いる画素は、第１の透過率検出動作と同様に、撮像画像全体の画素を用いてもよく、一部の領域例えば撮像画像の中央部分の領域の画素を用いてもよい。また、予め指定された画素間隔で袖手した画素を用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
このように、本技術の情報処理装置によれば、撮像画像に基づき領域毎に推定した透過率と領域毎のデプス情報に基づき、領域毎に透過率が検出されるので、撮像画像に基づいて推定した透過率に比べて、精度よく透過率を検出できるようになる。
また、本技術の情報処理装置では、平滑化部１３を設けてもよい。例えば、透過率を推定した画素が示す被写***置と、この画素に対応するデプス情報が示すデプスの測定位置との誤差が大きい場合や、局所領域単位で透過率の算出が行われて局所領域の境界で透過率の変化が顕著である場合、検出された透過率に基づき後述するように煙霧除去処理を行うと、被写体のエッジ部分や局所領域の境界でハロー効果が発生するおそれがある。したがって、平滑化部１３を設けてソフトマッティング処理等を行うことで、境界部分の透過率変化を滑らかにしてもよい。
＜３．制御装置の構成と動作＞
次に、本技術の制御装置について説明する。図４は制御装置の構成を示している。制御装置３０は、透過率推定部３１と透過率検出部３２および動作制御部３３を有している。
透過率推定部３１は、上述の透過率推定部１１と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部３２へ出力する。透過率検出部３２は、上述の透過率検出部１２と同様な処理を行い、透過率推定部３１で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを動作制御部３３へ出力する。動作制御部３３は、透過率検出部３２から出力された透過率マップに基づき煙霧の有無を判別する。また、動作制御部３３は、煙霧の有無の判別結果や領域毎の透過率に基づき被制御部の動作を制御する。次に、制御装置を用いた車両制御システムについて説明する。
図５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５の例では、出力装置として、オーディオスピーカ１２０６１、表示部２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。
図６は、撮像部１２０３１の設置位置の例を示す図である。
図６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
このように構成された移動体制御システムにおいて、撮像部１２０３１では撮像画像とデプス情報を取得する。また、撮像部１２０３１でデプス情報を取得できない場合、車外情報検出ユニット１２０３０には、デプス情報の取得が可能な周囲情報検出センサを設ける。周囲情報検出センサとしては、ＴＯＦ（Time of Flight）センサやＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサ等を用いる。車外情報検出ユニット１２０３０は、撮像部１２０３１から取得した撮像画像とデプス情報、あるいは撮像部１２０３１から取得した撮像画像と周囲情報検出センサで取得されたデプス情報を統合制御ユニット１２０５０へ出力する。
統合制御ユニット１２０５０には、透過率推定部３１と透過率検出部３２の機能を設けて、上述のように透過率の推定や検出を行い、透過率マップを生成する。また、ボディ系制御ユニット１２０２０には、動作制御部３３を設ける。
ボディ系制御ユニット１２０２０は、統合制御ユニット１２０５０で生成された透過率マップに基づき被制御部例えばフォグランプ等のランプ駆動制御を行う。
ボディ系制御ユニット１２０２０は、ランプ駆動制御として点灯制御を行う。透過率マップの全体または部分領域について煙霧の有無を判定する。部分領域は、透過率マップの全体を複数に分割したときの各分割領域であってもよく、透過率マップ内の予め設定された位置に所定の領域サイズで設定された１または複数の領域であってもよい。
ボディ系制御ユニット１２０２０は、透過率マップの全体もしくは部分領域の平均値と閾値を比較して、透過率平均値が所定の閾値よりも低いか、もしくは透過率が所定の閾値よりも低い部分領域があるか判定する。また、動作制御部３３は、透過率が所定の閾値よりも低い画素を検出して、検出した画素数が透過率マップの全体において所定の閾値よりも多いか、もしくは検出した画素数が所定の閾値よりも多い部分領域があるか判定する。ボディ系制御ユニット１２０２０は、例えば透過率マップの全体の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット１２０２０は、例えば透過率が所定の閾値よりも低い画素数が透過率マップの全体において所定の閾値よりも多い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
ボディ系制御ユニット１２０２０は、ランプ駆動制御として配光制御をさらに行うようにしてもよい。ボディ系制御ユニット１２０２０は、例えば透過率平均値が所定の閾値よりも低い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、透過率平均値が所定の閾値よりも低い部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット１２０２０は、透過率平均値が所定の閾値よりも低い部分領域を検出していない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット１２０２０は、例えば透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、この部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット１２０２０は、透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出していない場合にフォグランプを非点灯状態とする。
さらに、ボディ系制御ユニット１２０２０は、ランプ駆動制御として光量制御をさらに行うようにしてもよい。ボディ系制御ユニット１２０２０は、透過率マップの全体もしくは部分領域の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として光量制御を行い、透過率平均値が低くなるに伴い光量を多くする。また、ボディ系制御ユニット１２０２０は、透過率平均値が所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
このように、移動体制御システムでは検出した透過率に基づいてランプ駆動制御が行われるので、例えば霧が濃いときにはフォグランプを自動的に点灯して、霧が晴れたときには自動的に消灯することができる。また、フォグランプの照射方向や照射角が自動的に調整されて、霧が濃い領域の視認性を向上させることができる。さらに、霧の濃さに応じてフォグランプの光量を最適な光量に自動的に調整することができる。なお、フォグランプは車両前方だけでなく車両後方に設けられてもよい。
また、ランプ駆動制御はフォグランプの駆動制御に限られない。例えば、霧が濃いときにヘッドランプが上向き（ハイビーム）であると、前方の視認性が低下する。したがって、霧が濃いときにヘッドランプを下向き（ロービーム）とする制御や光量を低下させる制御を自動的に行うようにしてもよい。
また、本技術の制御装置は、煙霧を生じる環境で使用される移動機器であれば、自動車に限らず船舶あるいは飛行体等に適用してもよい。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力してもよい。例えばドローン等の無人飛行体に適用して上空から撮像を行い、撮像中に透過率を検出する。また、無人飛行体は、透過率が閾値よりも低下した場合、検出した透過率をコントロール側等に通知する。このような動作制御を行えば、煙霧の発生状況を上空から精度よく観測できるようになる。また、検出された透過率に基づく動作制御として移動方向を制御してもよい。例えば、無人飛行体は、領域毎に検出した透過率をコントロール側に通知して、あるいは領域毎に検出した透過率に基づき自動的に、煙霧の少ない方向に飛行ルートを選択しながら撮像を行うこともできる。
＜４．画像処理装置の構成と動作＞
次に、本技術の画像処理装置について説明する。図７は画像処理装置の構成を例示している。画像処理装置５０は、透過率推定部５１と透過率検出部５２および煙霧除去部５３を有している。
透過率推定部５１は、上述の透過率推定部１１と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部３２へ出力する。透過率検出部５２は、上述の透過率検出部１２と同様な処理を行い、透過率推定部３１で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを煙霧除去部５３へ出力する。煙霧除去部５３は、透過率検出部５２から出力された透過率マップに基づき、撮像装置で取得された撮像画像から煙霧を除去する。
煙霧除去部５３の第１の動作では、透過率マップで示された各画素の透過率ｔａ（ｘ）の逆数に応じてコントラストを調整することで煙霧を除去する。この場合、煙霧除去部５３は、処理対象画素を基準とした近傍領域内の画素（処理対象画素を含む）の画素値平均を処理対象画素の直流成分ＩDCとする。また、煙霧除去部５３は、処理対象画素と近傍領域内の他の各画素との画素値の差分の平均値を処理対象画素のコントラスト成分ＩACとする。さらに、煙霧除去部５３は、処理対象画素である画素位置ｘの直流成分ＩDC（ｘ）とコントラスト成分ＩAC（ｘ）と透過率ｔａ（ｘ）を用いて式（９）の演算を行い、煙霧除去後の画素値すなわち情景放射Ｊ（ｘ）を算出する。煙霧除去部５３は、式（９）の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
Ｊ（ｘ）＝ＩDC（ｘ）＋（１／ｔａ（ｘ））ＩAC ・・・（９）
煙霧除去部５３の第２の動作では、撮像画像と検出された透過率を用いて透過率のモデルに基づいて煙霧を除去する。透過率のモデルを示す式（１）を変形すると、情景放射Ｊ（ｘ）を算出する式（１０）が得られる。したがって、煙霧除去部５３は、式（１０）の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
Ｊ（ｘ）＝（Ｉ（ｘ）−Ａ））／ｔａ（ｘ）＋Ａ ・・・（１０）
なお、透過率ｔａ（ｘ）は「０」に近い値を取り得る場合があり、透過率ｔａ（ｘ）が「０」に近い値となると煙霧が除去された撮像画像にノイズが目立つ場合が生じる。したがって、予め下限値ｔ0を設定して、透過率ｔａ（ｘ）が下限値ｔ0よりも小さい場合は下限値ｔ0を用いて煙霧除去を行うようにしてもよい。
煙霧除去部５３は、式（１０）で用いる環境光Ａとして、例えば上述のように撮像画像における輝度が最も高い画素を環境光とする。また、煙霧除去部５３は、撮像装置から取得した撮像画像の全体もしくは一部領域の平均値を環境光Ａとして用いてもよい。また、煙霧除去部５３は、主成分分析あるいは独立成分分析によって環境光Ａを推定してもよい。例えば煙霧除去部５３は、三原色の各色成分を３次元の各ベクトルとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値の各色成分を対応するベクトルのノルムとして、全体もしくは一部領域の画素値に基づく３次元ベクトルの主成分分析を行い、得られた主成分ベクトルを環境光Ａとする。また、煙霧除去部５３は、各画素の画素値Ｉ（ｘ）、情景放射Ｊ（ｘ）および透過率ｔ（ｘ）は独立であるとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値を用いて独立成分分析を行い、各画素で式（１）の関係を満たす環境光Ａを推定する。
このように、画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出されて、この検出された透過率に基づいて煙霧の除去が行われる。このため、撮像画像から推定した透過率に基づいて煙霧の除去を行う場合に比べて煙霧を精度よく除去して、鮮明な撮像画像を復元できるようになる。
また、本願の画像処理装置を、煙霧を生じる環境で使用される電子機器、例えば監視装置に用いれば、監視対象の領域に煙霧が生じていても鮮明な撮像画像を得られるので、監視能力の低下を防止できる。また、本願の画像処理装置を上述の車両制御システムに用いれば、車両走行時に煙霧が生じていても煙霧が除去されている鮮明な撮像画像を得られる。したがって、煙霧が除去された撮像画像を利用して周辺環境を監視すれば、煙霧が生じても障害物等の検出を容易に行える。また、表示部１２０６２のヘッドアップディスプレイ、バックモニター、電子化されたバックミラーやドアミラー等で煙霧が除去された撮像画像を表示すれば、運転者は煙霧が生じていても周辺状況を容易に把握できるようになる。
明細書中において説明した透過率検出動作や検出した透過率に基づく制御動作、検出した透過率に基づく煙霧除去動作は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の制御装置は以下のような構成も取ることができる。
（１） 撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置。
（２） 前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う（１）に記載の制御装置。
（３） 前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う（２）に記載の制御装置。
（４） 前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う（２）または（３）のいずれかに記載の制御装置。
（５） 前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する（２）乃至（４）のいずれかに記載の制御装置。
（６） 前記動作制御部は、フォグランプのランプ駆動制御を行う（２）乃至（５）のいずれかに記載の制御装置。
（７） 前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う（１）乃至（６）のいずれかに記載の制御装置。
（８） 前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する（１）に記載の制御装置。
この技術の情報処理装置と情報処理方法および制御装置と画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。このため、精度よく透過率を検出できるようになる。したがって、煙霧を生じる環境で使用される移動機器や電子機器に適している。
１０・・・情報処理装置
１１，３１，５１・・・透過率推定部
１２，３２，５２・・・透過率検出部
１３・・・平滑化部
３０・・・制御装置
３３・・・動作制御部
５０・・・画像処理装置
５３・・・煙霧除去部

Claims (18)

  1. 撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
    を備える情報処理装置。
  2. 前記透過率検出部は、前記撮像画像の全体または所定部分における前記推定した透過率の対数平均値と前記デプス情報が示すデプスの平均値に基づいて前記煙霧の透過率を検出する
    請求項１に記載の情報処理装置。
  3. 前記透過率検出部は、前記推定した透過率の対数平均値と前記デプスの平均値に基づき前記撮像時における大気の散乱係数を算出して、前記大気の散乱係数と前記デプス情報に基づいて前記煙霧の透過率を検出する
    請求項２に記載の情報処理装置。
  4. 前記透過率検出部は、前記領域毎のデプス情報が示すデプスの階調を前記推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを前記煙霧の透過率とする
    請求項１に記載の情報処理装置。
  5. 前記階調変換では、前記デプス情報が示すデプスを正規化して得られるヒストグラムを前記推定した透過率のヒストグラムに対応させる
    請求項４に記載の情報処理装置。
  6. 前記領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域である
    請求項１に記載の情報処理装置
  7. 撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
    を含む情報処理方法。
  8. 撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
    前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
    を備える制御装置。
  9. 前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う
    請求項８に記載の制御装置。
  10. 前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う
    請求項９に記載の制御装置。
  11. 前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う
    請求項９に記載の制御装置。
  12. 前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する
    請求項９に記載の制御装置。
  13. 前記動作制御部は、フォグランプのランプ駆動制御を行う
    請求項９に記載の制御装置。
  14. 前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う
    請求項８に記載の制御装置。
  15. 前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する
    請求項８に記載の制御装置。
  16. 撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
    前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
    を備える画像処理装置。
  17. 前記煙霧除去処理部は、前記検出された透過率の逆数に応じてコントラストを調整して前記煙霧が除去された画像を生成する
    請求項１６に記載の画像処理装置。
  18. 前記煙霧除去処理部は、前記撮像画像と前記検出された透過率を用いて透過率モデルに基づき前記煙霧が除去された画像を生成する
    請求項１６に記載の画像処理装置。
JP2019544313A 2017-09-27 2018-07-12 情報処理装置と情報処理方法および制御装置と画像処理装置 Pending JPWO2019064825A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017186019 2017-09-27
JP2017186019 2017-09-27
PCT/JP2018/026313 WO2019064825A1 (ja) 2017-09-27 2018-07-12 情報処理装置と情報処理方法および制御装置と画像処理装置

Publications (1)

Publication Number Publication Date
JPWO2019064825A1 true JPWO2019064825A1 (ja) 2020-12-03

Family

ID=65901839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544313A Pending JPWO2019064825A1 (ja) 2017-09-27 2018-07-12 情報処理装置と情報処理方法および制御装置と画像処理装置

Country Status (5)

Country Link
US (1) US11325520B2 (ja)
EP (1) EP3690393B1 (ja)
JP (1) JPWO2019064825A1 (ja)
CN (1) CN111148965B (ja)
WO (1) WO2019064825A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7362265B2 (ja) * 2019-02-28 2023-10-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7421273B2 (ja) 2019-04-25 2024-01-24 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP7510258B2 (ja) 2019-05-27 2024-07-03 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
CN112507818B (zh) * 2020-11-25 2024-03-15 奥比中光科技集团股份有限公司 一种基于近红外图像的光照估计方法及***
CN112465715B (zh) * 2020-11-25 2023-08-08 清华大学深圳国际研究生院 一种基于大气传输矩阵迭代优化的图像去散射方法
JPWO2023037451A1 (ja) * 2021-09-08 2023-03-16
CN115331444A (zh) * 2022-08-16 2022-11-11 同济大学 一种高速公路团雾消减方法及***
TWI831640B (zh) * 2023-03-10 2024-02-01 元智大學 具有除霧機制的影像處理系統

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119153A (ja) * 1991-10-29 1993-05-18 Meisei Electric Co Ltd 車両衝突警報用レーダー及びその視程障害検出方法
JPH08122437A (ja) * 1994-08-30 1996-05-17 Nippondenso Co Ltd 距離測定装置
JPH09329671A (ja) * 1996-06-11 1997-12-22 Hitachi Ltd 霧監視システム
US20100023223A1 (en) * 2008-07-24 2010-01-28 Gm Global Technology Operations, Inc. Adaptive vehicle control system with driving style recognition
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
US20120212477A1 (en) * 2011-02-18 2012-08-23 Intergraph Technologies Company Fast Haze Removal and Three Dimensional Depth Calculation
JP2012162907A (ja) * 2011-02-07 2012-08-30 Central Nippon Expressway Co Ltd 赤外光照射装置
JP2015039902A (ja) * 2013-08-20 2015-03-02 日産自動車株式会社 車両用照明制御装置
JP2017016359A (ja) * 2015-06-30 2017-01-19 セコム株式会社 自律移動ロボット

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05278519A (ja) * 1992-03-31 1993-10-26 Nissan Motor Co Ltd フォグランプ制御装置
KR101738938B1 (ko) * 2011-09-08 2017-05-23 삼성전자주식회사 명령어 압축 장치, 명령어 압축 방법 및 컴퓨터로 읽을 수 있는 저장 매체
CN102999883B (zh) * 2011-09-08 2016-03-02 富士通株式会社 图像去雾方法和***
JP6320115B2 (ja) * 2014-03-28 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR101583947B1 (ko) * 2014-06-20 2016-01-08 현대자동차주식회사 영상 내 안개 제거 장치 및 그 방법
CN104809707B (zh) 2015-04-28 2017-05-31 西南科技大学 一种单幅雾天图像能见度估计方法
CN105427266B (zh) * 2016-01-04 2018-08-03 西安理工大学 一种信息损耗约束的沙尘图像清晰化方法
CN106530246B (zh) 2016-10-28 2019-04-16 大连理工大学 基于暗通道与非局部先验的图像去雾方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119153A (ja) * 1991-10-29 1993-05-18 Meisei Electric Co Ltd 車両衝突警報用レーダー及びその視程障害検出方法
JPH08122437A (ja) * 1994-08-30 1996-05-17 Nippondenso Co Ltd 距離測定装置
JPH09329671A (ja) * 1996-06-11 1997-12-22 Hitachi Ltd 霧監視システム
US20100023223A1 (en) * 2008-07-24 2010-01-28 Gm Global Technology Operations, Inc. Adaptive vehicle control system with driving style recognition
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
JP2012162907A (ja) * 2011-02-07 2012-08-30 Central Nippon Expressway Co Ltd 赤外光照射装置
US20120212477A1 (en) * 2011-02-18 2012-08-23 Intergraph Technologies Company Fast Haze Removal and Three Dimensional Depth Calculation
JP2015039902A (ja) * 2013-08-20 2015-03-02 日産自動車株式会社 車両用照明制御装置
JP2017016359A (ja) * 2015-06-30 2017-01-19 セコム株式会社 自律移動ロボット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHU, QINGSONG ET AL.: ""A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior"", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 24, no. 11, JPN6022021762, November 2015 (2015-11-01), US, pages 3522 - 3533, XP055396529, ISSN: 0004925621, DOI: 10.1109/TIP.2015.2446191 *

Also Published As

Publication number Publication date
US20200290503A1 (en) 2020-09-17
CN111148965A (zh) 2020-05-12
CN111148965B (zh) 2022-01-25
EP3690393A1 (en) 2020-08-05
WO2019064825A1 (ja) 2019-04-04
EP3690393A4 (en) 2020-11-04
US11325520B2 (en) 2022-05-10
EP3690393B1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
CN111148965B (zh) 信息处理装置、信息处理方法、控制装置及图像处理装置
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11288777B2 (en) Image processing device, image processing method, and program
US10887568B2 (en) Image processing apparatus, and image processing method
KR20200043391A (ko) 화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11978261B2 (en) Information processing apparatus and information processing method
US9894348B2 (en) Driver assistance for a vehicle
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
WO2017195459A1 (ja) 撮像装置、および撮像方法
JPWO2019123795A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2021256411A1 (ja) 信号処理装置、調光制御方法、信号処理プログラム、及び調光システム
WO2019111529A1 (ja) 画像処理装置および画像処理方法
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP2019106588A (ja) 画像処理装置、画像処理方法及び撮像装置
JPWO2019181096A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20210217146A1 (en) Image processing apparatus and image processing method
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022004413A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
US20200366825A1 (en) Recognition device, recognition method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221122