JP2881741B2 - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP2881741B2
JP2881741B2 JP63246053A JP24605388A JP2881741B2 JP 2881741 B2 JP2881741 B2 JP 2881741B2 JP 63246053 A JP63246053 A JP 63246053A JP 24605388 A JP24605388 A JP 24605388A JP 2881741 B2 JP2881741 B2 JP 2881741B2
Authority
JP
Japan
Prior art keywords
image data
image
constant
pixel
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP63246053A
Other languages
English (en)
Other versions
JPH0293875A (ja
Inventor
智充 寺川
健 池山
好廣 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinsangyo Kaihatsu KK
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Shinsangyo Kaihatsu KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Shinsangyo Kaihatsu KK filed Critical Aisin Seiki Co Ltd
Priority to JP63246053A priority Critical patent/JP2881741B2/ja
Publication of JPH0293875A publication Critical patent/JPH0293875A/ja
Priority to US08/751,789 priority patent/US5926164A/en
Application granted granted Critical
Publication of JP2881741B2 publication Critical patent/JP2881741B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【発明の詳細な説明】 〔発明の目的〕 (産業上の利用分野) 本発明は、前方シーンの温度分布に応じた2次元画像
を処理する画像処理装置に関し、例えば、自動車の運転
中に雨や霧等のために充分な視界が得られなくなったと
き、赤外線カメラ等により前方シーンの温度分布に応じ
た2次元画像を撮像し、それに基づいた画像を表示する
ことによりドライバの視界を補う視界補正装置に利用さ
れる画像処理装置に関する。
(従来の技術) 赤外線、特に、波長が8〜12μm程度の遠赤外線は、
雨や霧、煙等に対して可視光より高い透過性を有するこ
とが知られている。また、特に意図的に物体を配置しな
い限りは、一般的なシーン、例えば走る自動車の前方に
展開される前方シーンを形成する殆どの物体は、温度と
放射率において充分な違いを有し、赤外線を発している
ことも知られている。これらは、赤外線カメラ等により
撮像した前方シーンの温度分布に応じた2次元画像を用
いて、雨、霧、煙等により充分に得られない視界を補助
できることを示唆している。
(発明が解決しようとする問題点) ところで、赤外線カメラ等による前方シーンの温度分
布に応じた2次元画像は、可視光によりそれを見たとき
の画像に比べるとかなり不明瞭である。これは、前方シ
ーンを構成する個々の物体より発せられている赤外線が
非常に微弱であること、および、雨、霧、煙等により散
乱を受けていること等が主な原因である。したがって、
赤外線カメラ等による前方シーンの温度分布に応じた2
次元画像をそのまま表示したのではボケて見にくい画像
になってしまい、その前方シーンを構成する個々の物体
を、見る側で判断しなければならない。このことは自動
車の運転のように瞬時の判断を必要とする場合には、こ
の種の画像(赤外線カメラ等による前方シーンの温度分
布に応じた2次元画像をそのまま表示した画像)がドラ
イバの視界の補助にあまり適さないことを意味してい
る。
本発明は、赤外線カメラ等による前方シーンの温度分
布に応じた2次元画像を、より見やすい明瞭な画像に補
正する画像処理装置を提供することを目的とする。
〔発明の構成〕
(問題点を解決するための手段) 上記目的を達成するために、本発明の画像処理装置に
おいては、 前方シーンの温度分布を複数画素の集合でなる2次元
の画像領域に投影し、各画素毎の画像データを生成する
画像データ生成手段;該画像データ生成手段が生成した
画像データを各画素対応で記憶する記憶手段;前記画像
領域内の所定の大きさを有する内領域であって、該内領
域を構成する各画素に対応する画像データを前記記憶手
段より読み出して画像データの濃度と画素数との関係を
示すヒストグラムを作成したとき、該ヒストグラムが予
め定めた条件に合致する内領域を探索し、それが求まる
と、求めた内領域内を構成する各画素に対応する前記記
憶手段より読み出した画像データの最小値および最大値
に基づいて、第1定数,および、該第1定数より大きい
第2定数を設定する定数設定手段;前記画像データ生成
手段が生成した各画素毎の画像データに対し、前記第1
定数を前記画像データ生成手段が生成し得る画像データ
の下限値に、前記第2定数を前記画像データ生成手段が
生成し得る画像データの上限値に、それぞれ対応付ける
変換処理を加える画像データ変換手段;および、該画像
データ変換手段により変換処理が加えられた各画素毎の
画像データを出力する画像データ出力手段; を備える構成とする。
(作用) これによれば、画像データ生成手段が生成した各画素
毎の画像データに対し、第1定数を画像データ生成手段
が生成し得る画像データの下限値に、第2定数を画像デ
ータ生成手段が生成し得る画像データの上限値に、それ
ぞれ対応付ける変換処理が加えられるので、各画素間の
画像データの偏差が拡大されて画像データ生成手段によ
る前方シーンの温度分布に応じた2次元の画像がより見
やすい明瞭な画像に補正される。
この場合、記憶手段が記憶している画像データより第
1定数および第2定数を求めているのでリアルタイム処
理が可能である。また、逐次前方シーンが変化する場合
にはこれら第1定数および第2定数を記憶手段の最新の
記憶画像データより求めれば前方シーンの変化に応じた
充分に適切な画像処理が可能になる。
本発明の他の目的および特長は、以下の図面を参照し
た実施例説明より明らかになろう。
(実施例) 第1図に一実施例の視界補正装置の主要なシステム構
成を示す(電源,操作スイッチ類等は示していない)。
この装置は、赤外線カメラ1,画像処理ユニット2および
ヘッドアップディスプレイ3等よりなる。
赤外線カメラ1は、波長が8〜12μmの遠赤外線に感
応し、その強弱(以下濃度という:濃度が濃いほど赤外
線の強度が弱い)に応じた撮像シーンの赤外線画像を、
256×256画素区分のアナログデータとして出力する。こ
の赤外線カメラ1は、第2a図に示すように自動車4のル
ーフに設置されて進行方向を指向しているが、通常、そ
の前面はカバー41に覆われており、スイッチSWの操作が
あったときにのみ開かれる。カバー41は、第2b図に示す
ように、上下のガイドレールにより横方向にスライド自
在に支持されており、リニアモータ42により駆動されて
赤外線カメラ1の前面を開閉する。
画像処理ユニット2は、自動車4の室内に備えられて
おり、マイクロプロセッサ21およびマイクロプロセッサ
21により制御される各種処理回路、メモリ等により構成
されている。これらの構成各部には、同期分離回路201
およびドットクロック生成回路202において赤外線カメ
ラ1の出力データから画素同期信号を分離して生成した
ドットクロックおよび/またはリアルタイム処理用クロ
ック生成回路204において生成した処理クロックが与え
られている。
以下、各部の動作を説明する。
赤外線カメラ1より与えられた画像データ(アナログ
データ)は、まず、ローパスフィルタ22において高周波
変動分が除去され、A/D変換器23において8ビットのデ
ジタルデータ(256階調)に変換された後、移動平均処
理回路24においてノズル除去処理が施される。
移動平均処理回路24について第6a図を参照して説明す
る。
移動平均処理回路24は、3×3マトリクスレジスタ24
1,加算器242,ビットシフタ243および出力レジスタ244よ
りなり、外付けの2つの1Hディレイバッファ245,246を
備えている。
3×3マトリクスレジスタ241は、3画素分の画像デ
ータを格納するシリアルイン・パラレルアウトのシフト
レジスタを3つ組合わせた構成に等しく、第1のシフト
レジスタにA/D変換器23の出力画像データをそのまま与
え、第2のシフトレジスタにそれを1Hディレイバッファ
245により1水平ライン分遅延させて与え、第3のシフ
トレジスタにそれをさらに1Hディレイバッファ246によ
り1水平ライン分遅延させて与えることにより、水平方
向3画素、垂直方向3画素の領域、すなわち、合計9画
素の画像データを抽出することができる。
加算器242は、3×3マトリクスレジスタ241が抽出す
る、注目画素およびその8近傍画素の画像データをそれ
ぞれf(x,y),f(x−1,y+1),f(x,y+1),f(x
+1,y+1),f(x−1,y),f(x+1,y),f(x−1,y−
1),f(x,y−1),f(x+1,y−1)とするとき、8近
傍画素の全画像データf(x−1,y+1),f(x,y+
1),f(x+1,y+1),f(x−1,y),f(x+1,y),f
(x−1,y−1),f(x,y−1)およびf(x+1,y−
1)の総和を求め、ビットシフト243は、加算器242の出
力データを3ビット右に論理シフトする。つまり、加算
器242およびビットシフタ243において、8近傍画素の画
像データの単純平均を求めている。
出力レジスタ244は、ビットシフタ243の出力データを
一担保持し、注目画素の移動平均処理後データ(x,
y)として出力している。
第6b図は、以上の処理をソフト的に示したフローチャ
ートであり、ドットクロックに同期して(ステップ20
1)、8近傍画素の画像データの加算(ステップ202)、
3ビット右シフトによる単純平均値の算出(ステップ20
3)および注目画素の移動平均処理後データ(x,y)の
出力(ステップ204,205)が繰り返しなされることがわ
かる。
移動平均処理回路24が出力した移動平均処理後データ
(x,y)は、濃度変換処理回路25および画像データ記
憶用のフレームメモリ26に与えられる。このときのフレ
ームメモリ26の書き込みアドレスは、ドットクロックに
同期してアドレスを生成するアドレス生成回路203より
与えられる。
濃度変換処理回路25は、移動平均処理後データ(x,
y)に対してコントラスト強調処理を施す。このコトン
ラスト強調処理は、移動平均処理回路24が出力した移動
平均処理後データ(x,y)の濃度と画素数のヒストグ
ラムが、例えば第7c図の破線aのように示されるとき、
その最も薄いとする濃度ldataが階調0に、最も濃いと
する濃度hdataが階調256に対応するよう、同図1点鎖線
bのように拡張する処理である。ただし、濃度ldataお
よびhdataは、マイクロプロセッサ21により、すでにフ
レームメモリ26に書き込んである移動平均処理後の画像
データにより求められ、定数として与えられる。
濃度変換処理回路25について第7a図を参照して説明す
る。
濃度変換処理回路25は、データレジスタ251,256,267,
加算器252,乗算器253,ビットシフタ254および出力レジ
スタ255よりなる。
データレジスタ251は移動平均処理回路24が出力した
移動平均処理後データ(x,y)を一担保持し、データ
レジスタ256はマイクロプロセッサ21より与えられる定
数ldataを、データレジスタ257は同じくマイクロプロセ
ッサ21より与えられる定数T1を、それぞれ保持する。こ
の定数T1は、“256"をhdataとldataとの差で除した値、
すなわち、“256/(hdata−ldata)”を、処理の便宜
(少数点以下の数値を使用しないため)のために4倍に
した値である。
加算器252は、データレジスタ251が保持している移動
平均処理後データ(x,y)と、データジレスタ256が保
持している定数ldataとの差、すなわち、{(x,y)−
ldata}を演算する。ただし、この演算において、定数l
dataの方が大きいときには演算結果を0とする。
乗算器253は、加算器252が出力した移動平均処理後デ
ータ(x,y)と定数ldataとの差のデータ{(x,y)
−ldata}に定数T1を乗じ、ビットシフタ254は、乗算器
253の出力データを2ビット右に論理シフトする。これ
は、本実施例では処理の便宜のため(小数点以下の数値
を使用しないため)に256をhdataとldataとの差で除し
た値、すなわち、256/(hdata−ldata)を、4倍にした
値を定数T1として用いているからである。
ビットシフタ254の出力は、一担出力レジスタ255に保
持され、コントラスト強調処理が施された注目画素の画
像データF(x,y)として出力される。
このように、濃度変換処理回路25においては、移動平
均処理回路24が出力した移動平均処理後データ(x,
y)の濃度分布を階調0〜階調256に拡張している。
第7b図は、以上の処理をソフト的に示したフローチャ
ートであり、ドットクロックに同期して(ステップ30
1)、移動平均処理後データ(x,y)と定数ldataとの
差の演算(ステップ302,304)、その差のデータ{
(x,y)−ldata}と定数T1の乗算(ステップ303)、2
ビット右シフトによる補正(ステップ306)およびデー
タF(x,y)の出力(ステップ307,308)が繰り返しなさ
れることがわかる。
濃度変換処理回路25においてコントラスト強調処理が
施された画像データは、D/A変換器27においてアナログ
データに変換されヘッドアップディスプレイ3に与えら
れる。
ヘッドアップディスプレイ3は、第3図に示すよう
に、ダッシュボード42の中に備えられたLCD31およびレ
ンズ32ならびにウインドシールド43に備えられたハーフ
ミラー33および照度センサ34等でなる。
LCD31は画像処理ユニット2より与えられた画像デー
タ(アナログデータ)に応じた画像を、照明センサ34が
検出した車室内の明るさに応じた照度でカラー表示し、
レンズ32はその画像をハーフミラー33上に結像する。こ
れにおいて、レンズ32の焦点距離をF,レンズ32とLCD31
との間の距離をQ,ドライバの目Eと虚像までの距離をR
とするとき、 1/Q+1/R=1/F なる関係が成立することが知られている。そこで本実施
例ではF≒Qに設定してRを無限大とし、ドライバの視
点調整の負担を軽減している。
最後に、上記画像処理ユニット2の説明においてあま
り詳しく触れなかったマイクロプロセッサ21について詳
細に説明する。
第4図は、マイクロプロセッサ21の動作のセネラルフ
ローを示す。これに示されるように、マイクロプロセッ
サ21は、電源が投入されるとステップ1において、入出
力ポート,内部レジスタ,フレームメモリ26等を初期化
するイニシャライズ処理を行なった後、構成各部を適宜
制御しながらステップ2〜ステップ8を繰り返して前述
した定数ldataおよびT1を以下のように算出し、それら
を濃度変換処理回路25に与えている。
すなわち、ステップ2においてフレームメモリ26に画
像データ(移動平均処理後)が書き込まれるのを待ち、
ステップ3においてヒストグラム処理を行なう。このヒ
ストグラム処理について第5a図に示したフローチャート
を参照して説明する。
ステップ101では、座標x,yをそれぞれ10および210に
セットする。ただし、本実施例においては、第5b図に示
すように256×256画素で構成さた処理対象となる画像領
域の左上を原点とし、横軸右方を正とするx軸および縦
軸下方を正とするy軸により座標を設定している。
ステップ102では、置数レジスタiをクリアし、ステ
ップ103では座標(x,y)および(x+230,y+15)で対
角指定される矩形領域内の画素の画像データについて、
濃度と画素数のヒストグラムを作成する。ステップ104
ではこのヒストグラムをスムージングするとともに、最
小濃度(最も薄い)dminと最大濃度(最も濃い)dmaxと
を求める。
ステップ105〜ステップ110においては、スムージング
したヒストグラムの極点を求めている。ここでは、ま
ず、ステップ105において濃度レジスタdの初期値を(d
min+2)に設定する。ステップ106においては、濃度d
(濃度レジスタdの値により示される濃度:以下同義)
の微分データN′(d)を、濃度(d+2)の画素数N
(d+2)および濃度(d−2)の画素数N(d−2)
を用いて、 N′(d)=N(d+2)−N(d−2) なる式により求める。この微分データN′(d)が許容
範囲内で0に等しければ、極点と見做してステップ108
においてメモリD(i)(メモリDの置数レジスタiの
値で指定される領域:以下同義)にそのときの濃度dを
格納し、置数レジスタiを1インクリメントするが、そ
うでないときにはステップ108は実行しない。
以上を、濃度レジスタdの値を更新しながら繰り返
し、その値が濃度dmax−2に等しくなるとステップ111
に進む。ステップ111では、置数レジスタiの値を調べ
る。このとき、置数レジスタiの値はヒストグラムに現
われた極点の数に対応しており、この値が2未満のとき
にはステップ112で座標yを更新した後、ステップ102に
戻るが、2以上であればステップ114に進む。
ステップ114で置数レジスタiをレジスタIに退避
し、かつ置数レジスタiおよびカウントレジスタCをク
リアすると、ステップ115〜ステップ123でなるループを
実行する。
ステップ115では、メモリD(i)に格納している濃
度を読み出して濃度dをセットし、ステップ116ではそ
の濃度の画素数N(d)を調べる。このとき、画素数N
(d)が所定値Nth以上であれば、それはヒストグラム
に現われえた山の頂部であるので、さらにその山の裾の
広がりを調べる。この裾の広がりは、山の頂部の前後の
極点の間隔、すなわち、D(i+1)に格納している濃
度とメモリD(i−1)に格納している濃度との差で与
えられるが(ステップ118)、i+1がレジスタIに格
納している全極点の数を超えるときには最大濃度dmaxメ
モリD(i−1)に格納している濃度との差で与えられ
る(ステップ119)。
ステップ120では、この裾の広がりを調べて、それが
所定値Dthに以上のときは、ステップ121でカウントレジ
スタCを1インクリメントする。
上記のループを置数レジスタiを1インクリメントし
ながら繰り返し、置数レジスタiの値がレジスタIに格
納している元の値に等しくなるとループ処理を終了する
(ステップ122,123)。このとき、カウントレジスタC
の値が2以上になっていればステップ124からメインル
ーチンにリターンするが、そうでないときにはステップ
112に戻り、座標yを更新して前述のステップ102に戻
る。
つまり、このヒストグラム処理は、画像データ領域内
に230×15画素の領域を設定し、その領域の画像データ
(移動平均処理後)の濃度と画素数のヒストグラムを作
成し、そのヒストグラムの形を調べる。このヒストグラ
ムが、第5c図に示すような所定値以上の高さとの広がり
を有する2つ(以上)の山でなっていれば、その領域に
は、ボケ画像の特徴が良く現われているものと判定する
が、そうでないときには、自動車から遠方に5画素分の
オーバラップでヒストグラムを抽出する領域を更新設定
し、上記の条件に合致する領域を探索する。一般に、赤
外線カメラ1の撮像した画像は、上部に空を、下部に自
動車に近い明瞭な画像を含んでいるが、このようにして
道路およびそれ以外の部分をある程度の不明瞭さで含む
ボケた画像が容易に検出される。
なお、これにおいて、領域の上辺のy座標が120以下
になっても適切な領域が見付けられないときにはこの処
理中止してメインルーチンのステップ8に進み、フレー
ムメモリをクリアした後、ステップ2に戻る。
ヒストグラム処理において適切な形状のヒストグラム
が得られると、メインルーチンではステップ4において
最小値ldataと最大値hdataを求める。ここでは、最小濃
度dminから濃度が濃くなる方に延べ画素数を数えてそれ
が360個(実験値)を超えるときの濃度を最小値ldataと
し、最大濃度dmaxから濃度が薄くなる方に延べ画素数を
数えてそれが360個(実験値)を超えるときの濃度を最
大値hdataとしている。
ステップ5では最大値hdataから最小値ldataを減じた
値Tを求め、ステップ6では256を値Tで除した値を4
倍(前述したように小数点以下の値となることを避ける
ため)して変換定数T1を求める。
変換定数T1が求まると、ステップ7において最小値ld
ataとともにそれを濃度変換処理回路24に向けて出力す
る。
この後、ステップ8でフレームメモリをクリアし、ス
テップ2に戻る。
以上、本発明を一例で実施した自動車用の視界補正装
置について説明したが、本発明は、これに限ることな
く、広く前方シーンの温度分布に応じた2次元画像を処
理する場合に適用できる。
〔発明の効果〕
以上説明したとおり、本発明の画像処理装置は、 前方シーンの温度分布を複数画素の集合でなる2次元
の画像領域に投影し、各画素毎の画像データを生成する
画像データ生成手段(1,22,23,24);該画像データ生成
手段が生成した画像データを各画素対応で記憶する記憶
手段(26);前記画像領域内の所定の大きさを有する内
領域であって、該内領域を構成する各画素に対応する画
像データを前記記憶手段より読み出して画像データの濃
度と画素数との関係を示すヒストグラムを作成したと
き、該ヒストグラムが予め定めた条件に合致する内領域
を探索し、それが求まると、求めた内領域内を構成する
各画素に対応する前記記憶手段より読み出した画像デー
タの最小値および最大値に基づいて、第1定数,およ
び、該第1定数より大きい第2定数を設定する定数設定
手段(21);前記画像データ生成手段が生成した各画素
毎の画像データに対し、前記第1定数を前記画像データ
生成手段が生成し得る画像データの下限値に、前記第2
定数を前記画像データ生成手段が生成し得る画像データ
の上限値に、それぞれ対応付ける変換処理を加える画像
データ変換手段(25);および、該画像データ変換手段
により変換処理が加えられた各画素毎の画像データを出
力する画像データ出力手段(27,3);を備えている。
つまり、これによれば、画像データ生成手段が生成し
た各画素毎の画像データに対し、第1定数が画像データ
生成手段を生成し得る画像データの下限値に、第2定数
を画像データ生成手段が生成し得る画像データの上限値
に、それぞれ対応付ける変換処理が加えられるので、各
画素間の画像データの偏差が拡大されて画像データ生成
手段による前方シーンの温度分布に応じた2次元の画像
がより見やすい明瞭な画像に補正される。
また、記憶手段が記憶している画像データより第1定
数および第2定数を求めているのでリアルタイム処理が
可能である。
さらに、逐次前方シーンが変化する場合にはこれら第
1定数および第2定数を記憶手段の最新の記憶画像デー
タより求めれば前方シーンの変化に応じた充分に適切な
画像処理が可能になる。
【図面の簡単な説明】
第1図は本発明を一例で実施する視界補正装置の主要な
システム構成を示すブロック図である。 第2a図は第1図に示した装置が自動車に搭載される状態
を示す斜視図、第2b図は第2a図の一部を拡大して示す斜
視図、第3図は第2a図の一部を拡大して示す側面図であ
る。 第4図および第5a図は第1図に示したマイクロプロセッ
サ21の動作例を示すフローチャートであり、第5b図およ
び第5c図はその動作の一部を具体的に示すための模式図
である。 第6a図は第1図に示した移動平均処理回路24の具体的な
構成を示すブロック図、第6b図はその動作例を示すフロ
ーチャートである。 第7a図は第1図に示した濃度変換処理回路25の具体的な
構成を示すブロック図、第7b図はその動作例を示すフロ
ーチャート、第7c図はその動作を説明するためのヒスト
グラムである。 1:赤外線カメラ 2:画像処理ユニット 21:マイクロプロセッサ(定数設定手段) 22:ローパスフィルタ、23:A/D変換器 24:移動平均処理回路 1,22,23,24:(画像データ生成手段) 25:濃度変換処理回路(画像データ変換手段) 26:フレームメモリ(記憶手段) 27:D/A変換器 3:ヘッドアップディスプレイ 27,3:(画像データ出力手段) 31:LCD、32:レンズ 33:ハーフミラー、34:照度センサ 4:自動車 41:カバー、42:ウインドシールド
───────────────────────────────────────────────────── フロントページの続き 審査官 手島 聖治 (58)調査した分野(Int.Cl.6,DB名) G06T 1/00 G06T 5/00

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】前方シーンの温度分布を複数画素の集合で
    なる2次元の画像領域に投影し、各画素毎の画像データ
    を生成する画像データ生成手段; 前記画像データ生成手段が生成した画像データを各画素
    対応で記憶する記憶手段; 前記画像領域内の所定の大きさを有する内領域であっ
    て、該内領域を構成する各画素に対応する画像データを
    前記記憶手段より読み出して画像データの濃度と各画素
    数との関係を示すヒストグラムを作成したとき、該ヒス
    トグラムが予め定めた条件に合致する内領域を探索し、
    それが求まると、求めた内領域内を構成する各画素に対
    応する前記記憶手段より読み出した画像データの最小値
    および最大値に基づいて、第1定数,および、該第1定
    数より大きい第2定数を設定する定数設定手段; 前記画像データ生成手段が生成した各画素毎の画像デー
    タに対し、前記第1定数を前記画像データ生成手段が生
    成し得る画像データの下限値に、前記第2定数を前記画
    像データ生成手段が生成し得る画像データの上限値に、
    それぞれ対応付ける変換処理を加える画像データ変換手
    段;および、 前記画像データ変換手段により変換処理が加えられた各
    画素毎の画像データを出力する画像データ出力手段; を備える画像処理装置。
JP63246053A 1988-09-30 1988-09-30 画像処理装置 Expired - Fee Related JP2881741B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP63246053A JP2881741B2 (ja) 1988-09-30 1988-09-30 画像処理装置
US08/751,789 US5926164A (en) 1988-09-30 1996-11-18 Image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63246053A JP2881741B2 (ja) 1988-09-30 1988-09-30 画像処理装置

Publications (2)

Publication Number Publication Date
JPH0293875A JPH0293875A (ja) 1990-04-04
JP2881741B2 true JP2881741B2 (ja) 1999-04-12

Family

ID=17142762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63246053A Expired - Fee Related JP2881741B2 (ja) 1988-09-30 1988-09-30 画像処理装置

Country Status (2)

Country Link
US (1) US5926164A (ja)
JP (1) JP2881741B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098871B1 (en) * 1998-08-05 2006-08-29 Microvision, Inc. Optical scanning system with correction
US20080146965A1 (en) * 2003-08-11 2008-06-19 Salvatore Privitera Surgical Device for The Collection of Soft Tissue
US20020050956A1 (en) * 2000-09-11 2002-05-02 Microvision, Inc. Scanned display with pinch, timing, and distortion correction
US6833822B2 (en) * 2000-12-21 2004-12-21 Raytheon Company Method and apparatus for generating a visible image with an infrared transmissive window
US7023402B2 (en) * 2001-09-21 2006-04-04 Microvision, Inc. Scanned display with pinch, timing, and distortion correction
US20030095080A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and system for improving car safety using image-enhancement
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
US7683326B2 (en) * 2002-07-09 2010-03-23 Gentex Corporation Vehicle vision system with high dynamic range
JP3625460B2 (ja) * 2002-09-27 2005-03-02 三菱電機株式会社 車載用走行車線認識装置
FR2858280B1 (fr) * 2003-07-29 2008-12-26 Valeo Systemes Dessuyage Dispositif de vision arriere pour vehicule automobile
GB2406161B (en) * 2003-08-20 2006-02-22 Daimler Chrysler Ag Vehicle-mounted infrared radiation source for an infrared night vision system
FR2864932B1 (fr) * 2004-01-09 2007-03-16 Valeo Vision Systeme et procede de detection de conditions de circulation pour vehicule automobile
US7873235B2 (en) * 2007-01-29 2011-01-18 Ford Global Technologies, Llc Fog isolation and rejection filter
EP2357466B1 (en) * 2008-10-21 2016-07-27 West Nippon Expressway Engineering Shikoku Company Limited Infrared thermal image analyzer
JP6023421B2 (ja) * 2011-12-06 2016-11-09 矢崎総業株式会社 車両用表示システム
JP2016113142A (ja) * 2014-12-15 2016-06-23 株式会社リコー 移動体用カメラ及びカメラを搭載した移動体
CN105857180B (zh) * 2016-05-09 2018-06-01 广西大学 雾霾天车辆驾驶辅助***及其方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3014262A1 (de) * 1980-04-14 1981-10-15 Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt Verfahren und einrichtung zur verbesserung des von einem bildsensor mit unvollstaendiger tv-norm und bandbreitenbegrenzt gelieferten bildes
SE427516B (sv) * 1981-11-10 1983-04-11 Ericsson Telefon Ab L M Sett och anordning for att korrigera distortion i en pa elektronisk veg upptecknad av bildelement lengs linjer uppbyggd bild
JPS5954376A (ja) * 1982-09-21 1984-03-29 Konishiroku Photo Ind Co Ltd 画像処理方法
FR2589302B1 (fr) * 1983-10-21 1988-08-12 Trt Telecom Radio Electr Systeme de thermographie infrarouge a sensibilite amelioree par accumulation progressive des lignes de l'image
US4711544A (en) * 1985-04-12 1987-12-08 Yazaki Corporation Display system for vehicle
US4807163A (en) * 1985-07-30 1989-02-21 Gibbons Robert D Method and apparatus for digital analysis of multiple component visible fields
GB8519271D0 (en) * 1985-07-31 1987-10-21 Gec Avionics Night vision systems
JPS62103508A (ja) * 1985-10-31 1987-05-14 Hajime Sangyo Kk 物体の外形検査方法及び装置
FR2610752B1 (fr) * 1987-02-10 1989-07-21 Sagem Procede de representation de l'image en perspective d'un terrain et systeme pour sa mise en oeuvre

Also Published As

Publication number Publication date
US5926164A (en) 1999-07-20
JPH0293875A (ja) 1990-04-04

Similar Documents

Publication Publication Date Title
JP2881741B2 (ja) 画像処理装置
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
KR100522218B1 (ko) 감시 시스템, 카메라 조정방법 및 차량감시 시스템
CN103186887B (zh) 图像除雾装置和图像除雾方法
EP3065390B1 (en) Image correction parameter output device, camera system, and correction parameter output method
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
JPH11243538A (ja) 車両用視認装置
US11410337B2 (en) Image processing device, image processing method and mobile body
US7995107B2 (en) Enhancement of images
JP2003087644A (ja) 撮像表示装置、撮像表示方法及びプログラム
US20230171510A1 (en) Vision system for a motor vehicle
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP3113415B2 (ja) 車載用撮像装置における画像処理方法
EP3671629B1 (en) Semiconductor device, image processing system, image processing method and computer readable storage medium
JPH08315116A (ja) 画像処理装置
JP6944350B2 (ja) 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法
JP2004304303A (ja) 対象物認識装置および対象物認識方法
JPH0293876A (ja) 画像処理装置
JP6327388B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
WO2021192714A1 (ja) レンダリングシステム及び自動運転検証システム
US20210287335A1 (en) Information processing device and program
JP2006109171A (ja) 車両用表示装置
JPH1021378A (ja) 撮像装置及び撮像方法
JP6311826B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
KR20180028354A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees