JP3797251B2 - Image processing apparatus for vehicle and image processing method for vehicle - Google Patents
Image processing apparatus for vehicle and image processing method for vehicle Download PDFInfo
- Publication number
- JP3797251B2 JP3797251B2 JP2002055726A JP2002055726A JP3797251B2 JP 3797251 B2 JP3797251 B2 JP 3797251B2 JP 2002055726 A JP2002055726 A JP 2002055726A JP 2002055726 A JP2002055726 A JP 2002055726A JP 3797251 B2 JP3797251 B2 JP 3797251B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- compression
- image data
- decompression
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、車両用画像処理装置および車両用画像処理方法に関する。
【0002】
【従来の技術】
従来技術として、特開平11−150726号公報に記載された車両用動画像処理方法および車両用動画像処理装置がある。
この従来技術では、できるだけCPU(Central Processing Unit:中央演算処理装置)等のハードウェアに計算負荷を与えずに、車両から撮影した進行方向の動画像を適切に圧縮するための圧縮方法および装置を提案している。
図11は、従来例を説明する図である。
1はCCD(Charge Coupled Device:電荷結合素子)カメラ、2は圧縮装置、3は解凍装置、4は画像処理装置、5は車両制御装置、6はブレーキアクチュエータ、7はステアリングアクチュエータ、8はスロットルアクチュエータ、9は変速アクチュエータ、21は撮像部、22は伝送部、23は画像処理部、24はCPUである。
すなわち、具体的には、図11に示す構成図のように、CCDカメラ1で撮影した画像データを、圧縮装置2にて圧縮符号化するに際し、車両の移動に伴う画像の変化度合いに応じて、変化の小さい第1領域と、変化の大きい第2領域とに分割し、それぞれの領域に適合する圧縮方式で圧縮符号化する。例えば、第1領域は、静止画像に適合した圧縮方式により、第2領域は、動画像に適合した圧縮方式によりそれぞれ圧縮符号化する。
【0003】
【発明が解決しようとする課題】
上記の従来例の構成においては、撮像した画像を元に分割領域や圧縮方式を設定する構成になっているため、画像情報を逐次、解析し、道路部分の解析や、好ましい圧縮方式を選択するための画像全体の解析を行う必要がある。また、道路側壁の位置や前方車両の車の位置などは、画像上において、おおむね、その出現場所が予想できるため、その予想に合わせて、分割領域と圧縮方式を設定することもできる。しかし、道路形状や道路側壁状態の不連続性や外乱混入の可能性を考慮すると、定期的に画像全体の構成を確認する必要がある。また、確認するためのきっかけが特になければ、ランダムな時刻に全体の画像構成を探索するような構成にする必要がある。このことは、すばやく状況を判断するためには、頻繁に画像全体の位置関係を確認する必要があり、このことがCPU24の負担を増加させる。前記全体画像に対する探索周期を伸ばせば、CPU24の負担は軽減するが、物体の検知などの発見が遅れたり、必要な部分の画像が劣化するなどの問題を包含している。
また、圧縮方式の選択が、車両制御装置5の制御周期の情報に基づいて変更する構成になっていないため、画像系処理と自動車制御系処理を同一のコンピュータのCPU24で構成しようとするとき、演算に関する処理を効率的に分散することができず、必要以上に性能が高いCPU24が必要となり、システム全体のコストを上昇させる原因となる。
【0004】
本発明の目的は、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる車両用画像処理装置および車両用画像処理方法を提供することにある。
【0005】
【課題を解決するための手段】
上記課題を解決するため、本発明においては特許請求の範囲に記載するような構成をとる。
すなわち、請求項1記載の車両用画像処理装置は、車両周囲を撮像する撮像手段と、前記撮像手段により撮像された画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段と、を有することを特徴とする。
また、請求項2記載の車両用画像処理装置は、請求項1記載の車両用画像処理装置において、前記特性決定手段は、道路属性を検出する道路属性検出手段を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項3記載の車両用画像処理装置は、請求項1記載の車両用画像処理装置において、前記特性決定手段は、車両の周囲の交通量密度を検出する交通量密度検出手段を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項4記載の車両用画像処理装置は、請求項1記載の車両用画像処理装置において、前記特性決定手段は、車両制御装置の制御周期を検出する制御周期検出手段を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項5記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項6記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項7記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像デ ータを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項8記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【発明の効果】
請求項1の車両用画像処理装置によれば、撮像部の圧縮装置により時空間的に圧縮し、撮像部から画像処理部へ伝送し、画像処理部の解凍装置により解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理装置により画像処理を行う構成において、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する構成とすることにより、撮像装置からの取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
請求項2の車両用画像処理装置によれば、請求項1の特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
請求項3の車両用画像処理装置によれば、請求項1の特性を決定する具体的な条件として、レーザレーダやインフラ(infrastructure)から得られる交通密度に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
請求項4の車両用画像処理装置によれば、請求項1の特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
請求項5の車両用画像処理方法によれば、撮像された画像情報を時空間的に圧縮し、解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理を行う構成において、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定する構成とすることにより、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
請求項6の車両用画像処理方法によれば、特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
請求項7の車両用画像処理方法によれば、特性を決定する具体的な条件として、レーザレーダやインフラから得られる交通密度に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
請求項8の車両用画像処理方法によれば、特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のCPUを同一にする場合、効率的なCPUの作業分担をすることができる。
【0006】
【発明の実施の形態】
実施の形態1
図1は、本発明の実施の形態1の車両用画像処理装置の構成を示すブロック図である。
1はCCDカメラ(電子式のカメラ)、2は圧縮装置、3は解凍装置、4は画像処理装置、5は車両制御装置、6はブレーキアクチュエータ、7はステアリングアクチュエータ、8はスロットルアクチュエータ、9は変速アクチュエータ、10はレーダ、21は撮像部、22は伝送部、23は画像処理部、24はCPU、25は特性変更装置、11は道路属性検出装置、12はナビゲーション装置である。
図1に示すように、本実施の形態1では、発明の前提とする基本的な構成として、撮像装置である例えばCCDカメラ1(およびそのドライバ、シャッタ制御を含む)、CCDカメラ1による撮像情報を時空間的に変換する圧縮装置2、CCDカメラ1と圧縮装置2からなる撮像部21と画像処理部22とを接続する伝送部22、圧縮装置2からの信号が入力され、CCDカメラ1で撮像した情報に復元する解凍装置3、解凍後の情報を処理する画像処理装置4、画像処理装置4によって得られた車両の周囲情報に関する処理結果に基づき、作用する車両制御装置5、画像処理装置4と車両制御装置5を含むCPU24、車両制御装置5からの信号送信により具体的に駆動される車両のブレーキアクチュエータ6、ステアリングアクチュエータ7、スロットルアクチュエータ8、変速アクチュエータ9、車両の前方を監視し、前方車両との車間距離等を知らせる信号を車両制御装置5に入力するレーダ10が存在する。
上記の基本的な構成のほかに、本発明のポイントであるナビゲーション装置12を含む道路属性検出装置11を有する特性変更装置25が存在し、その出力は、圧縮装置2と解凍装置3とに接続されている。道路属性検出装置11の具体的なシステムは、本実施の形態1では、GPS(Global Positioning System:汎世界測位システム)付きのナビゲーション装置12などであり、GPSなどにより自車両の場所を検出し、その場所をナビゲーション内に具備する地図を参照する。そして、地図に記載された道路属性情報を取得し、「自動車専用道路」「高速道路」「一般国道」「市街地」などの道路属性を圧縮装置2と解凍装置3とに伝達する。以下の説明では、「高速道路」「自動車専用道路」を「高速道路」とし、それ以外の道路を「非高速道路」として2種類に分けて説明する。
【0007】
図2は、本実施の形態1において、空間的圧縮比特性を説明する図である。
【0008】
まず、道路属性検出装置11により「高速道路」と判断された場合、この信号は、圧縮装置2に入力される。ここでは、図2に示すように、圧縮時の上限とする空間周波数を低めに設定し、空間的な周波数の高い細かい情報を圧縮段階で欠落させる。一般的に、高速道路では、人間や細い物体の存在は、障害物検出にあまり考慮する必要がないため、大きな車両のみに着目する。よって、空間的な周波数が低い物体のみに着目すれば、ACC(Adaptive Cruise Control:自車両の設定速度よりも遅い先行車が存在すると、設定速度を落して追従走行するシステム)やブレーキ制御にはおおむね利用できる。この信号は、解凍装置3にも同期して入力され(必ずしも同期して入力させなくてもよい)、解凍するときの上限周波数を考慮して圧縮信号が解凍される。解凍画像については、空間周波数の高い成分が欠落した画像になるが、高速道路上の存在物の都合上から、空間周波数の高い成分が欠落していても大きな問題にならない。また、画像処理装置4においても、高い周波数を含んだ画像でないならば、ウインドの大きさや移動量を変更し、画像処理自体の演算量を低減することができる。
【0009】
空間的な周波数を低めに抑えたときの解凍画像においては、現画像に比較して、基本的に、車などの大きな物体に付いての圧縮・解凍による情報欠落はほとんどない。多少、輪郭部分がぼける場合がある。一方、現画像で細い物体や輝度が頻繁に変化する物体に対しては、解凍したときに細かく復元できていない。しかし、高速道路においては、それでも大きな問題はない。
【0010】
道路属性検出装置11により「非高速道路」と判定された場合、一般的に、歩行者や自転車などが多数存在する一般道路であり、この場合、高い空間周波数を含んだ情報は、重要な情報となる。そこで、圧縮装置2および解凍装置3においても、高い空間周波数を制限しない特性とし、解凍後の復元画像の劣化が小さいものとなる。細かい部分まで、復元後も見ることができる。前述の空間的な周波数を低めに抑えたときの復元画像に対して、高い空間周波数を制限しない場合の復元画像のほうが細かい物体表現が可能となる。この復元画像を入力し、画像処理装置4では、細かい対象物の検出を行うことができる。ただし、画像処理に対する演算量は、高い周波数を制限した復元像に対してよりも、大きくなる。
【0011】
次に、本実施の形態1のフローを図3、図4に示す。
【0012】
まず、301において、前方の道路画像を撮像する。302では、自車両が現在走行している道路の属性をナビゲーション装置12を備えた道路属性検出装置11により検出する。303において、その道路属性が高速道路である場合、305へ、そうでない場合304へ進む。高速道路である場合、305で、高い空間周波数を制限して圧縮する(すなわち、特性変更装置25が、時空間的な間引き量を大きくする特性の変更を指示する)。一方、高速道路でない場合、304で、高い空間周波数を制限しないで圧縮する(すなわち、特性変更装置25が、時空間的な間引き量を小さくする特性の変更を指示する)。
【0013】
次に、図3のA以降は、圧縮した画像を復元する処理を示す。306において、305、304に対応して、高速道路なら、308で、高い空間周波数を制限した形で解凍する。高速道路でない一般道路である場合、307で、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Aからの流れは、307を介して309へ進む。
【0014】
309で、制御のための一般的な画像処理を行う。310では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータ(ブレーキアクチュエータ6、ステアリングアクチュエータ7、スロットルアクチュエータ8、変速アクチュエータ9)に出力指令値を算定する(この手法は、公知)。312で、制御オン/オフを判断し、オフの場合は処理を終了し、オンの場合は、B、すなわち、301へ戻る(ここでは、特に、制御の内容に言及しない)。
【0015】
次に、効果について説明する。ここでは、レーンキープ装置やACC装置などに着目する。周囲の状況を認識して、その結果に基づき、車両の各種アクチュエータを制御するというITS(Intelligent Transport System:高度道路交通システム)においては、CPUを画像処理用と制御用に共用して利用することが好ましい。それにより、システムコストを低減することができる。一般的に、高速道路を走行するとき、ITS制御コントローラとしては、高速走行している車両の操舵や加減速度をアクチュエータによって制御する場合、比較的短い制御周期で細かい操作量を制御する必要がある。なぜなら、車両が高速で走行しているため、微妙な操舵制御や加減速制御をしないと、不適切な車両挙動となり、ドライバに違和感として感じられる。この場合は、制御負荷は大きくなる。
【0016】
一方、市街地走行の場合、一般的に時速40km以下ならば、車両挙動制御にとって、さほど微妙な制御周期や制御量を要求しないため、制御負荷は大きくない。この制御にかかわる制御負荷の関係と上記の画像処理装置の関係を平行して考える。一般的なシステム構成としては、撮像装置であるCCDカメラ1と圧縮装置2は、バックミラー上などに設置され、個別のCPUなどを有するシステムとして設置される。圧縮装置2からの信号は、シリアル通信などを介して解凍装置3、画像処理装置4、車両制御装置5からなるコントローラ(画像処理部23)に入力される。
【0017】
この後者のコントローラにおいて、CPUを共用し、システムのコストを低減することを考える。
【0018】
前述のように、高速道路では、高い空間周波数成分が制限された復元像を処理するため、画像処理の処理負担は小さい。一方、非高速道路では、高い周波数を有する細かい画像を処理するため、画像処理の演算負担は大きい。
【0019】
以上のように、高速道路では、画像処理の負担が小さいが、制御のための演算負担が大きい。非高速道路では、画像処理の負担が大きいが、制御のための演算負担が小さい。この関係から、CPUの演算能力を的確にバランスよく利用することができ、必要以上なCPU能力を用意する必要がない。すなわち、圧縮の特性を変更する際に用いる条件は、画像系の負荷が大きいときは、制御系の負荷が小さく、画像系の負荷が小さいときは、制御系の負荷が大きくなる特徴があるため、CPUを効率的に作動させることができる。
【0020】
なお、本実施の形態1は、特許請求の範囲の請求項1の車両用画像処理装置に対応する。すなわち、車両周囲を撮像する撮像手段(CCDカメラ1)と、前記撮像手段により撮像された画像データを圧縮する圧縮手段(圧縮装置2)と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段(解凍装置3)と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段(画像処理装置4)と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段(特性変更装置25)と、を有することを特徴とする。すなわち、上記従来例のように、画像の更新周期の早い、遅いで分割し、圧縮方法を変えるのではなく、車両制御上、必要最低限な画像情報が確保できる程度に圧縮の特性(圧縮率)を決定する。したがって、車両制御上、不要な情報(細かい画像)は削除される。
また、本実施の形態1は、特許請求の範囲の請求項2の車両用画像処理装置に対応する。すなわち、前記特性決定手段は、道路属性を検出する道路属性検出手段(道路属性検出装置11)を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態1は、特許請求の範囲の請求項5の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、本実施の形態1は、特許請求の範囲の請求項6の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【0021】
実施の形態2
実施の形態1では、高速道路か非高速道路かを、道路属性判断手段(道路属性検出装置11)によって決定した。この判別手段の本質的な機能としては、低い空間周波数への圧縮変換により、解凍するときに、高い空間周波数を削除してしまっても画像処理に支障をきたさない場面において、その圧縮手法を適用することにある。実施の形態1では、その場面を高速道路か非高速道路かで分類した。本実施の形態2では、その判断を車両の周囲の交通量密度とした。
【0022】
具体的には、図5に示すように、図1の実施の形態1において、ナビゲーション装置12を有する道路属性検出装置11のほかに、VICS装置(Vehicle Information and Communication System:道路交通情報通信システム)13が追加されている。前述のように、高速道路であっても一般道路であっても、道路が込んでいる場合、自車両に対する周囲車両との距離は短くなるので、周囲の障害物は、大きな映像となる。この場合、高い空間周波数までを含まない圧縮・解凍機能で対応できる。一方、渋滞でない場合、結果的に周囲車両の像は小さくなるため、細かい像として周囲対象を捉える必要がある。そこで、この場合は、高い空間周波数まで含めた圧縮・解凍を行う。ただし、後述するように、渋滞でない場合は、実施の形態1と同じ判断によって圧縮・解凍特性が決定される。なお、上記の判断は、道路属性検出装置11内のアルゴリズムにより、好ましい圧縮時の制限空間周波数が決定される。
【0023】
この場合、VICSなどのインフラ情報として得られる渋滞情報と自車両位置、および、自車両走行場所から自車両周囲の渋滞の程度を判断し、上述の関係で圧縮・解凍の空間周波数を決定する。
【0024】
次に、本実施の形態2の場合における、制御手法との関係について説明する。渋滞する場合、ACCやレーンキープ・サポートシステム(道路の白線内を自動的に走行するシステム)といった高速走行時に利用する装置は使用できない。よって、インチング装置(渋滞時に、先行車に自動的に追従走行する装置)のように自車両近傍車両との接触関係を検出する必要がある。この制御では、多少違和感があっても、周囲車両との接触を回避するために、すばやくブレーキをかける必要があり、センシングで軽減されたCPU画像処理負荷を制御側のアルゴリズムに使われることになる。一方、渋滞していない場合は、実施の形態1のシステムを起動し、道路属性で圧縮・解凍特性を変化させる。
【0025】
次に、本実施の形態2のフローを図6、図7に示す。
【0026】
601で、前方の道路画像を撮像する。602において自車両が走行しているところの道路属性をナビゲーション装置12を備えた道路属性検出装置11により検出する。高速道路である場合、603へ移行し、VICS装置13からのVICS信号で渋滞している道路上に自車両が存在しないかを判定する。渋滞していない場合、604にて、高速走行しているものと考え、高い空間周波数を制限した圧縮を行う。
【0027】
一方、602で、高速でない場合や、603で、高速でも渋滞している場合は、高速走行していないものと判断し、605で、高い空間周波数を制限しない通常の圧縮を行う。
【0028】
図6のA以降は、圧縮した画像を復元する処理を示す。606において、604、605に対応して、高い空間周波数を制限した場合は、608で、高い空間周波数を制限した形で解凍する。高い空間周波数を制限しない場合は、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Aからの流れは、607を介して609へ進む。
【0029】
609で、制御のための一般的な画像処理を行う。610では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する(この手法は、公知)。612で、制御オン/オフを判断し、オフの場合は処理を終了し、オンの場合は、B、すなわち、601へ戻る(ここでは、特に、制御の内容に言及しない)。
【0030】
なお、本実施の形態2は、特許請求の範囲の請求項3の車両用画像処理装置に対応する。すなわち、前記特性決定手段(特性変更装置25)は、車両の周囲の交通量密度を検出する交通量密度検出手段(VICS装置13)を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態2は、特許請求の範囲の請求項7の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【0031】
実施の形態3
実施の形態3の構成を図8に示す。
本実施の形態3は、前述の画像処理系(画像処理装置4)のCPU24の演算量と制御系(車両制御装置5)のCPU24の演算量のバランスに着目した実施の形態である。本実施の形態3の場合、制御系の制御周期が短く、かつ、微少量の出力になったとき、制御系のCPU24の負荷が増大する。本実施の形態3では、このCPU24の負荷状態を検出するCPUモニタ14が備えられており、このCPUモニタ14により制御系のCPU24の負荷が増大したときに、画像処理系に対して、高い空間周波数を制限した圧縮・解凍の指示を出す。逆に、制御系の制御周期や操作量に大きな変化がなく、制御系のCPU24の負荷が軽減しているとき、できるだけ精度よく検出することを目標として、画像処理系に対して、高い空間周波数も含んだ圧縮・解凍の指示を出す。
【0032】
制御の負荷は、例えば、ブレーキ動作中や、白線を見失い、白線を検索中などのときは負荷が大きい。一方、ブレーキアクチュエータ制御などを行わず、白線などもトラッキングしている場合は、制御負荷が軽いと考える。
【0033】
本実施の形態3の制御フローを図9、図10に示す。
【0034】
まず、901にて前方道路画像を撮像する。一方、902において、CPUモニタ14により車両制御を行うルーチンのCPU24の負荷をモニタする。903において、CPU24の負荷があらかじめ設定された所定の値よりも大きければ、制御へのCPU24の負荷を、画像処理によりさらに大きくしないように、905で、高周波数を制限した圧縮を行う。一方、CPU負荷が小さい場合は、904で、高周波数を制限しない通常の圧縮を行う。
【0035】
図9のA以降は、圧縮した画像を復元する処理を示す。905、904に対応して、高い空間周波数を制限した場合は、908で、高い空間周波数を制限した形で復元する。高い空間周波数を制限した場合は、907で普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Aからの流れは、907を介して909へ進む。
【0036】
909で、制御のための一般的な画像処理を行う。910では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する(この手法は、公知)。912で、制御オン/オフを判断し、オフの場合は処理を終了し、オンの場合は、B、すなわち、901へ戻る(ここでは、特に、制御の内容に言及しない)。
【0037】
なお、本実施の形態3は、特許請求の範囲の請求項4の車両用画像処理装置に対応する。すなわち、前記特性決定手段(特性変更装置25)は、車両制御装置の制御周期を検出する制御周期検出手段(CPUモニタ14)を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態3は、特許請求の範囲の請求項8の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【図面の簡単な説明】
【図1】本発明の実施の形態1の構成図
【図2】空間的圧縮比特性を説明する図
【図3】本発明の実施の形態1のフローチャート
【図4】本発明の実施の形態1のフローチャート
【図5】本発明の実施の形態2の構成図
【図6】本発明の実施の形態2のフローチャート
【図7】本発明の実施の形態2のフローチャート
【図8】本発明の実施の形態3の構成図
【図9】本発明の実施の形態3のフローチャート
【図10】本発明の実施の形態3のフローチャート
【図11】従来技術を説明する図
【符号の説明】
1:CCDカメラ
2:圧縮装置
3:解凍装置(復元装置)
4:画像処理装置
5:車両制御装置
6:ブレーキアクチュエータ
7:ステアリングアクチュエータ
8:スロットルアクチュエータ
9:変速アクチュエータ
10:レーダ
11:道路属性検出装置
12:ナビゲーション装置
13:VICS装置
14:CPUモニタ
21:撮像部
22:伝送部
23:画像処理部
24:CPU
25:特性変更装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle image processing apparatus and a vehicle image processing method.
[0002]
[Prior art]
As a conventional technique, there is a vehicular moving image processing method and a vehicular moving image processing apparatus described in JP-A-11-150726.
In this prior art, there is provided a compression method and apparatus for appropriately compressing a moving image taken in a traveling direction photographed from a vehicle without giving a calculation load to hardware such as a CPU (Central Processing Unit) as much as possible. is suggesting.
FIG. 11 is a diagram for explaining a conventional example.
1 is a CCD (Charge Coupled Device) camera, 2 is a compression device, 3 is a decompression device, 4 is an image processing device, 5 is a vehicle control device, 6 is a brake actuator, 7 is a steering actuator, and 8 is a throttle actuator. , 9 is a speed change actuator, 21 is an imaging unit, 22 is a transmission unit, 23 is an image processing unit, and 24 is a CPU.
Specifically, as shown in the configuration diagram of FIG. 11, the image data captured by the CCD camera 1 is compressed and encoded by the compression device 2 according to the degree of change in the image accompanying the movement of the vehicle. The first region having a small change and the second region having a large change are divided, and compression encoding is performed using a compression method suitable for each region. For example, the first area is compression-encoded by a compression method suitable for a still image, and the second area is compression-encoded by a compression method suitable for a moving image.
[0003]
[Problems to be solved by the invention]
In the configuration of the above-described conventional example, the division region and the compression method are set based on the captured image, so the image information is sequentially analyzed to analyze the road portion and select a preferable compression method. Therefore, it is necessary to analyze the entire image. Further, since the position of the road side wall, the position of the vehicle in front of the vehicle, and the like can generally be predicted on the image, the divided areas and the compression method can be set according to the prediction. However, considering the discontinuity of the road shape and road side wall and the possibility of disturbance, it is necessary to periodically check the entire image configuration. Further, if there is no particular trigger for confirmation, the entire image configuration must be searched at a random time. This means that in order to quickly determine the situation, it is necessary to frequently confirm the positional relationship of the entire image, which increases the burden on the
Further, since the selection of the compression method is not configured to be changed based on the control cycle information of the vehicle control device 5, when trying to configure the image processing and the vehicle control processing by the
[0004]
An object of the present invention is to provide a vehicle image processing apparatus and a vehicle image processing method capable of performing appropriate image compression / decompression according to the situation without observing a captured image.
[0005]
[Means for Solving the Problems]
In order to solve the above problems, the present invention adopts a configuration as described in the claims.
That is, the image processing apparatus for a vehicle according to claim 1Imaging means for imaging the surroundings of the vehicle, compression means for compressing the image data captured by the imaging means, decompression means for decompressing the image data compressed by the compression means, and image data obtained from the decompression means Based on the image processing means for performing image processing and the vehicle control situation or the vehicle surrounding situation when the imaging means has taken an image, the compression characteristics of the compression means and the decompression characteristics of the decompression means are determined and determined. Characteristic compression means and characteristic determining means for indicating the compression characteristics and the decompression characteristics to the compression means and the decompression means, respectively.It is characterized by that.
The vehicle image processing device according to claim 2 is the vehicle image processing device according to claim 1,The characteristic determining meansIncludes road attribute detection means for detecting road attributes, and when the road attribute detection means detects a highway,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when it is detected as a non-highwayDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
The vehicle image processing device according to claim 3 is the vehicle image processing device according to claim 1,The characteristic determining meansIncludes traffic density detection means for detecting the traffic density around the vehicle, and when the traffic density detected by the traffic density detection means is small,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatiotemporal thinning amount when traffic density is highDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
The vehicle image processing device according to claim 4 is the vehicle image processing device according to claim 1,The characteristic determining meansIncludes control cycle detection means for detecting the control cycle of the vehicle control device, and when the control cycle detected by the control cycle detection means is short,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when the control cycle is longDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
The image processing method for a vehicle according to claim 5 is:Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data based on a vehicle control situation or a vehicle surrounding situation whenIt is characterized by that.
According to a sixth aspect of the present invention, there is provided a vehicle image processing method.Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery If you are driving on an expressway, determine the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so that the spatiotemporal thinning amount increases. Determining the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so as to reduce the spatiotemporal thinning amount when not traveling on the expressway; HaveIt is characterized by that.
The image processing method for a vehicle according to
The image processing method for a vehicle according to
【The invention's effect】
According to the vehicle image processing device of claim 1, the image processing unit compresses the image in time and space, transmits the image from the image capturing unit to the image processing unit, decompresses the image processing unit using the decompression device, and restores the original image. In a configuration in which information is restored to near information and image processing is performed on the image information by an image processing device,The compression characteristics of the compression means and the decompression characteristics of the decompression means are determined based on the vehicle control situation or the vehicle surrounding situation when the imaging means captures the image, and the determined compression characteristics and the decompression characteristics are determined. Instruct the compression means and the decompression means respectively.With the configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing an acquired image from the imaging apparatus. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
According to the vehicular image processing apparatus of claim 2, the characteristic of claim 1 is obtained.DecisionAs a specific condition, the characteristics of the compression device and decompression device are determined in a feedforward manner based on the judgment of a highway and a non-highway such as an urban area using road attributes acquired by a navigation system or the like.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
According to the vehicular image processing apparatus of claim 3, the characteristics of claim 1 are obtained.DecisionAs a specific condition, the characteristics of the compressor and decompressor are feedforwardly determined from the information on the traffic density obtained from laser radar and infrastructure.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
According to the vehicle image processing apparatus of claim 4, the characteristics of claim 1 are obtained.DecisionAs a specific condition, the characteristics of the compression device and the decompression device are feedforwardly determined from information on the vehicle such as the traveling speed.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
According to the vehicle image processing method of claim 5, the captured image information is compressed in space and time, decompressed, restored to information close to the original image, and image processing is performed on the image information. InA compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data are determined on the basis of the vehicle control situation or the vehicle surrounding situation when imaging the surroundings of the vehicle.With the configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the captured image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
According to the vehicle image processing method of claim 6., SpecialSexDecisionAs a specific condition, the compression and decompression characteristics are fed-forward in a feedforward manner based on the judgment of highways and non-highways such as urban areas using road attributes acquired by a navigation system.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
According to the vehicle image processing method of claim 7., SpecialSexDecisionAs a specific condition, the compression and decompression characteristics are fed forward from the information on traffic density obtained from laser radar and infrastructure.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
According to the vehicle image processing method of claim 8., SpecialAs a specific condition for determining the characteristics, the compression and decompression characteristics are fed forward based on information about the vehicle such as the traveling speed.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1
FIG. 1 is a block diagram showing the configuration of the vehicle image processing apparatus according to Embodiment 1 of the present invention.
1 is a CCD camera (electronic camera), 2 is a compression device, 3 is a decompression device, 4 is an image processing device, 5 is a vehicle control device, 6 is a brake actuator, 7 is a steering actuator, 8 is a throttle actuator, 9 is A speed change actuator, 10 is a radar, 21 is an imaging unit, 22 is a transmission unit, 23 is an image processing unit, 24 is a CPU, 25 is a characteristic change device, 11 is a road attribute detection device, and 12 is a navigation device.
As shown in FIG. 1, in the first embodiment, as a basic configuration as a premise of the invention, for example, a CCD camera 1 (including its driver and shutter control) that is an imaging device, imaging information by the CCD camera 1 The signal from the compression device 2 is input to the compression device 2 that converts the space-time and the space from the compression device 2, the transmission unit 22 that connects the imaging unit 21 and the image processing unit 22, and the CCD camera 1. Decompression apparatus 3 that restores the captured information, image processing apparatus 4 that processes the information after decompression, vehicle control apparatus 5 that operates based on the processing results regarding the surrounding information of the vehicle obtained by the image processing apparatus 4, and image processing apparatus 4 and a
In addition to the above basic configuration, there is a characteristic changing
[0007]
FIG. 2 is a diagram for explaining the spatial compression ratio characteristics in the first embodiment.
[0008]
First, when the road attribute detection device 11 determines “highway”, this signal is input to the compression device 2. Here, as shown in FIG. 2, the spatial frequency that is the upper limit at the time of compression is set low, and fine information with a high spatial frequency is lost in the compression stage. In general, on highways, the presence of humans and thin objects does not need to be considered much in detecting obstacles, so only attention is paid to large vehicles. Therefore, if we focus only on objects with a low spatial frequency, ACC (Adaptive Cruise Control: a system that lowers the set speed when there is a preceding vehicle slower than the set speed of the host vehicle) and brake control Generally available. This signal is also input to the decompression device 3 in synchronization (it is not always necessary to input it in synchronization), and the compressed signal is decompressed in consideration of the upper limit frequency when decompressing. The decompressed image is an image in which a component with a high spatial frequency is missing. However, due to the existence of an object on the expressway, even if a component with a high spatial frequency is missing, it does not become a big problem. Also, in the image processing apparatus 4, if the image does not include a high frequency, the size of the window and the movement amount can be changed to reduce the calculation amount of the image processing itself.
[0009]
In a decompressed image when the spatial frequency is suppressed to a low level, there is basically no information loss due to compression / decompression on a large object such as a car as compared with the current image. Some contours may be blurred. On the other hand, a thin object or an object whose luminance frequently changes in the current image cannot be finely restored when decompressed. However, there is still no major problem on the highway.
[0010]
When the road attribute detection device 11 determines that the road is a “non-highway”, it is generally a general road with many pedestrians and bicycles. In this case, information including a high spatial frequency is important information. It becomes. Therefore, the compression device 2 and the decompression device 3 also have characteristics that do not limit a high spatial frequency, and the degradation of the restored image after decompression is small. You can see the details even after restoration. In contrast to the restored image obtained when the spatial frequency is suppressed to a low level, the restored image obtained when the high spatial frequency is not limited enables finer object expression. By inputting the restored image, the image processing apparatus 4 can detect a fine object. However, the amount of calculation for image processing is larger than that for a restored image in which a high frequency is limited.
[0011]
Next, the flow of the first embodiment is shown in FIGS.
[0012]
First, at 301, a road image ahead is captured. In 302, the attribute of the road on which the host vehicle is currently traveling is detected by the road attribute detection device 11 including the navigation device 12. In 303, if the road attribute is a highway, go to 305, otherwise go to 304. In the case of a highway, the high spatial frequency is limited and compressed at 305 (that is, the characteristic changing
[0013]
Next, the process after A in FIG. 3 shows a process of restoring a compressed image. In 306, if it is an expressway corresponding to 305 and 304, it decompress | decompresses in the form which restricted the high spatial frequency in 308. If the road is a general road that is not an expressway, normal decompression is performed at 307. That is, in the decompression in this case, since it is not necessary to consider a high frequency component, the flow from A proceeds to 309 via 307.
[0014]
At 309, general image processing for control is performed. In 310, for example, output command values are calculated for various actuators (
[0015]
Next, the effect will be described. Here, attention is paid to a lane keeping device, an ACC device, and the like. In ITS (Intelligent Transport System), which recognizes the surrounding situation and controls various actuators of the vehicle based on the result, the CPU is shared for image processing and control. Is preferred. Thereby, the system cost can be reduced. In general, when traveling on a highway, an ITS control controller needs to control a small amount of operation with a relatively short control cycle when the steering or acceleration / deceleration of a vehicle traveling at high speed is controlled by an actuator. . This is because the vehicle is traveling at a high speed, and unless the steering control or acceleration / deceleration control is delicate, the vehicle behavior becomes inappropriate and the driver feels uncomfortable. In this case, the control load increases.
[0016]
On the other hand, in the case of traveling in an urban area, generally, if the speed is 40 km / h or less, the control load is not large because the vehicle behavior control does not require a very delicate control cycle or control amount. The relationship between the control loads related to this control and the relationship between the image processing apparatuses are considered in parallel. As a general system configuration, the CCD camera 1 and the compression device 2 that are imaging devices are installed on a rearview mirror or the like, and are installed as a system having individual CPUs. A signal from the compression device 2 is input to a controller (image processing unit 23) including the decompression device 3, the image processing device 4, and the vehicle control device 5 through serial communication or the like.
[0017]
In this latter controller, it is considered to share the CPU and reduce the cost of the system.
[0018]
As described above, on a highway, since a restored image in which a high spatial frequency component is limited is processed, the processing load of image processing is small. On the other hand, on non-highways, since a fine image having a high frequency is processed, the calculation burden of image processing is large.
[0019]
As described above, on highways, the image processing burden is small, but the computation burden for control is large. On non-highways, the image processing burden is large, but the computational burden for control is small. From this relationship, it is possible to use the computing power of the CPU accurately and in a balanced manner, and there is no need to prepare more CPU capacity than necessary. That is, the conditions used when changing the compression characteristics are characterized in that the load on the control system is small when the load on the image system is large, and the load on the control system is large when the load on the image system is small. CPU can be operated efficiently.
[0020]
The first embodiment corresponds to the vehicle image processing apparatus according to claim 1 of the claims. That is,An image pickup means (CCD camera 1) for picking up an image around the vehicle, a compression means (compressor 2) for compressing image data picked up by the image pickup means, and a decompression means (decompressing means) for decompressing the image data compressed by the compression means Based on the decompression device 3), the image processing means (image processing device 4) that performs image processing of the image data obtained from the decompression means, and the vehicle control situation or the vehicle surrounding situation when the imaging means captures the image, Characteristic determining means (characteristic changing device 25) for determining the compression characteristics of the compression means and the decompression characteristics of the decompression means, and instructing the compression characteristics and the decompression characteristics to the compression means and the decompression means, respectively. And havingIt is characterized by that. In other words, as in the above-described conventional example, the compression characteristics (compression rate) are such that the minimum necessary image information can be ensured for vehicle control, instead of dividing the image at a fast or slow update cycle and changing the compression method. )DecisionTo do. Therefore, unnecessary information (fine image) is deleted in vehicle control.
The first embodiment corresponds to the vehicular image processing apparatus according to claim 2 of the claims. That is,The characteristic determining meansIncludes road attribute detection means (road attribute detection device 11) for detecting road attributes, and when the road attribute detection means detects that the road is an expressway,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when it is detected as a non-highwayDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
The first embodiment corresponds to the image processing method for a vehicle according to claim 5 of the claims. That is,Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data based on a vehicle control situation or a vehicle surrounding situation whenIt is characterized by that.
The first embodiment corresponds to the vehicle image processing method according to
[0021]
Embodiment 2
In Embodiment 1, it is determined by the road attribute determination means (road attribute detection device 11) whether it is a highway or a non-highway. As an essential function of this discriminating means, the compression technique is applied to scenes that do not interfere with image processing even if high spatial frequencies are deleted when decompressing by compression conversion to low spatial frequencies. There is to do. In the first embodiment, the scenes are classified as highways or non-highways. In the second embodiment, the determination is made based on the traffic density around the vehicle.
[0022]
Specifically, as shown in FIG. 5, in the first embodiment shown in FIG. 1, in addition to the road attribute detection device 11 having the navigation device 12, a VICS device (Vehicle Information and Communication System). 13 has been added. As described above, when the road is crowded, whether it is an expressway or a general road, the distance between the host vehicle and the surrounding vehicle is shortened, and the surrounding obstacle becomes a large image. In this case, a compression / decompression function that does not include even a high spatial frequency can be used. On the other hand, when the traffic is not congested, the image of the surrounding vehicle becomes small as a result. Therefore, it is necessary to capture the surrounding object as a fine image. Therefore, in this case, compression / decompression including a high spatial frequency is performed. However, as will be described later, when there is no traffic jam, the compression / decompression characteristics are determined by the same determination as in the first embodiment. In the above determination, a preferable limited spatial frequency at the time of compression is determined by an algorithm in the road attribute detection device 11.
[0023]
In this case, the degree of traffic congestion around the host vehicle is determined from the traffic jam information obtained as infrastructure information such as VICS, the host vehicle position, and the host vehicle travel location, and the compression / decompression spatial frequency is determined based on the above-described relationship.
[0024]
Next, the relationship with the control method in the case of this Embodiment 2 is demonstrated. When traffic is congested, devices that are used during high-speed driving such as ACC and lane keeping support systems (systems that automatically drive in the white line of the road) cannot be used. Therefore, it is necessary to detect a contact relationship with a vehicle in the vicinity of the host vehicle, such as an inching device (a device that automatically follows a preceding vehicle in a traffic jam). In this control, even if there is some sense of incongruity, it is necessary to apply the brake quickly in order to avoid contact with surrounding vehicles, and the CPU image processing load reduced by sensing is used for the algorithm on the control side. . On the other hand, when there is no traffic jam, the system according to the first embodiment is activated and the compression / decompression characteristics are changed according to the road attributes.
[0025]
Next, the flow of the second embodiment is shown in FIGS.
[0026]
At 601, a forward road image is captured. In 602, the road attribute where the vehicle is traveling is detected by the road attribute detection device 11 including the navigation device 12. If it is an expressway, the process proceeds to 603, and it is determined whether or not the host vehicle is present on the congested road by the VICS signal from the VICS device 13. If there is no traffic jam, at 604, it is considered that the vehicle is traveling at high speed, and compression is performed with a high spatial frequency limited.
[0027]
On the other hand, when the speed is not high at 602 or when there is traffic congestion at high speed at 603, it is determined that the vehicle is not traveling at high speed, and at 605, normal compression that does not limit the high spatial frequency is performed.
[0028]
In FIG. 6A and subsequent figures, processing for restoring a compressed image is shown. If a high spatial frequency is limited in 606 corresponding to 604 and 605, decompression is performed in a form in which the high spatial frequency is limited in 608. If you do not limit high spatial frequencies, use normal thawing. That is, in the decompression in this case, since it is not necessary to consider a high frequency component, the flow from A proceeds to 609 via 607.
[0029]
At 609, general image processing for control is performed. In 610, for example, output command values are calculated for various actuators according to the distance from the object acquired from the captured image (this method is publicly known). At 612, control on / off is determined. If it is off, the process is terminated. If it is on, the process returns to B, that is, 601 (here, the contents of control are not particularly mentioned).
[0030]
The second embodiment corresponds to the vehicular image processing apparatus according to claim 3 of the claims. That is,The characteristic determining means(Characteristic change device 25) includes traffic density detection means (VICS device 13) for detecting the traffic density around the vehicle, and when the traffic density detected by the traffic density detection means is small,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatiotemporal thinning amount when traffic density is highDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
The second embodiment corresponds to the vehicle image processing method according to
[0031]
Embodiment 3
A configuration of the third embodiment is shown in FIG.
In the third embodiment, attention is paid to the balance between the calculation amount of the
[0032]
The load of control is large when, for example, the brake operation is being performed, the white line is lost, or the white line is being searched. On the other hand, when the brake actuator control or the like is not performed and a white line or the like is tracked, the control load is considered light.
[0033]
The control flow of the third embodiment is shown in FIGS.
[0034]
First, a front road image is imaged at 901. On the other hand, at 902, the
[0035]
In FIG. 9A and subsequent figures, processing for restoring a compressed image is shown. When a high spatial frequency is limited corresponding to 905 and 904, the high spatial frequency is restored in 908 in a limited form. If a high spatial frequency is restricted, normal decompression is performed at 907. That is, in the decompression in this case, since it is not necessary to consider a high frequency component, the flow from A proceeds to 909 via 907.
[0036]
At 909, general image processing for control is performed. In 910, for example, output command values are calculated for various actuators according to the distance from the object acquired from the captured image (this method is publicly known). At 912, control on / off is determined. If it is off, the process is terminated, and if it is on, the process returns to B, that is, 901 (here, the contents of control are not particularly mentioned).
[0037]
The third embodiment corresponds to the vehicle image processing apparatus according to claim 4 of the claims. That is,The characteristic determining means(Characteristic change device 25) includes control cycle detection means (CPU monitor 14) for detecting the control cycle of the vehicle control device, and when the control cycle detected by the control cycle detection means is short,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when the control cycle is longDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
The third embodiment corresponds to the vehicle image processing method according to
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment of the present invention.
FIG. 2 is a diagram for explaining spatial compression ratio characteristics.
FIG. 3 is a flowchart according to the first embodiment of the present invention.
FIG. 4 is a flowchart according to the first embodiment of the present invention.
FIG. 5 is a configuration diagram of a second embodiment of the present invention.
FIG. 6 is a flowchart according to the second embodiment of the present invention.
FIG. 7 is a flowchart according to the second embodiment of the present invention.
FIG. 8 is a configuration diagram of Embodiment 3 of the present invention.
FIG. 9 is a flowchart according to the third embodiment of the present invention.
FIG. 10 is a flowchart according to the third embodiment of the present invention.
FIG. 11 is a diagram for explaining the prior art
[Explanation of symbols]
1: CCD camera
2: Compression device
3: Defrosting device (restoring device)
4: Image processing device
5: Vehicle control device
6: Brake actuator
7: Steering actuator
8: Throttle actuator
9: Variable speed actuator
10: Radar
11: Road attribute detection device
12: Navigation device
13: VICS equipment
14: CPU monitor
21: Imaging unit
22: Transmission unit
23: Image processing unit
24: CPU
25: Characteristic changing device
Claims (8)
前記撮像手段により撮像された画像データを圧縮する圧縮手段と、 Compression means for compressing image data picked up by the image pickup means;
前記圧縮手段によって圧縮された画像データを解凍する解凍手段と、 Decompression means for decompressing the image data compressed by the compression means;
前記解凍手段から得られる画像データの画像処理を行う画像処理手段と、 Image processing means for performing image processing of image data obtained from the decompression means;
前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段と、 The compression characteristics of the compression means and the decompression characteristics of the decompression means are determined based on the vehicle control situation or the vehicle surrounding situation when the imaging means captures the image, and the determined compression characteristics and the decompression characteristics are determined. Characteristic determining means for instructing the compression means and the decompression means respectively;
を有することを特徴とする車両用画像処理装置。A vehicular image processing apparatus characterized by comprising:
撮像された車両周囲の画像データを圧縮するステップと、 Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、 Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、 Performing image processing of the decompressed image data;
車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、 Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data based on a vehicle control situation or a vehicle ambient situation when imaging the vehicle periphery; and
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising:
撮像された車両周囲の画像データを圧縮するステップと、 Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、 Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、 Performing image processing of the decompressed image data;
車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、 When capturing images of the surroundings of a vehicle, if the vehicle is traveling on a highway, the compression characteristics when compressing image data so that the spatiotemporal thinning amount increases, and the decompression when decompressing image data Determine the characteristics, and when not driving on the highway, determine the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so that the spatiotemporal thinning amount is reduced. Steps,
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising:
撮像された車両周囲の画像データを圧縮するステップと、 Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、 Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、 Performing image processing of the decompressed image data;
車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、 When imaging the surroundings of the vehicle, if the traffic density around the vehicle is small, the compression characteristics when compressing the image data so that the spatiotemporal thinning amount becomes large and the decompression of the image data When the decompression characteristics are determined and the traffic density around the vehicle is large, the compression characteristics when compressing the image data and the decompression when decompressing the image data so that the spatiotemporal thinning amount decreases. Determining the characteristics of
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising:
撮像された車両周囲の画像データを圧縮するステップと、 Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、 Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、 Performing image processing of the decompressed image data;
車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、 When taking a picture of the surroundings of the vehicle, if the control period of the vehicle control is short, the compression characteristics when compressing the image data so that the spatiotemporal thinning amount becomes large and the decompression when decompressing the image data Determining the characteristics, and when the control cycle is long, determining the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so as to reduce the spatiotemporal thinning amount; ,
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002055726A JP3797251B2 (en) | 2002-03-01 | 2002-03-01 | Image processing apparatus for vehicle and image processing method for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002055726A JP3797251B2 (en) | 2002-03-01 | 2002-03-01 | Image processing apparatus for vehicle and image processing method for vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003259354A JP2003259354A (en) | 2003-09-12 |
JP3797251B2 true JP3797251B2 (en) | 2006-07-12 |
Family
ID=28666496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002055726A Expired - Fee Related JP3797251B2 (en) | 2002-03-01 | 2002-03-01 | Image processing apparatus for vehicle and image processing method for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3797251B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4735339B2 (en) * | 2006-03-03 | 2011-07-27 | 日産自動車株式会社 | Video display device |
KR20070091931A (en) * | 2006-03-08 | 2007-09-12 | 주식회사 현대오토넷 | Vehicles automatic parking system and the control method to use distance sensor and camera |
JP2011518383A (en) * | 2008-04-18 | 2011-06-23 | テレ アトラス ベスローテン フエンノートシャップ | Method for generating a selective compression mask using a collection of laser scanned points |
JP2013051522A (en) * | 2011-08-30 | 2013-03-14 | Honda Elesys Co Ltd | Image compression device, image compression method, and image compression program |
JP2017183914A (en) | 2016-03-29 | 2017-10-05 | パナソニックIpマネジメント株式会社 | Image processing apparatus |
WO2018230698A1 (en) | 2017-06-16 | 2018-12-20 | 本田技研工業株式会社 | Event vehicle dispatch device, event vehicle dispatch method, program, and management system |
US11691070B2 (en) | 2017-06-16 | 2023-07-04 | Honda Motor Co., Ltd. | In-vehicle performance device, in-vehicle performance system, in-vehicle performance method, storage medium, and command measurement device |
JPWO2018230720A1 (en) | 2017-06-16 | 2020-03-19 | 本田技研工業株式会社 | Self-driving vehicle |
CN110741422A (en) | 2017-06-16 | 2020-01-31 | 本田技研工业株式会社 | Vehicle and service management device |
-
2002
- 2002-03-01 JP JP2002055726A patent/JP3797251B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003259354A (en) | 2003-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10745006B2 (en) | Managing automated driving complexity of the forward path using perception system measures | |
CN111263293B (en) | Dynamic data compression system and method for use with vehicle data | |
US20210368109A1 (en) | High-speed image readout and processing | |
US11756345B2 (en) | Partial sensor data sharing for connected vehicles | |
JP3620532B2 (en) | Vehicle notification device | |
US20220182498A1 (en) | System making decision based on data communication | |
CN111038387B (en) | Image processing device for vehicle, image processing method, and storage medium | |
JP3797251B2 (en) | Image processing apparatus for vehicle and image processing method for vehicle | |
US11655893B1 (en) | Efficient automatic gear shift using computer vision | |
WO2021200004A1 (en) | Information processing device, and information processing method | |
IL284592B1 (en) | Detecting sensor occlusion with compressed image data | |
JP7163077B2 (en) | PARKING ASSIST DEVICE AND PARKING ASSIST METHOD | |
US11257193B2 (en) | Image processing apparatus | |
CN114506319A (en) | Vehicle control device, vehicle control method, and recording medium | |
US20240210939A1 (en) | Camera image compression for autonomous driving vehicles | |
US20230035747A1 (en) | Systems, Apparatus, and Methods For Transmitting Image Data | |
JP2024515761A (en) | Data-driven dynamically reconstructed disparity maps | |
US20220048509A1 (en) | Vehicular control system with traffic jam assist | |
WO2024021083A1 (en) | Sensor data transfer with self adaptive configurations for autonomous driving vehicle | |
US11546503B1 (en) | Dynamic image compression for multiple cameras of autonomous vehicles | |
US20230324529A1 (en) | Temporally and spectrally adaptive sonar for autonomous vehicle navigation | |
KR102688017B1 (en) | Detection of sensor occlusion by compressed image data | |
JP2019194810A (en) | Remote drive management apparatus and program | |
WO2023079665A1 (en) | Drive control system | |
US20240080571A1 (en) | Managing Efficiency of Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060224 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |