JP4364471B2 - 車両の画像処理装置 - Google Patents
車両の画像処理装置 Download PDFInfo
- Publication number
- JP4364471B2 JP4364471B2 JP2001400962A JP2001400962A JP4364471B2 JP 4364471 B2 JP4364471 B2 JP 4364471B2 JP 2001400962 A JP2001400962 A JP 2001400962A JP 2001400962 A JP2001400962 A JP 2001400962A JP 4364471 B2 JP4364471 B2 JP 4364471B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- viewpoint
- driver
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明は、車両の画像処理装置にかかり、詳しくは、運転者の死角を表示する画像を生成する画像処理装置に関するものである。
【0002】
【従来の技術】
運転者が車両を運転操作する場合、運転席に座っている運転者の視点から認識できる視界には、車のボディ等に遮られて見えない死角が存在する。このような死角は、ルームミラーやサイドミラーなどによって、ある程度は、認識できるように構成されている。また、最近では、車両の外部を映し出すカメラが搭載され、そのカメラによって取得された画像を車内のモニターに映し出す構成の車両も提案されている。例えば、車両の後方を映し出すカメラが搭載され、後退時には後方の死角となった部分が車内モニターに映し出され、車庫入れ等をする際の後方確認の補助がなされる。
また、特開平10−264723号には、運転者の視覚に即した向きの画像を表示するものが記載されている。
【0003】
【発明が解決しようとする課題】
一方、従来カメラ画像などによって車両周辺の認識ができない車両を運転者が操作する場合には、視界に入ってくる外部の障害物と、同時に視界に入っている車内風景(窓枠やトランクの輪郭など)とから、外部障害物と車両との相対位置や距離がどの程度であるのかを、運転者は、感覚的に把握するものである。
しかしながら、従来のようにカメラ画像を表示するものは、カメラに映し出された画像をそのままモニターに表示するため、モニターに表示される画像は、運転者の肉眼に映る画像とはかけはなれている。これは、カメラ視点の位置が、運転者の操作する際の視点位置とは異なっていることや、肉眼で把握できる障害物の大きさとモニターに表示される障害物の大きさとが異なることなどの理由が挙げられる。また、従来では、運転者は、視界に入る車外の風景と車体の一部(窓枠やボンネット等)とを同時に認識して、それらの相対位置を感覚的に把握していたものが、画像には、外部景色のみが映し出されてしまうことも原因である。
つまり、従来のモニター画像では、従来感覚的に距離感を把握していた運転者は、従来身に付けていた感覚に基づいて、車両のアウトラインと周囲の物体との位置関係が把握しづらいという問題があった。
【0004】
この発明は、車両周辺の死角領域に対して合成された画像を提供し、死角への不安感を軽減するとともに、運転者の視点に近付けた位置からの撮像画像を生成することにより、画像を通じて車両と周囲の障害物との位置関係を、運転者に把握し易くすることを目的とするものである。
【0005】
【課題を解決するための手段】
以上のような目的は、以下の本発明により達成される。
(1) 車両の外部に配置され、車両の進行方向の画像を取得する第1の撮像手段と、
前記第1の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段と、
車内に配置され、運転者の視点から見た車両の進行方向の画像を取得する第2の撮像手段と、
前記第2の撮像手段によって取得された画像から、車両の外部が映されている部分を抽出し、又は車内が映されている部分を消去することにより死角領域を切り出した画像を生成する視認領域画像生成手段と、
前記撮像位置変換手段によって得られた画像と、前記視認領域画像生成手段によって得られた画像を重ね合わせた合成画像を得る画像合成手段と、
前記画像合成手段によって得られた合成画像を表示する表示手段と
を備えた車両の画像処理装置。
【0008】
(2)車体形状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線検出手段により検出された輪郭線を、前記撮像位置変換手段によって視点変換された画像上に表示するように合成する輪郭線画像合成手段とを備えた上記(1)に記載の車両の画像処理装置。
【0010】
【発明の実施の形態】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。
図1は本発明の画像処理装置1の構成を示すブロック図である。画像処理装置1は、画像処理を行う演算処理装置12と、第1の撮像手段としての死角カメラ13aと、第2の撮像手段としての運転者視点カメラ13bと、画像を表示する表示手段としての画像表示装置14と、現在位置検出装置15と、画像記憶手段としての記憶装置16とを備え、これらの装置は、システムバス17を介して相互に接続されている。
【0011】
死角カメラ13aは、広角レンズを使用したものであり、本実施形態では魚眼レンズを使用する。死角カメラ13aは、例えば自動車の車外に設けられ、車の進行方向に向けて取り付けられている。後進する際の車両後部の画像を取得するカメラの場合には、例えば、後部トランクの中央部や、ハッチバック式の車両では、後部ウインドーに、外側へ向けて取り付けることもできる。この実施形態では、後部トランクの中央位置に配置されている。また、運転者視点カメラ13bは、例えば自動車の車内に設けられ、運転者の視点位置に取り付けられる。この実施形態では、バックミラーの取付け位置に配置されている。
【0012】
死角カメラ13a、運転者視点カメラ13bは、それぞれA/D変換器131a、131bを介してシステムバス17に接続される。死角カメラ13a、13bから出力された画像信号は、A/D変換器131a、131bによってデジタル信号にそれぞれ変換される。また、接続された死角カメラ13a、運転者視点カメラ13bが、デジタル信号出力が可能なものである場合には、A/D変換器131a、131bは不要である。死角カメラ13a、運転者視点カメラ13bは、車両の前方に向けて配置されたものと、車両の後方へ向けて配置されたものがある。以下の説明では、最も視界が制限される後方へ移動する場合に使用される後方設置の死角カメラ13a、運転者視点カメラ13bを例に挙げて説明する。
【0013】
現在位置検出装置15は、舵角センサ151、車速センサ152、GPS受信装置153、方位センサ154、距離センサ155とを備えている。舵角センサ151は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速センサ152は、車両の走行速度を検出する。走行速度は、車両を後退させた場合にも検出される。GPS受信装置153は、車両の絶対位置を検出する。方位センサ154は、車両の向きを検出する。距離センサ155は、車両の移動距離を検出する。以上説明した各種センサにより車両の移動距離を得ることができる。即ち、距離センサ155により移動距離が検出できる。また、車速センサ152から検出される車速と時間により移動距離が検出できる。また、GPS受信装置153で検出された位置の軌跡により移動距離が検出できる。また、車両の向きが変わった場合には、舵角センサ151と方位センサ154と距離センサ155又は車速センサ152によって、移動距離や車両の向きを、より正確に検出することができる。
【0014】
記憶装置16は、死角カメラ13a、運転者視点カメラ13bが映した画像を記憶する装置で、死角カメラ13a、運転者視点カメラ13bから出力される画像が連続して記憶され、第1の撮像手段である死角カメラ13aの取得した画像が記憶される外部画像データメモリ162と、運転者視点カメラ13bの取得した視点画像が記憶される視点画像データメモリ161と、視点画像と画像データメモリ162より生成される変換外部画像を合成した画像が記憶される合成画像データメモリ163とを備えている。
【0015】
画像表示装置14は、例えば液晶ディスプレイ等で構成され、合成画像データメモリ163に格納された合成画像が表示される。画像表示装置14へ送られるデータは、D/A変換器141を介してアナログ信号に変換される。また、画像表示装置14がデジタル信号入力可能な場合には、D/A変換器は不要となる。
【0016】
演算処理装置12は、中央処理装置[CPU(Central Processing Unit)]121と、リードオンリーメモリ[ROM]122と、ランダムアクセスメモリ[RAM]123とを備えている。中央演算処理装置121は、現在位置検出装置15から得られた移動距離や車両の向きについての情報を取得し、また、記憶装置16から視点画像データ、外部画像データを取得し、これらのデータから、合成画像データを生成する等、様々な演算処理を行うものである。
ROM122には、例えば、中央演算処理装置121が画像処理を行うためのソフトウエアや、車体の輪郭線の画像データ等が格納されており、RAM123は、例えば、ワーキングエリアとして使用される。
【0017】
本発明の画像処理装置は、次のような作用をする。図2は、本発明の画像処理装置を搭載した車両21の側面全体図である。車両の後方を映し出す第2の撮像手段としての運転者視点カメラ13bは、車内に配置されており、その画面の一部には、例えば、バックウインドーを介して車両の後方の景色が映し出される(視認可能領域a)。そして、画面上のその他の領域には、車内が映し出され、バックシートやその他の内装が画面に映し出される。この車内が映し出されている部分が、死角となり、例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等は、車体によって隠された死角領域となる。
【0018】
一方、第1の撮像手段である死角カメラ13aには、車両21の後方の画像が映し出される。この画像には、運転者視点カメラ13bの映す画像(視点画像)において死角領域にあるものも含めて、車両後方の景色が映し出される(領域b)。例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等であり、さらに、視点画像に映し出された視認可能領域の物も画像に捉えられている(つまり、領域bは領域aを含んでいる)。但し、死角カメラ13aは運転者の視点位置に設けられていないので、外部画像は、運転者の視点位置から認識できる画像とは異なっている。
【0019】
その外部画像を、撮像位置を視点位置(運転者視点カメラ13bの位置)とした場合の画像に画像処理し、この処理された画像を運転者視点カメラ13bの画像(視点画像)に合成し、死角領域を外部画像で埋める。これにより、死角領域のない、運転者の視点位置での画像が得られる。
運転者視点カメラ13bの設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口の位置などか挙げられる。また視点位置にカメラが設置されていない場合には、予め記憶してある車体データを基に、視点変換処理をし、画像を視点位置よりみた画像に処理してもよい。
【0020】
以上のように構成された本発明の画像処理装置1の作用について説明する。図3、図4及び図5は、演算処理装置12の動作を示すフローチャートである。
イグニッションスイッチのオン操作により電源スイッチがオンされる(ステップS100)。スイッチオンのきっかけは、この他、シフトチェンジレバーをD位置、後退時の後方の画像を表示するときは、R位置にセットしたときとしてもよい。
【0021】
次に初期化処理を行う(ステップS101)。具体的には、画像データなどを記憶領域に書き込みができるように、記憶装置16に記憶されているデータを検索し、記憶可能領域がない場合は、次に取得するデータを上書き可能にする準備をし、また画像データと共に記憶された距離や時間などを参照して、今後使用しないデータを消去する等の、データを書き込む準備をする。例えば、視点画像データメモリ161や外部画像データメモリ162等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【0022】
次に、車速が予め定められた設定速度を越えているか判断する(ステップS102)。この実施形態では車両周辺を認識するために用いられるので、使用目的が幅寄せや車庫入れなどに使用するものであり、速度が速い場合には、必要がなくなると判断する。従って、設定速度を越えている場合には、再度ステップS102が繰り返される。この設定速度は、必要に応じて変更できるようにしても良い。越えていない場合には、画像処理が必要であると判断し、画像処理を行うために、次のステップへ進み、車内画像処理ルーチン(ステップS103)が開始される。
【0023】
図4は、車内画像処理ルーチンを示すフローチャートである。また、図6は、画像処理の手順を示す流れ図であり、以下、この図に基づいて、画像処理内容を説明する。
車内画像処理ルーチン(ステップS103)では、運転者視点カメラ13bによって視点位置から映した視点画像を取得する(ステップS201)。
取得された画像は、一旦視点画像データメモリ161に記憶される(ステップS204)。視点画像データメモリ161から視点画像B0を読み出し、死角領域、つまり車内が映っている部分を、画像から切り出し視認領域画像B1を生成する(ステップS205)。このステップS205により画像抽出手段が構成される。この切り出し処理は、まず、最初に取得された原視点画像から、映っている車内の部分の輪郭を抽出する処理(輪郭抽出ステップ)をする。輪郭線の検出方法は、公知の画像処理方法を用いることができ、例えば、Sobelフィルタ処理やラプラシアンフィルタ処理などにより輪郭を強調する処理を行い、輪郭線のみを抽出する処理をすることができる。そして、抽出された輪郭線を境界線として、車両の外部が映されている部分を抽出するか、又は車内が映されている部分を消去することにより、死角領域の切り出し処理ができる。この輪郭抽出ステップにより、輪郭線検出手段が構成される。
【0024】
車内画像処理ルーチン(ステップS103)の次に、車外画像処理ルーチン(ステップS104)を開始する。図5は、車外画像処理ルーチンを示すフローチャートである。
車外画像処理ルーチン(ステップS104)では、死角カメラ13aによって映し出された外部画像を取得する(ステップS301)。
取得された画像は、一旦外部画像データメモリ162に記憶される(ステップS304)。外部画像データメモリ162から画像A0を読み出し、画像処理を行う。死角カメラ13aは、魚眼レンズを使用している場合には、画像A0は、魚眼画像であるから、この画像A0より、後に使用する画像個所a0を切り出し、その切り出した画像a0に正像変換処理を行い(ステップS305)、画像A1を得る。次に、死角カメラ13aは、運転者の視点位置で撮像していないので、撮像位置を運転者の視点位置に変換する処理をおこなう(ステップS306)。まず、第1に、撮像位置の高さを合わせるために、アフィン変換処理をする。
【0025】
第2に、運転者視点カメラ13bによる画像に大きさに合わせるように、画像A1を所定の倍率で画像の大きさを調整し、変換外部画像A2を得る。具体的には、画像B1と画像A1のそれぞれに対して、それぞれ特徴エリアを設定する。このエリアは、画像中の明暗や色彩等の変化が顕著で、その対象が特定しやすい領域を選択する。特徴エリアに設定される画像は、画像A1と画像B1がそれぞれ同じ対象物を捕らえていることが必要である。そして、この特徴エリアに映し出された対象物の大きさが同じになるように画像変換(画像A1を拡大又は縮小)をする。以上説明したステップS104により撮像位置変換手段が構成される。
【0026】
内部画像と外部画像についての処理(ステップS103、S104)が終了すると、次に、画像合成処理(ステップS105)が行われる。これは、ステップS103で生成された画像B1と、ステップS104で生成された画像A2とを重ね合わせて、合成画像B1+A2を生成する。これにより、視点画像B1の死角領域に、外部画像A2が加わり、あたかも、車体を透視して外側を映しているような画像が生成される。このステップS105により画像合成手段が構成される。
【0027】
さらに、生成された合成画像B1+A2に、輪郭線6が加えられ、表示される最終合成画像ABが生成される(ステップS106)。生成された合成画像ABは、合成画像データメモリ163に記憶される。このステップS106により、輪郭線画像合成手段が構成される。
【0028】
この輪郭線6は車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状の少なくとも一つを含む輪郭線である。
特に、車体の最も外側に位置する部位の輪郭線、あるいは、運転者が車体の外側を見たときに常に外部景色と同時に視覚に認識される部位の輪郭線であるとよい。車体の最も外側に位置する部位としては、車体、バンパー、ライト、タイヤ、サイドミラー等があり、視界に同時に認識される部位としては、ワイパー、インストゥルメントパネル、ハンドル、バックミラー、座席、窓の形状等が挙げられる。車体の最も外側に位置する部位の輪郭線を合成すると、車体と外部障害物との距離の把握か容易となるという効果がある。また、視界に認識される部位の輪郭線を合成すると、肉眼で認識して操作する際の視界に近似した画像が得られるので、運転者は、従来習得した感覚と同じ感覚で外部障害物と車両との位置関係を把握することができる。
【0029】
この輪郭線データは、本発明装置を設置する車体データをもとに作成されて、予め記憶装置16やROM122などに格納されている。或いは、ステップS205で抽出した輪郭線を合成してもよい。この場合には、実際の車体の状態が画像に映し出されるので、一層リアルに画像中の外部状況と車体との関係を把握することができる。例えば、後進する場合に、リアウィンドウのダッシュボードに置かれている置物などが、画像に映し出され、実際に肉眼で見ているイメージに近付けることができる。また、輪郭線のみを合成する構成に限らず、車体や車内を映されている影像部分(死角を生成する部分の画像)を半透明にして合成してもよい。
【0030】
次に、画像表示装置へ最終合成画像ABを出力する(ステップS109)。
システムを終了するきっかけがあるか判断する(ステップS110)。例えば、本発明の画像処理装置のスイッチオフや画像装置14の表示切替えがあった場合は、システムは停止される。従って、ステップS110で、YeSの場合には、この画像処理のフローチャートは終了する(ステップS113)。
【0031】
システムを終了するきっかけがなかった場合(ステップS110:No)には、ステップS101で初期化された変数が、設定値を越えたか判断する(ステップS111)。この変数とは、距離、時間、メモリ残量などを表すもので、これらの値が予め定められた設定値に達した場合には、データの書き込みが開始された位置に戻って、古いデータを新しい画像データに書き換える(ステップS112)。ここで、ステップS101にリターンされ、設定値を監視する変数は、初期化される。ステップS111で、変数が設定値を超えていなかった場合には、ステップS102にリターンされる。
【0032】
以上説明した本実施形態によれば、視点位置から車両の外側を見た場合に、視覚に映る画像に近い画像が得られるので、従来の運転者の感覚に沿った画像が提供でき、車両の操舵が容易となる。また、車両の陰となって認識できない領域についても、画像に表示されるので、車両周囲の認識が一層容易となる。さらに、車両の位置や大きさを象徴する輪郭線が画面に同時に表示されるので、車両周囲の障害物と車両との距離や位置関係を把握しやすく、一層運転操作が容易となる。
【0033】
以上説明した構成の他、表示画像として外部画像を視点変換した画像A2を用い、これに輪郭線6を合成する構成としてもよい。つまり、撮像位置変換手段によって、視点位置に視点変換された外部画像を、そのまま表示手段に表示する構成とすることもできる。この場合には、ステップS103とステップS105は省略される。また、画像の合成処理が不要となるので、演算処理装置12の演算処理が軽減される。以上説明した作用は、後進する場合の例であるが、前進する場合でも、同様の作用となる。
【0034】
次に、運転者視点カメラ13bも広角レンズを用いたものとしてもよい。広角レンズを用いることにより、車両が曲がる際にも、単に前方、後方といったように、設定された単一の固定された方向のみの画像を取得するものに限られず、ハンドル操作角度や前輪の舵角を検出して、操舵方向の角度に応じた画像領域を抽出し、画像処理を行えば、さらに運転者の視覚画像に合致した画像を表示することが可能となる。また、図7に示されているように、車両の側面にも死角カメラ18c、18dを設け、前部に設けられた死角カメラ18bと後部の設けられた死角カメラ18aとともに、車両を中心とした全周囲の画像を取得する構成とすることもできる。その場合には、運転者視点カメラ13bも全周囲の画像を取得する魚眼レンズが使用され、例えば車内中央の天井部分や、運転者の乗車する座席の真上に位置する天井部分に取り付けられる。
【0035】
なお、超音波等によって外部障害物と車体との間の距離を計測する測距センサなどのような距離検出手段を車体に設け、合成画像の表示とともに、外部障害物との距離を測る構成とすれば、一層距離感を把握し易くなり、好ましい。例えば、超音波センサによって検出される障害物との距離が、所定の距離以下となった場合には、聴覚信号として警報を発するか、視覚信号として画面を赤のシルエットに表示するなどの構成とすることができる。
【0036】
上記のような、距離検出手段の一例を示す。図8は、距離検出手段の構成を示す模式図である。距離検出手段は、死角カメラ13aの向けられている方向の障害物との距離を検出するものであり、死角カメラ13aの近傍に設けられている。距離検出手段3は、2つの投光手段31、32を備えている。投光手段は、それぞれ異なる色の光を、特定の方向へ向けて照射するもので、照射される光は所定の方向に指向性を有するもの(光線)である。この実施形態では、投光手段の光源として発光ダイオードが用いられており、光源の色は、それぞれ青と赤である。2つの投光手段31、32から照射される光線は、光源から所定の距離Lで交差するように、相互に相手方が位置する向きへ傾斜して取りけ付けられている。光線が傾斜する方向は、上下方向に傾斜し、図8に示されているように、障害物に光線が当たると、光線が当たった部分が障害物の表面に光点として映し出され、画面内に表示される。この実施形態では、赤の光源を有する投光手段32は下側に、青の光源を有する投光手段31は上側に配置され、投光手段32は斜め上方へ向けて光線を照射し、投光手段31は斜め下方へ向けて光線を照射している。
【0037】
図9から図11は、光点30a、30bが現れた画面の図である。図9に示されているように、車両から障害物までの距離Xが、Lより大きい場合(X>L)には、赤の光点30aが上側、青の光点30bが下側に位置している。図10に示されているように、障害物までの距離がLとなった時(X=L)には、光点は、1つに重なり、赤と青の混ざった紫色の光点が表れる。図11に示されているように、車両から障害物までの距離Xが、Lより小さい場合(X<L)には、赤の光点30aが下側、青の光点30bが上側に位置している。このような表示が、画面内に同時に映し出されるので、画面を見ながら、光点30a、30bの間の距離によって、距離Xの長さを感覚的に把握することが容易となる。
【0038】
このような距離検出手段3は、図12に示されているように、車両の前部と後部において、車両左右の角部にそれぞれ設けられていてもよい。例えば、前部と後部の中央部に距離検出手段3F、3Rを設け、前部の左右角部に、距離検出手段3FL、3FRを、後部の左右角部に、距離検出手段3RL、3RRを設ける。このようにすると、例えば、図13に示されているように、車両の左側(画面右側)に位置する障害物と、右側(画面左側)に位置する障害物の距離は、光点30a、30bの距離が短いので、車両の左側(画面右側)に位置する障害物の方が近いことが解る。このように、左右方向に位置する障害物との距離感も、画像に現れる光点の距離によって把握することができる。
【0039】
【発明の効果】
請求項1に記載の発明によれば、視点の位置に撮像位置を移動させた場合の画像が得られるので、運転者の視界に入る景色に近似した画像が得られ、車両操作の際の車両と外部障害物との位置関係の把握が容易となる。また、死角領域のない外部画像が得られるので、死角への不安感が軽減される。さらに、車体内部の画像を合成するので、運転者の視界画像に、極めて近い画像が得られる。
【0040】
請求項2に記載の発明によれば、輪郭線を取得した画像から検出する構成とすると、実際の車体の状態を輪郭線で映し出すことになり、現実感が増し、画像から受ける車体の感覚が一層把握し易くなる。また、車体各部の形状の輪郭線を画像に合成することにより、画面に映し出された外部環境と、車体との位置関係を一層把握し易くなる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の構成を示すブロック図である。
【図2】本発明の画像処理装置を搭載した車両の側面図である。
【図3】本発明の画像処理装置の作用を示すフローチャートである。
【図4】本発明の画像処理装置の作用を示すフローチャートである。
【図5】本発明の画像処理装置の作用を示すフローチャートである。
【図6】画像処理の手順を示す流れ図である。
【図7】広角レンズカメラを用いたカメラの視野を示す平面図である。
【図8】距離検出手段の構成を示す模式図である。
【図9】2つの光点が現れた画面を示す図である。
【図10】2つの光点が現れた画面を示す図である。
【図11】2つの光点が現れた画面を示す図である。
【図12】距離検出手段の配置位置を示す、車両の全体平面図である。
【図13】2つの光点が現れた画面を示す図である。
【符号の説明】
1 画像処理装置
12 処理装置
13a カメラ
13b カメラ
14 画像表示装置
15 現在位置検出装置
16 記憶装置
21 車両
3 距離検出手段
Claims (2)
- 車両の外部に配置され、車両の進行方向の画像を取得する第1の撮像手段と、
前記第1の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段と、
車内に配置され、運転者の視点から見た車両の進行方向の画像を取得する第2の撮像手段と、
前記第2の撮像手段によって取得された画像から、車両の外部が映されている部分を抽出し、又は車内が映されている部分を消去することにより死角領域を切り出した画像を生成する視認領域画像生成手段と、
前記撮像位置変換手段によって得られた画像と、前記視認領域画像生成手段によって得られた画像を重ね合わせた合成画像を得る画像合成手段と、
前記画像合成手段によって得られた合成画像を表示する表示手段と
を備えた車両の画像処理装置。 - 車体形状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線検出手段により検出された輪郭線を、前記撮像位置変換手段によって視点変換された画像上に表示するように合成する輪郭線画像合成手段とを備えた請求項1に記載の車両の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400962A JP4364471B2 (ja) | 2001-12-28 | 2001-12-28 | 車両の画像処理装置 |
US10/314,230 US7212653B2 (en) | 2001-12-12 | 2002-12-09 | Image processing system for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400962A JP4364471B2 (ja) | 2001-12-28 | 2001-12-28 | 車両の画像処理装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004174330A Division JP4552525B2 (ja) | 2004-06-11 | 2004-06-11 | 車両の画像処理装置 |
JP2007142644A Division JP2007302238A (ja) | 2007-05-29 | 2007-05-29 | 車両の画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003196645A JP2003196645A (ja) | 2003-07-11 |
JP2003196645A5 JP2003196645A5 (ja) | 2005-04-28 |
JP4364471B2 true JP4364471B2 (ja) | 2009-11-18 |
Family
ID=27605228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001400962A Expired - Fee Related JP4364471B2 (ja) | 2001-12-12 | 2001-12-28 | 車両の画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4364471B2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4479183B2 (ja) * | 2003-08-05 | 2010-06-09 | 日産自動車株式会社 | 映像提示装置 |
JP2005125828A (ja) * | 2003-10-21 | 2005-05-19 | Fujitsu Ten Ltd | 車両周囲視認装置を備えた車両周囲視認システム |
JP4379148B2 (ja) * | 2004-02-23 | 2009-12-09 | 株式会社エクォス・リサーチ | 後方確認装置 |
JP4744823B2 (ja) * | 2004-08-05 | 2011-08-10 | 株式会社東芝 | 周辺監視装置および俯瞰画像表示方法 |
JP4877447B2 (ja) * | 2004-08-31 | 2012-02-15 | 株式会社エクォス・リサーチ | 車両周辺画像表示装置 |
JP4583883B2 (ja) * | 2004-11-08 | 2010-11-17 | パナソニック株式会社 | 車両用周囲状況表示装置 |
JP2006240383A (ja) * | 2005-03-01 | 2006-09-14 | National Univ Corp Shizuoka Univ | クルージング支援車載情報システム |
JP4556742B2 (ja) * | 2005-03-30 | 2010-10-06 | 株式会社デンソー | 車両直下画像表示制御装置および車両直下画像表示制御プログラム |
JP4683272B2 (ja) * | 2005-04-14 | 2011-05-18 | アイシン・エィ・ダブリュ株式会社 | 車両外部表示方法及び表示装置 |
JP4832878B2 (ja) * | 2005-12-09 | 2011-12-07 | 倉敷紡績株式会社 | 画像合成処理装置及び方法 |
JP4676373B2 (ja) * | 2006-04-27 | 2011-04-27 | 株式会社デンソー | 周辺認識装置、周辺認識方法、プログラム |
JP5159070B2 (ja) * | 2006-08-31 | 2013-03-06 | アルパイン株式会社 | 車両周辺画像表示装置及び表示方法 |
JP2011155651A (ja) * | 2011-02-10 | 2011-08-11 | Toshiba Corp | 車両周辺画像表示装置および車両周辺画像表示方法 |
JP6080387B2 (ja) * | 2012-05-25 | 2017-02-15 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6205640B2 (ja) | 2012-07-30 | 2017-10-04 | 市光工業株式会社 | 車両用警告装置 |
JP6148887B2 (ja) | 2013-03-29 | 2017-06-14 | 富士通テン株式会社 | 画像処理装置、画像処理方法、及び、画像処理システム |
JP6056612B2 (ja) | 2013-03-29 | 2017-01-11 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
JP2015074436A (ja) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US10475242B2 (en) | 2014-01-10 | 2019-11-12 | Aisin Seiki Kabushiki Kaisha | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image |
US10293752B2 (en) | 2014-08-28 | 2019-05-21 | The University Of Tokyo | Display system for work vehicle, display control device, work vehicle, and display control method |
JP6446925B2 (ja) | 2014-09-05 | 2019-01-09 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
JP2017111739A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社デンソー | 運転支援装置、運転支援方法 |
JP6707007B2 (ja) * | 2016-09-27 | 2020-06-10 | 株式会社東海理化電機製作所 | 車両用視認装置及び車両用視認画像表示方法 |
JP6878109B2 (ja) * | 2017-04-20 | 2021-05-26 | 株式会社Subaru | 画像表示装置 |
JP2018177133A (ja) * | 2017-04-20 | 2018-11-15 | 株式会社Subaru | 画像表示装置 |
JP6890288B2 (ja) * | 2018-03-28 | 2021-06-18 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像表示システムおよび画像処理方法 |
JP2019217970A (ja) * | 2018-06-21 | 2019-12-26 | 日本電産コパル株式会社 | 電子ミラー装置及び画像表示方法 |
JP7073237B2 (ja) * | 2018-09-25 | 2022-05-23 | アルパイン株式会社 | 画像表示装置、画像表示方法 |
JP7469083B2 (ja) | 2020-03-10 | 2024-04-16 | 住友重機械工業株式会社 | 画像処理装置、画像処理方法、及び画像処理システム |
CN111918035B (zh) * | 2020-07-31 | 2022-04-15 | 上海励驰半导体有限公司 | 车载环视方法、装置、存储介质及车载终端 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05139210A (ja) * | 1991-11-25 | 1993-06-08 | Nippon Steel Corp | 車両用後方視界表示装置 |
JPH07229961A (ja) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | 車両周囲の物体検知装置及び車両周囲の物体検知方法 |
JP3351984B2 (ja) * | 1997-04-22 | 2002-12-03 | 国土交通省関東地方整備局長 | 作業用走行車の視界改善装置および方法 |
JPH11115546A (ja) * | 1997-10-17 | 1999-04-27 | Harness Syst Tech Res Ltd | 車両用表示装置 |
JP3834967B2 (ja) * | 1997-11-25 | 2006-10-18 | 日産自動車株式会社 | 死角範囲表示装置 |
JP2000071877A (ja) * | 1998-08-26 | 2000-03-07 | Nissan Motor Co Ltd | 車両用表示装置 |
JP4207298B2 (ja) * | 1999-03-19 | 2009-01-14 | アイシン・エィ・ダブリュ株式会社 | 運転支援画像合成装置 |
EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
JP3624769B2 (ja) * | 1999-09-30 | 2005-03-02 | 株式会社豊田自動織機 | 車両後方監視装置用画像変換装置 |
JP2001339716A (ja) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | 車両周辺監視装置及び方法 |
JP4537537B2 (ja) * | 2000-05-25 | 2010-09-01 | パナソニック株式会社 | 運転支援装置 |
-
2001
- 2001-12-28 JP JP2001400962A patent/JP4364471B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003196645A (ja) | 2003-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4364471B2 (ja) | 車両の画像処理装置 | |
JP4593070B2 (ja) | 車両の画像処理装置 | |
US7212653B2 (en) | Image processing system for vehicle | |
JP4914458B2 (ja) | 車両周辺表示装置 | |
JP6766557B2 (ja) | 周辺監視装置 | |
JP4782963B2 (ja) | 駐車する車両の周辺状況を監視するための装置 | |
JP5035284B2 (ja) | 車両周辺表示装置 | |
JP4907883B2 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
US8754760B2 (en) | Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle | |
EP1355285B1 (en) | Image display apparatus and method for automotive vehicle | |
JP4766841B2 (ja) | 車両に搭載されるカメラ装置及び車両周辺監視装置 | |
WO2005084027A1 (ja) | 画像生成装置、画像生成プログラム、及び画像生成方法 | |
KR20040000303A (ko) | 차량 탑재 카메라의 촬상 화상 표시 방법 및 그 장치 | |
JP4552525B2 (ja) | 車両の画像処理装置 | |
JP2004026144A (ja) | 車両内部または外部を監視する方法、及び監視カメラを備えた車両 | |
JP2005110202A (ja) | カメラ装置及び車両周辺監視装置 | |
JP5516998B2 (ja) | 画像生成装置 | |
JP3876761B2 (ja) | 車両用周辺監視装置 | |
JP5036891B2 (ja) | 車両に搭載されるカメラ装置及び車両周辺監視装置 | |
JP5516988B2 (ja) | 駐車支援装置 | |
JP2003319383A (ja) | 車載画像処理装置 | |
JP2007302238A (ja) | 車両の画像処理装置 | |
JP4600999B2 (ja) | 車両周囲監視装置 | |
JPH0717328A (ja) | 車両用周辺認識補助装置 | |
JP3807330B2 (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4364471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |