JP2003235036A - 車両用画像表示装置 - Google Patents

車両用画像表示装置

Info

Publication number
JP2003235036A
JP2003235036A JP2002030837A JP2002030837A JP2003235036A JP 2003235036 A JP2003235036 A JP 2003235036A JP 2002030837 A JP2002030837 A JP 2002030837A JP 2002030837 A JP2002030837 A JP 2002030837A JP 2003235036 A JP2003235036 A JP 2003235036A
Authority
JP
Japan
Prior art keywords
vehicle
image
connected vehicle
periphery
condition information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002030837A
Other languages
English (en)
Inventor
Toshiaki Takahashi
利彰 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002030837A priority Critical patent/JP2003235036A/ja
Publication of JP2003235036A publication Critical patent/JP2003235036A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】トレーラー等の連結車両を含む車両において、
歪みのない正確な車両周辺の画像を表示する車両用画像
表示装置を提供すること。 【解決手段】複数のカメラ11等により撮像された撮像
データからそれぞれ合成された、屈曲自在に連結された
第1の連結車両201Aの周辺の画像と第2の連結車両
201Bの周辺の画像とを、連結角度検出手段3により
検出された第1の連結車両201A及び第2の連結車両
201Bの連結角度に応じて、前記車両200の周辺の
全体画像を合成する画像合成手段4と、これを表示する
表示手段5とを設けた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、屈曲自在に連結さ
れた複数の連結車両を含む車両に用いられる車両用画像
表示装置に関する。
【0002】
【従来の技術】この種の車両用画像表示装置としては、
複数のカメラで撮像した画像を、車両上空からの画像の
ように変形・合成して表示するものがある(特開平11
−151975号公報参照)。
【0003】
【発明が解決しようとする課題】しかし、大型トレーラ
ーのような連結器によって連結された連結車両を含む車
両では、連結車両の屈曲により車両とカメラとの位置関
係がずれてしまうため、連結器付近(連結部分)で画像
が歪んでしまい、表示される画像が実際の画像とは異な
ってしまうという問題があった。本発明は、連結車両の
連結角度に応じて車両周辺の画像を合成することによ
り、歪みのない正確な画像を表示する車両用画像表示装
置及び車両用画像表示装置用のプログラムを提供するこ
とを目的とする。
【0004】
【課題を解決するための手段】(1)上記目的を達成す
るために、請求項1記載の発明によれば、連結手段によ
り屈曲自在に連結された第1の連結車両と第2の連結車
両とを少なくとも含む車両に設けられ、前記第1の連結
車両の周辺及び第2の連結車両の周辺をそれぞれ撮像す
る複数の撮像手段と、前記各撮像手段により撮像された
前記第1の連結車両周辺の撮像データ及び前記第2の連
結車両周辺の撮像データを、前記連結された第1の連結
車両及び第2の連結車両の姿勢に応じて、前記車両周辺
の全体画像に合成して表示手段へ出力する画像合成手段
とを有する車両用画像表示装置が提供される。
【0005】また、異なる観点による、請求項6記載の
発明によれば、車両に搭載されたコンピュータに、連結
手段により屈曲自在に連結された前記第1の連結車両の
周辺及び第2の連結車両の周辺をそれぞれ撮像させるス
テップと、前記撮像させた前記第1の連結車両の周辺の
撮像データ及び第2の連結車両の周辺の撮像データを、
前記連結された第1の連結車両及び第2の連結車両の姿
勢に応じて、前記第1の連結車両と前記第2の連結車両
とを含む車両周辺の全体画像に合成させるステップとを
実行させるためのプログラムが提供される。
【0006】これらの発明において、第1の連結車両と
第2の連結車両には、運転席を含む連結車両、貨物搬送
用の連結車両、液体や気体を搬送するタンクを含む連結
車両、その他のあらゆる形態の連結車両を含む。また第
1の連結車両と第2の連結車両とが少なくとも含まれて
いればよく、連結される連結車両の数に限定はない。
【0007】また、第1の連結車両と第2の連結車両は
車両に含まれる任意の連結車両から選択される。すなわ
ち、第1の連結車両と第2の連結車両とは直接又は間接
的に連結されていればよく、連結された第1の連結車両
と第2の連結車両との間には、他の連結車両が介在して
もよい。連結手段は、第1の連結車両と第2の連結車両
との間に介在する手段のすべてを含み、連結車両を互い
に係合する連結器のみならず、他の連結車両を含むと解
する。この場合、連結された第1の連結車両及び第2の
連結車両の姿勢とは、第1の連結車両、これに連結され
た他の連結車両、さらにこれに連結された第2の連結車
両の姿勢となる。
【0008】この連結された第1の連結車両及び第2の
連結車両の姿勢は、第1の連結車両と第2の連結車両と
の相対的な位置関係に基づき取得され、撮像データから
導く手法、実際に測定する方法、予め記憶された姿勢に
関するデータに基づいて推測される手法など、その取得
の手法は限定されない。すなわち、「第1の連結車両及
び第2の連結車両の姿勢」は、連結手段による連結の連
結角度の測定値から求めてもよく、ハンドル操作の履歴
(操舵角の変化履歴)から推測してもよく、ギアの状態
から推測してもよく、指定されたモード(予め対応する
姿勢が記憶された、車庫入れモード、出庫モード、直進
モード、右折モード、左折モード、カーブ曲率等)から
求めることもできる。また、この「第1の連結車両及び
第2の連結車両の姿勢」は、第1の連結車両及び第2の
連結車両との屈曲角度、第1の連結車両と第2の連結車
両のそれぞれの大きさ、連結手段の形状又は長さ等の要
因を含めて考察することができる。
【0009】以上の構成によれば、複数の撮像手段が、
第1の連結車両の周辺の撮像データ及び第2の連結車両
の周辺の撮像データを取得する。画像合成手段は、取得
されたこれらの撮像データを、連結された第1の連結車
両と第2の連結車両の姿勢に応じて、車両周辺の全体画
像に合成する。合成された全体画像は表示手段を介して
表示される。
【0010】これにより、連結車両を含む車両周辺の画
像について、歪みのない正確な画像を表示する車両用画
像表示装置を提供することができる。
【0011】(2)上記目的を達成するために、請求項
1記載の発明において、請求項2記載の発明によれば、
前記撮像手段が撮像する際の撮像条件情報を取得する撮
像条件情報取得手段と、前記連結された第1の連結車両
及び第2の連結車両の姿勢を検出する検出手段とをさら
に備え、前記画像合成手段は、前記撮像手段により撮像
された前記第1の連結車両周辺の撮像データ及び前記第
2の連結車両周辺の撮像データを、前記撮像条件情報取
得手段により取得された撮像条件情報に基づいて、前記
第1の連結車両周辺の画像及び前記第2の連結車両周辺
の画像にそれぞれ合成する第1画像合成部と、前記第1
画像合成部により合成された前記第1の連結車両周辺の
画像及び前記第2の連結車両周辺の画像と、前記検出手
段により検出された第1の連結車両及び第2の連結車両
の姿勢とから、前記車両周辺の全体画像を再合成する第
2画像合成部とを有する車両用画像表示装置が提供され
る。
【0012】異なる観点による請求項7記載の発明によ
れば、請求項6記載のプログラムにおいて、前記車両周
辺の全体画像を合成させるステップは、予め記憶された
撮像に関する撮像条件情報を読み出すステップと、前記
撮像させた前記第1の連結車両の周辺の撮像データ及び
第2の連結車両の周辺の撮像データを、前記読み出され
た撮像条件情報に基づいて、前記第1の連結車両の周辺
の画像及び前記第2の連結車両の周辺の画像にそれぞれ
合成させるステップと、前記連結された第1の連結車両
及び第2の連結車両の姿勢を検出させるステップと、前
記合成させた前記第1の連結車両周辺の画像及び前記第
2の連結車両周辺の画像を、前記検出させた第1の連結
車両及び第2の連結車両の姿勢に応じて、前記車両の周
辺の全体画像に再合成させるステップとを含むプログラ
ムが提供される。
【0013】これらの発明における、撮像条件情報取得
手段が取得する又は読み出されるところの「撮像条件情
報」は、撮像データの合成に用いられる、撮像手段の配
置される位置、角度、レンズ特性等の撮像の際の条件と
なる情報である。
【0014】また、画像合成手段の第1画像合成部は、
撮像手段により撮像された第1の連結車両周辺の撮像デ
ータを撮像条件情報に基づいて第1の連結車両周辺の画
像に合成するとともに、第2の連結車両周辺の撮像デー
タを撮像条件情報に基づいて第2の連結車両周辺の画像
に合成する。すなわち、第1の連結車両周辺の画像と、
第2の連結車両周辺の画像とが、それぞれ合成される。
【0015】続いて、第2画像合成部は、この合成され
た第1の連結車両周辺の画像と第2の連結車両周辺の画
像とを、「第1の連結車両及び第2の連結車両の姿勢」
に基づいて、連結車両を含む車両周辺の全体画像に再合
成する。この再合成は、「第1の連結車両及び第2の連
結車両の姿勢」に関する情報から第1の連結車両と第2
の連結車両とが、どのような位置関係、たとえば何度
(角度)の連結角度をもって連結されているか等の「姿
勢」に関する情報に基づいて、行うことができる。この
ように第1画像合成部の合成と、第2画像合成部の再合
成によって、連結された連結車両の姿勢に応じた全体画
像を表示することができる。
【0016】これにより、連結車両を含む車両周辺の画
像について、歪みのない正確な画像を表示する車両用画
像表示装置を提供することができる。
【0017】(3)上記目的を達成するために、請求項
1記載の発明において、請求項3記載の発明によれば、
前記撮像手段が撮像する際の撮像条件情報を取得する撮
像条件情報取得手段と、前記第1の連結車両の前記車両
に対する姿勢と前記第2の連結車両の前記車両に対する
姿勢とを検出する検出手段とをさらに備え、前記画像合
成手段は、前記撮像手段により撮像された前記第1の連
結車両周辺の撮像データを、前記撮像条件情報取得手段
により取得された撮像条件情報と前記検出手段により検
出された前記第1の連結車両の前記車両に対する姿勢と
に基づいて、前記第1の連結車両周辺の画像に合成し、
前記撮像手段により撮像された前記第2の連結車両周辺
の撮像データを、前記撮像条件情報取得手段により取得
された撮像条件情報と前記検出手段により検出された前
記第2の連結車両の前記車両に対する姿勢とに基づい
て、前記第2の連結車両周辺の画像に合成する車両用画
像表示装置が提供される。
【0018】また、異なる観点による請求項8記載の発
明によれば、請求項6記載の発明において、前記車両周
辺の全体画像を合成させるステップは、予め記憶された
撮像に関する撮像条件情報を読み出すステップと、前記
第1の連結車両の前記車両に対する姿勢と、前記第2の
連結車両の前記車両に対する姿勢とを検出するステップ
と、前記撮像させた前記第1の連結車両周辺の撮像デー
タを、前記取得させた撮像条件情報と前記検出させた前
記第1の連結車両の前記車両に対する姿勢とに基づい
て、前記第1の連結車両周辺の画像に合成させるステッ
プと、前記撮像させた前記第2の連結車両周辺の撮像デ
ータを、前記取得させた撮像条件情報と前記検出させた
前記第2の連結車両の前記車両に対する姿勢とに基づい
て、前記第2の連結車両周辺の画像に合成させるステッ
プとを含むプログラムが提供される。
【0019】先に説明した、請求項2と請求項7にかか
る発明においては、画像合成手段が第1画像合成部と第
2画像合成部とを有し、まず、第1画像合成部が第1の
車両周辺の画像と第2の車両周辺の画像とをそれぞれを
合成し、次いで第2画像合成部がこれら2つの画像を
「第1の連結車両及び第2の連結車両の姿勢」に応じて
再合成して車両周辺の全体画像を得ていた。ここで説明
する請求項3、請求項8記載の発明では、「第1の連結
車両及び第2の連結車両の姿勢」として、第1の連結車
両と第2の連結車両との直接的な位置関係ではなく、車
両を基準とした位置関係を介した間接的な位置関係であ
るところの、車両に対する第1の連結車両の姿勢と、車
両に対する第2の連結車両の姿勢とを用いる。
【0020】すなわち、撮像条件情報取得手段は撮像条
件情報を取得し、検出手段は第1の連結車両の車両に対
する姿勢と第2の連結車両の車両に対する姿勢とを検出
する。そして、本発明における画像合成手段は、撮像さ
れた第1の連結車両周辺の撮像データを、取得された
「撮像条件情報」と検出された「第1の連結車両の車両
に対する姿勢」に基づいて、第1の連結車両周辺の画像
に合成する。この合成された画像は車両を基準とした座
標(位置)に基づいて合成されることとなる。同様に、
撮像された第2の連結車両周辺の撮像データを、取得さ
れた「撮像条件情報」と検出された「第2の連結車両の
車両に対する姿勢」に基づいて、第2の連結車両周辺の
画像に合成する。この合成された画像は車両を基準とし
た座標(位置)に基づいて合成されることとなる。この
ように車両の位置(座標)を基準とした2つの画像を合
わせて車両周辺の全体画像とすれば、連結された第1の
連結車両と第2の連結車両の画像は連結手段において歪
むことなく正確に表示されることとなる。
【0021】これにより、連結車両を含む車両周辺の画
像について、歪みのない正確な画像を表示する車両用画
像表示装置を提供することができる。
【0022】(4)上記目的を達成するために、請求項
4記載の発明によれば、前記第1の連結車両又は前記第
2の連結車両のいずれか一方に前記撮像手段を設け、前
記第1の連結車両又は前記第2の連結車両のいずれか他
方の、前記撮像手段により撮像される位置にマークを設
け、前記検出手段は、前記撮像手段により撮像された前
記マークの撮像データから前記連結された第1の連結車
両及び第2の連結車両の連結角度を検出する車両用画像
表示装置が提供される。また、異なる観点による請求項
9記載の発明によれば、前記連結された第1の連結車両
及び第2の連結車両の姿勢を検出させるステップは、前
記第1の連結車両又は第2の連結車両のいずれか一方に
設けられたマークを、前記第1の連結車両又は第2の連
結車両のいずれか他方に設けられた撮像手段により撮像
させて前記マークに関する撮像データを取得させ、当該
取得させたマークに関する撮像データから、前記第1の
連結車両と前記第2の連結車両との連結角度を検出させ
るプログラムが提供される。
【0023】この発明では「第1の連結車両及び第2の
連結車両の姿勢」を、マークとこれを撮像する撮像手段
により検出する。第1の連結車両及び第2の連結車両の
いずれか一方に撮像手段を設け、この撮像手段が他方に
設けられたマークを撮像する。すなわち、マークと撮像
手段とが連結手段を介して設けられ、この撮像手段によ
り撮像されたマークの撮像データに基づいて、マークが
設けられた第1又は第2の連結車両とマークが設けられ
ていない第1又は第2の連結車両との連結角度を検出す
る。これにより、「第1の連結車両及び第2の連結車両
の姿勢」を簡易に求めることができる。
【0024】(5)上記目的を達成するために、請求項
5記載の発明によれば、前記検出手段は、前記連結され
た連結車両の連結角度を検出する角度検出器である車両
用画像表示装置が提供される。また、異なる観点による
請求項10記載の発明によれば、前記連結された第1の
連結車両及び第2の連結車両の姿勢を検出させるステッ
プは、前記車両に搭載された角度検出器に、前記連結さ
れた第1の連結車両と第2の連結車両との連結角度を検
出させるステップであるプログラムが提供される。
【0025】この発明では、「第1の連結車両及び第2
の連結車両の姿勢」を角度検出器により検出する。これ
により、「第1の連結車両及び第2の連結車両の姿勢」
を簡易かつ正確に求めることができる。
【0026】
【発明の効果】請求項1〜10記載の発明によれば、連
結車両を含む車両周辺の画像について、歪みのない正確
な画像を表示する車両用画像表示装置及び車両用画像表
示装置用のプログラムを提供することができる。
【0027】
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。本発明にかかる車両用画像表示装置
100は、例えばトレーラーのように、連結手段により
屈曲自在に連結された第1の連結車両と第2の連結車両
とを少なくとも有する車両に設けられる。これらの連結
車両は、運転席を含む連結車両、貨物搬送用の連結車
両、タンク搭載の連結車両その他のあらゆる形態の連結
車両を含む。また、この実施形態が適用される車両の連
結車両の数に限定はなく、運転席を含む連結車両と貨物
搬送用の連結車両との2つの連結車両からなる車両であ
ってもよいし、運転席を含む連結車両と複数の貨物搬送
用の連結車両からなる車両であってもよい。本実施形態
の車両用画像表示装置100は、第1の連結車両が運転
席を含む連結車両であって、第2の連結車両と貨物搬送
用の連結車両である、2つの連結車両からなる車両に搭
載されている。
【0028】本実施形態のブロック構成を図1に示し
た。図1に示すように、本実施形態は、第1の連結車両
の周辺を撮像する第1撮像手段1Aと、第2の連結車両
の周辺を撮像する第2撮像手段1Bと、この撮像につい
ての撮像条件情報を取得する撮像情報取得手段2と、連
結された第1の連結車両と第2の連結車両の姿勢を検出
する検出手段3と、先述した第1撮像手段1Aが撮像し
た撮像データと第2撮像手段1Bが撮像した「撮像デー
タ」に基づいて、「撮像条件情報」を参照し、「姿勢」
に応じて「車両周辺(第1の連結車両と第2の連結車両
とを含む)の全体画像」を合成する画像合成手段4と、
合成された全体画像をユーザへ表示する表示手段5とを
有している。
【0029】これらの構成について、さらに説明する。
第1撮像手段1Aは、第1の連結車両の周辺を撮像す
る。本実施形態ではCCDを用いたデジタルカメラを採
用したが、連結車両の周囲の状況の画像情報を取得でき
る手段であれば特に限定されることはない。第1の撮像
手段1A、第2の撮像手段1Bは、第1の連結車両の周
囲又は第2の連結車両の周囲の各々を、まんべんなく撮
像できるように適当な位置にそれぞれ複数配置される。
【0030】図2及び図3には、このカメラ1の配置の
一例とカメラ1の撮像範囲aの例を示した。図2に示す
ように、車両200の第1の連結車両201Aの周辺を
撮像するためのカメラ11〜13が第1の連結車両20
1A上に図示した位置に配置されている。同様に、車両
200の第2の連結車両201Bの周辺を撮像するため
のカメラ14〜16が第2の連結車両201B上に図示
した位置に配置されている。図3には、これらのカメラ
11〜16の撮像範囲を上空から示した。それぞれのカ
メラ11〜16の撮像範囲は互いに重なり合い、第1の
連結車両201Aの周辺及び第2の連結車両201Bの
周辺をまんべんなく撮像している。ここで撮像された撮
像データは画像処理手段4に送出される。
【0031】また、撮像条件情報取得手段2は、これら
撮像手段1A、1Bが撮像を行う際の撮像条件情報を取
得する。撮像条件情報には、撮像手段1A、1Bの配置
位置、角度、アングル、レンズ特性、撮像データの基準
座標その他の画像の合成に必要な情報が含まれる。
【0032】さらに、検出手段3は、「連結された第1
の連結車両及び第2の連結車両の姿勢」を検出する。こ
の検出手段3は、第1の連結車両201Aと第2の連結
車両201Bとの姿勢を、直接的に連結角度を計測し
て、その連結角度等から「姿勢」を求めてもよい。ま
た、検出手段3は、車両200に対する第1の連結車両
201Aの姿勢を求め、さらに車両200に対する第2
の連結車両201Bの姿勢を求め、結果として車両20
0に対する第1の連結車両201A及び第2の連結車両
201Bの姿勢を求めるようにすることもできる。
【0033】本実施形態では、第1の連結車両201A
に設けたマークとこのマークを撮像する第2の連結車両
201Bに設けた撮像手段1Bとによって、第1の連結
車両201Aと第2の連結車両201Bとの連結角度を
求める手法、又はエンコーダやポテンショメーターによ
り連結手段における連結角度を実測する手法とを用いる
こととした。これらについては後に図9〜図11を用い
て追って説明する。
【0034】加えて、画像合成手段4は、撮像された撮
像データを、「撮像条件情報」と「連結された第1の連
結車両及び第2の連結車両の姿勢」とに応じて、第1の
連結車両201Aと第2の連結車両201Bとを含む
「車両200周辺の全体画像」に合成する。本実施形態
にかかる画像合成手段4は、第1の画像合成部41と第
2の画像合成部42とを有している。さらに第1の画像
合成部41は、第1の連結車両201Aの周辺の画像を
合成する機能411と第2の連結車両201Bの周辺の
画像を合成する機能412とを有している。第1画像合
成部41の「第1の連結車両201Aの周辺の画像を合
成する機能411」は、第1の撮像手段1Aが撮像した
撮像データを撮像条件情報を参照して第1の連結車両2
01A周辺の画像として合成する。このとき、第1の連
結車両201A周辺の画像は、上方から車両201を見
た状態の画像として合成される。同様に「第2の連結車
両201Bの周辺の画像を合成する機能412」は、第
2の撮像手段1Bが撮像した撮像データを撮像条件情報
を参照して第2の連結車両201B周辺の上方から見た
状態の画像として合成する。こうして第1の連結車両2
01A周辺の画像と第2の連結車両201B周辺の画像
と、2つの画像が合成される。この2つの画像を車両周
辺の全体画像に再合成するのが、第2画像合成部42で
ある。第2画像合成部42は、第1画像合成部41によ
り合成された2つの画像と、検出手段3により検出され
た「連結された第1の連結車両及び第2の連結車両の姿
勢」とから、連結車両を含む車両200周辺全体の全体
画像を再合成する。具体的には、「連結された第1の連
結車両及び第2の連結車両の姿勢」として、「連結手段
における連結角度」を検出し、第1の連結車両201A
周辺の画像と第2の連結車両201B周辺の画像との位
置を合わて重ねるとともに、検出された連結角度に応じ
て回転し、「姿勢」に応じた画像を合成する。これによ
り大型トレーラーのような連結手段により連結車両が連
結された車両201であっても、連結手段付近における
歪みのない、車両201全体の正確な画像を合成するこ
とができる。
【0035】ちなみに、本実施形態では第1の画像合成
部41と第2の画像合成部とを設けて、車両200周辺
の全体画像の合成処理を行うが、これらの処理をまとめ
て画像合成手段4が行うこともでき、このような実施形
態は本実施形態と実質的に同一である。また、本実施形
態では2つの連結車両の周辺の画像を合成してから、そ
の「姿勢」に応じて再合成をするという処理を行うが、
「姿勢」として、第1の連結車両201Aと第2の連結
車両201Bとの連結角度といった直接的な位置関係を
用いることなく、第3の基準として車両200を基準と
し、車両200に対する第1の連結車両201Aの姿勢
と車両200に対する第2の連結車両201Bの姿勢を
検出し、これに基づいて、撮像データから第1の連結車
両201A周辺の画像と第2の連結車両201B周辺の
画像とを合成する。こうして求めた画像は、すでに車両
200を基準とした座標に従っているため、位置を合わ
せるだけで、連結手段付近で歪みのない正確な画像とな
る。
【0036】このように、画像合成手段4により合成さ
れた全体画像は、表示手段5に向けて出力される。本実
施形態では表示手段5としてディスプレイ5を採用し、
車両200の全体画像を視認できるように表示する。こ
のディスプレイ5は、車載されたナビゲーション装置の
ディスプレイを用いることができる。
【0037】続いて、以上の構成による基本的な動作に
ついて説明する。図4は本発明の車両用画像表示装置の
実施形態の制御手順を示すフローチャート図、図5は本
実施形態の動作状況を説明するための図、図6は図5で
示す動作状況下での一のカメラの撮像した画像を示す
図、図7は図5で示す動作状況下での他のカメラの撮像
した画像を示す図、図8は図6及び図7で示した画像の
合成を説明する図である。 ここでは、図5〜図8を参
照しつつ、図2に基づいて本実施形態の制御手順を説明
する。いま、図5に示すように、駐車枠の白線401が
路面にペイントされた駐車場に、車両200を駐車させ
ようとしている。車両200は運転席を含む連結車両2
01Aと連結車両201Bを有している。この状況にお
いて本実施形態の車両用画像表示装置100が動作する
場合を説明する。本実施形態の車両用画像表示装置10
0は、ギアがバックポジションに切り替えられたタイミ
ングにおいて起動する。もちろん、操舵角が所定の値を
超えた場合において起動させてもよいし、ユーザからの
起動信号に応じて個別に起動させてもよい。
【0038】まず、カメラ11〜13が第1の連結車両
201Aの周辺を撮像し、カメラ14〜16が第2の車
両の周辺を撮像する(S2)。この撮像は所定時間ごと
に撮像してもよいし、継続的に撮像を行ってもよい。な
お、ここでは説明の便宜からカメラ11〜13が第1の
連結車両201A周辺を撮像すると設定したが、この設
定に限定されることはなく、カメラ14〜16が撮像し
た撮像データを第1の連結車両201A周辺の撮像デー
タとして扱うことはもちろん可能である。この撮像は必
要な撮像が完了するまで繰り返される(S3)。
【0039】撮像された第1の連結車両201Aの周辺
の撮像データと第2の連結車両201Bの周辺の撮像デ
ータは画像合成手段4へ送出される。画像合成手段4の
第1画像合成部41では、第1の連結車両周辺の画像デ
ータを、撮像条件情報取得手段2が取得した撮像条件情
報に基づいて、第1の連結車両201A周辺を上方から
見た状態の画像として合成する(S4)。この合成され
た画像が図6に示す画像Aである。同様に、第2の連結
車両周辺の画像データを、撮像条件情報取得手段2が取
得した撮像条件情報に基づいて、第2の連結車両201
B周辺を上方から見た状態の画像として合成する(S
4)。この合成された画像が図7に示す画像Bである。
各画像の合成が完了したところで(S6)、検出手段3
は「連結された第1の連結車両及び第2の連結車両の姿
勢」としての「連結手段における連結角度」を検出する
(S7)。もちろん、このステップは各画像の合成より
も先に行われてもよい。
【0040】次に、第2の画像合成部42は、合成され
た画像A(第1の連結車両201Aの周辺の画像)と画
像B(第2の連結車両201Bの周辺の画像)とを、検
出された「連結手段における連結角度」に基づいて、車
両201の周辺の全体画像として再合成する(S7)。
この再合成された全体画像が図7に示す画像である。図
7に示したように、画像Aと画像Bとは、車両201を
基準として位置が合わせられるとともに、第1の連結車
両201Aと第2の連結車両201Bとの連結角度に応
じて回転させられており、連結手段近傍における歪みが
生じることなく、実際の車両201(図5参照)を正確
に表示している。再合成された全体画像は表示手段5の
ディスプレイ5に出力される(S8)。
【0041】以上のとおり、本実施形態によれば、複数
の連結車両を含む車両201において、車両201周辺
の画像について、歪みのない正確な画像を表示する車両
用画像表示装置100を提供することができる。
【0042】続いて、検出手段3に関する2つの例につ
いて、第1の例を図9及び図10を参照し、第2の例を
図11を参照しつつ説明する。これらの検出手段3は、
いずれも「連結された第1の連結車両及び第2の連結車
両の姿勢」としての「連結手段における連結角度」を検
出する。
【0043】(第1の例)図9に示したように、第1の
連結車両201Aにカメラ17を設け、他方、第2の連
結車両201Bに、カメラ17により撮像される位置に
矢印形状を含むマーク31を設けている。カメラ17と
マーク31とは連結手段を介して配置されている。この
ため、連結角度の変化はマーク31の撮像データの変化
に対応し、カメラ17が所定時間ごとに継続的に撮像し
たマーク31の撮像データによれば、連結された第1の
連結車両201A及び第2の連結車両201Bの連結角
度を検出することができる。マーク31の撮像データを
図10に示した。 図10は、マーク31の撮像データ
において、マーク31に含まれる矢印がx軸に対して角
度αだけ回転したことを示している。このようにマーク
31の撮像データを処理することにより、マーク31の
回転、ひいては第1の連結車両201Aと第2の連結車
両201Bの連結手段における連結角度を算出すること
ができる。このようにマーク31とカメラ17とを設け
ることにより連結角度を容易に検出することができる。
【0044】(第2の例)図11に示したように、第1
の連結車両201Aと第2の連結車両201Bとには、
検出手段3として、連結された連結車両201A、20
1Bの連結角度を検出する角度検出器3が設けられてい
る。本例ではポテンショメーター32を利用している。
もちろんエンコーダを利用した検出手段3を設けてもよ
い。これにより、第1の連結車両201Aと第2の連結
車両201Bの連結角度を簡易かつ正確に検出すること
ができる。
【0045】なお、以上説明した実施形態は、本発明の
理解を容易にするために記載されたものであって、本発
明を限定するために記載されたものではない。したがっ
て、上記の実施形態に開示された各要素は、本発明の技
術的範囲に属する全ての設計変更や均等物をも含む趣旨
である。
【図面の簡単な説明】
【図1】本発明の車両用画像表示装置の実施形態を示す
ブロック図である。
【図2】本実施形態に係るカメラの配置を示す図であ
る。
【図3】本実施形態に係るカメラの撮像範囲を示す図で
ある。
【図4】本発明の車両用画像表示装置の実施形態の制御
手順を示すフローチャート図である。
【図5】本実施形態の動作状況を説明するための図であ
る。
【図6】図5で示す動作状況下での一のカメラの撮像し
た画像を示す図である。
【図7】図5で示す動作状況下での他のカメラの撮像し
た画像を示す図である。
【図8】図6及び図7で示した画像の合成を説明する図
である。
【図9】連結方向の検出手法の一例を説明するための図
である。
【図10】連結車両に設けられるマークの一例を説明す
る図である。
【図11】連結方向の検出手法の他の例を説明するため
の図である。
【符号の説明】
100…車両用画像表示装置 1…撮像手段 1A…第1の連結車両の周辺を撮像する第1撮像手段 1B…第2の連結車両の周辺を撮像する第2撮像手段 11〜16、17…カメラ 2…撮像情報取得手段、RAM 3…検出手段、角度検出器 31…マーク 32…ポテンショメーター 4…画像合成手段 41…第1画像合成部 411…第1の連結車両の周辺画像の合成機能 412…第2の連結車両の周辺画像の合成機能 42…第2画像合成部 5…表示手段、ディスプレイ 200…車両 201A…第1の連結車両 201B…第2の連結車両 401…白線 a…撮像エリア
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09G 5/00 G09G 5/00 510M 5/36 510 5/36 510C 5/377 520L Fターム(参考) 5B057 AA16 CA12 CA16 CB12 CB16 CD03 CE08 DC08 5C054 AA01 EA01 EA03 EA05 FE12 HA30 5C082 AA12 AA27 BA20 BA29 BA41 CA55 CB03 DA51 MM10

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】連結手段により屈曲自在に連結された第1
    の連結車両と第2の連結車両とを少なくとも含む車両に
    設けられ、前記第1の連結車両の周辺及び第2の連結車
    両の周辺をそれぞれ撮像する複数の撮像手段と、 前記各撮像手段により撮像された前記第1の連結車両周
    辺の撮像データ及び前記第2の連結車両周辺の撮像デー
    タを、前記連結された第1の連結車両及び第2の連結車
    両の姿勢に応じて、前記車両周辺の全体画像に合成して
    表示手段へ出力する画像合成手段とを有する車両用画像
    表示装置。
  2. 【請求項2】前記撮像手段が撮像する際の撮像条件情報
    を取得する撮像条件情報取得手段と、 前記連結された第1の連結車両及び第2の連結車両の姿
    勢を検出する検出手段とをさらに備え、 前記画像合成手段は、前記撮像手段により撮像された前
    記第1の連結車両周辺の撮像データ及び前記第2の連結
    車両周辺の撮像データを、前記撮像条件情報取得手段に
    より取得された撮像条件情報に基づいて、前記第1の連
    結車両周辺の画像及び前記第2の連結車両周辺の画像に
    それぞれ合成する第1画像合成部と、 前記第1画像合成部により合成された前記第1の連結車
    両周辺の画像及び前記第2の連結車両周辺の画像と、前
    記検出手段により検出された第1の連結車両及び第2の
    連結車両の姿勢とから、前記車両周辺の全体画像を再合
    成する第2画像合成部とを有する請求項1記載の車両用
    画像表示装置。
  3. 【請求項3】前記撮像手段が撮像する際の撮像条件情報
    を取得する撮像条件情報取得手段と、 前記第1の連結車両の前記車両に対する姿勢と前記第2
    の連結車両の前記車両に対する姿勢とを検出する検出手
    段とを、さらに備え、 前記画像合成手段は、 前記撮像手段により撮像された前記第1の連結車両周辺
    の撮像データを、前記撮像条件情報取得手段により取得
    された撮像条件情報と前記検出手段により検出された前
    記第1の連結車両の前記車両に対する姿勢とに基づい
    て、前記第1の連結車両周辺の画像に合成し、 前記撮像手段により撮像された前記第2の連結車両周辺
    の撮像データを、前記撮像条件情報取得手段により取得
    された撮像条件情報と前記検出手段により検出された前
    記第2の連結車両の前記車両に対する姿勢とに基づい
    て、前記第2の連結車両周辺の画像に合成する請求項1
    記載の車両用画像表示装置。
  4. 【請求項4】前記第1の連結車両又は前記第2の連結車
    両のいずれか一方に前記撮像手段を設け、 前記第1の連結車両又は前記第2の連結車両のいずれか
    他方の、前記撮像手段により撮像される位置にマークを
    設け、 前記検出手段は、前記撮像手段により撮像された前記マ
    ークの撮像データから前記連結された第1の連結車両及
    び第2の連結車両の連結角度を検出する請求項2記載の
    車両用画像表示装置。
  5. 【請求項5】前記検出手段は、前記連結された連結車両
    の連結角度を検出する角度検出器である請求項2記載の
    車両用画像表示装置。
  6. 【請求項6】車両に搭載されたコンピュータに、 連結手段により屈曲自在に連結された前記第1の連結車
    両の周辺及び第2の連結車両の周辺をそれぞれ撮像させ
    るステップと、 前記撮像させた前記第1の連結車両の周辺の撮像データ
    及び第2の連結車両の周辺の撮像データを、前記連結さ
    れた第1の連結車両及び第2の連結車両の姿勢に応じ
    て、前記第1の連結車両と前記第2の連結車両とを含む
    車両周辺の全体画像に合成させるステップとを実行させ
    るためのプログラム。
  7. 【請求項7】前記車両周辺の全体画像を合成させるステ
    ップは、 予め記憶された撮像に関する撮像条件情報を読み出すス
    テップと、 前記撮像させた前記第1の連結車両の周辺の撮像データ
    及び第2の連結車両の周辺の撮像データを、前記読み出
    された撮像条件情報に基づいて、前記第1の連結車両の
    周辺の画像及び前記第2の連結車両の周辺の画像にそれ
    ぞれ合成させるステップと、 前記連結された第1の連結車両及び第2の連結車両の姿
    勢を検出させるステップと、 前記合成させた前記第1の連結車両周辺の画像及び前記
    第2の連結車両周辺の画像を、前記検出させた第1の連
    結車両及び第2の連結車両の姿勢に応じて、前記車両の
    周辺の全体画像に再合成させるステップとを含む請求項
    6に記載のプログラム。
  8. 【請求項8】前記車両周辺の全体画像を合成させるステ
    ップは、 予め記憶された撮像に関する撮像条件情報を読み出すス
    テップと、 前記第1の連結車両の前記車両に対する姿勢と、前記第
    2の連結車両の前記車両に対する姿勢とを検出するステ
    ップと、 前記撮像させた前記第1の連結車両周辺の撮像データ
    を、前記取得させた撮像条件情報と前記検出させた前記
    第1の連結車両の前記車両に対する姿勢とに基づいて、
    前記第1の連結車両周辺の画像に合成させるステップ
    と、 前記撮像させた前記第2の連結車両周辺の撮像データ
    を、前記取得させた撮像条件情報と前記検出させた前記
    第2の連結車両の前記車両に対する姿勢とに基づいて、
    前記第2の連結車両周辺の画像に合成させるステップと
    を含む請求項6記載のプログラム。
  9. 【請求項9】前記連結された第1の連結車両及び第2の
    連結車両の姿勢を検出させるステップは、 前記第1の連結車両又は第2の連結車両のいずれか一方
    に設けられたマークを、前記第1の連結車両又は第2の
    連結車両のいずれか他方に設けられた撮像手段により撮
    像させて前記マークに関する撮像データを取得させ、 当該取得させたマークに関する撮像データから、前記第
    1の連結車両と前記第2の連結車両との連結角度を検出
    させる請求項7記載のプログラム。
  10. 【請求項10】前記連結された第1の連結車両及び第2
    の連結車両の姿勢を検出させるステップは、 前記車両に搭載された角度検出器に、 前記連結された第1の連結車両と第2の連結車両との連
    結角度を検出させるステップである請求項7記載のプロ
    グラム。
JP2002030837A 2002-02-07 2002-02-07 車両用画像表示装置 Pending JP2003235036A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002030837A JP2003235036A (ja) 2002-02-07 2002-02-07 車両用画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002030837A JP2003235036A (ja) 2002-02-07 2002-02-07 車両用画像表示装置

Publications (1)

Publication Number Publication Date
JP2003235036A true JP2003235036A (ja) 2003-08-22

Family

ID=27774431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002030837A Pending JP2003235036A (ja) 2002-02-07 2002-02-07 車両用画像表示装置

Country Status (1)

Country Link
JP (1) JP2003235036A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008028303A1 (de) 2007-06-15 2009-01-08 Denso Corp., Kariya-shi Anzeigesystem und Programm
US7974444B2 (en) 2006-08-21 2011-07-05 Sanyo Electric Co., Ltd. Image processor and vehicle surrounding visual field support device
WO2012157379A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置
JP2015154406A (ja) * 2014-02-18 2015-08-24 クラリオン株式会社 牽引車用周囲監視装置
KR20160034304A (ko) * 2013-07-23 2016-03-29 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드 차량 주변의 측방 및/또는 후방 구역을 재생하기 위한 방법 및 장치
US20160366336A1 (en) * 2015-06-15 2016-12-15 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
WO2017020898A1 (de) * 2015-07-31 2017-02-09 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
GB2541906A (en) * 2015-09-02 2017-03-08 Jaguar Land Rover Ltd Display system and method
WO2017131243A1 (ja) * 2017-02-09 2017-08-03 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
DE102018131220A1 (de) * 2018-12-06 2020-06-10 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
US10721442B2 (en) 2016-01-13 2020-07-21 Socionext Inc. Surround view monitor apparatus
JP2020150306A (ja) * 2019-03-11 2020-09-17 いすゞ自動車株式会社 表示制御装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7974444B2 (en) 2006-08-21 2011-07-05 Sanyo Electric Co., Ltd. Image processor and vehicle surrounding visual field support device
DE102008028303A1 (de) 2007-06-15 2009-01-08 Denso Corp., Kariya-shi Anzeigesystem und Programm
US7898434B2 (en) 2007-06-15 2011-03-01 Denso Corporation Display system and program
WO2012157379A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置
CN103547747A (zh) * 2011-05-13 2014-01-29 日立建机株式会社 作业机械的周围监视装置
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
JP5779244B2 (ja) * 2011-05-13 2015-09-16 日立建機株式会社 作業機械の周囲監視装置
KR20160034304A (ko) * 2013-07-23 2016-03-29 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드 차량 주변의 측방 및/또는 후방 구역을 재생하기 위한 방법 및 장치
JP2016530150A (ja) * 2013-07-23 2016-09-29 アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド 車両の側方及び/或いは後方の周辺領域を再生するための方法並びに装置
KR102193269B1 (ko) * 2013-07-23 2020-12-22 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드 차량 주변의 측방 및/또는 후방 구역을 재생하기 위한 방법 및 장치
US10000155B2 (en) 2013-07-23 2018-06-19 Application Solutions (Electronics and Vision) Ltd. Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
JP2015154406A (ja) * 2014-02-18 2015-08-24 クラリオン株式会社 牽引車用周囲監視装置
US9860445B2 (en) 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
CN108040508A (zh) * 2015-06-15 2018-05-15 奔德士商用车***有限责任公司 双节点合成图像***架构
CN108040508B (zh) * 2015-06-15 2021-01-22 奔德士商用车***有限责任公司 双节点合成图像***架构
WO2016205080A1 (en) * 2015-06-15 2016-12-22 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
US20160366336A1 (en) * 2015-06-15 2016-12-15 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
JP7245295B2 (ja) 2015-07-31 2023-03-23 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2021170826A (ja) * 2015-07-31 2021-10-28 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
WO2017020898A1 (de) * 2015-07-31 2017-02-09 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
JP2018531530A (ja) * 2015-07-31 2018-10-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US10434945B2 (en) 2015-07-31 2019-10-08 Conti Temic Microelectronic Gmbh Method and device for displaying an image of the surroundings of a vehicle combination
GB2541906A (en) * 2015-09-02 2017-03-08 Jaguar Land Rover Ltd Display system and method
US10721442B2 (en) 2016-01-13 2020-07-21 Socionext Inc. Surround view monitor apparatus
US10496892B2 (en) 2016-11-02 2019-12-03 Lg Electronics Inc. Apparatus for providing around view image, and vehicle
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
US10421400B2 (en) 2017-02-09 2019-09-24 Komatsu Ltd. Surroundings monitoring system for work vehicle, work vehicle, and surroundings monitoring method for work vehicle
JP6251453B1 (ja) * 2017-02-09 2017-12-20 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
WO2017131243A1 (ja) * 2017-02-09 2017-08-03 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
DE102018131220A1 (de) * 2018-12-06 2020-06-10 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
JP2020150306A (ja) * 2019-03-11 2020-09-17 いすゞ自動車株式会社 表示制御装置
JP7172757B2 (ja) 2019-03-11 2022-11-16 いすゞ自動車株式会社 表示制御装置

Similar Documents

Publication Publication Date Title
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
US10434945B2 (en) Method and device for displaying an image of the surroundings of a vehicle combination
JP4690476B2 (ja) 車載カメラの校正装置
JP4751939B2 (ja) 車載カメラの校正装置
US7974444B2 (en) Image processor and vehicle surrounding visual field support device
JP2003235036A (ja) 車両用画像表示装置
US20100171828A1 (en) Driving Assistance System And Connected Vehicles
US20070041659A1 (en) Surroundings monitoring apparatus and surroundings monitoring method
WO2010113673A1 (ja) 車載カメラの校正装置、方法、及びプログラム
JP5081313B2 (ja) 車載カメラの校正装置
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
JP2018531530A5 (ja)
US20080055407A1 (en) Apparatus And Method For Displaying An Image Of Vehicle Surroundings
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
US9682655B2 (en) Method and device for operating a vehicle
JP4023311B2 (ja) 車両周辺監視装置
CN109345591A (zh) 一种车辆自身姿态检测方法和装置
CN111052179B (zh) 车辆用装置、校准结果判定***、校准结果判定方法以及存储有程序的计算机可读存储介质
JP3961969B2 (ja) 車両周辺画像処理システム
JP2005311698A (ja) 車両周辺視認装置
JP2007329611A (ja) 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法
JP2017078692A (ja) 運転支援情報出力装置および運転支援情報出力方法
KR20130053605A (ko) 차량의 주변영상 표시 장치 및 그 방법
GB2469438A (en) Displaying movement of an object
JP7172757B2 (ja) 表示制御装置