JP2003091720A

JP2003091720A - 視点変換装置および視点変換プログラムならびに車両用画像処理装置

Info

Publication number: JP2003091720A
Application number: JP2002080045A
Authority: JP
Inventors: Ken Oizumi; 大泉　　謙
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-07-12
Filing date: 2002-03-22
Publication date: 2003-03-28
Anticipated expiration: 2022-03-22
Also published as: JP3960092B2; US20030011597A1

Abstract

(57)【要約】【課題】歪みの少ない視点変換画像を得ることができる
ようにし、しかも容易に視点変換する。【解決手段】画像を出力する実カメラ１１と、実カメラ
１１で撮影された撮影画像について実カメラ１１の内部
への出射角を実カメラ１１の外部からの入射角未満とし
て画像変換する画像変換手段１２と、画像変換手段１２
で画像変換された画像変換画像を視点変換する視点変換
手段１３と、視点変換手段１３で視点変換された視点変
換画像を表示する表示手段１４とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実カメラの画像を
仮想カメラの画像へと視点変換する視点変換装置および
視点変換プログラム、ならびにこれらを用いた車両用画
像処理装置に関する。

【０００２】

【従来の技術】従来の視点変換装置においては、カメラ
のシミュレーションにはピンホールカメラモデルが用い
られることが多かった。このピンホールカメラモデルに
おいては、図１１に示すように、カメラ本体１内に入る
光は必ず代表点２（レンズの焦点位置やレンズの中心点
を用いることが多い）を通り、直進してカメラ本体１内
に設けられた撮像面３に入る。そして、代表点２を通る
光は直進するから、カメラ本体１の外部からの光線の入
射角とカメラ本体１の内部への光線の出射角とは等し
い。したがって、カメラの撮影範囲は最大入射角θ
_Ｉｍａｘの大きさと撮像面３の位置および大きさとで決
定され、最大出射角θ_Ｏｍａｘの大きさは最大入射角θ
_Ｉｍａｘの大きさと等しい。

【０００３】しかし、カメラのシミュレーションにピン
ホールカメラモデルを用いたときには、出射角の変化に
対する撮像面３上の位置の変化は、撮像面３の中心部よ
りも輪郭部の方が大きくなるから、輪郭部付近の画像
や、画角の大きなカメラで撮影した画像に歪みが生ず
る。

【０００４】このような画像の歪みを補正する技術とし
て特開平５−２７４４２６号公報に記載された技術があ
る。この従来技術では、予め決められたパターンを撮影
し、パターンを撮影したパターン画像と上記パターンと
を比較してパターン画像の歪みを求め、パターン画像の
歪みを元に撮影画像（画像データ）の歪みを補正するた
めの補正関数を算出して、撮影画像の歪みを取り除いて
いる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来技術を視点変換装置に適用したときには、補正関数を
算出するためにパターン画像を撮影する必要があり、レ
ンズ特性や撮影位置が異なるたびにパターン画像を撮影
しなければならないから、面倒である。

【０００６】本発明は上述の課題を解決するためになさ
れたもので、歪みの少ない視点変換画像を得ることがで
き、しかも容易に視点変換することができる視点変換装
置および視点変換プログラム、ならびにこれらを用いた
車両用画像処理装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】この目的を達成するた
め、本発明においては特許請求の範囲に記載するような
構成をとる。

【０００８】すなわち、請求項１記載の発明において
は、視点変換装置において、画像を出力する撮影手段
と、上記撮影手段で撮影された撮影画像について上記撮
影手段の内部への出射角を上記撮影手段の外部からの入
射角未満として画像変換する画像変換手段と、上記画像
変換手段で変換された画像変換画像を視点変換する視点
変換手段と、上記視点変換手段で視点変換された視点変
換画像を表示する表示手段とを具備するようにする。

【０００９】また、請求項２記載の発明においては、請
求項１記載の視点変換装置において、上記画像変換手段
は、上記出射角を上記入射角未満とし、かつ上記出射角
と上記入射角とが比例する関数で画像変換するようにす
る。

【００１０】また、請求項３記載の発明においては、請
求項１記載の視点変換装置において、上記画像変換手段
は、上記出射角を上記入射角未満とし、かつ上記撮影手
段のレンズ特性を示す関数で画像変換するようにする。

【００１１】また、請求項４記載の発明においては、請
求項１、２または３記載の視点変換装置において、上記
視点変換手段は、上記視点変換画像の各画素の色および
輝度を、上記視点変換画像の各画素に対応する上記画像
変換画像の各画素の中心点に位置する色および輝度とす
るようにする。

【００１２】また、請求項５記載の発明においては、視
点変換プログラムにおいて、コンピュータを、画像を出
力する撮影手段で撮影された撮影画像について上記撮影
手段の内部への出射角を上記撮影手段の外部からの入射
角未満として画像変換する画像変換手段、および上記画
像変換手段で画像変換された画像変換画像を視点変換す
る視点変換手段として機能させるようにする。

【００１３】また、請求項６記載の発明においては、車
両用画像処理装置において、平面画像作成手段と、画像
を複数に分割する画像分割手段と、画像の圧縮を行なう
画像圧縮手段と、画像を表示する画像表示手段とを有す
るようにする。

【００１４】また、請求項７記載の発明においては、請
求項６記載の車両用画像処理装置において、上記平面画
像作成手段が、請求項１乃至４のいずれか記載の視点変
換装置を用いて構成されるようにする。

【００１５】また、請求項８記載の発明においては、請
求項６または７記載の車両用画像処理装置において、上
記分割・圧縮のオン／オフ、上記分割の方法、上記圧縮
の方法の少なくとも一つを選択する手段を有するように
する。

【００１６】また、請求項９記載の発明においては、請
求項６乃至８のいずれか記載の車両用画像処理装置にお
いて、上記車両から一定距離以上離れた範囲について画
像の圧縮を行なうようにする。

【００１７】また、請求項１０記載の発明においては、
請求項６乃至９のいずれか記載の車両用画像処理装置に
おいて、上記車両の近傍では変形が少なく、上記車両か
ら離れるに従って変形が大きくなるような関数に従い、
上記圧縮を行なうようにする。

【００１８】また、請求項１１記載の発明においては、
請求項６乃至１０のいずれか記載の車両用画像処理装置
において、上記分割・圧縮を、上記車両に対して横方向
にのみ行なうようにする。

【００１９】また、請求項１２記載の発明においては、
請求項６乃至１０のいずれか記載の車両用画像処理装置
において、上記分割・圧縮を、上記車両に対して縦方向
にのみ行なうようにする。

【００２０】また、請求項１３記載の発明においては、
請求項６乃至１０のいずれか記載の車両用画像処理装置
において、上記分割・圧縮を、上記車両に対して横方向
および縦方向に行なうようにする。

【００２１】また、請求項１４記載の発明においては、
請求項６乃至１２のいずれか記載の車両用画像処理装置
において、高さのある物体の検出を行なうセンサを有
し、上記物体が検出された方向にのみ、上記分割・圧縮
を行なうようにする。

【００２２】

【発明の効果】請求項１記載の発明によれば、歪みの少
ない視点変換画像を得ることができ、しかも容易に視点
変換することができる視点変換装置を提供することがで
きる。

【００２３】また、請求項２記載の発明によれば、画像
変換された画像変換画像の中心部と輪郭部では同倍率と
なり、歪みの少ない視点変換画像を得ることができる視
点変換装置を提供することができる。

【００２４】また、請求項３記載の発明によれば、レン
ズによる歪みの少ない視点変換画像を得ることができる
視点変換装置を提供することができる。

【００２５】また、請求項４記載の発明によれば、色お
よび輝度の平均値などの計算を行なう必要がないから、
視点変換時の計算量を少なくすることができる視点変換
装置を提供することができる。

【００２６】また、請求項５記載の発明によれば、歪み
の少ない視点変換画像を得ることができ、容易に視点変
換することができる視点変換プログラムを提供すること
ができる。

【００２７】また、請求項６記載の発明によれば、平面
画像作成手段で作成された画像の一部の圧縮を行なうこ
とにより、カメラから離れたものや、高さのあるもの表
示の歪みを軽減し、表示の違和感、距離感の喪失という
問題を軽減し、その結果、より自然な画像を運転者に提
示することができる車両用画像処理装置を提供すること
ができる。

【００２８】また、請求項７記載の発明によれば、歪み
の少ない視点変換画像を得ることができ、しかも容易に
視点変換することができる視点変換装置で構成された車
両用画像処理装置を提供することができる。

【００２９】また、請求項８記載の発明によれば、分割
・圧縮のオン／オフ、分割の方法、上記圧縮の方法を選
択することができる車両用画像処理装置を提供すること
ができる。

【００３０】また、請求項９記載の発明によれば、車両
から一定距離以上離れた範囲について画像の圧縮を行な
うことにより、カメラから離れたものや、高さのあるも
の表示の歪みを軽減し、表示の違和感、距離感の喪失と
いう問題を軽減し、その結果、より自然な画像を運転者
に提示することができる車両用画像処理装置を提供する
ことができる。

【００３１】また、請求項１０記載の発明によれば、車
両の近傍では変形が少なく、上記車両から離れるに従っ
て変形が大きくなるような関数に従って、画像の圧縮を
行なうことにより、カメラから離れたものや、高さのあ
るもの表示の歪みを軽減し、表示の違和感、距離感の喪
失という問題を軽減し、その結果、より自然な画像を運
転者に提示することができる車両用画像処理装置を提供
することができる。

【００３２】また、請求項１１記載の発明によれば、車
両に対して横方向にのみ、分割・圧縮を行なうことによ
り、カメラから離れたものや、高さのあるもの表示の歪
みを軽減し、表示の違和感、距離感の喪失という問題を
軽減し、その結果、より自然な画像を運転者に提示する
ことができる車両用画像処理装置を提供することができ
る。

【００３３】また、請求項１２記載の発明によれば、車
両に対して縦方向にのみ、分割・圧縮を行なうことによ
り、カメラから離れたものや、高さのあるもの表示の歪
みを軽減し、表示の違和感、距離感の喪失という問題を
軽減し、その結果、より自然な画像を運転者に提示する
ことができる車両用画像処理装置を提供することができ
る。

【００３４】また、請求項１３記載の発明によれば、車
両に対して縦横両方向に、分割・圧縮を行なうことによ
り、カメラから離れたものや、高さのあるもの表示の歪
みを軽減し、表示の違和感、距離感の喪失という問題を
軽減し、その結果、より自然な画像を運転者に提示する
ことができる車両用画像処理装置を提供することができ
る。

【００３５】また、請求項１４記載の発明によれば、高
さのある物体の検出を行なうセンサを有し、上記物体が
検出された方向にのみ、平面画像作成手段で作成された
画像の一部の上記分割・圧縮を行なうことにより、カメ
ラから離れたものや、特に高さのあるもの表示の歪みを
軽減し、表示の違和感、距離感の喪失という問題を軽減
し、その結果、より自然な画像を運転者に提示すること
ができる。

【００３６】

【発明の実施の形態】図１は本発明に係る視点変換装置
を示すブロック図である。図に示すように、画像を出力
する実カメラ（撮影手段）１１と、実カメラ１１で撮影
された撮影画像について実カメラ１１の内部への出射角
を実カメラ１１の外部からの入射角未満として画像変換
する画像変換手段１２と、画像変換手段１２で画像変換
された画像変換画像を視点変換する視点変換手段１３
と、視点変換手段１３で視点変換された視点変換画像を
表示する表示手段１４とを有する。

【００３７】つぎに、図２、図３により図１に示した視
点変換装置の画像変換手段１２による画像変換について
説明する。図に示すように、実カメラモデル１１ａのカ
メラ本体２１外の光線２５（図３）は必ず代表点２２
（レンズの焦点位置や中心点を用いることが多い）を通
り、カメラ本体２１内の光線２６（図３）はカメラ本体
２１内に設けられた撮像面２３に入る。そして、実カメ
ラモデル１１ａ（実カメラ１１）の向きを示すカメラ光
軸２４に垂直に撮像面２３が設けられ、また撮像面２３
の中心をカメラ光軸２４が通るように、撮像面２３が配
置されている。もちろん、シミュレートする対象の実カ
メラ１１の特性によっては、撮像面２３の中心をカメラ
光軸２４が通らなくともよいし、撮像面２３とカメラ光
軸２４が垂直でなくともよい場合もある。また、代表点
２２と撮像面２３との距離は計算の都合上単位距離
（１）とするのがよい。また、ＣＣＤカメラなどをシミ
ュレートする場合には、撮像面２３はシミュレートする
対象の実カメラ１１の画素数を再現するように格子状に
分割される。最終的には、光線２６が撮像面２３のどの
位置（画素）に入射するかのシミュレーションを行なう
ことになるため、代表点２２と撮像面２３との距離およ
び撮像面２３の縦横の長さの比率だけが問題になり、実
距離は問題にならない。

【００３８】そして、画像変換手段１２は、実カメラ１
１で撮影された撮影画像について、実カメラモデル１１
ａ（図２）のカメラ本体２１の内部への出射角α_Ｏ、β
_Ｏ（出射角α_Ｏはカメラ光軸２４に対する光線２６の
角、出射角β_Ｏはカメラ光軸２４に直交する軸に対する
光線２６の角）を実カメラモデル１１ａのカメラ本体２
１の外部からの入射角α_Ｉ、β_Ｉ（入射角α_Ｉはカメラ
光軸２４に対する光線２５の角、入射角β_Ｉはカメラ光
軸２４に直交する軸に対する光線２５の角）未満として
画像変換する。

【００３９】すなわち、光線２５は必ず代表点２２を通
り光線２６となる。また、極座標系の考え方を用いる
と、光線２５は代表点２２を原点に入射角α_Ｉ、β_Ｉの
２つの角度で示すことができる。そして、光線２５は代
表点２２を通過する際に、次式によって定まる出射角α
_Ｏ、β_Ｏを有する光線２６となる。

【００４０】（α_Ｏ，β_Ｏ）＝ｆ(α_Ｉ，β_Ｉ) （１）このとき、α_Ｏ＜α_Ｉの関係式が常に成立するようにす
る。この場合、光線２５は代表点２２を通過する際に
(１)式によって方向が変えられ、光線２６は撮像面２３
と交点２７において交わる。例えば、ＣＣＤカメラをシ
ミュレートしている場合には、交点２７の座標（位置）
から撮像面２３上のどの画素に光線２６が入射するかを
求めることができる。

【００４１】なお、撮像面２３の設定によっては光線２
６と撮像面２３とが交わらない場合もあるが、この場合
には光線２５は実カメラモデル１１ａには映らないとい
うことになる。

【００４２】また、シミュレーションする対象の実カメ
ラ１１の最大画角をＭ（度）とした場合には、カメラ本
体２１内部に入射を許される光線２５はα_Ｉ＜(Ｍ／２)
を満たす必要がある。この条件を満たさない光線２５は
実カメラモデル１１ａに映らないということになる。こ
のときの出射角α_Ｏの最大値はｆ(Ｍ／２)で計算され
る。また、(１)式の関数ｆ(α_Ｉ，β_Ｉ)を決定した上
で、代表点２２と撮像面２３との距離（前述の通り単位
距離とするのがよい）と撮像面２３の縦横の長さとを決
定し、実カメラモデル１１ａの撮像範囲を規定する。な
お、図２に示すように、最大出射角θ_Ｏｍａｘの大きさ
は最大入射角θ_Ｉｍａｘの大きさよりも小さい。

【００４３】以上の手順により、代表点２２に入射した
光線２５が実カメラモデル１１ａの撮像面２３上のどの
画素（位置）に入射するかを計算することができ、実カ
メラ１１で撮影された撮影画像すなわち光線２５が代表
点２２を通って直進したときの撮影画像について画像変
換して、画像変換画像を得ることができる。したがっ
て、(１)式によって実カメラ１１に入射する光線の入射
角α_Ｉ、β_Ｉと画像変換画像の画素（位置）との関係を
求めることができる。

【００４４】また、(１)式とともに、次式を用いること
によって実カメラモデル１１ａの撮像面２３上の任意の
点に入射する光線２６が代表点２２に対してどの方向か
ら入射したかを計算することが可能になる。

【００４５】（α_Ｉ，β_Ｉ）＝ｆi(α_Ｏ，β_Ｏ) （２）また、最も簡単な(１)式の例は、次のような入射角
α_Ｉ、β_Ｉと出射角α_Ｏ、β_Ｏとが比例関係を持つ式で
ある。

【００４６】 α_Ｏ＝ｋα_Ｉ（３） β_Ｏ＝β_Ｉ（４）ここで、ｋは実カメラモデル１１ａのレンズ特性を決定
するパラメータであり、ｋ＜１である。仮にｋ＝１の場
合には、従来のピンホールカメラモデルと同じ動作とな
る。実際のレンズの歪曲収差特性はレンズの目的（設計
意図）によるが、通常の広角レンズはパラメータｋを、
１＜ｋ＜０の範囲で適当に設定することで近似すること
ができ、ピンホールカメラモデルを用いたカメラシミュ
レーションよりも正確なカメラシミュレーションが可能
となる。

【００４７】また、レンズシミュレーションをより精密
に行ないたい場合には、関数ｆ(α _Ｉ，β_Ｉ)を(３)式、
(４)式に示すような比例関係ではなく、実カメラ１１の
レンズ特性を実際に測定し、実カメラ１１のレンズ特性
を示す関数で画像変換する。この場合、もちろん出射角
α_Ｏを入射角α_Ｉ未満とする。

【００４８】以上の画像変換を行なったのちに、視点変
換を行なう。最も単純な視点変換は、空間上にカメラモ
デルと投影面を置き、カメラで撮影した映像を投影面に
対して投影することで実現される。

【００４９】つぎに、図４により図１に示した視点変換
装置の視点変換手段１３による視点変換について説明す
る。まず、実空間に合わせて仮想空間を設定し、仮想空
間上に位置および向きを合わせて実カメラ１１と仮想カ
メラ３２とを配置する。つぎに、投影面を設定する。図
４ではｘｙ平面を投影面に設定しているが、実空間の地
形や物体の存在に合わせて、投影面を複数設けてもよ
い。つぎに、仮想カメラ３２の画素の一つに注目し、注
目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは
面積を持っているので、画素Ｖの中心点の座標を画素Ｖ
の座標とする。仮想カメラ３２の位置および向きの情報
と合わせ、投影面と光線３５との交点３３を求める。つ
ぎに、交点３３から実カメラ１１への光線３４を考え
る。光線３４の実カメラ１１への入射が実カメラ１１の
撮影範囲内の場合には、光線３４が実カメラ１１のどの
画素に入射するかを計算する。この場合、図２、３で説
明した画像変換後の画像変換画像について光線３４が実
カメラ１１のどの画素に入射するかを計算する。この光
線３４が入射する画素を画素Ｒとすると、画素Ｖと画素
Ｒとが対応し、画素Ｖの色および輝度を画素Ｒの色およ
び輝度とする。

【００５０】なお、光線３４の実カメラ１１への入射が
実カメラ１１の撮影範囲外の場合や、光線３４が実カメ
ラ１１の撮像面に入射しない場合には、交点３３は実カ
メラ１１に映っていないので、仮想カメラ３２の画素Ｖ
には何も映っていないとする。この場合の画素Ｖの色は
システムのデフォルト値（黒など。もちろん黒以外でも
よい）を用いるものとする。

【００５１】また、画素Ｖを代表する座標は上記例では
１画素につき１点としたが、代表する代表座標を画素Ｖ
内に複数設けてもよい。この場合には、各代表座標それ
ぞれに対して光線３４が実カメラ１１のどの画素に入射
するかを計算し、得られた複数の色および輝度をブレン
ディングし、画素Ｖの色および輝度とする。この場合、
ブレンディングの比率は等しくする。また、色および輝
度のブレンディンクの手法としてはアルファブレンディ
ングなどの手法があり、コンピュータグラフィックの分
野では一般的な手法である。

【００５２】以上の処理を仮想カメラ３２の画素すべて
について行ない、仮想カメラ３２の各画素の色および輝
度を確定することで仮想カメラ３２の画像すなわち視点
変換画像を作成することができ、空間上の実カメラ１１
の画像すなわち画像変換画像を視点変換画像へと視点変
換することができる。

【００５３】この手法は撮影画像を投影面に対して単純
に投影する方法に比べ、仮想カメラ３２の特性や位置が
自由に設定でき、かつ仮想カメラ３２の特性や位置の変
化にも容易に対応できる。

【００５４】なお、仮想カメラ３２の各画素は基本的に
実カメラ１１の画素との対応になり、その対応は仮想カ
メラ３２および実カメラ１１の位置および向きおよび投
影面の設定が変わらない限り変わらないので、計算能力
に余裕のない処理装置を用いる場合には、対応関係を変
換テーブルとして保存し、実行時に参照してもよい。ま
た、仮想カメラ３２の画素数が増加するにつれ、変換テ
ーブルの容量も比例して増加するので、仮想カメラ３２
の画素数が多い場合には、大容量のメモリを持つ処理装
置（コンピュータ）を用いるよりも、視点変換の計算を
高速に行なうことができる処理装置を用いた方がコスト
的に有利になる。

【００５５】このような視点変換装置においては、出射
角α_Ｏの変化に対する撮像面２３上の位置の変化は、撮
像面２３の中心部と輪郭部とでほぼ同じであるから、輪
郭部付近の画像や、画角の大きなカメラで撮影した画像
についても、歪みの少ない視点変換画像を得ることがで
き、しかも補正関数を算出するためにパターン画像を撮
影する必要がないから、容易に視点変換することができ
る。また、出射角α_Ｏと入射角α_Ｉとが比例する関数で
画像変換したときには、画像変換された画像変換画像の
中心部と輪郭部では同倍率となるから、歪みの少ない視
点変換画像を得ることができる。また、実カメラ１１の
レンズ特性を示す関数で画像変換したときには、実カメ
ラ１１のレンズ（収差）による歪みの少ない視点変換画
像を得ることができる。また、視点変換手段１３は視点
変換画像の各画素の色および輝度を画像変換画像の各画
素の中心点に位置する色および輝度としているから、色
および輝度の平均値などの計算を行なう必要がないの
で、視点変換時の計算量を少なくすることができる。

【００５６】また、本発明に係る視点変換プログラムに
おいては、コンピュータを、画像を出力する実カメラ
（撮影手段）１１で撮影された撮影画像について(１)式
（α_Ｏ＜α_Ｉ）により画像変換する画像変換手段、およ
びこの画像変換手段で画像変換された画像変換画像を視
点変換する視点変換手段として機能させる。ここで、画
像変換手段は図２、図３によって説明したように画像変
換する。また、視点変換手段は図４によって説明したよ
うに視点変換する。そして、コンピュータに視点変換プ
ログラムを実行させて得られた視点変換画像を表示手段
に表示する。

【００５７】このような視点変換プログラムをコンピュ
ータで実行したときには、輪郭部付近の画像や、画角の
大きなカメラで撮影した画像についても、歪みの少ない
視点変換画像を得ることができ、しかも容易に視点変換
することができる。

【００５８】《車両用画像処理装置》次に、例えば自動
車等の車両に設置した複数個のカメラで撮影した映像
を、上記のようにして変換し、合成して車両上空からの
画像（平面図）を作成し、車両の運転者に提示する車両
用画像処理装置について述べる。このような車両用画像
処理装置においては、その原理上、変換の基準面（地
面）にあるもの（例えば路面のペイント等の高さのない
物体など）は正しく変換されるが、高さのあるものは歪
んで表示される。また、カメラから離れたものほど、歪
みは大きくなり、表示器の表示に違和感を与えたり、距
離感を喪失したりする問題点があった。以下、表示器の
表示画面の一部に対し、画像処理を行ない、上記表示上
の違和感、距離感の喪失といった問題を軽減でき、その
結果、より自然な画像が得られる車両用画像処理装置に
ついて説明する。

【００５９】図５は本発明に係る車両用画像処理装置の
構成を示すブロック図である。１０１はプランビュー画
像（平面画像）作成装置、１０２はプランビュー画像作
成装置１０１により作成された画像を複数に分割する画
像分割装置、１０３は画像分割装置１０２により分割さ
れた領域の画像の圧縮を行なう画像圧縮装置、１０４は
画像を表示する（運転者に提示する）画像表示装置、１
０５は画像分割装置１０２、画像圧縮装置１０３の圧縮
モード（分割、圧縮の方式、方法）選択装置である。

【００６０】まず、車両に取り付けられたカメラ（図示
省略）で取得した映像を用いて、プランビュー作成装置
１０１により、車両上空からのプランビュー画像を作成
する。このプランビュー作成装置１０１は、具体的に
は、前述の図１〜図４を用いて説明した視点変換装置を
使用して作成した。なお、視点変換した画像の合成手段
については、図１において図示省略したが、視点変換手
段１３と表示手段１４との間に合成手段を設ければよ
い。

【００６１】すなわち、まず、プランビュー作成装置１
０１において作成した画像を、例えば車両からの距離に
よって、画像分割装置１０２により複数に分割する。図
６〜８は画像の分割の例を示す図である。図中、２００
は車両である。ここでは、ワゴン車の例を示し、車両２
００の上部が車両前部である。図６は、車両２００の横
方向について、車両２００から一定距離以内の範囲を
Ａ、それ以上の範囲をＢ１、Ｂ２として分割した例を示
す。図７は、車両２００の縦方向について、車両２００
から一定距離以内の範囲をＣ、それ以上の範囲をＤ１、
Ｄ２として分割した例を示す。図８は、車両２００の横
方向および縦方向について、車両２００から一定距離以
内の範囲をＥ、それ以上の範囲をＦ１、Ｆ２、Ｇ１、Ｇ
２、Ｈ１〜Ｈ４として分割した例を示す。なお、図８に
おいて、画像を分割する際、基準となる車両２００から
の距離は、縦方向と横方向とで異なっていてもよい。

【００６２】図６〜８において、車両２００から一定距
離以内の範囲Ａ（図６）、Ｃ（図７）、Ｅ（図８）につ
いては、表示の圧縮を行なわない範囲とし、それ以外の
範囲については、表示の圧縮を行なう範囲とする。な
お、車両２００からの一定距離、つまり、表示の圧縮を
行なわない範囲Ａ、Ｃ、Ｅの大きさは、０であってもよ
い。すなわち、少なくとも車両２００を含む範囲を除い
て圧縮する。

【００６３】以下、各例について具体的に説明する。す
なわち、図６は横方向にのみ、画像の圧縮を行なう場合
を示す。図６の場合、範囲Ａについては、プランビュー
画像作成装置１０１で作成した画像をそのまま表示す
る。範囲Ｂ１、Ｂ２においては、画像圧縮装置１０３に
より、横方向に圧縮し、画像表示装置１０４により表示
する。このとき、圧縮の方法に関しては、単純に横方向
の範囲（幅）を１／ｎに圧縮してもよいし、車両２００
から離れるに従って、圧縮の度合いが大きくなるような
方式に従って圧縮してもよい。

【００６４】図７は縦方向にのみ、画像の圧縮を行なう
場合を示す。図７の場合、範囲Ｃについては、プランビ
ュー画像作成装置１０１で作成した画像をそのまま表示
する。範囲Ｄ１、Ｄ２においては、縦方向に圧縮して表
示する。このとき、圧縮の方法に関しては、単純に縦方
向の範囲を１／ｎに圧縮してもよいし、車両２００から
離れるに従って、圧縮の度合いが大きくなるような方式
に従って圧縮してもよい。

【００６５】図８は縦横両方向に、画像の圧縮を行なう
場合を示す。図８の場合、範囲Ｅについては、プランビ
ュー画像作成装置１０１で作成した画像をそのまま表示
する。範囲Ｆ１、Ｆ２においては、縦方向に圧縮して表
示する。このとき、圧縮の方法に関しては、単純に縦方
向の範囲を１／ｎに圧縮してもよいし、車両２００から
離れるに従って、圧縮の度合いが大きくなるような方式
に従って圧縮してもよい。範囲Ｇ１、Ｇ２においては、
横方向に圧縮して表示する。このとき、圧縮の方法に関
しては、単純に横方向の範囲を１／ｎに圧縮してもよい
し、車両２００から離れるに従って、圧縮の度合いが大
きくなるような方式に従って圧縮してもよい。範囲Ｈ
１、Ｈ２、Ｈ３、Ｈ４においては、横方向と縦方向に圧
縮して表示する。このとき、圧縮方法に関しては、単純
に縦方向に１／ｎ、横方向に１／ｍに圧縮してもよい
し、車両２００から離れるに従って、圧縮の度合いが大
きくなるような方式に従って圧縮してもよい。

【００６６】画像の分割と圧縮については、運転者がそ
れぞれのモードを自由に選べるものとする。運転者は、
圧縮モード選択装置１０２で、分割・圧縮モードを複数
の中から選択できる。例えば、図６で示したように、横
方向にだけ分割・圧縮を行なうモードと、図７で示した
ように、縦方向にだけ分割・圧縮を行なうモードと、図
８で示したように、縦横両方向について分割・圧縮を行
なうモードと、画像の圧縮をしないモード（すなわち、
従来の表示方法）を切り替えたり、画像の圧縮するため
の式を複数の式の中から切り替えたりすることができ
る。また、分割を行なう境界線の位置についても、運転
者がメニューから選択することができる。圧縮モード選
択装置１０２は、通常のスイッチでもよいし、タッチパ
ネルでもよいし、ジョイスティックとボタンで決定する
方式でもよい。

【００６７】以上のように作成された画像は、その画像
の一部を圧縮するため、画像の寸法が元画像よりも小さ
くなる。したがって、画像表示装置１０４に表示する際
に問題になることが考えられるが、プランビュー画像作
成手段１０１で画像を作成する際に、圧縮することを勘
案し、大きめに画像を作成し、なるべく表示画面いっぱ
いに表示することにより問題を解消することができる。
また、画像の圧縮については、毎回同じ計算をすること
になるので、一度だけ計算を行ない、２回目からは計算
結果を格納したテーブルを参照することで計算を省略し
てもよい。上記により作成された提示画像は、画像表示
装置１０４を介して運転者に提示される。本構成におい
ては、プランビュー画像作成装置１０１で作成された画
像の一部を上記のように圧縮することにより、カメラか
ら離れたものや、高さのあるものの表示の歪みを軽減
し、表示の違和感、距離感の喪失という問題を軽減し、
その結果、より自然な画像を運転者に提示することがで
きる。

【００６８】なお、図５〜図８に示した車両用画像処理
装置は、特許請求の範囲の請求項６に対応する。すなわ
ち、平面画像作成手段（プランビュー画像作成装置１０
１）と、画像を複数に分割する画像分割手段（画像分割
装置１０２）と、画像の圧縮を行なう画像圧縮手段（画
像圧縮装置１０３）と、画像を表示する画像表示手段
（画像表示装置１０４）とを有する。

【００６９】また、請求項７にも対応し、上記平面画像
作成手段が、図１〜図４に示した視点変換装置を用いて
構成される。

【００７０】また、請求項８にも対応し、上記分割・圧
縮のオン／オフ、上記分割の方法、上記圧縮の方法の少
なくとも一つを選択する手段（圧縮モード選択装置１０
５）を有する。

【００７１】また、請求項９にも対応し、上記車両（２
００）から一定距離以上離れた範囲について画像の圧縮
を行なう。

【００７２】また、請求項１０にも対応し、上記車両の
近傍では変形が少なく、上記車両から離れるに従って変
形が大きくなるような関数に従い、上記圧縮を行なうよ
うにしてもよい。

【００７３】また、請求項１１にも対応し、上記分割・
圧縮を、上記車両に対して横方向にのみ行なう（図６の
場合）。

【００７４】また、請求項１２にも対応し、上記分割・
圧縮を、上記車両に対して縦方向にのみ行なう（図７の
場合）。

【００７５】また、請求項１３にも対応し、上記分割・
圧縮を、上記車両に対して横方向および縦方向に行なう
（図８の場合）。

【００７６】次に、図５〜８に示した車両用画像処理装
置の別の構成例について説明する。図９はこの車両用画
像処理装置の構成を示すブロック図である。１０６は距
離測定装置である。

【００７７】プランビュー作成装置１０１において作成
された画像における、分割方法と圧縮方法は、図５の装
置と同様に、運転者がメニューより選択、決定する。

【００７８】距離測定装置１０６は、車両の周辺の高さ
のある物体の検出と、その物体までの距離の測定を行な
う。この距離測定装置１０６は、例えばレーダや、ステ
レオカメラなどの手段を用いて実現する。例えば、現
在、画像の分割モードが図６に示したような横方向の分
割が選択されており、距離測定装置１０６により車両の
左後方に、高さのある物体を検出したとする。そして、
車両の右側には、何も検出されていないものとする。こ
のとき、画像分割手段１０２により、図１０に示すよう
に、表示を圧縮しない範囲Ａ’と、表示を圧縮する範囲
Ｂ’とに分割される。図１０中の分割線３０１は、距離
測定装置１０６で検出した物体３０２との距離を基準と
して設定される。車両２００の右側には、高さのある物
体が検出されないため、表示を圧縮する範囲は設定され
ない。仮に、左右両方に物体が検出された場合は、車両
２００の右側についても、同じように分割線を設定し、
表示を圧縮する範囲を作成する。画像の圧縮方法につい
ては、図５の装置と同様である。

【００７９】上記で説明したのは図６（横方向のみ分割
・圧縮）の場合であったが、画像の分割・圧縮モード
が、図７（縦方向のみ）、図８（縦横両方向）の場合で
あっても、検出された物体を基準として、上記と同様に
分割を行ない、画像圧縮装置１０４によって表示の圧縮
処理を行なう。

【００８０】上記図５の車両用画像処理装置と、この図
９の車両用画像処理装置との差異は、上記図５の装置に
おいては、運転者が設定した各種設定により、必ず領域
の分割・圧縮が行なわれるのに対し、この図９の装置で
は、距離測定装置１０６により物体を検出した場合だ
け、領域の分割・圧縮を行ない、物体を検出しない場合
には、領域の分割・圧縮を行なわない点にある。上記に
より作成された提示画像は、画像表示装置１０４を介し
て運転者に提示される。本構成においては、高さのある
物体の検出を行なうセンサである距離測定装置１０６を
有し、上記物体が検出された方向にのみ、プランビュー
画像作成装置１０１で作成された画像の一部の圧縮を行
なうことにより、カメラから離れたものや、特に高さの
あるもの表示の歪みを軽減し、表示の違和感、距離感の
喪失という問題を軽減し、その結果、より自然な画像を
運転者に提示することができる。

【００８１】なお、図９、図１０に示した車両用画像処
理装置は、請求項１４に対応し、高さのある物体の検出
を行なうセンサ（距離測定装置１０６）を有し、上記物
体が検出された方向にのみ、上記分割・圧縮を行なう。

【００８２】以上本発明を実施の形態に基づいて具体的
に説明したが、本発明は上記実施の形態に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。

【図面の簡単な説明】

【図１】本発明に係る視点変換装置を示すブロック図で
ある。

【図２】図１に示した視点変換装置の画像変換手段によ
る画像変換についての説明図である。

【図３】図１に示した視点変換装置の画像変換手段によ
る画像変換についての説明図である。

【図４】図１に示した視点変換装置の視点変換手段によ
る視点変換についての説明図である。

【図５】本発明に係る車両用画像処理装置の構成を示す
ブロック図である。

【図６】図５に示した車両用画像処理装置において、画
像の分割の例を示す図である。

【図７】図５に示した車両用画像処理装置において、画
像の分割の例を示す図である。

【図８】図５に示した車両用画像処理装置において、画
像の分割の例を示す図である。

【図９】本発明に係る車両用画像処理装置の図５とは別
の構成を示すブロック図である。

【図１０】図９に示した車両用画像処理装置において、
画像の分割の例を示す図である。

【図１１】ピンホールカメラモデルを示す図である。

【符号の説明】

１１…実カメラ１１ａ…実カメラモデル１２…画像変換手段１３…視点変換手段１４…表示手段２１…カメラ本体２２…代表点２３…撮像面２４…カメラ光軸２５…光線２６…光線２７…交点３２…仮想カメラ３３…交点３４…光線３５…光線１０１…プランビュー画像作成装置１０２…画像分割装置１０３…画像圧縮装置１０４…画像表示装置１０５…圧縮モード選択装置１０６…距離測定装置２００…車両３０１…分割線３０２…検出物体

Claims

【特許請求の範囲】

【請求項１】画像を出力する撮影手段と、上記撮影手段
で撮影された撮影画像について上記撮影手段の内部への
出射角を上記撮影手段の外部からの入射角未満として画
像変換する画像変換手段と、上記画像変換手段で変換さ
れた画像変換画像を視点変換する視点変換手段と、上記
視点変換手段で視点変換された視点変換画像を表示する
表示手段とを具備したことを特徴とする視点変換装置。
【請求項２】上記画像変換手段は、上記出射角を上記入
射角未満とし、かつ上記出射角と上記入射角とが比例す
る関数で画像変換することを特徴とする請求項１記載の
視点変換装置。
【請求項３】上記画像変換手段は、上記出射角を上記入
射角未満とし、かつ上記撮影手段のレンズ特性を示す関
数で画像変換することを特徴とする請求項１記載の視点
変換装置。
【請求項４】上記視点変換手段は、上記視点変換画像の
各画素の色および輝度を、上記視点変換画像の各画素に
対応する上記画像変換画像の各画素の中心点に位置する
色および輝度とすることを特徴とする請求項１、２また
は３記載の視点変換装置。
【請求項５】コンピュータを、画像を出力する撮影手段
で撮影された撮影画像について上記撮影手段の内部への
出射角を上記撮影手段の外部からの入射角未満として画
像変換する画像変換手段、および上記画像変換手段で画
像変換された画像変換画像を視点変換する視点変換手段
として機能させるための視点変換プログラム。
【請求項６】平面画像作成手段と、画像を複数に分割す
る画像分割手段と、画像の圧縮を行なう画像圧縮手段
と、画像を表示する画像表示手段とを有することを特徴
とする車両用画像処理装置。
【請求項７】上記平面画像作成手段が、請求項１乃至４
のいずれか記載の視点変換装置を用いて構成されている
ことを特徴とする請求項６記載の車両用画像処理装置。
【請求項８】上記分割・圧縮のオン／オフ、上記分割の
方法、上記圧縮の方法の少なくとも一つを選択する手段
を有することを特徴とする請求項６または７記載の車両
用画像処理装置。
【請求項９】上記車両から一定距離以上離れた範囲につ
いて画像の圧縮を行なうことを特徴とする請求項６乃至
８のいずれか記載の車両用画像処理装置。
【請求項１０】上記車両の近傍では変形が少なく、上記
車両から離れるに従って変形が大きくなるような関数に
従い、上記圧縮を行なうことを特徴とする請求項６乃至
９のいずれか記載の車両用画像処理装置。
【請求項１１】上記分割・圧縮を、上記車両に対して横
方向にのみ行なうことを特徴とする請求項６乃至１０の
いずれか記載の車両用画像処理装置。
【請求項１２】上記分割・圧縮を、上記車両に対して縦
方向にのみ行なうことを特徴とする請求項６乃至１０の
いずれか記載の車両用画像処理装置。
【請求項１３】上記分割・圧縮を、上記車両に対して横
方向および縦方向に行なうことを特徴とする請求項６乃
至１０のいずれか記載の車両用画像処理装置。
【請求項１４】高さのある物体の検出を行なうセンサを
有し、上記物体が検出された方向にのみ、上記分割・圧
縮を行なうことを特徴とする請求項６乃至１２のいずれ
か記載の車両用画像処理装置。