JPWO2009119110A1 - 死角表示装置 - Google Patents

死角表示装置 Download PDF

Info

Publication number
JPWO2009119110A1
JPWO2009119110A1 JP2010505364A JP2010505364A JPWO2009119110A1 JP WO2009119110 A1 JPWO2009119110 A1 JP WO2009119110A1 JP 2010505364 A JP2010505364 A JP 2010505364A JP 2010505364 A JP2010505364 A JP 2010505364A JP WO2009119110 A1 JPWO2009119110 A1 JP WO2009119110A1
Authority
JP
Japan
Prior art keywords
image
blind spot
vehicle
unit
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010505364A
Other languages
English (en)
Other versions
JP5208203B2 (ja
Inventor
正人 湯田
正人 湯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010505364A priority Critical patent/JP5208203B2/ja
Publication of JPWO2009119110A1 publication Critical patent/JPWO2009119110A1/ja
Application granted granted Critical
Publication of JP5208203B2 publication Critical patent/JP5208203B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

交差点で生じる死角領域の状況をドライバに提示する方法において、死角領域の状況をドライバ視点で提示する死角表示装置を提供する。違和感ない死角領域状況画像を生成するために、ドライバ視点位置と死角領域の奥行き計算を高精度かつ低コストで行う。このために、死角表示装置は、互いに異なる位置から撮像された複数の全周囲画像を格納する全周囲画像格納部（１０２）と、前記複数の全周囲画像に映り込んでいる対象物（死角にある対象物）の各映り込み画像に基づいて、当該対象物の位置を計算する死角領域モデル生成部（１０９）と、車両の各映り込み画像に基づいて、前記車両の位置を計算する自車両モデル生成部（１１０）と、計算された前記対象物の位置を、計算された前記車両の位置に対する相対的なディスプレイ座標に変換する自車両視点座標変換部（１０７）と、表示を行う表示部（１０８）とを備える。

Description

本発明は、カメラで取得した画像を用いる技術とコンピュータグラフィックスの技術とを組み合わせた技術の画像処理装置であり、特に交差点において自車両からは見えない死角領域をディスプレイ上に表示する装置に関するものである。
国土交通省が推進する高度道路交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）の取り組み内容の１つとして、運転中の注意喚起や警報支援を行うドライバ向けサービスが検討されている。特に、出会い頭での事故が多発する交差点における衝突防止支援サービスは、今後重要な取り組みであり、現在は路面センサや画像センサを用いて運転者からの死角となる交差点の状況を伝えるものが考えられている。また、カメラなどの画像センサは将来ますます小型化・安価になるものと考えられており、現在は高速道路や主要道路に設置されているだけだが、将来的にはあらゆる道路に設置されることが予想される。
死角領域の状況をドライバに提示する従来方法として、死角となる道路を車載カメラで撮影し、その撮影された映像を後方の車に配信して、配信された映像に基づいて、ドライバ視点の映像を後方の車がディスプレイに表示する、というものが考えられる。例えば特許文献１に開示された装置がある。
特許文献１の装置は、自車両の進行方向の画像を取得する撮像部と、該撮像部により取得した自車両の進行方向の画像を、運転者から見た視点の画像に補正する自車両画像補正部と、前方車両が取得した進行方向の画像を、前方車両から受信する前方車両画像受信部と、前記前方車両画像受信部により受信した画像の撮像位置までの距離を算出する距離算出部と、前記距離算出部により算出した前方車両との距離に基づいて、前記前方車両画像受信部によって受信した画像を、運転者から見た視点の画像に補正する前方車両画像補正部と、前記自車両画像補正部により補正された画像における前記前方車両によって死角領域となっている部分に、前記前方車両補正部により補正された画像を重ね合せることで、前記前方車両を透過した合成画像を生成する画像合成部とを備えている。
また、交差点に複数のカメラを設置し、複数カメラ画像を２次元射影変換して、交差点上方から見たような仮想的な鳥瞰画像を作成するものが非特許文献１に開示されている。
特許第３９７２７２２号公報 「複数の道路監視カメラを用いた交差点における俯瞰映像作成」筑波大学、２００６年１２月６日
しかしながら、特許文献１の方法では、ドライバからの視線方向以外の画像は作ることができないため、交差点により生じる死角領域の映像は作ることができない。特許文献１のように車にカメラを設置するのではなく、交差点にカメラを設置した場合でも、多数のカメラが必要となる。さらに車には、位置情報をセンシングするためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ Ｓｙｓｔｅｍ）受信装置が必要となるが、たとえ装着していたとしても精度が低く高さ情報も取得できないため、ドライバ視点とは程遠い視点からの映像に変換されてしまうという課題がある。また、非特許文献１の方法では、交差点上方から見た俯瞰画像しか生成することができず、交差点情報からの画像ではどちらの方向から交差点に車や歩行者が進入してくるかを一見しただけで直感的に判断するのは難しい、という課題がある。
本発明は、かかる問題点を解消するためになされたものであり、ＧＰＳ非装着車両であっても本来ドライバからは見えないはずの交差点死角領域を、ドライバ視点で表示することができる死角表示装置を提供することを目的とする。
以上のような課題を解決するために、本発明の死角表示装置は、次の構成を採用した。
本発明の死角表示装置は、車両に設けられて、当該車両からは見えない死角の情報を表示する死角表示装置であって、互いに異なる位置から撮像された複数の撮像画像を格納する画像格納手段と、前記複数の撮像画像に映り込んでいる、対象物の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所にそれぞれ映り込みをさせる位置を当該対象物の位置として算出する対象物モデル生成手段と、前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定しての箇所を特定し、特定される各箇所に映り込みをさせる位置を前記車両の位置として算出する車両モデル生成手段と、前記対象物モデル生成手段により計算された前記対象物の位置を、前記車両モデル生成手段により計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換手段と、前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示手段とを備えることを特徴とする死角表示装置である。
そして、この死角表示装置においては、例えば、格納される前記複数の撮像画像は、当該車両と、当該車両からは見えない死角との両方を撮像する位置にそれぞれが設けられた複数の画像生成部により撮像された複数の撮像画像であり、前記対象物モデル生成手段および前記車両モデル生成手段は、それぞれ、当該死角表示装置の外部から当該死角表示装置に転送された前記複数の撮像画像を取得し、取得された当該複数の撮像画像を利用する。
この死角表示装置によれば、車両の位置と、対象物の位置とが、互いに異なるデータから算出されるのではない。すなわち、何れの位置も、格納される複数の撮像画像という同じデータから算出される。このため、多くのデータを扱う複雑な構成が必須ではなくなり、簡単な構成により死角表示装置が構成できる。
なお、この死角表示装置は、各映り込み画像を映り込こませた対象物が、上記死角にある対象物か否かを判断する判断部を備えてもよい。他方、この死角表示装置は、このような判断部を備えず、対象物が死角にあるか否かを判断せずに、対象物についての上記表示を行ってもよい。
また、本発明の死角表示装置は、例えば、全周囲画像を取得する全周囲画像生成手段が異なる３次元位置座標に複数設置された交差点において、複数の全周囲画像生成手段から、自車両及び自車両から見えない死角領域が撮影範囲内にある全周囲画像生成手段のうち２つを選択し、生成した２つの全周囲画像もしくは全周囲画像の一部領域を全周囲画像格納手段にネットワークを介し転送する選択手段と、全周囲画像格納手段の持つ２つの全周囲画像もしくは全周囲画像の一部領域に映り込んでいる死角領域内の同一対象物を検索し画像上の死角領域対応点とする死角領域対応点検索手段と、死角領域対応点のピクセル位置のずれから死角領域内の対象物の３次元位置座標を計算する死角領域位置座標算出手段と、全周囲画像格納手段の持つ前記２つの全周囲画像もしくは全周囲画像の一部領域に映り込んでいる自車両を検索し画像上の自車両対応点とする自車両対応点検索手段と、２つの全周囲画像を生成した全周囲画像生成手段の３次元位置座標と自車両対応点のピクセル位置のずれから自車両の３次元位置座標を計算する自車両位置座標算出手段と、自車両の３次元位置座標をもとに死角領域内の対象物の３次元位置座標をディスプレイ座標に変換する自車両視点座標変換手段と、座標変換後の奥行き値に応じてディスプレイ座標に死角領域対応点のピクセル色を割り付ける表示手段とを備え、ＧＰＳ等の位置センシング手段を持たない車両であっても交差点の死角領域の状況をドライバ視点から違和感なく見ることができる死角表示装置であってもよい。
また、あるいは、本発明の死角表示装置は、本来ドライバから見えない交差点死角領域を２つの全周囲画像生成手段で生成した全周囲画像からドライバから見たような画像に３次元変換するとともに、２つの当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出する死角表示装置であってもよい。
本発明の死角表示装置によれば、本来ドライバから見えない交差点死角領域を２つの全周囲画像生成手段で生成した全周囲画像からドライバから見たような画像に３次元変換するとともに、当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、交差点の死角領域の状況をドライバ視点で直感的に見ることができ、危険検出が容易となる。
図１は、実施の形態１による死角表示装置の構成を示すブロック図である。 図２は、図１に示した全周囲画像生成部が生成する全周囲画像の一例を示す図である。 図３は、図１に示した選択部の具体例を説明する図である。 図４は、図１に示した死角領域対応点検索部の死角領域対応点を説明する図である。 図５は、図１に示した死角領域対応点検索部の死角領域対応点を説明する図である。 図６は、図１に示した死角領域位置座標算出部を説明する図である。 図７は、図１に示した死角領域位置座標算出部を説明する図である。 図８は、図１に示した自車両対応点検索部の自車両対応点を説明する図である。 図９は、図１に示した自車両対応点検索部の自車両対応点を説明する図である。 図１０は、実施の形態１に全周囲画像保持部、全周囲差分画像生成部を追加した場合の死角表示装置の構成を示すブロック図である。 図１１は、図１に示した自車両位置座標算出部を説明する図である。 図１２は、実施の形態１に自車両視点画像生成部を追加した場合の死角表示装置の構成を示すブロック図である。 図１３は、実施の形態２による死角表示装置の構成を示すブロック図である。 図１４は、図１３に示した選択部を説明する図である。 図１５は、実施の形態３による死角表示装置の構成を示すブロック図である。 図１６は、実施の形態４による死角表示装置の構成を示すブロック図である。 図１７は、自車両から死角方向を見たときのイメージ図である。 図１８は、自車両から死角方向を見たときのイメージ図である。 図１９は、死角表示装置の車両側の構成を示すブロック図である。 図２０は、死角表示装置の車両側の構成を示すブロック図である。 図２１は、実施の形態１による死角表示装置において水平視野角に応じて表示範囲が変化することを説明する図である。 図２２は、交差点と、全周囲画像の左上領域四分の一、左下領域四分の一、右下領域四分の一、右上領域四分の一とを示す図である。 図２３は、表示部と自車両視点画像生成部とを示す図である。 図２４は、死角表示装置の処理のフローチャートである。 図２５は、図１０の死角表示装置（図１５の死角表示装置）の処理のフローチャートである。 図２６は、図１２の死角表示装置の処理のフローチャートである。 図２７は、図１３の死角表示装置の処理のフローチャートである。 図２８は、図１６の死角表示装置の処理のフローチャートである。 図２９は、映り込み物の位置が算出される処理のフローチャートである。
符号の説明
１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ 死角表示装置
１ａ、１Ａａ、１Ｂａ、１Ｃａ、１Ｄａ、１Ｅａ 交差点側
１ｂ、１Ａｂ、１Ｂｂ、１Ｃｂ、１Ｄｂ、１Ｅｂ 車両側
２０ 軸
１００、３０２〜３０５、５０１、５０２、８０１、８０２、８０５、１１０２〜１１０５、１３００ 全周囲画像生成部
１００ａ 標準カメラ
１００ｂ 凸型の鏡面
１０１、１００１、１２０３、１３０２ 選択部
１０２、１３０１ 全周囲画像格納部
１０３、１００３、１２０５、１３０３ 死角領域対応点検索部
１０４ 死角領域位置座標算出部
１０５、１３０５ 自車両対応点検索部
１０６ 自車両位置座標算出部
１０７ 自車両視点座標変換部
１０８、１０８Ｆ 表示部
１０８ａ、１０８Ｆａ ディスプレイ
１０９、１００９、１２０９ 死角領域モデル生成部
１１０ 自車両モデル生成部
２０１ 全周囲画像
２０１ａ 全周囲画像の左上領域四分の一
２０１ｂ 全周囲画像の左下領域四分の一
２０１ｃ 全周囲画像の右下領域四分の一
２０１ｄ 全周囲画像の右上領域四分の一
２０２ 透視投影画像
３０１ 自車両
３０６〜３０９ ３０２〜３０５が生成した全周囲画像
４０１、５０７ 死角領域内の対象物
４０２、４０３、５０３、５０４ 死角領域が映り込んだ全周囲画像
５０５、５０６ 死角領域対応点
６０２、６０３、８０３、８０４、８０６ 自車両が映り込んだ全周囲画像
７０１、１２０１ 全周囲画像保持部
７０２、１２０２ 全周囲差分画像生成部
９０９ 自車両視点画像生成部
１００４ 左側死角領域対応点検索部
１００５ 右側死角領域対応点検索部
１１０６〜１１０９ １１０２〜１１０５が生成した全周囲画像
１１１０ 交差点から遠い左側死角領域
１１１１ 交差点から遠い右側死角領域
１２０６ 左側死角領域対応点検索部
１２０７ 右側死角領域対応点検索部
１４００ 死角を生成する道路の壁
１４００Ｆ 壁
１４０１Ｆ 画像生成部
１４０２ 表示画面範囲
１４０２Ｆ 表示画面
１４０３、１４０３Ｆ 歩行者
１４０４、１４０４Ｆ 車両
１７００、２０００ 交差点
１７０１ 交差点を自車両から見た場合の実景色
１７０２、１７０５ 水平視野角
１７０３ 実際と同じ水平視野角を使用した場合の生成画像
１７０４、１７０７ 実景色と生成画像の重畳表示画像
１７０６ 実際よりも広い水平視野角を使用した場合の生成画像
２０００ａ 全周囲画像生成部の左上四分の一
２０００ｂ 全周囲画像生成部の左下四分の一
２０００ｃ 全周囲画像生成部の右下四分の一
２０００ｄ 全周囲画像生成部の右上四分の一
以下、図面を参照しながら、本発明を実施するための実施の形態を説明する。
（実施の形態１）
図１は、本発明の実施の形態１による死角表示装置１の構成を示すブロック図である。
死角表示装置１は、交差点側１ａの部分と、車両側１ｂとの部分とを備える。車両側１ｂは、死角表示装置１が備える、複数の車両にそれぞれ備えられる複数の車両側１ｂの部分のうちの１つであってもよい。そして、死角表示装置１は、全周囲画像を取得する全周囲画像生成部１００が異なる３次元位置座標に複数設置された交差点（図３等参照）において、交差点側１ａは選択部１０１を備え、各車両側１ｂは全周囲画像格納部１０２、死角領域対応点検索部１０３、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８を備える。なお、死角表示装置１は、死角領域モデル生成部１０９と、自車両モデル生成部１１０とを備え、死角領域モデル生成部１０９は、上述の死角領域対応点検索部１０３と死角領域位置座標算出部１０４とを備え、自車両モデル生成部１１０は、上述の自車両対応点検索部１０５と自車両位置座標算出部１０６とを備える（図１９参照）。なお、交差点側１ａは、選択部１０１の機能ブロックの機能を実現するために、例えば、インフラストラクチャコンピュータ１０１ｃを備え（図３参照）、このインフラストラクチャコンピュータ１０１ｃによってソフトウェアを実行することにより、選択部１０１の機能ブロックの機能を実現する。
図２は、全周囲画像生成部１００の一例を示す図である。
全周囲画像生成部１００は、設置された３次元位置座標を中心とする全周囲画像を生成する。全周囲画像生成部１００は全周囲カメラ、全方位カメラ、全天周カメラ、３６０度カメラなどと呼ばれるものであり、これら全周囲カメラ等で撮影するものとして実現される。全周囲を撮影する代表的な実現方式として、凹鏡方式、特殊レンズ方式、複数カメラ方式がある。図２は全周囲画像生成部１００が生成する全周囲画像の一例を示す。凸鏡方式は、標準カメラ１００ａ（図２）に凸型の鏡面１００ｂ（図２）を取り付けて撮影するものであり、周囲３６０度の風景が図２の２０１のようなドーナツ型の画像にマッピングされた画像を生成する。ドーナツ型の画像に対して透視投影変換を例えば選択部１０１（図１）等が適用することで、図２の２０２のような、任意方向を見たときの画像（透視投影画像）に、ドーナツ型の画像を変換することができる。凸型方式では撮像装置（全周囲画像生成部１００）を中心とした画像を取得できるため、対象物の距離や方向を正確に計測できることが特徴である。
なお、特殊レンズ方式は、標準カメラに魚眼レンズを取り付けて撮影するものであり、周囲３６０度の風景が円形画像にマッピングされた画像を生成する。生成された画像（円形画像）に対してレンズ歪み補正や平面展開変換を適用することで、任意方向を見たときの画像に変換することができるが、レンズ歪みは完全には除去できないのが、この特殊レンズ方式の難点である。他方、複数カメラ方式は、それぞれ異なる方向を撮影する複数のカメラを画像生成部が備えており、それら複数のカメラにより撮影された複数の画像を、うまくつなぎ合わせて１つのパノラマ画像にするものである。この複数カメラ方式によれば、複数画像のつなぎ合わせを制御するキャリブレーションが煩雑であるが、高解像度で歪みのない画像を生成ことができる。
そして、本特許では、特に全周囲画像生成部１００の具体的な構成の方式は、限定しないが、説明の都合上、本明細書では、上記の凸鏡方式により全周囲画像生成部１００は全周囲画像を生成するものとして説明する。
図１に戻って、交差点側１ａにおける選択部１０１は、交差点に複数設置された全周囲画像生成部のうち、交差点に進入する自車両からは見えない死角領域と自車両とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し、ネットワークを介して、選択される２つの全周囲画像生成部の画像を、全周囲画像格納部１０２（図１）へ転送する。
図３は、複数の全周囲画像生成部が交差点にそれぞれ設置され、かつ、それらが設置された交差点が十字交差点の場合において、東西南北どの方向から車両が進入してきても本特許が実施できるように、４つの全周囲画像生成部を配置した様子を示す図である。図３では、東西南北どの方向から車両が進入してきても、当該車両から見えない領域及び自車両が、撮影される画像に映り込むように全周囲画像生成部が設置されており、例えば、選択部１０１は、南から交差点に進入する自車両３０１に対しては、全周囲画像生成部３０２、３０３を選択してもよいし、全周囲画像生成部３０２と３０４を選択してもよい。
図３の場合、４つの全周囲画像生成部３０２、全周囲画像生成部３０３、全周囲画像生成部３０４、全周囲画像生成部３０５が、２つの道路が十字に（直角に）交差する十字交差点が有する４つの角に、それぞれ設置されている。
なお、このようにして、全周囲画像を生成する全周囲画像生成部１００が用いられることにより、交差点のより広い死角領域が的確に撮像される。
また、選択部１０１で選択される２つの全周囲画像は、死角領域対応点検索部１０３（図１）で使用する第１の２つの全周囲画像と、自車両対応点検索部１０５で使用する第２の２つの全周囲画像とが含まれ、第１の２つの全周囲画像の少なくとも一方は、第２の２つの全周囲画像に含まれる全周囲画像の一方又は両方に対して、互いに異なる全周囲画像生成部で生成されたものであっても構わない。図３の例でいえば、選択部１０１は、例えば、死角領域対応点検索部１０３には、全周囲画像生成部３０２、３０４を選択して、全周囲画像３０６、３０８（図３）を転送し、自車両対応点検索部１０５には、全周囲画像生成部３０２、３０３を選択し、つまり、全周囲画像３０６、３０７を選択して、選択した全周囲画像３０６、３０７を転送しても構わない。
また、選択部１０１は、交差点に複数設置された全周囲画像生成部のうち、交差点に進入する自車両からは見えない死角領域と自車両とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し、選択された２つの全周囲画像のそれぞれの一部領域を、全周囲画像格納部１０２に転送しても構わない。例えば、図３のような十字交差点において、自車両３０１に対して全周囲画像生成部３０２、３０３を選択部１０１が選択した場合、自車両３０１の進行方向に対して左側の死角領域が映り込むのは、全周囲画像生成部３０２の生成した全周囲画像３０６の左上領域四分の一と、全周囲画像生成部３０３の生成した全周囲画像３０７の左上領域四分の一である。また、自車両進行方向に対して右側の死角領域が映り込むのは全周囲画像生成部３０２の生成した全周囲画像３０６の右上領域四分の一と、全周囲画像生成部３０３の生成した全周囲画像３０７の右上領域四分の一である。死角領域対応点検索部１０３は、上述した４つの全周囲画像の一部領域があれば死角領域対応点検索は可能である。同様に、自車両が映り込むのは全周囲画像生成部３０２の生成した全周囲画像３０６の右下領域四分の一と、全周囲画像生成部３０３の生成した全周囲画像３０７の左下領域四分の一であり、自車両対応点検索部１０５は上述した２つの全周囲画像の一部領域があれば自車両対応点検索は可能である。上述の例では交差点形状が十字の場合を挙げて説明しているが、十字交差点に限らずとも選択部１０１において交差点形状に応じた領域分割を行い、全周囲画像格納部１０２には全周囲画像全体ではなく分割した領域単位で転送しても構わない。
図２２は、全周囲画像２０１の左上領域四分の一、左下領域四分の一、右下領域四分の一、右上領域四分の一と、全周囲画像２０１を撮像した全周囲画像生成部１００のある交差点２０００とを示す図である。全周囲画像生成部１００は、例えば、図３に示される全周囲画像生成部３０２等のうちの１つである。図２２に示される全周囲画像２０１の左上領域四分の一２０１ａ、左下領域四分の一２０１ｂ、右下領域四分の一２０１ｃ、右上領域四分の一２０１ｄは、それぞれ、交差点２０００における全周囲画像生成部１００の左上四分の一２０００ａ、左下四分の一２０００ｂ、右下四分の一２０００ｃ、右上四分の一２０００ｄが撮像されたものである。
なお、上述した、自車両３０１の進行方向に対する左側の死角領域とは、例えば、自車両が交差点を左折した場所にある死角領域であり、自車両３０１の進行方向に対する右側の死角領域とは、例えば、自車両が交差点を右折した場所にある死角領域である。
さらに、選択部１０１は、各全周囲画像に映り込んだ自車両の画像内での位置と領域とを検索し、領域が最大となる全周囲画像を生成した全周囲画像生成部のうち２つを選択することで、自車両対応点検索部１０５の検索精度を向上することができる。つまり、選択部１０１は、例えば、映り込み物（自車両）の各全周囲画像における各映り込み物の領域の大きさをそれぞれ算出し、算出される大きさが最も大きい全周囲画像と、２番目に大きい全周囲画像との２つの全周囲画像を選択する。自車両３０１の画像内での領域が最大となるのは、自車両との距離が最も近い全周囲画像生成部が生成した全周囲画像、ということにほかならない。すなわち、自車両から最も近い２つの全周囲画像生成部を選択することにより、自車両対応点検索部１０５における検索誤差を小さくすることができる。図３では、自車両３０１に対しては全周囲画像上自車両領域が最大となる全周囲画像生成部３０２、３０３を選択すれば、全周囲画像生成部３０２、３０４を選択するよりも、自車両対応点検索部１０５による自車両対応点検索が、高精度になる。
また、選択部１０１は、全周囲画像格納部１０２に必ずしも、全周囲画像もしくは全周囲画像の一部領域を転送する必要はない。例えば、当該交差点と自車両との距離が非常に離れている場合には、当該交差点の死角領域を表示してもほとんど意味がない情報であり、死角領域を自車両視点で表示する必要性が低い。よって、選択部１０１が、各全周囲画像に映り込んだ自車両の画像内での位置と領域を検索し、自車両の領域の大きさがある一定以上になったときのみ、全周囲画像格納部１０２へ、選択した全周囲画像もしくは全周囲画像の一部領域を転送しても問題はない。
なお、選択部１０１は、一例としては、次のようにして実現できる。この一例に係る選択部１０１を有する死角表示装置１においては、交差点側１ａは、交差点に接続する各道路に、それぞれ、その道路に自車両３０１があるか否かを検知する自車両検知部があるものとする。そして、死角表示装置１は、交差点に接続する各道路に対して、その道路の撮像に比較的適する全周囲画像生成部１００を対応付ける対応関係を保持する道路対応保持部を備えるものとする。そして、選択部１０１は、自車両３０１が自車両検知部により検知された道路に対して道路対応保持部の対応関係が対応付ける全周囲画像生成部１００が撮像した全周囲画像を選択する。ここで、道路対応保持部は、車両側１ｂが用いるのに適する２個の全周囲画像生成部１００を１つの道路に対応付ける対応関係を記憶し、選択部１０１は、対応付けられたそれらの全周囲画像生成部１００の全周囲画像２０１を選択する。こうすれば、保持される対応関係に基づいて、自車両３０１が検知された道路と対応関係を有する適切な全周囲画像生成部１００が選択され、簡単な構成で、選択部１０１を実現できる。なお、道路対応保持部は、死角領域モデル生成部１０９が用いる全周囲画像の対応関係を保持する第１の道路対応保持部と、他方の自車両モデル生成部１１０が用いる全周囲画像の対応関係を保持する第２の道路対応保持部とを備えるものとしてもよい。
全周囲画像格納部１０２は、ネットワークを介して、当該車両側１ｂに交差点側１ａから送られてきた全周囲画像あるいは全周囲画像の一部領域を格納し、必要に応じて死角領域対応点検索部１０３及び自車両対応点検索部１０５に転送する。
死角領域対応点検索部１０３は、全周囲画像格納部１０２にある、選択部１０１で選択した２つの全周囲画像生成部が生成した全周囲画像に映り込んでいる死角領域内の同一対象物を検索し、画像上の死角領域対応点とする。互いに異なる位置座標を中心として生成された２つの全周囲画像には、交差点の死角領域が映り込んでおり、死角領域内に存在するある対象物が２つの全周囲画像上のどこに映り込んでいるかを死角領域対応点検索部１０３は検索する。
死角領域対応点検索部１０３は、全周囲画像のままではなく、死角領域の方向を自車両３０１から見た画像に透視投影変換を行ったあとの透視投影画像に対して、画像マッチングによる死角領域対応点検索を行っても構わない。透視投影画像は、ドーナツ型の全周囲画像を、死角方向を見たときの画像に変換したものであり、一般的なカメラで死角方向を撮影したような平面矩形画像と同じ画像が得られる。
図４〜図５は、死角領域対応点検索部１０３が行う死角領域対応点の検索を説明するものである。
すなわち、死角領域対応点検索部１０３は、具体的には、図４のように一方の全周囲画像４０２上のピクセルＰ０（Ｘ０，Ｙ０）に映り込んだ対象物４０１（図５）が、もう一方の全周囲画像４０３のどのピクセルに対応しているかを、画像マッチングにより検索し、検索した結果Ｐ１（Ｘ１，Ｙ１）（ピクセルＰ１）に対応していれば、Ｐ０、Ｐ１を対象物４０１の死角領域対応点とする。死角領域対応点検索部１０３は、死角領域対応点の検索を、全周囲画像内のすべての対象物に対してそれぞれ行う。
ここで、図４下部のグラフは、死角領域対応点検索部１０３が行う画像マッチングの検索での２つの点の間の画素ずれの大きさを横軸にとり、その画素ずれでのマッチングの誤差を縦軸にとっている。死角領域対応点検索部１０３は、誤差が最小値をとる２つの点を、死角領域対応点として特定する。
ここで、平面矩形画像では、全周囲画像生成部から死角領域までの距離が大きくなればなるほど、死角領域内に存在する物体間の距離は画像上では小さくなる。このため、自車両の進行方向に対して左側の死角領域に存在する物体が、２つの透視投影画像上に映り込んだ場合、左側の死角領域により近い位置で生成された全周囲画像に対応する透視投影画像上の対応点のＸ座標は、もう一方の透視投影画像上の対応点のＸ座標と等しいか大きくなる。また、自車両の進行方向に対して右側の死角領域に存在する物体が２つの透視投影画像上に映り込んだ場合、右側の死角領域に対して、より近い位置で生成された全周囲画像に対応する透視投影画像上の対応点のＸ座標は、もう一方の透視投影画像上の対応点のＸ座標と等しいか小さくなる。この性質を利用すると、マッチング処理を効率的に行うことが可能となる。すなわち、自車両の進行方向に対して左側の死角領域の死角領域対応点検索は、左側の死角領域に近い位置で生成された全周囲画像に対応する透視投影画像上のピクセルを基準として、もう一方の透視投影画像を、画像における左側のピクセルから順に、右方向へとマッチング処理を行う。あるいは、自車両の進行方向に対して右側の死角領域の死角領域対応点検索は、右側の死角領域に対してより近い位置で生成された全周囲画像に対応する透視投影画像上のピクセルを基準として、もう一方の透視投影画像を画像右側ピクセルから順に、左方向へマッチング処理を行う。
なお、上記のようにして、基準とする方を、互いに対応する２つの死角領域対応点のうちで、精度よく撮像されて大きく撮像された方、つまり拡大された方にしてマッチング処理をすることにより、例えば、より確実に正しくマッチング処理をできるなどして、よりマッチング処理を良好に行うことができる。
死角領域位置座標算出部１０４は、死角領域対応点検索部１０３で求めた死角領域対応点のピクセル位置のずれ量から、死角領域内の対象物の３次元位置座標を計算する。３次元位置座標の要素のうち、自車両３０１から見て水平方向をＸ座標軸（図５における横方向）、垂直方向をＹ座標軸（図５の紙面に対する垂線方向）、奥行き方向（図５における縦方向）をＺ座標軸とそれぞれ定義する。
図６〜図７は、十字交差点での死角表示装置１においての死角領域位置座標算出部１０４を説明するものである。具体的には、複数の全周囲画像生成部のうち選択部１０１は５０１と５０２（図７）を選択し、全周囲画像５０３、５０４（図７）を死角領域位置座標算出部１０４が使用し、死角領域対応点５０５、５０６に対応する対象物５０７（図７）の３次元位置座標を算出する過程を説明する図が図６〜図７である。
１つの例として、全周囲画像上の死角領域対応点から、対応する死角領域内に存在する対象物の３次元位置座標を計算する方法を以下に記す。２つの全周囲画像生成部間の距離Ｂ、全周囲画像の中心と死角領域対応点を結ぶ線分が２つの全周囲画像生成部間を結ぶ線分となす角度をα、βとすると、全周囲画像生成部からの相対的な奥行き距離Ｄは、
Ｄ＝Ｂ＊ｔａｎ（α）＊ｔａｎ（β）／（ｔａｎ（α）−ｔａｎ（β））
で算出することができ、Ｄは死角領域対応点に対応する対象物のＺ座標となる。また、死角領域対応点検索部１０３が死角領域の方向に対して透視投影変換を行っている場合、透視投影画像上の死角領域対応点から、対応する３次元位置座標を計算するのは以下のように行えばよい。すなわち、２つの全周囲画像生成部間の距離Ｂ、全周囲画像生成部の焦点距離ｆ、対応点の画像中心からのずれ量Ｖ０、Ｖ１とすると、全周囲画像生成部からの相対的な奥行き距離Ｄは、
Ｄ＝Ｂ＊（ｆ＋Ｖ１）＊（ｆ−Ｖ０）／（２＊ｆ＊（Ｖ１＋Ｖ０））
で算出することができ、Ｄは死角領域対応点に対応する対象物のＺ座標となる。全周囲画像の中心と死角領域対応点のなす角度αにより、死角領域対応点に対応する対象物のＸ座標は、
Ｄ／ｔａｎ（α）
で算出することができる。さらにＹ座標は、全周囲画像の中心から死角領域対応点までの画像上の距離から算出することが可能であり、死角領域対応点を透視投影変換して得られた変換後座標のＹ座標に等しくなる。
図８〜図９は、自車両対応点検索部１０５の処理を示す図である。
自車両対応点検索部１０５は、全周囲画像格納部１０２にある全周囲画像に対して、選択部１０１で選択した２つの全周囲画像生成部が生成した全周囲画像に映り込んでいる自車両を検索し、画像上の自車両対応点とする。異なる位置座標を中心として生成された２つの全周囲画像には自車両が映り込んでおり、自車両が２つの全周囲画像上のどこに映り込んでいるかを検索する。図８〜図９は、自車両対応点検索部１０５が検索する自車両対応点を具体的に説明するものである。一方の全周囲画像６０２（図８）上のピクセルＰ２（Ｘ２，Ｙ２）に映り込んだ自車両３０１が、もう一方の全周囲画像６０３のどのピクセルに対応しているかを、画像マッチングにより自車両対応点検索部１０５が検索する。検索した結果、Ｐ３（Ｘ３，Ｙ３）に対応していれば、Ｐ２、Ｐ３を自車両対応点と自車両対応点検索部１０５が特定する。なお、ここではピクセル単位での検索を行っているが、自車両を構成する複数のピクセルを１単位として自車両対応点検索部１０５が検索を行っても構わない。
ここで、図８下部のグラフは、自車両対応点検索部１０５が行う画像マッチングの検索での、２つの点の間の画素ずれの大きさを横軸にとり、その画素ずれでのマッチングの誤差を縦軸にとっている。自車両対応点検索部１０５は、誤差が最小値をとる２つの点を、自車両対応点と特定する。
図１０は、変形例の死角表示装置１Ａを示す図である。
ここで、死角表示装置１の変形例を説明する。図１０は全周囲画像保持部７０１、全周囲差分画像生成部７０２を追加した場合の死角表示装置１（以下、死角表示装置１Ａ）の構成を示すブロック図である。自車両が映っていないときの全周囲画像を保持する全周囲画像保持部７０１と、全周囲画像保持部７０１が保持する全周囲画像と全周囲画像生成部１００が生成した全周囲画像との差分画像を生成する全周囲差分画像生成部７０２とを有する構成の、この死角表示装置１Ａであれば、自車両の画像マッチングによる検索をする必要はなく、差分画像が背景差分法により抽出された自車両対応点と等価となる。
なお、全周囲画像保持部７０１及び全周囲差分画像生成部７０２は、例えば、選択部１０１と同様に、図３に示されたインフラストラクチャコンピュータ１０１ｃによって実現されるものとしてもよい。
図１１は、自車両位置座標算出部１０６（図１）の処理を示す図である。
変形例の説明を終わって、次に、図１における自車両位置座標算出部１０６は、自車両対応点検索部１０５で求めた自車両対応点のピクセル位置のずれ量から、自車両の３次元位置座標を計算する。３次元位置座標の要素のうち、自車両３０１から見て水平方向をＸ座標軸、垂直方向をＹ座標軸、奥行き方向をＺ座標軸と定義する。図１１は、十字交差点での死角表示装置において、複数の全周囲画像生成部のうち選択部１０１は８０１と８０２を全周囲画像生成部として選択し、全周囲画像８０３、８０４を自車両対応点検索部１０５が使用して、自車両対応点に対応する自車両３０１の３次元位置座標を算出する過程を説明する図である。２つの全周囲画像生成部間の距離Ｂｘ、全周囲画像の中心と自車両対応点を結ぶ線分が、２つの全周囲画像生成部間を結ぶ線分となす角度をα１、β１とすると、全周囲画像生成部からの相対的な奥行き距離Ｄ１は、
Ｄ１＝Ｂｘ＊ｔａｎ（α１）＊ｔａｎ（β１）／（ｔａｎ（α１）＋ｔａｎ（β１））
で算出することができ、Ｄ１は自車両対応点に対応する自車両のＺ座標（奥行き距離）となる。死角領域対応点に対応する対象物のＸ座標は、
Ｄ１／ｔａｎ（α１）
で算出することができる。さらにＹ座標は、全周囲画像の中心から死角領域対応点までの画像上の距離から算出することが可能であり、死角領域対応点を透視投影変換して得られた変換後座標のＹ座標に等しくなる。
同様に、選択部１０１が８０１と８０５を全周囲画像生成部として選択し、自車両対応点検索部１０５が全周囲画像８０３、８０６を使用し、自車両対応点に対応する自車両の３次元位置座標を算出する場合には、２つの全周囲画像生成部間の距離Ｂｘ、Ｂｙ、全周囲画像の中心と自車両対応点を結ぶ線分が２つの全周囲画像生成部間を結ぶ線分となす角度をα１、γ１とすると、全周囲画像生成部からの相対的な奥行き距離Ｄ１は、
Ｄ１＝Ｂｘ−Ｂｙ＊ｔａｎ（α１）／（ｔａｎ（α１）＋ｔａｎ（γ１））
で算出することができ、Ｄ１は自車両対応点に対応する自車両のＺ座標（奥行き距離）となる。死角領域対応点に対応する対象物のＸ座標は、
Ｄ１／ｔａｎ（α１）
で算出することができる。
このように算出した自車両の３次元位置をそのまま利用するだけでなく、ＧＰＳなどの位置取得センサや加速度センサなどにより、精度の低い位置情報を、自車両位置座標算出部１０６は補正してもよい。すなわち、自車両位置座標算出部１０６は、この補正をするために、これらのセンサより取得される情報を用いても構わない。このように、他のセンサによる情報に基づいた補正の技術と組み合わせることで、ある程度の精度が保証された自車両位置座標を求めることができる。
自車両視点座標変換部１０７は、自車両位置座標算出部１０６で求めた自車両の３次元位置座標をもとに、死角領域位置座標算出部１０４で求めた死角領域内の対象物の３次元位置座標をディスプレイ座標に変換する。対象物の３次元位置座標を２次元のディスプレイ座標に変換するためには、カメラ変換、射影変換、ビューポート変換の処理を、２次元のディスプレイ座標に変換する処理に適用する必要がある。
なお、ここで、カメラ変換は、視点である自車両３０１の３次元位置座標、視線対象の３次元位置座標、視点の傾きをもとに作られたカメラ変換行列を、対象物の３次元位置座標に掛け合わせることで行う。また、射影変換は、視点である自車両３０１から見た視野の広さ（水平視野角）、アスペクト比、座標変換対象となる奥行き範囲をもとに作られた射影変換行列を、カメラ変換後の３次元位置座標に掛け合わせることで行う。また、ビューポート変換は、表示するディスプレイのサイズをもとに作られたビューポート行列を、射影変換後の３次元位置座標に掛け合わせることで行う。なお、３次元グラフィックスの汎用的なＡＰＩであるＯｐｅｎＧＬ（ＯｐｅｎＧＬＥＳ）１．０以降では、カメラ変換、射影変換、ビューポート変換をそれぞれｇｌｕＬｏｏｋＡｔ、ｇｌＦｒｕｓｔｕｍ、ｇｌＶｉｅｗｐｏｒｔというＡＰＩでサポートしている。自車両視点座標変換部１０７の機能は、例えば、このＯｐｅｎＧＬのＡＰＩを用いて実現されてもよい。
図２１は、死角領域が圧縮される例を示す図である。
また、自車両視点座標変換部１０７（図１）は、全周囲画像格納部１０２が、全周囲画像全体ではなく死角領域ごとの分割領域（後述する図１４の交差点死角領域１１１０、交差点死角領域１１１１を参照）を保持している場合において、死角領域内の対象物の３次元位置座標を実際の水平視野角よりも広い水平視野角でディスプレイ座標に変換し広範囲の死角領域を圧縮するようにディスプレイ座標への変換を行っても構わない。図２１は、上記射影行列で使用する水平視野角に応じて死角領域の範囲が変わる様子を表すものである。交差点１７００において自車両から見える実景色１７０１では、壁の向こうが死角となってしまう。自車両から見たときの実際の水平視野角と同じ角度１７０２を射影行列に自車両視点座標変換部１０７が設定し、本発明を適用した場合には、本来あるべき範囲の死角領域が座標変換対象となり、画像１７０３を生成し、生成された画像１７０３と実景色１７０１との重畳表示により、自車両からは重畳表示画像１７０４のように見える。重畳表示画像１７０４では、本来の範囲の死角領域が表示される。一方で、自車両３０１から見たときの実際の水平視野角の角度１７０２よりも大きい角度１７０５を射影行列に設定した場合には、本来あるべき範囲よりも広範囲の領域を、同じ表示サイズにマッピングすることになる。これにより、水平方向に圧縮されるかのごとく座標変換され、画像１７０６を生成して、生成された画像１７０６と実景色１７０１との重畳表示により、自車両３０１からは重畳表示画像１７０７のように自車両３０１の運転者に見える。３次元モデルである死角領域だけ圧縮されて、自車両３０１から見た実景色よりも縮小されて、表示が広範囲にされるものとなされて、結果としてより広範囲の死角領域の安全性を確認できる。
そして、図２１においては、交差点１７００における大きい角度１７０５の範囲には、人物１７００ａ及び車１７００ｂが含まれているが、交差点１７００における小さい角度１７０２の範囲には人物１７００ａだけが含まれ、車１７００ｂは含まれないものとなっている場合について示している。このため、大きい角度１７０５が設定された場合における図２１右の画像１７０６、重畳表示画像１７０７（画像１７０７）には、人物１７００ａに対応する画像と車１７００ｂに対応する画像との両者が含まれる一方で、小さい角度１７０２が設定された場合における、図２１左の画像１７０３、１７０４には、人物１７００ａに対応する画像は含まれるが、車１７００ｂに対応する画像は含まれない。こうして、図２１右の画像１７０６では、死角領域だけ圧縮された表示がされて、人物１７００ａ、車１７００ｂの両者が表示され、死角領域の十分広い範囲が表示される。
表示部１０８は、座標変換後の奥行き値に応じてディスプレイ座標に死角領域対応点のピクセル色を割り付ける。座標変換後のディスプレイ座標（Ｘ，Ｙ）が一致する場合、死角領域に存在する対象物を、自車両３０１の視点から見たときには、同じ方向に見えていることを意味する。そのため、奥行き値が最も小さくなる、すなわち自車両３０１から、最も近い対象物の色を割り付けることで、自然な自車両視点の死角領域画像を生成することができる。
図１７〜図１８は、実施の形態１における自車両３０１（図３等）を運転する運転者から見たときの表示イメージを示す図である。
通常表示では、図１７のようになっており、走行中の道路の壁１４００に遮られ死角ができてしまう。実施の形態１における運転者から見たときの表示は、図１８のようになり、表示画面範囲１４０２内においては本来死角になって見えない歩行者１４０３や車両１４０４を違和感なく見ることができる。
ここで、ディスプレイは、光学シースルーＨＭＤ等でもよいし、ビデオシースルーＨＭＤや不透明ディスプレイであってもよい。
ここで、図１７〜図１８は、一例として、ディスプレイが、光学シースルーＨＭＤである場合を例示している。表示するディスプレイ１０８ａが、光学シースルーＨＭＤなどのように実風景が透けているものの場合には、ユーザは、実風景が見える。この場合、表示部１０８は、死角にある対象物である歩行者１４０３や車両１４０４を、ディスプレイ１０８ａに表示させることによって、ユーザが見る実風景である走行中の道路の壁１４００等（図１７参照）に、表示させるそれら歩行者１４０３や車両１４０４を重畳表示させる。
次に、ディスプレイがビデオシースルーＨＭＤや不透明ディスプレイの場合における変形例を説明する。
図１２は、変形例の死角表示装置１Ｂを示す図である。
上述した図１７〜図１８における、表示するディスプレイ１０８ａが、光学シースルーＨＭＤなどのように実風景が透けている場合には、ピクセル色をそのままディスプレイに表示すればよいが、ディスプレイがビデオシースルーＨＭＤや不透明ディスプレイの場合、ピクセル色をそのまま表示すると実風景が見えなくなる。図１２は自車両視点画像生成部９０９を追加した場合の死角表示装置１（以下、死角表示装置１Ｂと呼ぶ）の構成を示すブロック図である。図１２のように、実施の形態１の構成に自車両視点からの映像を撮影する自車両視点画像生成部９０９を加えたときに、表示部９０８が、ディスプレイ座標に割り付ける死角領域対応点のピクセル色と、自車両視点画像生成部９０９が生成する画像内の前記ディスプレイ座標に対応するピクセル色とを半透過合成してディスプレイ上に表示するようにしても構わない。自車両３０１に設置した前方を撮影するカメラが自車両視点画像生成部９０９の一例である。すなわち、自車両から前方を撮影した通常のカメラ映像に、座標変換で生成した死角領域の対象物のピクセル色を半透明合成することにより、死角を構成する交差点の状況と死角で見えない領域の状況とを一目で直感的に把握することができる。
図２３は、ビデオシースルーＨＭＤや、不透明ディスプレイであるディスプレイ１０８Ｆａが表示した表示画面１４０２Ｆを示す図である。この場合、表示部１０８は、死角にある対象物である歩行者１４０３Ｆや車両１４０４Ｆをディスプレイ１０８Ｆａに表示させると共に、自車両視点画像生成部９０９（図１７〜図１８）により撮影された自車両視点からの映像もディスプレイ１０８Ｆａに表示させる。図２３では、そのような、表示部１０８が表示させる自車両視点画像生成部９０９の映像の一部である壁１４００Ｆ、画像生成部１４０１Ｆを図示している。表示部１０８は、こうして、死角にある対象物である歩行者１４０３Ｆや車両１４０４Ｆと共に、自車両視点画像生成部９０９により撮影された壁１４００Ｆ等もディスプレイ１０８Ｆａに表示させる。これにより、確実に正しく、表示される歩行者１４０３Ｆ等の対象物を運転者が把握でき、より高い安全性を実現することができる。
なお、不透明ディスプレイとしては、自車両３０１のフロントガラス上に表示をするものを用いてもよい。
また、実施の形態１に自車両視点画像生成部９０９を加えた構成の場合（図１２の場合）には、表示部９０８は自車両３０１と交差点との距離に応じて死角領域の透過度を変化させても構わない。すなわち、例えば、全周囲画像に映り込んだ自車両３０１の画像内での位置と領域を検索し、死角領域対応点のディスプレイ座標に割り付けるピクセル色と、自車両視点画像生成部９０９が生成した画像内の前記ディスプレイ座標に対応するピクセル色とを半透過する際の透過度を、自車両の領域の大きさに応じて変えてもよい。さらに、実施の形態１に自車両視点画像生成部９０９を加えた構成の場合には、表示部９０８は、他車両、歩行者と交差点の距離に応じて死角領域の透過度を変化させても構わない。すなわち、全周囲画像に映り込んだ自車両以外の車両、歩行者等の画像内での位置と領域を検索し、死角領域対応点のディスプレイ座標に割り付けるピクセル色と自車両視点画像生成部９０９が生成した画像内の前記ディスプレイ座標に対応するピクセル色とを半透過する際の透過度を自車両以外の車両、歩行者等の大きさに応じて変えても構わない。
図２４は、死角表示装置１が行う処理の流れを示すフローチャートである。死角表示装置１は、このフローチャートにより各工程が示される死角表示方法を実行する。また、死角表示装置１の全周囲画像生成部１００や選択部１０１などの各部は、このフローチャートにより示される流れの順序で働く。図２４のフローチャートを参照して、各機能が働く順序、各機能の間の関係を詳しく説明する。
ステップＳ１では、複数の全周囲画像生成部１００が、互いに異なる位置から全周囲画像２０１を撮像する。
ステップＳ２では、選択部１０１が、ステップＳ１で各全周囲画像生成部１００により撮像された全周囲画像２０１のうちから、車両側１ｂに利用させる全周囲画像２０１を選択し、換言すれば、利用をさせる全周囲画像２０１の全周囲画像生成部１００を選択する。ここで、選択部１０１は、複数の全周囲画像２０１を選択し、したがって複数の全周囲画像生成部１００を選択する。
ステップＳ３では、全周囲画像格納部１０２が、ステップＳ２で選択部１０１により選択された複数の全周囲画像２０１を選択部１０１から取得し、取得した複数の全周囲画像２０１を格納する。
ステップＳ４及びステップＳ５では、死角領域モデル生成部１０９が、ステップＳ２で全周囲画像格納部１０２に格納された全周囲画像２０１に基づいて、交差点の死角領域にある対象物の３次元座標位置を計算する。ここで、死角領域モデル生成部１０９は、複数の全周囲画像２０１のなかに、その対象物が映り込んだ各映り込み画像に基づいて、その対象物の３次元座標位置を計算する。
ステップＳ４では、死角領域モデル生成部１０９における死角領域対応点検索部１０３が、全周囲画像２０１のうちの、死角領域対応点を特定する（図４、図５参照）。
ステップＳ５では、死角領域モデル生成部１０９における死角領域位置座標算出部１０４が、先にステップＳ４で死角領域対応点検索部１０３により特定された死角領域対応点に基づいて、その死角領域対応点を有する対象物の３次元位置座標を計算する（図６、図７参照）。
つまり、死角領域モデル生成部１０９は、死角領域対応点検索部１０３により死角領域対応点を特定すると共に（ステップＳ４）、特定された死角領域対応点に基づいて対象物の３次元位置座標を、死角領域位置座標算出部１０４により計算する（ステップＳ５）。
ステップＳ６、ステップＳ７では、自車両モデル生成部１１０が、全周囲画像格納部１０２に格納された複数の全周囲画像２０１に基づいて、自車両３０１の３次元座標位置を計算する。ここで、自車両モデル生成部１１０は、自車両３０１が複数の全周囲画像２０１に映り込んだ各映り込み画像に基づいて、この計算を行う。
ステップＳ６では、自車両モデル生成部１１０における自車両対応点検索部１０５が、全周囲画像２０１のうちの、自車両対応点を特定する（図８、図９参照）。
ステップＳ７では、自車両モデル生成部１１０における自車両位置座標算出部１０６が、先にステップＳ６で自車両対応点検索部１０５により特定された自車両対応点に基づいて、自車両の３次元座標位置を計算する（図１１参照）。
つまり、自車両モデル生成部１１０は、自車両対応点検索部１０５により、自車両対応点を特定すると共に（ステップＳ６）、自車両位置座標算出部１０６により、特定された自車両対応点に基いた自車両３０１の３次元座標位置を計算する。
なお、これら、ステップＳ６およびステップＳ７の処理が実行される実行順序は、図２４に図示される順序でなくともよい。すなわち、ステップＳ６およびステップＳ７の実行順序は、例えば、ステップＳ４およびステップＳ５の実行順序の後でなくてもよく、ステップＳ４およびステップＳ５の実行順序の前、つまり、ステップＳ３とステップＳ４との間における実行順序で実行されてもよい。また、ステップＳ６およびステップＳ７の処理の一部又は全部は、ステップＳ４およびステップＳ５の処理の一部又は全部に対して、同時に行われてもよい。例えば、ステップＳ６およびステップＳ７の処理の一部等は、ステップＳ４およびステップＳ５の処理の一部等に対して並列に行われたり、並行に行われたりしてもよい。
ステップＳ８では、自車両視点座標変換部１０７が、先にステップＳ５で死角領域モデル生成部１０９により計算された対象物の３次元座標位置を、ステップＳ７で自車両位置座標算出部１０６により算出された自車両３０１の３次元座標位置からその対象物の３次元座標位置を見た際におけるディスプレイ座標に変換する。ここで、変換されたディスプレイ座標は、具体的には、自車両３０１の３次元座標位置からの相対的な座標により、対象物の３次元座標位置を特定する相対座標である。
ステップＳ９では、表示部１０８が、死角領域にある対象物の表示を行い、先にステップＳ８で自車両視点座標変換部１０７がした変換により生成されたディスプレイ座標を用いて図１７〜図１８（ないし図２３）の表示を行う。
こうして、自車両３０１に設けられて、自車両３０１からは見えない死角の情報を表示する死角表示装置１であって、互いに異なる３次元座標位置から撮像された複数の全周囲画像２０１（図２）を格納する全周囲画像格納部１０２と、複数の全周囲画像に映り込んでいる、死角にある対象物の各映り込み画像（図４の全周囲画像４０２、４０３に映り込んだ対象物４０１の各映り込み画像、及び、図６における全周囲画像５０３、５０４に映り込んだ対象物５０７（図６）の各映り込み画像を参照）に基づいて、当該対象物の３次元座標位置を計算する死角領域モデル生成部１０９（図１、図１９）と、複数の全周囲画像に映り込んでいる、自車両３０１の各映り込み画像（図８の全周囲画像６０２、６０３に映り込んだ、自車両３０１の各映り込み画像、及び、図１１における全周囲画像８０３、８０４、８０６に映り込んだ自車両３０１の各映り込み画像参照）に基づいて、自車両３０１の３次元座標位置を計算する自車両モデル生成部１１０と、死角領域モデル生成部１０９により計算された前記対象物の位置を、自車両モデル生成部１１０により計算された自車両３０１の位置に対する相対的なディスプレイ座標に変換する自車両視点座標変換部１０７と、前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示部１０８とを備える死角表示装置１が実現できる。
以上のように、本発明の実施の形態１による死角表示装置１によれば、本来ドライバから見えない交差点死角領域を２つの全周囲画像生成部で生成した全周囲画像からドライバから見たような画像に３次元変換するとともに、当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、交差点の死角領域の状況をドライバ視点から違和感なく見ることができる。
なお、この死角表示装置１によれば、死角にある対象物の３次元位置座標が計算されるもととなる全周囲画像２０１に基づいて、自車両３０１の３次元座標位置も計算され、全周囲画像２０１を複数の計算に併用する簡単な構成にできる。これにより、簡単な構成で、高精度のドライバ視点位置を算出でき、ひいては、交差点の死角領域の状況を簡単な構成でドライバ視点から違和感なく見ることができる。
（実施の形態２）
図１３は、本発明の実施の形態２による死角表示装置１Ｃの構成を示すブロック図である。死角表示装置１Ｃは、全周囲画像を取得する全周囲画像生成部１００が異なる３次元位置座標に複数設置された交差点において、交差点側１Ｃａは選択部１００１を備え、各車両側１Ｃｂは全周囲画像格納部１０２、死角領域対応点検索部１００３、左側死角領域対応点検索部１００４、右側死角領域対応点検索部１００５、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８をそれぞれ備える。なお、このうち、全周囲画像生成部１００、全周囲画像格納部１０２、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８は、実施の形態１の振る舞いと同等である。
死角領域対応点検索部１００３の構成要素である左側死角領域対応点検索部１００４は、全周囲画像格納部１０２にある２つの全周囲画像あるいは全周囲画像の一部領域に対して自車両３０１の進行方向に対して左側の死角領域内の同一対象点を検索し、画像上の死角領域対応点とする。
死角領域対応点検索部１００３の構成要素である右側死角領域対応点検索部１００５は、全周囲画像格納部１０２にある２つの全周囲画像あるいは全周囲画像の一部領域に対して自車両３０１の進行方向に対して右側の死角領域内の同一対象点を検索し、画像上の死角領域対応点とする。
選択部１００１は、交差点に複数設置された全周囲画像生成部のうちで、交差点に進入する自車両３０１からは見えない死角領域と自車両３０１とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し２つの全周囲画像あるいは全周囲画像の一部領域を全周囲画像格納部１０２にネットワークを介して転送する。
なお、左側死角領域対応点検索部１００４、右側死角領域対応点検索部１００５、自車両対応点検索部１０５で使用する２つの全周囲画像は、他方の全周囲画像の２つの全周囲画像とは異なる２つの全周囲画像であっても構わない。
図１４は、図１３に示した選択部１００１を説明する図である。
左側死角領域対応点検索部１００４（図１３）には、全周囲画像生成部１１０２、１１０４を選択して、全周囲画像１１０６、１１０８を全周囲画像格納部１０２（図１３）から取得し、右側死角領域対応点検索部１００５は、全周囲画像生成部１１０３、１１０５を選択して、全周囲画像１１０７、１１０９を全周囲画像格納部１０２から取得し、自車両対応点検索部１０５は、全周囲画像生成部１１０２、１１０３を選択し、全周囲画像１１０６、１１０７を全周囲画像格納部１０２から取得しても構わない。
また、自車両３０１から、死角となる領域（交差点死角領域１１１０、交差点死角領域１１１１）が交差点中心から離れている場合、例えば自車両３０１から見て左側に位置する交差点死角領域１１１０の対応点検索における精度は、その死角領域により近い全周囲画像生成部１１０２、１１０４を選択する方が、全周囲画像生成部１１０２、１１０３を選択するよりも高くなり、最終的により歪みの少ない画像を生成できる。これは、全周囲画像生成部１１０４の方が、全周囲画像生成部１１０３より左側に位置する死角領域が大きく映り込んでいるためである。同様に、自車両３０１から見て右側に位置する交差点死角領域１１１１の対応点検索の精度も、全周囲画像生成部１１０３、１１０５を選択するのが最も高くなる。すなわち、選択部１００１が、交差点から距離が離れている左側の死角領域に関する左側死角領域対応点検索部１００４には自車両の進行方向Ａに対して左側に存在する２つの全周囲画像生成部を選択し、交差点から距離が離れている右側の死角領域に関する右側死角領域対応点検索部１００５には自車両の進行方向Ａに対して右側に存在する２つの全周囲画像生成部を選択しても構わない。
以上のように、本発明の実施の形態２による死角表示装置１Ｃによれば、本来ドライバから見えない交差点死角領域のうち自車両の進行方向Ａに対して左側の交差点死角領域と右側の交差点死角領域をそれぞれ異なる２つの全周囲画像を用いてドライバ視点画像に３次元変換するとともに、当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、歪みの少ないドライバ視点画像を生成することができ、交差点の死角領域の状況をドライバ視点から違和感なく見ることができる。
なお、このような、死角表示装置１Ｃであれば、より歪みの少ない全周囲画像が車両側１Ｃｂに利用されるようにできる。
なお、左側に位置する交差点死角領域１１１０は、自車両３０１が交差点を左折した場所の死角領域である。また、右側に位置する交差点死角領域１１１１は、自車両３０１が交差点を右折した場所にある死角領域である。
（実施の形態３）
図１５は、本発明の実施の形態３による死角表示装置１Ｄの構成を示すブロック図である。死角表示装置１Ｄは、全周囲画像を取得する全周囲画像生成部１００が異なる３次元位置座標に複数設置された交差点において、交差点側１Ｄａは全周囲画像保持部１２０１、全周囲差分画像生成部１２０２、選択部１２０３を備え、各車両側１Ｄｂは、全周囲画像格納部１０２、死角領域対応点検索部１２０５、左側死角領域対応点検索部１２０６、右側死角領域対応点検索部１２０７、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８を各々備える。このうち、全周囲画像生成部１００、全周囲画像格納部１０２、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８は実施の形態１の振る舞いと同等である。
全周囲画像保持部１２０１は、全周囲画像生成部１００が生成した全周囲画像を保持する。全周囲画像保持部１２０１は、保持するタイミングに関しては特に制限を持たない。つまり、全周囲画像生成部１００が全周囲画像を生成するたびに更新するのか、本発明の死角表示装置１Ｄの設置時にだけ更新するのかは問わない。
全周囲差分画像生成部１２０２は、全周囲画像保持部１２０１が保持する全周囲画像と、全周囲画像生成部１００が生成する全周囲画像との差分画像を生成する。全周囲画像保持部１２０１に移動体などが映り込んでいない状態の全周囲画像が保持されているとすれば、当該差分画像により移動体の存在及び移動体の移動速度を検出することができる。
選択部１２０３は、全周囲差分画像生成部１２０２が生成した差分画像から自車両３０１以外の車両や歩行者といった移動体を検出し、検出結果に基づいて実施の形態１のように選択した２つの全周囲画像もしくは複数の全周囲画像の一部領域を全周囲画像格納部１０２に転送するか否かを決定する。例えば、自車両３０１以外の移動体を検出した場合のみ転送するようにしても構わない。また、自車両３０１以外の移動体を検出し、かつ当該移動体がある一定以上の速度で移動している場合のみ転送するようにしても構わない。また、自車両３０１以外の移動体を検出した場合、当該移動体が交差点に向かって進入してくる方向に関する交差点死角領域（図１４の交差点死角領域１１１０、交差点死角領域１１１１）を判定し、自車両３０１の進行方向に対して左側から進入してくるのであれば左側死角領域対応点検索部１２０６及び自車両対応点検索部１０５だけが全周囲画像格納部１０２から取得するようにし、自車両３０１の進行方向に対して右側から進入してくるのであれば右側死角領域対応点検索部１２０７及び自車両対応点検索部１０５だけが全周囲画像格納部１０２から取得するようにしても構わない。
以上のように、本発明の実施の形態３による死角表示装置１Ｄによれば、自車両３０１以外の移動体を検出するための差分画像を用いることで、交差点付近に移動体が存在していたり交差点に移動体が高速に進入してくるなどの危険な状況の場合のみ、本来ドライバからは見えない交差点死角領域を２つの全周囲画像を用いてドライバ視点画像に３次元変換するとともに当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、交差点の死角領域の状況をドライバ視点から違和感なく見ることができ、危険状況をドライバに直感的に知らせることができる。
（実施の形態４）
図１６は、本発明の実施の形態４による死角表示装置１Ｅの構成を示すブロック図である。死角表示装置１Ｅは、全周囲画像を取得する全周囲画像生成部１３００が異なる３次元位置座標に複数設置された交差点において、各車両側１Ｅｂはそれぞれ、全周囲画像格納部１３０１、選択部１３０２、死角領域対応点検索部１３０３、死角領域位置座標算出部１０４、自車両対応点検索部１３０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８を備える（図２０参照）。このうち、死角領域位置座標算出部１０４、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８は、実施の形態１の振る舞いと同等である。
全周囲画像生成部１３００は、設置された３次元位置座標を中心とする全周囲画像を生成し、ネットワークを介し、全周囲画像格納部１３０１へ転送する。
全周囲画像格納部１３０１は、ネットワークを介し送られてきた全周囲画像を格納し、必要に応じて選択部１３０２に転送する。
選択部１３０２は、交差点に複数設置された全周囲画像生成部１３００のうち、交差点に進入する自車両３０１からは見えない死角領域と自車両３０１とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し、死角領域対応点検索部１３０３と自車両対応点検索部１３０５へ転送する。
死角領域対応点検索部１３０３は、選択部１３０２で選択した２つの全周囲画像生成部１３００が生成した全周囲画像に映り込んでいる死角領域内の同一対象物を検索し、画像上の死角領域対応点とする。
自車両対応点検索部１３０５は、選択部１３０２で選択した２つの全周囲画像生成部１３００が生成した全周囲画像に映り込んでいる自車両３０１を検索し、画像上の自車両対応点とする。
以上のように、本発明の実施の形態４による死角表示装置１Ｅによれば、本来ドライバから見えない交差点死角領域を３次元生成する際にどの全周囲画像から計算するかを車両側１Ｅｂに持たせることにより、インフラ側である交差点側に設置する装置のコストを低減することができる。言うまでもないことだが、実施の形態２、３の構成と組み合わせることは可能である。
なお、次のような形態をとってもよい。そして、上述した各実施の形態は、それぞれ、以下で示す他の形態の一部又は全部を付け加えてもよい。
（Ａ）共通領域が撮像された部分が少なくとも一部に含まれ、当該共通領域の少なくとも一部には道路がある、複数の画像生成部により互いに異なる位置から撮像された複数の撮像画像を取得する全周囲画像格納部と、
前記複数の撮像画像に、当該死角表示装置が設けられた自車両が映り込んだ各映り込み画像（図８のピクセルＰ２、ピクセルＰ３）をそれぞれ特定する自車両映り込み画像特定部と、
前記複数の撮像画像に、当該自車両からは見えない死角にある対象物が映り込んだ各映り込み画像（図６の死角領域対応点５０５及び死角領域対応点５０６、図４のピクセルＰ０及びピクセルＰ１参照）をそれぞれ特定する対象物映り込み画像特定部と、
当該複数の撮像画像に映り込んだ映り込み物の位置を、当該映り込み物が当該複数の撮像画像に映り込んだ各映り込み画像に基づいて特定する位置特定部と、
前記自車両映り込み画像特定部により特定された、自車両の前記各映り込み画像に基づいて、前記位置特定部を用いて、当該自車両の位置を計算する自車両モデル生成部と、
前記対象物映り込み画像特定部により特定された、前記対象物の各映り込み画像に基づいて、前記位置特定部を用いて、当該対象物の位置を計算する死角領域モデル生成部と、
前記死角領域モデル生成部により計算された前記対象物の位置を、前記自車両モデル生成部により計算された前記自車両の位置に対する相対的なディスプレイ座標に変換する自車両視点座標変換部と、
前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示部とを備える死角表示装置、の形態をとってもよい。
なお、自車両映り込み画像特定部は、自車両モデル生成部（上述した各実施の形態における各自車両モデル生成部１１０等）が備えてもよい。また、対象物映り込み画像特定部は、死角領域モデル生成部（上述した各実施の形態における死角領域モデル生成部１０９等）が備えるものとしてもよい。また、位置特定部は、自車両モデル生成部が備える、自車両の位置を特定するための第１の位置特定部と、死角領域モデル生成部が備える、対象物の位置を特定するための第２の位置特定部とが含まれるものとしてもよい。
自車両から見えない死角は、例えば、より具体的には、自車両にいるユーザ（運転者）から見えない死角である。
（Ｂ）前記自車両映り込み画像特定部は、
自車両の外観を記憶する自車両外観記憶部と、
当該自車両外観記憶部に記憶された前記外観が撮像画像に現れる領域の画像を、前記自車両の映り込み画像として特定する特定部とを備えるものとしてもよい。
また、前記自車両映り込み画像特定部は、
自車両がある位置が含まれる範囲と、当該範囲に対応する撮像画像の領域とを対応付ける対応関係を記憶する記憶部と、
当該自車両が有するＧＰＳ装置から、前記位置特定部により特定される位置よりも大まかに当該自車両の位置を特定することにより、自車両がある位置が含まれる範囲を特定する範囲情報を取得する範囲情報取得部と、
前記範囲情報取得部により取得された範囲情報が特定する範囲に前記対応関係が対応付ける撮像画像の領域の画像（又は当該画像の予め定められた部分）を、前記自車両の画像として特定する特定部とを備えるものとしてもよい。
（Ｃ）前記対象物映り込み画像特定部は、前記撮像画像のうちで前記自車両映り込み画像特定部により特定された自車両の映り込み画像の内容と、当該自車両の映り込み画像以外の当該撮像画像の内容とを画像解析して、例えば当該自車両から当該死角を見えなくする障害物の映り込み画像を特定してもよい。そして、前記対象物映り込み画像特定部は、特定された当該障害物の映り込み画像と、自車両の映り込み画像とに対応する死角の映り込み画像を特定し、特定される当該死角の映り込み画像に含まれる映り込み物の映り込み画像を特定して、当該撮像画像に映り込んだ前記対象物の映り込み画像を特定するものとしてもよい。
（Ｄ）前記対象物映り込み画像特定部は、自車両の位置と、当該位置の自車両から見た死角が撮像画像に映り込む領域とを対応付ける対応関係を記憶する記憶部を備え、前記自車両モデル生成部が前記計算で前記位置特定部に特定させるなどした、当該自車両位置特定部により特定された自車両の位置に当該対応関係が対応付ける領域にある映り込み画像を、前記対象物の映り込み画像と特定するものとしてもよい。
また、前記対象物映り込み画像特定部は、自車両の位置が含まれる範囲と、当該範囲にある自車両から見た死角が撮像画像に写り込む領域とを対応付ける対応関係を記憶する記憶部を備え、当該自車両が有するＧＰＳ装置から取得するなどした範囲情報が特定する範囲に当該対応関係が対応させる領域にある映り込み画像を、前記対象物の映り込み画像と特定するものとしてもよい。
（Ｅ）前記位置特定部は、
前記複数の撮像画像における、映り込み物が映り込んだ各映り込み画像の箇所と、当該各箇所に各映り込み画像を映り込ませた当該映り込み物の位置とを対応付ける対応関係を保持する保持部と、
前記対象物映り込み画像特定部により特定された対象物の各映り込み画像が映り込んだ各箇所に対して、前記対応関係が対応付ける位置を、当該対象物の位置として特定する処理部とを備えるものとしてもよい。
なお、撮像画像における箇所と、当該映り込み物の位置とを対応付ける前記対応関係は、例えば、映り込み物が映り込んだ前記複数の撮像画像が撮像された前記複数の画像生成部の各位置が含まれてもよい。この場合、処理部は、例えば、当該対応関係が対応付ける位置を特定することによって、それらの各位置から撮像画像が撮像された場合に、当該各箇所に映り込み画像を写り込ませる位置を、当該各映り込み画像を映り込ませた映り込み物の位置と特定するものとしてもよい。前記対応関係は、各画像生成部により撮像画像が撮像された各撮像方向が含まれてもよいし、複数の画像生成部の位置の間の相対的な位置関係が含まれるものとしてもよいし、前述した各撮像方向の間の相対的な角度などの、相対的な関係が含まれるものとしてもよい。
（Ｆ）前記表示部は、車両視点画像生成手段により撮影された、自車両の視点からの自車両視点画像における、当該ディスプレイ座標により特定される前記対象物の箇所に、当該対象物を示す情報を加えた情報付加画像を自車両の運転者に表示するものとしてもよい。前記表示部は、この表示により、ディスプレイ座標をユーザに表示するものとしてもよい。
また、前記表示部は、例えばホログラムや光学シースルーＨＭＤなどの実画像中描画手段を用いることによって、運転者が見る自車両の視点からの実画像のなかに、前記ディスプレイ座標が示す当該実画像における箇所において、前記対象物を示す情報を表示させるものとしてもよい。
以上（Ａ）〜（Ｆ）で説明した他の形態における一部又は全部を上記各実施の形態に付け加えて、それぞれ、各実施の形態を実施してもよい。なお、自車両映り込み画像特定部を構成する要素のうちの一部のみを付け加えるなどしてもよく、例えば、自車両映り込み画像特定部の機能の一部のみを付け加えてもよい。
また、続けて、以下の説明が行われる。以下の説明においては、すでに上記で説明された内容については、適宜説明が省略される。
図２５は、差分画像の処理をする図１０の死角表示装置１Ａ（図１５の死角表示装置１Ｄ）が行う処理のフローチャートである。
先述のように、死角表示装置１Ａは、複数の全周囲画像保持部７０１（図１５における複数の全周囲画像保持部１２０１）と、複数の全周囲差分画像生成部７０２（図１５における複数の全周囲差分画像生成部１２０２）と、選択部１０１とを備える。
そして、複数の全周囲画像保持部７０１は、それぞれ、対応する全周囲画像生成部１００により撮像される全周囲画像に背景差分法の処理をするための全周囲画像を保持する。
そして、複数の全周囲差分画像生成部７０２は、それぞれ、対応する全周囲画像生成部１００により撮像される全周囲画像と、対応する全周囲画像保持部７０１に保持される全周囲画像とについて、背景差分法の処理を行う。すなわち、全周囲差分画像生成部７０２は、撮像された全周囲画像と、全周囲画像保持部７０１に保持される全周囲画像との差分画像を生成する。
そして、選択部１０１は、複数の全周囲差分画像生成部１２０２により生成された各差分画像から、死角領域モデル生成部１０９により処理される各画像を選択する。また、選択部１０１は、生成された各差分画像から、自車両モデル生成部１１０により処理される各画像を選択する。選択部１０１は、選択された死角領域モデル生成部１０９の各画像（差分画像）と、自車両モデル生成部１１０の各画像を車両側１Ａｂへと転送して、全周囲画像格納部１０２に格納させる。
ステップＳ２５１〜ステップＳ２５５の処理は、図２４におけるステップＳ１〜ステップＳ３の処理に対応する処理である。そして、死角表示装置１Ａは、図２５のステップＳ２５１〜ステップＳ２５５の処理の後に、図２４のステップＳ４〜Ｓ９の処理と同様の処理を行う。なお、この点は、図２５では、詳しい図示が省略される。
ステップＳ２５１では、複数の全周囲画像生成部１００がそれぞれ全周囲画像を撮像する。
ステップＳ２５２では、複数の全周囲差分画像生成部７０２が、それぞれ、対応する全周囲画像保持部７０１に保持される全周囲画像を、その全周囲画像保持部７０１から読み出す。
ステップＳ２５３では、複数の全周囲差分画像生成部７０２が、それぞれ、対応する全周囲画像生成部１００によりステップＳ２５１で生成された全周囲画像と、対応する全周囲画像保持部７０１からステップＳ２５２で読み出された全周囲画像とから、それら２つの全周囲画像の差分画像を生成する。
ステップＳ２５４では、選択部１０１が、ステップＳ２５３で生成された各差分画像のうちからの画像の選択を行う。
ステップＳ２５５では、選択部１０１が、ステップＳ２５４で選択した各画像を車両側１Ａｂに転送し、転送する各画像を全周囲画像格納部１０２に格納させる。
図２６は、図１２の死角表示装置１Ｂが行う処理のフローチャートである。
先述のように、死角表示装置１Ｂは、自車両視点画像生成部９０９と、表示部９０８とを備える。
そして、自車両視点画像生成部９０９は、自車両視点座標変換部１０７により変換されたディスプレイ座標（図２４のステップＳ１〜Ｓ８参照）の位置を自車両３０１から見た自車両視点画像を生成する。具体的には、自車両視点画像生成部９０９は、例えば、自車両３０１の位置から、ディスプレイ座標の位置の方向を撮像するカメラである。なお、自車両視点画像生成部９０９は、単に、自車両３０１の前方を撮像するものであってもよい。つまり、自車両視点画像生成部９０９は、自車両３０１の前方にディスプレイ座標の位置が含まれる場合にのみ、自車両視点画像を撮像し、自車両３０１の前方にディスプレイ座標の位置が含まれない場合には、単なる前方の画像を撮像するに過ぎないものとしてもよい。
そして、表示部９０８は、自車両視点画像生成部９０９により生成された自車両視点画像における、自車両視点座標変換部１０７により算出された上記ディスプレイ座標の箇所に、予め定められた表示を挿入した画像を生成し、生成された画像を表示する。ここで、その箇所に挿入される上記表示は、上記ディスプレイ座標が算出された際に、死角領域対応点検索部１０３により対応点が特定された対象物の位置を示す。つまり、付加される表示は、その位置に、その対象物があることを示す。
図２３により、自車両視点画像生成部９０９を有する図１２の死角表示装置１Ｂの表示部１０８Ｆが表示させる表示画面１４０２Ｆが示される。
表示部１０８Ｆは、例えば、表示画面１４０２Ｆが表示されるディスプレイ１０８Ｆａを含む。ディスプレイ１０８Ｆａは、例えば、液晶ディスプレイ装置であってもよい。
表示画面１４０２Ｆは、歩行者１４０３Ｆ、車両１４０４Ｆ、壁１４００Ｆおよび画像生成部１４０１Ｆを含む。歩行者１４０３Ｆおよび車両１４０４Ｆは、それぞれ、上記される、対象物を示す、挿入された表示である。他方、壁１４００Ｆおよび画像生成部１４０１Ｆは、挿入された表示ではなく、予め定められた表示が挿入される前から自車両視点画像に含まれる画像である。つまり、壁１４００Ｆ等は、実際にユーザにより自車両３０１から見られる画像と同じ内容の画像である。
ステップＳ２６１（図２６）では、死角表示装置１Ｂは、図２４のステップＳ１〜Ｓ８の処理を行う。これにより、死角表示装置１Ｂが有する自車両視点座標変換部１０７が、対象物のディスプレイ座標を算出する。
ステップＳ２６２では、自車両視点画像生成部９０９が、自車両視点画像を生成する。
ステップＳ２６３では、表示部１０８Ｆが、ステップＳ２６２で生成された自車両視点画像における、ステップＳ２６１で算出されたディスプレイ座標の箇所に、上記される、対象物の表示を挿入する。
ステップＳ２６４では、表示部１０８Ｆが、ステップＳ２６３で対象物の表示が挿入された後の画像を、ディスプレイ１０８Ｆａに表示させる。
図２７は、死角領域対応点検索部１００３が、左側死角領域および右側死角領域に各々対応する２つの互いに異なる部分を有する図１３の死角表示装置１Ｃ（図１５の死角表示装置１Ｄ）の処理のフローチャートである。
先述のように、死角表示装置１Ｃは、選択部１００１（選択部１２０３）と、死角領域対応点検索部１００３（死角領域対応点検索部１２０５）とを備える。そして、死角領域対応点検索部１００３は、左側死角領域対応点検索部１００４（左側死角領域対応点検索部１２０６）と、右側死角領域対応点検索部１００５（右側死角領域対応点検索部１２０７）とを備える。
選択部１００１は、自車両３０１からその進行方向を見た際の、進行方向よりも左側の死角領域（図１４における左側の交差点死角領域１１１０）の対象物の処理に適する各全周囲画像を選択し、選択された各全周囲画像を、全周囲画像格納部１０２に格納させる。また、選択部１００１は、右側の死角領域の対象物の処理に適する各全周囲画像も選択して、全周囲画像格納部１０２に格納させる。
左側死角領域対応点検索部１００４は、全周囲画像格納部１０２から、選択部１００１により選択された、左側の死角（図１４における右側の交差点死角領域１１１１）の各全周囲画像を取得する。そして、左側死角領域対応点検索部１００４は、取得された、左側の死角の各全周囲画像の死角領域対応点をそれぞれ特定する。
右側死角領域対応点検索部１００５は、全周囲画像格納部１０２から、右側の死角の各全周囲画像を取得し、取得された右側の死角の各全周囲画像の死角領域対応点をそれぞれ特定する。
死角領域対応点検索部１００３は、こうして、左側死角領域対応点検索部１００４および右側死角領域対応点検索部１００５により、左側の死角および右側の死角の死角領域対応点を特定する。
死角領域位置座標算出部１０４は、特定された左側の死角および右側の死角の死角領域対応点に基づいて、処理を行う。
ステップＳ２７１（図２７）と、ステップＳ２７２ａ及びステップＳ２７２ｂと、ステップＳ２７３とは、それぞれ、図２４におけるステップＳ２と、ステップＳ４と、ステップＳ５とで行われる。死角表示装置１Ｃは、図２７の処理を行うのに際して、図２４のステップＳ１，ステップＳ３などの処理と同様の処理もそれぞれ行う。図２７では、これらステップＳ１に対応する処理等のステップの図示は省略される。
ステップＳ２７１では、選択部１００１が、先に図１のステップＳ１に対応する処理で撮像された各全周囲画像のうちから、左側の死角の各全周囲画像、右側の死角の各全周囲画像をそれぞれ選択し、全周囲画像格納部１０２に格納させる。
ステップＳ２７２ａでは、左側死角領域対応点検索部１００４が、ステップＳ２７１で選択された左側の死角の各全周囲画像を全周囲画像格納部１０２から取得する。そして、左側死角領域対応点検索部１００４は、取得された左側の死角の各全周囲画像から、死角領域対応点を特定する。
ステップＳ２７２ｂでは、右側死角領域対応点検索部１００５が、ステップＳ２７１で選択された右側の死角領域の各全周囲画像を全周囲画像格納部１０２から取得して、死角領域対応点を特定する。
ステップＳ２７３では、死角領域位置座標算出部１０４が、ステップＳ２７２ａで特定された死角領域対応点、および、ステップＳ２７２ｂで特定された死角領域対応点から、左側の死角および右側の死角の各対象物の３次元位置座標をそれぞれ計算する。
図２８は、車両側１Ｅｂに選択部１３０２が設けられた図１６の死角表示装置１Ｅの処理を示すフローチャートである。
先述の通り、死角表示装置１Ｅは、全周囲画像格納部１３０１と、選択部１３０２とを備える。
そして、複数の全周囲画像生成部１３００は、それぞれ、撮像した全周囲画像を、車両側１Ｅｂが備える全周囲画像格納部１３０１に格納させる。
そして、選択部１３０２は、全周囲画像格納部１３０１に格納された各全周囲画像のうちから、死角領域モデル生成部１０９に利用させる各全周囲画像を選択する。また、選択部１３０２は、格納された各全周囲画像から、自車両モデル生成部１１０に利用させる各全周囲画像を選択する。
死角領域モデル生成部１０９は、選択部１３０２により当該死角領域モデル生成部１０９のために選択された各全周囲画像に基づいて処理を行う。
自車両モデル生成部１１０も、選択部１３０２により当該自車両モデル生成部１１０のために選択された各全周囲画像に基づいて処理を行う。
ステップＳ２８１（図２８）では、交差点側１Ｅａの複数の全周囲画像生成部１３００が、それぞれ、全周囲画像を生成する（図１８の左図参照）。
ステップＳ２８Ａ１では、複数の全周囲画像生成部１３００が、それぞれ、ステップＳ２８１で生成された全周囲画像を、車両側１Ｅｂの全周囲画像格納部１３０１に格納させる。
ステップＳ２８Ａ２では、車両側１Ｅｂの全周囲画像格納部１３０１が、交差点側１Ｅａの複数の全周囲画像生成部１３００がステップＳ２８Ａ１で格納させる各全周囲画像をそれぞれ、それら複数の全周囲画像生成部１３００から取得する（図１８の右図参照）。
ステップＳ２８２では、全周囲画像格納部１３０１が、ステップＳ２８Ａ２で取得された各全周囲画像を当該全周囲画像格納部１３０１に格納する。
ステップＳ２８３では、選択部１３０２が、ステップＳ２８２で格納された各全周囲画像からの全周囲画像の選択を行う。
ステップＳ２８Ｘでは、死角表示装置１Ｅは、ステップＳ２８３での選択の結果に基づいて、図２４のステップＳ４〜ステップＳ９の処理を行い、対象物の情報を表示する。
図２９は、複数の全周囲画像から、それら複数の全周囲画像にそれぞれ映り込み画像を映り込ませた映り込み物（例えば、図５に示される、死角にある対象物４０１、又は自車両３０１）の位置が算出される処理のフローチャートである。
死角表示装置１等は、図２４のステップＳ４およびステップＳ６の処理を行うのに際して、それぞれ、具体的には、例えば、図２４におけるステップＳ２９１〜Ｓ２９４の処理を行う。
ステップＳ２９１では、当該死角表示装置は、複数の全周囲画像のそれぞれにおける、その全周囲画像に映り込んだ映り込み画像（図４（ａ）のピクセルＰ０、ピクセルＰ１、図６の死角領域対応点５０５、死角領域対応点５０６、図８のピクセルＰ２、ピクセルＰ３）の箇所を特定する。
なお、ここで、映り込み画像は、１つの画素よりなる画像であってもよいし、例えば正方形に含まれる複数の画素などの複数の画素によりなるものとしてもよい。そして、映り込み画像は、例えば、対象物を表す複数の画素の全てよりなるものとしてもよい。
ステップＳ２９２では、当該死角表示装置は、ステップＳ２９１で特定された、映り込み物が移り込んだ各映り込み画像の箇所の間のズレ量を算出する。
ステップＳ２９３では、当該死角表示装置は、ステップＳ２９２で算出されるズレ量と、映り込み物の位置との対応関係を特定する関係データを、予め定められた記憶装置から読み出す。
ここで、この記憶装置は、例えば、当該死角表示装置自身であってもよいし、当該死角表示装置に設けられた予め定められた記憶装置であってもよいし、他の記憶装置であってもよい。
読み出される対応関係は、例えば、複数の全周囲画像生成部（例えば図１の各全周囲画像生成部１００）の位置が含まれてもよい。また、この対応関係は、例えば、図６に示される距離Ｂなどの他の適切なデータが含まれてもよい。
ステップＳ２９４では、当該死角表示装置は、ステップＳ２９２で算出されたズレ量に対して、ステップＳ２９３で読み出された関係データの対応関係が対応付ける位置を特定する。これにより、当該死角表示装置は、ステップＳ２９１で映り込んだ箇所が特定された映り込み物の位置を特定する。
そして、具体的には、当該死角表示装置は、この図２９の処理を行うことにより、対象物の位置を算出する。また、当該死角表示装置は、具体的には、この図２９の処理を行うことにより、自車両３０１の位置を算出する。
そして、具体的には、図２９のステップＳ２９１の処理は、例えば、死角表示装置１等における死角領域対応点検索部１０３、および自車両対応点検索部１０５などにより行われる。また、図２９のステップＳ２９２〜Ｓ２９４の処理は、例えば、死角領域位置座標算出部１０４、および自車両位置座標算出部１０６などにより行われる。
以上説明された実施形態のようにして、車両（自車両３０１）に設けられて、当該車両からは見えない死角の情報を表示する死角表示装置（死角表示装置１、死角表示装置１の車両側１ｂ、死角表示装置１Ａ等）であって、互いに異なる位置から撮像された複数の撮像画像を格納する画像格納部（例えば、全周囲画像格納部１０２）と、前記複数の撮像画像に映り込んでいる、対象物(死角にある対象物)の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所にそれぞれ映り込みをさせる位置を当該対象物の位置として算出する対象物モデル生成部（死角領域モデル生成部１０９）と、前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所に映り込みをさせる位置を前記車両の位置として算出する車両モデル生成部（自車両モデル生成部１１０）と、前記対象物モデル生成部により計算された前記対象物の位置を、前記車両モデル生成部により計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換部（自車両視点座標変換部１０７）と、前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示部（表示部１０８）とを備える死角表示装置が構成される。
この死角表示装置であれば、対象物の位置の計算のための複数の撮像画像と、自車両の位置の計算のための複数の撮像画像との２組の複数の撮像画像が必須ということが回避される。すなわち、1組の撮像画像のみから、簡単に、対象物の位置と、自車両の位置とが計算される。これにより、死角表示装置の構成を簡単にできる。
しかも、この表示装置であれば、例えば役所に設置された公共の撮像装置などの、容易に利用できる撮像装置の撮像画像を利用して、死角表示装置が構成できる。このため、より容易に、死角表示装置が構成できる。
そして、この死角表示装置は、例えば、映り込み物（自車両３０１、対象物）の各映り込み画像の箇所と、その映り込み物が現実世界で存在する位置との対応関係を記憶する記憶部を備えてもよい。そして、対象物モデル生成部等は、特定される各箇所に対して、記憶される対応関係が対応させる位置を算出して、算出される位置を、その映り込み物の位置と特定するものであってもよい。ここで、記憶される対応関係は、例えば、複数の撮像画像が撮像された位置、方向、撮像された範囲などの情報が含まれてもよい。
そして、この死角表示装置においては、具体的には、例えば、前記対象物モデル生成部は、２つの前記全周囲画像にそれぞれ映り込んでいる、前記対象物の対応する２点（図６の死角領域対応点５０５及び死角領域対応点５０６、図４のピクセルＰ０及びピクセルＰ１参照）を検索して、検索された２点を当該２つの全周囲画像上の対象物対応点と特定する対象物対応点検索部（死角領域対応点検索部１０３）と（図２９のステップＳ２９１参照）、対象物対応点と特定された２点のピクセル位置のずれから前記対象物の位置を計算する対象物位置座標算出部（死角領域位置座標算出部１０４）と（ステップＳ２９２〜Ｓ２９４参照）を備え、前記車両モデル生成部は、２つの前記全周囲画像にそれぞれ映り込んでいる、前記車両の対応する２点を検索して、検索された２点を当該２つの全周囲画像上の車両対応点と特定する車両対応点検索部（自車両対応点検索部１０５）と（ステップＳ２９１参照）、車両対応点と特定された２点のピクセル位置のずれから前記車両の位置を計算する車両位置座標算出部（自車両位置座標算出部１０６）と（ステップＳ２９２〜Ｓ２９４参照）を備えるものとしてもよい。
これにより、例えば、対象物モデル生成部および車両モデル生成部が互いに似た構成にできる。これにより、例えば、対象物モデル生成部の機能の一部を利用して、他方の車両モデル生成部の機能が構成されるなどにより、対象物モデル生成部および車両モデル生成部が簡単な構成にできる。これにより、ひいては、死角表示装置が一層簡単な構成にできる。
また、死角表示装置１等は、例えば、各映り込み画像を映り込こませた対象物が、上記死角にある対象物か否かを判断する判断部を備えてもよい。また、死角表示装置１等は、このような判断部を備えず、対象物が死角にあるか否かを判断せずに、対象物についての上記表示を行うものであってもよい。そして、表示が行われる対象物が、死角にある場合に、結果として、死角にある対象物の表示を行うことになるものであってもよい。
本発明は、主に車載ナビゲーションシステム、歩行者向けナビゲーションシステムにおける安全支援、危険通知機能として有用である。さらに、本発明は、画像処理の部分をプログラムによって実現したアプリケーションとして、あるいはハードウェアによって実現したＬＳＩとして有用である。
【０００３】
課題を解決するための手段
［０００８］
以上のような課題を解決するために、本発明の死角表示装置は、次の構成を採用した。本発明の死角表示装置は、車両の死角にある対象物を表示する死角表示装置であって、撮像位置が異なる複数のカメラから取得した、前記車両の死角にある対象物と前記車両とが写されている複数の全周囲画像を記憶する記憶手段と、前記複数の全周囲画像に写されている各対象物の座標位置のずれを用いて、前記複数のカメラのうち所定のカメラから見た前記対象物の座標位置を算出する、対象物モデル生成手段と、前記複数の全周囲画像に写されている各車両の座標位置のずれを用いて、前記所定のカメラから見た前記車両の座標位置を算出する、車両モデル生成手段と、前記算出した対象物の座標位置と前記車両の座標位置とを用いて、前記車両から見た共通の対象物を画面に表示する表示手段と、を備える死角表示装置である。この死角表示装置は、例えば、前記車両モデル生成手段は、所定の前記全周囲画像に写されている車両に対応する第１の点と、前記第１の点と対応しており、前記所定の全周囲画像とは異なる全周囲画像に写されている車両に対応する第２の点と、の位置のずれから、前記所定のカメラから見た前記車両の座標位置を算出してもよい。
［０００９］
また、本発明の死角表示装置は、車両に設けられて、当該車両からは見えない死角の情報を表示する死角表示装置であって、互いに異なる位置から撮像された複数の撮像画像を格納する画像格納手段と、前記複数の撮像画像に映り込んでいる、対象物の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所にそれぞれ映り込みをさせる位置を当該対象物の位置として算出する対象物モデル生成手段と、前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定しての箇所を特定し、特定される各箇所に映り込みをさせる位置を前記車両の位置として算出する車両モデル生成手段と、前記対象物モデル生成手段により計算された前記対象物の位置を、前記車両モデル生成手段により計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換手段と、前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示手段とを備えることを特徴とする死角表示装置である。
［００１０］
そして、この死角表示装置においては、例えば、格納される前記複数の撮像画像は、当該車両と、当該車両からは見えない死角との両方を撮像する位置にそれぞれが設けられた複数の画像生成部により撮像された複数の撮像画像であり、前記対象物モデル生成手段および前記車両モデル生成手段は、それぞれ、当該死角表示装置の外部から当該死角表示装置に転送された前記複数の撮像画像を取得し、取得された当該複数の撮像画像を利用する。
［００１１］
この死角表示装置によれば、車両の位置と、対象物の位置とが、互いに異なるデータから算出されるのではない。すなわち、何れの位置も、格納される複数の撮像画像という同じデータから算出される。このため、多くのデータを扱う複雑な構成が必須ではなくなり、簡単な構成により死角表示装置が構成できる。
本発明は、カメラで取得した画像を用いる技術とコンピュータグラフィックスの技術とを組み合わせた技術の画像処理装置であり、特に交差点において自車両からは見えない死角領域をディスプレイ上に表示する装置に関するものである。
国土交通省が推進する高度道路交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）の取り組み内容の１つとして、運転中の注意喚起や警報支援を行うドライバ向けサービスが検討されている。特に、出会い頭での事故が多発する交差点における衝突防止支援サービスは、今後重要な取り組みであり、現在は路面センサや画像センサを用いて運転者からの死角となる交差点の状況を伝えるものが考えられている。また、カメラなどの画像センサは将来ますます小型化・安価になるものと考えられており、現在は高速道路や主要道路に設置されているだけだが、将来的にはあらゆる道路に設置されることが予想される。
死角領域の状況をドライバに提示する従来方法として、死角となる道路を車載カメラで撮影し、その撮影された映像を後方の車に配信して、配信された映像に基づいて、ドライバ視点の映像を後方の車がディスプレイに表示する、というものが考えられる。例えば特許文献１に開示された装置がある。
特許文献１の装置は、自車両の進行方向の画像を取得する撮像部と、該撮像部により取得した自車両の進行方向の画像を、運転者から見た視点の画像に補正する自車両画像補正部と、前方車両が取得した進行方向の画像を、前方車両から受信する前方車両画像受信部と、前記前方車両画像受信部により受信した画像の撮像位置までの距離を算出する距離算出部と、前記距離算出部により算出した前方車両との距離に基づいて、前記前方車両画像受信部によって受信した画像を、運転者から見た視点の画像に補正する前方車両画像補正部と、前記自車両画像補正部により補正された画像における前記前方車両によって死角領域となっている部分に、前記前方車両補正部により補正された画像を重ね合せることで、前記前方車両を透過した合成画像を生成する画像合成部とを備えている。
また、交差点に複数のカメラを設置し、複数カメラ画像を２次元射影変換して、交差点上方から見たような仮想的な鳥瞰画像を作成するものが非特許文献１に開示されている。
特許第３９７２７２２号公報
「複数の道路監視カメラを用いた交差点における俯瞰映像作成」筑波大学、２００６年１２月６日
しかしながら、特許文献１の方法では、ドライバからの視線方向以外の画像は作ることができないため、交差点により生じる死角領域の映像は作ることができない。特許文献１のように車にカメラを設置するのではなく、交差点にカメラを設置した場合でも、多数のカメラが必要となる。さらに車には、位置情報をセンシングするためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ Ｓｙｓｔｅｍ）受信装置が必要となるが、たとえ装着していたとしても精度が低く高さ情報も取得できないため、ドライバ視点とは程遠い視点からの映像に変換されてしまうという課題がある。また、非特許文献１の方法では、交差点上方から見た俯瞰画像しか生成することができず、交差点情報からの画像ではどちらの方向から交差点に車や歩行者が進入してくるかを一見しただけで直感的に判断するのは難しい、という課題がある。
本発明は、かかる問題点を解消するためになされたものであり、ＧＰＳ非装着車両であっても本来ドライバからは見えないはずの交差点死角領域を、ドライバ視点で表示することができる死角表示装置を提供することを目的とする。
以上のような課題を解決するために、本発明の死角表示装置は、次の構成を採用した。本発明の死角表示装置は、車両の死角にある対象物を表示する死角表示装置であって、撮像位置が異なる複数のカメラから取得した、前記車両の死角にある対象物と前記車両とが写されている複数の全周囲画像を記憶する記憶手段と、前記複数の全周囲画像に写されている各対象物の座標位置のずれを用いて、前記複数のカメラのうち所定のカメラから見た前記対象物の座標位置を算出する、対象物モデル生成手段と、前記複数の全周囲画像に写されている各車両の座標位置のずれを用いて、前記所定のカメラから見た前記車両の座標位置を算出する、車両モデル生成手段と、前記算出した対象物の座標位置と前記車両の座標位置とを用いて、前記車両から見た共通の対象物を画面に表示する表示手段と、を備える死角表示装置である。この死角表示装置は、例えば、前記車両モデル生成手段は、所定の前記全周囲画像に写されている車両に対応する第１の点と、前記第１の点と対応しており、前記所定の全周囲画像とは異なる全周囲画像に写されている車両に対応する第２の点と、の位置のずれから、前記所定のカメラから見た前記車両の座標位置を算出してもよい。
また、本発明の死角表示装置は、車両に設けられて、当該車両からは見えない死角の情報を表示する死角表示装置であって、互いに異なる位置から撮像された複数の撮像画像を格納する画像格納手段と、前記複数の撮像画像に映り込んでいる、対象物の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所にそれぞれ映り込みをさせる位置を当該対象物の位置として算出する対象物モデル生成手段と、前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定しての箇所を特定し、特定される各箇所に映り込みをさせる位置を前記車両の位置として算出する車両モデル生成手段と、前記対象物モデル生成手段により計算された前記対象物の位置を、前記車両モデル生成手段により計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換手段と、前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示手段とを備えることを特徴とする死角表示装置である。
そして、この死角表示装置においては、例えば、格納される前記複数の撮像画像は、当該車両と、当該車両からは見えない死角との両方を撮像する位置にそれぞれが設けられた複数の画像生成部により撮像された複数の撮像画像であり、前記対象物モデル生成手段および前記車両モデル生成手段は、それぞれ、当該死角表示装置の外部から当該死角表示装置に転送された前記複数の撮像画像を取得し、取得された当該複数の撮像画像を利用する。
この死角表示装置によれば、車両の位置と、対象物の位置とが、互いに異なるデータから算出されるのではない。すなわち、何れの位置も、格納される複数の撮像画像という同じデータから算出される。このため、多くのデータを扱う複雑な構成が必須ではなくなり、簡単な構成により死角表示装置が構成できる。
なお、この死角表示装置は、各映り込み画像を映り込こませた対象物が、上記死角にある対象物か否かを判断する判断部を備えてもよい。他方、この死角表示装置は、このような判断部を備えず、対象物が死角にあるか否かを判断せずに、対象物についての上記表示を行ってもよい。
また、本発明の死角表示装置は、例えば、全周囲画像を取得する全周囲画像生成手段が異なる３次元位置座標に複数設置された交差点において、複数の全周囲画像生成手段から、自車両及び自車両から見えない死角領域が撮影範囲内にある全周囲画像生成手段のうち２つを選択し、生成した２つの全周囲画像もしくは全周囲画像の一部領域を全周囲画像格納手段にネットワークを介し転送する選択手段と、全周囲画像格納手段の持つ２つの全周囲画像もしくは全周囲画像の一部領域に映り込んでいる死角領域内の同一対象物を検索し画像上の死角領域対応点とする死角領域対応点検索手段と、死角領域対応点のピクセル位置のずれから死角領域内の対象物の３次元位置座標を計算する死角領域位置座標算出手段と、全周囲画像格納手段の持つ前記２つの全周囲画像もしくは全周囲画像の一部領域に映り込んでいる自車両を検索し画像上の自車両対応点とする自車両対応点検索手段と、２つの全周囲画像を生成した全周囲画像生成手段の３次元位置座標と自車両対応点のピクセル位置のずれから自車両の３次元位置座標を計算する自車両位置座標算出手段と、自車両の３次元位置座標をもとに死角領域内の対象物の３次元位置座標をディスプレイ座標に変換する自車両視点座標変換手段と、座標変換後の奥行き値に応じてディスプレイ座標に死角領域対応点のピクセル色を割り付ける表示手段とを備え、ＧＰＳ等の位置センシング手段を持たない車両であっても交差点の死角領域の状況をドライバ視点から違和感なく見ることができる死角表示装置であってもよい。
また、あるいは、本発明の死角表示装置は、本来ドライバから見えない交差点死角領域を２つの全周囲画像生成手段で生成した全周囲画像からドライバから見たような画像に３次元変換するとともに、２つの当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出する死角表示装置であってもよい。
本発明の死角表示装置によれば、本来ドライバから見えない交差点死角領域を２つの全周囲画像生成手段で生成した全周囲画像からドライバから見たような画像に３次元変換するとともに、当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、交差点の死角領域の状況をドライバ視点で直感的に見ることができ、危険検出が容易となる。
図１は、実施の形態１による死角表示装置の構成を示すブロック図である。 図２は、図１に示した全周囲画像生成部が生成する全周囲画像の一例を示す図である。 図３は、図１に示した選択部の具体例を説明する図である。 図４は、図１に示した死角領域対応点検索部の死角領域対応点を説明する図である。 図５は、図１に示した死角領域対応点検索部の死角領域対応点を説明する図である。 図６は、図１に示した死角領域位置座標算出部を説明する図である。 図７は、図１に示した死角領域位置座標算出部を説明する図である。 図８は、図１に示した自車両対応点検索部の自車両対応点を説明する図である。 図９は、図１に示した自車両対応点検索部の自車両対応点を説明する図である。 図１０は、実施の形態１に全周囲画像保持部、全周囲差分画像生成部を追加した場合の死角表示装置の構成を示すブロック図である。 図１１は、図１に示した自車両位置座標算出部を説明する図である。 図１２は、実施の形態１に自車両視点画像生成部を追加した場合の死角表示装置の構成を示すブロック図である。 図１３は、実施の形態２による死角表示装置の構成を示すブロック図である。 図１４は、図１３に示した選択部を説明する図である。 図１５は、実施の形態３による死角表示装置の構成を示すブロック図である。 図１６は、実施の形態４による死角表示装置の構成を示すブロック図である。 図１７は、自車両から死角方向を見たときのイメージ図である。 図１８は、自車両から死角方向を見たときのイメージ図である。 図１９は、死角表示装置の車両側の構成を示すブロック図である。 図２０は、死角表示装置の車両側の構成を示すブロック図である。 図２１は、実施の形態１による死角表示装置において水平視野角に応じて表示範囲が変化することを説明する図である。 図２２は、交差点と、全周囲画像の左上領域四分の一、左下領域四分の一、右下領域四分の一、右上領域四分の一とを示す図である。 図２３は、表示部と自車両視点画像生成部とを示す図である。 図２４は、死角表示装置の処理のフローチャートである。 図２５は、図１０の死角表示装置（図１５の死角表示装置）の処理のフローチャートである。 図２６は、図１２の死角表示装置の処理のフローチャートである。 図２７は、図１３の死角表示装置の処理のフローチャートである。 図２８は、図１６の死角表示装置の処理のフローチャートである。 図２９は、映り込み物の位置が算出される処理のフローチャートである。
以下、図面を参照しながら、本発明を実施するための実施の形態を説明する。
（実施の形態１）
図１は、本発明の実施の形態１による死角表示装置１の構成を示すブロック図である。
死角表示装置１は、交差点側１ａの部分と、車両側１ｂとの部分とを備える。車両側１ｂは、死角表示装置１が備える、複数の車両にそれぞれ備えられる複数の車両側１ｂの部分のうちの１つであってもよい。そして、死角表示装置１は、全周囲画像を取得する全周囲画像生成部１００が異なる３次元位置座標に複数設置された交差点（図３等参照）において、交差点側１ａは選択部１０１を備え、各車両側１ｂは全周囲画像格納部１０２、死角領域対応点検索部１０３、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８を備える。なお、死角表示装置１は、死角領域モデル生成部１０９と、自車両モデル生成部１１０とを備え、死角領域モデル生成部１０９は、上述の死角領域対応点検索部１０３と死角領域位置座標算出部１０４とを備え、自車両モデル生成部１１０は、上述の自車両対応点検索部１０５と自車両位置座標算出部１０６とを備える（図１９参照）。なお、交差点側１ａは、選択部１０１の機能ブロックの機能を実現するために、例えば、インフラストラクチャコンピュータ１０１ｃを備え（図３参照）、このインフラストラクチャコンピュータ１０１ｃによってソフトウェアを実行することにより、選択部１０１の機能ブロックの機能を実現する。
図２は、全周囲画像生成部１００の一例を示す図である。
全周囲画像生成部１００は、設置された３次元位置座標を中心とする全周囲画像を生成する。全周囲画像生成部１００は全周囲カメラ、全方位カメラ、全天周カメラ、３６０度カメラなどと呼ばれるものであり、これら全周囲カメラ等で撮影するものとして実現される。全周囲を撮影する代表的な実現方式として、凹鏡方式、特殊レンズ方式、複数カメラ方式がある。図２は全周囲画像生成部１００が生成する全周囲画像の一例を示す。凸鏡方式は、標準カメラ１００ａ（図２）に凸型の鏡面１００ｂ（図２）を取り付けて撮影するものであり、周囲３６０度の風景が図２の２０１のようなドーナツ型の画像にマッピングされた画像を生成する。ドーナツ型の画像に対して透視投影変換を例えば選択部１０１（図１）等が適用することで、図２の２０２のような、任意方向を見たときの画像（透視投影画像）に、ドーナツ型の画像を変換することができる。凸型方式では撮像装置（全周囲画像生成部１００）を中心とした画像を取得できるため、対象物の距離や方向を正確に計測できることが特徴である。
なお、特殊レンズ方式は、標準カメラに魚眼レンズを取り付けて撮影するものであり、周囲３６０度の風景が円形画像にマッピングされた画像を生成する。生成された画像（円形画像）に対してレンズ歪み補正や平面展開変換を適用することで、任意方向を見たときの画像に変換することができるが、レンズ歪みは完全には除去できないのが、この特殊レンズ方式の難点である。他方、複数カメラ方式は、それぞれ異なる方向を撮影する複数のカメラを画像生成部が備えており、それら複数のカメラにより撮影された複数の画像を、うまくつなぎ合わせて１つのパノラマ画像にするものである。この複数カメラ方式によれば、複数画像のつなぎ合わせを制御するキャリブレーションが煩雑であるが、高解像度で歪みのない画像を生成ことができる。
そして、本特許では、特に全周囲画像生成部１００の具体的な構成の方式は、限定しないが、説明の都合上、本明細書では、上記の凸鏡方式により全周囲画像生成部１００は全周囲画像を生成するものとして説明する。
図１に戻って、交差点側１ａにおける選択部１０１は、交差点に複数設置された全周囲画像生成部のうち、交差点に進入する自車両からは見えない死角領域と自車両とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し、ネットワークを介して、選択される２つの全周囲画像生成部の画像を、全周囲画像格納部１０２（図１）へ転送する。
図３は、複数の全周囲画像生成部が交差点にそれぞれ設置され、かつ、それらが設置された交差点が十字交差点の場合において、東西南北どの方向から車両が進入してきても本特許が実施できるように、４つの全周囲画像生成部を配置した様子を示す図である。図３では、東西南北どの方向から車両が進入してきても、当該車両から見えない領域及び自車両が、撮影される画像に映り込むように全周囲画像生成部が設置されており、例えば、選択部１０１は、南から交差点に進入する自車両３０１に対しては、全周囲画像生成部３０２、３０３を選択してもよいし、全周囲画像生成部３０２と３０４を選択してもよい。
図３の場合、４つの全周囲画像生成部３０２、全周囲画像生成部３０３、全周囲画像生成部３０４、全周囲画像生成部３０５が、２つの道路が十字に（直角に）交差する十字交差点が有する４つの角に、それぞれ設置されている。
なお、このようにして、全周囲画像を生成する全周囲画像生成部１００が用いられることにより、交差点のより広い死角領域が的確に撮像される。
また、選択部１０１で選択される２つの全周囲画像は、死角領域対応点検索部１０３（図１）で使用する第１の２つの全周囲画像と、自車両対応点検索部１０５で使用する第２の２つの全周囲画像とが含まれ、第１の２つの全周囲画像の少なくとも一方は、第２の２つの全周囲画像に含まれる全周囲画像の一方又は両方に対して、互いに異なる全周囲画像生成部で生成されたものであっても構わない。図３の例でいえば、選択部１０１は、例えば、死角領域対応点検索部１０３には、全周囲画像生成部３０２、３０４を選択して、全周囲画像３０６、３０８（図３）を転送し、自車両対応点検索部１０５には、全周囲画像生成部３０２、３０３を選択し、つまり、全周囲画像３０６、３０７を選択して、選択した全周囲画像３０６、３０７を転送しても構わない。
また、選択部１０１は、交差点に複数設置された全周囲画像生成部のうち、交差点に進入する自車両からは見えない死角領域と自車両とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し、選択された２つの全周囲画像のそれぞれの一部領域を、全周囲画像格納部１０２に転送しても構わない。例えば、図３のような十字交差点において、自車両３０１に対して全周囲画像生成部３０２、３０３を選択部１０１が選択した場合、自車両３０１の進行方向に対して左側の死角領域が映り込むのは、全周囲画像生成部３０２の生成した全周囲画像３０６の左上領域四分の一と、全周囲画像生成部３０３の生成した全周囲画像３０７の左上領域四分の一である。また、自車両進行方向に対して右側の死角領域が映り込むのは全周囲画像生成部３０２の生成した全周囲画像３０６の右上領域四分の一と、全周囲画像生成部３０３の生成した全周囲画像３０７の右上領域四分の一である。死角領域対応点検索部１０３は、上述した４つの全周囲画像の一部領域があれば死角領域対応点検索は可能である。同様に、自車両が映り込むのは全周囲画像生成部３０２の生成した全周囲画像３０６の右下領域四分の一と、全周囲画像生成部３０３の生成した全周囲画像３０７の左下領域四分の一であり、自車両対応点検索部１０５は上述した２つの全周囲画像の一部領域があれば自車両対応点検索は可能である。上述の例では交差点形状が十字の場合を挙げて説明しているが、十字交差点に限らずとも選択部１０１において交差点形状に応じた領域分割を行い、全周囲画像格納部１０２には全周囲画像全体ではなく分割した領域単位で転送しても構わない。
図２２は、全周囲画像２０１の左上領域四分の一、左下領域四分の一、右下領域四分の一、右上領域四分の一と、全周囲画像２０１を撮像した全周囲画像生成部１００のある交差点２０００とを示す図である。全周囲画像生成部１００は、例えば、図３に示される全周囲画像生成部３０２等のうちの１つである。図２２に示される全周囲画像２０１の左上領域四分の一２０１ａ、左下領域四分の一２０１ｂ、右下領域四分の一２０１ｃ、右上領域四分の一２０１ｄは、それぞれ、交差点２０００における全周囲画像生成部１００の左上四分の一２０００ａ、左下四分の一２０００ｂ、右下四分の一２０００ｃ、右上四分の一２０００ｄが撮像されたものである。
なお、上述した、自車両３０１の進行方向に対する左側の死角領域とは、例えば、自車両が交差点を左折した場所にある死角領域であり、自車両３０１の進行方向に対する右側の死角領域とは、例えば、自車両が交差点を右折した場所にある死角領域である。
さらに、選択部１０１は、各全周囲画像に映り込んだ自車両の画像内での位置と領域とを検索し、領域が最大となる全周囲画像を生成した全周囲画像生成部のうち２つを選択することで、自車両対応点検索部１０５の検索精度を向上することができる。つまり、選択部１０１は、例えば、映り込み物（自車両）の各全周囲画像における各映り込み物の領域の大きさをそれぞれ算出し、算出される大きさが最も大きい全周囲画像と、２番目に大きい全周囲画像との２つの全周囲画像を選択する。自車両３０１の画像内での領域が最大となるのは、自車両との距離が最も近い全周囲画像生成部が生成した全周囲画像、ということにほかならない。すなわち、自車両から最も近い２つの全周囲画像生成部を選択することにより、自車両対応点検索部１０５における検索誤差を小さくすることができる。図３では、自車両３０１に対しては全周囲画像上自車両領域が最大となる全周囲画像生成部３０２、３０３を選択すれば、全周囲画像生成部３０２、３０４を選択するよりも、自車両対応点検索部１０５による自車両対応点検索が、高精度になる。
また、選択部１０１は、全周囲画像格納部１０２に必ずしも、全周囲画像もしくは全周囲画像の一部領域を転送する必要はない。例えば、当該交差点と自車両との距離が非常に離れている場合には、当該交差点の死角領域を表示してもほとんど意味がない情報であり、死角領域を自車両視点で表示する必要性が低い。よって、選択部１０１が、各全周囲画像に映り込んだ自車両の画像内での位置と領域を検索し、自車両の領域の大きさがある一定以上になったときのみ、全周囲画像格納部１０２へ、選択した全周囲画像もしくは全周囲画像の一部領域を転送しても問題はない。
なお、選択部１０１は、一例としては、次のようにして実現できる。この一例に係る選択部１０１を有する死角表示装置１においては、交差点側１ａは、交差点に接続する各道路に、それぞれ、その道路に自車両３０１があるか否かを検知する自車両検知部があるものとする。そして、死角表示装置１は、交差点に接続する各道路に対して、その道路の撮像に比較的適する全周囲画像生成部１００を対応付ける対応関係を保持する道路対応保持部を備えるものとする。そして、選択部１０１は、自車両３０１が自車両検知部により検知された道路に対して道路対応保持部の対応関係が対応付ける全周囲画像生成部１００が撮像した全周囲画像を選択する。ここで、道路対応保持部は、車両側１ｂが用いるのに適する２個の全周囲画像生成部１００を１つの道路に対応付ける対応関係を記憶し、選択部１０１は、対応付けられたそれらの全周囲画像生成部１００の全周囲画像２０１を選択する。こうすれば、保持される対応関係に基づいて、自車両３０１が検知された道路と対応関係を有する適切な全周囲画像生成部１００が選択され、簡単な構成で、選択部１０１を実現できる。なお、道路対応保持部は、死角領域モデル生成部１０９が用いる全周囲画像の対応関係を保持する第１の道路対応保持部と、他方の自車両モデル生成部１１０が用いる全周囲画像の対応関係を保持する第２の道路対応保持部とを備えるものとしてもよい。
全周囲画像格納部１０２は、ネットワークを介して、当該車両側１ｂに交差点側１ａから送られてきた全周囲画像あるいは全周囲画像の一部領域を格納し、必要に応じて死角領域対応点検索部１０３及び自車両対応点検索部１０５に転送する。
死角領域対応点検索部１０３は、全周囲画像格納部１０２にある、選択部１０１で選択した２つの全周囲画像生成部が生成した全周囲画像に映り込んでいる死角領域内の同一対象物を検索し、画像上の死角領域対応点とする。互いに異なる位置座標を中心として生成された２つの全周囲画像には、交差点の死角領域が映り込んでおり、死角領域内に存在するある対象物が２つの全周囲画像上のどこに映り込んでいるかを死角領域対応点検索部１０３は検索する。
死角領域対応点検索部１０３は、全周囲画像のままではなく、死角領域の方向を自車両３０１から見た画像に透視投影変換を行ったあとの透視投影画像に対して、画像マッチングによる死角領域対応点検索を行っても構わない。透視投影画像は、ドーナツ型の全周囲画像を、死角方向を見たときの画像に変換したものであり、一般的なカメラで死角方向を撮影したような平面矩形画像と同じ画像が得られる。
図４〜図５は、死角領域対応点検索部１０３が行う死角領域対応点の検索を説明するものである。
すなわち、死角領域対応点検索部１０３は、具体的には、図４のように一方の全周囲画像４０２上のピクセルＰ０（Ｘ０，Ｙ０）に映り込んだ対象物４０１（図５）が、もう一方の全周囲画像４０３のどのピクセルに対応しているかを、画像マッチングにより検索し、検索した結果Ｐ１（Ｘ１，Ｙ１）（ピクセルＰ１）に対応していれば、Ｐ０、Ｐ１を対象物４０１の死角領域対応点とする。死角領域対応点検索部１０３は、死角領域対応点の検索を、全周囲画像内のすべての対象物に対してそれぞれ行う。
ここで、図４下部のグラフは、死角領域対応点検索部１０３が行う画像マッチングの検索での２つの点の間の画素ずれの大きさを横軸にとり、その画素ずれでのマッチングの誤差を縦軸にとっている。死角領域対応点検索部１０３は、誤差が最小値をとる２つの点を、死角領域対応点として特定する。
ここで、平面矩形画像では、全周囲画像生成部から死角領域までの距離が大きくなればなるほど、死角領域内に存在する物体間の距離は画像上では小さくなる。このため、自車両の進行方向に対して左側の死角領域に存在する物体が、２つの透視投影画像上に映り込んだ場合、左側の死角領域により近い位置で生成された全周囲画像に対応する透視投影画像上の対応点のＸ座標は、もう一方の透視投影画像上の対応点のＸ座標と等しいか大きくなる。また、自車両の進行方向に対して右側の死角領域に存在する物体が２つの透視投影画像上に映り込んだ場合、右側の死角領域に対して、より近い位置で生成された全周囲画像に対応する透視投影画像上の対応点のＸ座標は、もう一方の透視投影画像上の対応点のＸ座標と等しいか小さくなる。この性質を利用すると、マッチング処理を効率的に行うことが可能となる。すなわち、自車両の進行方向に対して左側の死角領域の死角領域対応点検索は、左側の死角領域に近い位置で生成された全周囲画像に対応する透視投影画像上のピクセルを基準として、もう一方の透視投影画像を、画像における左側のピクセルから順に、右方向へとマッチング処理を行う。あるいは、自車両の進行方向に対して右側の死角領域の死角領域対応点検索は、右側の死角領域に対してより近い位置で生成された全周囲画像に対応する透視投影画像上のピクセルを基準として、もう一方の透視投影画像を画像右側ピクセルから順に、左方向へマッチング処理を行う。
なお、上記のようにして、基準とする方を、互いに対応する２つの死角領域対応点のうちで、精度よく撮像されて大きく撮像された方、つまり拡大された方にしてマッチング処理をすることにより、例えば、より確実に正しくマッチング処理をできるなどして、よりマッチング処理を良好に行うことができる。
死角領域位置座標算出部１０４は、死角領域対応点検索部１０３で求めた死角領域対応点のピクセル位置のずれ量から、死角領域内の対象物の３次元位置座標を計算する。３次元位置座標の要素のうち、自車両３０１から見て水平方向をＸ座標軸（図５における横方向）、垂直方向をＹ座標軸（図５の紙面に対する垂線方向）、奥行き方向（図５における縦方向）をＺ座標軸とそれぞれ定義する。
図６〜図７は、十字交差点での死角表示装置１においての死角領域位置座標算出部１０４を説明するものである。具体的には、複数の全周囲画像生成部のうち選択部１０１は５０１と５０２（図７）を選択し、全周囲画像５０３、５０４（図７）を死角領域位置座標算出部１０４が使用し、死角領域対応点５０５、５０６に対応する対象物５０７（図７）の３次元位置座標を算出する過程を説明する図が図６〜図７である。
１つの例として、全周囲画像上の死角領域対応点から、対応する死角領域内に存在する対象物の３次元位置座標を計算する方法を以下に記す。２つの全周囲画像生成部間の距離Ｂ、全周囲画像の中心と死角領域対応点を結ぶ線分が２つの全周囲画像生成部間を結ぶ線分となす角度をα、βとすると、全周囲画像生成部からの相対的な奥行き距離Ｄは、
Ｄ＝Ｂ＊ｔａｎ（α）＊ｔａｎ（β）／（ｔａｎ（α）−ｔａｎ（β））
で算出することができ、Ｄは死角領域対応点に対応する対象物のＺ座標となる。また、死角領域対応点検索部１０３が死角領域の方向に対して透視投影変換を行っている場合、透視投影画像上の死角領域対応点から、対応する３次元位置座標を計算するのは以下のように行えばよい。すなわち、２つの全周囲画像生成部間の距離Ｂ、全周囲画像生成部の焦点距離ｆ、対応点の画像中心からのずれ量Ｖ０、Ｖ１とすると、全周囲画像生成部からの相対的な奥行き距離Ｄは、
Ｄ＝Ｂ＊（ｆ＋Ｖ１）＊（ｆ−Ｖ０）／（２＊ｆ＊（Ｖ１＋Ｖ０））
で算出することができ、Ｄは死角領域対応点に対応する対象物のＺ座標となる。全周囲画像の中心と死角領域対応点のなす角度αにより、死角領域対応点に対応する対象物のＸ座標は、
Ｄ／ｔａｎ（α）
で算出することができる。さらにＹ座標は、全周囲画像の中心から死角領域対応点までの画像上の距離から算出することが可能であり、死角領域対応点を透視投影変換して得られた変換後座標のＹ座標に等しくなる。
図８〜図９は、自車両対応点検索部１０５の処理を示す図である。
自車両対応点検索部１０５は、全周囲画像格納部１０２にある全周囲画像に対して、選択部１０１で選択した２つの全周囲画像生成部が生成した全周囲画像に映り込んでいる自車両を検索し、画像上の自車両対応点とする。異なる位置座標を中心として生成された２つの全周囲画像には自車両が映り込んでおり、自車両が２つの全周囲画像上のどこに映り込んでいるかを検索する。図８〜図９は、自車両対応点検索部１０５が検索する自車両対応点を具体的に説明するものである。一方の全周囲画像６０２（図８）上のピクセルＰ２（Ｘ２，Ｙ２）に映り込んだ自車両３０１が、もう一方の全周囲画像６０３のどのピクセルに対応しているかを、画像マッチングにより自車両対応点検索部１０５が検索する。検索した結果、Ｐ３（Ｘ３，Ｙ３）に対応していれば、Ｐ２、Ｐ３を自車両対応点と自車両対応点検索部１０５が特定する。なお、ここではピクセル単位での検索を行っているが、自車両を構成する複数のピクセルを１単位として自車両対応点検索部１０５が検索を行っても構わない。
ここで、図８下部のグラフは、自車両対応点検索部１０５が行う画像マッチングの検索での、２つの点の間の画素ずれの大きさを横軸にとり、その画素ずれでのマッチングの誤差を縦軸にとっている。自車両対応点検索部１０５は、誤差が最小値をとる２つの点を、自車両対応点と特定する。
図１０は、変形例の死角表示装置１Ａを示す図である。
ここで、死角表示装置１の変形例を説明する。図１０は全周囲画像保持部７０１、全周囲差分画像生成部７０２を追加した場合の死角表示装置１（以下、死角表示装置１Ａ）の構成を示すブロック図である。自車両が映っていないときの全周囲画像を保持する全周囲画像保持部７０１と、全周囲画像保持部７０１が保持する全周囲画像と全周囲画像生成部１００が生成した全周囲画像との差分画像を生成する全周囲差分画像生成部７０２とを有する構成の、この死角表示装置１Ａであれば、自車両の画像マッチングによる検索をする必要はなく、差分画像が背景差分法により抽出された自車両対応点と等価となる。
なお、全周囲画像保持部７０１及び全周囲差分画像生成部７０２は、例えば、選択部１０１と同様に、図３に示されたインフラストラクチャコンピュータ１０１ｃによって実現されるものとしてもよい。
図１１は、自車両位置座標算出部１０６（図１）の処理を示す図である。
変形例の説明を終わって、次に、図１における自車両位置座標算出部１０６は、自車両対応点検索部１０５で求めた自車両対応点のピクセル位置のずれ量から、自車両の３次元位置座標を計算する。３次元位置座標の要素のうち、自車両３０１から見て水平方向をＸ座標軸、垂直方向をＹ座標軸、奥行き方向をＺ座標軸と定義する。図１１は、十字交差点での死角表示装置において、複数の全周囲画像生成部のうち選択部１０１は８０１と８０２を全周囲画像生成部として選択し、全周囲画像８０３、８０４を自車両対応点検索部１０５が使用して、自車両対応点に対応する自車両３０１の３次元位置座標を算出する過程を説明する図である。２つの全周囲画像生成部間の距離Ｂｘ、全周囲画像の中心と自車両対応点を結ぶ線分が、２つの全周囲画像生成部間を結ぶ線分となす角度をα１、β１とすると、全周囲画像生成部からの相対的な奥行き距離Ｄ１は、
Ｄ１＝Ｂｘ＊ｔａｎ（α１）＊ｔａｎ（β１）／（ｔａｎ（α１）＋ｔａｎ（β１））
で算出することができ、Ｄ１は自車両対応点に対応する自車両のＺ座標（奥行き距離）となる。死角領域対応点に対応する対象物のＸ座標は、
Ｄ１／ｔａｎ（α１）
で算出することができる。さらにＹ座標は、全周囲画像の中心から死角領域対応点までの画像上の距離から算出することが可能であり、死角領域対応点を透視投影変換して得られた変換後座標のＹ座標に等しくなる。
同様に、選択部１０１が８０１と８０５を全周囲画像生成部として選択し、自車両対応点検索部１０５が全周囲画像８０３、８０６を使用し、自車両対応点に対応する自車両の３次元位置座標を算出する場合には、２つの全周囲画像生成部間の距離Ｂｘ、Ｂｙ、全周囲画像の中心と自車両対応点を結ぶ線分が２つの全周囲画像生成部間を結ぶ線分となす角度をα１、γ１とすると、全周囲画像生成部からの相対的な奥行き距離Ｄ１は、
Ｄ１＝Ｂｘ−Ｂｙ＊ｔａｎ（α１）／（ｔａｎ（α１）＋ｔａｎ（γ１））
で算出することができ、Ｄ１は自車両対応点に対応する自車両のＺ座標（奥行き距離）となる。死角領域対応点に対応する対象物のＸ座標は、
Ｄ１／ｔａｎ（α１）
で算出することができる。
このように算出した自車両の３次元位置をそのまま利用するだけでなく、ＧＰＳなどの位置取得センサや加速度センサなどにより、精度の低い位置情報を、自車両位置座標算出部１０６は補正してもよい。すなわち、自車両位置座標算出部１０６は、この補正をするために、これらのセンサより取得される情報を用いても構わない。このように、他のセンサによる情報に基づいた補正の技術と組み合わせることで、ある程度の精度が保証された自車両位置座標を求めることができる。
自車両視点座標変換部１０７は、自車両位置座標算出部１０６で求めた自車両の３次元位置座標をもとに、死角領域位置座標算出部１０４で求めた死角領域内の対象物の３次元位置座標をディスプレイ座標に変換する。対象物の３次元位置座標を２次元のディスプレイ座標に変換するためには、カメラ変換、射影変換、ビューポート変換の処理を、２次元のディスプレイ座標に変換する処理に適用する必要がある。
なお、ここで、カメラ変換は、視点である自車両３０１の３次元位置座標、視線対象の３次元位置座標、視点の傾きをもとに作られたカメラ変換行列を、対象物の３次元位置座標に掛け合わせることで行う。また、射影変換は、視点である自車両３０１から見た視野の広さ（水平視野角）、アスペクト比、座標変換対象となる奥行き範囲をもとに作られた射影変換行列を、カメラ変換後の３次元位置座標に掛け合わせることで行う。また、ビューポート変換は、表示するディスプレイのサイズをもとに作られたビューポート行列を、射影変換後の３次元位置座標に掛け合わせることで行う。なお、３次元グラフィックスの汎用的なＡＰＩであるＯｐｅｎＧＬ（ＯｐｅｎＧＬＥＳ）１．０以降では、カメラ変換、射影変換、ビューポート変換をそれぞれｇｌｕＬｏｏｋＡｔ、ｇｌＦｒｕｓｔｕｍ、ｇｌＶｉｅｗｐｏｒｔというＡＰＩでサポートしている。自車両視点座標変換部１０７の機能は、例えば、このＯｐｅｎＧＬのＡＰＩを用いて実現されてもよい。
図２１は、死角領域が圧縮される例を示す図である。
また、自車両視点座標変換部１０７（図１）は、全周囲画像格納部１０２が、全周囲画像全体ではなく死角領域ごとの分割領域（後述する図１４の交差点死角領域１１１０、交差点死角領域１１１１を参照）を保持している場合において、死角領域内の対象物の３次元位置座標を実際の水平視野角よりも広い水平視野角でディスプレイ座標に変換し広範囲の死角領域を圧縮するようにディスプレイ座標への変換を行っても構わない。図２１は、上記射影行列で使用する水平視野角に応じて死角領域の範囲が変わる様子を表すものである。交差点１７００において自車両から見える実景色１７０１では、壁の向こうが死角となってしまう。自車両から見たときの実際の水平視野角と同じ角度１７０２を射影行列に自車両視点座標変換部１０７が設定し、本発明を適用した場合には、本来あるべき範囲の死角領域が座標変換対象となり、画像１７０３を生成し、生成された画像１７０３と実景色１７０１との重畳表示により、自車両からは重畳表示画像１７０４のように見える。重畳表示画像１７０４では、本来の範囲の死角領域が表示される。一方で、自車両３０１から見たときの実際の水平視野角の角度１７０２よりも大きい角度１７０５を射影行列に設定した場合には、本来あるべき範囲よりも広範囲の領域を、同じ表示サイズにマッピングすることになる。これにより、水平方向に圧縮されるかのごとく座標変換され、画像１７０６を生成して、生成された画像１７０６と実景色１７０１との重畳表示により、自車両３０１からは重畳表示画像１７０７のように自車両３０１の運転者に見える。３次元モデルである死角領域だけ圧縮されて、自車両３０１から見た実景色よりも縮小されて、表示が広範囲にされるものとなされて、結果としてより広範囲の死角領域の安全性を確認できる。
そして、図２１においては、交差点１７００における大きい角度１７０５の範囲には、人物１７００ａ及び車１７００ｂが含まれているが、交差点１７００における小さい角度１７０２の範囲には人物１７００ａだけが含まれ、車１７００ｂは含まれないものとなっている場合について示している。このため、大きい角度１７０５が設定された場合における図２１右の画像１７０６、重畳表示画像１７０７（画像１７０７）には、人物１７００ａに対応する画像と車１７００ｂに対応する画像との両者が含まれる一方で、小さい角度１７０２が設定された場合における、図２１左の画像１７０３、１７０４には、人物１７００ａに対応する画像は含まれるが、車１７００ｂに対応する画像は含まれない。こうして、図２１右の画像１７０６では、死角領域だけ圧縮された表示がされて、人物１７００ａ、車１７００ｂの両者が表示され、死角領域の十分広い範囲が表示される。
表示部１０８は、座標変換後の奥行き値に応じてディスプレイ座標に死角領域対応点のピクセル色を割り付ける。座標変換後のディスプレイ座標（Ｘ，Ｙ）が一致する場合、死角領域に存在する対象物を、自車両３０１の視点から見たときには、同じ方向に見えていることを意味する。そのため、奥行き値が最も小さくなる、すなわち自車両３０１から、最も近い対象物の色を割り付けることで、自然な自車両視点の死角領域画像を生成することができる。
図１７〜図１８は、実施の形態１における自車両３０１（図３等）を運転する運転者から見たときの表示イメージを示す図である。
通常表示では、図１７のようになっており、走行中の道路の壁１４００に遮られ死角ができてしまう。実施の形態１における運転者から見たときの表示は、図１８のようになり、表示画面範囲１４０２内においては本来死角になって見えない歩行者１４０３や車両１４０４を違和感なく見ることができる。
ここで、ディスプレイは、光学シースルーＨＭＤ等でもよいし、ビデオシースルーＨＭＤや不透明ディスプレイであってもよい。
ここで、図１７〜図１８は、一例として、ディスプレイが、光学シースルーＨＭＤである場合を例示している。表示するディスプレイ１０８ａが、光学シースルーＨＭＤなどのように実風景が透けているものの場合には、ユーザは、実風景が見える。この場合、表示部１０８は、死角にある対象物である歩行者１４０３や車両１４０４を、ディスプレイ１０８ａに表示させることによって、ユーザが見る実風景である走行中の道路の壁１４００等（図１７参照）に、表示させるそれら歩行者１４０３や車両１４０４を重畳表示させる。
次に、ディスプレイがビデオシースルーＨＭＤや不透明ディスプレイの場合における変形例を説明する。
図１２は、変形例の死角表示装置１Ｂを示す図である。
上述した図１７〜図１８における、表示するディスプレイ１０８ａが、光学シースルーＨＭＤなどのように実風景が透けている場合には、ピクセル色をそのままディスプレイに表示すればよいが、ディスプレイがビデオシースルーＨＭＤや不透明ディスプレイの場合、ピクセル色をそのまま表示すると実風景が見えなくなる。図１２は自車両視点画像生成部９０９を追加した場合の死角表示装置１（以下、死角表示装置１Ｂと呼ぶ）の構成を示すブロック図である。図１２のように、実施の形態１の構成に自車両視点からの映像を撮影する自車両視点画像生成部９０９を加えたときに、表示部９０８が、ディスプレイ座標に割り付ける死角領域対応点のピクセル色と、自車両視点画像生成部９０９が生成する画像内の前記ディスプレイ座標に対応するピクセル色とを半透過合成してディスプレイ上に表示するようにしても構わない。自車両３０１に設置した前方を撮影するカメラが自車両視点画像生成部９０９の一例である。すなわち、自車両から前方を撮影した通常のカメラ映像に、座標変換で生成した死角領域の対象物のピクセル色を半透明合成することにより、死角を構成する交差点の状況と死角で見えない領域の状況とを一目で直感的に把握することができる。
図２３は、ビデオシースルーＨＭＤや、不透明ディスプレイであるディスプレイ１０８Ｆａが表示した表示画面１４０２Ｆを示す図である。この場合、表示部１０８は、死角にある対象物である歩行者１４０３Ｆや車両１４０４Ｆをディスプレイ１０８Ｆａに表示させると共に、自車両視点画像生成部９０９（図１７〜図１８）により撮影された自車両視点からの映像もディスプレイ１０８Ｆａに表示させる。図２３では、そのような、表示部１０８が表示させる自車両視点画像生成部９０９の映像の一部である壁１４００Ｆ、画像生成部１４０１Ｆを図示している。表示部１０８は、こうして、死角にある対象物である歩行者１４０３Ｆや車両１４０４Ｆと共に、自車両視点画像生成部９０９により撮影された壁１４００Ｆ等もディスプレイ１０８Ｆａに表示させる。これにより、確実に正しく、表示される歩行者１４０３Ｆ等の対象物を運転者が把握でき、より高い安全性を実現することができる。
なお、不透明ディスプレイとしては、自車両３０１のフロントガラス上に表示をするものを用いてもよい。
また、実施の形態１に自車両視点画像生成部９０９を加えた構成の場合（図１２の場合）には、表示部９０８は自車両３０１と交差点との距離に応じて死角領域の透過度を変化させても構わない。すなわち、例えば、全周囲画像に映り込んだ自車両３０１の画像内での位置と領域を検索し、死角領域対応点のディスプレイ座標に割り付けるピクセル色と、自車両視点画像生成部９０９が生成した画像内の前記ディスプレイ座標に対応するピクセル色とを半透過する際の透過度を、自車両の領域の大きさに応じて変えてもよい。さらに、実施の形態１に自車両視点画像生成部９０９を加えた構成の場合には、表示部９０８は、他車両、歩行者と交差点の距離に応じて死角領域の透過度を変化させても構わない。すなわち、全周囲画像に映り込んだ自車両以外の車両、歩行者等の画像内での位置と領域を検索し、死角領域対応点のディスプレイ座標に割り付けるピクセル色と自車両視点画像生成部９０９が生成した画像内の前記ディスプレイ座標に対応するピクセル色とを半透過する際の透過度を自車両以外の車両、歩行者等の大きさに応じて変えても構わない。
図２４は、死角表示装置１が行う処理の流れを示すフローチャートである。死角表示装置１は、このフローチャートにより各工程が示される死角表示方法を実行する。また、死角表示装置１の全周囲画像生成部１００や選択部１０１などの各部は、このフローチャートにより示される流れの順序で働く。図２４のフローチャートを参照して、各機能が働く順序、各機能の間の関係を詳しく説明する。
ステップＳ１では、複数の全周囲画像生成部１００が、互いに異なる位置から全周囲画像２０１を撮像する。
ステップＳ２では、選択部１０１が、ステップＳ１で各全周囲画像生成部１００により撮像された全周囲画像２０１のうちから、車両側１ｂに利用させる全周囲画像２０１を選択し、換言すれば、利用をさせる全周囲画像２０１の全周囲画像生成部１００を選択する。ここで、選択部１０１は、複数の全周囲画像２０１を選択し、したがって複数の全周囲画像生成部１００を選択する。
ステップＳ３では、全周囲画像格納部１０２が、ステップＳ２で選択部１０１により選択された複数の全周囲画像２０１を選択部１０１から取得し、取得した複数の全周囲画像２０１を格納する。
ステップＳ４及びステップＳ５では、死角領域モデル生成部１０９が、ステップＳ２で全周囲画像格納部１０２に格納された全周囲画像２０１に基づいて、交差点の死角領域にある対象物の３次元座標位置を計算する。ここで、死角領域モデル生成部１０９は、複数の全周囲画像２０１のなかに、その対象物が映り込んだ各映り込み画像に基づいて、その対象物の３次元座標位置を計算する。
ステップＳ４では、死角領域モデル生成部１０９における死角領域対応点検索部１０３が、全周囲画像２０１のうちの、死角領域対応点を特定する（図４、図５参照）。
ステップＳ５では、死角領域モデル生成部１０９における死角領域位置座標算出部１０４が、先にステップＳ４で死角領域対応点検索部１０３により特定された死角領域対応点に基づいて、その死角領域対応点を有する対象物の３次元位置座標を計算する（図６、図７参照）。
つまり、死角領域モデル生成部１０９は、死角領域対応点検索部１０３により死角領域対応点を特定すると共に（ステップＳ４）、特定された死角領域対応点に基づいて対象物の３次元位置座標を、死角領域位置座標算出部１０４により計算する（ステップＳ５）。
ステップＳ６、ステップＳ７では、自車両モデル生成部１１０が、全周囲画像格納部１０２に格納された複数の全周囲画像２０１に基づいて、自車両３０１の３次元座標位置を計算する。ここで、自車両モデル生成部１１０は、自車両３０１が複数の全周囲画像２０１に映り込んだ各映り込み画像に基づいて、この計算を行う。
ステップＳ６では、自車両モデル生成部１１０における自車両対応点検索部１０５が、全周囲画像２０１のうちの、自車両対応点を特定する（図８、図９参照）。
ステップＳ７では、自車両モデル生成部１１０における自車両位置座標算出部１０６が、先にステップＳ６で自車両対応点検索部１０５により特定された自車両対応点に基づいて、自車両の３次元座標位置を計算する（図１１参照）。
つまり、自車両モデル生成部１１０は、自車両対応点検索部１０５により、自車両対応点を特定すると共に（ステップＳ６）、自車両位置座標算出部１０６により、特定された自車両対応点に基いた自車両３０１の３次元座標位置を計算する。
なお、これら、ステップＳ６およびステップＳ７の処理が実行される実行順序は、図２４に図示される順序でなくともよい。すなわち、ステップＳ６およびステップＳ７の実行順序は、例えば、ステップＳ４およびステップＳ５の実行順序の後でなくてもよく、ステップＳ４およびステップＳ５の実行順序の前、つまり、ステップＳ３とステップＳ４との間における実行順序で実行されてもよい。また、ステップＳ６およびステップＳ７の処理の一部又は全部は、ステップＳ４およびステップＳ５の処理の一部又は全部に対して、同時に行われてもよい。例えば、ステップＳ６およびステップＳ７の処理の一部等は、ステップＳ４およびステップＳ５の処理の一部等に対して並列に行われたり、並行に行われたりしてもよい。
ステップＳ８では、自車両視点座標変換部１０７が、先にステップＳ５で死角領域モデル生成部１０９により計算された対象物の３次元座標位置を、ステップＳ７で自車両位置座標算出部１０６により算出された自車両３０１の３次元座標位置からその対象物の３次元座標位置を見た際におけるディスプレイ座標に変換する。ここで、変換されたディスプレイ座標は、具体的には、自車両３０１の３次元座標位置からの相対的な座標により、対象物の３次元座標位置を特定する相対座標である。
ステップＳ９では、表示部１０８が、死角領域にある対象物の表示を行い、先にステップＳ８で自車両視点座標変換部１０７がした変換により生成されたディスプレイ座標を用いて図１７〜図１８（ないし図２３）の表示を行う。
こうして、自車両３０１に設けられて、自車両３０１からは見えない死角の情報を表示する死角表示装置１であって、互いに異なる３次元座標位置から撮像された複数の全周囲画像２０１（図２）を格納する全周囲画像格納部１０２と、複数の全周囲画像に映り込んでいる、死角にある対象物の各映り込み画像（図４の全周囲画像４０２、４０３に映り込んだ対象物４０１の各映り込み画像、及び、図６における全周囲画像５０３、５０４に映り込んだ対象物５０７（図６）の各映り込み画像を参照）に基づいて、当該対象物の３次元座標位置を計算する死角領域モデル生成部１０９（図１、図１９）と、複数の全周囲画像に映り込んでいる、自車両３０１の各映り込み画像（図８の全周囲画像６０２、６０３に映り込んだ、自車両３０１の各映り込み画像、及び、図１１における全周囲画像８０３、８０４、８０６に映り込んだ自車両３０１の各映り込み画像参照）に基づいて、自車両３０１の３次元座標位置を計算する自車両モデル生成部１１０と、死角領域モデル生成部１０９により計算された前記対象物の位置を、自車両モデル生成部１１０により計算された自車両３０１の位置に対する相対的なディスプレイ座標に変換する自車両視点座標変換部１０７と、前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示部１０８とを備える死角表示装置１が実現できる。
以上のように、本発明の実施の形態１による死角表示装置１によれば、本来ドライバから見えない交差点死角領域を２つの全周囲画像生成部で生成した全周囲画像からドライバから見たような画像に３次元変換するとともに、当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、交差点の死角領域の状況をドライバ視点から違和感なく見ることができる。
なお、この死角表示装置１によれば、死角にある対象物の３次元位置座標が計算されるもととなる全周囲画像２０１に基づいて、自車両３０１の３次元座標位置も計算され、全周囲画像２０１を複数の計算に併用する簡単な構成にできる。これにより、簡単な構成で、高精度のドライバ視点位置を算出でき、ひいては、交差点の死角領域の状況を簡単な構成でドライバ視点から違和感なく見ることができる。
（実施の形態２）
図１３は、本発明の実施の形態２による死角表示装置１Ｃの構成を示すブロック図である。死角表示装置１Ｃは、全周囲画像を取得する全周囲画像生成部１００が異なる３次元位置座標に複数設置された交差点において、交差点側１Ｃａは選択部１００１を備え、各車両側１Ｃｂは全周囲画像格納部１０２、死角領域対応点検索部１００３、左側死角領域対応点検索部１００４、右側死角領域対応点検索部１００５、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８をそれぞれ備える。なお、このうち、全周囲画像生成部１００、全周囲画像格納部１０２、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８は、実施の形態１の振る舞いと同等である。
死角領域対応点検索部１００３の構成要素である左側死角領域対応点検索部１００４は、全周囲画像格納部１０２にある２つの全周囲画像あるいは全周囲画像の一部領域に対して自車両３０１の進行方向に対して左側の死角領域内の同一対象点を検索し、画像上の死角領域対応点とする。
死角領域対応点検索部１００３の構成要素である右側死角領域対応点検索部１００５は、全周囲画像格納部１０２にある２つの全周囲画像あるいは全周囲画像の一部領域に対して自車両３０１の進行方向に対して右側の死角領域内の同一対象点を検索し、画像上の死角領域対応点とする。
選択部１００１は、交差点に複数設置された全周囲画像生成部のうちで、交差点に進入する自車両３０１からは見えない死角領域と自車両３０１とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し２つの全周囲画像あるいは全周囲画像の一部領域を全周囲画像格納部１０２にネットワークを介して転送する。
なお、左側死角領域対応点検索部１００４、右側死角領域対応点検索部１００５、自車両対応点検索部１０５で使用する２つの全周囲画像は、他方の全周囲画像の２つの全周囲画像とは異なる２つの全周囲画像であっても構わない。
図１４は、図１３に示した選択部１００１を説明する図である。
左側死角領域対応点検索部１００４（図１３）には、全周囲画像生成部１１０２、１１０４を選択して、全周囲画像１１０６、１１０８を全周囲画像格納部１０２（図１３）から取得し、右側死角領域対応点検索部１００５は、全周囲画像生成部１１０３、１１０５を選択して、全周囲画像１１０７、１１０９を全周囲画像格納部１０２から取得し、自車両対応点検索部１０５は、全周囲画像生成部１１０２、１１０３を選択し、全周囲画像１１０６、１１０７を全周囲画像格納部１０２から取得しても構わない。
また、自車両３０１から、死角となる領域（交差点死角領域１１１０、交差点死角領域１１１１）が交差点中心から離れている場合、例えば自車両３０１から見て左側に位置する交差点死角領域１１１０の対応点検索における精度は、その死角領域により近い全周囲画像生成部１１０２、１１０４を選択する方が、全周囲画像生成部１１０２、１１０３を選択するよりも高くなり、最終的により歪みの少ない画像を生成できる。これは、全周囲画像生成部１１０４の方が、全周囲画像生成部１１０３より左側に位置する死角領域が大きく映り込んでいるためである。同様に、自車両３０１から見て右側に位置する交差点死角領域１１１１の対応点検索の精度も、全周囲画像生成部１１０３、１１０５を選択するのが最も高くなる。すなわち、選択部１００１が、交差点から距離が離れている左側の死角領域に関する左側死角領域対応点検索部１００４には自車両の進行方向Ａに対して左側に存在する２つの全周囲画像生成部を選択し、交差点から距離が離れている右側の死角領域に関する右側死角領域対応点検索部１００５には自車両の進行方向Ａに対して右側に存在する２つの全周囲画像生成部を選択しても構わない。
以上のように、本発明の実施の形態２による死角表示装置１Ｃによれば、本来ドライバから見えない交差点死角領域のうち自車両の進行方向Ａに対して左側の交差点死角領域と右側の交差点死角領域をそれぞれ異なる２つの全周囲画像を用いてドライバ視点画像に３次元変換するとともに、当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、歪みの少ないドライバ視点画像を生成することができ、交差点の死角領域の状況をドライバ視点から違和感なく見ることができる。
なお、このような、死角表示装置１Ｃであれば、より歪みの少ない全周囲画像が車両側１Ｃｂに利用されるようにできる。
なお、左側に位置する交差点死角領域１１１０は、自車両３０１が交差点を左折した場所の死角領域である。また、右側に位置する交差点死角領域１１１１は、自車両３０１が交差点を右折した場所にある死角領域である。
（実施の形態３）
図１５は、本発明の実施の形態３による死角表示装置１Ｄの構成を示すブロック図である。死角表示装置１Ｄは、全周囲画像を取得する全周囲画像生成部１００が異なる３次元位置座標に複数設置された交差点において、交差点側１Ｄａは全周囲画像保持部１２０１、全周囲差分画像生成部１２０２、選択部１２０３を備え、各車両側１Ｄｂは、全周囲画像格納部１０２、死角領域対応点検索部１２０５、左側死角領域対応点検索部１２０６、右側死角領域対応点検索部１２０７、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８を各々備える。このうち、全周囲画像生成部１００、全周囲画像格納部１０２、死角領域位置座標算出部１０４、自車両対応点検索部１０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８は実施の形態１の振る舞いと同等である。
全周囲画像保持部１２０１は、全周囲画像生成部１００が生成した全周囲画像を保持する。全周囲画像保持部１２０１は、保持するタイミングに関しては特に制限を持たない。つまり、全周囲画像生成部１００が全周囲画像を生成するたびに更新するのか、本発明の死角表示装置１Ｄの設置時にだけ更新するのかは問わない。
全周囲差分画像生成部１２０２は、全周囲画像保持部１２０１が保持する全周囲画像と、全周囲画像生成部１００が生成する全周囲画像との差分画像を生成する。全周囲画像保持部１２０１に移動体などが映り込んでいない状態の全周囲画像が保持されているとすれば、当該差分画像により移動体の存在及び移動体の移動速度を検出することができる。
選択部１２０３は、全周囲差分画像生成部１２０２が生成した差分画像から自車両３０１以外の車両や歩行者といった移動体を検出し、検出結果に基づいて実施の形態１のように選択した２つの全周囲画像もしくは複数の全周囲画像の一部領域を全周囲画像格納部１０２に転送するか否かを決定する。例えば、自車両３０１以外の移動体を検出した場合のみ転送するようにしても構わない。また、自車両３０１以外の移動体を検出し、かつ当該移動体がある一定以上の速度で移動している場合のみ転送するようにしても構わない。また、自車両３０１以外の移動体を検出した場合、当該移動体が交差点に向かって進入してくる方向に関する交差点死角領域（図１４の交差点死角領域１１１０、交差点死角領域１１１１）を判定し、自車両３０１の進行方向に対して左側から進入してくるのであれば左側死角領域対応点検索部１２０６及び自車両対応点検索部１０５だけが全周囲画像格納部１０２から取得するようにし、自車両３０１の進行方向に対して右側から進入してくるのであれば右側死角領域対応点検索部１２０７及び自車両対応点検索部１０５だけが全周囲画像格納部１０２から取得するようにしても構わない。
以上のように、本発明の実施の形態３による死角表示装置１Ｄによれば、自車両３０１以外の移動体を検出するための差分画像を用いることで、交差点付近に移動体が存在していたり交差点に移動体が高速に進入してくるなどの危険な状況の場合のみ、本来ドライバからは見えない交差点死角領域を２つの全周囲画像を用いてドライバ視点画像に３次元変換するとともに当該全周囲画像を使ってＧＰＳよりも高精度のドライバ視点位置を算出することにより、交差点の死角領域の状況をドライバ視点から違和感なく見ることができ、危険状況をドライバに直感的に知らせることができる。
（実施の形態４）
図１６は、本発明の実施の形態４による死角表示装置１Ｅの構成を示すブロック図である。死角表示装置１Ｅは、全周囲画像を取得する全周囲画像生成部１３００が異なる３次元位置座標に複数設置された交差点において、各車両側１Ｅｂはそれぞれ、全周囲画像格納部１３０１、選択部１３０２、死角領域対応点検索部１３０３、死角領域位置座標算出部１０４、自車両対応点検索部１３０５、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８を備える（図２０参照）。このうち、死角領域位置座標算出部１０４、自車両位置座標算出部１０６、自車両視点座標変換部１０７、表示部１０８は、実施の形態１の振る舞いと同等である。
全周囲画像生成部１３００は、設置された３次元位置座標を中心とする全周囲画像を生成し、ネットワークを介し、全周囲画像格納部１３０１へ転送する。
全周囲画像格納部１３０１は、ネットワークを介し送られてきた全周囲画像を格納し、必要に応じて選択部１３０２に転送する。
選択部１３０２は、交差点に複数設置された全周囲画像生成部１３００のうち、交差点に進入する自車両３０１からは見えない死角領域と自車両３０１とが同時に映り込むような位置にある全周囲画像生成部を２つ選択し、死角領域対応点検索部１３０３と自車両対応点検索部１３０５へ転送する。
死角領域対応点検索部１３０３は、選択部１３０２で選択した２つの全周囲画像生成部１３００が生成した全周囲画像に映り込んでいる死角領域内の同一対象物を検索し、画像上の死角領域対応点とする。
自車両対応点検索部１３０５は、選択部１３０２で選択した２つの全周囲画像生成部１３００が生成した全周囲画像に映り込んでいる自車両３０１を検索し、画像上の自車両対応点とする。
以上のように、本発明の実施の形態４による死角表示装置１Ｅによれば、本来ドライバから見えない交差点死角領域を３次元生成する際にどの全周囲画像から計算するかを車両側１Ｅｂに持たせることにより、インフラ側である交差点側に設置する装置のコストを低減することができる。言うまでもないことだが、実施の形態２、３の構成と組み合わせることは可能である。
なお、次のような形態をとってもよい。そして、上述した各実施の形態は、それぞれ、以下で示す他の形態の一部又は全部を付け加えてもよい。
（Ａ）共通領域が撮像された部分が少なくとも一部に含まれ、当該共通領域の少なくとも一部には道路がある、複数の画像生成部により互いに異なる位置から撮像された複数の撮像画像を取得する全周囲画像格納部と、
前記複数の撮像画像に、当該死角表示装置が設けられた自車両が映り込んだ各映り込み画像（図８のピクセルＰ２、ピクセルＰ３）をそれぞれ特定する自車両映り込み画像特定部と、
前記複数の撮像画像に、当該自車両からは見えない死角にある対象物が映り込んだ各映り込み画像（図６の死角領域対応点５０５及び死角領域対応点５０６、図４のピクセルＰ０及びピクセルＰ１参照）をそれぞれ特定する対象物映り込み画像特定部と、
当該複数の撮像画像に映り込んだ映り込み物の位置を、当該映り込み物が当該複数の撮像画像に映り込んだ各映り込み画像に基づいて特定する位置特定部と、
前記自車両映り込み画像特定部により特定された、自車両の前記各映り込み画像に基づいて、前記位置特定部を用いて、当該自車両の位置を計算する自車両モデル生成部と、
前記対象物映り込み画像特定部により特定された、前記対象物の各映り込み画像に基づいて、前記位置特定部を用いて、当該対象物の位置を計算する死角領域モデル生成部と、
前記死角領域モデル生成部により計算された前記対象物の位置を、前記自車両モデル生成部により計算された前記自車両の位置に対する相対的なディスプレイ座標に変換する自車両視点座標変換部と、
前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示部とを備える死角表示装置、の形態をとってもよい。
なお、自車両映り込み画像特定部は、自車両モデル生成部（上述した各実施の形態における各自車両モデル生成部１１０等）が備えてもよい。また、対象物映り込み画像特定部は、死角領域モデル生成部（上述した各実施の形態における死角領域モデル生成部１０９等）が備えるものとしてもよい。また、位置特定部は、自車両モデル生成部が備える、自車両の位置を特定するための第１の位置特定部と、死角領域モデル生成部が備える、対象物の位置を特定するための第２の位置特定部とが含まれるものとしてもよい。
自車両から見えない死角は、例えば、より具体的には、自車両にいるユーザ（運転者）から見えない死角である。
（Ｂ）前記自車両映り込み画像特定部は、
自車両の外観を記憶する自車両外観記憶部と、
当該自車両外観記憶部に記憶された前記外観が撮像画像に現れる領域の画像を、前記自車両の映り込み画像として特定する特定部とを備えるものとしてもよい。
また、前記自車両映り込み画像特定部は、
自車両がある位置が含まれる範囲と、当該範囲に対応する撮像画像の領域とを対応付ける対応関係を記憶する記憶部と、
当該自車両が有するＧＰＳ装置から、前記位置特定部により特定される位置よりも大まかに当該自車両の位置を特定することにより、自車両がある位置が含まれる範囲を特定する範囲情報を取得する範囲情報取得部と、
前記範囲情報取得部により取得された範囲情報が特定する範囲に前記対応関係が対応付ける撮像画像の領域の画像（又は当該画像の予め定められた部分）を、前記自車両の画像として特定する特定部とを備えるものとしてもよい。
（Ｃ）前記対象物映り込み画像特定部は、前記撮像画像のうちで前記自車両映り込み画像特定部により特定された自車両の映り込み画像の内容と、当該自車両の映り込み画像以外の当該撮像画像の内容とを画像解析して、例えば当該自車両から当該死角を見えなくする障害物の映り込み画像を特定してもよい。そして、前記対象物映り込み画像特定部は、特定された当該障害物の映り込み画像と、自車両の映り込み画像とに対応する死角の映り込み画像を特定し、特定される当該死角の映り込み画像に含まれる映り込み物の映り込み画像を特定して、当該撮像画像に映り込んだ前記対象物の映り込み画像を特定するものとしてもよい。
（Ｄ）前記対象物映り込み画像特定部は、自車両の位置と、当該位置の自車両から見た死角が撮像画像に映り込む領域とを対応付ける対応関係を記憶する記憶部を備え、前記自車両モデル生成部が前記計算で前記位置特定部に特定させるなどした、当該自車両位置特定部により特定された自車両の位置に当該対応関係が対応付ける領域にある映り込み画像を、前記対象物の映り込み画像と特定するものとしてもよい。
また、前記対象物映り込み画像特定部は、自車両の位置が含まれる範囲と、当該範囲にある自車両から見た死角が撮像画像に写り込む領域とを対応付ける対応関係を記憶する記憶部を備え、当該自車両が有するＧＰＳ装置から取得するなどした範囲情報が特定する範囲に当該対応関係が対応させる領域にある映り込み画像を、前記対象物の映り込み画像と特定するものとしてもよい。
（Ｅ）前記位置特定部は、
前記複数の撮像画像における、映り込み物が映り込んだ各映り込み画像の箇所と、当該各箇所に各映り込み画像を映り込ませた当該映り込み物の位置とを対応付ける対応関係を保持する保持部と、
前記対象物映り込み画像特定部により特定された対象物の各映り込み画像が映り込んだ各箇所に対して、前記対応関係が対応付ける位置を、当該対象物の位置として特定する処理部とを備えるものとしてもよい。
なお、撮像画像における箇所と、当該映り込み物の位置とを対応付ける前記対応関係は、例えば、映り込み物が映り込んだ前記複数の撮像画像が撮像された前記複数の画像生成部の各位置が含まれてもよい。この場合、処理部は、例えば、当該対応関係が対応付ける位置を特定することによって、それらの各位置から撮像画像が撮像された場合に、当該各箇所に映り込み画像を写り込ませる位置を、当該各映り込み画像を映り込ませた映り込み物の位置と特定するものとしてもよい。前記対応関係は、各画像生成部により撮像画像が撮像された各撮像方向が含まれてもよいし、複数の画像生成部の位置の間の相対的な位置関係が含まれるものとしてもよいし、前述した各撮像方向の間の相対的な角度などの、相対的な関係が含まれるものとしてもよい。
（Ｆ）前記表示部は、車両視点画像生成手段により撮影された、自車両の視点からの自車両視点画像における、当該ディスプレイ座標により特定される前記対象物の箇所に、当該対象物を示す情報を加えた情報付加画像を自車両の運転者に表示するものとしてもよい。前記表示部は、この表示により、ディスプレイ座標をユーザに表示するものとしてもよい。
また、前記表示部は、例えばホログラムや光学シースルーＨＭＤなどの実画像中描画手段を用いることによって、運転者が見る自車両の視点からの実画像のなかに、前記ディスプレイ座標が示す当該実画像における箇所において、前記対象物を示す情報を表示させるものとしてもよい。
以上（Ａ）〜（Ｆ）で説明した他の形態における一部又は全部を上記各実施の形態に付け加えて、それぞれ、各実施の形態を実施してもよい。なお、自車両映り込み画像特定部を構成する要素のうちの一部のみを付け加えるなどしてもよく、例えば、自車両映り込み画像特定部の機能の一部のみを付け加えてもよい。
また、続けて、以下の説明が行われる。以下の説明においては、すでに上記で説明された内容については、適宜説明が省略される。
図２５は、差分画像の処理をする図１０の死角表示装置１Ａ（図１５の死角表示装置１Ｄ）が行う処理のフローチャートである。
先述のように、死角表示装置１Ａは、複数の全周囲画像保持部７０１（図１５における複数の全周囲画像保持部１２０１）と、複数の全周囲差分画像生成部７０２（図１５における複数の全周囲差分画像生成部１２０２）と、選択部１０１とを備える。
そして、複数の全周囲画像保持部７０１は、それぞれ、対応する全周囲画像生成部１００により撮像される全周囲画像に背景差分法の処理をするための全周囲画像を保持する。
そして、複数の全周囲差分画像生成部７０２は、それぞれ、対応する全周囲画像生成部１００により撮像される全周囲画像と、対応する全周囲画像保持部７０１に保持される全周囲画像とについて、背景差分法の処理を行う。すなわち、全周囲差分画像生成部７０２は、撮像された全周囲画像と、全周囲画像保持部７０１に保持される全周囲画像との差分画像を生成する。
そして、選択部１０１は、複数の全周囲差分画像生成部１２０２により生成された各差分画像から、死角領域モデル生成部１０９により処理される各画像を選択する。また、選択部１０１は、生成された各差分画像から、自車両モデル生成部１１０により処理される各画像を選択する。選択部１０１は、選択された死角領域モデル生成部１０９の各画像（差分画像）と、自車両モデル生成部１１０の各画像を車両側１Ａｂへと転送して、全周囲画像格納部１０２に格納させる。
ステップＳ２５１〜ステップＳ２５５の処理は、図２４におけるステップＳ１〜ステップＳ３の処理に対応する処理である。そして、死角表示装置１Ａは、図２５のステップＳ２５１〜ステップＳ２５５の処理の後に、図２４のステップＳ４〜Ｓ９の処理と同様の処理を行う。なお、この点は、図２５では、詳しい図示が省略される。
ステップＳ２５１では、複数の全周囲画像生成部１００がそれぞれ全周囲画像を撮像する。
ステップＳ２５２では、複数の全周囲差分画像生成部７０２が、それぞれ、対応する全周囲画像保持部７０１に保持される全周囲画像を、その全周囲画像保持部７０１から読み出す。
ステップＳ２５３では、複数の全周囲差分画像生成部７０２が、それぞれ、対応する全周囲画像生成部１００によりステップＳ２５１で生成された全周囲画像と、対応する全周囲画像保持部７０１からステップＳ２５２で読み出された全周囲画像とから、それら２つの全周囲画像の差分画像を生成する。
ステップＳ２５４では、選択部１０１が、ステップＳ２５３で生成された各差分画像のうちからの画像の選択を行う。
ステップＳ２５５では、選択部１０１が、ステップＳ２５４で選択した各画像を車両側１Ａｂに転送し、転送する各画像を全周囲画像格納部１０２に格納させる。
図２６は、図１２の死角表示装置１Ｂが行う処理のフローチャートである。
先述のように、死角表示装置１Ｂは、自車両視点画像生成部９０９と、表示部９０８とを備える。
そして、自車両視点画像生成部９０９は、自車両視点座標変換部１０７により変換されたディスプレイ座標（図２４のステップＳ１〜Ｓ８参照）の位置を自車両３０１から見た自車両視点画像を生成する。具体的には、自車両視点画像生成部９０９は、例えば、自車両３０１の位置から、ディスプレイ座標の位置の方向を撮像するカメラである。なお、自車両視点画像生成部９０９は、単に、自車両３０１の前方を撮像するものであってもよい。つまり、自車両視点画像生成部９０９は、自車両３０１の前方にディスプレイ座標の位置が含まれる場合にのみ、自車両視点画像を撮像し、自車両３０１の前方にディスプレイ座標の位置が含まれない場合には、単なる前方の画像を撮像するに過ぎないものとしてもよい。
そして、表示部９０８は、自車両視点画像生成部９０９により生成された自車両視点画像における、自車両視点座標変換部１０７により算出された上記ディスプレイ座標の箇所に、予め定められた表示を挿入した画像を生成し、生成された画像を表示する。ここで、その箇所に挿入される上記表示は、上記ディスプレイ座標が算出された際に、死角領域対応点検索部１０３により対応点が特定された対象物の位置を示す。つまり、付加される表示は、その位置に、その対象物があることを示す。
図２３により、自車両視点画像生成部９０９を有する図１２の死角表示装置１Ｂの表示部１０８Ｆが表示させる表示画面１４０２Ｆが示される。
表示部１０８Ｆは、例えば、表示画面１４０２Ｆが表示されるディスプレイ１０８Ｆａを含む。ディスプレイ１０８Ｆａは、例えば、液晶ディスプレイ装置であってもよい。
表示画面１４０２Ｆは、歩行者１４０３Ｆ、車両１４０４Ｆ、壁１４００Ｆおよび画像生成部１４０１Ｆを含む。歩行者１４０３Ｆおよび車両１４０４Ｆは、それぞれ、上記される、対象物を示す、挿入された表示である。他方、壁１４００Ｆおよび画像生成部１４０１Ｆは、挿入された表示ではなく、予め定められた表示が挿入される前から自車両視点画像に含まれる画像である。つまり、壁１４００Ｆ等は、実際にユーザにより自車両３０１から見られる画像と同じ内容の画像である。
ステップＳ２６１（図２６）では、死角表示装置１Ｂは、図２４のステップＳ１〜Ｓ８の処理を行う。これにより、死角表示装置１Ｂが有する自車両視点座標変換部１０７が、対象物のディスプレイ座標を算出する。
ステップＳ２６２では、自車両視点画像生成部９０９が、自車両視点画像を生成する。
ステップＳ２６３では、表示部１０８Ｆが、ステップＳ２６２で生成された自車両視点画像における、ステップＳ２６１で算出されたディスプレイ座標の箇所に、上記される、対象物の表示を挿入する。
ステップＳ２６４では、表示部１０８Ｆが、ステップＳ２６３で対象物の表示が挿入された後の画像を、ディスプレイ１０８Ｆａに表示させる。
図２７は、死角領域対応点検索部１００３が、左側死角領域および右側死角領域に各々対応する２つの互いに異なる部分を有する図１３の死角表示装置１Ｃ（図１５の死角表示装置１Ｄ）の処理のフローチャートである。
先述のように、死角表示装置１Ｃは、選択部１００１（選択部１２０３）と、死角領域対応点検索部１００３（死角領域対応点検索部１２０５）とを備える。そして、死角領域対応点検索部１００３は、左側死角領域対応点検索部１００４（左側死角領域対応点検索部１２０６）と、右側死角領域対応点検索部１００５（右側死角領域対応点検索部１２０７）とを備える。
選択部１００１は、自車両３０１からその進行方向を見た際の、進行方向よりも左側の死角領域（図１４における左側の交差点死角領域１１１０）の対象物の処理に適する各全周囲画像を選択し、選択された各全周囲画像を、全周囲画像格納部１０２に格納させる。また、選択部１００１は、右側の死角領域の対象物の処理に適する各全周囲画像も選択して、全周囲画像格納部１０２に格納させる。
左側死角領域対応点検索部１００４は、全周囲画像格納部１０２から、選択部１００１により選択された、左側の死角（図１４における右側の交差点死角領域１１１１）の各全周囲画像を取得する。そして、左側死角領域対応点検索部１００４は、取得された、左側の死角の各全周囲画像の死角領域対応点をそれぞれ特定する。
右側死角領域対応点検索部１００５は、全周囲画像格納部１０２から、右側の死角の各全周囲画像を取得し、取得された右側の死角の各全周囲画像の死角領域対応点をそれぞれ特定する。
死角領域対応点検索部１００３は、こうして、左側死角領域対応点検索部１００４および右側死角領域対応点検索部１００５により、左側の死角および右側の死角の死角領域対応点を特定する。
死角領域位置座標算出部１０４は、特定された左側の死角および右側の死角の死角領域対応点に基づいて、処理を行う。
ステップＳ２７１（図２７）と、ステップＳ２７２ａ及びステップＳ２７２ｂと、ステップＳ２７３とは、それぞれ、図２４におけるステップＳ２と、ステップＳ４と、ステップＳ５とで行われる。死角表示装置１Ｃは、図２７の処理を行うのに際して、図２４のステップＳ１，ステップＳ３などの処理と同様の処理もそれぞれ行う。図２７では、これらステップＳ１に対応する処理等のステップの図示は省略される。
ステップＳ２７１では、選択部１００１が、先に図１のステップＳ１に対応する処理で撮像された各全周囲画像のうちから、左側の死角の各全周囲画像、右側の死角の各全周囲画像をそれぞれ選択し、全周囲画像格納部１０２に格納させる。
ステップＳ２７２ａでは、左側死角領域対応点検索部１００４が、ステップＳ２７１で選択された左側の死角の各全周囲画像を全周囲画像格納部１０２から取得する。そして、左側死角領域対応点検索部１００４は、取得された左側の死角の各全周囲画像から、死角領域対応点を特定する。
ステップＳ２７２ｂでは、右側死角領域対応点検索部１００５が、ステップＳ２７１で選択された右側の死角領域の各全周囲画像を全周囲画像格納部１０２から取得して、死角領域対応点を特定する。
ステップＳ２７３では、死角領域位置座標算出部１０４が、ステップＳ２７２ａで特定された死角領域対応点、および、ステップＳ２７２ｂで特定された死角領域対応点から、左側の死角および右側の死角の各対象物の３次元位置座標をそれぞれ計算する。
図２８は、車両側１Ｅｂに選択部１３０２が設けられた図１６の死角表示装置１Ｅの処理を示すフローチャートである。
先述の通り、死角表示装置１Ｅは、全周囲画像格納部１３０１と、選択部１３０２とを備える。
そして、複数の全周囲画像生成部１３００は、それぞれ、撮像した全周囲画像を、車両側１Ｅｂが備える全周囲画像格納部１３０１に格納させる。
そして、選択部１３０２は、全周囲画像格納部１３０１に格納された各全周囲画像のうちから、死角領域モデル生成部１０９に利用させる各全周囲画像を選択する。また、選択部１３０２は、格納された各全周囲画像から、自車両モデル生成部１１０に利用させる各全周囲画像を選択する。
死角領域モデル生成部１０９は、選択部１３０２により当該死角領域モデル生成部１０９のために選択された各全周囲画像に基づいて処理を行う。
自車両モデル生成部１１０も、選択部１３０２により当該自車両モデル生成部１１０のために選択された各全周囲画像に基づいて処理を行う。
ステップＳ２８１（図２８）では、交差点側１Ｅａの複数の全周囲画像生成部１３００が、それぞれ、全周囲画像を生成する（図１８の左図参照）。
ステップＳ２８Ａ１では、複数の全周囲画像生成部１３００が、それぞれ、ステップＳ２８１で生成された全周囲画像を、車両側１Ｅｂの全周囲画像格納部１３０１に格納させる。
ステップＳ２８Ａ２では、車両側１Ｅｂの全周囲画像格納部１３０１が、交差点側１Ｅａの複数の全周囲画像生成部１３００がステップＳ２８Ａ１で格納させる各全周囲画像をそれぞれ、それら複数の全周囲画像生成部１３００から取得する（図１８の右図参照）。
ステップＳ２８２では、全周囲画像格納部１３０１が、ステップＳ２８Ａ２で取得された各全周囲画像を当該全周囲画像格納部１３０１に格納する。
ステップＳ２８３では、選択部１３０２が、ステップＳ２８２で格納された各全周囲画像からの全周囲画像の選択を行う。
ステップＳ２８Ｘでは、死角表示装置１Ｅは、ステップＳ２８３での選択の結果に基づいて、図２４のステップＳ４〜ステップＳ９の処理を行い、対象物の情報を表示する。
図２９は、複数の全周囲画像から、それら複数の全周囲画像にそれぞれ映り込み画像を映り込ませた映り込み物（例えば、図５に示される、死角にある対象物４０１、又は自車両３０１）の位置が算出される処理のフローチャートである。
死角表示装置１等は、図２４のステップＳ４およびステップＳ６の処理を行うのに際して、それぞれ、具体的には、例えば、図２４におけるステップＳ２９１〜Ｓ２９４の処理を行う。
ステップＳ２９１では、当該死角表示装置は、複数の全周囲画像のそれぞれにおける、その全周囲画像に映り込んだ映り込み画像（図４（ａ）のピクセルＰ０、ピクセルＰ１、図６の死角領域対応点５０５、死角領域対応点５０６、図８のピクセルＰ２、ピクセルＰ３）の箇所を特定する。
なお、ここで、映り込み画像は、１つの画素よりなる画像であってもよいし、例えば正方形に含まれる複数の画素などの複数の画素によりなるものとしてもよい。そして、映り込み画像は、例えば、対象物を表す複数の画素の全てよりなるものとしてもよい。
ステップＳ２９２では、当該死角表示装置は、ステップＳ２９１で特定された、映り込み物が移り込んだ各映り込み画像の箇所の間のズレ量を算出する。
ステップＳ２９３では、当該死角表示装置は、ステップＳ２９２で算出されるズレ量と、映り込み物の位置との対応関係を特定する関係データを、予め定められた記憶装置から読み出す。
ここで、この記憶装置は、例えば、当該死角表示装置自身であってもよいし、当該死角表示装置に設けられた予め定められた記憶装置であってもよいし、他の記憶装置であってもよい。
読み出される対応関係は、例えば、複数の全周囲画像生成部（例えば図１の各全周囲画像生成部１００）の位置が含まれてもよい。また、この対応関係は、例えば、図６に示される距離Ｂなどの他の適切なデータが含まれてもよい。
ステップＳ２９４では、当該死角表示装置は、ステップＳ２９２で算出されたズレ量に対して、ステップＳ２９３で読み出された関係データの対応関係が対応付ける位置を特定する。これにより、当該死角表示装置は、ステップＳ２９１で映り込んだ箇所が特定された映り込み物の位置を特定する。
そして、具体的には、当該死角表示装置は、この図２９の処理を行うことにより、対象物の位置を算出する。また、当該死角表示装置は、具体的には、この図２９の処理を行うことにより、自車両３０１の位置を算出する。
そして、具体的には、図２９のステップＳ２９１の処理は、例えば、死角表示装置１等における死角領域対応点検索部１０３、および自車両対応点検索部１０５などにより行われる。また、図２９のステップＳ２９２〜Ｓ２９４の処理は、例えば、死角領域位置座標算出部１０４、および自車両位置座標算出部１０６などにより行われる。
以上説明された実施形態のようにして、車両（自車両３０１）に設けられて、当該車両からは見えない死角の情報を表示する死角表示装置（死角表示装置１、死角表示装置１の車両側１ｂ、死角表示装置１Ａ等）であって、互いに異なる位置から撮像された複数の撮像画像を格納する画像格納部（例えば、全周囲画像格納部１０２）と、前記複数の撮像画像に映り込んでいる、対象物(死角にある対象物)の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所にそれぞれ映り込みをさせる位置を当該対象物の位置として算出する対象物モデル生成部（死角領域モデル生成部１０９）と、前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所に映り込みをさせる位置を前記車両の位置として算出する車両モデル生成部（自車両モデル生成部１１０）と、前記対象物モデル生成部により計算された前記対象物の位置を、前記車両モデル生成部により計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換部（自車両視点座標変換部１０７）と、前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示部（表示部１０８）とを備える死角表示装置が構成される。
この死角表示装置であれば、対象物の位置の計算のための複数の撮像画像と、自車両の位置の計算のための複数の撮像画像との２組の複数の撮像画像が必須ということが回避される。すなわち、1組の撮像画像のみから、簡単に、対象物の位置と、自車両の位置とが計算される。これにより、死角表示装置の構成を簡単にできる。
しかも、この表示装置であれば、例えば役所に設置された公共の撮像装置などの、容易に利用できる撮像装置の撮像画像を利用して、死角表示装置が構成できる。このため、より容易に、死角表示装置が構成できる。
そして、この死角表示装置は、例えば、映り込み物（自車両３０１、対象物）の各映り込み画像の箇所と、その映り込み物が現実世界で存在する位置との対応関係を記憶する記憶部を備えてもよい。そして、対象物モデル生成部等は、特定される各箇所に対して、記憶される対応関係が対応させる位置を算出して、算出される位置を、その映り込み物の位置と特定するものであってもよい。ここで、記憶される対応関係は、例えば、複数の撮像画像が撮像された位置、方向、撮像された範囲などの情報が含まれてもよい。
そして、この死角表示装置においては、具体的には、例えば、前記対象物モデル生成部は、２つの前記全周囲画像にそれぞれ映り込んでいる、前記対象物の対応する２点（図６の死角領域対応点５０５及び死角領域対応点５０６、図４のピクセルＰ０及びピクセルＰ１参照）を検索して、検索された２点を当該２つの全周囲画像上の対象物対応点と特定する対象物対応点検索部（死角領域対応点検索部１０３）と（図２９のステップＳ２９１参照）、対象物対応点と特定された２点のピクセル位置のずれから前記対象物の位置を計算する対象物位置座標算出部（死角領域位置座標算出部１０４）と（ステップＳ２９２〜Ｓ２９４参照）を備え、前記車両モデル生成部は、２つの前記全周囲画像にそれぞれ映り込んでいる、前記車両の対応する２点を検索して、検索された２点を当該２つの全周囲画像上の車両対応点と特定する車両対応点検索部（自車両対応点検索部１０５）と（ステップＳ２９１参照）、車両対応点と特定された２点のピクセル位置のずれから前記車両の位置を計算する車両位置座標算出部（自車両位置座標算出部１０６）と（ステップＳ２９２〜Ｓ２９４参照）を備えるものとしてもよい。
これにより、例えば、対象物モデル生成部および車両モデル生成部が互いに似た構成にできる。これにより、例えば、対象物モデル生成部の機能の一部を利用して、他方の車両モデル生成部の機能が構成されるなどにより、対象物モデル生成部および車両モデル生成部が簡単な構成にできる。これにより、ひいては、死角表示装置が一層簡単な構成にできる。
また、死角表示装置１等は、例えば、各映り込み画像を映り込こませた対象物が、上記死角にある対象物か否かを判断する判断部を備えてもよい。また、死角表示装置１等は、このような判断部を備えず、対象物が死角にあるか否かを判断せずに、対象物についての上記表示を行うものであってもよい。そして、表示が行われる対象物が、死角にある場合に、結果として、死角にある対象物の表示を行うことになるものであってもよい。
本発明は、主に車載ナビゲーションシステム、歩行者向けナビゲーションシステムにおける安全支援、危険通知機能として有用である。さらに、本発明は、画像処理の部分をプログラムによって実現したアプリケーションとして、あるいはハードウェアによって実現したＬＳＩとして有用である。
１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ 死角表示装置
１ａ、１Ａａ、１Ｂａ、１Ｃａ、１Ｄａ、１Ｅａ 交差点側
１ｂ、１Ａｂ、１Ｂｂ、１Ｃｂ、１Ｄｂ、１Ｅｂ 車両側
２０ 軸
１００、３０２〜３０５、５０１、５０２、８０１、８０２、８０５、１１０２〜１１０５、１３００ 全周囲画像生成部
１００ａ 標準カメラ
１００ｂ 凸型の鏡面
１０１、１００１、１２０３、１３０２ 選択部
１０２、１３０１ 全周囲画像格納部
１０３、１００３、１２０５、１３０３ 死角領域対応点検索部
１０４ 死角領域位置座標算出部
１０５、１３０５ 自車両対応点検索部
１０６ 自車両位置座標算出部
１０７ 自車両視点座標変換部
１０８、１０８Ｆ 表示部
１０８ａ、１０８Ｆａ ディスプレイ
１０９、１００９、１２０９ 死角領域モデル生成部
１１０ 自車両モデル生成部
２０１ 全周囲画像
２０１ａ 全周囲画像の左上領域四分の一
２０１ｂ 全周囲画像の左下領域四分の一
２０１ｃ 全周囲画像の右下領域四分の一
２０１ｄ 全周囲画像の右上領域四分の一
２０２ 透視投影画像
３０１ 自車両
３０６〜３０９ ３０２〜３０５が生成した全周囲画像
４０１、５０７ 死角領域内の対象物
４０２、４０３、５０３、５０４ 死角領域が映り込んだ全周囲画像
５０５、５０６ 死角領域対応点
６０２、６０３、８０３、８０４、８０６ 自車両が映り込んだ全周囲画像
７０１、１２０１ 全周囲画像保持部
７０２、１２０２ 全周囲差分画像生成部
９０９ 自車両視点画像生成部
１００４ 左側死角領域対応点検索部
１００５ 右側死角領域対応点検索部
１１０６〜１１０９ １１０２〜１１０５が生成した全周囲画像
１１１０ 交差点から遠い左側死角領域
１１１１ 交差点から遠い右側死角領域
１２０６ 左側死角領域対応点検索部
１２０７ 右側死角領域対応点検索部
１４００ 死角を生成する道路の壁
１４００Ｆ 壁
１４０１Ｆ 画像生成部
１４０２ 表示画面範囲
１４０２Ｆ 表示画面
１４０３、１４０３Ｆ 歩行者
１４０４、１４０４Ｆ 車両
１７００、２０００ 交差点
１７０１ 交差点を自車両から見た場合の実景色
１７０２、１７０５ 水平視野角
１７０３ 実際と同じ水平視野角を使用した場合の生成画像
１７０４、１７０７ 実景色と生成画像の重畳表示画像
１７０６ 実際よりも広い水平視野角を使用した場合の生成画像
２０００ａ 全周囲画像生成部の左上四分の一
２０００ｂ 全周囲画像生成部の左下四分の一
２０００ｃ 全周囲画像生成部の右下四分の一
２０００ｄ 全周囲画像生成部の右上四分の一

Claims (21)

  1. 車両に設けられて、当該車両からは見えない死角の情報を表示する死角表示装置であって、
    互いに異なる位置から撮像された複数の撮像画像を格納する画像格納手段と、
    前記複数の撮像画像に映り込んでいる、対象物の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所にそれぞれ映り込みをさせる位置を当該対象物の位置として算出する対象物モデル生成手段と、
    前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像に基づいて、当該各映り込み画像の箇所を特定して、特定される各箇所に映り込みをさせる位置を前記車両の位置として算出する車両モデル生成手段と、
    前記対象物モデル生成手段により計算された前記対象物の位置を、前記車両モデル生成手段により計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換手段と、
    前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示手段と
    を備えることを特徴とする死角表示装置。
  2. 前記対象物モデル生成手段は、
    ２つの前記全周囲画像にそれぞれ映り込んでいる、前記対象物の対応する２点を検索して、検索された２点を当該２つの全周囲画像上の対象物対応点と特定する対象物対応点検索手段と、
    対象物対応点と特定された２点のピクセル位置のずれから前記対象物の位置を計算する対象物位置座標算出手段とを備え、
    前記車両モデル生成手段は、
    ２つの前記全周囲画像にそれぞれ映り込んでいる、前記車両の対応する２点を検索して、検索された２点を当該２つの全周囲画像上の車両対応点と特定する車両対応点検索手段と、
    車両対応点と特定された２点のピクセル位置のずれから前記車両の位置を計算する車両位置座標算出手段とを備える
    ことを特徴とする請求項１記載の死角表示装置。
  3. 前記複数の撮像画像は、１つの交差点の近傍の互いに異なる位置に設置された複数の全周囲画像生成部によりそれぞれ撮像された複数の撮像画像であり、
    それぞれの撮像画像は、その撮像画像が撮像された前記全周囲画像生成部が設置された位置を中心とした全周囲画像であり、
    前記複数の撮像画像のうちから、前記車両及び前記対象物が撮像された２つの撮像画像を選択し、前記対象物モデル生成手段及び前記車両モデル生成手段に利用させる選択手段をさらに備える
    ことを特徴とする請求項２記載の死角表示装置。
  4. 前記ディスプレイ座標は、前記車両から見た奥行き値が含まれ、
    前記表示手段は、変換後の前記ディスプレイ座標の当該奥行き値に対応する予め定められたピクセル色を、当該ディスプレイ座標が計算された前記対象物対応点の色として表示する
    ことを特徴とする請求項１記載の死角表示装置。
  5. 前記対象物対応点検索手段は、
    前記車両の進入方向に対して左側死角領域内の前記対象物における前記対応する２点を検索して、検索された２点を当該対象物の対象物対応点とする左側死角領域対応点検索手段と、
    前記車両の進入方向に対して右側死角領域内の前記対象物における前記対応する２点を検索して、検索された２点を当該対象物の対象物対応点とする右側死角領域対応点検索手段とを備える
    ことを特徴とする請求項３記載の死角表示装置。
  6. 前記選択手段は、転送を行う前記全周囲画像を、交差点の形状に対応する予め定められた２以上の一部領域に分割して、分割した各一部領域のうちの１つの前記一部領域のみを転送する
    ことを特徴とする請求項３記載の死角表示装置。
  7. 前記選択手段は、同一の前記全周囲画像の互いに異なる前記一部領域を、前記対象物対応点検索手段及び前記車両対応点検索手段に転送し、
    前記対象物対応点検索手段は、前記選択手段が当該対象物対応点検索手段に転送する前記一部領域を用い、
    前記車両対応点検索手段は、前記選択手段が当該車両対応点検索手段に転送する前記一部領域を用いる
    ことを特徴とする請求項６記載の死角表示装置。
  8. 前記交差点は、十字交差点であり、
    前記全周囲画像である前記撮像画像は、それぞれ、撮像された前記全周囲画像生成部が設置された位置を中心とする周囲の４分の１毎の場所に対応する、４つの４分の１画像領域が集まってなり、
    前記選択手段は、
    前記全周囲画像のうちで、交差点の右側死角領域が映り込んでいる前記４分の１画像領域を前記右側死角領域対応点検索手段のために選択し、
    前記全周囲画像のうちで、交差点の左側死角領域が映り込んでいる前記４分の１画像領域を前記左側死角領域対応点検索手段のために選択する
    ことを特徴とする請求項５記載の死角表示装置。
  9. 前記交差点は、十字交差点であり、
    前記全周囲画像である前記撮像画像は、それぞれ、撮像された前記全周囲画像生成部が設置された位置を中心とする周囲の４分の１毎の場所に対応する、４つの４分の１画像領域が集まってなり、
    前記選択手段は、２つの前記全周囲画像のうち、一方の全周囲画像のなかで車両が映り込んでいる４分の１画像領域、及び、他方の全周囲画像のなかで車両が映り込んでいる４分の１画像領域の２つの４分の１画像領域を前記車両対応点検索手段のために選択する
    ことを特徴とする請求項３記載の死角表示装置。
  10. 前記選択手段は、全周囲画像に映り込んだ前記車両の映り込み画像を検索して、前記車両及び前記死角が撮像された各全周囲画像のうちで、検索された車両の映り込み画像が最も大きい全周囲画像と、２番目に大きい全周囲画像とを選択する
    ことを特徴とする請求項３記載の死角表示装置。
  11. 前記交差点は、２つの道路が十字に交差する十字交差点であり、
    前記複数の撮像画像は、２つの前記道路が交差して作る４つの角にそれぞれ設置された４個の全周囲画像生成部によりそれぞれ撮像された４個の撮像画像であり、
    前記選択手段は、前記対象物が、車両が交差点へと進入する道路よりも当該車両から見た左側にある左側死角領域の対象物の場合には、進入する当該道路の左側にある２つの角の前記全周囲画像生成部を前記左側死角領域対応点検索手段のため選択すると共に、車両が交差点へと進入する道路よりも当該車両から見た右側にある右側死角領域の対象物の場合には、進入する当該道路の右側にある２つの角の前記全周囲画像生成部を前記右側死角領域対応点検索手段のため選択する
    ことを特徴とする請求項５記載の死角表示装置。
  12. 前記左側死角領域対応点検索手段は、前記選択手段に選択された２つの全周囲画像が透視投影画像に変換された２つの透視投影画像のうちで、前記左側死角領域に近い位置で撮像がされた方の全周囲画像に対応する透視投影画像を基準にして、他方の透視投影画像に対してピクセルの左から右へのマッチング処理を行い、
    前記右側死角領域対応点検索手段は、前記選択手段に選択された２つの全周囲画像が透視投影画像に変換された２つの透視投影画像のうちで、前記右側死角領域に近い位置で撮像がされた方の全周囲画像に対応する透視投影画像を基準にして、他方の透視投影画像に対して、ピクセルの右から左へマッチング処理を行う
    ことを特徴とする請求項５記載の死角表示装置。
  13. 車両視点からの画像を撮影する車両視点画像生成手段をさらに備え、
    前記車両視点座標変換手段は、前記対象物モデル生成手段により計算された前記対象物の位置を、車両視点から見たディスプレイ座標に変換し、
    前記表示手段は、前記車両視点画像生成手段により撮影された画像を表示すると共に、表示される当該画像における当該ディスプレイ座標の箇所に、前記対象物を示す表示を行う
    ことを特徴とする請求項１記載の死角表示装置。
  14. 前記表示手段は、前記対象物を示す表示における各ピクセルを、それぞれ、前記車両視点画像生成手段により撮影された画像における当該ピクセルの位置のピクセル色に対して、前記対象物の表示の当該ピクセルのピクセル色を半透過合成した半透過合成ピクセル色によって表示する
    ことを特徴とする請求項１３記載の死角表示装置。
  15. 前記車両視点座標変換手段は、前記車両視点画像生成手段により画像が撮影される第１視野角よりも広い予め定められた第２視野角を車両視点から見た各位置を、狭い前記第１視野角の位置に対応する前記ディスプレイ座標に変換し、
    前記表示手段は、狭い前記第１視野角の位置に対応するディスプレイ座標の範囲に、広い前記第２視野角の位置の前記対象物の表示を表示する
    ことを特徴とする請求項１４記載の死角表示装置。
  16. 前記表示手段は、全周囲画像における前記車両の映り込み画像の大きさを特定し、特定された大きさが小さいほど、当該対象物を示す表示の透過度を高くする
    ことを特徴とする請求項１４記載の死角表示装置。
  17. 前記選択手段は、１つの前記全周囲画像生成部により撮像された複数の前記撮像画像より、前記対象物の速度を特定して、特定される速度が予め定められた速度以上の場合のみ、当該各撮像画像を前記対象物モデル生成手段及び前記車両モデル生成手段に転送する
    ことを特徴とする請求項３記載の死角表示装置。
  18. 車両に設けられた死角表示装置が、当該車両からは見えない死角の情報を表示する死角表示方法であって、
    互いに異なる位置から撮像された複数の撮像画像を格納する画像格納工程と、
    前記複数の撮像画像に映り込んでいる、対象物の各映り込み画像の箇所を特定し、特定される各箇所にそれぞれ画像を映り込ませる位置を当該対象物の位置として算出する対象物モデル生成工程と、
    前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像の箇所を特定し、特定される各箇所にそれぞれ画像を映り込ませる位置を前記車両の位置として算出する車両モデル生成工程と、
    前記対象物モデル生成工程で計算された前記対象物の位置を、前記車両モデル生成工程で計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換工程と、
    前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示工程と
    を備えることを特徴とする死角表示方法。
  19. コンピュータを用いて、車両に設けられた死角表示装置に、当該車両からは見えない死角の情報を表示させるためのコンピュータプログラムであって、
    互いに異なる位置から撮像された複数の撮像画像を格納する画像格納工程と、
    前記複数の撮像画像に映り込んでいる、対象物の各映り込み画像の箇所を特定し、特定される各箇所にそれぞれ画像を映り込ませる位置を当該対象物の位置として算出する対象物モデル生成工程と、
    前記複数の撮像画像に映り込んでいる、前記車両の各映り込み画像の箇所を特定し、特定される各箇所にそれぞれ画像を映り込ませる位置を前記車両の位置として算出する車両モデル生成工程と、
    前記対象物モデル生成工程で計算された前記対象物の位置を、前記車両モデル生成工程で計算された前記車両の位置に対する相対的なディスプレイ座標に変換する車両視点座標変換工程と、
    前記対象物を示す情報を前記ディスプレイ座標を用いて表示する表示工程と
    を前記コンピュータに実行させるための、コンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラム。
  20. 請求項１９記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  21. 前記複数の撮像画像は、当該車両と、当該車両からは見えない死角との両方を撮像する位置にそれぞれが設けられた複数の画像生成部により撮像された複数の撮像画像であり、
    前記対象物モデル生成手段および前記車両モデル生成手段は、それぞれ、当該死角表示装置の外部から当該死角表示装置に転送された前記複数の撮像画像を取得し、取得された当該複数の撮像画像を利用する
    ことを特徴とする請求項1記載の死角表示装置。
JP2010505364A 2008-03-27 2009-03-27 死角表示装置 Expired - Fee Related JP5208203B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010505364A JP5208203B2 (ja) 2008-03-27 2009-03-27 死角表示装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008084536 2008-03-27
JP2008084536 2008-03-27
PCT/JP2009/001392 WO2009119110A1 (ja) 2008-03-27 2009-03-27 死角表示装置
JP2010505364A JP5208203B2 (ja) 2008-03-27 2009-03-27 死角表示装置

Publications (2)

Publication Number Publication Date
JPWO2009119110A1 true JPWO2009119110A1 (ja) 2011-07-21
JP5208203B2 JP5208203B2 (ja) 2013-06-12

Family

ID=41113321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010505364A Expired - Fee Related JP5208203B2 (ja) 2008-03-27 2009-03-27 死角表示装置

Country Status (4)

Country Link
US (1) US8395490B2 (ja)
JP (1) JP5208203B2 (ja)
CN (1) CN101925930A (ja)
WO (1) WO2009119110A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、***及存储影像元数据的记录媒体
EP2288520B1 (en) * 2008-06-25 2014-09-24 Autoliv Development AB A system for detecting objects in the vicinity of a vehicle
DE102009024062A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung
US9479768B2 (en) * 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5678324B2 (ja) * 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5626475B2 (ja) * 2011-08-10 2014-11-19 トヨタ自動車株式会社 運転支援装置
KR20130084720A (ko) * 2012-01-18 2013-07-26 삼성전기주식회사 영상 처리 장치 및 방법
US9180882B1 (en) 2012-06-20 2015-11-10 Google Inc. Avoiding blind spots of other vehicles
JP5853926B2 (ja) * 2012-10-05 2016-02-09 トヨタ自動車株式会社 車両の交差点通過時のための運転支援装置
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
DE102012223588A1 (de) * 2012-12-18 2014-06-18 Robert Bosch Gmbh Vorrichtung zur erweiterten Darstellung eines Umgebungsbereichs eines Fahrzeugs
CN103879351B (zh) * 2012-12-20 2016-05-11 财团法人金属工业研究发展中心 车用影像监视***
US9064420B2 (en) * 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
TWI552897B (zh) * 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US9931985B1 (en) * 2015-05-07 2018-04-03 Ambarella, Inc. Blind-spot monitoring using machine vision and precise FOV information
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
US9888174B2 (en) * 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
JP6629040B2 (ja) * 2015-10-27 2020-01-15 株式会社日立製作所 交通情報提供装置及びシステム及び方法
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
DE102015015437A1 (de) * 2015-12-02 2017-06-08 Conti Temic Microelectronic Gmbh Steuergerät und Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
JP6657937B2 (ja) * 2015-12-25 2020-03-04 トヨタ自動車株式会社 車両用表示装置
US10328949B2 (en) * 2016-01-28 2019-06-25 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor blind spot indication for vehicles
WO2017206042A1 (zh) 2016-05-31 2017-12-07 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
JP6159455B1 (ja) * 2016-09-02 2017-07-05 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
US10496890B2 (en) 2016-10-28 2019-12-03 International Business Machines Corporation Vehicular collaboration for vehicular blind spot detection
US10552690B2 (en) * 2016-11-04 2020-02-04 X Development Llc Intuitive occluded object indicator
JP6916609B2 (ja) * 2016-11-21 2021-08-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 交差点情報配信装置及び交差点情報配信方法
US10558264B1 (en) 2016-12-21 2020-02-11 X Development Llc Multi-view display with viewer detection
CN106886759A (zh) * 2017-01-22 2017-06-23 西安科技大学 一种应用于大型卡车的去盲区安全驾驶***及方法
US11219422B2 (en) * 2017-03-14 2022-01-11 Canon Medical Systems Corporation Image displaying system, image processing apparatus and x-ray imaging system
WO2018216058A1 (ja) * 2017-05-22 2018-11-29 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
US10850732B2 (en) * 2017-09-05 2020-12-01 Aptiv Technologies Limited Automated speed control system
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
CN108454553A (zh) * 2017-12-20 2018-08-28 安徽云森物联网科技有限公司 一种基于人眼视觉识别技术实现障碍物检测技术
JP7286612B2 (ja) * 2018-02-19 2023-06-05 株式会社村上開明堂 操作検出装置及び操作検出方法
JP7077726B2 (ja) * 2018-04-02 2022-05-31 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置
US10943485B2 (en) * 2018-04-03 2021-03-09 Baidu Usa Llc Perception assistant for autonomous driving vehicles (ADVs)
US11282385B2 (en) * 2018-04-24 2022-03-22 Qualcomm Incorproated System and method of object-based navigation
JP6838027B2 (ja) * 2018-10-31 2021-03-03 ファナック株式会社 ロボットシステム
JP7147527B2 (ja) * 2018-12-10 2022-10-05 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
EP3876215A4 (en) * 2018-12-20 2022-07-13 OMRON Corporation DETECTION DEVICE, MOVABLE BODY SYSTEM, AND DETECTION METHOD
US10817733B2 (en) * 2019-02-13 2020-10-27 Sap Se Blind spot implementation in neural networks
US11265487B2 (en) * 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
RU2769921C2 (ru) * 2019-11-21 2022-04-08 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
JP2022053398A (ja) * 2020-09-24 2022-04-05 株式会社トプコン 情報表示システム、情報表示システムの制御方法、情報表示システムの制御プログラム
JP2022161066A (ja) * 2021-04-08 2022-10-21 トヨタ自動車株式会社 表示制御システム、表示制御方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08306000A (ja) * 1995-04-28 1996-11-22 Suzuki Motor Corp 交差点における危険度判定方法
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP3538393B2 (ja) 2000-06-05 2004-06-14 株式会社ナムコ ゲームシステム、プログラム及び情報記憶媒体
US6828969B2 (en) 2000-06-05 2004-12-07 Namco Ltd. Game system, program and image generating method
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP3972722B2 (ja) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ 車載画像処理装置
JP2004056486A (ja) * 2002-07-19 2004-02-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP4307934B2 (ja) 2003-08-13 2009-08-05 株式会社トプコン 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
JP2005167397A (ja) * 2003-11-28 2005-06-23 Canon Inc サーバ装置及びその制御方法及び記憶媒体
JP4437677B2 (ja) 2004-03-01 2010-03-24 三菱電機株式会社 景観表示装置
WO2005088970A1 (ja) 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4556798B2 (ja) * 2005-07-29 2010-10-06 トヨタ自動車株式会社 画像処理装置
JP4752486B2 (ja) * 2005-12-15 2011-08-17 株式会社日立製作所 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP2007316856A (ja) * 2006-05-24 2007-12-06 Sumitomo Electric Ind Ltd 移動体検出装置、コンピュータプログラム及び移動体検出方法
JP2008041058A (ja) 2006-08-10 2008-02-21 Sumitomo Electric Ind Ltd 死角移動体を報知するための報知システム、画像処理装置、車載装置及び報知方法
JP4311420B2 (ja) 2006-08-11 2009-08-12 住友電気工業株式会社 接近移動体表示装置、システム及び方法

Also Published As

Publication number Publication date
US8395490B2 (en) 2013-03-12
JP5208203B2 (ja) 2013-06-12
WO2009119110A1 (ja) 2009-10-01
CN101925930A (zh) 2010-12-22
US20100315215A1 (en) 2010-12-16

Similar Documents

Publication Publication Date Title
JP5208203B2 (ja) 死角表示装置
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
US9633266B2 (en) Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
AU2006203980B2 (en) Navigation and inspection system
EP2053860A1 (en) On-vehicle image processing device and its viewpoint conversion information generation method
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20140285523A1 (en) Method for Integrating Virtual Object into Vehicle Displays
US20130315446A1 (en) Projecting location based elements over a heads up display
US20070003162A1 (en) Image generation device, image generation method, and image generation program
CN102555905B (zh) 产生车辆周围环境中至少一个物体的影像的方法和设备
CN104859538A (zh) 车辆图像显示***中基于视觉的物体感测和突出显示
WO2002080557A1 (en) Drive supporting device
WO2005088971A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
JP2018110328A (ja) 画像処理装置および画像処理方法
US20210327113A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
JP2004265396A (ja) 映像生成システム及び映像生成方法
JP2019185520A (ja) 画像処理装置および方法
JP2009077022A (ja) 運転支援システム及び車両
EP4310768B1 (en) Driver assistance system
JP2005258792A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
CN118270035A (zh) 一种用于车辆的预警***、预警方法及车辆
JP2021033377A (ja) 情報端末装置、プログラム、提示システム及びサーバ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5208203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees