JPWO2009107199A1 - 画像処理装置、画像処理方法、画像処理プログラム及び車載端末 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム及び車載端末 Download PDFInfo
- Publication number
- JPWO2009107199A1 JPWO2009107199A1 JP2010500475A JP2010500475A JPWO2009107199A1 JP WO2009107199 A1 JPWO2009107199 A1 JP WO2009107199A1 JP 2010500475 A JP2010500475 A JP 2010500475A JP 2010500475 A JP2010500475 A JP 2010500475A JP WO2009107199 A1 JPWO2009107199 A1 JP WO2009107199A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- information
- unit
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 90
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 30
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 abstract description 9
- 239000000203 mixture Substances 0.000 description 57
- 238000004364 calculation method Methods 0.000 description 22
- 239000002131 composite material Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 102100024237 Stathmin Human genes 0.000 description 1
- 108050003387 Stathmin Proteins 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Navigation (AREA)
Abstract
画像処理装置(3)は、車両に設けられた撮像装置(2)の撮像画像を取得する画像入力部(7)と、道路の分岐点またはカーブと車両との距離を、ナビゲーションシステム(5)から取得する車両情報入力部(8)と、撮像情報と運転者情報が予め記録される記録部(15)と、入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部(9)と、拡大対象物が認識された場合に、拡大画像を撮像画像と合成した合成画像を生成する合成部(11)とを備える。合成部(11)は、車両情報入力部(8)で取得された前記距離と、記録部(15)に記録された撮像情報および運転者情報とを用いて、撮像画像内における、運転者の死角の画像ではない非死角領域を計算し、当該非死角領域に拡大画像が重なるように合成する。これにより、運転者が一回のアクションで、死角エリアおよび拡大画像の情報を認識することが可能になる。
Description
本発明は、例えば、車両に設置されたカメラ等で撮影した画像を、ユーザに表示するために処理する画像処理装置に関する。
近年、見通しの悪い交差点、T字路での出会い頭の衝突事故防止などを目的に、車両に設置されたカメラを用いたシステム(例えば、ブラインドコーナモニタ(Blind Corner Monitor:BCM))が導入されつつある。
BCMは、例えば車両前端等に設置したカメラで、運転者が運転席から見ることのできない死角となるエリアを撮影し、車載モニタに表示する。BCMにより、運転者の視覚補助が実現する。
しかし、例えば、車両が直行していない交差点に進入する場合のように、車両が道路に対して、90度以外の角度で進入すると、車両の左右の道路状況が同時にBCMの車載モニタに写らないことがある。すなわち、BCMのモニタにも表示されない死角が生じることがある。また、電柱や歩行者などが遮蔽物となり、運転者がBCMのモニタの映像を見ても左右の状況が把握できない場合もある。このような場合、運転者は、接近する車両に気づかない恐れがあり、BCMだけでは、十分に安全確認を行えないことになる。
一方、交差点には事故防止の一手段として、運転者の死角となる情報を映し出す反射鏡(コーナミラー)が設置されている。
このような路側に設けられた反射鏡を利用した障害検出システムが提案されている(例えば、特開2007−69777号公報(特許文献1)参照)。このシステムは、車両側から路側に設けられた反射部材に向けて赤外光を照射させ、反射部材で反射した赤外光により生成される画像から危険対象物が存在するか否かを判断する。危険対象物が存在した場合、システムは、運転者にその旨を報知する。
また、車両の前方に設けられたカメラで撮像した画像からコーナミラーを認識し、拡大してHUD(ヘッドアップディスプレイ:Head−Up Display)に表示するシステムも提案されている(例えば、特開2007−102691号公報(特許文献2)参照)。
特開2007−69777号公報
特開2007−102691号公報
しかし、コーナミラーの大きさや形状、向き、道路幅といった条件により、コーナミラーでもとらえきれない領域(死角)が発生する場合もある。そのため、運転者は、コーナミラーや、その拡大映像だけは、十分に安全確認を行えないことになる。
このように、死角エリアの状況は時々刻々と変化するので、運転者は、道路に設置されたコーナミラーあるいはその映像、およびBCMの映像の両方を常時確認する必要がある。例えば、車両が交差点に進入する直前において、運転者は、反射鏡がとらえる死角エリアの情報は道路に設置された反射鏡で、BCMのカメラがとらえる死角エリアの情報はモニタで確認するといった行動を行う。このような行為は、運転中の運転者にとって負担となっている。
すなわち、BCMやコーナミラーにより、運転者の死角エリアや拡大画像を提示する環境が整っていても、運転者が1回のアクション(モニタを確認するといった行為)で死角および拡大画像それぞれの情報が確認できないのであれば、その情報の有益性も半減してしまう。
そのため、運転者が一回のアクションで、死角エリアと拡大画像双方の情報を認識することができ、それぞれの情報を有効に活用できる仕組みが求められている。
ゆえに、本発明は、運転者が一回のアクションで、死角エリアおよび拡大画像の情報を認識することを可能にする画像処理装置を提供することを目的とする。
本発明にかかる画像処理装置は、車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力部と、車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に取得する車両情報入力部と、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部とを備え、前記合成部は、前記車両情報入力部で取得された前記距離と、前記記録部に記録された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する。
上記構成において、合成部は、車両の進行方向にある道路の分岐点またはカーブと車両との距離と、撮像装置の特性および運転者の視野に関する情報を用いることにより、撮像装置が撮像した撮像画像内における、運転者の死角の画像ではない領域(すなわち非死角領域)を特定することができる。そのため、合成部は、撮像画像における非死角領域に、拡大対象物の拡大画像を重ねた合成画像を生成することができる。合成画像が表示されると、運転者はこの合成画像を一瞥するだけで、撮像画像に含まれる死角の画像と拡大対象物の拡大画像とを同時に確認することができる。すなわち、運転者は、撮像装置が捉える死角および拡大対象物の双方を1回のアクション(表示された合成画像を見る行為)により、確認することが可能になる。
本発明によれば、運転者が一回のアクションで、死角エリアおよび拡大画像の情報を認識することが可能になる。
本発明の実施形態にかかる画像処理装置において、前記合成部は、前記分岐点またはカーブの位置周辺における前記撮像装置により撮像される撮像領域を、前記分岐点またはカーブと前記車両との距離および前記撮像情報を用いて計算し、前記分岐点またはカーブの位置周辺における運転者の視野に入る視野領域を、前記分岐点またはカーブと前記車両との距離および前記運転者情報を用いて計算し、前記撮像領域に対する前記視野領域の位置関係を用いて、前記撮像画像における前記非死角領域の位置を特定する態様とすることができる。
上記構成のように、合成部は、前記分岐点またはカーブの位置に基づく位置における撮像装置の撮像領域と運転者の視野領域をそれぞれ計算する。これらの位置関係は、撮像画像と非死角領域の位置関係に対応する。そのため、合成部は、撮像領域と視野領域の位置関係を用いて、撮像画像における非死角領域をより正確に計算することができる。
本発明の実施形態にかかる画像処理装置において、前記合成部は、前記拡大画像の拡大の度合いを、前記車両情報入力部で取得された前記距離を用いて決定する態様とすることができる。
これにより、車両と分岐点またはカーブとの距離に応じて、道路反射鏡の拡大画像の拡大度合いを調整することが可能になる。その結果、運転者が道路反射鏡および撮像映像に写る死角を確認することをより容易にする合成画像が生成される。
本発明の実施形態にかかる画像処理装置において、前記画像入力部は、前記撮像画像の撮像時における前記撮像装置の水平舵角をさらに入力し、前記合成部は、前記水平舵角を用いて、前記撮像領域を計算する態様とすることができる。
ここで、撮像装置の水平舵角とは、車両に設けられた撮像装置の光軸が、所定位置から垂直方向を軸として水平面内で回転した場合の所定位置からの回転角度で表される量である。これにより、合成部は、撮像画像が光軸を水平方向に回転させて撮像した画像についても、回転量に応じて適切な非死角領域を計算することができる。
本発明の実施形態にかかる画像処理装置において、前記車両情報入力部は、車両の進行方向にあるカーブの曲率を示す値をさらに取得し、前記合成部は、前記曲率を用いて、前記拡大画像の拡大の度合いを決定する態様とすることができる。
これにより、車両の進行方向にあるカーブの曲率に応じて、道路反射鏡の拡大画像の拡大の度合いを調整することが可能になる。その結果、カーブの曲率に応じた適切な大きさの道路反射鏡の拡大画像を含む合成画像が生成される。
本発明の実施形態にかかる画像処理装置において、前記車両情報入力部は、前記分岐点または前記カーブにおける事故発生の頻度を表す情報をさらに取得し、前記合成部は、前記事項発生の頻度を用いて、前記拡大画像の拡大の度合いを決定する態様とすることができる。
これにより、車両の進行方向にある分岐点またはカーブの事故発生の頻度に応じて、道路反射鏡の拡大画像の拡大の度合いを調整することが可能になる。その結果、分岐点またはカーブの危険度合いに応じた適切な大きさの道路反射鏡の拡大画像を含む合成画像が生成される。
本発明の実施形態にかかる画像処理装置は、前記車両に設けられたナビゲーションシステムと連携動作可能であり、車両情報入力部は、前記車両に設けられたナビゲーションシステムから車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を取得する態様とすることができる。このように、ナビゲーションシステムと連携可能な構成にすることにより、効率よく処理を実行することができる。
本発明の実施形態にかかる画像処理装置において、前記車両情報入力部は、前記カーナビゲーションシステムから、前記分岐点または前記カーブに前記拡大対象物があるか否かを示す情報をさらに入力し、前記拡大対象認識部は、前記分岐点または前記カーブに前記拡大対象物がある場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識する態様とすることができる。
このように、前記分岐点または前記カーブにおける前記拡大対象物の有無を示す情報を基に認識を実行するか否かを判断することで、認識処理がより正確に効率よく行われる。
本発明の実施形態にかかる画像処理装置において、前記拡大対象認識部は、前記距離が所定の距離以下になった場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識する態様とすることができる。
本発明にかかる画像処理方法は、コンピュータにより実行される画像処理方法であって、車両に設けられた撮像装置により撮像された撮像画像を入力する画像入力ステップと、前記車両に設けられたナビゲーションシステムから前記車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に入力する車両情報入力ステップと、前記コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を読み込んで入力する記録情報取得ステップと、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識ステップと、前記拡大対象認識ステップで拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成ステップとを含み、前記合成ステップでは、前記車両情報入力ステップで取得された前記距離と、前記記録情報取得ステップで取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理が実行される。
本発明にかかる画像処理プログラムは、車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力処理と、車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に取得する車両情報入力処理と、コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を取得する記録情報取得処理と、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識処理と、前記拡大対象認識処理により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成処理とコンピュータに実行させる画像処理プログラムであって、前記合成処理において、前記車両情報入力処理で取得された前記距離と、前記記録情報取得処理で取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理をコンピュータに実行させる。
本発明にかかる車載端末は、車両に設けられた撮像装置と連携可能な車載端末であって、車両の位置を特定する機能と、道路の分岐点またはカーブの位置を含む道路情報を記録した地図データ記録部とを備えるナビゲーションシステム部と、前記撮像装置により撮像された撮像画像を取得する画像入力部と、車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記ナビゲーションシステム部で特定される車両の位置および道路情報を用いて取得する車両情報入力部と、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部と、前記合成部が生成した合成画像を表示する表示装置とを備える。
以下、本発明の実施形態について、図を参照しながら説明する。
<車載システムの構成の概要>
図1は、本実施形態に係る画像処理装置を含む車載システム全体の構成を示す機能ブロック図である。図1に示す車載システム1は、車両に設けられるシステムであり、カメラ(撮像装置)2、画像処理装置3、GPSアンテナ4、ナビゲーションシステム(ナビゲーションシステム部)5およびモニタ(表示部)6を含む。カメラ2は、例えば、車両の前方視野を撮影できる位置に設けられる。画像処理装置3は、カメラ2が撮影した前方視野の画像を受け付けて処理し、モニタ6へ出力する。
図1は、本実施形態に係る画像処理装置を含む車載システム全体の構成を示す機能ブロック図である。図1に示す車載システム1は、車両に設けられるシステムであり、カメラ(撮像装置)2、画像処理装置3、GPSアンテナ4、ナビゲーションシステム(ナビゲーションシステム部)5およびモニタ(表示部)6を含む。カメラ2は、例えば、車両の前方視野を撮影できる位置に設けられる。画像処理装置3は、カメラ2が撮影した前方視野の画像を受け付けて処理し、モニタ6へ出力する。
GPSアンテナ4は、複数のGPS用人工衛星(GPS衛星)からの電波を受信する。ナビゲーションシステム5は、GPSアンテナ4が受信した電波に基づいて、車両の現在位置を計測する。ナビゲーションシステム5は、この現在地と、地図データ記録部17に予め記録された地図データを用いてナビゲーション情報を生成し、モニタ6へ表示する。地図データには、道路地図(道幅、分岐点の位置およびカーブの位置の情報を含む)の他、各種施設のデータ、ランドマーク等が含まれる。地図データは、例えば、ナビゲーションシステム5による、現在地の表示、経路探索、経路案内等の処理に使用される。
画像処理装置3は、ナビゲーションシステム5から、進行方向にある交差点またはカーブの情報、車両の現在位置等を受け取り、画像の処理に用いる。画像処理装置3は、画像入力部7、車両情報入力部8、拡大対象認識部9、合成部11、出力部15、記録部16を備える。合成部11は、拡大部12、重畳部13および合成制御部14を含む。なお、画像処理装置3内部の詳細については後述する。
<車両への実装例>
図2Aおよび図2Bは、車載システム1を車両へ実装した場合の構成の一例を示す図である。図2Aは、車載システム1が実装された車両10を透視した場合の概略構成を示す図である。車両10の前端にカメラ2が設けられ、筐体(車載端末)18に接続されている。筐体18は、ナビゲーションシステム5、画像処理装置3およびモニタ6が一体として形成されたものである。モニタ6は、車両10に搭乗した運転者H1から見える位置に形成される。
図2Aおよび図2Bは、車載システム1を車両へ実装した場合の構成の一例を示す図である。図2Aは、車載システム1が実装された車両10を透視した場合の概略構成を示す図である。車両10の前端にカメラ2が設けられ、筐体(車載端末)18に接続されている。筐体18は、ナビゲーションシステム5、画像処理装置3およびモニタ6が一体として形成されたものである。モニタ6は、車両10に搭乗した運転者H1から見える位置に形成される。
筐体18には、例えば、CPU、記録媒体(RAM、ROM、HDD等)、ディスプレイ、電源回路、およびこれらを接続するバスライン等により構成されるコンピュータが内蔵されている。ナビゲーションシステム5並びに画像処理装置3の画像入力部7、車両情報入力部8、拡大対象認識部9、合成部11および出力部15の各機能は、CPUが所定のプログラムを実行することによって実現される。上記各機能を実現するためのプログラム、およびそれを記録した記録媒体も本発明の実施形態の一例である。また、記録部16および地図データ記録部17は、コンピュータが備える記録媒体によって具現化される。
なお、車載システム1の実装形態は図2Aに示す例に限定されない。例えば、ナビゲーションシステム5およびモニタ6を1つの筐体で形成し、画像処理装置3は、カメラ2とその筐体に接続されるECU(Electronic Control Unit)として設けられてもよい。また、画像処理装置3は、例えば、1394コントローラLSI等のようなチップで構成することができる。また、モニタ6は、インスツルメンタルパネル(instrumental panel:インパネ)またはHUD等により、形成されてもよい。なお、図2Aにおいて、2本の直線m1、n1で挟まれる領域は、カメラ2で撮影される垂直方向における範囲を示している。
図2Bは、交差点に進入しようとする車両10のカメラ2で撮影される水平方向における範囲を示す図である。図2Bにおいて、2本の直線p2および直線n2で挟まれる領域は、カメラ2で撮影される水平方向における範囲を示している。図2Bに示す例では、2本の直線p2、n2の間の角度αが180°弱の値となっている。(この角度αのように、カメラによって捉えられ、モニタ6に表示される範囲を角度によって表したものを、監視可能角度と呼ぶことにする。)ここでは、カメラ2の監視可能角度αが180°に近いので、車両10の前端が交差点に進入したときに、車両10の進行方向と直行する道路の左右の画像がカメラ2で撮影されモニタ6に表示される。また、カメラが車両10の前端の位置に設けられているので、車両10が前方に進む場合は、運転者H1が一早く前方の死角を確認できる。
図3は、交差点に進入しようとする車両10のカメラ2によって撮影される撮像画像の例を示す図である。図3に示す画像において、右端部分ARおよび左端部分ALには、運転者H1から死角になるエリアが写っている。
なお、図2Bに示す例では、水平方向の監視可能角度が180°に近いカメラ1台で車両10の左右を撮影する構成であるが、例えば、監視可能角度が略90°のカメラが2台、車両10の右方向と左方向にそれぞれ向けて設置されてもよい。また、車の前端に前方向、右方向、左方向の3つのカメラを設置すると、監視可能範囲を180゜以上にすることも可能である。カメラ設置台数は特に限定されず、コストや画像の見易さなどを考慮して適宜決められる。
また、カメラの設置位置は、図2Aおよび図2Bに示した位置に限られない。例えば、車両のボンネットやバックミラー、ドアミラーなどにカメラを設けることも可能である。また、車両10が後進する場合に後方の映像を捉えるために、車両10の後方にカメラが設けられてもよい。本願実施形態では、一例として1台のカメラで前方を撮影する場合について述べる。
<画像処理装置3の出力画像の例>
車両10が交差点またはT字路に進入する場合、左右の状況がカメラ2で捉えられない場合もある。例えば、図4に示すように、車両10が、道路に対して90度以外の角度で進入する場合であって、車両10の右側に塀21がある場合、カメラ2で撮影される画像の右端には、道路の右方向の状況でなく塀21が写る。すなわち、右側から来る車両22aはカメラ2で塀21の影になり、撮影される画像に表れない。また、左側から来る車両22bも、カメラ2の監視可能角度内に入るまでは、カメラ2の画像に表れない。
車両10が交差点またはT字路に進入する場合、左右の状況がカメラ2で捉えられない場合もある。例えば、図4に示すように、車両10が、道路に対して90度以外の角度で進入する場合であって、車両10の右側に塀21がある場合、カメラ2で撮影される画像の右端には、道路の右方向の状況でなく塀21が写る。すなわち、右側から来る車両22aはカメラ2で塀21の影になり、撮影される画像に表れない。また、左側から来る車両22bも、カメラ2の監視可能角度内に入るまでは、カメラ2の画像に表れない。
また、他の例として、図5に示すように、左側に遮蔽物23(例えば、電柱または歩行者等)が存在する交差点に車両10が進入する際も、左から接近中の車両22cが、遮蔽物23の影に隠れるので、カメラ2で撮影される画像に表示されない。このようにカメラ2を左右の道路の状況を捉えることができない場合がある。
一方、交差点、T字路、またはカーブに設けられた道路反射鏡(通称、カーブミラー)により、運転者H1は、直接見ることのできない道路の状況を確認することができる。図6は、車両10がT字路に進入しようとした場合に、運転者H1が道路反射鏡を使って確認できる領域を概念的に示す図である。図6に示す例では、T字路に2枚の道路反射鏡24a、24bが設けられている。車両の運転者H1が直接見て確認することのできる範囲は、直線p3と直線n3で挟まれた範囲である。運転者H1は、道路反射鏡24aを見ることにより、直線p4と直線n4で挟まれた範囲を、道路反射鏡24bを見ることにより、直線p5と直線n5で挟まれた範囲を確認することができる。
図6に示す例において、運転者H1の左右の死角になる領域S1は、カメラ2によって撮影されてモニタ6に表示される。この場合、運転者H1は、直接見ることのできない左右の状況を、道路反射鏡及びモニタ6を見ることで確認することできる。本実施形態における画像処理装置3は、例えば、図6に示すような状況において、運転者H1がモニタ6を見る動作だけで、死角の領域S1および道路反射鏡24a、24bに写った領域の双方を確認することを可能にする画像を提供するものである。
図7Aは、カメラ2から画像処理装置3へ入力される画像の一例を示す図である。画像処理装置3は、図7Aに示す画像のうち道路反射鏡の部分A1を拡大した拡大画像を元の画像に重畳して合成画像を生成する。図7Bは、画像処理装置3が生成する合成画像の一例を示す図である。図7Bに示すように、画像処理装置3は、元の画像(図7A)中で死角の領域S1でない非死角領域が写っている箇所に拡大画像を重畳した画像を生成することができる。
このように、道路反射鏡の拡大画像を、元の撮像画像における運転者H1の非死角領域に重畳し表示することで、運転者H1の死角領域全体を1画面で表示することが出来る。このような画像処理を可能にする画像処理装置3の詳細な構成および動作例を以下に説明する。
<画像処理装置3の構成>
図1に示す画像処理装置3において、画像入力部7は、カメラ2から撮像画像の画像データを取得して拡大対象認識部9および合成部11がアクセス可能な状態にする。画像入力部7は、例えば、カメラ2から送られてくる画像信号をA/D変換その他必要な変換を施し、拡大対象認識部9および合成部11がアクセス可能な記録媒体にフレームごとに記録する。また、画像入力部7は、A/D変換等の必要な変換が施された画像データを受信してもよい。
図1に示す画像処理装置3において、画像入力部7は、カメラ2から撮像画像の画像データを取得して拡大対象認識部9および合成部11がアクセス可能な状態にする。画像入力部7は、例えば、カメラ2から送られてくる画像信号をA/D変換その他必要な変換を施し、拡大対象認識部9および合成部11がアクセス可能な記録媒体にフレームごとに記録する。また、画像入力部7は、A/D変換等の必要な変換が施された画像データを受信してもよい。
拡大対象認識部9は、画像入力部7が取得した画像データを、フレーム単位で読み出し、各フレームの画像の中で拡大対象物(ここでは、道路反射鏡とする)と認識できる領域が存在か否かを判断する。道路反射鏡と認識できる領域が存在する場合は、拡大対象認識部9は、その領域のデータを抽出して拡大部12へ渡す。拡大部12は、その領域の画像を拡大して拡大画像を生成する。
拡大対象認識部9は、公知の画像認識技術を用いて、画像中の道路反射鏡の部分を認識することができる。一例として、拡大対象認識部9は、まず、ラプラシアンフィルタを用いて画像中のエッジ部分を抽出する。そして、拡大対象認識部9は、エッジ部分で構成される画像データと、予め記録された道路反射鏡の特徴量データ(例えば、標準的な道路反射鏡のテンプレート)とをマッチングして相関値を算出し、相関値が閾値より大きな領域を道路反射鏡の領域と判断することができる。
また、特徴量データとして、道路標識等のように道路反射鏡と誤認識しやすいテンプレートが予め記録されてもよい。この場合、拡大対象認識部9は、このようなテンプレートとエッジ部分で構成される画像データとの相関値が閾値より大きいときは、道路反射鏡として認識しないようにしてもよい。これにより、認識精度が向上する。なお、道路反射鏡の認識処理は、上記例に限定されない。
このように、拡大対象認識部9が認識する拡大対象物は、拡大して運転者に表示することが求められる物である。すなわち、道路反射鏡のように、運転者の運転に有益な情報を与える物が拡大対象物として予め定義される。上記の例では、拡大対象部である道路反射鏡は、予め記録された特徴量データにより定義されている。なお、拡大対象物は、道路反射鏡に限られず、例えば、道路標識、案内板、路面標識(路面に描かれたい文字(例えば「とまれ」)や矢印等)が拡大対象物として定義されてもよい。
拡大部12は、道路反射鏡の領域の画像を拡大する際に、合成制御部14からの通知される拡大の度合いを示す値にしたがって拡大する。拡大部12は、拡大画像を重畳部13へ渡す。
重畳部13は、受け取った拡大画像を、画像入力部7が取得した撮像画像の画像データの対応するフレーム(以下、元フレームと称する)に重畳して合成画像を生成する。重畳部13は、重畳の際、拡大画像の元フレームにおける重畳位置を示す情報を合成制御部14から取得し、取得した情報に基づいて拡大画像を元フレームに重畳する。
このようにして、重畳部13で生成された合成画像は、出力部15を介してモニタ6へ出力される。なお、拡大対象認識部9で反射鏡の部分が認識されなかったフレームは、重畳部13では加工されずに出力部15へ送られ、モニタ6へ表示される。
記録部16には、車両10が備えるカメラ2の特性を示す撮像情報と、車両10の運転者H1の視野に関する運転者情報が予め記録される。撮像情報は、カメラ2により撮影される範囲を得るための情報を含む。例えば、カメラ2の監視可能角度、画角、レンズ特性、および車両10におけるカメラ2の設置位置等が撮像情報に含まれる。
また、運転者情報には、車両10の運転席に着いた運転者の視野を推測することを可能にするような情報が含まれる。例えば、車両10における運転者の目の位置、運転者の視野特性(例えば、有効視野)等が運転者情報に含まれる。なお、運手者情報は、予め記録される固定値に限られない。例えば、車両情報入力部8が、運転者の目線を監視する車載装置(図示せず)から運転者の視野情報を受け取り運転者情報として記録部16に記録してもよい。
車両情報入力部8は、ナビゲーションシステム5から車両10の現在位置と、車両10の進行方向にある直近の分岐点の位置を取得し、車両10から分岐点までの距離(以下、距離Lとする)を算出し、合成制御部14へ通知する。
なお、車両10から分岐点までの距離Lの取得方法はこれに限られない。車両情報入力部8は、距離Lを、現在位置を特定するための情報を収集する機能を持つ車載デバイスからのデータを基に取得することができるが、車載デバイスは特に限定されない。例えば、車両情報入力部8は、ナビゲーションシステム5から車両10から分岐点までの距離Lを示すデータを受け取ってもよいし、GPSアンテナ4が受信した電波と、地図データ記録部17の地図データを使って距離Lを計算してもよい。また、車両情報入力部8は、分岐点に加えて、あるいは分岐点に替えて、進行方向にあるカーブまでの距離を取得してもよい。また、車両情報入力部8は、例えば、車速センサや車体方位センサ等(図示せず)からの情報をさらに用いて、車両10の現在位置を特定してもよい。
合成制御部14は、車両10から分岐点までの距離Lと、記録部16に記録された撮像情報および運転者情報を用いて、画像における道路反射鏡の領域の拡大度合いおよび拡大画像を重畳する位置を計算し、拡大部12および重畳部13にそれぞれ通知する。ここで、合成制御部14は、撮像画像の元フレームにおいて、運転者H1が直接見ることのできる画像の領域(=運転者H1の死角の画像でない非死角領域)を計算し、非死角領域に拡大画像が重畳されるように、重畳位置を計算する。
例えば、合成制御部14は、距離Lと、撮像情報を用いて、車両10から距離Lの位置周辺においてカメラ2により撮影される範囲(撮像領域)を計算する。さらに、合成制御部14は、距離Lと運転者情報とを用いて、車両10から距離Lの位置周辺において運転者の視野に入る範囲(視野領域)を計算する。そして、合成制御部14は、撮像領域と視野領域との位置関係を用いて、撮像画像の元フレームにおける非死角領域を計算する。合成制御部14は、撮像領域に対する視野領域の位置関係が、撮像画像の元フレームに対する非死角領域の位置関係に相当するように、非死角領域を計算することができる。なお、非死角領域の計算方法はこれに限られない。合成制御部14は、カメラ2の特性、道路形状、交差点位置および自車位置等を用いて、運転者H1の非死角領域を決定することができる。
また、合成制御部14は、車両情報入力部8が入力した情報を用いて、画像入力部7または拡大対象認識部9の動作を制御することもできる。例えば、合成制御部14は、距離Lが所定の距離より小さい時のみに、画像入力部7および拡大対象認識部9が動作するように制御してもよい。これにより、拡大対象認識部9による車両10が分岐点に近づく度に、道路反射鏡の認識処理が実行される。
また、道路反射鏡の認識処理は、交差点に近づく度に毎回行う必要は必ずしもない。例えば、ナビゲーションシステム5の地図データに、各分岐点に拡大対象物(ここでは道路反射鏡)があるか否かを示す情報を予め記憶しておき、車両情報入力部8が当該情報を取得できる構成にすることができる。この場合、合成制御部14は、車両10が道路反射鏡のある分岐点に近づいた場合に、拡大対象認識部9が認識処理をするように制御することができる。なお、拡大対象認識部9が車両情報入力部8から直接、前記情報を受け取って、認識処理実行の要否を判断してもよい。
<画像処理装置3の動作例>
次に、画像処理装置3の動作例について説明する。図8は、画像処理装置3の動作例を示すフローチャートである。図8に示す動作例では、まず、画像処理装置3は、合成画像を出力するか否かを示すフラグ「Flag」を初期化(0に設定)する(Op1)。
次に、画像処理装置3の動作例について説明する。図8は、画像処理装置3の動作例を示すフローチャートである。図8に示す動作例では、まず、画像処理装置3は、合成画像を出力するか否かを示すフラグ「Flag」を初期化(0に設定)する(Op1)。
そして、車両情報入力部8は、ナビゲーションシステム5から車両10の現在位置および車両10の進行方向にある最も近い交差点位置K1を取得する(Op2)。現在位置情報および交差点位置K1は、例えば、緯度および経度により表される。車両情報入力部8は、車両10の現在位置から交差点位置K1までの距離Lを算出する(Op3)。距離Lは、合成制御部14に通知される。
合成制御部14は、距離Lが閾値l0より小さい、すなわち車両10が交差点付近であり(L<l0:Op4でYes)、かつ、交差点通過前である(L≧0:Op5でYes)場合に、画像入力部7にカメラ2の撮像画像を取得させる(Op9)。
図9は、交差点を上から見た場合の、距離L、l0、交差点位置K1等の位置関係の例を示す図である。図9に示す例では、交差点位置K1は、交差点の中心(交差する道路の中心を通る線(中心線)の交点)の位置とされている。車両10は、交差点位置K1に向かって進んでいる。ここで、距離l0は、車両10が進入しようとしている道路の道幅Aにより決定される距離l1と、予め決められた固定値l2との和となっている。距離l1は、交差点位置から道端までの距離であり、一例として、l1=A/2で求められる。このように、カメラ2による画像取得期間を決めるための閾値l0は、合成制御部14が、道幅Aに基づく値と固定値とを足すことによって計算することができる。
図8のOp9において、画像入力部7は、例えば、撮像画像の1フレーム分を取得する。以下、1フレームが取得された場合の例を説明するが、画像入力部7がOp9において複数フレームを取得し、各フレームについて下記Op10の処理が実行されてもよい。
なお、車両10が、交差点付近でない(Op4でNo)、または交差点を通過した後(Op8で)である場合には、合成制御部14は、カメラ2の撮像画像は取得せずに、フラグの判定を行う(Op5)。フラグが「Flag=0」(Op5でNo)の場合は、Op2の処理が再び実行される。「Flag=1」(Op5でYes)の場合は、合成制御部14は、拡大部12および重畳部13に対して、映像重畳処理を終了するように指示して(Op6)、フラグを「Flag=0」に設定する(Op7)。その後は、Op2の処理が再び実行される。
このOp4〜Op9の処理により、車両10が交差点位置から所定の距離l0の地点に至ると、画像入力部7によるカメラ2の撮像画像の取得が開始され、車両10が交差点位置を過ぎると、カメラ2の撮像画像の取得が終了することになる。
Op9で、画像入力部7がカメラ2の撮像画像のフレーム(元フレーム)を取得すると、拡大対象認識部9が、元フレームにおいて、道路反射鏡と認識できる領域(道路反射鏡エリア)を抽出する(Op10)。拡大対象認識部9が道路反射鏡の領域を抽出した場合(Op11でYes)、合成制御部14は、道路反射鏡の領域の拡大度合いおよび元フレームに対して拡大画像を重畳する位置を計算する(Op13)。Op13において、合成制御部14は、Op3で計算された距離Lと、記録部16に記録された撮像情報および運転者情報を用いて、拡大度合いおよび重畳位置を計算する。その際、元フレームの画像の中で、運転者H1が直接見ることができる領域(非死角領域)に、拡大画像が重畳されるようにこの重畳位置が計算される。Op13の処理の詳細については後述する。
拡大部12は、Op13で計算された拡大度合いに基づいて、Op10で抽出された道路反射鏡の領域を拡大した拡大画像を生成する(Op14)。重畳部13は、Op13で計算された重畳位置に基づいて、元フレームと拡大画像を重畳した合成画像を生成する(Op15)。そして、出力部15が、合成画像をモニタ6に表示できるように加工した表示データを生成して(Op16)、モニタ6に出力する(Op17)。これにより、モニタ6には、カメラ2が撮像画像中の非死角領域に、道路反射鏡が拡大されて重畳された画像が表示される。モニタ6に合成画像が表示されるとフラグが「Flag=1」に設定される(Op18)。
その後、再び、Op2が実行される。以上の図8に示した処理により、車両10が交差点位置から距離l0の地点に到達し、交差点位置を通過するまでは、カメラ2が撮影した画像がモニタ6に表示される。その際、カメラ2の撮像画像に道路反射鏡が移っている場合は、道路反射鏡が拡大されて画像中の非死角領域に表示される。運転者H1は、モニタ6の画像を一瞥するだけで、道路反射鏡に移った死角領域の状況と、カメラ2が捉えた死角領域の状況の両方を確認することができる。
<拡大度合いおよび重畳位置の計算例>
ここで、図8のOp13における拡大度合いおよび重畳位置の計算の例を説明する。図10は、Op13における合成制御部14の処理の一例を示すフローチャートである。図10において、合成制御部14は、記録部16から撮像情報として、カメラ2のカメラ特性を取り出す(Op21)。カメラ特性には、例えば、カメラ2の取り付け位置、画角およびレンズ特性が含まれる。
ここで、図8のOp13における拡大度合いおよび重畳位置の計算の例を説明する。図10は、Op13における合成制御部14の処理の一例を示すフローチャートである。図10において、合成制御部14は、記録部16から撮像情報として、カメラ2のカメラ特性を取り出す(Op21)。カメラ特性には、例えば、カメラ2の取り付け位置、画角およびレンズ特性が含まれる。
また、合成制御部14は、記録部16から運転者情報として、運転者の視点位置および運転者の有効視野を取得する(Op22)。通常、車両10においては、運転席の位置から、運転者の視点位置を決定することができる。そのため、運転席と位置を、運転者の視点位置を示すデータとして予め記録部16に記録しておくことができる。
合成制御部14は、Op21で取得したカメラ特性と距離Lを使って、交差点位置付近におけるカメラ2で撮影される撮像領域を計算する(Op22)。さらに、合成制御部14は、Op22で取得した運転者情報と距離Lを使って、交差点位置付近における、運転者が直接見ることができる視野領域を計算する(Op23)。
以下に、図11を参照して、Op22およびOp23の計算例を説明する。ここでは、交差点位置付近の撮像領域および視野領域として、交差点位置K1を含む車両の進行方向に垂直な水平面上の直線上における撮像領域および視野領域を計算する場合について説明する。なお、交差点付近の撮像領域および視野領域は、この例に限られない。例えば、交差点位置K1から、道幅Aの2分の1だけ進んだ位置を通る直線または平面上における撮像領域および視野領域が計算されてもよい。
図11は、交差点に進入しようとする車両10を上から見た場合の、撮像領域および視野領域の例を示す図である。図11の示す例は、車両10のカメラ2位置が車両10の現在位置であり、この車両10の現在位置から進行方向へ延びる直線上に交差点位置K1がある場合の例である。
図11において、直線p6および直線n6で挟まれる領域は、カメラ2で撮影される水平方向における範囲を示している。直線p6と直線n6との間の角度「α」は、カメラ2の監視可能角度である。この「α」の値には、例えば、カメラ特性に含まれるカメラ2の画角の値を用いることができる。また、合成制御部14は、カメラ2の画角およびレンズ特性により「α」の値を計算することもできる。あるいは、「α」の値を、予め固定値として記録部16に記録しておいてもよい。
また、直線p7および直線n7で挟まれる領域は、運転者H1が直接見ることのできる範囲を示している。直線p7と直線n7との間の角度「β」は、運転者H1の有効視野である。この「β」の値は、例えば、予め固定値として記録部16に記録しておいてもよい。なお、人間の有効視野は、眼球運動だけで対象を捉えられノイズの中から目的とする対象を受容できる視野である。標準的な人間の有効視野は、左右約15度であるので、この値が角度「β」の値として記録されてもよい。
また、カメラ2の設置位置から運転者H1までの進行方向における距離はlm、進行方向に垂直な方向における距離はnで表される。これらの距離lmおよび距離nは、上記Op21で取得されたカメラ2の設置位置およびOp22で取得された運転者の視点位置により求めることができる。また、これらの距離lmおよび距離nを、記録部16に予め記録しておくこともできる。
水平面上の直線であって、交差点位置K1を含み車両の進行方向に垂直な直線q上において、カメラ2で撮影される範囲は、直線qと直線p6との交点から、直線qと直線n6との交点までである。また、運転者H1が直見ることのできる範囲は、直線qと直線p7との交点から、直線qと直線n7との交点までである。
Op22において、合成制御部14は、直線q上において、カメラ2で撮影される範囲の長さの2分の1(=m1)を、撮像領域として計算する。この計算には、監視可能角度αと、車両10と交差点位置との距離Lが用いられる。具体的には、下記式(1)および式(2)に示すように、m1の値を計算することができる。
tan(α/2) = m1/L ――――(1)
m1 = L×tan(α/2) ――――(2)
また、Op23において、合成制御部14は、直線q上において、運転者H1から直接見える範囲の長さの2分の1(=m2)を、視野領域として計算する。この計算には、距離L、角度βおよび、カメラ2から運転者H1までの進行方向の距離lmが用いられる。具体的には、下記式(3)および式(4)に示すように、m2の値を計算することができる。
m1 = L×tan(α/2) ――――(2)
また、Op23において、合成制御部14は、直線q上において、運転者H1から直接見える範囲の長さの2分の1(=m2)を、視野領域として計算する。この計算には、距離L、角度βおよび、カメラ2から運転者H1までの進行方向の距離lmが用いられる。具体的には、下記式(3)および式(4)に示すように、m2の値を計算することができる。
tan(β/2) = m2/(L+lm) ――――(3)
m2 = (L+lm)×tan(β/2) ――――(4)
合成制御部14は、上記のm1、m2を用いて、撮像領域と視野領域の位置関係を計算する。具体的には、合成制御部14は、図11に示す例において、直線qと直線p6の交点から、直線qと直線p7との交点までの距離Xを計算する。距離Xは、撮像領域と視野領域の位置関係を表す値の一例であり、撮像領域の左端から視野領域の左端までの距離である。Xの値は、例えば、l0<Lの場合は下記式(5)、l1<L≦l0の場合は下記式(6)、0<L≦l1の場合は下記式(7)により、計算することができる。このように、車両10と交差点位置K1との距離Lの値によって、計算方法を変えることで、距離Lに応じた適切な重畳位置を計算することが可能になる。
m2 = (L+lm)×tan(β/2) ――――(4)
合成制御部14は、上記のm1、m2を用いて、撮像領域と視野領域の位置関係を計算する。具体的には、合成制御部14は、図11に示す例において、直線qと直線p6の交点から、直線qと直線p7との交点までの距離Xを計算する。距離Xは、撮像領域と視野領域の位置関係を表す値の一例であり、撮像領域の左端から視野領域の左端までの距離である。Xの値は、例えば、l0<Lの場合は下記式(5)、l1<L≦l0の場合は下記式(6)、0<L≦l1の場合は下記式(7)により、計算することができる。このように、車両10と交差点位置K1との距離Lの値によって、計算方法を変えることで、距離Lに応じた適切な重畳位置を計算することが可能になる。
l0<Lの場合:
X=0 ――――(5)
l1<L≦l0の場合:
X=m1−(m2―n)
={L×tan(α/2)}―{(L+lm)×tan(β/2)−n} ――(6)
0<L≦l1の場合:
X={l1×tan(α/2)}―{(l1+lm)×tan(β/2)−n} ――(7)
このようにして計算されたm1、m2およびXを用いて、合成制御部14は、カメラ2で撮影された撮像画像における非死角領域を示す値を計算する(図10のOp25)。例えば、合成制御部14は、撮像画像において運転者H1の視野領域が写っている部分(非死角領域)の左端の位置を計算する。
X=0 ――――(5)
l1<L≦l0の場合:
X=m1−(m2―n)
={L×tan(α/2)}―{(L+lm)×tan(β/2)−n} ――(6)
0<L≦l1の場合:
X={l1×tan(α/2)}―{(l1+lm)×tan(β/2)−n} ――(7)
このようにして計算されたm1、m2およびXを用いて、合成制御部14は、カメラ2で撮影された撮像画像における非死角領域を示す値を計算する(図10のOp25)。例えば、合成制御部14は、撮像画像において運転者H1の視野領域が写っている部分(非死角領域)の左端の位置を計算する。
具体的には、合成制御部14は、撮像領域を示す値(m1)、視野領域を示す値(m2)および撮像領域の左端から視野領域の左端までの距離Xを用いて、カメラ2の撮像画像における非死角領域の左端の位置を計算する。この計算の一例を図12を用いて説明する。
図12は、図11の例においてカメラ2により撮影される撮像画像を、モニタの表示領域に対応するように示した図である。図12に示す例では、直線qにおける撮像領域の幅(2×m1)が、撮像画像G1の横幅W1に相当する。ここで、撮像画像G1の横幅W1は、モニタ6における映像表示領域の横幅とする。横幅W1は、例えば、固定値として予め記録部16に記録される。
図12に示すように、直線qにおける撮像領域と視野領域の位置関係を、撮像画像G1における画像全面と非死角領域の位置関係に相当するとみなすことができる。すなわち、撮像画像G1の幅W1と、撮像画像G1の左端から非死角領域の左端までの長さXPIXの関係は、撮像領域の幅(2×m1)と距離Xとの関係に相当するとみなすことができる。そうすると、下記式(8)が成り立つ。
(2×m1):W1 = X:XPIX ――――(8)
XPIXは下記式(9)により計算することができる。
XPIXは下記式(9)により計算することができる。
XPIX = (X×W1)/(2×m1) ――――(9)
合成制御部14は、XPIXの値を、非死角領域を示す値として算出し(図10のOp25)、さらに、XPIXを、そのまま重畳位置を示す値として重畳部13に通知する(Op26)。なお、重畳位置を示す値は、XPIXに限られない。例えば、合成制御部14は、直線q上の視野領域の左端と右端の位置を求め、それらの中間点に相当する撮像画像中の位置を重畳位置としてもよい。
合成制御部14は、XPIXの値を、非死角領域を示す値として算出し(図10のOp25)、さらに、XPIXを、そのまま重畳位置を示す値として重畳部13に通知する(Op26)。なお、重畳位置を示す値は、XPIXに限られない。例えば、合成制御部14は、直線q上の視野領域の左端と右端の位置を求め、それらの中間点に相当する撮像画像中の位置を重畳位置としてもよい。
上記の非死角領域の計算方法は、カメラ2の監視可能角度αが180°より小さいことを前提としている。カメラ2の画角が180°以上の場合は、例えば、180°から左右1度ずつ減らして、αを178°とし、上記の計算方法で非死角領域を算出することができる。
なお、αの値が大きくなればなるほどカメラ2が撮影する範囲が大きくなり、撮像画像に対する道路反射鏡の部分の画像が小さくなって視認性が下がる。そのため、道路反射鏡を認識できるカメラ2の最大監視可能角度αmax(=閾値)を予め記録部16に記録しておき、カメラ2の画角が最大監視可能角度αmaxを越える場合であっても、最大監視可能角度αmax内の領域の画像を撮像画像とすることができる。これにより、カメラ2の画角が180°以上であっても、上記の計算方法を用いて非死角領域を計算することができる。
次に、Op27において、合成制御部14は、拡大画像の拡大サイズ(拡大後のサイズ)を計算する。ここで、図7A、Bに示したように、モニタ6の映像表示領域の横幅すなわち撮像画像の横幅をW1、縦幅をH1とし、拡大画像の横幅をW2、縦幅をH2とする。W1およびH1の値は、例えば、記録部16に予め記録されている。W2およびH2の値は、例えば、l0<Lの場合は下記式(10)および(11)、l1<L≦l0の場合は下記式(12)および(13)、0<L≦l1の場合は下記式(14)および(15)により、計算することができる。このように、車両10と交差点位置K1との距離Lの値によって、拡大サイズ(W2、H1)の計算方法を変えることで、距離Lに応じた適切な拡大サイズを計算することが可能になる。
l0<Lの場合:
W2=0 ――――(10)
H2=0 ――――(11)
l1<L≦l0の場合:
W2=W1−(a×L) ――――(12)
H2=H1−(b×L) ――――(13)
0<L≦l1の場合:
W2=W1−(a×l1) ――――(14)
H2=H1−(b×l1) ――――(15)
上記式(12)〜(15)において、係数aおよびbは定数であり、例えば、カメラ特性および道幅Bに基づいて適切な係数aおよびbの値が決定される。具体的には、カメラ2の水平方向の画角(水平画角VX)の値および道幅Bの値の組み合わせと、その組み合わせに対応する係数aを予め記録したテーブルを用いて、係数aを決定することができる。下記表1は、水平画角VXと道幅Bの値の組み合わせに対応する係数aを記録したテーブルの例である。
W2=0 ――――(10)
H2=0 ――――(11)
l1<L≦l0の場合:
W2=W1−(a×L) ――――(12)
H2=H1−(b×L) ――――(13)
0<L≦l1の場合:
W2=W1−(a×l1) ――――(14)
H2=H1−(b×l1) ――――(15)
上記式(12)〜(15)において、係数aおよびbは定数であり、例えば、カメラ特性および道幅Bに基づいて適切な係数aおよびbの値が決定される。具体的には、カメラ2の水平方向の画角(水平画角VX)の値および道幅Bの値の組み合わせと、その組み合わせに対応する係数aを予め記録したテーブルを用いて、係数aを決定することができる。下記表1は、水平画角VXと道幅Bの値の組み合わせに対応する係数aを記録したテーブルの例である。
同様にして、カメラ2の垂直方向の画角(垂直画角VZ)の値および道幅Bの値の組み合わせと、その組み合わせに対応する係数bを予め記録したテーブルを用いて、係数bを決定することができる。下記表2は、垂直画角VZと道幅Bの値の組み合わせに対応する係数bを記録したテーブルの例である。
なお、係数aおよびbの決定方法は上記例に限られない。例えば、係数aおよびbを決定する条件に、道幅,水平画角および垂直画角だけでなく、カメラが送出する画像の縦サイズおよび横サイズを加えてもよい。また、必ずしも道幅Bを条件に加えなくてもよい。また、Op25で計算された非死角領域を示す値を用いて、拡大サイズを決定することもできる。例えば、拡大画像のサイズを非死角領域内に収まるサイズとしてもよい。
このようにして、Op27において計算された拡大サイズ(W2、H2)は、拡大部12へ通知される。拡大部12は、この拡大サイズ(W2、H2)になるように、撮像画像の元フレームにおける道路反射鏡の領域を拡大する。
以上、図10〜図12を用いて説明したように、合成制御部14は、カメラ2の撮像情報および距離Lを使って撮像領域を計算し、運転者情報および距離Lを使って視野領域を計算する。そして、合成制御部14は、カメラ2の設置位置と運転者H1の位置との関係を示す値を用いて、撮像領域と視野領域の位置関係を求める。合成制御部14は、この位置関係を用いて非死角領域を示す値を計算することができる。
<表示画像の例>
図13は、拡大サイズの拡大画像を含む合成画像が、モニタ6に表示される場合の例を示す図である。図13に示す例は、車両10が交差点に進入し通過する場合における、車両10の各位置におけるモニタ6の表示画面の例である。
図13は、拡大サイズの拡大画像を含む合成画像が、モニタ6に表示される場合の例を示す図である。図13に示す例は、車両10が交差点に進入し通過する場合における、車両10の各位置におけるモニタ6の表示画面の例である。
車両10が交差点位置K1から閾値l0の距離に達していないとき(l0<Lのとき)は、画面D1がモニタ6に表示される。車両10が交差点位置K1からl0以内の距離に入ったとき、画面D2が表示される。画面D2では、道路反射鏡の部分が拡大され元の撮像画像に重畳されて表示されている。その後、車両10が交差点の道路に進入するまでの期間(l1<L≦l0となる期間)においては、車両10が交差点に近づくにつれて、道路反射鏡の拡大画像のサイズが大きくなるように表示される(画面D3)。すなわち、上記式(12)および(13)で計算される横幅W2と縦幅H2の拡大画像が表示される。そして、車両10が交差点の道路に進入し、交差点位置K1に達するまでの期間(0<L≦l1の期間)、拡大画像は固定サイズ(上記式(14)(15)のW2、H1)で表示される(画面D4)。そして、交差点位置K1を過ぎると(0>L)、画面D5のように拡大画像は表示されなくなる。
以上、図13に示した画面遷移により、車両10の状況に合わせて、運転者H1が、確認しやすい大きさおよび位置で、道路反射鏡の拡大画像が元の撮像画像に重畳して表示される。特に、車両が交差点に進入した直後(L=l1の直後)には、運転者H1が直接見ることのできない左右の道路の状況が、1つの画面で表示される。このため、運転者H1は、モニタ6を一瞥するだけで、道路反射鏡に写った死角の状況と、カメラ2が捉えた死角の状況とを確認することができる。
なお、上記の画面遷移は、一例でありこれに限られない。例えば、L<0の時、およびl0<Lの時には、カメラ2による画像を表示しないようにしてもよい。
このように、運転者H1は、カメラ2や道路反射鏡がとらえる死角エリアの状況を、1回のアクション(モニタ6で死角エリアの状況を確認するという行為)で確認することが可能となる。その結果、運転者H1は、負担が低減され、かつ、時々刻々と変化する状況を確実に認識することができる。
また、画像処理装置3により、カメラ2の撮像画像から道路反射鏡のエリアを検出し、そのエリアを拡大し元の撮像画像の非死角領域に重畳して一つの画面内に表示することが可能になる。これにより、カメラ2または道路反射鏡単独ではとらえきれなったエリアに存在する、自転車、歩行者または車両の状況を運転者H1に提示することが可能となる。その結果、交通事故の大半をしめる、出会い頭事故の低減が期待できる。
<重畳位置計算の変形例>
ここで、図11を用いて説明した撮像領域(m1)、視野領域(m2)およびこれらの位置関係を示す値(X)の計算の変形例を説明する。図11に示した例では、カメラ2の光軸と、運転者H1が見る方向(目線の方向)が互いに略平行であり、かつ車両10の進行方向とも平行である場合の例である。これに対して、本変形例では、カメラ2の光軸と、運転者H1が見る方向が平行でない場合について説明する。図14は、交差点に進入しようとする車両10を上から見た場合の、本変形例における、撮像領域および視野領域の例を示す図である。図14において示される変数L、m1、lm、n、αおよびβは、図11に示した変数と同じである。図14に示す例では、運転者H1の目線の方向が、水平面において進行方向から角度γだけ左に移動している。ここで、直線p8と直線n8で挟まれる領域が、運転者H1が直線見ることのできる領域である。この角度γの値は、例えば、記録部16に予め記録されていてもよいし、運転者H1がナビゲーションシステム5を介して設定できるようにしてもよい。また、角度γに関する情報は、運転者H1の視線を監視する車載装置(図示せず)から車両情報入力部8を介して取得されてもよい。
ここで、図11を用いて説明した撮像領域(m1)、視野領域(m2)およびこれらの位置関係を示す値(X)の計算の変形例を説明する。図11に示した例では、カメラ2の光軸と、運転者H1が見る方向(目線の方向)が互いに略平行であり、かつ車両10の進行方向とも平行である場合の例である。これに対して、本変形例では、カメラ2の光軸と、運転者H1が見る方向が平行でない場合について説明する。図14は、交差点に進入しようとする車両10を上から見た場合の、本変形例における、撮像領域および視野領域の例を示す図である。図14において示される変数L、m1、lm、n、αおよびβは、図11に示した変数と同じである。図14に示す例では、運転者H1の目線の方向が、水平面において進行方向から角度γだけ左に移動している。ここで、直線p8と直線n8で挟まれる領域が、運転者H1が直線見ることのできる領域である。この角度γの値は、例えば、記録部16に予め記録されていてもよいし、運転者H1がナビゲーションシステム5を介して設定できるようにしてもよい。また、角度γに関する情報は、運転者H1の視線を監視する車載装置(図示せず)から車両情報入力部8を介して取得されてもよい。
図14に示す例では、直線q上において、カメラ2で撮影される範囲の長さの2分の1(=m1)は、図11に示した場合と同様に、上記式(2)により計算することができる。
m1 = L×tan(α/2) ――――(2)
本変形例では、直線q上と運転者H1から進行方向に延びる直線との交点F1と、運転者H1が直接見える範囲の左端の点(直線p8と直線qの交点)との間の距離をm3とする。合成制御部14は、m3の値を、運転者H1の視野領域の値として計算する。点F1と運転者H1を結ぶ直線と直線p8との間の角度は(γ+β/2)であるので、下記式(16)が成り立つ。そのため、m3は、下記式(17)により計算することができる。
本変形例では、直線q上と運転者H1から進行方向に延びる直線との交点F1と、運転者H1が直接見える範囲の左端の点(直線p8と直線qの交点)との間の距離をm3とする。合成制御部14は、m3の値を、運転者H1の視野領域の値として計算する。点F1と運転者H1を結ぶ直線と直線p8との間の角度は(γ+β/2)であるので、下記式(16)が成り立つ。そのため、m3は、下記式(17)により計算することができる。
tan(γ+β/2) = m3/(L+lm) ――――(16)
m3 = (L+lm)×tan(γ+β/2) ――――(17)
合成制御部14は、上記のm1、m3を用いて、撮像領域と視野領域の位置関係を計算する。具体的には、合成制御部14は、直線qと直線p6の交点から、直線qと直線p8との交点までの距離X2を計算する。撮像領域の左端から視野領域の左端までの距離である。X2の値は、例えば、下記式(18)〜(20)により計算することができる。
m3 = (L+lm)×tan(γ+β/2) ――――(17)
合成制御部14は、上記のm1、m3を用いて、撮像領域と視野領域の位置関係を計算する。具体的には、合成制御部14は、直線qと直線p6の交点から、直線qと直線p8との交点までの距離X2を計算する。撮像領域の左端から視野領域の左端までの距離である。X2の値は、例えば、下記式(18)〜(20)により計算することができる。
l0<Lの場合:
X2=0 ――――(18)
l1<L≦l0の場合:
X2=m1−(m3―n)
={L×tan(α/2)}―{(L+lm)×tan(γ+β/2)−n}
――――――(19)
0<L≦l1の場合:
X2={l1×tan(α/2)}―{(l1+lm)×tan(γ+β/2)−n}
――――――(20)
このようにして計算されたm1、m3およびX2を用いて、合成制御部14は、カメラ2で撮影された撮像画像における非死角領域を示す値を計算する。例えば、撮像画像の幅W1と、撮像画像の左端から非死角領域の左端までの長さXPIX-2の関係を、撮像領域の幅(2×m1)と距離X2との関係に相当するとみなすと下記(21)が成り立つ。これにより、XPIX-1は下記式(22)により計算することができる。
X2=0 ――――(18)
l1<L≦l0の場合:
X2=m1−(m3―n)
={L×tan(α/2)}―{(L+lm)×tan(γ+β/2)−n}
――――――(19)
0<L≦l1の場合:
X2={l1×tan(α/2)}―{(l1+lm)×tan(γ+β/2)−n}
――――――(20)
このようにして計算されたm1、m3およびX2を用いて、合成制御部14は、カメラ2で撮影された撮像画像における非死角領域を示す値を計算する。例えば、撮像画像の幅W1と、撮像画像の左端から非死角領域の左端までの長さXPIX-2の関係を、撮像領域の幅(2×m1)と距離X2との関係に相当するとみなすと下記(21)が成り立つ。これにより、XPIX-1は下記式(22)により計算することができる。
(2×m1):W1 = X2:XPIX-2 ――――(21)
XPIX-2 = (X2×W1)/(2×m1) ――――(22)
合成制御部14は、XPIX-2の値を、非死角領域を示す値として算出し、そのXPIX-2の値を、重畳位置を示す値として重畳部13に通知することができる。これにより、出力部15は、撮像画像における非死角領域に拡大画像が重畳された合成画像を生成し、モニタ6に出力することができる。
XPIX-2 = (X2×W1)/(2×m1) ――――(22)
合成制御部14は、XPIX-2の値を、非死角領域を示す値として算出し、そのXPIX-2の値を、重畳位置を示す値として重畳部13に通知することができる。これにより、出力部15は、撮像画像における非死角領域に拡大画像が重畳された合成画像を生成し、モニタ6に出力することができる。
なお、本変形例では、運転者H1の視線が進行方向から左にずれている場合について説明した。この本変形例の計算方法を用いることにより、カメラ2の光軸が水平面において所定の角度(水平舵角)だけ回転している場合にも、非死角領域を計算することができる。
図15Aおよび図15Bに、カメラ2の光軸が所定の水平舵角だけ回転する場合の例を示す。図15Aは、車両10が道路に対して、90度以外の角度で進入する状況を上からみた場合の例を示す図である。図15Aに示す分岐点(T字路)では、角度λで2つの道路が合流している。ここでは一例として、これらの合流する2つの道路それぞれの中心線の交点が、分岐点位置K2とされている。車両が通行中の道路の道幅はB、車両10が進入しようとする道路の道幅はA2である。車両10から分岐点位置K2までの距離はL、分岐点位置K2から道端までの距離はl1、拡大画像の表示開始地点を決めるための閾値(固定値)はl2、分岐点位置K2から拡大画像の表示開始位置までの距離はl0でそれぞれ示される。距離l1は、例えば、l1=(A2/2)cosλ+(B/2)tanλで計算される。なお、道幅A2、B、合流する2つの道路の角度λ、分岐点位置K2等の道路情報は、車両情報入力部8を介してナビゲーションシステム5から取得することができる。
図15Bは、車両10のカメラ2の部分を拡大して示す図である。図15Bにおいて、Y軸は車両10の進行方向を示し、線Jはカメラ2の光軸の水平面における方向を示す。カメラ2の光軸Jは、水平面において、Y軸から角度εだけ反時計回りに回転している。すなわち、カメラ2の水平舵角はεであるといえる。
ここで、カメラ2の舵角制御は、車載に搭載された他のECU(例えば、カメラ制御ECU(図示せず))が行うことができる。このECUは、一例として、車両10が進行中の道路と進入しようとする道路との角度λに応じて、カメラ2の水平舵角εを制御することができる。例えば、進入しようとする道路に対して光軸が垂直になるように、カメラ2の水平舵角εが制御される。
カメラ2の水平舵角εを示す情報は、例えば、画像入力部7が、上記ECUからカメラ特性として取得することができる。合成制御部14は、画像入力部7からカメラ2の水平舵角εを受け取って非死角領域の計算に用いることができる。
合成制御部14は、カメラ2が水平舵角εだけ回転した場合の撮像領域を計算し、計算した撮像領域と視野領域との位置関係を求めることにより、非死角領域を計算する。合成制御部14は、上記した、運転者H1の視線が角度γだけ回転した場合の視野領域の計算方法と同様に、カメラ2が水平舵角εだけ回転した場合の撮像領域を計算することができる。また、合成制御部14は、上記式(10)〜(15)を用いて、距離Lに応じた適切な拡大画像のサイズ(W2、H2)を計算することができる。
このようにして、カメラ2の光軸が水平面において所定の水平舵角だけ回転している場合にも、非死角領域を計算し、拡大画像の重畳位置および拡大サイズを決定することができる。
<車両10がカーブに向かう場合の重畳位置および拡大度合いの計算>
合成制御部14による動作の他の変形例を説明する。ここでは、車両10がカーブに向かう場合の合成制御部14の計算例について説明する。図16は、車両10がカーブへ向かう状況の例を上から見た図である。
合成制御部14による動作の他の変形例を説明する。ここでは、車両10がカーブに向かう場合の合成制御部14の計算例について説明する。図16は、車両10がカーブへ向かう状況の例を上から見た図である。
図16では、車両10が曲率半径Rのカーブに差し掛かる直前の状況を示している。カーブ位置K3は、一例として、道路の中心線と、カーブの回転角(θ)を2等分する線との交点とされている。車両が通行中の道路の道幅はA、車両10からカーブ位置K3までの距離はL、カーブ位置K3からカーブが始まる地点までの距離はl1(l1=(R+A/2)sin(θ/2))、拡大画像の表示開始地点を決めるための閾値(固定値)はl2、カーブ位置K3から拡大画像の表示開始位置までの距離はl0でそれぞれ示される。なお、道幅A、カーブの回転角θ、カーブ位置K3、カーブの曲率半径R等の道路情報は、車両情報入力部8を介してナビゲーションシステム5から取得することができる。
合成制御部14は、図11、図12を用いて説明した非死角領域の計算と同様に、撮像領域と視野領域との位置関係を求めることにより、撮像画像の非死角領域を計算することができる。また、合成制御部14は、例えば、下記式(23)〜(28)を用いて、距離Lに応じた適切な拡大画像のサイズ(W2、H2)を計算することができる。
l0<Lの場合:
W2=0 ――――(23)
H2=0 ――――(24)
l1<L≦l0の場合:
W2=W1−(a×L)+(e×L) ――――(25)
H2=H1−(b×L)+(f×L) ――――(26)
0<L≦l1の場合:
W2=W1−(a×l1)+(e×l1) ――――(27)
H2=H1−(b×l1)+(f×l1) ――――(28)
上記式(25)〜(28)における係数a、bは、上記式(12)〜(15)の係数a、bと同様に、カメラ特性および道幅Aにより決定することができる。係数e、fは、カーブのRにより決定される係数である。例えば、Rが小さいほど大きくなるような係数e、fの値が予め定義され、記録部16に記録される。具体的には、Rによって変化する係数e、fの値を定義する関数や、Rの各値に対応する係数e、fの値を記録したテーブル等により、係数e,fの値を決定することができる。
W2=0 ――――(23)
H2=0 ――――(24)
l1<L≦l0の場合:
W2=W1−(a×L)+(e×L) ――――(25)
H2=H1−(b×L)+(f×L) ――――(26)
0<L≦l1の場合:
W2=W1−(a×l1)+(e×l1) ――――(27)
H2=H1−(b×l1)+(f×l1) ――――(28)
上記式(25)〜(28)における係数a、bは、上記式(12)〜(15)の係数a、bと同様に、カメラ特性および道幅Aにより決定することができる。係数e、fは、カーブのRにより決定される係数である。例えば、Rが小さいほど大きくなるような係数e、fの値が予め定義され、記録部16に記録される。具体的には、Rによって変化する係数e、fの値を定義する関数や、Rの各値に対応する係数e、fの値を記録したテーブル等により、係数e,fの値を決定することができる。
このようにして、車両10がカーブに差し掛かり通過する場合にも、非死角領域を計算し、道路反射鏡の拡大画像の重畳位置、拡大サイズを決定することができる。また、カーブの曲率に応じて拡大画像のサイズが調整されるので、例えば、曲率が大きい、すなわち曲がり具合が大きいカーブでは、道路反射鏡を大きく表示することが可能になる。
<事故発生頻度に応じて拡大画像の拡大度合いを決定する計算>
合成制御部14は、拡大画像の拡大サイズを決定する際に、上記の道路情報や車両位置情報の他に、様々な要因を考慮にいれることができる。例えば、合成制御部14は、車両10が進入しようとする交差点の事故発生頻度に応じて拡大サイズを決定してもよい。ここでは、図9に示したように、車両10が交差点に進入しようとする場合の計算例を説明する。合成制御部14は、車両10が進入しようとする交差点の事故発生頻度を示す値を、例えば、車両情報入力部8を介して、ナビゲーションシステム5から取得することができる。
合成制御部14は、拡大画像の拡大サイズを決定する際に、上記の道路情報や車両位置情報の他に、様々な要因を考慮にいれることができる。例えば、合成制御部14は、車両10が進入しようとする交差点の事故発生頻度に応じて拡大サイズを決定してもよい。ここでは、図9に示したように、車両10が交差点に進入しようとする場合の計算例を説明する。合成制御部14は、車両10が進入しようとする交差点の事故発生頻度を示す値を、例えば、車両情報入力部8を介して、ナビゲーションシステム5から取得することができる。
事故発生頻度を示す値は、例えば、過去10年における交差点付近の事故件数等である。もしくは、季節ごとの事故発生頻度、または時間帯による事故発生頻度の違い等を示す値が、事故発生頻度を示す値であってもよい。このような値は、例えば、夏は事故が少ないが、冬になると雪道となって、事故発生率が高まる状況または、昼間は事故が少ないが、夜間や早朝になると事故が増える状況が反映された値である。
合成制御部14は、例えば、下記式(29)〜(34)を用いて、距離Lに応じた適切な拡大画像のサイズ(W2、H2)を計算することができる。
l0<Lの場合:
W2=0 ――――(29)
H2=0 ――――(30)
l1<L≦l0の場合:
W2=W1−(a×L)+(c×L) ――――(31)
H2=H1−(b×L)+(d×L) ――――(32)
0<L≦l1の場合:
W2=W1−(a×l1)+(c×l1) ――――(33)
H2=H1−(b×l1)+(d×l1) ――――(34)
上記式(29)〜(34)における係数a、bは、上記式(12)〜(15)の係数a、bと同様に、カメラ特性および道幅Aにより決定することができる。また、係数c、dは、車両10が進入しようとする交差点の事故発生頻度により決定される係数である。例えば、事故発生頻度が高いほど大きくなるような係数c、dの値が予め定義され、記録部16に記録される。具体的には、事故発生頻度によって変化する係数c、dの値を定義する関数や、事故発生頻度の各値に対応する係数c、dの値を記録したテーブル等により、係数c,dの値を決定することができる。
W2=0 ――――(29)
H2=0 ――――(30)
l1<L≦l0の場合:
W2=W1−(a×L)+(c×L) ――――(31)
H2=H1−(b×L)+(d×L) ――――(32)
0<L≦l1の場合:
W2=W1−(a×l1)+(c×l1) ――――(33)
H2=H1−(b×l1)+(d×l1) ――――(34)
上記式(29)〜(34)における係数a、bは、上記式(12)〜(15)の係数a、bと同様に、カメラ特性および道幅Aにより決定することができる。また、係数c、dは、車両10が進入しようとする交差点の事故発生頻度により決定される係数である。例えば、事故発生頻度が高いほど大きくなるような係数c、dの値が予め定義され、記録部16に記録される。具体的には、事故発生頻度によって変化する係数c、dの値を定義する関数や、事故発生頻度の各値に対応する係数c、dの値を記録したテーブル等により、係数c,dの値を決定することができる。
このようにして、車両10が進入する交差点の事故発生頻度に応じて道路反射鏡の拡大画像の拡大サイズを決定することができる。これにより、例えば、事故発生頻度が高い交差点では、道路反射鏡の拡大画像のサイズを大きくし、運転者H1がより確認しやすい画像をモニタ6に表示させることができる。
Claims (12)
- 車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力部と、
車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、車両に設けられた車載デバイスからの情報を基に取得する車両情報入力部と、
前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、
前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、
前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部とを備え、
前記合成部は、前記車両情報入力部で取得された前記距離と、前記記録部に記録された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する、画像処理装置。 - 前記合成部は、前記分岐点またはカーブの位置周辺における前記撮像装置により撮像される撮像領域を、前記分岐点またはカーブと前記車両との距離および前記撮像情報を用いて計算し、
前記分岐点またはカーブの位置周辺における運転者の視野に入る視野領域を、前記分岐点またはカーブと前記車両との距離および前記運転者情報を用いて計算し、
前記撮像領域に対する前記視野領域の位置関係を用いて、前記撮像画像における前記非死角領域の位置を特定する、請求項1に記載の画像処理装置。 - 前記合成部は、前記拡大画像の拡大の度合いを、前記車両情報入力部で取得された前記距離を用いて決定する、請求項1または2に記載の画像処理装置。
- 前記画像入力部は、前記撮像画像の撮像時における前記撮像装置の水平舵角をさらに入力し、
前記合成部は、前記水平舵角を用いて、前記撮像領域を計算する、請求項2に記載の画像処理装置。 - 前記車両情報入力部は、車両の進行方向にあるカーブの曲率を示す値をさらに取得し、
前記合成部は、前記曲率を用いて、前記拡大画像の拡大の度合いを決定する、請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記車両情報入力部は、前記分岐点または前記カーブにおける事故発生の頻度を表す情報をさらに取得し、
前記合成部は、前記事項発生の頻度を用いて、前記拡大画像の拡大の度合いを決定する、請求項1〜5のいずれか1項に記載の画像処理装置。 - 前記車両に設けられたナビゲーションシステムと連携動作可能であり、
車両情報入力部は、前記車両に設けられたナビゲーションシステムから車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を取得する、請求項1〜6のいずれか1項に記載の画像処理装置。 - 前記車両情報入力部は、前記カーナビゲーションシステムから、前記分岐点または前記カーブに前記拡大対象物があるか否かを示す情報をさらに取得し、
前記拡大対象認識部は、前記分岐点または前記カーブに前記拡大対象物がある場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識することを特徴とする、請求項7に記載の画像処理装置。 - 前記拡大対象認識部は、前記距離が所定の距離以下になった場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識することを特徴とする、請求項1〜8のいずれか1項に記載の画像処理装置。
- コンピュータにより実行される画像処理方法であって、
車両に設けられた撮像装置により撮像された撮像画像を入力する画像入力ステップと、
前記車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に入力する車両情報入力ステップと、
前記コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を読み込んで入力する記録情報取得ステップと、
前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識ステップと、
前記拡大対象認識ステップで拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成ステップとを含み、
前記合成ステップでは、前記車両情報入力ステップで取得された前記距離と、前記記録情報取得ステップで取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理が実行される、画像処理方法。 - 車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力処理と、
車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に取得する車両情報入力処理と、
コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を取得する記録情報取得処理と、
前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識処理と、
前記拡大対象認識処理により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成処理とコンピュータに実行させる画像処理プログラムであって、
前記合成処理において、前記車両情報入力処理で取得された前記距離と、前記記録情報取得処理で取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理をコンピュータに実行させる、画像処理プログラム。 - 車両に設けられた撮像装置と連携可能な車載端末であって、
車両の位置を特定する機能と、道路の分岐点またはカーブの位置を含む道路情報を記録した地図データ記録部とを備えるナビゲーションシステム部と、
前記撮像装置により撮像された撮像画像を取得する画像入力部と、
車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記ナビゲーションシステム部で特定される車両の位置および道路情報を用いて取得する車両情報入力部と、
前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、
前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、
前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部と、
前記合成部が生成した合成画像を表示する表示部とを備える、車載端末。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/053273 WO2009107199A1 (ja) | 2008-02-26 | 2008-02-26 | 画像処理装置、画像処理方法、画像処理プログラム及び車載端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009107199A1 true JPWO2009107199A1 (ja) | 2011-06-30 |
JP5177217B2 JP5177217B2 (ja) | 2013-04-03 |
Family
ID=41015613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010500475A Expired - Fee Related JP5177217B2 (ja) | 2008-02-26 | 2008-02-26 | 画像処理装置、画像処理方法、画像処理プログラム及び車載端末 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8624717B2 (ja) |
JP (1) | JP5177217B2 (ja) |
DE (1) | DE112008003729T5 (ja) |
WO (1) | WO2009107199A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2246762B1 (en) * | 2009-04-27 | 2012-06-06 | Magneti Marelli S.p.A. | System and method for driving assistance at road intersections |
JP4858574B2 (ja) * | 2009-05-19 | 2012-01-18 | トヨタ自動車株式会社 | 物体検出装置 |
TW201137801A (en) * | 2010-04-30 | 2011-11-01 | Hon Hai Prec Ind Co Ltd | Road condition alarm system, road condition alarm apparatus and method thereof |
JP5915923B2 (ja) * | 2011-04-14 | 2016-05-11 | いすゞ自動車株式会社 | 画像処理装置及び運転支援システム |
JP5863105B2 (ja) * | 2011-12-13 | 2016-02-16 | アルパイン株式会社 | 車両移動量推定装置および障害物検出装置 |
WO2013171962A1 (ja) * | 2012-05-18 | 2013-11-21 | 日産自動車株式会社 | 車両用表示装置、車両用表示方法及び車両用表示プログラム |
TWI558588B (zh) * | 2014-04-09 | 2016-11-21 | Papago Inc | Driving Recorder with Correcting Shooting Pose and Its Correction |
JPWO2016042713A1 (ja) * | 2014-09-17 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 電子ミラー装置 |
CN105791793A (zh) * | 2014-12-17 | 2016-07-20 | 光宝电子(广州)有限公司 | 图像处理方法及其电子装置 |
CN105774809B (zh) * | 2014-12-26 | 2019-01-08 | ***通信集团公司 | 一种行车盲区提示的方法和装置 |
JP6614607B2 (ja) * | 2015-07-09 | 2019-12-04 | 株式会社Ihiエアロスペース | 遠隔操縦システムと方法 |
DE102016215115A1 (de) * | 2016-08-12 | 2018-02-15 | Continental Automotive Gmbh | Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs |
JP6844235B2 (ja) * | 2016-12-08 | 2021-03-17 | 富士通株式会社 | 距離測定装置および距離測定方法 |
EP3343533B1 (en) * | 2016-12-27 | 2019-06-19 | Panasonic Intellectual Property Corporation of America | Information processing apparatus, information processing method, and program |
DE102017200146A1 (de) * | 2017-01-09 | 2018-07-12 | Ford Global Technologies, Llc | Verfahren zum Vermeiden von Kollisionen |
US10366473B2 (en) | 2017-05-23 | 2019-07-30 | Toyota Jidosha Kabushiki Kaisha | Providing traffic mirror content to a driver |
JP6271068B1 (ja) * | 2017-06-22 | 2018-01-31 | 株式会社ショーワ | 障害物検知装置、車両、および、障害物検知システム |
JP6859927B2 (ja) * | 2017-11-06 | 2021-04-14 | トヨタ自動車株式会社 | 自車位置推定装置 |
KR102494864B1 (ko) * | 2017-12-27 | 2023-02-02 | 현대자동차주식회사 | 차량 및 그 제어방법 |
CN108629281A (zh) * | 2018-03-28 | 2018-10-09 | 深圳市路畅智能科技有限公司 | 利用弯道转角镜的自动安全驾驶辅助方法 |
US11603043B2 (en) * | 2018-12-11 | 2023-03-14 | Sony Group Corporation | Image processing apparatus, image processing method, and image processing system |
KR20230021457A (ko) * | 2021-08-05 | 2023-02-14 | 현대모비스 주식회사 | 차량의 장애물 감지 시스템 및 방법 |
GB2610185A (en) * | 2021-08-24 | 2023-03-01 | Continental Automotive Gmbh | System and method for detecting vehicles using curved mirror at a road intersection |
CN115123211A (zh) * | 2021-12-29 | 2022-09-30 | 长城汽车股份有限公司 | 车辆驾驶辅助方法、装置、车辆和云端服务器 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0962906B1 (en) | 1998-06-04 | 2005-06-29 | Honda Giken Kogyo Kabushiki Kaisha | Road-curve mirror with radio wave reflection plate |
JP3883292B2 (ja) * | 1998-06-05 | 2007-02-21 | 本田技研工業株式会社 | 移動体検出装置 |
JP3287817B2 (ja) * | 1999-07-27 | 2002-06-04 | 株式会社ホンダアクセス | 車両用カメラ装置 |
JP2001101566A (ja) * | 1999-09-30 | 2001-04-13 | Toshiba Corp | 交通安全確認システム |
JP2001155297A (ja) * | 1999-11-30 | 2001-06-08 | Matsushita Electric Ind Co Ltd | 画像伝送装置及び方法 |
JP2005178623A (ja) * | 2003-12-19 | 2005-07-07 | Denso Corp | 車両用表示装置 |
JP2007069777A (ja) * | 2005-09-07 | 2007-03-22 | Sumitomo Electric Ind Ltd | 障害物検出システム |
JP2007102691A (ja) * | 2005-10-07 | 2007-04-19 | Denso Corp | 車両用視界支援装置 |
-
2008
- 2008-02-26 JP JP2010500475A patent/JP5177217B2/ja not_active Expired - Fee Related
- 2008-02-26 WO PCT/JP2008/053273 patent/WO2009107199A1/ja active Application Filing
- 2008-02-26 DE DE112008003729T patent/DE112008003729T5/de not_active Ceased
-
2010
- 2010-08-25 US US12/862,950 patent/US8624717B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8624717B2 (en) | 2014-01-07 |
JP5177217B2 (ja) | 2013-04-03 |
DE112008003729T5 (de) | 2011-01-13 |
WO2009107199A1 (ja) | 2009-09-03 |
US20100315214A1 (en) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5177217B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び車載端末 | |
EP1961613B1 (en) | Driving support method and driving support device | |
KR102344171B1 (ko) | 화상 생성 장치, 화상 생성 방법, 및 프로그램 | |
JP5099451B2 (ja) | 車両周辺確認装置 | |
US9418556B2 (en) | Apparatus and method for displaying a blind spot | |
JP6711295B2 (ja) | 車両用表示制御装置 | |
JP6311646B2 (ja) | 画像処理装置、電子ミラーシステム、及び画像処理方法 | |
US20090086019A1 (en) | Driving support device, driving support method and computer program | |
WO2019097755A1 (ja) | 表示装置及びコンピュータプログラム | |
JP4848893B2 (ja) | 交差点情報提供システム及び運転支援システム | |
JP2019095213A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP7163748B2 (ja) | 車両用表示制御装置 | |
CN104802710B (zh) | 一种智能汽车倒车辅助***及辅助方法 | |
JP4747867B2 (ja) | 車両用表示装置および車両用映像表示制御方法 | |
JP2009211624A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
US11082616B2 (en) | Overlooking image generation system for vehicle and method thereof | |
JP2004240480A (ja) | 運転支援装置 | |
JP2007102691A (ja) | 車両用視界支援装置 | |
JP2007102798A (ja) | 車両周辺監視システム | |
JP2010154304A (ja) | 移動体カメラシステム及び駆動方法 | |
JP2008145364A (ja) | 経路案内装置 | |
JP6136238B2 (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP5156307B2 (ja) | 車載カメラシステム | |
JP4218453B2 (ja) | 車両用前方視界支援装置 | |
JP4857159B2 (ja) | 車両運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121224 |
|
LAPS | Cancellation because of no payment of annual fees |