JP4062145B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4062145B2 JP4062145B2 JP2003082155A JP2003082155A JP4062145B2 JP 4062145 B2 JP4062145 B2 JP 4062145B2 JP 2003082155 A JP2003082155 A JP 2003082155A JP 2003082155 A JP2003082155 A JP 2003082155A JP 4062145 B2 JP4062145 B2 JP 4062145B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- unit
- imaging
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 203
- 230000033001 locomotion Effects 0.000 claims description 32
- 230000002093 peripheral effect Effects 0.000 claims description 32
- 239000003550 marker Substances 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 17
- 230000010365 information processing Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、移動体の移動する走行路の状態を把握するための撮像装置に関するものである。
【0002】
【従来の技術】
従来、車両に搭載されたカメラにより車両が走行している走行路及びその周囲に対する撮像動作が行われることによって得られる撮像出力信号に基づいて、走行路に関する各種情報を獲得し、それらの情報を車両の制御及び車両の運転者に対する補助などに利用するようにした種々の走行路認識システムが知られている(例えば、特許文献1及び特許文献2参照)。
【0003】
特許文献1に記載の走行路認識システムでは、光学ズーミング機構によりシャッター速度より速いズーミング速度でズーミング動作を行うことによって走行路の走行車線が認識される。
【0004】
また、特許文献2に記載の画像処理装置では、デジタルズーム機構により1の画像の各部分においてズーム倍率を変更し、遠方部分はズーム倍率を大きくし、至近部分はズーム倍率を小さくすることによって走行路の走行車線が認識される。
【0005】
【特許文献1】
特許第3229687号公報
【特許文献2】
特許第3084208号公報
【0006】
【発明が解決しようとする課題】
しかしながら、上記の特許文献1の走行路認識システムでは、光学ズーミング機構により光学的にズーミングを行うため、耐久性に問題があり、部品点数が多くなるため、低コスト化及び小型化が困難である。
【0007】
また、上記の特許文献2の画像処理装置では、デジタルズーム機構によりズーミング動作を行っているが、このズーミング動作は、撮像された画像の遠方部分はズーム倍率を大きくし、至近部分はズーム倍率を小さくしている。この場合、ズーム倍率の異なる位置において、対象物の位置合わせが必要となり、画像処理が煩雑になるという問題がある。
【0008】
一般に、一台のカメラで車両の前方の走行路の車線を撮影する装置があるが、このような装置では、広い範囲を認識するために広角レンズを備えた構成にすると、遠方の車線を認識することが困難となり、遠方の車線を認識するために望遠レンズを備えた構成にすると、認識可能な視野が狭くなり、近方の車線を認識することが困難となるという問題がある。
【0009】
本発明は、上記の問題を解決するためになされたもので、広い視野を確保するとともに、遠方の走行路の状態を正確に認識することが可能な撮像装置を提供することを目的とするものである。
【0010】
【課題を解決するための手段】
本発明に係る撮像装置は、複数の画素が2次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像センサと、撮像された画像の中心部分で像高が大きく、周辺部分で中心部分よりも像高が小さくなるように移動体の移動方向の光像を前記撮像面に結像する結像部と、前記撮像センサによって得られる画像の像高が大きい中心部分で前記移動体の走行する走行路の状態を認識する認識部とを備える。
【0011】
この構成によれば、撮像された画像の中心部分で像高が大きく、周辺部分で中心部分よりも像高が小さくなるように移動体の移動方向の光像が撮像面に結像され、撮像センサによって得られる画像の像高が大きい中心部分で移動体の走行する走行路の状態が認識されるので、広い視野を確保するとともに、遠方の走行路の状態を正確に認識することができる。
【0012】
また、上記の撮像装置において、前記撮像センサ及び前記結像部のうちのいずれか一方を光軸に対して垂直な方向に相対的にずらす駆動部をさらに備え、前記撮像センサによって撮像された画像の像高が大きい部分を中心部分からずらすことが好ましい。
【0013】
この構成によれば、駆動部によって、撮像センサ及び結像部のうちのいずれか一方が光軸に対して垂直な方向に相対的にずらされ、撮像センサによって撮像された画像の像高が大きい部分が中心部分からずらされるので、撮像画像における像高の大きい領域を移動させることができ、不要な情報を表示することなく、画像データを有効に利用することができる。
【0014】
また、上記の撮像装置において、前記移動体は、道路を走行する車両であり、前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車両の走行する道路の車線を認識する車線認識部と、前記車両の走行状態を検出する車両状態検出部と、前記車線認識部によって認識された車線と、前記車両状態検出部によって検出された車両の走行状態とに基づいて、前記車両が危険な状態にあるか否かを判断する危険判断部とを備え、前記危険判断部によって前記車両が危険な状態にあると判断された場合、前記車両の運転者に対して危険な状態にあることを報知する報知部をさらに備えることが好ましい。
【0015】
この構成によれば、移動体は、道路を走行する車両であり、車線認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で車両の走行する道路の車線が認識される。そして、車両状態検出部によって車両の走行状態が検出され、危険判断部によって、車線認識部によって認識された車線と、車両状態検出部によって検出された車両の走行状態とに基づいて、車両が危険な状態にあるか否かが判断される。報知部によって、危険判断部によって車両が危険な状態にあると判断された場合、車両の運転者に対して危険な状態にあることが報知される。
【0016】
したがって、車両の運転者は安全に車両を走行させることができ、万が一、車両が危険な状態、つまり、事故を起こす可能性がある状態になったとしても、未然にこれを防ぐことができる。
【0017】
また、上記の撮像装置において、前記車線認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車両の走行する車線を認識し、前記車線認識部によって認識された車線が、前記撮像センサによって得られる画像の像高が大きい中心部分で常に認識されるように前記車両の運動を制御する車両運動制御部をさらに備えることが好ましい。
【0018】
この構成によれば、車線認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で車両の走行する車線が認識され、車両運動制御部によって、車線認識部によって認識された車線が、撮像センサによって得られる画像の像高が大きい中心部分で常に認識されるように車両の運動が制御されるので、車両の自律誘導を行うことができる。
【0019】
また、上記の撮像装置において、前記撮像装置のパン方向への駆動量を算出するパン用駆動量算出部と、前記パン用駆動量算出部によって算出された駆動量に基づいて前記撮像装置をパン方向に駆動するパン用駆動部と、前記撮像装置のチルト方向への駆動量を算出するチルト用駆動量算出部と、前記チルト用駆動量算出部によって算出された駆動量に基づいて前記撮像装置をチルト方向に駆動するチルト用駆動部とをさらに備え、前記認識部は、前記撮像センサによって得られる画像の像高が小さい周辺部分において、移動体の走行する走行路に設けられた誘導マーカの位置を認識し、前記パン用駆動量算出部は、前記認識部によって認識された前記誘導マーカの位置を、前記撮像センサによって得られる画像の像高が大きい中心部分に移動させるためのパン方向への駆動量を算出し、前記チルト用駆動量算出部は、前記認識部によって認識された前記誘導マーカの位置を、前記撮像センサによって得られる画像の像高が大きい中心部分に移動させるためのチルト方向への駆動量を算出することが好ましい。
【0020】
この構成によれば、認識部によって、撮像センサによって得られる画像の像高が小さい周辺部分において、移動体の走行する走行路に設けられた誘導マーカの位置が認識される。そして、パン用駆動量算出部によって、認識部によって認識された誘導マーカの位置を、撮像センサによって得られる画像の像高が大きい中心部分に移動させるためのパン方向への駆動量が算出され、チルト用駆動量算出部によって、認識部によって認識された誘導マーカの位置を、撮像センサによって得られる画像の像高が大きい中心部分に移動させるためのチルト方向への駆動量が算出される。パン用駆動部によって、パン用駆動量算出部によって算出された駆動量に基づいて撮像装置がパン方向に駆動され、チルト用駆動部によって、チルト用駆動量算出部によって算出された駆動量に基づいて撮像装置がチルト方向に駆動される。
【0021】
したがって、撮像センサによって得られる画像の像高が小さい周辺部分で誘導マーカが認識された場合、撮像装置をパン方向及びチルト方向に駆動することで、像高が大きい中心部分で誘導マーカを認識することができるので、高い精度で誘導マーカを認識することができる。
【0022】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、本実施形態では、撮像装置が設けられる移動体を車両として説明するが、本発明は特にこれに限定されず、所定の走行路を走行する他の移動体でもよい。
【0023】
(第1の実施形態)
本発明の第1の実施形態である撮像装置について説明する。図1は、第1の実施形態における撮像装置の構成を示すブロック図である。図1に示すように、撮像装置は、結像部1、撮像センサ2、撮像センサ駆動部(駆動部に相当する)3、A/D変換部4、第1の画像メモリ5、車線認識部6、車両状態センサ(車両状態検出部に相当する)7、車両状態判断部8、危険判断部9、警報装置(報知部に相当する)10、車両運動制御装置11、スイッチ12、画像処理部13、第2の画像メモリ14及び画像表示装置15を備えて構成される。
【0024】
結像部1は、視野の中心に対応する網膜上の中心窩と呼ばれる範囲で視力が最も高く、この中心窩から離れるに従って視力が急激に減少するという人間の眼球の特性を模したレンズ(以下、「中心窩レンズ」とする)からなり、撮像された画像の中心部分で像高が大きく、周辺部分で中心部分よりも像高が小さくなるように移動体の移動方向の光像を結像部1の後方に配設された撮像センサ2の撮像面上に結像させるものである。撮像センサ2には、中心部分の対象物が拡大され、周辺部分の対象物が縮小された光像が撮像面上に結像される。なお、結像部1は、移動体の移動方向における走行路の光像が、常に中心部分に撮像されるように設けられている。中心窩レンズを用いて撮像された画像は、中心部分の像高が大きく、周辺部分の像高が中央部分よりも小さくなっており、中心部分から周辺部分にかけて歪が生じる。
【0025】
図2は、中心窩レンズのレンズ特性を表す図である。なお、図2において、横軸は画角θを表し、縦軸は像高yを表している。図2に示すように、画角θが小さい領域では、画角θに対して像高yは、略線形であって、画角θの単位変化に対するその変化量が大きい。一方、画角θが大きい領域では、画角θに対して像高yは、非線形であって、画角θの単位変化に対するその変化量は、画角θの増大に伴って徐々に小さくなり、像高yは、略一定値に飽和する。つまり、画素サイズと画素ピッチとが一定の撮像センサにおいては、画角θが小さい領域では、解像度が高く、画角θが大きい領域では、解像度が低い。したがって、画角θの小さい部分の光像は像高yが大きくなるため、画像の中心部分において対象物は拡大され、画像の周辺部分において対象物は圧縮される。
【0026】
図1に戻って、撮像センサ2は、長方形状の撮像領域を備えたCCDカラーエリアセンサ(以下、CCDとする)からなり、結像部1により結像された被写体の光像を、R(赤),G(緑),B(青)の色成分の画像信号(各画素で受光された画像信号の信号列からなる信号)に光電変換して出力するものである。
【0027】
撮像センサ駆動部3は、撮像センサ2を駆動するものであり、撮像センサ2のCCD上の撮像領域を設定することによって所定の撮像領域の画像信号を出力するように撮像センサ2を駆動する。
【0028】
A/D変換部4は、撮像センサ2から出力された画像信号の各画素信号(アナログ信号)をデジタル信号に変換する。第1の画像メモリ5は、A/D変換部4によってデジタル信号に変換された画像信号を記憶する。
【0029】
車線認識部6は、撮像センサ2によって撮像された画像における車両が走行する走行路(この場合、道路)に設けられた白線表示の像に対応する部分を認識する。具体的に、車線認識部6は、撮像センサ2によって撮像された画像の中から、あらかじめ設定されている抽出色条件に該当する画素を抽出し、抽出した画素に対する位置座標データに基づいて左右の車線を認識し、認識結果を車線情報として危険判断部9に出力する。なお、抽出色条件とは、特定の輝度及び色差に関するデータであり、例えば、白線表示を除く走行路の輝度及び色差に関するデータをメモリ(図示省略)に格納しておき、必要に応じて読み出される。車線認識部6は、抽出色条件に該当する画素と、抽出色条件に該当しない画素との境界を検出することによって車線を認識する。
【0030】
車両状態センサ7は車両の走行状態を検出するセンサであり、検出された車両の走行状態は車両状態情報として車両状態判断部8に出力される。なお、車両状態センサ7には、車両の速度を検出する車速度センサ、ステアリング角度を検出するセンサ及びブレ−キング状態を検出するセンサ等の車両の走行状態を検出するセンサが含まれ、車両状態情報とは、車両の速度、ステアリング角度、ブレーキング状態等から得られる車両の走行状態に関する情報である。車両状態判断部8は、車両状態センサ7から入力される車両状態情報により、自車両の走行状態を判断し、その判断結果を危険判断部9に出力する。
【0031】
危険判断部9は、車線認識部6から入力される車線情報と、車両状態判断部8から入力される判断結果とに基づいて、自車両が危険な状態にあるか否かを判断する。例えば、危険判断部9は、車線認識部6から入力される車線の曲率を算出し、車両状態センサ7によって検出された速度で車両が曲がれるか否かを判断し、車両が曲がることができないと判断すると、自車両が危険な状態にあるとして、警報装置10及び車量運動制御装置11を駆動する。また、例えば、危険判断部9は、車線認識部6から入力される車線の位置が所定の期間内において所定の範囲内に検出されない場合、車両が蛇行していると判断し、自車両が危険な状態にあるとして、警報装置10及び車量運動制御装置11を駆動する。
【0032】
警報装置10は、危険判断部9によって車両が危険な状態にあると判断された場合、車両が危険な状態にあることを音声又は視認可能な表示によって運転者に報知する。音声によって報知する場合、例えば、ブザー音等の警告音を鳴らすことによって車両が危険な状態にあることを運転者に報知する。また、視認可能な表示によって報知する場合、例えば、LEDを発光させることによって車両が危険な状態にあることを運転者に報知する。
【0033】
車両運動制御装置11は、車両の運動、例えば、駆動系、制動系及び操舵系等の制御を行う。例えば、車両運動制御装置11は、危険判断部9によって車両が危険な状態にあると判断された場合、自動的に車両の速度を制御して車両を減速させる。なお、車両運動制御装置11は、危険判断部9によって車両が危険な状態にあると判断された場合、自動的にブレーキを動作させてもよい。
【0034】
なお、本実施形態における撮像装置は、警報装置10及び車両運動制御装置11を備える構成であるが、本発明は特にこれに限定されず、警報装置10及び車両運動制御装置11のいずれか一方のみを備える構成であってもよい。
【0035】
スイッチ12は、第1の画像メモリ5と画像処理部13との接続、第1の画像メモリ5と第2の画像メモリ14との接続を切り換える。なお、本実施形態では、スイッチ12によって接続を切り換えているが、本実施形態は特にこれに限定されず、第1の画像メモリ5は、画像処理部13及び第2の画像メモリ14のうちのいずれか一方のみと接続されている構成でもよい。
【0036】
画像処理部13は、中心窩レンズを用いて撮像された歪のある画像から歪を除去する処理を行う。中心窩レンズを用いて撮像した場合、上述のように画像の中心部分から周辺部分にかけて歪が生じるため、この歪を除去する処理が必要である。そこで、画像処理部13は、中心窩レンズを用いて撮像された画像の歪を除去して歪のない画像を作成する。
【0037】
第2の画像メモリ14は、スイッチ12によって第1の画像メモリ5と画像処理部13とが接続されている場合、画像処理部13によって歪が除去された画像を記憶する。また、第2の画像メモリ14は、スイッチ12によって第1の画像メモリ5と第2の画像メモリ14とが接続されている場合、第1の画像メモリ5に記憶されている画像を読み出して記憶する。
【0038】
画像表示装置15は、運転者に車両の移動方向の様子を表示するものであり、画像メモリ14に記憶されている画像データ読み出して表示する。なお、画像表示装置15としては、例えば、車両に設けられたカーナビゲーション等のモニタ装置、車両のフロントガラスに設けられたヘッドアップディスプレイ装置等がある。なお、スイッチ12によって第1の画像メモリ5と第2の画像メモリ14とが接続されている場合、画像表示装置15に表示される画像には歪があり、特に、表示される画像の周辺部分で歪が大きくなる。
【0039】
次に、図1に示す第1の実施形態における撮像装置の動作について説明する。図3は、図1に示す第1の実施形態における撮像装置の動作の一例を示すフローチャートである。
【0040】
ステップS1において、撮像センサ2は、結像部1によって結像された車両の移動方向の光像を撮像する。撮像された光像は光電変換され画像信号としてA/D変換部4に入力される。A/D変換部4は、入力されたアナログの画像信号をデジタルに変換し、第1の画像メモリ5に出力する。ステップS2において、第1の画像メモリ5は、画像データを一時的に記憶する。
【0041】
ステップS3において、車線認識部6は、撮像センサ2によって撮像された画像における車線を表す部分を認識する。車線認識部6によって認識された車線情報は、危険判断部9に出力される。
【0042】
ステップS4において、車両状態センサ7は車両の走行状態を検出する。車両状態センサ7によって検出された車両の走行状態は、車両状態判断部8に出力される。
【0043】
ステップS5において、車両状態判断部9は、車両状態センサ7によって検出された車両の走行状態を判断する。車両状態判断部9によって判断された判断結果は、危険判断部9に出力される。
【0044】
ステップS6において、危険判断部9は、車線認識部6によって認識された車線と、車両状態判断部8によって判断された判断結果とに基づいて、現在、自車両が危険な状態にあるか否かを判断する。ここで、自車両が危険な状態にあると判断されると(ステップS7でYES)、ステップS8に移行し、自車両が危険な状態でないと判断されると(ステップS7でNO)、ステップS10に移行する。
【0045】
ステップS8において、危険判断部9は、自車両が危険な状態であると判断した場合、警報装置10を駆動する。警報装置10は、例えば、警告音を鳴らすことによって運転者に対して自車両が危険な状態にあることを報知する。
【0046】
ステップS9において、危険判断部9は、自車両が危険な状態であると判断した場合、車両運動制御装置11を駆動する。車両運動制御装置11は、例えば、自動的に車両の速度を制御して車両を減速させることで車両の運動を制御する。
【0047】
ここで、第1の画像メモリ5と画像処理部13とが接続されている場合(ステップS10でYES)、ステップS11に移行し、第1の画像メモリ5と第2の画像メモリ14とが接続されている場合(ステップS10でNO)、ステップS12に移行する。
【0048】
ステップS11において、画像処理部13は、第1の画像メモリ5から中心窩レンズで撮像された画像データを読み出し、当該画像の歪を除去するための画像処理を行う。
【0049】
ステップS12において、第2の画像メモリ14は、第1の画像メモリ5と画像処理部13とが接続されている場合、画像処理部13によって歪が除去された画像データを記憶し、第1の画像メモリ5と第2の画像メモリ14とが接続されている場合、第1の画像メモリ5から中心窩レンズで撮像された画像データを読み出して記憶する。ステップS13において、画像表示装置15は、第2の画像メモリ14に記憶されている画像データを表示する。
【0050】
図4は、単焦点広角レンズを用いて車両の前方の様子を撮像した場合における撮像画像の一例を示す図である。車両は道路R上を走行しており、道路Rは車両の左側の白線表示LHと右側の白線表示RHとで挟まれている。図4に示すように、結像部1に単焦点広角レンズを用いて撮像した画像P1は、視野は広いが遠方の道路状態を認識することが困難である。そこで、本実施形態では、上述の中心窩レンズを用いて車両の前方を撮像することによって、広い視野が得られ、遠方の走行路の状態を正確に認識することが可能な画像を撮像する。
【0051】
図5は、中心窩レンズを用いて車両の前方の様子を撮像した場合における撮像画像の一例を示す図である。車両は道路R上を走行しており、道路Rは車両の左側の白線表示LHと右側の白線表示RHとで挟まれている。図5に示す円形状の領域S内の画像は、中心窩レンズによって拡大される画像であり、領域S外の画像は、中心窩レンズによって縮小される画像である。なお、実際に撮像される画像において、中心窩レンズによって拡大される範囲と中心窩レンズによって縮小される範囲とは、図5の領域Sに示すような明瞭な境界で表されるのではなく、中心窩レンズによって拡大される範囲から中心窩レンズによって縮小される範囲へと徐々に移行する。図5に示すように、中心窩レンズを用いて車両の前方を撮像した場合、撮像画像P2は、中心部分が拡大して表示され、周辺部分が縮小して表示されるため、遠方の白線表示LH,RH及び道路Rは、近方の白線表示LH,RH及び道路Rよりも拡大して表示されることとなる。そのため、中心窩レンズを用いた場合、図4に示すような単焦点広角レンズを用いた場合に比して、遠方の走行路の状態を正確に認識することができる。また、中心窩レンズを用いた場合、広角に撮像することができるので、望遠レンズを用いた場合に比して、近方の走行路の状態を認識することができる。
【0052】
このように、撮像された画像の中心部分の領域Sで像高が大きく、周辺部分で中心部分の領域Sよりも像高が小さくなるように車両の移動方向の光像が撮像面に結像され、撮像センサ2によって得られる画像の像高が大きい中心部分の領域Sで車両の走行する走行路の状態が認識されるので、広い視野を確保するとともに、遠方の走行路の状態を正確に認識することができる。
【0053】
また、車線認識部6によって、撮像センサ2によって得られる画像の像高が大きい中心部分の領域Sで車両の走行する道路の車線が認識される。そして、車両状態センサ7によって車両の走行状態が検出され、危険判断部9によって、車線認識部6によって認識された車線と、車両状態センサ7によって検出された車両の走行状態とに基づいて、車両が危険な状態にあるか否かが判断される。警報装置10によって、危険判断部9によって車両が危険な状態にあると判断された場合、車両の運転者に対して危険な状態にあることが報知される。したがって、車両の運転者は安全に車両を走行させることができ、万が一、車両が危険な状態、つまり、事故を起こす可能性がある状態になったとしても、未然にこれを防ぐことができる。
【0054】
さらに、光学的なズーミング機構を使用しないので、耐久性の向上、装置の小型化及び低コスト化を図ることができる。
【0055】
(第2の実施形態)
本発明の第2の実施形態である撮像装置について説明する。図5に示すように、中心窩レンズを用いて車両の前方を撮像した場合、撮像画像P2の中心部分の画像が拡大される。その結果、撮像画像P2の上部分には空などの不要な情報が含まれ、画像データを有効に利用することができない場合がある。そこで、第2の実施形態では、画像データを有効に利用するために、像高が大きい領域Sを画面の上方にずらすことによって、近方の走行路の状態を広範囲に撮像する。
【0056】
図1に示す撮像センサ駆動部3は、上記第1の実施形態における機能に加えて、さらに、撮像センサ2を物理的に下方に移動させる。すなわち、撮像センサ駆動部3は、撮像センサ2を下方に移動させることによって、結像部1の光軸が撮像センサ2の撮像面の上方に移動することとなり、その結果、像高が大きい領域Sが画面の上方に移動することとなる。
【0057】
図6は、撮像センサの位置を結像部の光軸に対して下方にずらした場合における撮像画像の一例を示す図である。図6に示すように、撮像センサ2の位置を結像部1の光軸に対して下方にずらすことによって、像高の大きい領域Sは撮像画像P3の中央部分から上部分に移動し、遠方の白線表示LH,RH及び道路Rが近方の白線表示LH,RH及び道路Rよりも拡大して表示されることとなる。さらに、像高の大きい領域Sが撮像画像P3の中央部分から上部分に移動することによって、撮像画像P3の下部分には、近方の白線表示LH,RH及び道路Rがより広範囲に表示されることとなる。
【0058】
このように、結像部1と撮像センサ2との位置を相対的にずらすことによって、撮像画像における像高の大きい領域Sを上方に移動させることができ、不要な情報を表示することなく、画像データを有効に利用することができる。
【0059】
なお、本実施形態では、撮像センサ駆動部3によって撮像センサ2を移動させることによって、結像部1と撮像センサ2との位置を相対的にずらしているが、本発明は特にこれに限定されず、結像部1を物理的に移動させることによって、結像部1と撮像センサ2との位置を相対的にずらしてもよい。すなわち、撮像装置は、結像部の位置を撮像センサに対して相対的にずらすレンズ駆動部をさらに備え、レンズ駆動部は、結像部1を構成するレンズの位置を、光軸の垂直方向に対して上方に移動させる。すなわち、レンズ駆動部は、結像部1を上方に移動させることによって、結像部1の光軸が撮像センサ2の撮像面の上方に移動することとなり、その結果、像高の大きい領域Sが画面の上方に移動することとなる。
【0060】
また、本実施形態では、撮像センサ2によって撮像される撮像画像P2の上部分に不要な情報が含まれているため、像高の大きい領域Sを撮像センサ2の撮像面の上方に移動するようにしているが、本発明は特にこれに限定されず、例えば、撮像センサ2によって撮像される撮像画像P2の下部分に不要な情報が含まれている場合は、撮像センサ2を上方に移動させ、像高の大きい領域Sを撮像センサ2の撮像面の下方に移動するようにしてもよい。すなわち、撮像センサ2によって撮像される撮像画像P2における不要な情報が含まれている位置に応じて、結像部1及び撮像センサ2のうちのいずれか一方を相対的にずらせばよい。
【0061】
また、本発明に係る撮像装置は、遠方を拡大し、近方を広角に撮像することが可能な中心窩レンズを用いているため、自車両が走行中の走行車線の他に隣接する複数の走行車線を撮像することができる。図7は、複数の走行車線が撮像された場合における撮像画像の一例を示す図である。図7に示すように、撮像画像P4には、第1走行レーンR1、第2走行レーンR2、第3走行レーンR3、第4走行レーンR4及び第5走行レーンR5が撮像されている。第1走行レーンR1は、第1白線表示H1及び第2白線表示H2によって挟まれる走行レーンであり、第2走行レーンR2は、第2白線表示H2及び第3白線表示H3によって挟まれる走行レーンであり、第3走行レーンR3は、第3白線表示H3及び第4白線表示H4によって挟まれる走行レーンであり、第4走行レーンR4は、第4白線表示H4及び第5白線表示H5によって挟まれる走行レーンであり、第5走行レーンR5は、第5白線表示H5及び第6白線表示H6によって挟まれる走行レーンである。
【0062】
図7に示すように、中心窩レンズは広い視野を有するので、自車両が走行している走行レーンR3の他に、周辺の走行レーンR1,R2,R4,R5も認識することができる。すなわち、車線認識部6は、撮像センサ2によって撮像された複数の車線を認識し、自車両が走行している走行レーンを認識する。車線認識部6は、車線認識部6によって認識された走行レーンを走行レーン情報として車両誘導装置(いわゆる、公知のカーナビゲーションシステム)に出力する。車両誘導装置は、自車両が走行している走行レーンの渋滞情報、工事情報及び事故情報等と、車線認識部6から入力される走行レーン情報とに基づいて、自車両を適切な走行車線に誘導する。
【0063】
このように、遠方を拡大し、近方を広角に撮像することが可能な中心窩レンズを用いた撮像装置は、車両の移動方向の走行路の状態を広い範囲で撮像することができるので、複数の車線を認識することができ、さらに、自車両が現在どの走行レーンを走行しているかを認識することができる。
【0064】
(第3の実施形態)
本発明の第3の実施形態である撮像装置について説明する。従来、撮像装置によって1本の白線表示を検出して車両を自律誘導する技術が知られており、この従来の撮像装置では、主に単焦点レンズが用いられている。そこで、第3の実施形態における撮像装置は、中心窩レンズによって走行路に設けられた白線表示を認識し、車両を自律誘導する。
【0065】
図8は、中心窩レンズを用いて走行路の車線(白線表示)を撮像した場合における撮像画像の一例を示す図である。なお、矢印YSは車両の進行方向を表している。図8に示す撮像画像P5には、現在の情報として像高の大きい領域Sで白線表示HNが拡大して撮像されており、車線認識部6は、白線表示を正確に認識することができる。また、中心窩レンズは、広角に撮像することも可能であるので、撮像画像P5における周辺部分の画像には、中心部分の像高の大きい領域Sで認識している白線表示HNの前方及び後方の状態を検出することができる。つまり、車線認識部6は、進行方向側の白線表示HFを未来の情報とし、進行方向と反対側の白線表示HPを過去の情報として認識することができる。そして、車両運動制御装置11は、車線認識部6によって認識された車線が撮像センサ2によって得られる画像の像高が大きい中心部分で常に認識されるように車両の運動を制御する。したがって、本実施形態における撮像装置は、現在の情報を正確に認識できるとともに、未来の情報及び過去の情報も認識することができるので、より高度な誘導制御が可能となる。
【0066】
この構成によれば、車線認識部6によって、撮像センサ2によって得られる画像の像高が大きい中心部分で車両の走行する車線が認識され、車両運動制御装置11によって、車線認識部6によって認識された車線が撮像センサ2によって得られる画像の像高が大きい中心部分で常に認識されるように車両の運動が制御されるので、車両の自律誘導を行うことができる。
【0067】
なお、本実施形態では、走行路に設けられた白線表示を認識するとしているが、本発明は特にこれに限定されず、走行路に設けられた縁石等の他の対象物を認識してもよい。
【0068】
(第4の実施形態)
本発明の第4の実施形態である撮像装置について説明する。第4の実施形態では、撮像装置がパン方向及びチルト方向に駆動する機能をさらに有している。
【0069】
図9は、パン方向及びチルト方向に駆動する撮像装置の外観を示す概略図である。撮像装置100は、パン用アクチュエータ(パン用駆動部に相当する)110及びチルト用アクチュエータ(チルト用駆動部に相当する)120をさらに備えて構成される。撮像装置100は、上記第1の実施形態から第3の実施形態において説明した撮像装置のうちのいずれかで構成され、パン用アクチュエータ110は、撮像装置100をパン方向(図9の矢印Y1に示す方向)に駆動するものである。チルト用アクチュエータ120は、撮像装置100をチルト方向(図9の矢印Y2に示す方向)に駆動するものである。
【0070】
図10は、撮像装置のパン・チルト機構に関する主な構成を示すブロック図である。図10に示すように、撮像装置100は、車線認識部6、パン・チルト制御部(パン用駆動量算出部及びチルト用駆動量算出部に相当する)101、パン用モータドライバ102、チルト用モータドライバ103、パン用駆動モータ104及びチルト用駆動モータ105を備えて構成される。パン用アクチュエータ110は、パン用モータドライバ102及びパン用駆動モータ104で構成され、チルト用アクチュエータ120は、チルト用モータドライバ103及びチルト用駆動モータ105で構成されている。
【0071】
パン・チルト制御部101は、撮像画像の周辺部分で検出された白線表示を、撮像画像の中心部分で撮像するためのパン方向への駆動量を算出し、算出された駆動量でパン用駆動モータ104を駆動するための制御信号を出力する。また、パン・チルト制御部103は、撮像画像の周辺部分で検出された白線表示を、撮像画像の中心部分で撮像するためのチルト方向への駆動量を算出し、算出された駆動量でチルト用駆動モータ105を駆動するための制御信号を出力する。
【0072】
パン用モータドライバ102は、パン用駆動モータ106を駆動するためのドライバであり、パン・チルト制御部101から出力される制御信号に基づいてパン用駆動モータ104を駆動する。チルト用モータドライバ103は、チルト用駆動モータ105を駆動するためのドライバであり、パン・チルト制御部101から出力される制御信号に基づいてチルト用駆動モータ105を駆動する。
【0073】
パン用駆動モータ104は、撮像装置100をパン方向に駆動するためのモータであり、所定の軸を中心として撮像装置100を左右に回転させる。チルト用駆動モータ105は、撮像装置100をチルト方向に駆動するためのモータであり、所定の軸を中心として撮像装置100を上下に回転させる。
【0074】
車両の自律誘導に必要な誘導マーカ(この場合、白線表示)が、撮像センサ2によって撮像された撮像画像における中央部分の像高の大きい領域Sに撮像されていない場合、正確に白線表示を認識するために、撮像画像の周辺部分で検出された白線表示を撮像画像の中心部分で撮像する必要がある。また、自律誘導制御中において、白線表示が撮像センサ2によって撮像されている撮像画像の中心部分から外れた場合、白線表示を撮像画像の中心部分に再位置決めする必要がある。そこで、パン・チルト制御部101は、車線認識部6によって撮像画像の周辺部分で認識された白線表示を、撮像画像の中心部分で撮像するためのパン方向及びチルト方向への駆動量を算出し、算出された駆動量をパン用アクチュエータ110及びチルト用アクチュエータ120に出力する。パン用アクチュエータ110は、算出された駆動量に基づいて撮像装置100をパン方向に回転させ、チルト用アクチュエータ120は、算出された駆動量に基づいて撮像装置100をチルト方向に回転させる。
【0075】
このように、パン用アクチュエータ110及びチルト用アクチュエータ120によって、撮像センサ2によって撮像された撮像画像の周辺部分で認識された白線表示が、像高の大きい撮像画像の中心部分に移動されるので、白線表示を常に正確に認識することができる。
【0076】
次に、本発明に係る撮像装置を用いて道路標識を認識する場合について説明する。図11は、撮像センサ2によって撮像された画像の周辺部分に道路標識が存在する場合における撮像画像の一例を示す図であり、図12は、撮像センサ2によって撮像された画像の中央部分に道路標識が存在する場合における撮像画像の一例を示す図である。なお、道路標識には、規制標識、指示標識、警戒標識、禁止標識、指導標識及び案内標識が含まれる。
【0077】
図11に示す撮像画像P6には、案内標識である交差点名を表す交差点名表示板HS及び信号機SGが周辺部分に撮像されている。交差点名表示板HSは、車両が走行している道路付近の地名を表示しており、図11では、一例として、「百舌鳥」という地名が表示されている。信号機SGは、所定の配色パターンで点滅可能に配色されており、図11では、一例として、左から青色、黄色、赤色の配色パターンで点滅可能に配色されている。図11に示す撮像画像P6において、交差点名表示板SHは、像高の小さい撮像画像P6の周辺部分で撮像されているため、運転者にとって視認することが困難になっている。そこで、図12に示すように、交差点名表示板HSを、像高の大きい撮像画像P6の中心部分の領域Sで撮像することで、視認可能に表示する。
【0078】
パン・チルト制御部101は、撮像画像P6の周辺部分で認識された交差点名表示板SHを、撮像画像の中心部分で撮像するためのパン方向及びチルト方向への駆動量を算出し、算出された駆動量をパン用アクチュエータ110及びチルト用アクチュエータ120に出力する。なお、撮像画像の周辺部分における交差点名表示板SHの認識方法は、あらかじめ交差点名表示板SHの形状及び色を抽出条件としてメモリに記憶しておき、撮像画像P6の各画素と抽出条件とを比較することによって交差点名表示板SHを認識する。また、交差点名表示板SHが信号機SGとともに設置されている場合、信号機SGを認識してもよい。つまり、あらかじめ信号機SGの配色パターンを抽出条件としてメモリに記憶しておき、撮像画像P6の各画素と抽出条件とを比較することによって交差点名表示板SHを認識する。パン用アクチュエータ110は、算出された駆動量に基づいて撮像装置100をパン方向に回転させ、チルト用アクチュエータ120は、算出された駆動量に基づいて撮像装置100をチルト方向に回転させる。
【0079】
このようにして、交差点名表示板SHを撮像画像の像高の大きい領域Sで撮像することによって、図12に示すように、撮像画像P7の中心部分に交差点名表示板SHが拡大されて表示され、運転者は容易に視認することができるようになる。
【0080】
なお、本実施形態では、案内標識の一例としての交差点名表示板SHを認識する場合について説明したが、本発明は特にこれに限定されず、例えば、規制標識、指示標識、警戒標識、禁止標識、指導標識及び他の案内標識等の各種道路標識を認識してもよい。
【0081】
次に、上述の撮像装置を自律搬送車に適用した場合について説明する。従来、走行路に設けられたレールや磁気シート等に沿って自走する自律搬送車が知られている。レールや磁気シートを用いた自律搬送車は、レイアウト変更に手間がかかるという問題を有していた。そこで、自律搬送車に中心窩レンズを用いた撮像装置を設け、撮像装置は、中心窩レンズによって走行路に設けられた白線表示等の誘導ラインを認識することで、自律搬送車を自走させる。
【0082】
図13は、本発明に係る撮像装置を適用した自律搬送車の外観を示す概略図である。自律搬送車200は、その前方に2つの撮像装置100を備える。2つの撮像装置100は、所定の輻輳角を有して設けられている。また、自律搬送車200が走行する走行路Rには、断続的に白線表示Hが設けられている。撮像装置100は、広範囲に撮像することが可能な中心窩レンズによって前方の白線表示Hを撮像するので、断続的に設けられた白線表示Hを見逃すことなく認識することができ、自律搬送車を精度よく誘導することができる。また、一般的に、連続して設けられた誘導マーカよりも、断続的に設けられた誘導マーカのほうが、ライン変更が簡単であるため、工場内において、断続的な誘導マーカ(この場合、白線表示H)を使用することによって、生産ラインのライン変更に対して、より柔軟に対応することができる。さらに、2つの撮像装置100は、所定の輻輳角を有して設けられているので、三角測量方法を用いることによって誘導マーカまでの距離を算出することができ、立体視を行うことができる。つまり、自律搬送車200は、立体視を行うことで、走行路Rの前方に存在する障害物を検出することができ、障害物を検出することによって、障害物を回避することができ、より高度な誘導制御を行うことができる。
【0083】
なお、本実施形態では、自律搬送車200に2つの撮像装置100を設けているが、本発明は特にこれに限定されず、撮像装置100を1つだけ設けてもよい。この場合、部品点数を削減することができ、部品にかかるコストを削減することができる。
【0084】
また、本実施形態では、走行路Rに白線表示Hを断続的に設けているが、本発明は特にこれに限定されず、走行路Rに白線表示Hを連続的に設けてもよい。
【0085】
また、2足歩行を行うことによって移動する2足歩行型移動ロボットに撮像装置を適用することができる。すなわち、撮像装置に設けられた中心窩レンズは、人間の目の機能を模したものであるので、本撮像装置を2足歩行型移動ロボットに適用することによって、より人間に近い動作を実現することができ、立体視を含めたロボットの自律誘導に広く適用することができる。
【0086】
また、本実施形態では、白線表示を用いて車線及び誘導マーカを認識しているが、本発明は特にこれに限定されず、白色以外の他の色の車線にも適用可能である。すなわち、移動体が走行する走行路において車線及び誘導マーカを認識することが可能であれば、車線及び誘導マーカがいかなる色であってもよい。
【0087】
さらに、本実施形態では、結像部1は、移動体の前方の光像を撮像センサ2の撮像面に結像させているが、本発明は特にこれに限定されず、移動体の後方の光像を撮像センサ2の撮像面に結像させてもよい。
【0088】
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
【0089】
(1)複数の画素が2次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像センサと、
撮像された画像の中心部分で像高が大きく、周辺部分で中心部分よりも像高が小さくなるように移動体の移動方向の光像を前記撮像面に結像する結像部と、
前記撮像センサによって得られる画像の像高が大きい中心部分で前記移動体の走行する走行路の状態を認識する認識部とを備えることを特徴とする撮像装置。
【0090】
(2)前記移動体の走行する走行路の状態は、車両の走行する走行路に設けられた車線であり、前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車線を認識することを特徴とする上記(1)記載の撮像装置。
【0091】
この構成によれば、移動体の走行する走行路の状態は、車両の走行する走行路に設けられた車線であり、認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で車線が認識される。
【0092】
(3)前記移動体の走行する走行路の状態は、車両の走行する走行路に設けられた道路標識であり、前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記道路標識を認識することを特徴とする上記(1)記載の撮像装置。
【0093】
この構成によれば、移動体の走行する走行路の状態は、車両の走行する走行路に設けられた道路標識であり、認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で道路標識が認識される。
【0094】
(4)前記移動体の走行する走行路の状態は、車両の走行する走行路に設けられた複数の車線であり、前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記複数の車線を認識することで、複数の車線のうちの隣り合う2つの車線で挟まれる複数の走行レーンのうちの現在走行中の走行レーンを認識することを特徴とする上記(1)記載の撮像装置。
【0095】
この構成によれば、移動体の走行する走行路の状態は、車両の走行する走行路に設けられた複数の車線であり、認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で複数の車線が認識され、複数の車線のうちの隣り合う2つの車線で挟まれる複数の走行レーンのうちの現在走行中の走行レーンが認識される。
【0096】
(5)前記移動体は、道路を走行する車両であり、前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車両の走行する道路の車線を認識する車線認識部と、前記車両の走行状態を検出する車両状態検出部と、前記車線認識部によって認識された車線と、前記車両状態検出部によって検出された車両の走行状態とに基づいて、前記車両が危険な状態にあるか否かを判断する危険判断部とを備え、前記危険判断部によって前記車両が危険な状態にあると判断された場合、前記車両の運動を制御する車両運動制御部をさらに備えることを特徴とする上記(1)記載の撮像装置。
【0097】
この構成によれば、移動体は、道路を走行する車両であり、車線認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で車両の走行する道路の車線が認識され、車両状態検出部によって、車両の走行状態が検出され、危険判断部によって、車線認識部によって認識された車線と、車両状態検出部によって検出された車両の走行状態とに基づいて、車両が危険な状態にあるか否かが判断され、車両運動制御部によって、危険判断部によって車両が危険な状態にあると判断された場合、車両の運動が制御される。
【0098】
(6)前記移動体は、道路を走行する車両であり、前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車両の走行する道路の車線の曲率を認識する車線認識部と、前記車両の速度を検出する車両速度検出部と、前記車線認識部によって認識された車線の曲率と、前記車両速度検出部によって検出された車両の速度とに基づいて、前記車両が前記車線を曲がれるか否かを判断する危険判断部とを備え、前記危険判断部によって前記車両が前記車線を曲がれないと判断された場合、前記車両の運転者に対して危険な状態にあることを報知する報知部をさらに備えることを特徴とする請求項1又は2記載の撮像装置。
【0099】
この構成によれば、移動体は、道路を走行する車両であり、車線認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で車両の走行する道路の車線の曲率が認識され、車両速度検出部によって、車両の速度が検出され、危険判断部によって、車線認識部によって認識された車線の曲率と、車両速度検出部によって検出された車両の速度とに基づいて、車両が車線を曲がれるか否かが判断され、報知部によって、危険判断部によって車両が車線を曲がれないと判断された場合、車両の運転者に対して危険な状態にあることが報知される。
【0100】
(7)前記移動体は、道路を走行する車両であり、前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車両の走行する道路の車線の曲率を認識する車線認識部と、前記車両の速度を検出する車両速度検出部と、前記車線認識部によって認識された車線の曲率と、前記車両速度検出部によって検出された車両の速度とに基づいて、前記車両が前記車線を曲がれるか否かを判断する危険判断部とを備え、前記危険判断部によって前記車両が前記車線を曲がれないと判断された場合、前記車両を減速させる車両運動制御部をさらに備えることを特徴とする上記(1)記載の撮像装置。
【0101】
この構成によれば、移動体は、道路を走行する車両であり、車線認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で車両の走行する道路の車線の曲率が認識され、車両速度検出部によって、車両の速度が検出され、危険判断部によって、車線認識部によって認識された車線の曲率と、車両速度検出部によって検出された車両の速度とに基づいて、車両が車線を曲がれるか否かが判断され、車両運動制御部によって、危険判断部によって車両が車線を曲がれないと判断された場合、車両が減速される。
【0102】
【発明の効果】
請求項1に記載の発明によれば、撮像された画像の中心部分で像高が大きく、周辺部分で中心部分よりも像高が小さくなるように移動体の移動方向の光像が撮像面に結像され、撮像センサによって得られる画像の像高が大きい中心部分で移動体の走行する走行路の状態が認識されるので、広い視野を確保するとともに、遠方の走行路の状態を正確に認識することができる。
【0103】
請求項2に記載の発明によれば、駆動部によって、撮像センサ及び結像部のうちのいずれか一方が光軸に対して垂直な方向に相対的にずらされ、撮像センサによって撮像された画像の像高が大きい部分が中心部分からずらされるので、撮像画像における像高の大きい領域を移動させることができ、不要な情報を表示することなく、画像データを有効に利用することができる。
【0104】
請求項3に記載の発明によれば、車両の運転者は安全に車両を走行させることができ、万が一、車両が危険な状態、つまり、事故を起こす可能性がある状態になったとしても、未然にこれを防ぐことができる。
【0105】
請求項4に記載の発明によれば、車線認識部によって、撮像センサによって得られる画像の像高が大きい中心部分で車両の走行する車線が認識され、車両運動制御部によって、車線認識部によって認識された車線が、撮像センサによって得られる画像の像高が大きい中心部分で常に認識されるように車両の運動が制御されるので、車両の自律誘導を行うことができる。
【0106】
請求項5に記載の発明によれば、撮像センサによって得られる画像の像高が小さい周辺部分で誘導マーカが認識された場合、撮像装置をパン方向及びチルト方向に駆動することで、像高が大きい中心部分で誘導マーカを認識することができるので、高い精度で誘導マーカを認識することができる。
【図面の簡単な説明】
【図1】 第1の実施形態における撮像装置の構成を示すブロック図である。
【図2】 中心窩レンズのレンズ特性を表す図である。
【図3】 図1に示す第1の実施形態における撮像装置の動作の一例を示すフローチャートである。
【図4】 単焦点広角レンズを用いて車両の前方の様子を撮像した場合における撮像画像の一例を示す図である。
【図5】 中心窩レンズを用いて車両の前方の様子を撮像した場合における撮像画像の一例を示す図である。
【図6】 撮像センサの位置を結像部の光軸に対して下方にずらした場合における撮像画像の一例を示す図である。
【図7】 複数の走行車線が撮像された場合における撮像画像の一例を示す図である。
【図8】 中心窩レンズを用いて走行路の白線表示を撮像した場合における撮像画像の一例を示す図である。
【図9】 パン方向及びチルト方向に駆動する撮像装置の外観を示す概略図である。
【図10】 撮像装置のパン・チルト機構に関する主な構成を示すブロック図である。
【図11】 撮像センサによって撮像された画像の周辺部分に道路標識が存在する場合における撮像画像の一例を示す図である。
【図12】 撮像センサによって撮像された画像の中央部分に道路標識が存在する場合における撮像画像の一例を示す図である。
【図13】 本発明に係る撮像装置を適用した自律搬送車の外観を示す概略図である。
【符号の説明】
1 結像部
2 撮像センサ
3 撮像センサ駆動部
4 A/D変換部
5 第1の画像メモリ
6 車線認識部
7 車両状態センサ
8 車両状態判断部
9 危険判断部
10 警報装置
11 車両運動制御装置
12 スイッチ
13 画像処理部
14 第2の画像メモリ
15 画像表示装置
Claims (5)
- 複数の画素が2次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像センサと、
撮像された画像の中心部分で像高が大きく、周辺部分で中心部分よりも像高が小さくなるように移動体の移動方向の光像を前記撮像面に結像する結像部と、
前記撮像センサによって得られる画像の像高が大きい中心部分で前記移動体の走行する走行路の状態を認識する認識部とを備えることを特徴とする撮像装置。 - 前記撮像センサ及び前記結像部のうちのいずれか一方を光軸に対して垂直な方向に相対的にずらす駆動部をさらに備え、
前記撮像センサによって撮像された画像の像高が大きい部分を中心部分からずらすことを特徴とする請求項1記載の撮像装置。 - 前記移動体は、道路を走行する車両であり、
前記認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車両の走行する道路の車線を認識する車線認識部と、
前記車両の走行状態を検出する車両状態検出部と、
前記車線認識部によって認識された車線と、前記車両状態検出部によって検出された車両の走行状態とに基づいて、前記車両が危険な状態にあるか否かを判断する危険判断部とを備え、
前記危険判断部によって前記車両が危険な状態にあると判断された場合、前記車両の運転者に対して危険な状態にあることを報知する報知部をさらに備えることを特徴とする請求項1又は2記載の撮像装置。 - 前記車線認識部は、前記撮像センサによって得られる画像の像高が大きい中心部分で前記車両の走行する車線を認識し、
前記車線認識部によって認識された車線が、前記撮像センサによって得られる画像の像高が大きい中心部分で常に認識されるように前記車両の運動を制御する車両運動制御部をさらに備えることを特徴とする請求項3記載の撮像装置。 - 前記撮像装置のパン方向への駆動量を算出するパン用駆動量算出部と、
前記パン用駆動量算出部によって算出された駆動量に基づいて前記撮像装置をパン方向に駆動するパン用駆動部と、
前記撮像装置のチルト方向への駆動量を算出するチルト用駆動量算出部と、
前記チルト用駆動量算出部によって算出された駆動量に基づいて前記撮像装置をチルト方向に駆動するチルト用駆動部とをさらに備え、
前記認識部は、前記撮像センサによって得られる画像の像高が小さい周辺部分において、移動体の走行する走行路に設けられた誘導マーカの位置を認識し、
前記パン用駆動量算出部は、前記認識部によって認識された前記誘導マーカの位置を、前記撮像センサによって得られる画像の像高が大きい中心部分に移動させるためのパン方向への駆動量を算出し、
前記チルト用駆動量算出部は、前記認識部によって認識された前記誘導マーカの位置を、前記撮像センサによって得られる画像の像高が大きい中心部分に移動させるためのチルト方向への駆動量を算出することを特徴とする請求項1〜4のいずれかに記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003082155A JP4062145B2 (ja) | 2003-03-25 | 2003-03-25 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003082155A JP4062145B2 (ja) | 2003-03-25 | 2003-03-25 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004289738A JP2004289738A (ja) | 2004-10-14 |
JP4062145B2 true JP4062145B2 (ja) | 2008-03-19 |
Family
ID=33295518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003082155A Expired - Fee Related JP4062145B2 (ja) | 2003-03-25 | 2003-03-25 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4062145B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1813477B1 (en) * | 2004-10-29 | 2011-04-20 | Panasonic Corporation | Entertainment system |
JP4566822B2 (ja) * | 2005-05-24 | 2010-10-20 | 本田技研工業株式会社 | 車両用画像表示装置 |
WO2007032427A1 (ja) * | 2005-09-16 | 2007-03-22 | Pioneer Corporation | 運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体 |
FR2896219B1 (fr) * | 2006-01-19 | 2008-02-22 | Valeo Vision Sa | Procede de reglage de l'orientation d'une camera installee dans un vehicule et systeme de mise en oeuvre de ce procede |
JP5229726B2 (ja) * | 2008-08-20 | 2013-07-03 | 国立大学法人東京工業大学 | 遠距離視標探査カメラシステム |
JP2011095321A (ja) * | 2009-10-27 | 2011-05-12 | Toshiba Alpine Automotive Technology Corp | 車両用画像表示装置 |
JP5046310B1 (ja) * | 2011-04-01 | 2012-10-10 | 日本輸送機株式会社 | 無人車両および無人搬送システム |
JP5966123B2 (ja) * | 2012-04-19 | 2016-08-10 | 株式会社ユピテル | ドライブレコーダおよびプログラム |
DE102014215372A1 (de) * | 2014-08-05 | 2016-02-11 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem |
WO2018030319A1 (ja) * | 2016-08-12 | 2018-02-15 | パナソニックIpマネジメント株式会社 | 測距システム、および、移動体システム |
EP3547678B1 (en) * | 2017-12-19 | 2022-07-20 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device, imaging system, and display system |
-
2003
- 2003-03-25 JP JP2003082155A patent/JP4062145B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004289738A (ja) | 2004-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7538795B2 (en) | Monitor device for moving body | |
KR101544524B1 (ko) | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 | |
EP2863181B1 (en) | Intersection navigation system, method, and program | |
US7366595B1 (en) | Vehicle drive assist system | |
CN102257533B (zh) | 接近物体检测*** | |
JP4062145B2 (ja) | 撮像装置 | |
US8477191B2 (en) | On-vehicle image pickup apparatus | |
JP2005222425A (ja) | 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体 | |
JP2013008070A (ja) | 標識認識装置及び標識認識方法 | |
JP2008092459A (ja) | 周辺監視装置 | |
JP3980304B2 (ja) | 駐車支援装置 | |
JP3405378B2 (ja) | 車両周囲情報表示装置 | |
JP2018007038A (ja) | 電子機器、自動車、撮像装置および画像記録装置 | |
JP2005038225A (ja) | 車線追従装置 | |
JP2012153256A (ja) | 画像処理装置 | |
JP4755501B2 (ja) | 車線検出装置および車線逸脱警報装置 | |
JP2008114691A (ja) | 車両周辺監視装置および車両周辺監視映像表示方法 | |
JP4677820B2 (ja) | 予測進路表示装置および予測進路表示方法 | |
JP3960146B2 (ja) | 画像認識装置 | |
JP2009265802A (ja) | 車両視界支援装置 | |
JP6573218B2 (ja) | 車両用画像表示装置及び設定方法 | |
JP2007299047A (ja) | 運転支援装置 | |
JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
JP2005343417A (ja) | 駐車アシスト装置 | |
JP4445370B2 (ja) | 車両用周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050325 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071217 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |