JP4685562B2

JP4685562B2 - 移動体撮像装置

Info

Publication number: JP4685562B2
Application number: JP2005265646A
Authority: JP
Inventors: 敏郎衣笠; 幸夫麻生; 寛武長
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2005-09-13
Filing date: 2005-09-13
Publication date: 2011-05-18
Anticipated expiration: 2025-09-13
Also published as: JP2007081695A; EP1763229A3; US7612798B2; EP1763229B1; EP1763229A2; US20070058048A1

Description

本発明は、撮像素子を用いた撮影装置に係り、特に、移動体に設置して移動体の周囲もしくは移動体内を映像でモニタリングすることができるようにした移動体撮影装置に関する。

撮像素子や信号処理技術の進展により、撮像装置の小型化や高性能化が進み、撮像装置を自動車などの移動体に設置して、撮像した映像をこの移動体の操縦者が見ることができるようにした移動体撮影装置が製品化されている。そのような移動体撮影装置においては、操縦者が撮像装置を手動で制御することは困難なため、操縦者に負担をかけることなく、撮影装置が自動的に制御することが望ましい。

その一従来例として、撮影装置の撮影方向を有名な建築物などに自動的に合わせるようにした技術が提案されている（例えば、特許文献１参照）。
特開平８−２９７７３６号公報

ところで、上記のような移動体撮影装置としては、なるべく操縦者の視認性を高めるためには、複数の撮像部を移動体に取り付け、色々な方向での映像を操縦者がモニタリングできるようにすることが望ましい。

本発明はかかる要望に鑑みてなされたものであって、その目的は、複数個の撮像部でモニタリングすることができるようにして、しかも、映像の認識性を高めることができるようにした移動体撮像装置を提供するにある。

上記目的を達成するために、本発明は、撮像素子と、該撮像素子の出力信号から映像信号を生成する信号処理部と、該撮像素子と該信号処理部とを制御する撮像制御部を少なくとも有する撮像部を複数個具備し、さらに、該複数の撮像部を制御するシステム制御部と、該複数の撮像部から出力される映像信号を表示もしくは記録する表示・記録部とを備え、移動体に搭載される移動体撮像装置であって、該複数の撮像部は、互いに異なる方向を撮像するように該移動体に配置されて、移動する該移動体の周囲状況を撮像しており、該システム制御部が、該移動体の位置情報や該移動体が移動している範囲を含む地図情報に基づいて、該移動体の移動に伴う該複数の撮像部の動作の制御を必要とする周囲状況の変化を推定すると、該複数の撮像部の動作を該周囲状況の変化に応じて互いに時差を持たせて制御することを特徴とするものである。

また、周囲状況の変化はトンネルによるものであって、システム制御部が行なう制御の対象が、複数の撮像部の露光量であることを特徴とするものである。

また、周囲状況の変化はトンネルによるものであって、システム制御部が行なう制御の対象が、撮像部の露光量制御時定数であることを特徴とするものである。

また、周囲状況の変化はトンネルによるものであって、システム制御部が行なう制御の対象が、撮像部のフォーカスであることを特徴とするものである。

また、周囲状況の変化はトンネルによるものであって、システム制御部が行なう制御の対象が、撮像部のホワイトバランスであることを特徴とするものである。

また、周囲状況の変化は道路のカーブによるものであって、システム制御部が行なう制御の対象が、撮像部の光軸であることを特徴とするものである。

また、周囲状況の変化は道路のカーブによるものであって、システム制御部が行なう制御の対象が、撮像部の画角であることを特徴とするものである。

本発明によると、移動体の現状の周囲状況に対して、次に生じると予測される周囲状況の変化が複数の撮像部に対して時系列的に及ぼす影響に対応して、夫々の撮像部を適正に制御することができるので、移動体の操縦者による映像の視認性が向上する。

以下、本発明を実施形態を図面を用いて説明する。

図１は本発明による移動体撮影装置の第１の実施形態を示す構成例図であって、１，２，……，ｎは撮像部、１１，２１，……，ｎ１は撮像素子、１２，２２，……，ｎ２は信号処理部、１３，２３，……，ｎ３は撮像制御部、１００はこの実施形態の移動体撮像装置、１０１は表示・記録部、１０２はシステム制御部、１０３は地図情報記憶部、１０４は位置検出部、１０５は移動体である。

同図において、複数の撮像部１，２，……，ｎや表示・記録部１０１、システム制御部１０２、地図情報記憶部１０３、位置検出部１０４が１つの移動体撮像装置１００を構成しており、この移動体撮像装置１００が移動体１０５に搭載されている。なお、地図情報記憶部１０３や位置検出部１０４は、移動体撮像装置１００に内蔵されてもよいし、内蔵されずに、通信で地図情報やこの移動体１０５の位置情報を外部から取得するようにしてもよい。このため、ここでは、地図情報記憶部１０３と位置検出部１０４とを破線枠で囲んでいる。

撮像部１，２，……ｎは夫々、撮像素子１１，２１，……，ｎ１と信号処理部１２，２２，……，ｎ２と撮像制御部１３，２３，……，ｎ３などによって構成されており、撮像素子１１，２１，……，ｎ１は夫々、移動体１０５の内部も含む異なる方向を撮像するように、移動体１０５に配置されている。

夫々の撮像素子１１，２１，……，ｎ１では、光学レンズを通して結像された光学像が光電変換されて電気信号に変換され、かかる電気信号が夫々の信号処理部１２，２２，……，ｎ２で処理されて映像信号が生成され、表示・記録部１０１に供給されて映像が表示される。移動体１０５の操縦者は、表示・記録部１０１に表示される各撮像部１，２，……，ｎの映像を見て、移動体１０５の周囲状況や移動体１０５の内部状況を確認することができる。なお、表示・記録部１０１では、各撮像部１，２，……，ｎからの映像信号を記録することもできる。

撮像部１，２，……，ｎの撮像制御部１３，２３，……，ｎ３は夫々、撮像素子１，２，……，ｎの動作（例えば、露光量やフォーカス，撮像する光軸や画角など）を制御し、また、信号処理部１２，２２，……，ｎ２の動作（例えば、ホワイトバランスなど）を制御する。システム制御部１０２は、地図情報記憶部１０３からの地図情報や位置検出部１０４からの位置情報などに基づいて、撮像制御部１３，２３，……，ｎ３が所定の制御をするように、制御指令を発する。

図２は図１におけるシステム制御部１０２の制御アルゴリズムの一具体例を示すフローチャートである。

この具体例は、移動体１０５がトンネル内に進行する場合の各撮像素子１１，１２，……，ｎ１の露光量を制御する場合を例とするものであるが、ここでは、撮像素子１１が移動体１０５の進行方向前方向を撮像し、撮像素子２１が後ろ方向を撮像しているものとする。また、システム制御部１０２は、常時撮像部１，２，……，ｎからの映像信号のレベルを、所定の基準レベルと比較するなどして、監視している。

図２において、システム制御部１０２は、位置検出部１０４から移動体１０５の現在位置を表わす位置情報を読み取り、また、この位置情報を基に、地図情報記憶部１０３から移動体１０５の現在位置を含む領域の地図情報を読み取り（ステップＳ１００）、これら位置情報と地図情報とに基づいて、常時次に起こる移動体１０５の周囲の状況を予測する（ステップＳ１０１）。かかるステップＳ１００，Ｓ１０１の動作は常時繰り返し行なわれている（ステップＳ１０２）。

そして、移動体１０５の進行方向前方にトンネルがあることが予測され（これは、例えば、地図上での現在位置とトンネルの位置とから予測される）、トンネルの手前に達してすぐにこのトンネルに入ることが推定されるときには（例えば、地図上でこの移動体１０５とトンネルとの間の距離が予め決められて所定の距離に達したことが検出されたとき、このように推定される）（ステップＳ１０２）、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発し、電子シャッタ速度や絞り量などにより、撮像素子１１の露光量を所定に増加させる（ステップＳ１０３）。図３（ａ）はこのときの状態を示す。なお、矢印は移動体１０５の進行方向を示す。

かかる状態で移動体１０５が移動してトンネル内に進行していくが、これとともに、撮像部１からの映像信号のレベルが低下していく。システム制御部１０２は、撮像部１からの映像信号のレベルを所定の基準レベルと比較し、この映像信号のレベルが予め決められた所定範囲に入るまでは、そのままの状態を維持する。この映像信号のレベルがこの予め決められた所定範囲に入ると（ステップＳ１０４）、システム制御部１０２は撮像部２の撮像制御部２３に制御指令を発し、撮像素子２１の露光量を所定に増加させる（ステップＳ１０５）。図３（ｂ）はこのときの状態を示す。

ここで、ステップＳ１０４で判定される所定範囲は、移動体１０５がトンネルに入る前での映像信号のレベル範囲であり、これにより、トンネル内でも、トンネルに入る前での映像信号のレベルと同程度のレベルの映像信号が得られることになる。

また、ステップＳ１０４の判定で、映像信号のレベルを用いる（内部測光）代わりに、撮像部１に移動体１０５の前方を測光する外部測光用センサを設け、この外部測光用センサの計測出力レベルが予め決められた所定範囲内になったか否かを判定するようにしてもよい。この場合には、移動体１０５がトンネル内に進入していくとともに、周囲が暗くなっていってこの外部測光用センサの計測出力レベルが減少し、これとともに、撮像素子１１では、電子シャッタ速度や絞り量が制御されて露光量が増加する方向に動作する。周囲の暗さが変わらない状態となると、外部測光用センサの計測出力レベルはほぼ一定の状態となるが、このような状態となるときの計測出力レベルの範囲を上記の予め決められた所定範囲とする。

なお、図３（ｃ）に示すように、移動体１０５がトンネルから出るときも同様であり、その出口に所定の距離近づくと、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発し、撮像素子１１の露光量をトンネルに入る前に露光量に戻す。そして、移動体１０５の進行とともに、撮像部１からの映像信号のレベルが増加していくが、この映像信号がトンネルに入る前のレベルに戻って上記の所定のレベル範囲Ｌ内に入ると、システム制御部１０２は後部の撮像部２の撮像制御部２３に制御指令を発し、撮像素子２１の露光量をトンネルに入る前の露光量に戻す。図３（ｄ）はこの状態を示す。この撮像部２からの映像信号のレベルも、移動体１０５がトンネルから出て走行し続けるとともに、トンネルに入る前の映像信号のレベルに戻る。

かかる具体例によると、トンネルに入る手前で、まず、前部に設けられた撮像部１で撮像素子１１の露光量を増加させ、しかるべき時差を設けて、後部に設けられた撮像部２で撮像素子２１の露光量を増加させるので、トンネルを通過する際に生じる映像の急激な照度変化を吸収でき、移動体１０５の前方撮像による映像と後方撮像による映像とがレベル変動の少ない映像として表示されることになり、操縦者の表示される映像に対する視認性を高めることができる。

なお、撮像方向を移動体１０５の進行方向に垂直な方向（左右方向）とする撮像部も備えているときには、これら撮像部について、前方向を撮像する撮像部１または後ろ方向を撮像する撮像部２と同時に、同様の露光量変化をさせるようにすればよい。

図４は図１におけるシステム制御部１０２の制御アルゴリズムの他の具体例を示すフローチャートである。この具体例は、移動体１０５がトンネル内に進行する場合の各撮像素子１１，１２，……，ｎ１の露光量制御時定数を制御する場合を例とするものである。

一般に、撮像素子１１，１２，……，ｎ１の露光量制御時定数は、撮像する対象物（被写体）のわずかな変化（例えば、木漏れ日のゆらぎ）に追従しないように、あまり高速にならないような一定量の露光量制御時定数が設定される。移動体１０５が通常の環境の中を移動する場合には、視認性の面から、露光量制御時定数を一定量に設定しておくことが好ましいが、トンネルなどを通過するように、照度変化が大きい急変する場合には、露光量がこれに追従することができず、表示される映像に、いわゆる黒つぶれや白とびが生じた状態が相当期間続くことになり、視認性が著しく低下する。この実施形態は、これを防止するものである。

なお、ここでも、撮像素子１１が移動体１０５の進行方向前方向を撮像し、撮像素子２１が後ろ方向を撮像しているものとする。また、システム制御部１０２は、常時撮像部１，２，……，ｎからの映像信号のレベルを、所定の基準レベルと比較するなどして、監視している。

図４において、システム制御部１０２は、位置検出部１０４から移動体１０５の現在位置を表わす位置情報を読み取り、また、この位置情報を基に、地図情報記憶部１０３から移動体１０５の現在位置を含む領域の地図情報を読み取り（ステップＳ２００）、これら位置情報と地図情報とに基づいて、常時次に起こる移動体１０５の周囲の状況を予測する（ステップＳ２０１）。かかるステップＳ２００，Ｓ２０１の動作は常時繰り返し行なわれている（ステップＳ２０２）。

そして、図２に示す具体例と同様、移動体１０５の進行方向前方にトンネルがあることが予測され、図３（ａ）に示すように、トンネルの手前に達してすぐにこのトンネルに入ることが推定されるときには（ステップＳ２０２）、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発し、撮像素子１１の露光量制御時定数を小さくする（ステップＳ２０３）。

かかる状態で移動体１０５がトンネル内に入るとともに、周囲が急激に暗くなるが、撮像素子１１の露光量制御時定数が小さく設定されているため、この周囲の明るさの変化に応じてこの撮像素子１１の光学系の開口径が急速に大きくなり、入射光量の急激な低下を抑える。しかし、かかる動作によって入射光量が多少変動するが、この入射光量が安定化して撮像部１からの映像信号のレベルが予め決められた所定範囲に入ると（ステップＳ２０４）、システム制御部１０２は撮像部２の撮像制御部２３に制御指令を発し、撮像素子２１の露光量制御時定数を小さくする（ステップＳ２０５）。これにより、移動体１０５の後部もトンネル内に入って撮像素子２１の視野内が急激に暗くなっても、撮像素子２１の露光量制御時定数が小さく設定されているため、この明るさの変化に応じてこの撮像素子２１の光学系の開口径が急速に大きくなり、入射光量の急激な低下を抑える。

このように、撮像素子１１，２１の露光量制御時定数を小さく設定した状態でトンネル内を移動体１０５が移動していき、トンネルの出口側では、同様の順序で、撮像素子１１，２１の露光量制御時定数を元に戻すのであるが、また、ステップＳ２０４の処理動作後、撮像素子２１の入射光量が安定化して撮像部２からの映像信号のレベルが予め決められた所定範囲に入ると、システム制御部１０２は撮像部１，２の撮像制御部１３，２３に制御指令を発し、撮像素子１１，２１の露光量制御時定数をトンネルに入る前の状態に戻すようにしてもよい。この場合には、トンネルの出口側でも、撮像素子１１，２１の露光量制御時定数を小さくし、撮像部１，２の映像信号のレベルが予め決められた所定範囲に入ると、これらの露光量制御時定数を元に戻す。

移動体１０５がトンネルから出る場合も、同様の制御が行なわれる。

このようにして、この具体例では、周囲環境で大きな照度変化が生じる場合でも、露光量制御時定数を小さくして、撮像素子の入射光量の減少を早めて補正するように動作するものであるから、周囲の明るさが急変する際の黒つぶれや白とびの時間を短縮することができる。従って、移動体１０５の前方の映像と後方の映像とのレベル変動が少なく、操縦者の映像に対する視認性を高めることができる。

システム制御部１０２の制御アルゴリズムのさらに他の具体例として、撮像部１，２，……，ｎの撮像素子１１，２１，……，ｎ１の露光量や露光量制御時定数を制御する代わりに、撮像部１，２，……，ｎの信号処理部１２，２２，……，ｎ２のホワイトバランス制御をホールドする。トンネル内のように、色温度が自然光と大きく異なる場合には、ホワイトバランスをとらずに、照明光の色がそのまま見えた方が操縦者の映像に対する視認性は良い。先の具体例と同様、移動体１０５がトンネルを通過したときには、ホワイトバランスのホールドを解除して、信号処理部１２，２２，……，ｎ２のホワイトバランス制御を再開させる。

システム制御部１０２の制御アルゴリズムのさらに他の具体例として、撮像部１，２，……，ｎの撮像素子１１，２１，……，ｎ１の露光量や露光量制御時定数を制御する代わりに、撮像素子１１，２１，……，ｎ１のフォーカス制御をホールドする。一般に、フォーカス合焦検出は、トンネルを通過するような照度が大きく急変する場合、誤検出が生じ易い。この具体例では、フォーカス制御を停止することにより、表示される映像のボケをなくし、操縦者の視認性を良くするものである。先の具体例と同様、移動体１０５がトンネルを通過したときには、撮像素子１１，２１，……，ｎ１のフォーカス制御を再開させる。

図５は本発明による移動体撮影装置の第２の実施形態を示す構成図であって、１０６は車速センサ、１０７はタイマであり、図１に対応する部分には同一符号を付けて重複する説明を省略する。

同図において、移動体撮像装置１００には、車速センサ１０６とタイマ１０７とが設けられており、システム制御部１０２は、撮像部１，２，……，ｎを制御するに際し、これら車速センサ１０６からの車速情報とタイマ１０７からの時間情報も利用する。

これ以外の構成は、図１に示す第１の実施形態と同様である。

図６は図５におけるシステム制御部１０２の制御アルゴリズムのさらに他の具体例を示すフローチャートである。

この具体例も、図３に示すように、移動体１０５がトンネル内に進行する場合の各撮像素子１１，１２，……，ｎ１の露光量を制御する場合を例とするものである。

図６において、システム制御部１０２は、位置検出部１０４から移動体１０５の現在位置を表わす位置情報を読み取り、また、この位置情報を基に、地図情報記憶部１０３から移動体１０５の現在位置を含む領域の地図情報を読み取り（ステップＳ３００）、これら位置情報と地図情報とに基づいて、常時次に起こる移動体１０５の周囲の状況を予測する（ステップＳ３０１）。トンネルなどによる周囲状況の変化が予測されない場合には、ステップＳ３００，Ｓ３０１の動作が繰り返される（ステップＳ３０２）。また、システム制御部１０２はタイマ１０７からの時間情報を読み込んでいる。

図２に示す制御アルゴリズムと同様、移動体１０５の進行方向前方にトンネルがあって、これによる次に起こる周囲状況の変化が予測されると（ステップＳ３０２）、車速センサ１０６からの速度情報と撮像素子１１，２１間の進行方向の距離とを用いて、次に起こる移動体１０５の周囲の状況の変化が撮像部１，２に影響を及ぼす時間差ΔＴを予測する（ステップＳ３０３）。

そして、図３（ａ）に示すように、トンネルの手前に達してすぐにこのトンネルに入ることが推定されるときには（ステップＳ３０４）、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発し、撮像素子１１の露光量を所定に増加させる（ステップＳ３０５）。これとともに、システム制御部１０２は、タイマ１０７をリセットし、このリセットされた時点からのタイマ１０７の時間情報を読み込んで、撮像部１の撮像制御部１３に制御指令を発してからの（即ち、撮像素子１１の露光量を所定に増加させてからの）時間経過を監視する。

かかる状態で移動体１０５が移動してトンネル内に進行していくが、撮像部１の撮像制御部１３に制御指令を発してから現在の車速から予測される上記の時間差トＴが経過したことをタイマ１０７からの時間情報によって判断すると（ステップＳ３０６）、システム制御部１０２は撮像部２の撮像制御部２３に制御指令を発し、撮像素子２１の露光量を所定に増加させる（ステップＳ３０７）。

図３（ｃ）に示すように、移動体１０５がトンネルから出るときも同様であり、その出口に所定の距離近づくと、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発し、撮像素子１１の露光量をトンネルに入る前に露光量に戻す。そして、移動体１０５の進行とともに図３（ｄ）に示す状態となり、現在の車速から予測される上記の時間差ΔＴが経過したことをタイマ１０７からの時間情報によって判断すると、システム制御部１０２は、システム制御部１０２は撮像部２の撮像制御部２３に制御指令を発し、撮像素子２１の露光量をトンネルに入る前の露光量に戻す。

かかる具体例によると、移動体１０５がトンネルに入る際や出る際での照度変化が撮像部１と撮像部２でどの程度の時間差で影響を及ぼすかを推定し、その影響を吸収できるようなシーケンスで撮像部１と撮像部２の露光量を増加させるので、トンネルを通過する際に生じる照度変化による影響を吸収できて、移動体１０５の前方の映像と後方の映像とがレベル変動の少ない映像となり、操縦者の表示される映像に対する視認性を高めることができる。

なお、移動体１０５が自動車である場合には、その基準走行速度として、例えば、時速６０ｋｍと決めておき、この基準走行速度に対する上記の時間差ΔＴを決めるようにしてもよい。通常の走行状態でトンネルを通過する場合には、走行速度に多少の違いがあっても、各別問題とはならない。この場合には、勿論タイマ１０７は不要となる。

また、図６に示す制御アルゴリズムは、撮像素子１１，２１，……，ｎ１の露光量の制御を例とするものであるが、上記第１の実施形態と同様、露光量時定数やホワイトバランス，フォーカスの制御を行なうものであっても、同様である。

図７に本発明による移動体撮影装置の第３の実施形態を示す構成図であって、１０８は進行方向検出部であり、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。

同図において、移動体撮像装置１００には、移動体１０５の進行方向を常時検出する進行方向検出部１０８が設けられており、システム制御部１０２は、この進行方向検出部１０８からの移動体１０５の進行方向を示す進行方向情報を用いて移動体１０５の進行方向を常時監視し、また、撮像部１，２，……，ｎを制御するに際し、この進行方向検出部１０８からの進行方向情報も利用する。

図８は図７におけるシステム制御部１０２の制御アルゴリズムの一具体例を示すフローチャートである。

この具体例は、移動体１０５がカーブを通過する際に、この移動体１０５の前後の路上の映像を操縦者が見ることができるようにするために、各撮像部１，２，……，ｎの光軸（即ち、撮像素子１１，１２，……，ｎ１の撮像方向）を制御する場合を例とするものである。ここでも、撮像部１が移動体１０５の進行方向前方向を撮像し、撮像部２が後ろ方向を撮像しているものとする。

図９は移動体１０５がカーブを曲がるときの撮像部１，２の撮像状況を示すものであって、光軸１は撮像部１の光軸、光軸２は撮像部２の光軸である。

図８において、システム制御部１０２は、位置検出部１０４から移動体１０５の現在位置を表わす位置情報を読み取り、また、この位置情報を基に、地図情報記憶部１０３から移動体１０５の現在位置を含む領域の地図情報を読み取り（ステップＳ４００）、これら位置情報と地図情報とに基づいて、常時次に起こる移動体１０５の周囲の状況を予測する（ステップＳ４０１）。かかるステップＳ４００，Ｓ４０１の動作は常時繰り返し行なわれる。図９（ａ）は移動体１０５が直線部を走行している状態を示すものである（状況１）。かかる状況１では、撮像部１の光軸１や撮像部２の光軸２は、移動体１０５の走行方向に平行に設定されている。

そして、移動体１０５の進行方向前方にカーブがあると予測され、図９（ｂ）に示すように、カーブの手前に達してすぐにこのカーブに入ること及びカーブする方向（これは、上記の地図情報から検知することができる）が推定されるときには（状況２）、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発する。これにより、この撮像制御部１３は、撮像部１の光軸１（撮像素子１１の撮像方向）をこのカーブの曲がり方向に傾ける（ステップＳ４０２：状況２）。

移動体１０５は、カーブに入り、このカーブに沿って走行するが、システム制御部１０２は、進行方向検出部１０８からの進行方向情報を所定値と比較しており、この進行方向情報による移動体１０５の進行方向の変化角度がこの所定値以上となったとき、移動体１０５が、図９（ｃ）に示すように、このカーブに入り始めたと判定し、撮像部２の撮像制御部２３に制御指令を発する。この撮像制御部２３は、カーブに沿って走行し始めた移動体１０５に対し、撮像方向がカーブに入る前の道路に沿うように、撮像部２の光軸２（即ち、撮像素子２１の撮像方向）を変化させる（ステップＳ４０５：状況３）。

なお、撮像部１，２の光軸１，２は、移動体１０５がカーブを曲がり切ったときに、光軸１，２を元の方向、即ち、移動体の走行方向に平行な方向に戻すようにしてもよいし、また、進行方向情報が変化する毎にシステム制御部１０２から発せられる制御指令により、光軸１，２の方向をこの進行方向情報に応じて変化させ、移動体１０５がカーブを曲がりきると、カーブに入る前の元に方向に戻すようにしてもよい。

また、移動体１０５の前部に設けられている撮像部１の光軸１は、カーブの曲がり方向に傾けられるものであって、図９に示すように、カーブが右方向に曲がっている場合には、直線部を走行しているときよりも右方向に傾けられ、カーブが左方向に曲がっている場合には、同じく左方向に傾けられる。

さらに、進行方向検出部１０８として、例えば、周知の角速度センサを用い、この角速度センサの出力を積分することにより、移動体１０５の進行方向の角度変化が進行方向情報として得ることができる。あるいはまた、移動体１０５が自動車の場合、ハンドルの回転角を検出し、これを進行方向情報としてもよい。

以上、この制御アルゴリズムの具体例によると、図９に示すように、カーブに入る手前（状況１）では、移動体１０５の前後の映像を撮像部１，２で夫々撮像しており、カーブに入るとき（状況２）には、まず、前方の撮像部１の光軸１を変化させ、しかるべき時差を設けて後方の撮像部２の光軸２を変化させる（状況３）ので、カーブを通過する際、前後の路上の映像を見ることができ、操縦者の路上の視認性を高めることができる。

図１０は本発明による移動体撮影装置の第４の実施形態を示す構成図であって、１０９は車速センサ、１１０は時刻センサであり、図７に対応する部分には同一符号を付けて重複する説明を省略する。

同図において、移動体撮像装置１００には、移動体１０５の進行方向を常時検出して進行情報として出力する進行方向検出部１０８と、移動体１０５の走行速度を常時検出して車速情報として出力する車速センサ１０９と、時刻情報を出力する時刻センサ（いわゆる、時計）１１０とが設けられており、システム制御部１０２は、この進行方向検出部１０８からの進行方向情報を用いて移動体１０５の進行方向を常時監視し、車速センサ１０９からの速度情報を用いて移動体１０５の走行速度を常時監視し、時刻センサ１１０からの時刻情報を用いて常時現時点の時刻を監視している。また、撮像部１，２，……，ｎを制御するに際し、これら進行方向検出部１０８からの進行方向情報や車速センサ１０９からの速度情報，時刻センサ１１０からの時刻情報も利用する。

これ以外の構成は、図７に示す第３の実施形態と同様である。

図１１は図１０におけるシステム制御部１０２の制御アルゴリズムの一具体例を示すフローチャートである。

この具体例は、移動体１０５がカーブを通過する際に、この移動体１０５の前後の路上の映像を操縦者が見ることができるようにするために、各撮像部１，２，……，ｎの光軸（即ち、撮像素子１１，１２，……，ｎ１の撮像方向）を制御する場合を例とするものであるが、設定した時刻に応じて、移動体１０５の進行方向前方向を撮像する撮像部１の光軸１と後ろ方向を撮像している撮像部２の光軸２とを変化させるものである。

図１１において、システム制御部１０２は、位置検出部１０４から移動体１０５の現在位置を表わす位置情報を読み取り、また、この位置情報を基に、地図情報記憶部１０３から移動体１０５の現在位置を含む領域の地図情報を読み取り（ステップＳ５００）、これら位置情報と地図情報とに基づいて、常時次に起こる移動体１０５の周囲の状況を予測する（ステップＳ５０１：）。移動体１０５が直線部を走行している図９（ａ）に示す状態では、かかるステップＳ５００，Ｓ５０１の動作が繰り返し行なわれている（ステップＳ５０２）。

かかる状況から、システム制御部１０２は、地図情報から進行方向前方にカーブがあることを検出すると（ステップＳ５０２）、このカーブまでの距離や車速センサ１０９からの速度情報，時刻センサ１１０からの時刻情報などを用いて、次に起こる周囲状況の変化が撮像部１に影響を及ぼす時刻（即ち、図９（ｂ）に示すように、移動体１０５がカーブの手前に達して前方の道路の方向と光軸１の方向とにずれが生ずる時刻）ｔ１と、撮像部２に影響を及ぼす時刻（即ち、図９（ｃ）に示すように、移動体１０５がカーブを曲がり始めて後方の道路の方向と光軸２の方向とにずれが生ずる時刻）ｔ２とを求める（ステップＳ５０３：状況１）。

そして、移動体１０５が走行し続け、時刻センサ１１０からの時刻情報により、現時点が時刻ｔ１であることが検知されると（ステップＳ５０４）、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発する。これにより、この撮像制御部１３は、撮像部１の光軸１（撮像素子１１の撮像方向）をこのカーブの曲がり方向に傾ける（ステップＳ５０５：状況２）。

移動体１０５は、カーブに入り、このカーブに沿って走行するが、時刻センサ１１０からの時刻情報により、現時点が時刻ｔ２であることが検知されると（ステップＳ５０６）、システム制御部１０２は、撮像部２の撮像制御部２３に制御指令を発する。これにより、この撮像制御部２３は、カーブに沿って走行し始めた移動体１０５に対し、撮像方向がカーブに入る前の道路に沿うように、撮像部２の光軸２（即ち、撮像素子２１の撮像方向）を変化させる（ステップＳ５０７：状況３）。

なお、撮像部１，２の光軸１，２は、先の第３の実施形態と同様、移動体１０５がカーブを曲がり切ったときに、光軸１，２を元の方向、即ち、移動体の走行方向に平行な方向に戻すようにしてもよいし、また、進行方向情報が変化する毎にシステム制御部１０２から発せられる制御指令により、光軸１，２の方向をこの進行方向情報に応じて変化させ、移動体１０５がカーブを曲がりきると、カーブに入る前の元に方向に戻すようにしてもよい。

以上、この制御アルゴリズムの具体例によると、カーブに入ることによる移動体１０５の進行方向の変化が撮像部１と撮像部２にどのようなシーケンスで影響を及ぼすかを推定し、その進行方向の変化に対応した光軸調整をシーケンシャルに行なうので、カーブを通過する際の前後の路上の映像を見ることができ、操縦者の路上の視認性を高めることができる。

図１２は本発明による移動体撮像装置の第５の実施形態における制御アルゴリズムの一具体例を示すフローチャートである。

この具体例は、カーブで撮像部の画角（視野角）を変化させるものである。なお、この第５の実施形態は、図７に示す第３の実施形態と同様の構成をなすものである。

図１３は図１２での移動体１０５がカーブを曲がるときの撮像部１，２の撮像状況を示す図であって、この第５の実施形態では、撮像部１が移動体１０５の右側を撮像し、撮像部２が移動体１０５の左側を撮像するように設置されている。ここで、画角１は撮像部１の撮像素子１１の画角、画角２は撮像部２の撮像素子２１の画角である。

次に、図７及び図１３を参照して、図１２に示す制御アルゴリズムを説明する。

システム制御部１０２は、位置検出部１０４から移動体１０５の現在位置を表わす位置情報を読み取り、また、この位置情報を基に、地図情報記憶部１０３から移動体１０５の現在位置を含む領域の地図情報を読み取り（ステップＳ６００）、これら位置情報と地図情報とに基づいて、常時次に起こる移動体１０５の周囲の状況を予測する（ステップＳ６０１）。かかるステップＳ６００，Ｓ６０１の動作は常時繰り返し行なわれる。図１３（ａ）は移動体１０５が直線部を走行している状態を示すものである（状況４）。かかる状況４では、撮像部１は、その画角１は移動体１０５の通常の広さに設定されて、移動体１０５の右側を撮像しており、撮像部２も、その画角２が撮像部１と同じ広さに設定されて、移動体１０５の左側を撮像している。

そして、移動体１０５の進行方向前方にカーブがあると予測され、図１３（ｂ）に示すように、右カーブの手前に達してすぐにこのカーブに入ること及びカーブする方向（これは、上記の地図情報から検知することができる）が推定されるときには（ステップＳ６０２）、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発する。これにより、この撮像制御部１３は、撮像部１の画角１を広げてこのカーブの前方側も撮像できるようにする。（ステップＳ６０３：状況５）。

移動体１０５は、カーブに入り、このカーブに沿って走行するが、システム制御部１０２は、進行方向検出部１０８からの進行方向情報を所定値と比較しており、この進行方向情報による移動体１０５の進行方向の変化角度がこの所定値以上となったとき、移動体１０５が、図１３（ｃ）に示すように、このカーブに入り始めたと判定し（ステップＳ６０４）、撮像部２の撮像制御部２３に制御指令を発する。これにより、この撮像制御部２３は、撮像部２の画角２を広げてカーブの左前方も撮像できるようにする（ステップＳ６０５：状況６）。

なお、撮像部１，２の画角１，２は、移動体１０５がカーブを曲がり切ったときに、カーブに入る前の元の状態に戻すようにしてもよいし、また、進行方向情報が変化する毎にシステム制御部１０２から発せられる制御指令により、画角１，２をこの進行方向情報に応じて変化させ、移動体１０５がカーブを曲がりきると、カーブに入る前の元に状態に戻すようにしてもよい。

また、図１３に示すように、カーブが右方向に曲がっている（即ち、右折する）場合には、移動体１０５の右側を撮像する撮像部１の画角１が、まず、広げられ、移動体１０５の走行とともに、次に、移動体１０５の左側を撮像する撮像部２の画角２が広げられるのであるが、カーブが左方向に曲がっている（即ち、左折する）場合には、移動体１０５の左側を撮像する撮像部２の画角２が、まず、広げられ、移動体１０５の走行とともに、次に、移動体１０５の右側を撮像する撮像部１の画角１が広げられるのである。

以上、この制御アルゴリズムの具体例によると、図１３に示すように、カーブに入る手前（状況４）では、撮像部１，２により、操縦者の死角になり易い移動体１０５の斜め後方を夫々撮像しており、カーブに入るときには（状況５）、移動体１０５が曲がる方向側の撮像部（撮像部１または２）の画角を変化（拡大）させ、しかる後、しかるべき時差を設けて、もう一方側の撮像部（撮像部２または１）の画角を変化（拡大）させるものであるから、移動体１０５が曲がろうとする方向の映像が広い画角で得られ、曲がっているときには、両側の映像が広い画角で得られることになり、カーブでの操縦者の視認性を高めることができる。

図１４は本発明による移動体撮像装置の第６の実施形態における制御アルゴリズムの一具体例を示すフローチャートである。

この具体例は、カーブで撮像部の画角（視野角）を変化させるものである。なお、この第６の実施形態は、図１０に示す第４の実施形態と同様の構成をなすものである。

次に、図１０及び図１３を参照して、図１４に示す制御アルゴリズムを説明する。

システム制御部１０２は、位置検出部１０４から移動体１０５の現在位置を表わす位置情報を読み取り、また、この位置情報を基に、地図情報記憶部１０３から移動体１０５の現在位置を含む領域の地図情報を読み取り（ステップＳ７００）、これら位置情報と地図情報とに基づいて、常時次に起こる移動体１０５の周囲の状況を予測する（ステップＳ７０１）。移動体１０５が直線部を走行している図１３（ａ）に示す状態では、かかるステップＳ７００，Ｓ７０１の動作が繰り返される（ステップＳ７０２）。

かかる状況から、システム制御部１０２は、地図情報から進行方向前方にカーブがあることを検出すると（ステップＳ７０２）、このカーブまでの距離や車速センサ１０９からの速度情報，時刻センサ１１０からの時刻情報などを用いて、次に起こる周囲状況の変化によって撮像部１の画角１の変化（拡大）が求められる時刻（即ち、図１３（ｂ）に示すように、移動体１０５がカーブの手前に達して前方の道路が曲がる方向（この場合、右方向）の映像の画角を広くすることが必要となる時刻）ｔ１と、撮像部２の画角２の変化（拡大）が求められる時刻（即ち、図１３（ｃ）に示すように、移動体１０５がカーブを曲がり始めて、曲がる方向とは逆側の映像の画角を広くすることが必要となる時刻）ｔ２とを求める（ステップＳ７０３：状況４）。

そして、移動体１０５が走行し続け、時刻センサ１１０からの時刻情報により、現時点が時刻ｔ１であることが検知されると（ステップＳ７０４）、システム制御部１０２は撮像部１の撮像制御部１３に制御指令を発する。これにより、この撮像制御部１３は、図１３（ｂ）に示すように、撮像部１の画角１を変化させて（広げて）このカーブの前方側も撮像できるようにする（ステップＳ７０５：状況５）。

移動体１０５は、カーブに入り、このカーブに沿って走行するが、時刻センサ１１０からの時刻情報により、現時点が時刻ｔ２であることが検知されると（ステップＳ７０６）、システム制御部１０２は、撮像部２の撮像制御部２３に制御指令を発する。これにより、この撮像制御部２３は、図１３（ｃ）に示すように、撮像部２の画角２を広げてカーブの左前方も撮像できるようにする（ステップＳ７０７：状況６）。

以上、この制御アルゴリズムの具体例によると、図１２に示す制御アルゴリズムの具体例と同様、カーブに入ることによる移動体１０５の進行方向の変化が撮像部１と撮像部２にどのようなシーケンスで画角を変化させればよいかを推定し、その進行方向の変化に対応した画角調整をシーケンシャルに行なうので、カーブを通過する際の左右の映像を良好に見ることができ、操縦者のカーブでの視認性を高めることができる。

なお、図７，図１０に示す構成の実施形態出は、進行方向検出部１０８としては、操縦者による方向指示器の操作を検出するものであってもよい。

本発明による移動体撮影装置の第１の実施形態を示す構成図である。図１におけるシステム制御部の制御アルゴリズムの一具体例を示すフローチャートである。図１に示す移動体のトンネルの通過状態を模式的に示す図である。図１におけるシステム制御部の制御アルゴリズムの他の具体例を示すフローチャートである。本発明による移動体撮影装置の第２の実施形態を示す構成図である。図５におけるシステム制御部の制御アルゴリズムの一具体例を示すフローチャートである。本発明による移動体撮影装置の第３の実施形態を示す構成図である。図７におけるシステム制御部の制御アルゴリズムの一具体例を示すフローチャートである。図７に示す移動体がカーブを曲がるときの撮像素子１１，１２の状況を示す図である。本発明による移動体撮影装置の第４の実施形態を示す構成図である。図１０におけるシステム制御部の制御アルゴリズムの一具体例を示すフローチャートである。本発明による移動体撮像装置の第５の実施形態における制御アルゴリズムの一具体例を示すフローチャートである。図１２での移動体がカーブを曲がるときの撮像部の撮像状況を示す図である。本発明による移動体撮像装置の第６の実施形態における制御アルゴリズムの一具体例を示すフローチャートである。

符号の説明

１，２，……，ｎ撮像部
１１，２１，……，ｎ１撮像素子
１２，２２，……，ｎ２信号処理部
１３，２３，……，ｎ３撮像制御部
１００移動体撮像装置
１０１表示・記録部
１０２システム制御部
１０３地図情報記憶部
１０４位置検出部
１０５移動体
１０６車速センサ
１０７タイマ
１０８進行方向検出部
１０９車速センサ
１１０時刻検出部

Claims

撮像素子と、該撮像素子の出力信号から映像信号を生成する信号処理部と、該撮像素子と該信号処理部とを制御する撮像制御部を少なくとも有する撮像部を複数個具備し、さらに、該複数の撮像部を制御するシステム制御部と、該複数の撮像部から出力される映像信号を表示もしくは記録する表示・記録部とを備え、移動体に搭載される移動体撮像装置であって、
該複数の撮像部は、互いに異なる方向を撮像するように該移動体に配置されて、移動する該移動体の周囲状況を撮像しており、
該システム制御部が、該移動体の位置情報や該移動体が移動している範囲を含む地図情報に基づいて、該移動体の移動に伴う該複数の撮像部の動作の制御を必要とする周囲状況の変化を推定すると、該複数の撮像部の動作を該周囲状況の変化に応じて互いに時差を持たせて制御することを特徴とする移動体撮像装置。
請求項１において、
前記周囲状況の変化はトンネルによるものであって、前記システム制御部が行なう前記制御の対象が、前記撮像部の露光量であることを特徴とする移動体撮像装置。
請求項１において、
前記周囲状況の変化はトンネルによるものであって、前記システム制御部が行なう制御の対象が、前記撮像部の露光量制御時定数であることを特徴とする移動体撮像装置。
請求項１において、
前記周囲状況の変化はトンネルによるものであって、前記システム制御部が行なう前記制御の対象が、前記撮像部のフォーカスであることを特徴とする移動体撮像装置。
請求項１において、
前記周囲状況の変化はトンネルによるものであって、前記システム制御部が行なう前記制御の対象が、前記撮像部のホワイトバランスであることを特徴とする移動体撮像装置。
請求項１において、
前記周囲状況の変化は道路のカーブによるものであって、前記システム制御部が行なう前記制御の対象が、前記撮像部の光軸であることを特徴とする移動体撮像装置。
請求項１において、
前記周囲状況の変化は道路のカーブによるものであって、前記システム制御部が行なう前記制御の対象が、前記撮像部の画角であることを特徴とする移動体撮像装置。