JP6643517B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、例えば特許文献１には、撮像されたステレオ画像を間引いて記録媒体に記録する装置が開示されている。

国際公開ＷＯ２０１０／１２８６４０号公報

しかし、特許文献１に記載の技術は、高フレームレートで撮像された画像の処理については考慮されていない。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。本願は上記課題を解決するための複数の手段を含んでいるが、例えば、複数の撮像部を有する撮像装置であって、複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する撮像部であり、複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートより高い第２のフレームレートで撮像する撮像部であり、第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、を有する撮像装置により上記課題は解決される。

本発明によれば、高性能で低コストの撮像装置を提供することができる。

第１の実施例における撮像装置の構成を示す図である。 第１の実施例における、撮像タイミング信号のタイミングの一例を示す図である。 第１の実施例における撮像装置の処理フローを示す図である。 第１の実施例で撮像装置により撮像される画像の例を示す図である。 第１の実施例における、撮像タイミング信号のタイミングの別の一例を示す図である。 第２の実施例における撮像装置の構成を示す図である。 第２の実施例における、撮像タイミング信号のタイミングの一例を示す図である。 第３の実施例における撮像装置の構成を示す図である。 第４の実施例における撮像装置の構成を示す図である。 第５の実施例における撮像装置の構成を示す図である。

以下、図面を用いて本発明の実施形態を説明する。

図１は、本発明の撮像装置の一実施例の構成を示す図である。１は本実施例の撮像装置であり、例えば車両の前方に搭載され、信号や標識、障害物などを認識して運転者を支援する安全システムの一部として構成するものである。

１０１、１０２、１０３は撮像部であり、画像センサに光学レンズが装着されている。
これらの撮像部は、後述する撮像タイミング信号が入力される度に１枚の画像を撮像し、撮像した画像を出力する。

また、これらの撮像部は、ほぼ同一範囲の画角の画像を取得するように取り付けられる。さらに撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１と撮像部１０２で撮影した画像のずれ、いわゆる視差から、被写体までの距離を算出できる。

なお、図１では撮像装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１、１０２、１０３を、他の構成要素とは別の筐体にまとめて収めてもよいし、撮像部１０１と撮像部１０２を左右に離した形で同一の筐体に、撮像部１０３をさらに別の筐体に収めてもよいし（同図点線枠）、さらには撮像部１０１、１０２、１０３をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号と撮像タイミング信号は図示しない接続ケーブルで接続すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた双方向の伝送方法などがある。

さらに、撮像部１０１と撮像部１０２の画像センサをカラー画像センサとすることで、撮像した画像の色情報を取得することが可能になる。撮像部１０３については画像センサを白黒画像センサとすることで低コストになるが、カラー画像センサでもよい。また、撮像部１０３と後述の動体検出部１０６を同一の筐体に収め、動体検出結果を出力するように構成してもよい。その場合、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。

１０４は撮像タイミング信号生成部であり、生成される例えばパルス状の撮像タイミング信号を撮像部１０１、１０２、１０３に出力する。前述のように、各撮像部は、この撮像タイミング信号を１パルス入力することにより１枚の画像を撮像する。撮像タイミング信号生成部１０４は、撮像部１０１、１０２、１０３に対し、それぞれ独立した撮像タイミング信号を出力することで、各撮像部の撮像タイミングを制御することが可能になる。

１０５は距離検出部であり、撮像部１０１と撮像部１０２の画像を入力して被写体の距離を検出する。距離を検出する方法として例えば次のような方法がある。距離検出部１０５は、撮像部１０１、１０２からの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、次に水平位置を合わせるようにこれも予め計測されている補正値で補正する。補正値の計測は、撮像装置の製造工程で行われる。補正値適用前の装置毎で、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、および画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、装置毎に例えば図示しない不揮発性メモリに保存しておく。

次に視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出する。視差の算出手法としては、例えば、ブロックマッチング方式がある。距離検出部１０５は、例えば撮像部１０１の画像上から小さく切出した所定のサイズのブロック領域に対応する、撮像部１０２の画像上の同じ被写体が映っている領域を水平方向に探索する。そして撮像部１０１と撮像部１０２における一致したブロック領域の位置の差が視差となる。

これを全画像に亘って行う。一致比較の手法としては、例えば、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。距離は、撮像部１０１、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２の距離、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。

１０６は動体検出部であり、撮像部１０３の画像を入力して被写体の動きを検出する。動きを検出する方法としては、例えば次のような方法がある。動体検出部１０６は、撮像部１０３からの画像を取り込み、取り込んだ画像の時間的な変化を検出する。時間的変化の検出方法としては、例えば、これもブロックマッチング方式がある。

動体検出部１０６は、撮像部１０３の例えば複数枚の画像を順次蓄積し、ある画像を小さく切出した所定のサイズのブロック領域に対応する、次の画像上の同じ被写体が映っている領域を上下左右方向に探索する。そしてブロック領域が一致した位置がそのブロック領域の被写体が動いた方向と量になる。一致比較の手法としては、上記の距離検出と同様にブロック領域内の画素の輝度の差分の総和が小さくなった位置を求める方法などがある。

これを全画像に亘り、かつ入力される画像についえ順次処理していくことで、被写体の時間的な動きが取得できる。さらに、車両が移動している場合に、その移動に伴う背景の移動分を取り除くことで動体の検出が行われる。背景の動きの推定は、例えば、非特許文献：清原將裕、他「車両周辺監視のための移動体検出技術の開発」ＶｉＥＷビジョン技術の実利用ワークショップ（２０１１．１２．８−９ 横浜）ｐｐ．２７５−２８０に記載されている。検出結果としては、例えばブロック領域毎に動きの向きと大きさを示すベクトル量である。ただし、被写体の動きの検出方法はこれに限定するものではない。

１０７は認識部であり、距離検出部１０５と動体検出部１０６による検出結果を受け取り、画像上の座標位置を比較参照することにより動体の距離を認識する。認識部１０７は、認識結果の情報を撮像装置１の外部へ出力する。

なお、３枚の画像による認識処理が終了した後に、認識部１０７が撮像タイミング信号生成部１０４に対しその旨を出力することで、撮像タイミング信号生成部１０４は、次の撮像タイミング信号を出力するようにしてもよい。

図２は、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のパルス波形タイミングの一例を示す図である。同図中（２−１）は撮像部１０１に出力する撮像タイミング信号である。同様に（２−２）は撮像部１０２に、（２−３）は撮像部１０３にそれぞれ出力する撮像タイミング信号を示す。

例えば、（２−１）、（２−２）では、１秒当たり３０パルスの周期で同時に撮像部１０１、１０２に出力し、（２−３）では１秒当たり４８０パルスの周期で撮像部１０３に出力する。その場合、図示しないが、（２−１）（２−２）の１パルスの期間に、（２−３）は１６パルスのタイミング信号が出力されることになる。また、これらの撮像タイミング信号は同期しており、（２−１）（２−２）（２−３）の撮像タイミング信号は撮像タイミングＴ２１、Ｔ２２、Ｔ２３、Ｔ２４，Ｔ２５において同時に揃って出力し、その際には撮像部１０１、１０２、１０３は同時に撮像することになる。

すなわち、撮像部１０１と撮像部１０２で撮像した画像から距離を検出する場合に、撮像部１０３において同じ時間の画像を撮像しているので、前述の動体の距離認識を行う際の画像の比較参照を正確に行うことができる。なお、必ずしも同じ時間に撮像する必要はなく、意図的に一定の時刻ずらして撮影することも可能である。

図３は、本発明の撮像装置の一実施例の処理フローを示す図である。前述のように、撮像部１０１および１０２により、被写体の距離を検出し、撮像部１０３により動体を検出する。 まず、撮像部１０１および１０２により撮影し（Ｓ３０１：Ｓはステップを表す）、撮像した２つの画像から視差を検出する（Ｓ３０２）。次に、上述の通り検出した視差から距離を算出する（Ｓ３０３）。このＳ３０１、Ｓ３０２、Ｓ３０３の処理を図２に示した撮像タイミング（２−１）（２−２）の周期で繰り返す。

また、撮像部１０３により撮影した画像から動体を検出する。前述のように、撮像部１０３により撮影し（Ｓ３０４）、撮像した画像から被写体の動きを検出する（Ｓ３０５）。次に背景の移動分を取り除く（Ｓ３０６）。このＳ３０４、Ｓ３０５、Ｓ３０６の処理を図２の撮像タイミング（２−３）の周期で繰り返す。そして、認識部１０７において動体の距離を認識する（Ｓ３０７）。

図４は、本発明の撮像装置の一実施例で撮像される画像の例を示す図である。４０１はある時点で撮像部１０３により撮像された画像であり、撮像部１０１、１０２もほぼ同様の画像を撮影し取得している。４０２、４０３、４０４は被写体であり、ほぼ同じ距離にあるものとする。画像内の枠は撮像した画像にはなく、認識した動体を明示的に示したものである。

４０２は急な飛び出しにより撮影範囲に入ってきた歩行者を捉え動体として認識していることを示し、４０３は交通信号の青が点灯していることを動体として認識していることを示す。交通信号は商用交流電源を整流した電源を用いるため１００Ｈｚあるいは１２０Ｈｚで点滅している（いわゆるダイナミック点灯）。従って例えば１秒当たり３０枚の周期で撮影した場合、交通信号が明滅あるいは消灯しているように見えてしまう。

そこで本実施例のように、例えば１秒当たり４８０枚の周期で撮影することで、交通信号の点灯している期間を正確に捉えることが可能になる。４０４も歩行者で、被写体４０２、４０３とほぼ同じ距離にあるが、静止しているため動体としては認識していない。このように、本実施例によれば、急な飛び出し者や信号機やそれ以外のダイナミック点灯している表示器を的確にとらえることが可能になる。

本実施例によれば、２つの撮像部で被写体の距離を検出すると共に、別の撮像部で距離検出よりも高いフレームレートで動体を検出することで、素早く動体の距離を検出することが可能になり、安全性を向上できる。高いフレームレートで撮像する撮像部は距離を検出するための撮像部と独立しているので、従来の距離検出機能に追加する形で距離検出機能を制限することなく実現できる。

図５は、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のパルス波形タイミングの別の実施例を示す図である。同図中（５−１）（５−２）は撮像部１０１、１０２にそれぞれに出力する撮像タイミング信号である。（５−３）は撮像部１０３に出力する撮像タイミング信号を示す。

同図中、撮像タイミングＴ５１において、前述の急な飛び出し者を、撮像部１０３で撮影した画像から動体検出部１０６により動体として検出した場合、動体検出部１０６は撮像タイミング信号生成部１０４に対し検出した旨を通知する。撮像タイミング信号生成部１０４は、その通知を受け、撮像タイミングＴ５２において、撮像部１０１、１０２に撮像タイミング信号を出力する。

撮像タイミングＴ５２の直前の撮像タイミング信号で撮影された画像は撮像途中であるため破棄されるが、撮像タイミングＴ５２から撮像をし直すので、動体の距離を早く取得することが可能になる。また、前述の交通信号のようにダイナミック点灯している表示器を捉えた場合、動体検出部１０６において、輝度信号の変化から、点灯しているタイミングに合わせて撮像タイミング信号を出力することも可能になる。

その場合、距離検出部１０５においては、常に交通信号が点灯した状態とすることができるので、視差を検出する場合の輝度値が撮像タイミングによる影響を受けず、正確に距離を算出することが可能になる。この場合、撮像部１０１、１０２の画像センサをカラー画素センサとすることで、点灯している信号の色を正確に判別することが可能になる。

その際、撮像部１０３の画像センサは、輝度信号の変化により動体検出をするので、白黒画像センサでもよく、装置のコスト低減が図れる。

本実施例によれば、２つの撮像部で被写体の距離を検出すると共に、別の撮像部で距離検出よりも高いフレームレートで動体を検出する際、動体の状態に合わせて距離検出の動作を行うので、素早く動体の距離を検出することが可能になり、安全性を向上できる。

図６は、本発明の撮像装置の第２の実施例の構成を示す図である。同図中６０１は撮像部、６０２はフレームレート変換部である。本実施例では、撮像部として撮像部６０１と撮像部１０２の２つの撮像部を備える。撮像部６０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部６０１と撮像部１０２で撮影した画像の視差から、被写体までの距離を算出できる。また、撮像タイミング信号生成部１０４は、撮像部６０１と撮像部１０２に対し、撮像タイミング信号を出力する。

図７は、図６に示す撮像装置における、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のタイミングの一例を示す図である。同図中（７−１）は撮像部６０１に出力する撮像タイミング信号であり、（７−２）は撮像部１０２に出力する撮像タイミング信号を示す。（７−１）では、例えば１秒当たり４８０パルスの周期で同時に撮像部６０１に出力し、（７−２）では、１秒当たり３０パルスの周期で撮像部１０２に出力する。

これらの撮像タイミング信号は同期しており、（７−１）（７−２）の撮像タイミング信号は、撮像タイミングＴ７１、Ｔ７２、Ｔ７３，Ｔ７４，Ｔ７５では同時に揃って出力し、その際には撮像部６０１と１０２は同時に撮像することになる。

再び図６に戻って説明する。前述のように、撮像部６０１、撮像部１０２は、撮像タイミング信号生成部１０４から出力される撮像タイミング信号に従って撮像を行う。フレームレート変換部６０２は撮像部６０１と距離検出部１０５の間に挿入されている。フレームレート変換部６０２は、入力した画像のフレームレートを落として距離検出部１０５に出力する。フレームレートの変換は、例えば、入力された画像を間引いて出力する方法や、複数枚の画像の平均をとって出力する方法などがある。ここでは、図７の撮像タイミングＴ７１、Ｔ７２、Ｔ７３、Ｔ７４、およびＴ７５の画像を距離検出部１０５に出力し、それ以外の画像は破棄する。これにより、距離検出部１０５には、撮像部６０１、および撮像部１０２によって同じタイミングに撮影された画像が１秒当たり３０枚入力される。これ以降の動作は、第１の実施例と同じであり、距離検出部１０５において、撮像部６０１と撮像部１０２によって同じタイミングで撮像した画像の視差により被写体の距離を検出するとともに、撮像部６０１で撮像した画像を動体検出部１０６に入力し、動体検出を行う。認識部１０７は、距離検出部１０５と動体検出部１０６による検出結果を受け取り、画像上の座標位置を比較参照することにより動体の距離を認識する。

本実施例では、撮像部６０１と撮像部１０２の２つの撮像部で構成し、撮像部６０１において、高いフレームレートで撮影した画像から動体検出を行い、また、フレームレート変換部６０２において、撮像部１０２において撮影された画像のフレームレート、撮像タイミングに合わせるように、画像を間引き、距離検出部１０５に出力するので、本発明の撮像装置の第１の実施例に比べ、低コストで実現することが可能で、同様の性能の距離検出機能が得られる。また、撮像部が２つでよいので、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になり、低コスト化できる。なお、撮像部１０２についても撮像部６０１と同じ高いフレームレートで撮影し、距離検出部１０５との間にフレームレート変換部を同様に挿入してもよい。その場合、撮像部６０１と撮像部１０２は同じ性能の画像センサを採用できる。

図８は、本発明の撮像装置の第３の実施例の構成を示す図である。本実施例では、第１の実施例の撮像部１０３と動体検出部１０６を別筐体に収め、８０２で示す動体撮像部とし、残りの部分を８０１で示す視差撮像部としたものである。この場合、視差撮像部８０１に動体撮像部８０２を追加して構成することが可能になり、距離検出のみを行う装置と、距離検出に加え動体検出を行う装置を分けて提供することが容易に可能になる。また、この実施例の場合、視差撮像部８０１と動体撮像部８０２の間を、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。

図９は、本発明の撮像装置の第４の実施例の構成を示す図である。撮像装置１は、自動車などの車両に搭載されており、同図中９０１は車両制御部である。認識部１０７の出力が車両制御部９０１に入力されている。車両制御部９０１は、認識部１０７による認識結果を受け、車両の他の図示しない装置に対し制御を行う。車両の制御としては、急な飛び出し者や、赤信号や道路標識を検出したことによる、運転者への警告ランプの点灯、警告音の発生、ブレーキ制動による減速、停止制御、先行車追従時のスロットル、ブレーキ制御、その他の衝突回避や斜線維持のための舵角制御などである。これらの車両制御情報は撮像装置１から図示しない他の装置に対して、車内ネットワークを介して出力する。なお、同図では車両制御部９０１は撮像装置１とは同一筐体に収められる例を示したが、それに限るものではなく、前述のように、撮像部１０１、１０２、１０３を別筐体としてもよい。

図１０は、本発明の撮像装置のさらに別の実施例の構成を示す図である。２０１はネットワーク撮像部、２０３はネットワーク動体検出部である。２０６はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）であり、２０５は制御部である。ネットワーク撮像部２０１、ネットワーク動体検出部２０３は、ＬＡＮ２０６を介して制御部２０５と接続されている。また、２０２は画像圧縮・インタフェース部、２０４は動体検出・インタフェース部、２０７はネットワークインタフェース部、２０８は撮像タイミング情報送信部、２０９は画像伸張部、２１０は動体検出受信インタフェース部である。

画像圧縮・インタフェース部２０２は、撮像部１０１、撮像部１０２で撮影した画像を圧縮してＬＡＮ２０６に送信し、またＬＡＮ２０６から送られてくる撮像タイミング情報を受信して撮像部１０１、１０２に伝達する。画像圧縮の処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いてもよい。また、映像圧縮符号化方式を選択して切り換えてもよい。画像圧縮・インタフェース部２０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。

制御部２０５においては、ネットワークインタフェース部２０７において、圧縮画像データの受信と撮像タイミング情報の送信を、ＬＡＮ２０６を介して行う。撮像タイミング情報送信部２０８では、各撮像部１０１、１０２、１０３が撮像する撮像タイミングを示す撮像タイミング情報を送信する。本実施例においては、ネットワーク撮像部２０１、ネットワーク動体検出部２０３と制御部２０５の間で、時刻を同期させる仕組みを設けている。時刻を同期させる方法としては、例えばＩＥＥＥ１５８８に記載された方法や、ＩＥＥＥ８０２．１ＡＶＢの方式を用いることができる。そのような時刻情報を送受する方法を用いてネットワークに接続する機器間で定期的に時刻を同期させる。例えば、ネットワーク撮像部２０１における基準信号の発振周期を例えばＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）を用いて時刻情報をもとに調節する。このようにすることにより、基準信号の周期を機器間で一致させ、時刻を同期することができる。その状態で、撮像タイミング情報として、同期している時刻の絶対時間や、そこからの相対時間、時間間隔などを送信することで、撮像タイミングを合わせることが可能になる。撮像タイミング情報は、例えば電源投入後に各撮像部１０１、１０２、１０３に対し送信する。本実施例では、撮像部１０１、１０２に対しては同じ撮像タイミング情報を、撮像部１０３に対しては、撮像部１０１、１０２より高いフレームレートで撮像するような撮像タイミング情報を送信することで、前述の図２に示した撮像タイミングでの撮像が可能になる。撮像タイミング情報が相対時間や時間間隔の場合、撮像部１０１、１０２、１０３では、機器間で同期した時刻を参照しながら受信した撮像タイミング情報に従って撮像するので、撮像タイミング情報は毎回送る必要はない。

画像圧縮・インタフェース部２０２と、動体検出・インタフェース部２０４においては、受信した撮像タイミング情報をもとに、前述の実施例のパルス状の撮像タイミング信号を生成し、撮像部１０１、１０２、１０３に出力する。

制御部２０５のネットワークインタフェース部２０７で受信した圧縮画像データは、画像伸張部２０９において元の画像に伸張され、撮像部１０１で撮影された画像と撮像部１０２で撮影された画像を距離検出部１０５に出力する。

一方、ネットワーク動体検出部２０３においては、動体検出・インタフェース部２０４で受信した撮像タイミング情報をもとに撮像部１０３で撮像した画像から動体を検出する。検出の方式は、前述の実施例と同様の方式でよい。動体検出結果であるブロック毎のベクトル量を所定のフォーマットに変換してＬＡＮ２０６を介して制御部２０５に送信する。制御部２０５においては、ネットワークインタフェース部２０７で受信した動体検出結果を動体検出受信インタフェース部２１０においてブロック毎のベクトル量にフォーマットを変換する。以降の動作は最初の実施例と同様である。

本実施例によれば、ＬＡＮ２０６を介して画像や撮像タイミング情報をやり取りするので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。また、ネットワーク撮像部２０１と制御部２０５で構成される撮像装置に、ネットワーク動体検出部２０３を追加して構成することが可能になり、距離検出のみを行う装置と、距離検出に加え動体検出を行う装置を分けて提供することが容易に可能になる。また、ネットワーク動体検出部２０３と制御部２０５の間を、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。

以上のように、２つの撮像部で被写体の距離を検出すると共に、距離検出よりも高いフレームレートで動体を検出することで、素早く動体の距離を検出することが可能になり、高性能で低コストの装置を提供できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…撮像装置、１０１〜１０３…撮像部、１０４…撮像タイミング信号生成部、１０５…距離検出部、１０６…動体検出部、１０７認識部、４０１…撮影画像、４０２〜４０４…被写体、６０１…撮像部、６０２…フレームレート変換部、８０１…視差撮像部、８０２…動体撮像部、９０１…車両制御部、２０１…ネットワーク撮像部、２０２…画像圧縮・インタフェース部、２０３…ネットワーク動体検出部、２０４…動体検出・インタフェース部、２０５…制御部、２０６…ＬＡＮ、２０７…ネットワークインタフェース部、２０８…撮像タイミング情報送信部、２０９…画像伸張部、２１０…動体検出受信インタフェース部。

Claims (14)

1. 複数の撮像部を有する撮像装置であって、
   前記複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する第１の撮像部であり、
   前記複数の撮像部のうち、少なくとも１つの撮像部は、前記第１のフレームレートより高い第２のフレームレートで撮像する第２の撮像部であり、
   前記第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、
   前記複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、を有し、
   前記第１の撮像部は、単位時間当たり第１の時間間隔で第１の複数の画像を撮像し、
   前記第２の撮像部は、単位時間当たり前記第１の時間間隔よりも細かい第２の時間間隔で第２の複数の画像を撮像し、さらに、
   同期したタイミングで撮像するための撮像タイミング信号を前記複数の撮像部にそれぞれ出力する撮像タイミング信号生成部を有し、
   前記複数の撮像部は、入力する撮像タイミング信号に基づいて撮像し、
   前記同期したタイミングの直前の撮像タイミングで撮像された画像は破棄し、前記同期したタイミングで撮像を再度行う、ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   さらに、前記動体検出部と前記距離検出部の出力に基づいて前記動体との距離を認識する認識部を有することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記複数の撮像部に出力する撮像タイミング信号を制御することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記第１の撮像部に出力する撮像タイミング信号を制御することを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記複数の撮像部と、前記撮像タイミング信号生成部とが、ネットワークを介して接続され、
   前記撮像タイミング信号生成部は、前記複数の撮像部に対し、それぞれ撮像タイミング情報を送信し、
   前記複数の撮像部は、ネットワークからの前記撮像タイミング情報に基づいて、撮像することを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記撮像部および前記動体検出部と、前記撮像タイミング信号生成部および認識部とが、ネットワークを介して接続され、
   前記認識部は、前記動体検出部の検出結果、及び前記距離検出部の検出結果から前記動体の距離を認識する、ことを特徴とする撮像装置。
7. 請求項２に記載の撮像装置において、
   車両の運動を制御する車両制御部を備え、
   前記車両制御部は、前記認識部の認識結果に基づいて前記車両を制御することを特徴とする撮像装置。
8. 複数の撮像部を有する撮像装置であって、
   前記複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する撮像部であり、
   前記複数の撮像部のうち、少なくとも１つの撮像部は、前記第１のフレームレートより高い第２のフレームレートで撮像する撮像部であり、
   前記第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、
   前記複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、
   同期したタイミングで撮像するための撮像タイミング信号を前記複数の撮像部にそれぞれ出力する撮像タイミング信号生成部と、を有し、
   前記複数の撮像部は、入力する撮像タイミング信号に基づいて撮像し、
   前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記複数の撮像部に出力する撮像タイミング信号を制御し、
   前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記第１のフレームレートで撮像する撮像部に出力する撮像タイミング信号を制御し、
   前記同期したタイミングの直前の撮像タイミングで撮像された画像は破棄し、前記同期したタイミングで撮像を再度行う、ことを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   さらに、前記動体検出部と前記距離検出部の出力に基づいて前記動体との距離を認識する認識部を有することを特徴とする撮像装置。
10. 請求項８に記載の撮像装置において、
    前記複数の撮像部と、前記撮像タイミング信号生成部とが、ネットワークを介して接続され、
    前記撮像タイミング信号生成部は、前記複数の撮像部に対し、それぞれ撮像タイミング情報を送信し、
    前記複数の撮像部は、ネットワークからの前記撮像タイミング情報に基づいて、撮像することを特徴とする撮像装置。
11. 請求項８に記載の撮像装置において、
    前記撮像部および前記動体検出部と、前記撮像タイミング信号生成部および認識部とが、ネットワークを介して接続され、
    前記認識部は、前記動体検出部の検出結果、及び前記距離検出部の検出結果から前記動体の距離を認識することを特徴とする撮像装置。
12. 請求項９に記載の撮像装置において、
    車両の運動を制御する車両制御部を備え、
    前記車両制御部は、前記認識部の認識結果に基づいて前記車両を制御することを特徴とする撮像装置。
13. 請求項１に記載の撮像装置において、
    前記動体検出部は動体を検出した場合、前記撮像タイミング信号生成部へ前記動体を検出した旨を示す通知を出力し、
    前記撮像タイミング信号生成部は、前記通知に基づいて前記撮像タイミング信号を出力する、ことを特徴とする撮像装置。
14. 請求項８に記載の撮像装置において、
    前記動体検出部は動体を検出した場合、前記撮像タイミング信号生成部へ前記動体を検出した旨を示す通知を出力し、
    前記撮像タイミング信号生成部は、前記通知に基づいて前記撮像タイミング信号を出力する、ことを特徴とする撮像装置。

Images