JP2008244649A - 動き検出撮像装置 - Google Patents

Abstract

【課題】固体撮像素子から読出した複数の個眼像を比較することによって被写体の動きを検出する動き検出撮像装置において、高速で動く被写体の動きを高い精度で検出する。
【解決手段】動き検出撮像装置は、被写体からの光を集光する光学レンズＬ１、Ｌ２と、該光学レンズＬ１、Ｌ２によってそれぞれ形成される個眼像Ａ、Ｂを撮像する固体撮像素子６と、個眼像Ａ、Ｂの読出し手段と、個眼像Ａ、Ｂを比較することによって被写体の動きを検出するマイクロプロセッサとを備える。読出し手段は、固体撮像素子６の画素を、Ｘ方向に沿った読出しラインｘ１、ｘ２・・ごとにＹ方向に沿って読出すローリングシャッタ装置７であり、光学レンズＬ１、Ｌ２は、個眼像Ｂが個眼像Ａに対してＹ方向に沿って所定量ｄだけずれるように配置される。所定量ｄは、個眼像Ａと個眼像ＢがＹ方向における重なり部分を生じるように個眼像ＡのＹ方向における長さＤの１／３に設定される。
【選択図】図３

Description

本発明は、動き検出撮像装置に関し、特に、高速で動く被写体の動きを検出することができる動き検出撮像装置に関する。

被写体の動きを、固体撮像素子によって撮像された複数枚の画像を比較することによって検出する撮像装置が知られている（例えば、特許文献１参照）。画像を比較するためには画像を記憶する大容量のメモリが必要であるが、特許文献１に記載された撮像装置は、固体撮像素子に露光するタイミング及び蓄積された電荷の読出しタイミングを画素の行ごとに独立して行うことによって、画像を記憶することなく画像の変化を検出することができる。

一方、固体撮像素子を用いる電子スチルカメラにおいて、固体撮像素子の撮像画面を複数に分割し、マスク領域や液晶シャッタを制御することによって複数に分割された小画面が順に露光して、連写の時間間隔を短縮化したり、速写の速度を向上するように図ったものが知られている（例えば、特許文献２、及び特許文献３参照）。

また、一般的に固体撮像素子を有する複眼撮像装置（例えば、特許文献４参照）や、デジタルカメラ（例えば、特許文献５参照）が知られている。
特開２００２−１７１４４５号公報 特開平１１−３５２５５０号公報 特開２０００−３０７９２３号公報 特開２００４−３２１７２号公報 特開２００５−１２４０３号公報

ところで、被写体の動きを検出するために必要な異なった時刻に撮像された複数の画像は、特許文献４に記載のような固体撮像素子を有する複眼撮像装置において、複数の画像情報（個眼像）の読出しタイミングをずらすことによって取得することができる。ところが、複眼撮像装置の個眼像を形成するための光学レンズは、行と列に沿ってアレイ状に整列して配置されるために固体撮像素子上に形成される個眼像も行と列に沿ってアレイ状に整列して配置され、個眼像同士の読出しタイミングのずれは、１つの個眼像の読出しに要する時間に等しいか、それ以上の時間になる。

一方、ロボットの動作制御のための衝突回避用センサや、自動車等の比較的高速で動く車両の動きを検出するための監視装置や、製造ラインにおけるベルトコンベヤによって搬送される物品の動きを監視するための装置等において、比較的早い動きをする被写体の動きを高い精度で検出することができる動き検出撮像装置の実現が望まれており、そのような動き検出撮像装置を、複眼撮像装置をベースにして構成する場合には、上記のように、個眼像同士の読出しタイミングのずれが大きくなってしまうことから、撮像時刻の間隔が比較的開いた複数の画像しか得られず、高速で動く被写体の動きを正確に検出することが困難であった。

なお、複眼撮像装置における複数の個眼像の読出しタイミングのずれ時間は、フレームレートを早くすることによって短縮することができるが、フレームレートの高速化には固体撮像素子の画素情報の出力速度上の制約や、読出した画像情報の処理速度における制約等があることから、フレームレートを早くすることによって複数の個眼像の読出しタイミングの時間間隔を短縮化することには限界がある。

そこで、本発明は、複数の光学レンズによって固体撮像素子上に形成された複数の個眼像を読出して比較することによって被写体の動きを検出する動き検出撮像装置において、個眼像同士の読出しタイミングのずれが微小になるようにして、簡単な構造でありながら、高速で動く被写体の動きを高い精度で検出することができる動き検出撮像装置を提供することを目的とする。

上記目的を達成するために、請求項１の発明は、被写体からの光を異なった視点において集光する複数の光学レンズと、前記複数の光学レンズによってそれぞれ形成される複数の個眼像を撮像する固体撮像素子と、前記固体撮像素子から前記個眼像を読出す読出し手段と、前記読出し手段によって前記固体撮像素子から読出された複数の個眼像間の比較に基づいて被写体の動きを検出する動き検出手段と、を備える動き検出撮像装置において、前記読出し手段が、前記固体撮像素子上の各個眼像を一方向（以下、読出し方向という）に沿って読出すローリングシャッタであり、前記光学レンズは、該光学レンズによって形成される複数の個眼像の固体撮像素子上における位置が、前記読出し方向に沿って所定量ずれるように配置され、前記所定のずれ量は、前記光学レンズによって形成される個眼像同士が、前記読出し方向において重なり部分を生ずる量であることを特徴とする。

請求項２の発明は、請求項１の発明において、前記光学レンズが、前記読出し方向に交差する方向において３個配置され、各光学レンズによって形成される個眼像同士が、それぞれ前記読出し方向において重なり部分を有することを特徴とする。

請求項３の発明は、請求項１、又は請求項２の発明において、前記動き検出手段が、複数の個眼像間の比較に基づいて、個眼像を構成する画素ごとに速度ベクトルを抽出して被写体の動きを検出することを特徴とする。

請求項４の発明は、請求項２の発明において、前記動き検出手段が、複数の個眼像間の比較に基づいて、個眼像を構成する画素ごとに速度ベクトルを抽出し、抽出した複数の速度ベクトルに基づいて被写体の加速度を検出することを特徴とする。

請求項１の発明によれば、固体撮像素子上に形成される複数の個眼像の読出し方向における位置が、個眼像同士が重なり部分を生じる範囲内でずらされるので、個眼像同士の読出しタイミングのずれを容易に微小にでき、簡単な構造でありながら、高速で動く被写体の動きを高い精度で検出することができる。

請求項２の発明によれば、動き検出手段が比較する個眼像が、読出しタイミングがそれぞれずれた３個になるので、高速で動く被写体の動きについてより詳細な情報を取得することができる。

請求項３の発明によれば、速度ベクトルによって被写体の動きを検出するので、被写体の動きをより具体的に検出することができ、速度ベクトルを表示装置に表示することによってユーザが被写体の動きを容易に認識できる。

請求項４の発明によれば、加速度を検出するので、被写体の動きの予測を行うことができる。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。本実施形態の動き検出撮像装置１は、図１に示されるように、被写体からの光を集光して２つの個眼像を撮像する複眼撮像装置２と、複眼撮像装置２によって撮像された複数の個眼像を比較して被写体の動きを検出する、マイクロプロセッサ３（動き検出手段）を主要デバイスとする電子回路４と、を備える。

複眼撮像装置２は、図２及び図３に示されるように、同一平面上に配置され被写体からの光を異なった視点においてそれぞれ集光する光軸ｌ１、ｌ２が平行な２つの光学レンズＬ１、Ｌ２を有する光学レンズアレイ５と、光学レンズアレイ５に対して平行に配置され各光学レンズＬ１、Ｌ２によってそれぞれ形成される２つの個眼像Ａ、Ｂを撮像する固体撮像素子６と、固体撮像素子６上に形成される２つの個眼像Ａ、Ｂを１シャッタ動作内で個眼像Ａ、Ｂの順に微小な時間差をもって読出すローリングシャッタ装置７（読出し手段）とを備えている。

光学レンズアレイ５は、図２に示されるように、レンズホルダ８によって支持され、レンズホルダ８の一面には各光学レンズＬ１、Ｌ２へ入射する光量を調整する絞り開口８ａ、８ｂが形成されている。レンズホルダ８の光学レンズアレイ５と固体撮像素子６を連結する中間部分には各光学レンズＬ１、Ｌ２から出射して固体撮像素子６へ向かう光が互いに干渉することを防止する隔壁８ｃが形成されている。

固体撮像素子６は、基板９上に形成されたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成され、図３に示されるように、Ｘ、Ｙ方向にアレイ状に配置された多数の単位画素Ｇを有し、表面に２つの個眼像Ａ、Ｂが形成される。

ローリングシャッタ装置７は、固体撮像素子６を構成する全ての単位画素Ｇに対して接続線１１がマトリクス状に接続された垂直走査回路１２と水平走査回路１３から構成され、各接続線１１を介して垂直走査回路１２と水平走査回路１３から所定のタイミングで走査パルスが出力され、該走査パルスによって、各単位画素Ｇが、図３に示されるように、Ｘ方向に沿って最初の行ｘ１が読出され、次にＹ方向に沿って２行目ｘ２が読出され、同様にして３行目ｘ３が読出され・・という順に読出し動作が行われる。ここで、Ｘ方向に沿って読出す各行を読出しラインと称し、Ｙ方向をローリングシャッタ装置７による読出し方向と称する。本実施形態では、各個眼像Ａ、ＢのＹ方向（読出し方向）に沿った長さＤは、読出しラインの３００本分に相当する。

そして、２つの光学レンズＬ１、Ｌ２は、両光学レンズＬ１、Ｌ２によって形成される２つの個眼像Ａ、Ｂの固体撮像素子６上における位置が、Ｙ方向（読出し方向）に沿って所定量ｄだけずれるようにして配置されている。本実施形態における所定量ｄは、個眼像ＡのＹ方向における長さＤの１／３（読出しラインの１００本分に相当）に設定されており、個眼像Ａと個眼像Ｂとは、互いにＹ方向において２／３ずつ重なる。所定量ｄは、長さＤの１／３に限られず他の値であってもよい。

複眼撮像装置２は、以上のように構成されており、ローリングシャッタ装置７が１シャッタ動作を行うことによって、固体撮像素子６の全ての単位画素Ｇが読出しラインｘ１、ｘ２・・ｘｎごとにＹ方向に沿って読出され、ディジタル情報として電子回路４へ出力される。

電子回路４は、装置全体を制御するマイクロプロセッサ３の他に、マイクロプロセッサ３において使用する各種設定データを記憶し、個眼像Ａ、Ｂの比較結果を一時的に記憶するメモリ１４と、複眼撮像装置２から出力される画像情報をアナログディジタル変換器１５を介して取り込み、画像のガンマ補正やホワイトバランス調整等を行って画像情報をマイクロプロセッサ３が処理可能な形式に調整する画像処理プロセッサ１６と、画像処理プロセッサ１６において使用する各種のデータテーブルを記憶し、処理中の画像データを一時記憶するメモリ１７と、を備えている。また、本実施形態では、マイクロプロセッサ３及び画像処理プロセッサ１６にパソコン等の外部装置１８と、液晶パネル等の表示装置１９が接続されている。

次に、本実施形態の動き検出撮像装置１の動作について、図４のフローチャートを参照して説明する。マイクロプロセッサ３は、複眼撮像装置２から出力されて画像処理プロセッサ１６によって種々の調整を施された画像情報を取得し（Ｓ１）、その画像情報から個眼像Ａ、Ｂを切出す（Ｓ２）。複眼撮像装置２から出力された直後の画像情報は、個眼像Ａ、Ｂ以外の領域Ｅ（図３参照）の画像情報を含むことから、マイクロプロセッサ３は、取得した画像情報から個眼像Ａ、Ｂ以外の領域Ｅの情報を削除することによって個眼像Ａ、Ｂを所定の直方形状に切出す。切出された個眼像Ａ、Ｂの例が、それぞれ図５（ａ）、（ｂ）に示される。

ここで、個眼像Ａ、Ｂは、固体撮像素子６上において、前述のとおりＹ方向における読出しライン１００本分だけずれた位置に形成されたものであるので、１本の読出しラインの読出しに要する時間がｔ秒であるとすると、読出し時間のずれは、１００ｔ秒になり、個眼像Ｂは、個眼像Ａに対して１００ｔ秒後の映像になる。例えば、ｔ＝６０μ秒である場合には、読出し時間のずれ１００ｔ＝０．０６ｍ秒になり、時速６０Ｋｍの自動車Ｍが約１０ｃｍ移動する程度の時間差になり、図５（ａ）、（ｂ）に例として示されるような個眼像Ａ、Ｂを取得することができる。また、１本の読出しラインの読出しに要する時間ｔが同一であっても、２つの個眼像Ａ、Ｂの固体撮像素子６上における位置のずれ量ｄを、１００本よりもさらに少ない量（例えば、読出しライン１本分）にすることによって、最小ｔ秒の僅かな時間差をもった２つの個眼像Ａ、Ｂを取得することができる。

次に、マイクロプロセッサ３は、個眼像Ａ、Ｂを画素ｇごとに比較し（Ｓ３）、各画素について個眼像Ａと個眼像Ｂにおける位置の相違に基づいて速度ベクトルを生成する（Ｓ４）。例えば、図５（ａ）、（ｂ）の場合には、自動車Ｍの画像部分の各画素ｇからは、図の右方へ延びる速度ベクトルが生成され、マイクロプロセッサ３は、それらの速度ベクトルを１本の速度ベクトルＶに統合して、個眼像Ａに重畳した画像（図５（ｃ）参照）を作成し、表示装置１９に表示する（Ｓ５）。

以上のように、本実施形態の動き検出撮像装置１では、固体撮像装置６上に形成される２つの個眼像Ａ、Ｂの読出し時間のずれを容易に微小時間に設定することができるので、高速で動く被写体であっても、個眼像Ａ、Ｂの差に基づいて容易に動きを検出することができる。また、被写体の動きを表す速度ベクトルＶが、被写体の画像に重畳されて表示装置１９に表示されるので、ユーザは、容易に被写体の動きとその方向を認識することができる。

なお、上記Ｓ３において、マイクロプロセッサ３は、個眼像Ａ、Ｂを画素ｇごとに比較したが、近接した複数の画素ｇを画素群として認識し、その画素群ごとに、個眼像Ａ、Ｂを比較するようにしてもよい。また、マイクロプロセッサ３が生成した速度ベクトルＶは、被写体の動きの情報としてパソコン等の外部装置１８へ出力され、外部装置１８によってさらに解析処理されてもよい。

（第２の実施形態）
次に、第２の実施形態について、図６乃至図８を参照して説明する。第２の実施形態の動き検出撮像装置１は、第１の実施形態の動き検出撮像装置１とほぼ同様の構造であり、異なるところは、図６に示されるように、複眼撮像装置２の光学レンズアレイ５を構成する光学レンズＬ１、Ｌ２、Ｌ３がＸ方向に沿って３個配置される点と、各光学レンズＬ１、Ｌ２、Ｌ３によって形成される３つの個眼像Ａ、Ｂ、Ｃに基づいて、マイクロプロセッサ３が、被写体の動きのある部分の加速度を検出する点である。

具体的には、複眼撮像装置２の各光学レンズＬ１、Ｌ２、Ｌ３は、図６に示されるように、それぞれによって形成される個眼像Ａと個眼像Ｂが、１つの個眼像のＹ方向における長さＤの１／３のずれ量ｄだけＹ方向にずれ、同様に、個眼像Ｂと個眼像Ｃが、１つの個眼像のＹ方向における長さＤの１／３のずれ量ｄだけＹ方向にずれるようにして配置されている。

次に、本実施形態の動き検出撮像装置１の動作について、図７のフローチャートを参照して説明する。マイクロプロセッサ３の動き検出手順は、Ｓ１１の画像情報の取得、Ｓ１２の個眼像の切出し、Ｓ１３の各個眼像の比較、及びＳ１４の速度ベクトルの生成までは、第１の実施形態における動き検出手順Ｓ１、Ｓ２、Ｓ３、及びＳ４とほぼ同様であり説明を省略する。但し、マイクロプロセッサ３は、Ｓ１４において、個眼像Ａと個眼像Ｂとの比較に基づいて、図８に示される速度ベクトルＶ１を生成し、個眼像Ｂと個眼像Ｃとの比較に基づいて速度ベクトルＶ２を生成する。図８は、前述の例と同様に被写体が自動車Ｍである場合の、マイクロプロセッサ３によって生成される速度ベクトルＶ１と速度ベクトルＶ２の例である。

次に、マイクロプロセッサ３は、Ｓ１５において生成した速度ベクトルＶ１、Ｖ２に基づいて加速度ベクトルＶａを生成し（Ｓ１５）、生成した加速度ベクトルＶａを個眼像Ａに重畳して表示装置１９に表示する（Ｓ１６）。図８に示される例は、加速度ベクトルＶａが自動車Ｍの前方へ向けて斜め上方へ延びており、自動車Ｍが登坂路等の上り坂に差し掛かって僅かに上方へ向けて速度を上げていこうとしていることが分かる。

以上のように、本実施形態の動き検出撮像装置１では、高速で動く被写体であっても、個眼像Ａ、Ｂ、Ｃの差に基づいて容易に動きを検出することができる上に、加速度ベクトルＶａを生成して、それを表示装置１９に表示するので、ユーザは、容易に被写体の動きの方向性、動きの変化等の具体的な事項を認識することができ、被写体の動きの予測をすることができる。

本発明の第１の実施形態に係る動き検出撮像装置の全体を示すブロック構成図。 同動き検出撮像装置における複眼撮像装置の図３のＷ−Ｗ線に沿った断面図。 同動き検出撮像装置における固体撮像素子と、その上に形成される個眼像Ａ、Ｂの平面図。 同動き検出撮像装置における動き検出手順を示すフローチャート。 （ａ）は同動き検出撮像装置において撮像された個眼像Ａの例を示す図、（ｂ）は同動き検出撮像装置において撮像された個眼像Ｂの例を示す図、（ｃ）は同動き検出撮像装置において生成された速度ベクトルの例を示す図。 本発明の第２の実施形態に係る動き検出撮像装置における固体撮像素子と、その上に形成される個眼像Ａ、Ｂ、Ｃを示す平面図。 同動き検出撮像装置における動き検出手順を示すフローチャート。 同動き検出撮像装置において生成された加速度ベクトルの例を示す図。

符号の説明

１ 動き検出撮像装置
２ 複眼撮像装置
３ マイクロプロセッサ（動き検出手段）
６ 固体撮像素子
７ ローリングシャッタ装置（読出し手段）
Ａ、Ｂ、Ｃ 個眼像
Ｌ１、Ｌ２、Ｌ３ 光学レンズ
Ｘ 読出し方向に交差する方向
Ｙ 読出し方向
Ｖ、Ｖ１、Ｖ２ 速度ベクトル
Ｖａ 加速度ベクトル
ｄ ずれ量

Claims (4)

1. 被写体からの光を異なった視点において集光する複数の光学レンズと、
   前記複数の光学レンズによってそれぞれ形成される複数の個眼像を撮像する固体撮像素子と、
   前記固体撮像素子から前記個眼像を読出す読出し手段と、
   前記読出し手段によって前記固体撮像素子から読出された複数の個眼像間の比較に基づいて被写体の動きを検出する動き検出手段と、を備える動き検出撮像装置において、
   前記読出し手段が、前記固体撮像素子上の各個眼像を一方向（以下、読出し方向という）に沿って読出すローリングシャッタであり、
   前記光学レンズは、該光学レンズによって形成される複数の個眼像の固体撮像素子上における位置が、前記読出し方向に沿って所定量ずれるように配置され、
   前記所定のずれ量は、前記光学レンズによって形成される個眼像同士が、前記読出し方向において重なり部分を生ずる量であることを特徴とする動き検出撮像装置。
2. 前記光学レンズは、前記読出し方向に交差する方向において３個配置され、各光学レンズによって形成される個眼像同士が、それぞれ前記読出し方向において重なり部分を有することを特徴とする請求項１に記載の動き検出撮像装置。
3. 前記動き検出手段は、複数の個眼像間の比較に基づいて、個眼像を構成する画素ごとに速度ベクトルを抽出して被写体の動きを検出することを特徴とする請求項１、又は請求項２に記載の動き検出撮像装置。
4. 前記動き検出手段は、複数の個眼像間の比較に基づいて、個眼像を構成する画素ごとに速度ベクトルを抽出し、抽出した複数の速度ベクトルに基づいて被写体の加速度を検出することを特徴とする請求項２に記載の動き検出撮像装置。

Images