JP2024016542A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2024016542A JP2024016542A JP2022118750A JP2022118750A JP2024016542A JP 2024016542 A JP2024016542 A JP 2024016542A JP 2022118750 A JP2022118750 A JP 2022118750A JP 2022118750 A JP2022118750 A JP 2022118750A JP 2024016542 A JP2024016542 A JP 2024016542A
- Authority
- JP
- Japan
- Prior art keywords
- video
- imaging device
- imaging
- event
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 225
- 238000012545 processing Methods 0.000 claims abstract description 222
- 238000001514 detection method Methods 0.000 claims abstract description 195
- 230000008859 change Effects 0.000 claims abstract description 30
- 238000000926 separation method Methods 0.000 claims description 38
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 13
- 238000013461 design Methods 0.000 abstract description 3
- 238000004148 unit process Methods 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 47
- 239000011521 glass Substances 0.000 description 28
- 238000010586 diagram Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】固体撮像素子の画素の設計を変更せずに、イベント検出型画素を有する撮像素子を用いて、動き検出の精度を高めることができる撮像装置を提供する。【解決手段】撮像装置は、分光器と撮像部とイベント検出型撮像部と信号処理部とを備える。分光器は、入射光を分光して第1光成分と第2光成分とに振り分ける。撮像部は、分光器からの前記第1光成分に基づく撮像を行うことによって映像データを出力する。イベント検出型撮像部は、前記分光器からの前記第2光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力する。信号処理部は、前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する。【選択図】図1
Description
本発明は、撮像装置に関する。
近年、車載用カメラや監視カメラなどにおいて、被写体の動きを高速に検出する目的で、あるいはその検出精度を高める目的で、イベント検出型カメラが用いられている。
例えば、特許文献1に記載された撮像装置は、撮像素子が持つ画素アレイ内の一部の画素をイベント検出型画素とし、残りの画素を垂直同期信号などに同期して映像データを撮像する同期式の画素としている。そして、その撮像装置は、被写体の動きが生じた場合にのみ同期式の画素に入射された光子数をカウントする。この構成により、撮像装置は、被写体の動きの検出と通常の撮像とを両立させる。
また例えば、特許文献2に記載された技術では、撮像素子の画素アレイ内にイベント検出型画素を周期的に配置することによって、通常の撮影と、被写体の動きを逐次検出する動き検出とを両立させている。
しかしながら、上記の従来技術には次のような問題点がある。即ち、特許文献1や特許文献2に記載された技術では、撮像素子の画素アレイ内の一部をイベント検出型画素としている。これによって、通常の撮影時においては、イベント検出型画素としている箇所が欠陥画素となる。このため、その画素に対応する映像データを生成するために隣接画素からの補間処理を施す必要がある。一方で、動き検出の精度を高めるためには、画素アレイ内においてより多くのイベント検出型画素を埋め込む必要がある。つまり、動き検出の精度と、通常の撮像において得られる映像の画質とが、トレードオフの関係にある。このため、動き検出の精度を確保しながら映像の画質を高めるためには、撮像素子を超多画素で構成する必要があった。
本発明は、上記のような事情を考慮して為されたものであり、垂直同期信号などの同期信号に同期して駆動される固体撮像素子(以下、「通常の固体撮像素子」)の画素の設計(画素の配置等)を変更せずに、イベント検出型画素を有する撮像素子(以下、「イベント検出型撮像素子」)を用いて、動き検出の精度を高めることができる撮像装置を提供しようとするものである。
また、本発明の副次的な課題は、撮像素子に入射する光の像面照度を減衰させることなく、イベントを検出することのできる撮像装置を提供することである。
[1]上記の課題を解決するため、本発明の一態様による撮像装置は、入射光を分光して第1光成分と第2光成分とに振り分ける分光器と、前記分光器からの前記第1光成分に基づく撮像を行うことによって映像データを出力する撮像部と、前記分光器からの前記第2光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力するイベント検出型撮像部と、前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する信号処理部と、を備える。
第1光成分および第2光成分は、特定の波長帯域の成分であってもよいし、特に波長帯域に依らずに分光されたものであってもよい。
第1光成分および第2光成分は、特定の波長帯域の成分であってもよいし、特に波長帯域に依らずに分光されたものであってもよい。
[2]また、本発明の一態様は、上記[1]の撮像装置において、前記第1光成分は可視光成分であり、前記第2光成分は赤外光成分である、というものである。
つまり、分光器は、入射光を、可視光成分と赤外光成分との少なくとも2つに分光する。なお、分光器が、可視光成分をさらに赤、緑、青のそれぞれの成分の光に分光するものであってもよい。
つまり、分光器は、入射光を、可視光成分と赤外光成分との少なくとも2つに分光する。なお、分光器が、可視光成分をさらに赤、緑、青のそれぞれの成分の光に分光するものであってもよい。
[3]また、本発明の一態様は、上記[1]または[2]の撮像装置において、前記信号処理部は、前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成する動き検出部と、前記動き検出部から渡される前記動き情報に基づいて、前記撮像部から渡される前記映像データの処理を行うことによって、前記出力映像を生成する映像出力処理部と、を含むものである。
[4]また、本発明の一態様は、上記[3]の撮像装置において、前記信号処理部は、前記映像データの過去のフレーム画像の少なくとも一部を記憶する画像記憶部、をさらに備え、前記映像出力処理部は、前記動き情報に応じて、前記撮像部から渡される前記映像データの最新フレーム画像のみを前記出力映像として生成するか、前記撮像部から渡される前記映像データの最新フレーム画像と前記画像記憶部から読み出した前記過去のフレーム画像の少なくとも一部とを混合して前記出力映像として生成するか、いずれかとする、ものである。
[5]また、本発明の一態様は、上記[3]の撮像装置において、前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、というものである。
[6]また、本発明の一態様は、上記[4]の撮像装置において、前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、というものである。
[7]また、本発明の一態様は、上記[3]から[6]までのいずれかの撮像装置において、前記撮像部からの前記映像データの読出しのタイミングを同期させるための同期信号を生成する同期信号生成部、をさらに備え、前記イベント検出型撮像部は、前記同期信号に基づいて、前記撮像部から前記映像データが読出される位置に対応する画面内の領域についてのイベントデータを出力するものであり、前記動き検出部は、当該領域の前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成するものである。
[8]また、本発明の一態様は、上記[1]または[2]の撮像装置において、前記信号処理部は、前記イベント検出型撮像部が出力した前記イベントデータに基づいて、被写体が動く方向を表す方向情報を求める動き探索処理部と、前記撮像部から渡される前記映像データにおける前記被写体の動き探索を行いながら当該映像データの符号化を行うエンコーダーと、を備え、前記エンコーダーは、前記動き探索処理部から渡される方向情報に基づいて前記動き探索の範囲を決定する、というものである。
本態様では、イベント検出型撮像部が出力したイベントデータに基づいて被写体の方向情報が得られる。これにより、エンコーダーは、この方向情報を用いて、映像を符号化する際の動きベクトルの探索の範囲を決定することができる。言い換えれば、エンコーダーは動きベクトルの探索の範囲を限定することができる。つまり、エンコーダーが必要とする計算量を削減することができる。
本態様では、イベント検出型撮像部が出力したイベントデータに基づいて被写体の方向情報が得られる。これにより、エンコーダーは、この方向情報を用いて、映像を符号化する際の動きベクトルの探索の範囲を決定することができる。言い換えれば、エンコーダーは動きベクトルの探索の範囲を限定することができる。つまり、エンコーダーが必要とする計算量を削減することができる。
[9]また、本発明の一態様は、上記[1]から[8]までのいずれかの撮像装置において、前記分光器は、前記入射光を波長帯域によって前記第1光成分と前記第2光成分とに分光する色分解プリズムである、というものである。
なお、色分解プリズムは、2板式(可視光および赤外光)のものであってもよいし、4板式(可視光の赤(R)、緑(G)、青(B)のそれぞれ、および赤外光)のものであってもよい。
なお、色分解プリズムは、2板式(可視光および赤外光)のものであってもよいし、4板式(可視光の赤(R)、緑(G)、青(B)のそれぞれ、および赤外光)のものであってもよい。
本発明によれば、通常の撮像素子を用いて映像データを取得するための撮像と、映像取得用の撮像素子とは別のイベント検出型撮像素子を用いてイベントデータを取得するための撮像とを、同時且つ同一の画角で行うことができる。
次に、本発明の複数の実施形態について、図面を参照しながら説明する。
[第1実施形態]
図1は、第1実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置1は、色分解プリズム22と、撮像素子23と、イベント検出型撮像素子24と、信号処理部31とを含んで構成される。なお、この図では、レンズ(撮像光学系)の記載を省略している。撮像装置1は、適切なレンズを有している。あるいは、撮像装置1は、適切なレンズを装着することができるように構成されている。撮像装置1は、電子回路を用いて実現される。なお、撮像装置1が実行する処理の少なくとも一部を、コンピューターおよびソフトウェアによって実現するようにしてもよい。図に示す各部の機能は、次の通りである。
図1は、第1実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置1は、色分解プリズム22と、撮像素子23と、イベント検出型撮像素子24と、信号処理部31とを含んで構成される。なお、この図では、レンズ(撮像光学系)の記載を省略している。撮像装置1は、適切なレンズを有している。あるいは、撮像装置1は、適切なレンズを装着することができるように構成されている。撮像装置1は、電子回路を用いて実現される。なお、撮像装置1が実行する処理の少なくとも一部を、コンピューターおよびソフトウェアによって実現するようにしてもよい。図に示す各部の機能は、次の通りである。
色分解プリズム22は、入射光を可視光成分と赤外光成分とに分光する。つまり、色分解プリズム22は、入射光を分光して第1光成分(本実施形態では可視光成分)と第2光成分(本実施形態では赤外光成分)とに振り分ける。つまり、本実施形態では、色分解プリズム22は、入射光を波長帯域によって第1光成分(可視光領域の成分)と第2光成分(赤外光領域の成分)とに分光する。色分解プリズム22によって分光された後、可視光成分は撮像素子23側で結像し、赤外光成分はイベント検出型撮像素子24側で結像するように構成されている。色分解プリズム22は、例えば、2板式あるいは4板式の分光プリズムを用いて実現される。なお、色分解プリズム22の代わりに、単純に入射光の成分を分解する手段を設けるようにしてもよい。
なお、分光した結果、撮像素子23(通常の固定撮像素子)側に振り向けられる光を、
便宜的に、第1光成分と呼ぶ。また、イベント検出型撮像素子24側に振り向けられる光を、第2光成分と呼ぶ。
便宜的に、第1光成分と呼ぶ。また、イベント検出型撮像素子24側に振り向けられる光を、第2光成分と呼ぶ。
撮像素子23(撮像部)は、映像信号を取得するための通常の固体撮像素子である。撮像素子23は、色分解プリズム22から出射される可視光成分を光電変換してフレーム画像を撮像する。
つまり、撮像素子23は、色分解プリズム22からの第1光成分に基づく撮像を行うことによって映像データを出力する。撮像素子23は、白黒画像あるいはカラー画像を撮像する。撮像素子23は、画素アレイを有しており、画素アレイ内の画素の画素値を表す画像信号を出力する。つまり、撮像素子23は、映像データを信号処理部31に渡す。
つまり、撮像素子23は、色分解プリズム22からの第1光成分に基づく撮像を行うことによって映像データを出力する。撮像素子23は、白黒画像あるいはカラー画像を撮像する。撮像素子23は、画素アレイを有しており、画素アレイ内の画素の画素値を表す画像信号を出力する。つまり、撮像素子23は、映像データを信号処理部31に渡す。
イベント検出型撮像素子24(イベント検出型撮像部)は、イベントドリブン(event-driven)型撮像素子、あるいはイベントベースビジョンセンサー(EVS)とも呼ばれる。イベント検出型撮像素子24は、被写体の動き(画素値の変化)を検知した際に、その動きの情報(「イベントデータ」と呼ばれる。)を出力する。イベント検出型撮像素子24は、色分解プリズム22から出射される赤外光成分に基づいて、被写体の動きを検知し、イベントデータを出力する。イベントデータは、動きを検知した画素(画素値の変化があった画素)の座標値や、その画素についての画素値変化について情報を含む。なお、イベント検出型撮像素子自体は、既存技術により構成される。イベント検出型撮像素子24は、イベントデータを信号処理部31に渡す。
つまり、イベント検出型撮像素子24は、色分解プリズム22からの第2光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力する。ここで、位置情報とは、例えば、画素アレイ内における1つまたは複数の画素の座標値であってよい。また、画素値変化情報とは、少なくとも画素値の変化の有無を表す情報である。また、画素値変化情報が、画素値の変化が正方向(例えば輝度が増す方向)のものであるか負方向(例えば輝度が減る方向)のものであるかを表す情報を含んでもよい。また、画素値変化情報が、変化の度合い(大小を表す数値等)の情報を含んでもよい。
イベント検出型撮像素子24としては、一例として、市販品である積層型イベントベースビジョンセンサー「IMX636」あるいは「IMX637」(いずれも、ソニーセミコンダクタソリューションズ株式会社製)を用いるようにしてよい。IMX636のほうは1/2.5型(対角7.137mm)で有効画素数約92万画素である。IMX637のほうは1/4.5型(対角3.983mm)で有効画素数約33万画素である。この市販品のイベント検出型撮像素子についての情報は、URL https://www.sony-semicon.co.jp/news/2021/2021090901.html にも記載されている。
イベント検出型撮像素子24は、例えば撮像素子23の動作(フレーム期間)とは非同期に、イベントデータを出力する。イベントデータは、動きのある画素(画素値の変化がある画素)についての情報を表すデータである。イベントデータの形式の一例は、(x,y,t,動き情報)である。ここで、xは、イベント検出型撮像素子24における画素のx方向の座標値である。yは、イベント検出型撮像素子24における画素のy方向の座標値である。tは、イベントが発生した時刻を表す情報(例えば内部クロック値であってもよい)である。動き情報は、例えば整数値+1あるいは-1であり、それぞれ、画素値(輝度値)が正方向あるいは負方向のどちらに変化したかを表す情報である。あるいは、動き情報は、例えば整数値0あるいは+1であり、それぞれ、画素値(輝度値)の変化がなかったかあるいはあったかを表す情報であってもよい。
なお、イベント検出型撮像素子24のx方向およびy方向の画素数は、撮像素子23の画素数と異なっていてもよい。イベント検出型撮像素子24の画素数と撮像素子23の画素数とが異なっていても、両画像におけるx方向およびy方向の位置を対応付けることは可能である。例えば下記の信号処理部31が、イベント検出型撮像素子24から出力されるx方向およびy方向のそれぞれの座標値を、撮像素子23における座標値に変換する計算を行ってもよい。
信号処理部31は、イベント検出型撮像素子24から渡されるイベントデータに基づいて、撮像素子23から渡される映像データの信号の処理を行う。つまり、信号処理部31は、イベント検出型撮像素子24から渡されるイベントデータに基づいて、撮像素子23から渡される映像データの処理を行うことによって出力映像のデータを生成する。信号処理部31は、処理結果として得られる映像データを出力する。信号処理部31が出力する映像データは、例えば、元の映像データにイベントデータの情報の少なくとも一部を重畳させたものであってもよいし、イベントデータの情報に基づいて元の映像データを加工したものであってもよい。
なお、信号処理部31の内部にフレームメモリーを備えていてもよい。この場合には、フレームメモリーは、過去のフレーム画像の少なくとも一部を記憶することができる。また、信号処理部31は、フレームメモリーから読み出した過去のフレーム画像の情報と、撮像素子23から渡される最新の(現在の)フレーム画像の情報と、の両方に基づいて出力映像データを生成してもよい。
信号処理部31が行う処理は、例えば、イベントデータに基づいて求められる動き情報を表す文字あるいは記号等を映像内に重畳する処理であってもよい。また、信号処理部31が行う処理は、例えば、イベントデータに基づいて求められる動き情報に基づいて、つまり動きの有無に応じて、現在の最新のフレームの画像を出力するか、現在の最新のフレームの画像にフレームメモリーから読み出された過去のフレームの画像を加算(あるいは加算平均を計算)して出力するものであってもよい。信号処理部31が行う処理は、イベントデータに基づいて行われるその他の方法で映像データに対して行う処理であってもよい。
本実施形態の構成によれば、色分解プリズム22は、入射光を、可視光成分と赤外光成分とに分光する。イベント検出型撮像素子24は、赤外光成分に基づいて被写体の動き等を検出する。また、撮像素子23(通常の固体撮像素子)は、イベント検出型画素を含まない。よって、撮像素子23が撮像する画像は、欠陥画素を含まない。よって、撮像素子23が光電変換によって撮像する画像に関しては画素の補間処理を行う必要がなく、高画質を維持することができる。また、この構成では、可視光成分をイベント検出型撮像素子24側に振り向ける必要がなく、撮像素子23側に振り向けられる可視光成分の光量が十分に確保される。
また、本実施形態の構成によれば、撮像素子23とイベント検出型撮像素子24との両方は、一つのレンズ(光学系)からの光に基づいて撮像を行う。つまり、撮像素子23とイベント検出型撮像素子24との間で画角が完全に一致するように構成することができる。つまり、撮像素子23が撮像する画像とイベント検出型撮像素子24が撮像する画像との間で、位置ずれが生じないようにすることができる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、本発明の第2実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図2は、本実施形態による撮像装置の概略機能構成を示すブロック図である。本実施形態の特徴は、ダイクロイックミラーを用いて可視光と赤外光とを分離する構成である。図示するように、撮像装置2は、ガラスブロック122と、ダイクロイックミラー122Mと、撮像素子123と、イベント検出型撮像素子124と、信号処理回路131と、動き検出部132と、信号処理回路133と、映像出力処理回路142とを含んで構成される。前述の第1実施形態においては色分解プリズム22が可視光成分と赤外光成分とを分光していた。本実施形態ではダイクロイックミラー122Mが可視光成分と赤外光成分とを分光する作用を生じさせる。
図2に示す例では、ダイクロイックミラー122Mにおいては、可視光が透過し、赤外光が反射する。変形例として、赤外光が透過し、可視光が反射するタイプのダイクロイックミラーを用いてもよい。
図3は、本実施形態の変形例による撮像装置の概略機能構成を示すブロック図である。図3に示すように、この変形例において、撮像装置2Aは、ガラスブロック122-2と、ダイクロイックミラー122M-2と、撮像素子123と、イベント検出型撮像素子124と、信号処理回路131と、動き検出部132と、信号処理回路133と、映像出力処理回路142とを含んで構成される。本変形例でもダイクロイックミラー122M-2が可視光成分と赤外光成分とを分光する作用を生じさせる。ただし、図2に示した構成と異なり、本変形例におけるダイクロイックミラー122M-2では、赤外光が透過し、可視光が反射する。図3に示す構成は、このダイクロイックミラー122M-2の特性を除いては、図2に示した構成と同様のものである。
第1実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第1実施形態(図1)における信号処理部31に相当する機能は、本実施形態における動き検出部132と、映像出力処理回路142とを含む。
ガラスブロック122は、例えば透明なガラス素材を用いて構成されるブロックであり、その内部にダイクロイックミラー122Mが設けられている。ガラスブロック122には、不図示のレンズ側からの光が入射される。ガラスブロック122は、下記のダイクロイックミラー122Mの作用により、可視光成分と赤外光成分とを分光する。ガラスブロック122は、図の右側から可視光成分を出射し、図の下側から赤外光成分を出射する。
ダイクロイックミラー122Mは、ガラスブロック122の内部に、適切な角度で配置されている。図示する構成において、ダイクロイックミラー122Mは、可視光を透過し、赤外光を反射する。これにより、入射する光のうち、可視光成分は撮像素子123側に向けられ、赤外光成分はイベント検出型撮像素子124側に向けられる。
撮像素子123は、第1実施形態における撮像素子23に相当するものであり、通常の固体撮像素子である。
撮像素子123は、ガラスブロック122によって分光された光のうちの可視光成分の撮像を行う。撮像素子123は、映像信号を出力し、信号処理回路133に渡す。
撮像素子123は、ガラスブロック122によって分光された光のうちの可視光成分の撮像を行う。撮像素子123は、映像信号を出力し、信号処理回路133に渡す。
イベント検出型撮像素子124は、第1実施形態におけるイベント検出型撮像素子24に相当する。イベント検出型撮像素子124は、ガラスブロック122によって分光された光のうちの赤外光成分の撮像を行う。イベント検出型撮像素子124が出力するイベントデータは、画素値の変化(輝度の変化)があった画素に関する、画素アレイ内での位置を表す座標情報と、画素値の変化に関する情報とを含む。イベント検出型撮像素子124は、イベントデータを出力し、信号処理回路131に渡す。
信号処理回路131は、イベント検出型撮像素子124から出力されるイベントデータを処理して、動き検出部132に渡す。
動き検出部132は、信号処理回路131から渡されるイベントデータを基に、被写体の動きを検出する。動き検出部132は、この検出結果である動き情報を、映像出力処理回路142に渡す。つまり、動き検出部132は、イベントデータに基づいて被写体の動きを表す情報である動き情報を生成する。動き検出部132が出力する動き情報は、例えば、オプティカルフローの情報である。オプティカルフローは、画像内に写っている被写体の1点の動きの速度(単位時間当たりのx方向およびy方向のそれぞれの動きの速度)を表す情報である。動き検出部132は、例えば、被写体のエッジに含まれる1点の動きを追跡してオプティカルフローの情報を求める。オプティカルフローの情報を求める方法自体は、既存技術により可能である。
信号処理回路133は、撮像素子123から出力される信号を処理して、映像データを出力する。信号処理回路131は、映像データを映像出力処理回路142に渡す。
映像出力処理回路142は、信号処理回路133から渡される映像データと、動き検出部132から渡される動き情報と、を合成し出力する。一例として、映像出力処理回路142は、動き情報(オプティカルフローの情報等)を映像上に重畳して出力映像を生成するものであってよい。つまり、映像出力処理回路142は、動き情報を所定割合で映像内に内挿(アルファブレンディング)するものであってよい。動き情報は、例えば、文字や記号等で表わされ、映像内に重畳される。つまり、映像出力処理回路142は、撮像素子123側の信号処理回路133から渡される映像データに、動き検出部132が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって出力映像を生成する。このような合成を行う場合には、ユーザーは、出力される映像を見ることにより、動き検出結果をモニターすることできる。言い換えれば、映像出力処理回路142は、動き検出部132から渡される動き情報に基づいて、撮像素子123側から渡される映像データの処理を行うことによって、出力映像を生成する。
なお、映像出力処理回路142は、上の例とは異なる方法で、動き情報に基づいて出力映像データを生成するようにしてもよい。
以上説明したように、本実施形態によれば、ダイクロイックミラー122Mが可視光成分と赤外光成分とを分光する。赤外光成分は、イベント検出型撮像素子124等による動きの検出のために用いられる。可視光成分は、撮像素子123等による映像データの生成のために用いられる。
[第3実施形態]
次に、本発明の第3実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、本発明の第3実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図4は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置3は、ガラスブロック222と、ダイクロイックミラー222Mと、撮像素子223と、イベント検出型撮像素子224と、信号処理回路231と、動き検出部232と、信号処理回路233と、映像出力処理回路242とを含んで構成される。
第1実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第1実施形態(図1)における信号処理部31に相当する機能は、本実施形態における動き検出部232と、映像出力処理回路242とを含む。
本実施形態の特徴は、ダイクロイックミラー222Mが、可視光成分のうちの50%を透過し、その他の50%を反射することである。つまり、ダイクロイックミラー222Mを備えるガラスブロック222(分光器)は、入射光を分光して第1光成分(本実施形態では可視光の50%)と第2光成分(本実施形態では可視光の残りの50%)とに振り分ける。このダイクロイックミラー222Mの特性以外については、撮像装置3は前述の第2実施形態(図2)と同様の構成を有している。つまり、第2実施形態においては赤外光成分と可視光成分とを分離していたのに対して、本実施形態では、ダイクロイックミラー222Mは、可視光成分を50%ずつに分光して、それぞれ撮像素子223(通常の固体撮像素子)側とイベント検出型撮像素子224側とに振り向けている。
ガラスブロック222は、ダイクロイックミラー222Mを備え、レンズ(光学系)側から入射する光(可視光)を2方向に分光する。その2方向とは、図における右方向および下方向である。ダイクロイックミラー222Mは、上記のガラスブロック222内に設けられ、入射光(可視光)の50%を透過し、残りの50%を反射する。なお、ダイクロイックミラー222Mの代わりに、ハーフミラー等の分光手段を用いるようにしてもよい。撮像素子223は、ガラスブロック222内のダイクロイックミラー222Mを透過した可視光(50%)により、映像を撮像する。撮像素子223は、映像データを信号処理回路233に渡す。イベント検出型撮像素子224は、ガラスブロック222内のダイクロイックミラー222Mで反射した可視光(50%)により、イベントを検出する。イベント検出型撮像素子224は、イベントの検出結果を表すイベントデータを、信号処理回路231に渡す。撮像装置3における以後の処理は、第2実施形態(図2)で説明した処理と同様である。
本実施形態によれば、撮像装置3において、撮像素子223とイベント検出型撮像素子224とは、単一のレンズ(光学系)からの光に基づいて、同一の画角で撮像を行うことができる。つまり、撮像素子223が撮像する画像と、イベント検出型撮像素子224が撮像する画像との間で、画素の位置ずれが生じない。
[第4実施形態]
次に、本発明の第4実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、本発明の第4実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図5は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置4は、ガラスブロック322と、ダイクロイックミラー322Mと、撮像素子323と、イベント検出型撮像素子324と、信号処理回路331と、動き検出部332と、信号処理回路333と、フレームメモリー341と、映像出力処理回路342とを含んで構成される。
第1実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第1実施形態(図1)における信号処理部31に相当する機能は、本実施形態における動き検出部332と、フレームメモリー341と、映像出力処理回路342とを含む。
本実施形態の特徴は、撮像装置4がフレームメモリー341を備えている点である。撮像装置4において、イベント検出型撮像素子224が被写体の動きの検出を行う。そして、検出されたこの動き情報に基づいて、映像出力処理回路342はフレームメモリー341に蓄積されている映像(1フレーム前のフレーム画像)と現在の映像(信号処理回路333)から渡される現フレームのフレーム画像)のどちらかを選択して出力する。
ガラスブロック322は、第2実施形態(図2)のガラスブロック122と同様に、例えば透明なガラス素材を用いて構成されるブロックであり、内部にダイクロイックミラー322Mを備えている。ダイクロイックミラー322Mの作用により、ガラスブロック322は、不図示のレンズ側からの入射光を可視光成分と赤外光成分とに分解する。撮像素子323は、通常の固体撮像素子であり、ガラスブロック322において分光された光のうちの可視光成分の撮像を行う。イベント検出型撮像素子324は、第2実施形態(図2)のイベント検出型撮像素子124と同様に、赤外光成分を基にイベントを検出し、イベントデータを出力する。
信号処理回路331と、動き検出部332と、信号処理回路333との動作は、第2実施形態における、それぞれ、信号処理回路131と、動き検出部132と、信号処理回路133との動作と同様である。
動き検出部332は、動き情報として、例えばオプティカルフローの情報を出力する。具体的には、動き検出部332は、被写体の追跡を行うための点を決定するためにまずそのエッジを検出する。次に、動き検出部332は、例えばLucas-Kanade法を用いることにより、決定された点を繰り返し追跡する。動き検出部332は、その追跡結果に基づいて、オプティカルフローを求める。
フレームメモリー341(画像記憶部)は、撮像素子323によって撮像された映像のフレーム画像を記憶することができる。フレームメモリー341は、映像データの過去のフレーム画像の少なくとも一部を記憶するものであってもよい。フレームメモリー341は、例えば半導体メモリー(記憶装置)を用いて実現される。映像出力処理回路342は、信号処理回路333からフレーム画像のシリーズを受け取り、それらのフレーム画像を順次、フレームメモリー341に書き込む。映像出力処理回路342は、また、フレームメモリー341から過去の(例えば1つ前の)フレーム画像を読み出すことができる。
本実施形態において、映像出力処理回路342は、動き検出部332から渡される動き情報に基づいて、信号処理回路333から渡される最新の(現在の)フレーム画像をそのまま出力するか、フレームメモリー341から読み出した1つ前のフレーム画像を最新の(現在の)フレーム画像に加算して(または加算平均して)出力するかを決定する。また、映像出力処理回路342はフレーム画像内の領域ごとに、上記2通りの出力のどちらを出力するかを決定することができる。具体的には、動き検出部332から渡される動き情報に基づいて、動きがあると判定される領域(動領域)については、映像出力処理回路342は、現在のフレームの画像を出力する。また、動きがないと判定される領域(静止領域)については、映像出力処理回路342は、フレームメモリー341から読み出した1フレーム前の画像と現在のフレームの画像とを加算(あるいは加算平均)して、出力する。映像出力処理回路342は、そのように生成した映像データを出力する。
つまり、映像出力処理回路342は、動き検出部332からの動き情報に応じて、撮像素子323側の信号処理回路333から渡される映像データの最新フレーム画像のみを出力映像として生成するか、撮像素子323側の信号処理回路333から渡される映像データの最新フレーム画像とフレームメモリー341から読み出した過去の(例えば、1つ前の)フレーム画像の少なくとも一部とを混合して出力映像として生成するか、いずれかとするものであってよい。
本実施形態によると、映像出力処理回路342は、静止領域に関しては、フレームメモリー341から前のフレームの画像を読み出して出力する。なお、前のフレームの画像と現在のフレームの画像とを加算(あるいは加算平均)する。これにより、撮像装置4が出力する映像においては、ランダムノイズを軽減することができる。
なお、映像出力処理回路342が、撮像素子323側の信号処理回路333から渡される映像データに、動き検出部332が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって出力映像を生成するようにしてもよい。
[第5実施形態]
次に、本発明の第5実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、本発明の第5実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図6は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置5は、色分解プリズム422と、撮像素子423Rと、撮像素子423Gと、撮像素子423Bと、イベント検出型撮像素子424と、信号処理回路431と、動き検出部432と、信号処理回路433と、映像出力処理回路442とを含んで構成される。
第1実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第1実施形態(図1)における信号処理部31に相当する機能は、本実施形態における動き検出部432と、映像出力処理回路442とを含む。
本実施形態の特徴は、4板光学系を用いて可視光(赤(R)、緑(G)、および青(B)の各色)と赤外光(IR)とを分離して撮像する構成である。本実施形態の撮像装置5において、色分解プリズム422は、4板式光学プリズムを用いて構成される。つまり、色分解プリズム422は、レンズ(光学系)からの入射光を、赤外光成分(IR)と、赤成分(R)と、緑成分(G)と、青成分(B)とに分光する。撮像素子423R、423G、および423Bは、通常の固体撮像素子であり、それぞれ、赤成分(R)、緑成分(G)、および青成分(B)の映像を撮像する。また、イベント検出型撮像素子424は、赤外光成分によりイベントを検出し、イベントデータを出力する。
信号処理回路433は、撮像素子423R、423G、および423Bのそれぞれから赤成分(R)、緑成分(G)、および青成分(B)の映像を受け取り、カラー映像を出力する。信号処理回路433は、カラーの映像データを映像出力処理回路442に渡す。
信号処理回路431および動き検出部432は、それぞれ、第2実施形態(図2)の信号処理回路131および動き検出部132と同様に動作する。つまり、動き検出部432は、イベント検出型撮像素子424による撮像に基づく動き情報を映像出力処理回路442に渡す。
映像出力処理回路442は、第2実施形態(図2)の映像出力処理回路442と同様に、動き検出部432から渡される動き情報と、信号処理回路433から渡される映像データとを合成し、出力する。例えば、映像出力処理回路442は、映像上に、オプティカルフローなどの動き情報を重畳して出力する。
本実施形態によると、撮像装置5は、撮像素子423R、423G、および423Bのそれぞれが各色の映像を撮像する。且つ、撮像装置5は、その映像に動き情報を合成することができる。
[第6実施形態]
次に、本発明の第6実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、本発明の第6実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図7は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置6は、色分解プリズム522と、撮像素子523Rと、撮像素子523Gと、撮像素子523Bと、イベント検出型撮像素子524と、信号処理回路531と、動き検出部532と、信号処理回路533と、フレームメモリー541と、映像出力処理回路542とを含んで構成される。
第1実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第1実施形態(図1)における信号処理部31に相当する機能は、本実施形態における動き検出部532と、フレームメモリー541と、映像出力処理回路542とを含む。
本実施形態の特徴の一つは、第5実施形態(図6)と同様に、4板光学系を用いて可視光(赤(R)、緑(G)、および青(B)の各色)と赤外光(IR)とを分離して撮像する構成である。また、本実施形態の別の特徴は、第4実施形態(図5)と同様に、フレームメモリーに記憶された過去のフレーム画像を用いて映像出力処理回路が、出力する映像データを生成する。
本実施形態の撮像装置6において、色分解プリズム522は、4板式光学プリズムを用いて構成される。色分解プリズム522は、レンズ(光学系)からの入射光を、赤外光成分(IR)と、赤成分(R)と、緑成分(G)と、青成分(B)とに分光する。撮像素子423R、423G、および423Bは、通常の固体撮像素子であり、それぞれ、赤成分(R)、緑成分(G)、および青成分(B)の映像を撮像する。また、イベント検出型撮像素子424は、赤外光成分によりイベントを検出し、イベントデータを出力する。
信号処理回路531、動き検出部532、および信号処理回路533のそれぞれは、第5実施形態(図6)における信号処理回路431、動き検出部432、および信号処理回路433と同様に動作する。また、フレームメモリー541および映像出力処理回路542のそれぞれは、第4実施形態(図5)におけるフレームメモリー341および映像出力処理回路342と同様に動作する。
つまり、本実施形態において、映像出力処理回路542は、動き検出部532から渡される動き情報に基づいて、信号処理回路533から渡される最新の(現在の)フレーム画像をそのまま出力するか、フレームメモリー541から読み出した1つ前のフレーム画像を最新の(現在の)フレーム画像に加算して(または加算平均して)出力するかを決定する。また、映像出力処理回路542はフレーム画像内の領域ごとに、上記2通りの出力のどちらを出力するかを決定することができる。具体的には、動き検出部532から渡される動き情報に基づいて、動きがあると判定される領域(動領域)については、映像出力処理回路542は、現在のフレームの画像を出力する。また、動きがないと判定される領域(静止領域)については、映像出力処理回路542は、フレームメモリー341から読み出した1フレーム前の画像と現在のフレームの画像とを加算(あるいは加算平均)して、出力する。映像出力処理回路542は、そのように生成した映像データを出力する。
[第7実施形態]
次に、本発明の第7実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、本発明の第7実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図8は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置7は、色分解プリズム622と、撮像素子623Rと、撮像素子623Gと、撮像素子623Bと、イベント検出型撮像素子624と、信号処理回路631と、動き検出部632と、信号処理回路633と、フレームメモリー634と、フレームメモリー641と、映像出力処理回路642と、同期信号生成回路651(同期信号生成部)とを含んで構成される。
第1実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第1実施形態(図1)における信号処理部31に相当する機能は、本実施形態におけるフレームメモリー634(イベントデータ用)と、動き検出部632と、フレームメモリー641(映像データ用)と、映像出力処理回路642とを含む。
本実施形態による撮像装置7の特徴の一つは、イベント検出型撮像素子624が出力する信号に基づくイベントデータを格納するためのフレームメモリー634を備えることである。つまり、撮像装置7は、映像データ用のフレームメモリー641とは別に、イベントデータ用のフレームメモリー634を備える。また、本実施形態による撮像装置7が持つ別の特徴の一つは、外部からの同期信号に基づいて、同期信号生成回路651が同期信号を生成する点である。同期信号生成回路651が生成する同期信号は、撮像素子623R、623G、および623Bのそれぞれ(通常の固体撮像素子)と、イベント検出型撮像素子624と、動き検出部632と、フレームメモリー634とに供給される。同期信号生成回路651が生成する同期信号は、各撮像素子からの画素値の読出しの際の垂直同期のタイミングを少なくとも揃えるものである。言い換えれば、同期信号にしたがって、撮像素子623R、623G、および623Bのそれぞれからの信号の読出しと、イベント検出型撮像素子624からの信号の読出しとは、垂直位置の単位(例えば、ライン単位)で同期する。
上記の特徴を有する構成により、本実施形態の撮像装置7では、次のように動作する。即ち、同期信号生成回路651が生成する同期信号により、撮像素子623R、623G、および623Bのそれぞれ(通常の固体撮像素子)と、イベント検出型撮像素子624と、の間で信号の読み出しタイミングを揃える。
信号処理回路631は、イベント検出型撮像素子624から出力される信号を、上記のそれぞれの撮像素子における読み出しタイミングとは非同期に処理する。また、信号処理回路631は、出力するイベントデータを上記のそれぞれの撮像素子における読み出しタイミングとは非同期に出力し、フレームメモリー634に書き込む。イベントデータは、既に説明しているように、イベントが発生する画素の位置情報と、イベント(画素値の変化)の有無あるいはイベントの正負(画素値が増えたか減ったか)の情報を含む。本実施形態では、イベントデータは、同期信号生成回路651が生成する同期信号情報とともにフレームメモリー634に書き込まれる。
動き検出部632は、同期信号生成回路651から供給される同期信号に基づいて、映像データの読み出し位置(垂直方向のラインの位置)と空間的に同一の位置(例えば、ラインの位置)のイベントデータをフレームメモリー634から読み出す。つまり、動き検出部632は、映像データの読み出し位置(ラインの位置)に対応する位置(近傍の位置を含む)の動き情報を検出する。
つまり、本実施形態では、同期信号生成回路651は、撮像素子623R、623G、および623Bからの映像データの読出しのタイミングを同期させるための同期信号を生成する。イベント検出型撮像素子624もまた、その同期信号に基づいて、撮像素子623R、623G、および623Bから映像データが読出される位置に対応する画面内の領域についてのイベントデータを出力する。そして、動き検出部632は、当該領域についてのイベントデータに基づいて被写体の動きを表す情報である動き情報を生成する。
撮像装置7における以後の処理は、第4実施形態(図5)や第6実施形態(図7)と同様である。つまり、映像出力処理回路642は、信号処理回路633から受け取る映像を構成するフレーム画像を、順次、フレームメモリー641に書き込む。映像出力処理回路642は、また、フレームメモリー641から過去の(例えば1つ前の)フレーム画像を読み出すことができる。また、映像出力処理回路642は、動き検出部632から渡される動き情報に基づいて、信号処理回路633から渡される最新の(現在の)フレーム画像をそのまま出力するか、フレームメモリー641から読み出した1つ前のフレーム画像を最新の(現在の)フレーム画像に加算して(または加算平均して)出力するかを決定する。また、映像出力処理回路642はフレーム画像内の領域ごとに、上記2通りの出力のどちらを出力するかを決定してもよい。つまり、動き検出部632から渡される動き情報に基づいて、動きがあると判定される領域(動領域)については、映像出力処理回路642は、現在のフレームの画像を出力する。また、動きがないと判定される領域(静止領域)については、映像出力処理回路642は、フレームメモリー641から読み出した1フレーム前の画像と現在のフレームの画像とを加算(あるいは加算平均)して、出力する。なお、本実施形態においては、前述の通り、動き検出部632は、同期信号生成回路651からの同期信号に基づいて、映像データの読み出し位置(ラインの位置)に対応する位置(近傍の位置を含む)の動き情報を検出する。つまり、本実施形態では、映像出力処理回路642は、画面内において例えば垂直方向に分割された領域ごとに、動き情報に基づいて出力映像データを生成することを容易に行える。
[第8実施形態]
次に、本発明の第8実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、本発明の第8実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図9は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置8は、色分解プリズム722と、撮像素子723と、イベント検出型撮像素子724と、動き探索処理部761と、エンコーダー762とを含んで構成される。
第1実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第1実施形態(図1)における信号処理部31に相当する機能は、本実施形態における動き探索処理部761と、エンコーダー762とを含む。
色分解プリズム722は、第1実施形態(図1)の色分解プリズム22と同様に、入射光を可視光成分と赤外光成分とに分光する。色分解プリズム722は、可視光成分を撮像素子723(通常の固体撮像素子)側に振り向け、赤外光成分をイベント検出型撮像素子724側に振り向ける。撮像素子723は、可視光成分を用いて映像を撮像し、映像データをエンコーダー762に渡す。撮像素子723は、光電変換によって、画素ごとに割り当てられたR/G/Bの各色の成分の画素値を電気信号として出力するものであってよい。また、撮像素子723は、3原色R/G/Bの各色をそれぞれ撮像するための3枚の素子で構成されるものであってもよい。イベント検出型撮像素子724は、赤外光成分を用いて撮像し、イベントを検出する。イベント検出型撮像素子724は、イベントデータを動き探索処理部761に渡す。動き探索処理部761は、渡されるイベントデータに基づいて被写体の動きの方向を求める。被写体の動きの方向は、例えば、x方向の動きの速度とy方向の動きの速度との組によって表される情報である。被写体の動きの速度を求める方法については、既に全実施形態までにおいて説明した通りである。エンコーダー762は、撮像素子723から渡される映像の符号化を行い、出力する。エンコーダー762は、例えば、動き予測、動き補償などといった手法を用いて符号化を行う。本実施形態のエンコーダー762は、符号化を行う際に、下記のように動き探索処理部761から渡される動き情報を用いることができる。
本実施形態の特徴は、動き探索処理部761が、イベント検出型撮像素子724から渡されるイベントデータに基づいて、被写体の動きの方向を求める。そして、エンコーダー762は、所定の符号化方式で映像の符号化を行う際に、動き探索処理部761から渡される被写体の動きの方向の情報を利用する。エンコーダー762は、例えばH264/MPEG-4 AVC(Advanced Video Coding)やH265/MPEG-H HEVC(High Efficiency Video Coding)などといった符号化方式での映像の符号化を行う。エンコーダー762は、動き探索処理部761から被写体の動きの方向の情報を受け取るため、符号化処理を行う際に被写体の動き(動きベクトル)の探索範囲を絞ることができるために、符号化処理に要する演算量を減らすことができる。
つまり、動き探索処理部761は、イベント検出型撮像素子724が出力したイベントデータに基づいて、被写体が動く方向を表す方向情報を求めるものである。また、エンコーダー762は、撮像素子723から渡される映像データにおける被写体の動き探索を行いながら当該映像データの符号化を行うものである。エンコーダー762は、映像内の動き探索を行い、動きベクトルを求める。エンコーダー762は、求められた動きベクトルに基づいて映像の符号化を行う。なお、動きベクトルに基づく符号化の処理自体は、既存技術に属するものである。ただし、本実施形態の特徴として、エンコーダー762は、動き探索処理部761から渡される方向情報に基づいて動き探索の範囲を決定する。言い換えれば、エンコーダー762は、得られる方向情報に基づいて、動き探索の範囲を限定することができる。
以上説明したように、本実施形態によると、撮像装置8は、イベント検出型撮像素子724から出力されるイベントデータに基づいて被写体の動きの情報を求める。エンコーダー762は、その動き情報を利用して符号化を行うことができるため、符号化の際の演算量を削減することが可能となる。
図10は、第1実施形態から第8実施形態までにおける撮像素子(通常の固体撮像素子)およびイベント検出型撮像素子が撮像する画面とその画面に含まれる領域との関係を示す概略図である。図示するように、画面801は、複数の領域802に分割されている。図示する例では、画面801は、縦8個×横12個の計96個の領域802に分割されている。ただし、画面の分割のしかたは、図示する例に限定されるものではなく任意である。個々の領域の形状は、同一であってもよいし異なっていてもよい。個々の形状のサイズ(縦および横の画素数)は、同一であってもよいし異なっていてもよい。複数の領域は、図示する例のように行方向および列方向に並べられていてもよいし、他の配置方法で配置されていてもよい。既に述べた実施形態において、信号処理部31や、映像出力処理回路142、242、342、442、542、642や、エンコーダー762は、領域ごとに映像(画像)を処理するものであってもよい。
図11は、第1実施形態から第8実施形態までのそれぞれの撮像装置が持つ機能の少なくとも一部をコンピューターで制御する場合の、その内部の構成の例を示すブロック図である。撮像装置1から8までが持つ機能(装置の動作を制御する機能を含む)の少なくとも一部は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置901と、RAM902と、入出力ポート903と、入出力デバイス904や905等と、バス906と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置901は、RAM902等から読み込んだプログラムに含まれる命令を実行する。中央処理装置901は、各命令にしたがって、RAM902にデータを書き込んだり、RAM902からデータを読み出したり、算術演算や論理演算を行ったりする。RAM902は、データやプログラムを記憶する。RAM902に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、RAMは、「ランダムアクセスメモリー」の略である。入出力ポート903は、中央処理装置901が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス904や905は、入出力デバイスである。入出力デバイス904や905は、入出力ポート903を介して中央処理装置901との間でデータをやりとりする。バス906は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置901は、バス906を介してRAM902のデータを読んだり書いたりする。また、例えば、中央処理装置901は、バス906を介して入出力ポートにアクセスする。
上述した実施形態における撮像装置1から8までが持つ機能の少なくとも一部をコンピューターおよびプログラムで実現することができる。その場合、その機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM、DVD-ROM、USBメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の(non-transitory)コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
なお、各実施形態において説明した機能の呼び方を、次のようにしてもよい。即ち、色分解プリズム22や、ガラスブロック122、222、322や、色分解プリズム422,522,622,722のそれぞれを、「分光器」と呼んでもよい。これらの分光器のそれぞれは、入射光を分光して第1光成分と第2光成分とに振り分ける。また、撮像素子23、123、223、323、423R、423G、423B、523R、523G、523B、623R、623G、623B、723のそれぞれを「撮像部」と呼んでよい。なお、第2実施形態(図2)における撮像素子123と信号処理回路133とをあわせて「撮像部」と呼んでもよい。同様に、第3実施形態(図4)における撮像素子223と信号処理回路233とをあわせて「撮像部」と呼んでもよい。同様に、第4実施形態(図5)における撮像素子323と信号処理回路333とをあわせて「撮像部」と呼んでもよい。同様に、第5実施形態(図6)における撮像素子423R、423G、および423Bと信号処理回路433とをあわせて「撮像部」と呼んでもよい。同様に、第6実施形態(図7)における撮像素子523R、523G、および523Bと信号処理回路533とをあわせて「撮像部」と呼んでもよい。同様に、第7実施形態(図8)における撮像素子623R、623G、および623Bと信号処理回路633とをあわせて「撮像部」と呼んでもよい。これらの撮像部のそれぞれは、通常の固定撮像素子を用いて実現され、映像の撮像を行い、映像データを出力する。また、イベント検出型撮像素子24、124、224、324、424、524、624、724のそれぞれを「イベント検出型撮像部」と呼んでもよい。なお、第2実施形態(図2)におけるイベント検出型撮像素子124と信号処理回路131とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第3実施形態(図4)におけるイベント検出型撮像素子224と信号処理回路231とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第4実施形態(図5)におけるイベント検出型撮像素子324と信号処理回路331とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第5実施形態(図6)におけるイベント検出型撮像素子424と信号処理回路431とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第6実施形態(図7)におけるイベント検出型撮像素子524と信号処理回路531とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第7実施形態(図8)におけるイベント検出型撮像素子624と信号処理回路631とをあわせて「イベント検出型撮像部」と呼んでもよい。これらのイベント検出型撮像部のそれぞれは、第2光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力する。また、映像出力処理回路142、242、342、442、542、642のそれぞれを「映像出力処理部」と呼んでもよい。これらの映像出力処理部のそれぞれは、各実施形態における動き検出部から渡される動き情報に基づいて、撮像部から渡される映像データの処理を行うことによって、出力映像を生成するものである。また、フレームメモリー341、541、641のそれぞれを「画像記憶部」と呼んでもよい。これらの画像記憶部のそれぞれは、映像データを構成する過去のフレーム画像の少なくとも一部を記憶するものである。
第1実施形態(図1)および第8実施形態(図9)においては、色分解プリズム(分光器)は、入射光を可視光と赤外光との2つの領域に分光するものであった。ここで、色分解プリズム(分光器)は、可視光をさらにR/G/Bそれぞれの成分に分光するものであってもよい。また、第2実施形態(図2)および第4実施形態(図5)においては、ガラスブロック(分光器)は、入射光を可視光と赤外光との2つの領域に分光するものであった。ここで、ガラスブロック(分光器)は、可視光をさらにR/G/Bそれぞれの成分に分光するものであってもよい。また、第5実施形態(図6)、第6実施形態(図7)、および第7実施形態(図8)においては、色分解プリズム(分光器)は、入射光をIR(赤外)/R(赤)/G(緑)/B(青)の4つの領域に分光するものであった。ここで、色分解プリズム(分光器)は、入射光を赤外光と可視光との2つに分光するものであってもよい。
以上説明した実施形態によれば、撮像装置は、映像を取得するための撮像素子と、イベントを検出するための撮像素子とで、同一の画角を有する画像を取得することができる。つまり、画面内の位置関係に関して、映像とイベントデータとの間での位置ずれが生じない。
また、イベントを検出するための撮像素子が赤外光成分のみを用いて撮像を行う場合には、可視光成分の光量を規制にすることなく、通常の固体撮像素子で映像を撮像することが可能となる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、例えば、コンテンツ制作用の撮像装置や、監視用の撮像装置や、機器等(例えば乗り物等)を制御するための撮像装置などのために利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
1,2,2A,3,4,5,6,7,8 撮像装置
22 色分解プリズム(分光器)
23 撮像素子(撮像部)
24 イベント検出型撮像素子
31 信号処理部
122,122-2 ガラスブロック(分光器)
122M,122M-2 ダイクロイックミラー
123 撮像素子(撮像部)
124 イベント検出型撮像素子(イベント検出型撮像部)
131 信号処理回路
132 動き検出部
133 信号処理回路
142 映像出力処理回路(映像出力処理部)
222 ガラスブロック(分光器)
222M ダイクロイックミラー
223 撮像素子(撮像部)
224 イベント検出型撮像素子(イベント検出型撮像部)
231 信号処理回路
232 動き検出部
233 信号処理回路
242 映像出力処理回路(映像出力処理部)
322 ガラスブロック(分光器)
322M ダイクロイックミラー
323 撮像素子(撮像部)
324 イベント検出型撮像素子(イベント検出型撮像部)
331 信号処理回路
332 動き検出部
333 信号処理回路
341 フレームメモリー(画像記憶部)
342 映像出力処理回路(映像出力処理部)
422 色分解プリズム(分光器)
423R 撮像素子(撮像部)
423G 撮像素子(撮像部)
423B 撮像素子(撮像部)
424 イベント検出型撮像素子(イベント検出型撮像部)
431 信号処理回路
432 動き検出部
433 信号処理回路
442 映像出力処理回路(映像出力処理部)
522 色分解プリズム(分光器)
523R 撮像素子(撮像部)
523G 撮像素子(撮像部)
523B 撮像素子(撮像部)
524 イベント検出型撮像素子(イベント検出型撮像部)
531 信号処理回路
532 動き検出部
533 信号処理回路
541 フレームメモリー(画像記憶部)
542 映像出力処理回路(映像出力処理部)
622 色分解プリズム(分光器)
623R 撮像素子(撮像部)
623G 撮像素子(撮像部)
623B 撮像素子(撮像部)
624 イベント検出型撮像素子(イベント検出型撮像部)
631 信号処理回路
632 動き検出部
633 信号処理回路
634 フレームメモリー(イベントデータ用フレームメモリー)
641 フレームメモリー(映像データ用フレームメモリー、画像記憶部)
642 映像出力処理回路(映像出力処理部)
651 同期信号生成回路
722 色分解プリズム(分光器)
723 撮像素子(撮像部)
724 イベント検出型撮像素子(イベント検出型撮像部)
761 動き探索処理部
762 エンコーダー
801 画面
802 領域
901 中央処理装置
902 RAM
903 入出力ポート
904,905 入出力デバイス
906 バス
22 色分解プリズム(分光器)
23 撮像素子(撮像部)
24 イベント検出型撮像素子
31 信号処理部
122,122-2 ガラスブロック(分光器)
122M,122M-2 ダイクロイックミラー
123 撮像素子(撮像部)
124 イベント検出型撮像素子(イベント検出型撮像部)
131 信号処理回路
132 動き検出部
133 信号処理回路
142 映像出力処理回路(映像出力処理部)
222 ガラスブロック(分光器)
222M ダイクロイックミラー
223 撮像素子(撮像部)
224 イベント検出型撮像素子(イベント検出型撮像部)
231 信号処理回路
232 動き検出部
233 信号処理回路
242 映像出力処理回路(映像出力処理部)
322 ガラスブロック(分光器)
322M ダイクロイックミラー
323 撮像素子(撮像部)
324 イベント検出型撮像素子(イベント検出型撮像部)
331 信号処理回路
332 動き検出部
333 信号処理回路
341 フレームメモリー(画像記憶部)
342 映像出力処理回路(映像出力処理部)
422 色分解プリズム(分光器)
423R 撮像素子(撮像部)
423G 撮像素子(撮像部)
423B 撮像素子(撮像部)
424 イベント検出型撮像素子(イベント検出型撮像部)
431 信号処理回路
432 動き検出部
433 信号処理回路
442 映像出力処理回路(映像出力処理部)
522 色分解プリズム(分光器)
523R 撮像素子(撮像部)
523G 撮像素子(撮像部)
523B 撮像素子(撮像部)
524 イベント検出型撮像素子(イベント検出型撮像部)
531 信号処理回路
532 動き検出部
533 信号処理回路
541 フレームメモリー(画像記憶部)
542 映像出力処理回路(映像出力処理部)
622 色分解プリズム(分光器)
623R 撮像素子(撮像部)
623G 撮像素子(撮像部)
623B 撮像素子(撮像部)
624 イベント検出型撮像素子(イベント検出型撮像部)
631 信号処理回路
632 動き検出部
633 信号処理回路
634 フレームメモリー(イベントデータ用フレームメモリー)
641 フレームメモリー(映像データ用フレームメモリー、画像記憶部)
642 映像出力処理回路(映像出力処理部)
651 同期信号生成回路
722 色分解プリズム(分光器)
723 撮像素子(撮像部)
724 イベント検出型撮像素子(イベント検出型撮像部)
761 動き探索処理部
762 エンコーダー
801 画面
802 領域
901 中央処理装置
902 RAM
903 入出力ポート
904,905 入出力デバイス
906 バス
Claims (9)
- 入射光を分光して第1光成分と第2光成分とに振り分ける分光器と、
前記分光器からの前記第1光成分に基づく撮像を行うことによって映像データを出力する撮像部と、
前記分光器からの前記第2光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力するイベント検出型撮像部と、
前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する信号処理部と、
を備える撮像装置。 - 前記第1光成分は可視光成分であり、
前記第2光成分は赤外光成分である、
請求項1に記載の撮像装置。 - 前記信号処理部は、
前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成する動き検出部と、
前記動き検出部から渡される前記動き情報に基づいて、前記撮像部から渡される前記映像データの処理を行うことによって、前記出力映像を生成する映像出力処理部と、
を含む、請求項1または2に記載の撮像装置。 - 前記信号処理部は、
前記映像データの過去のフレーム画像の少なくとも一部を記憶する画像記憶部、
をさらに備え、
前記映像出力処理部は、前記動き情報に応じて、前記撮像部から渡される前記映像データの最新フレーム画像のみを前記出力映像として生成するか、前記撮像部から渡される前記映像データの最新フレーム画像と前記画像記憶部から読み出した前記過去のフレーム画像の少なくとも一部とを混合して前記出力映像として生成するか、いずれかとする、
請求項3に記載の撮像装置。 - 前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、
請求項3に記載の撮像装置。 - 前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、
請求項4に記載の撮像装置。 - 前記撮像部からの前記映像データの読出しのタイミングを同期させるための同期信号を生成する同期信号生成部、
をさらに備え、
前記イベント検出型撮像部は、前記同期信号に基づいて、前記撮像部から前記映像データが読出される位置に対応する画面内の領域についてのイベントデータを出力するものであり、
前記動き検出部は、当該領域の前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成するものである、
請求項3に記載の撮像装置。 - 前記信号処理部は、
前記イベント検出型撮像部が出力した前記イベントデータに基づいて、被写体が動く方向を表す方向情報を求める動き探索処理部と、
前記撮像部から渡される前記映像データにおける前記被写体の動き探索を行いながら当該映像データの符号化を行うエンコーダーと、
を備え、
前記エンコーダーは、前記動き探索処理部から渡される方向情報に基づいて前記動き探索の範囲を決定する、
請求項1または2に記載の撮像装置。 - 前記分光器は、前記入射光を波長帯域によって前記第1光成分と前記第2光成分とに分光する色分解プリズムである、
請求項1に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022118750A JP2024016542A (ja) | 2022-07-26 | 2022-07-26 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022118750A JP2024016542A (ja) | 2022-07-26 | 2022-07-26 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024016542A true JP2024016542A (ja) | 2024-02-07 |
Family
ID=89806327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022118750A Pending JP2024016542A (ja) | 2022-07-26 | 2022-07-26 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024016542A (ja) |
-
2022
- 2022-07-26 JP JP2022118750A patent/JP2024016542A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8497897B2 (en) | Image capture using luminance and chrominance sensors | |
KR101512222B1 (ko) | 다중 이미지 센서들로부터 데이터의 결합 | |
US8896668B2 (en) | Combining data from multiple image sensors | |
US20170094141A1 (en) | Infrared and visible light dual sensor imaging system | |
JP5589146B2 (ja) | 撮像素子及び撮像装置 | |
EP2630786A1 (en) | System and method for imaging using multi aperture camera | |
EP2720455B1 (en) | Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device | |
US8723991B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
US11659294B2 (en) | Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method | |
US20030063185A1 (en) | Three-dimensional imaging with complementary color filter arrays | |
WO2023098284A1 (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
JP5927570B2 (ja) | 3次元撮像装置、光透過部、画像処理装置、およびプログラム | |
US20230007191A1 (en) | Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method | |
CN115023938B (zh) | 电子装置 | |
JP5634614B2 (ja) | 撮像素子及び撮像装置 | |
WO2023098230A1 (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
JP2024016542A (ja) | 撮像装置 | |
EP4210335A1 (en) | Image processing device, image processing method, and storage medium | |
WO2023098282A1 (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
JP2024016541A (ja) | 撮像装置およびプログラム |