JP2019121941A - 画像処理装置および方法、並びに画像処理システム - Google Patents

Abstract

【課題】画像安定化による負荷の増大を抑制することができるようにする。【解決手段】処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定し、その設定された処理対象フレームの読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する。本開示は、例えば、画像処理装置、撮像装置、または画像処理システム等に適用することができる。【選択図】図２

Description

本開示は、画像処理装置および方法、並びに画像処理システムに関し、特に、画像安定化による負荷の増大を抑制することができるようにした画像処理装置および方法、並びに画像処理システムに関する。

従来、カメラEIS（Electronic Image Stabilization）ブレ補正技術として、動きに応じて撮像画像より部分画像を切り出す方法があった（例えば特許文献１参照）。

国際公開第２０１４／１５６７３１号

しかしながら、この方法の場合、より激しい動きに対しても画像を安定化させることができるように補正性能を向上させるためには、より高画素のセンサを用いて撮像し、その撮像画像から部分画像の切り出しを行う必要がある。しかしながら、画素数が増大する程、イメージセンサからより大量のデータをより高速に読み出さなければならず、負荷が増大するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、画像安定化による負荷の増大を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定し、設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する画像処理方法である。

本技術の他の側面の画像処理システムは、被写体を撮像する撮像装置と、画像処理を行う画像処理装置とを備え、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部とを有する画像処理システムである。

本技術の一側面の画像処理装置および方法、並びに画像処理システムにおいては、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域が設定され、その設定された処理対象フレームの読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域が設定される。

本開示によれば、画像を処理することができる。特に、画像安定化による負荷の増大を抑制することができる。

従来の画像安定化の方法を説明する図である。 撮像装置の主な構成例を示すブロック図である。 イメージセンサの主な構成例を示すブロック図である。 画像安定化部の主な構成例を示すブロック図である。 本技術を適用した画像安定化の処理の概要を説明する図である。 読み出し領域の設定の様子の例を説明する図である。 IMUデータの推定の例を説明する図である。 読み出し領域の設定の様子の例を説明する図である。 IMUデータの推定の例を説明する図である。 読み出し領域設定の様子の例を説明する図である。 撮像処理の流れの例を説明するフローチャートである。 読み出し領域設定処理の流れの例を説明するフローチャートである。 読み出し領域設定処理の流れの例を説明するフローチャートである。 読み出し領域の設定の様子の例を説明する図である。 画像安定化部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 読み出し領域設定処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 画像処理システムの主な構成例を示すブロック図である。 画像安定化部の主な構成例を示すブロック図である。 サーバの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 切り出し処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 積層イメージセンサの主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．画像安定化
２．第１の実施の形態（撮像装置：IMUデータに基づく画像安定化）
３．第２の実施の形態（撮像装置：動きベクトルに基づく画像安定化）
４．第３の実施の形態（撮像装置：データの記録）
５．第４の実施の形態（画像処理システム）
６．第５の実施の形態（画像処理装置）
７．第６の実施の形態（積層イメージセンサ）
８．付記

＜１．画像安定化＞
＜EIS＞
従来、カメラのブレ補正技術（画像安定化技術）としてEIS（Electronic Image Stabilization）がある。EISでは、動画像の撮像画像の各フレームから動きに応じて部分画像を切り出すことにより画像を安定化させる。

例えば、図１に示される撮像装置１０のように、イメージセンサ１１は被写体を撮像して撮像画像２１を生成し、その撮像画像データを画像安定化部１２に供給する。IMU（Inertial Measurement Unit）（慣性計測装置）１３は、撮像装置１０の３軸の角速度や加速度を計測し、その計測データを画像安定化部１２に供給する。画像安定化部１２は、その計測データに基づいて、撮像装置１０の動きによる撮像画像２１の動きを検出し、その動きに基づいて、被写体の位置変動が抑制されるように、撮像画像２１から、その部分画像である切り出し画像２２を切り出し、出力する。

このような処理を動画像の撮像画像２１の各フレームについて行うことにより、撮像装置１０の動きによる被写体の位置のブレを抑制し、画像を安定化させることができる。

一般的にこのような処理は、撮像装置１０を持つ手のブレによる撮像画像のブレを補正する為に用いられる。これに対して、例えばユーザの体に装着して使用するようなウェアラブル機器の場合、撮像画像のブレは、一般的に、このような手ブレによるものよりも大きくなり易い。したがって、例えばこのようなウェアラブル機器としての撮像装置のブレ補正（画像安定化）技術として、より大きなブレを安定化させることができるようにすることが求められている。

その為には、上述の方法の場合、より大きな撮像画像２１から切り出し画像２２を切り出すようにすればよい。その際、出力する切り出し画像２２の解像度を変えないとすると、撮像画像２１の解像度を向上させることになる。すなわち、より高画素のイメージセンサ１１を用いて撮像を行うようにすればよい。

しかしながら、イメージセンサ１１の画素数が増大する程（すなわち、撮像画像２１の解像度が増大する程）、イメージセンサ１１からより大量のデータをより高速に読み出す必要がある。つまり、データ読み出しの負荷が増大するおそれがあった。より具体的には、例えば、出力インタフェースの帯域幅を拡大する必要があった。その為、開発や設計のコストが増大するおそれがあった。また、例えば、高バンドデータ転送に伴い消費電力が増大するおそれもあった。

付言するに、このように負荷が増大しても、出力する切り出し画像の解像度は変化しない。すなわち、画像安定化（ブレ補正）の為だけに負荷が増大してしまうおそれがあった。

そこで、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定し、その設定された処理対象フレームの読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定するようにする。

例えば、画像処理装置において、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、その読み出し領域設定部により設定された処理対象フレームの読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部とを備えるようにする。

また、例えば、画像処理システムにおいて、被写体を撮像する撮像装置と、画像処理を行う画像処理装置とを備え、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、その読み出し領域設定部により設定された処理対象フレームの読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部とを有するようにする。

このようにすることにより、撮像領域から読み出すデータ量の増大を抑制することができるので、画像安定化による負荷の増大を抑制することができる。

＜２．第１の実施の形態＞
＜撮像装置＞
図２は、本技術を適用した画像処理装置の一態様である撮像装置の主な構成の一例を示すブロック図である。図２に示される撮像装置１００は、例えば被写体を動画像で撮像し、その撮像画像に対して画像安定化処理（ブレ補正）を行って出力する装置である。

なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、撮像装置１００において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図２に示されるように撮像装置１００は、イメージセンサ１０１、画像安定化部１０２、およびIMU（Inertial Measurement Unit）（慣性計測装置）１０３を有する。

イメージセンサ１０１は、撮像部として駆動し、被写体を撮像し、被写体からの光を光電変換して、撮像画像を得る。イメージセンサ１０１は、被写体からの光を光電変換する撮像領域として複数の画素からなる画素領域１２１を有している。イメージセンサ１０１は、この画素領域１２１の任意の範囲を駆動して撮像を行い、撮像画像を生成することができる。この範囲は画像安定化部１０２により指定される（矢印１１１）。例えば、イメージセンサ１０１は、画像安定化部１０２により指定される画素領域１２１の一部の領域を読み出し領域として駆動して読み出し画像１２２を得る。

イメージセンサ１０１は、得られた撮像画像を画像安定化部１０２に供給する（矢印１１２）。例えば、イメージセンサ１０１は、画像安定化部１０２により指定された読み出し領域において得られた読み出し画像１２２を撮像画像として出力する。

IMU１０３は、イメージセンサ１０１（または、イメージセンサ１０１を含む撮像装置１００）の動きや姿勢を計測する計測部である。より具体的には、IMU１０３は、イメージセンサ１０１の３軸の角速度や加速度を計測する。IMU１０３は、そのイメージセンサ１０１の動きや姿勢に関する計測データ（IMUデータとも称する）を画像安定化部１２に供給する（矢印１１３）。

画像安定化部１０２は、イメージセンサ１０１から供給される撮像画像に対する画像安定化に関する処理を行う。例えば、画像安定化部１０２は、イメージセンサ１０１から供給される撮像画像（読み出し画像１２２）を取得する（矢印１１２）。また、画像安定化部１０２は、IMU１０３から供給されるIMUデータ（撮像装置１００の３軸の角速度や加速度）を取得する。

画像安定化部１０２は、取得したIMUデータに基づいて、取得した撮像画像（読み出し画像１２２）に対する画像安定化を行う。より具体的には、画像安定化部１０２は、IMUデータに基づいて、撮像装置１００の動きによる読み出し画像１２２の動きを検出し、その動きに基づいて、被写体の位置変動が抑制されるように、読み出し画像１２２から、その部分画像である切り出し画像１２３を切り出す。

画像安定化部１０２は、得られた切り出し画像１２３を撮像装置１００の外部に出力する（矢印１１４）。

また、画像安定化部１０２は、現在までのIMUデータに基づいて、現在のフレーム（処理対象のフレーム）の次以降の所定のフレーム（例えば現在のフレームの次のフレーム）に対応するIMUデータを推定し、その推定結果に基づいてその所定のフレームまでのイメージセンサ１０１の動きを推定し、その動きに基づいてその所定のフレームにおける読み出し領域を設定する。つまり、画像安定化部１０２は、所定のフレームまでのイメージセンサ１０１の動き（つまり画素領域１２１内における被写体の動き）を予測し、その所定のフレームにおいて、切り出し画像１２３が得られる読み出し画像１２２を得ることができるように、画素領域１２１内において読み出し領域の位置や形状（大きさ等を含む）を設定する。画像安定化部１０２は、その読み出し領域の設定をイメージセンサ１０１に供給する（矢印１１１）。

イメージセンサ１０１は、その所定のフレームの処理において、そのように画像安定化部１０２により設定された読み出し領域の読み出し画像１２２を得る。

つまり、撮像装置１００においては、イメージセンサ１０１から、画素領域１２１の一部である読み出し領域において得られる読み出し画像１２２を撮像画像として読み出す。図２に示されるように、この読み出し画像１２２は、画素領域１２１全体を用いて得られる撮像画像よりも小さい。したがって、画素領域１２１の全体において得られる画像を撮像画像として読み出す場合よりも、イメージセンサ１０１から読み出すデータ量の増大を抑制することができる。したがってイメージセンサ１０１の出力インタフェースの帯域幅の拡張等によるコストの増大や消費電力の増大を抑制することができる。付言するに、後段の画像安定化部１０２においても、同様の理由により、入力インタフェースの帯域幅の拡張やメモリ容量の増大によるコストの増大や、消費電力の増大を抑制することができる。

また、図２に示されるように、この読み出し画像１２２は、撮像装置１００より出力される切り出し画像１２３よりも大きい。そして、上述のように、画像安定化部１０２が、読み出し領域をIMUデータに基づいて設定する。したがって、その読み出し領域において得られた読み出し画像１２２から、画像を安定化させた（被写体の動きを抑制した）切り出し画像１２３を得ることができる。すなわち、読み出し画像１２２を用いて画像安定化を行うことができる。つまり、画像安定化による負荷の増大を抑制することができる。

＜イメージセンサ＞
図３は、イメージセンサ１０１の主な構成の一例を示すブロック図である。なお、図３においては、処理部やデータの流れ等の主なものを示しており、図３に示されるものが全てとは限らない。つまり、イメージセンサ１０１において、図３においてブロックとして示されていない処理部が存在したり、図３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図３に示されるように、イメージセンサ１０１は、通信部１３１、システム制御部１３２、行走査部１３３、列走査部１３４、ADC（Analog Digital Converter）１３５、および画素領域１３６を有する。

通信部１３１は、画像安定化部１０２との通信に関する処理を行う。例えば、通信部１３１は、MIPI（Mobile Industry Processor Interface）等の所定の通信規格に準拠して画像安定化部１０２との通信を行う。MIPIは、MIPI Allianceが策定する、モバイル機器のカメラやディスプレイとのインタフェース規格である。

例えば、通信部１３１は、この通信により、画像安定化部１０２から、読み出し領域に関する情報（読み出し領域の設定指示）を取得する。この読み出し領域に関する情報（読み出し領域の設定指示）には、例えば、その設定する読み出し領域の位置や形状（大きさも含む）に関する情報が含まれる。通信部は、その読み出し領域に関する情報（読み出し領域の設定指示）をシステム制御部１３２に供給する。

また、例えば、通信部１３１は、システム制御部１３２より供給される撮像画像データ（読み出し画像データ）を取得する。この撮像画像データ（読み出し画像データ）は、上述の情報（指示）により設定された読み出し領域において得られた画像データである。通信部１３１は、その撮像画像データ（読み出し画像データ）を、上述の通信により画像安定化部１０２に供給する。その際、通信部１３１は、撮像画像データ（読み出し画像データ）とともに、その撮像画像（読み出し画像）を得た読み出し領域に関する情報も画像安定化部１０２に供給する。この読み出し領域に関する情報には、例えば、その読み出し領域の位置や形状（大きさも含む）に関する情報が含まれる。

システム制御部１３２は、撮像の制御に関する処理を行う。例えば、システム制御部１３２は、行走査部１３３や列走査部１３４を制御して画素領域１３６に読み出し領域を設定し、その読み出し領域において撮像画像（すなわち読み出し画像）を生成させる。システム制御部１３２は、通信部１３１を介して画像安定化部１０２から供給される読み出し領域に関する情報（読み出し領域の設定指示）に基づいて、このような制御（つまり、読み出し領域の設定）を行う。つまり、システム制御部１３２は、読み出し領域に関する情報により示される位置や形状に読み出し領域を設定する。

また、システム制御部１３２は、例えば、このようにして設定された読み出し領域において得られた読み出し画像データを、ADC１３５を介して取得する。システム制御部１３２は、その読み出し画像データ（撮像画像データ）を、その読み出し画像データが得られた読み出し領域に関する情報とともに通信部１３１に供給し、それらを画像安定化部１０２に供給させる。

行走査部１３３は、システム制御部１３２の制御に従って、画素領域１３６に形成される画素アレイの各行の駆動（走査）を制御する。つまり、行走査部１３３は、画素アレイの内、駆動させる行を選択することができる。例えば、行走査部１３３は、画素領域１３６の内、読み出し領域に指定された行の各画素のみを駆動させ、画素データを生成させることができる。

列走査部１３４は、システム制御部１３２の制御に従って、画素領域１３６に形成される画素アレイの各列の駆動（列の走査）を制御する。より具体的には、列走査部１３４は、画素アレイの各列に対応するADC１３５内の各カラムADCの駆動を制御することにより、そのような制御を行う。つまり、列走査部１３４は、画素アレイの内、画素データを読み出す列を選択することができる。例えば、列走査部１３４は、画素領域１３６の内、読み出し領域に指定された列の各画素からのみ画素データを読み出すことができる。

したがって、システム制御部１３２は、行走査部１３３および列走査部１３４を制御することにより、画素アレイの内の所望の範囲（行や列）を読み出し領域とし、その読み出し領域の撮像画像（すなわち読み出し画像）を得ることができる。

ADC１３５は、画素領域１３６内に形成される画素アレイの列毎にADC（カラムADC）を有している。カラムADCは、対応する列の各画素より読み出されたアナログ信号の画素データをA/D変換する。ADC１３５は、列走査部１３４により制御されて、所望の列に対応するカラムADCを駆動し、その列の各画素において得られた画素データをA/D変換して、デジタルデータとしてシステム制御部１３２に供給する。

つまり、行走査部１３３および列走査部１３４が上述のように読み出し領域の行および列を駆動させることにより、ADC１３５は、読み出し領域の画素データをA/D変換し、デジタルデータの読み出し画像データとしてシステム制御部１３２に供給することができる。

画素領域１３６は、被写体からの光を光電変換する画素が複数形成される領域である。画素領域１３６には、その複数の画素がアレイ状に形成される。すなわち、画素領域１３６には複数の画素からなる画素アレイが形成される。この画素アレイは、画素領域１３６の略全体に形成され、画素領域１３６の略全体において被写体を撮像することができる。つまり、画素領域１３６全体が、被写体を撮像する撮像領域（有効画素領域）である。換言するに、イメージセンサ１０１は、画素領域１３６のほぼ全体を使って被写体を撮像する（撮像画像を得る）ことができる。

また、上述したように、イメージセンサ１０１は、この画素領域１３６の一部の領域を読み出し領域として設定し、その読み出し領域において被写体を撮像する（撮像画像を得る）ことができる。つまり、イメージセンサ１０１は、画素領域１３６全体の撮像画像よりも小さい（範囲の狭い）読み出し画像を得ることもできる。

なお、画素領域１３６における複数の画素の配置パタン（レイアウト）は任意であり、アレイ状以外であってもよい。ただし、以下においては、画素領域１３６には画素アレイが形成されるものとして説明する。なお、画素領域１３６に形成される画素アレイの行数および列数はそれぞれ任意である。また、図３においては画素領域１３６の形状を矩形に表しているが、画素領域１３６の形状は任意であり、矩形以外であってもよい。

＜画像安定化部＞
図４は、画像安定化部１０２の主な構成例を示すブロック図である。なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、画像安定化部１０２において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。図４に示されるように画像安定化部１０２は、通信部１５１、および画像処理部１５２を有する。

通信部１５１は、イメージセンサ１０１との通信に関する処理を行う。例えば、通信部１５１は、MIPI等の所定の通信規格に準拠してイメージセンサ１０１との通信を行う。

例えば、通信部１５１は、画像処理部１５２から供給される読み出し領域に関する情報（読み出し領域の設定指示）を取得する。この読み出し領域に関する情報（読み出し領域の設定指示）には、例えば、その設定する読み出し領域の位置や形状（大きさも含む）に関する情報が含まれる。通信部１５１は、この通信により、その読み出し領域に関する情報（読み出し領域の設定指示）をイメージセンサ１０１（の通信部１３１）に供給する。

また、例えば、通信部１５１は、この通信により、イメージセンサ１０１から供給される撮像画像データ（読み出し画像データ）およびその撮像画像（読み出し画像）を得た読み出し領域に関する情報を取得する。この読み出し領域に関する情報には、例えば、その読み出し領域の位置や形状（大きさも含む）に関する情報が含まれる。通信部１５１は、取得したこれらの情報を画像処理部１５２に供給する。

画像処理部１５２は、画像処理に関する処理を行う。特に、画像処理部１５２は、イメージセンサ１０１において得られた読み出し画像データに対する画像安定化等に関する処理を行う。図４に示されるように、画像処理部１５２は、撮像制御部１６１、動き情報取得部１６２、切り出し領域設定部１６３、切り出し部１６４、出力部１６５、学習部１６６、および読み出し領域設定部１６７を有する。

撮像制御部１６１は、通信部１５１を介してイメージセンサ１０１を制御し、撮像の制御に関する処理を行う。例えば、撮像制御部１６１は、イメージセンサ１０１に被写体を撮像させ、画素領域１３６（撮像領域）の読み出し領域において得られる撮像画像（読み出し画像）を取得する。

例えば、撮像制御部１６１は、読み出し領域設定部１６７により設定された読み出し領域に関する情報を、読み出し領域の設定指示としてイメージセンサ１０１に供給し、イメージセンサ１０１に対して、画素領域１３６内に読み出し領域を設定させ、その読み出し領域の読み出し画像を生成させる。

この読み出し領域に関する情報（読み出し領域の設定指示）には、例えば、その設定する読み出し領域の位置や形状（大きさも含む）に関する情報が含まれる。

また、例えば、撮像制御部１６１は、その生成された読み出し画像のデジタルデータ（読み出し画像データ）を、イメージセンサ１０１から取得する。その際、撮像制御部１６１は、その読み出し画像データとともに、その読み出し画像が得られた読み出し領域に関する情報を取得する。

この読み出し領域に関する情報には、例えば、その設定する読み出し領域の位置や形状（大きさも含む）に関する情報が含まれる。

撮像制御部１６１は、取得した読み出し画像データや読み出し領域に関する情報を、切り出し領域設定部１６３や切り出し部１６４に供給する。

動き情報取得部１６２は、IMU１０３において計測されたイメージセンサ１０１の動きや姿勢に関する計測データ（IMUデータ）を取得する。より具体的には、動き情報取得部１６２は、イメージセンサ１０１の３軸の角速度や加速度に関する計測データを取得する。動き情報取得部１６２は、そのIMUデータを切り出し領域設定部１６３や読み出し領域設定部１６７に供給する。

切り出し領域設定部１６３は、切り出し画像を切り出す切り出し領域の設定に関する処理を行う。例えば、切り出し領域設定部１６３は、撮像制御部１６１から供給される読み出し画像から切り出し画像（部分画像）を切り出す切り出し領域を設定する。

この読み出し画像は、上述したように、読み出し領域設定部１６７により設定された読み出し領域において得られた現在のフレーム（処理対象フレーム）の撮像画像である。つまり、切り出し領域設定部１６３は、処理対象フレームの読み出し領域内に、切り出し領域を設定する。

その際、切り出し領域設定部１６３は、切り出し領域の位置および形状（大きさも含む）を設定する。

また、切り出し領域設定部１６３は、動き情報取得部１６２により取得されたイメージセンサ１０１の動きや姿勢に関する計測データ（IMUデータ）に対応する現在までの動き情報に基づいて、現在フレーム（処理対象フレーム）の切り出し領域を設定する。例えば、切り出し領域設定部１６３は、動き情報取得部１６２からIMUデータを取得する。切り出し領域設定部１６３は、その動き情報取得部１６２により取得されたIMUデータに基づいてイメージセンサ１０１の現在までの動き情報を求め、その求めた現在までの動き情報に基づいて、現在フレーム（処理対象フレーム）の切り出し領域を設定する。

また、切り出し領域設定部１６３は、撮像制御部１６１から現在フレーム（処理対象フレーム）の読み出し領域に関する情報を取得する。切り出し領域設定部１６３は、上述のIMUデータと、その処理対象フレームの読み出し領域に関する情報とに基づいて、処理対象フレームの切り出し領域を設定する。

なお、この読み出し領域に関する情報には、読み出し領域の位置および形状に関する情報が含まれる。

切り出し領域設定部１６３は、被写体の位置変動が抑制されるように、切り出し領域を設定する。すなわち、切り出し領域設定部１６３は、切り出し画像内における被写体の動きを抑制するように（切り出し画像を安定化させるように）、切り出し領域を設定する。

切り出し領域設定部１６３は、設定した切り出し領域に関する情報を切り出し部１６４や学習部１６６に供給する。なお、この切り出し領域に関する情報は、例えば、切り出し領域の位置および形状（大きさも含む）に関する情報を含む。

切り出し部１６４は、切り出し画像の切り出しに関する処理を行う。例えば、切り出し部１６４は、撮像制御部１６１から、現在フレームの読み出し画像データと、その読み出し領域に関する情報とを取得する。また、例えば、切り出し部１６４は、切り出し領域設定部１６３から、現在フレームの切り出し領域に関する情報を取得する。例えば、切り出し部１６４は、それらの情報に基づいて、現在フレームの読み出し画像から切り出し画像を切り出す。つまり、切り出し部１６４は、例えば、読み出し画像内から、切り出し領域設定部１６３により設定された切り出し領域内の画像を切り出し画像として切り出す（抽出する）。切り出し部１６４は、切り出した切り出し画像を出力部１６５に供給する。

出力部１６５は、切り出し画像の出力に関する処理を行う。例えば、出力部１６５は、出力インタフェースを有し、その出力インタフェースを介して、切り出し画像のデータ（切り出し画像データ）を撮像装置１００（または画像安定化部１０２）の外部に出力する。また、例えば、出力部１６５は、モニタやスピーカ等の出力デバイスを有し、切り出し画像をモニタに表示したり、切り出し画像に対応する音声等をスピーカより出力したりする。

学習部１６６は、切り出し領域設定部１６３におより設定された切り出し領域に関する情報を取得する。学習部１６６は、現在までの切り出し領域の設定結果（設定された現在までの切り出し領域の位置や形状（大きさを含む））に基づいて、読み出し領域設定部１６７による読み出し領域の設定に関する学習を行う。学習部１６６は、得られた学習結果を読み出し領域設定部１６７に供給し、その学習結果を、読み出し領域の設定に反映させる。

なお、学習部１６６は、読み出し領域設定部１６７からイメージセンサ１０１の動きや姿勢の計測データおよび予測値を取得し、それらに基づいて、読み出し領域設定部１６７によるイメージセンサ１０１の動きや姿勢の予測に関する学習を行うようにしてもよい。学習部１６６は、得られた学習結果を読み出し領域設定部１６７に供給し、その学習結果を、イメージセンサ１０１の動きや姿勢の予測に反映させる。

読み出し領域設定部１６７は、読み出し領域の設定に関する処理を行う。例えば、読み出し領域設定部１６７は、処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する。

例えば、読み出し領域設定部１６７は、読み出し領域の位置および形状を設定する。

例えば、読み出し領域設定部１６７は、現在までの動き情報に基づいて所定のフレームまでの動き情報を、動き予測情報として推定し、その推定した動き情報に基づいて読み出し領域を設定する。

例えば、読み出し領域設定部１６７は、動き情報取得部１６２により取得された現在までのイメージセンサ１０１の動きや姿勢に関する計測データ（IMUデータ）を、現在までの動き情報として動き情報取得部１６２から取得し、その現在までのIMUデータに基づいて動き予測情報を推定し、推定した動き予測情報に基づいて読み出し領域を設定する。

また、読み出し領域設定部１６７は、例えば、学習部１６６による学習結果を反映して、読み出し領域の設定を行うことができる。また、例えば、読み出し領域設定部１６７は、学習部１６６による学習結果を反映して、イメージセンサ１０１の動きや姿勢の予測を行うこともできる。

読み出し領域設定部１６７は、設定した読み出し領域に関する情報を撮像制御部１６１に供給する。この読み出し領域に関する情報には、読み出し領域の位置および形状に関する情報が含まれる。

＜画像安定化の概要＞
次に画像の安定化に関する処理の流れについて概要を説明する。読み出し領域の設定は、イメージセンサ１０１が処理を行っている処理対象フレーム（フレームi（Frame i））の読み出しの前までに行われればよい。切り出し領域の設定は、切り出しが行われる前までに行われればよい。

例えば、画像安定化部１０２は、イメージセンサ１０１が処理を行っている処理対象フレーム（フレームi（Frame i））の次以降のフレームについての読み出し領域の設定を行い、処理対象フレームについての切り出し領域の設定を行うようにしてもよい。

例えば、図５に示される例のように、読み出し領域設定部１６７が、処理対象フレーム（フレームi（Frame i））の次のフレーム（フレームi+1（Frame i+1））の読み出し領域を設定し、切り出し領域設定部１６３が、処理対象フレーム（フレームi（Frame i））の切り出し領域を設定するようにしてもよい。

図５の例の場合、イメージセンサ１０１が処理対象フレーム（フレームi（Frame i））についての処理を行っている間に、画像安定化部１０２は、処理１８１を行う。すなわち、読み出し領域設定部１６７は、IMUデータの角速度や加速度のデータを使って、次フレームの読み出し位置（読み出し領域）を決める。

読み出し位置が決まると、画像安定化部１０２は、処理１８２を行う。すなわち、撮像制御部１６１は、イメージセンサ１０１に対して処理対象フレームの次のフレーム（フレームi+1（Frame i+1））の読み出し領域に関する情報を供給し、イメージセンサ１０１の読み出し位置の設定を行う。

そして、イメージセンサ１０１の処理対象フレームが、フレームi+1（Frame i+1）になると、画像安定化部１０２は、処理１８３を行う。すなわち、切り出し領域設定部１６３は、IMUデータを使って処理対象フレーム（フレームi+1（Frame i+1））の切り出し位置を決定する。また、読み出し領域設定部１６７は、処理対象フレームの次のフレーム（フレームi+2（Frame i+2））の読み出し位置を決定する。

つまり、図６に示されるように、各フレームについて将来の読み出し領域と現在の切り出し領域とを設定することにより、イメージセンサ１０１から読み出し画像として画素領域１３６の一部において得られた撮像画像を読み出し、その読み出し画像を用いて切り出し画像を生成することができる。すなわち、画像の安定化を行うことができる。

したがって、上述したように、画像安定化による負荷の増大を抑制することができる。

＜読み出し領域の設定＞
上述のように、読み出し領域設定部１６７は、処理対象フレームの次以降の所定のフレーム、すなわち、将来のフレームについて、読み出し領域を設定する。その際、読み出し領域設定部１６７は、IMUデータに基づいて、その所定のフレームまでのイメージセンサ１０１の動き（撮像画像における被写体の動き）を予測（推定）し、その動き予測情報に基づいて、読み出し領域を設定する。

この動き予測情報に基づく読み出し領域の設定方法は任意である。例えば、読み出し領域設定部１６７が、処理対象フレーム（現在フレーム）の読み出し領域を、動き予測情報に応じて移動させるようにしてもよい。

イメージセンサ１０１の動き予測の方法は任意である。例えば、読み出し領域設定部１６７が、現在までのIMUデータの値の変化に基づいて、将来のIMUデータを予測するようにしてもよい。例えば、図７の例の場合、読み出し領域設定部１６７が、処理対象フレーム（Frame i）において得られたIMUデータ２０１乃至IMUデータ２０８に基づいて、次のフレーム（Frame i+1）のIMUデータ２０９乃至IMUデータ２１２を予測するようにしてもよい。例えば図７の場合、読み出し領域設定部１６７は、IMUデータ２０７およびIMUデータ２０８の間の変化等に基づいて、IMUデータが直線２２１に沿って変化すると推定し、その直線２２１に沿ったIMUデータ２０９乃至IMUデータ２１２を予測している。

例えば、読み出し領域設定部１６７は、このように予測（推定）したIMUデータ２０９乃至IMUデータ２１２に基づいて、読み出し領域を移動させる。このようにすることにより、読み出し領域設定部１６７は、現在までのIMUデータに基づいて、次以降のフレームの読み出し領域を設定することができる。

なお、その際、読み出し領域設定部１６７が、任意の情報に基づいて、読み出し領域の形状や大きさを変えるようにしてもよい。例えば、予測した動きの大きさ（角速度や加速度の大きさ）等に応じて、読み出し領域の形状や大きさを変えるようにしてもよい。

また、例えば、読み出し領域設定部１６７が、動き予測情報（所定のフレームまでのIMUデータの推定値）に基づいて、所定のフレームにおける切り出し領域（の位置や形状）を推定し、その推定した切り出し領域に基づいて（推定した切り出し領域を含むように）、読み出し領域を設定（推定）するようにしてもよい。

このようにすることにより、読み出し領域のより多様な設定を実現することができる。例えば、推定した動きに応じて、切り出し領域に対する読み出し領域のマージンの取り方を可変とすることができる。図６に示されるように、読み出し領域は切り出し領域よりも大きい。したがって、設定した読み出し領域には、推定した切り出し領域以外の部分が含まれる。この部分は、切り出し領域の推定誤差のマージンとして利用することができる。

例えば、図７に示されるように、フレームi+1（Frame i+1）において、IMUデータ２３１乃至IMUデータ２３４が得られたとすると、これらと、予測したIMUデータ２０９乃至IMUデータ２１２との差分が切り出し領域の推定の誤差となる。この誤差が大きくなりすぎると、読み出し領域内に切り出し領域を設定することができず、画像安定化の精度が低減するおそれがある。つまり、推定した切り出し領域の枠と設定した読み出し領域との枠との間隔が広い程、このマージンが大きいと言える。

読み出し領域は、推定された切り出し領域を含むように設定されればよく、どの方向にどれくらいマージンを取るかは任意である。つまり、読み出し領域設定部１６７が、推定された切り出し領域に対して、どのような位置に読み出し領域を設定するかを、動き予測情報に基づいて、設定することができるようにしてもよい。

例えば、読み出し領域設定部１６７が、動き方向には、推定した切り出し領域の位置に誤差が含まれる可能性が高いとし、動き方向に対してより多くのマージンを取るように読み出し領域を設定するようにしてもよい。

また、例えば、その逆に、読み出し領域設定部１６７が、動き方向に垂直な方向に、推定した切り出し領域の位置に誤差が含まれる可能性が高いとし、動き方向に垂直な方向に対してより多くのマージンを取るように読み出し領域を設定するようにしてもよい。

このようにすることにより、撮像装置１００は、より高精度に切り出し画像を含むように読み出し画像を生成することができる。したがって、撮像装置１００の画像安定化の性能を向上させることができる。

なお、図７のような動き予測の際に、読み出し領域設定部１６７が、現在までのIMUデータ以外の情報にも基づいて、イメージセンサ１０１の動き予測を行うようにしてもよい。例えば手ブレの場合、撮像画像内の被写体はおおよそ周期的な振動のように動くのが一般的であり、右から左等のように一方向にのみ動く可能性は低い。同様に、人体に装着して使用するウェアラブル機器の場合も、徒歩運動等によって、撮像画像内の被写体はおおよそ周期的な振動のように動くのが一般的であり、右から左等のように一方向にのみ動く可能性は低い。

そこで、読み出し領域設定部１６７が、現在までの動き情報に基づいて、所定の規則性に従って、処理対象フレームの次以降の所定のフレームまでの動き情報を推定するようにしてもよい。例えば、読み出し領域設定部１６７が、現在までのIMUデータだけでなく、手ブレの動きや徒歩運動等の動きも考慮して、動き予測を行うようにしてもよい。

このようにすることにより、手振れ補正やウェアラブル機器におけるブレ補正（画像安定化）により適した動き予測を行うことができ、予測精度を向上させることができる。したがって、撮像装置１００は、より高精度に切り出し画像を含むように読み出し画像を生成することができる。したがって、撮像装置１００の画像安定化の性能を向上させることができる。

なお、切り出し領域設定部１６３は、設定された読み出し領域内に切り出し領域を設定することができない場合、処理対象フレームの読み出し領域内の、現在までの動き情報に対応する切り出し領域の位置に対して動き方向に最近傍の位置に、切り出し領域を設定するようにしてもよい。

つまり、切り出し領域を設定する際に、強制的に読み出し領域内に切り出し領域を設定するようにしてもよい。上述したように、イメージセンサ１０１から読み出し画像を読み出し、切り出し画像をその読み出し画像から切り出して生成する場合、切り出し領域を読み出し領域内に設定することができないと、切り出し画像を生成することができない。そこで、切り出し領域設定部１６３は、必ず読み出し領域内に切り出し領域を設定するようにする。このようにすることにより、確実に切り出し画像を生成することができる。

また、その際、切り出し領域設定部１６３が、切り出し領域を、読み出し領域内の、現在までの動き情報から求められる切り出し領域の位置に最も近い位置（最近傍の位置）に設定するようにしてもよい。つまり、処理対象フレームの読み出し領域内の、現在までの動き情報に対応する切り出し領域の位置に対して動き方向に最近傍の位置に、切り出し領域を設定するようにしてもよい。このようにすることにより、切り出し画像における被写体の位置のブレの増大を抑制することができる。

また、次以降の所定のフレームの読み出し領域を設定する際、読み出し領域設定部１６７が、読み出し領域の形状や大きさを変えるようにしてもよい。

例えば、読み出し領域設定部１６７が、推定した切り出し領域の回転量に応じて読み出し領域の形状や大きさを設定するようにしてもよい。例えば図８に示されるように、推定した切り出し領域が回転する場合、その切り出し領域を含む読み出し領域の形状や大きさが変化する（切り出し領域の回転量に応じて異なる）。そこで、そのように推定した切り出し領域が回転する場合、その回転量に応じて読み出し領域の形状や大きさを設定するようにしてもよい。このようにすることにより、より高精度に、読み出し領域が、切り出し領域を含むようにすることができる。したがって、撮像装置１００の画像安定化の性能を向上させることができる。

なお、動き予測に用いるIMUデータは、現在までのIMUデータであればよく、現在のフレームのIMUデータだけでなく、過去のフレームのIMUデータも用いるようにしてもよい。動き予測に用いるIMUデータの数は任意であり、任意のフレーム数のIMUデータを用いるようにしてもよい。例えば、図９に示されるような、遅延素子２５１、増幅部２５２、および加算部２５３よりなるFIR（Finite Impulse Response）フィルタを用い、複数のフレームのIMUデータの差分データを畳み込むことにより、所定のフレームのIMUデータを推定するようにしてもよい。

読み出し領域設定部１６７が読み出し領域を設定すると、撮像制御部１６１は、例えば図１０に示されるように、処理対象フレームの次のフレームに読み出し位置設定が反映できるタイミングにおいて、イメージセンサ１０１に対して、読み出し領域設定コマンドを発行する（処理２６１）。例えば、撮像制御部１６１は、垂直ブランキング期間において、読み出し領域設定コマンドを発行する。この読み出し領域設定コマンドには、処理対象フレームの次のフレーム（フレームi+1（Frame i+1））の読み出し領域に関する情報が含まれる。この読み出し領域に関する情報には、読み出し領域の位置および形状に関する情報が含まれる。

例えば、撮像制御部１６１は、通信部１５１を介して、I2C（MIPIの場合）、SPI等でイメージセンサ１０１に読み出し位置を設定する。

＜撮像処理の流れ＞
次に、以上のような撮像装置１００において実行される処理について説明する。最初に、撮像処理の流れの例を、図１１のフローチャートを参照して説明する。

撮像処理が開始されると、撮像制御部１６１は、ステップＳ１０１において、設定を初期化する。例えば、撮像制御部１６１は、読み出し領域の設定等（例えば読み出し領域の位置や形状等）を初期化する。

ステップＳ１０２において、撮像制御部１６１は、イメージセンサ１０１を制御し、被写体を撮像させる。イメージセンサ１０１は、被写体を撮像し、設定された読み出し領域の読み出し画像を生成する。

ステップＳ１０３において、撮像制御部１６１は、ステップＳ１０２の処理の撮像により得られた読み出し領域の撮像画像（読み出し画像）とその座標情報（読み出し領域に関する情報）を取得する。

ステップＳ１０４において、動き情報取得部１６２は、IMU１０３から、現在フレームに対応するIMUデータを取得する。

ステップＳ１０５において、切り出し領域設定部１６３は、ステップＳ１０３において得られた読み出し画像およびその座標情報、並びに、ステップＳ１０４において得られた現在フレームに対応するIMUデータに基づいて、被写体の位置の変動（ブレ）が抑制されるように、現在フレームの切り出し領域を設定する。

ステップＳ１０６において、切り出し部１６４は、ステップＳ１０３において得られた読み出し画像から、ステップＳ１０５の処理により設定された切り出し領域の画像を切り出し、切り出し画像を生成する。

ステップＳ１０７において、出力部１６５は、ステップＳ１０６の処理により生成された切り出し画像を出力する。

ステップＳ１０８において、学習部１６６は、ステップＳ１０６の切り出し結果に基づいて、読み出し位置推定の学習を行う。

ステップＳ１０９において、読み出し領域設定部１６７は、ステップＳ１０８の学習結果を反映させて、次以降の所定のフレーム（例えば次フレーム）の読み出し領域を設定する。

読み出し領域が設定されると、ステップＳ１１０において、撮像制御部１６１は、撮像を終了するか否かを判定する。終了しないと判定された場合、撮像制御部１６１は、ステップＳ１０９において設定された読み出し領域に関する情報をイメージセンサ１０１に供給し、その読み出し領域をイメージセンサ１０１に設定させる。つまり、読み出し領域の設定を更新する。読み出し領域の設定を更新すると、撮像制御部１６１は、処理をステップＳ１０２に戻し、それ以降の処理を繰り返す。

また、ステップＳ１１０において、撮像を終了すると判定された場合、撮像処理が終了する。

＜読み出し領域設定処理の流れ＞
次に、図１１のステップＳ１０９において実行される読み出し領域設定処理の流れの例を、図１２のフローチャートを参照して説明する。

読み出し領域設定処理が開始されると、読み出し領域設定部１６７は、ステップＳ１３１において、現在フレームに対応するIMUデータ等に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）に対応するIMUデータを推定する。

ステップＳ１３２において、読み出し領域設定部１６７は、現在フレームの次以降の所定のフレーム（例えば次フレーム）に対応するIMUデータの推定結果等に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）における読み出し領域（の位置や形状（大きさも含む）等）を推定する。

ステップＳ１３２の処理が終了すると、読み出し領域設定処理が終了し、処理は図１１に戻る。

＜読み出し領域設定処理の流れ＞
次に、図１１のステップＳ１０９において実行される読み出し領域設定処理の流れの他の例を、図１３のフローチャートを参照して説明する。

図１３の場合、読み出し領域設定処理が開始されると、読み出し領域設定部１６７は、ステップＳ１５１において、現在フレームに対応するIMUデータ等に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）に対応するIMUデータを推定する。

ステップＳ１５２において、読み出し領域設定部１６７は、現在フレームの次以降の所定のフレーム（例えば次フレーム）に対応するIMUデータの推定結果等に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）における切り出し領域（の位置や形状（大きさも含む）等）を推定する。

ステップＳ１５３において、読み出し領域設定部１６７は、現在フレームの次以降の所定のフレーム（例えば次フレーム）の切り出し領域の推定結果と、現在フレームの次以降の所定のフレーム（例えば次フレーム）に対応するIMUデータの推定結果等に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）における読み出し領域（の位置や形状（大きさも含む）等）を推定する。

ステップＳ１５３の処理が終了すると、読み出し領域設定処理が終了し、処理は図１１に戻る。

以上のように各処理を実行することにより、イメージセンサ１０１から、画素領域１２１の一部である読み出し領域において得られる読み出し画像１２２を撮像画像として読み出し、その読み出し画像から、画像を安定化させた（被写体の動きを抑制した）切り出し画像を切り出すことができる。つまり、イメージセンサ１０１から読み出すデータ量の増大を抑制することができ、画像安定化による負荷の増大を抑制することができる。

＜その他＞
なお、以上においては、撮像画像を得る際に、上述したように画像安定化を行うように説明したが、これに限らず、例えば、撮像前のモニタ等に表示するための取り込み画像を得る際に、上述したように画像安定化を行うようにしてもよい。取り込み画像の場合もイメージセンサ１０１および画像安定化部１０２の行う処理は、上述した撮像画像の場合と同様であるので、その説明は省略する。

また、図３においては、ADC１３５がカラムADCを有するように説明したが、ADC１３５が有するADCは任意であり、この例に限定されない。例えば、ADC１３５が、行毎のADC（ラインADC）を有するようにしてもよいし、領域毎のADC（エリアADC）を有するようにしてもよいし、画素毎のADC（画素ADC）を有するようにしてもよい。ただし、それらの場合、走査部（行走査部１３３および列走査部１３４）の構成が上述の例と異なる場合がある。

例えば、ADC１３５がラインADCを有する場合、列走査部１３４が駆動する画素列を選択し、行走査部１３３がADC１３５を制御して、ラインADCを駆動する画素行を選択する。また、例えば、ADC１３５がエリアADCを有する場合、行走査部１３３や列走査部１３４の代わりに、そのエリア毎に画素アレイの駆動を制御する走査部が設けられる。また、例えば、ADC１３５が画素ADCを有する場合、行走査部１３３や列走査部１３４の代わりに、画素毎に画素アレイの駆動を制御する走査部が設けられる。

また、以上においては、学習部１６６が、フレーム毎に学習を行うように説明したが、学習部１６６による学習は、一部のフレームについて行われるようにしてもよい。また、例えば、学習部１６６による学習は、一部のフレームにおいてまとめて行われるようにしてもよい。さらに、例えば、学習部１６６による学習が、不定期に行われるようにしてもよい。さらに、学習部１６６（による学習）を省略するようにしてもよい。

＜３．第２の実施の形態＞
＜動きベクトル＞
第１の実施の形態においては、動き情報としてIMUデータを用いるように説明したが、動き情報はこの例に限定されない。例えば、撮像画像のフレーム間の動きベクトルを動き情報として読み出し領域や切り出し領域の設定に用いるようにしてもよい。

例えば、図１４に示されるように、フレームi-1（Frame i-1）とフレームi（Frame i）との間で特徴点を用いて動きベクトルを求め、その動きベクトルを使ってフレームi（Frame i）とフレームi+1（Frame i+1）との間の動きベクトルを推定し、その推定した動きベクトルを用いてフレームi+1（Frame i+1）の読み出し位置を推定するようにしてもよい。そして、読み出し画像から、特徴点の情報を使用して切り出し領域を設定するようにしてもよい。

その場合、IMU１０３を省略することができる。つまり、この場合、撮像装置１００は、イメージセンサ１０１および画像安定化部１０２により構成される。したがって、コストの増大を抑制することができる。

＜画像安定化部＞
この場合の画像安定化部１０２の主な構成例を図１５に示す。図１５に示されるように、この場合の画像安定化部１０２は、動き情報取得部１６２（図４）の代わりに動きベクトル算出部３１１を有する。また、この場合の画像安定化部１０２（図１５）は、切り出し領域設定部１６３（図４）の代わりに、切り出し領域設定部３１２を有する。さらに、この場合の画像安定化部１０２（図１５）は、読み出し領域設定部１６７（図４）の代わりに、読み出し領域設定部３１３を有する。

動きベクトル算出部３１１は、撮像制御部１６１がイメージセンサ１０１から取得した読み出し画像およびその読み出し領域に関する情報を、撮像制御部１６１から取得する。撮像制御部１６１は、その読み出し画像（撮像画像）の特徴点について、フレーム間の動きベクトルを算出する（検出する）。動きベクトル算出部３１１は、算出した動きベクトルを切り出し領域設定部３１２および読み出し領域設定部３１３に供給する。

切り出し領域設定部３１２は、その動きベクトル算出部３１１により算出（検出）された現在までの動きベクトルに基づいて、処理対象フレーム（現在フレーム）の切り出し領域を設定する。それ以外の処理は、第１の実施の形態において説明した切り出し領域設定部１６３の場合と同様である。

読み出し領域設定部３１３は、その動きベクトル算出部３１１により算出（検出）された現在までの動きベクトルに基づいて、処理対象フレーム（現在フレーム）の次以降の所定のフレームの読み出し領域を設定する。それ以外の処理は、第１の実施の形態において説明した読み出し領域設定部１６７の場合と同様である。

このようにすることにより、撮像画像の特徴点のフレーム間の動きベクトルを用いて、読み出し領域や切り出し領域を設定することができる。したがって、IMU１０３を省略することができるので、コストの増大を抑制することができる。

＜撮像処理の流れ＞
この場合の撮像処理の流れの例を、図１６のフローチャートを参照して説明する。撮像処理が開始されると、ステップＳ２０１乃至ステップＳ２０３の各処理が、図１１の撮像処理のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

ステップＳ２０４において、動きベクトル算出部３１１は、ステップＳ１０３において得られた読み出し画像を用いて、現在フレームに対応する動きベクトルを算出する。すなわち、動きベクトル算出部３１１は、現在フレームと現在フレームの１つ前のフレームとの間で、読み出し画像の特徴点を比較し、動きベクトルを算出する。

ステップＳ２０５において、切り出し領域設定部３１２は、ステップＳ２０４の処理により得られた動きベクトルに基づいて、被写体の位置の変動（ブレ）が抑制されるように、現在フレームの切り出し領域を設定する。

ステップＳ２０６乃至ステップＳ２０８の各処理は、図１１の撮像処理のステップＳ１０６乃至ステップＳ１０８の各処理と同様に実行される。

ステップＳ２０９において、読み出し領域設定部３１３は、ステップＳ２０８の学習結果を反映させて、次以降の所定のフレーム（例えば次フレーム）の読み出し領域を設定する。
ステップＳ２１０の処理は、図１１の撮像処理のステップＳ１１０の処理と同様に実行される。すなわち、ステップＳ２１０において、撮像処理を終了しないと判定された場合、Ｓ２０９において設定された読み出し領域に関する情報をイメージセンサ１０１に供給し、その読み出し領域をイメージセンサ１０１に設定させる。つまり、読み出し領域の設定が更新される。読み出し領域の設定が更新されると、撮像制御部１６１は、処理をステップＳ２０２に戻し、それ以降の処理を繰り返す。また、ステップＳ１１０において、撮像を終了すると判定された場合、撮像処理が終了する。

＜読み出し領域設定処理の流れ＞
次に、この場合の読み出し領域設定処理（図１６のステップＳ２０９において実行される読み出し領域設定処理）の流れの例を、図１７のフローチャートを参照して説明する。なお、この読み出し領域設定処理は、図１２のフローチャートを参照して説明した読み出し領域設定処理に対応する。図１７に示されるように、図１２のフローチャートにおけるIMUデータを動きベクトルに置き換えることにより、この場合の読み出し領域設定処理の流れの例を説明することができる。

つまり、読み出し領域設定処理が開始されると、読み出し領域設定部３１３は、ステップＳ２３１において、現在フレームに対応する動きベクトル等に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）に対応する動きベクトルを推定する。

ステップＳ２３２において、読み出し領域設定部３１３は、現在フレームの次以降の所定のフレーム（例えば次フレーム）に対応する動きベクトルの推定結果等に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）における読み出し領域（の位置や形状（大きさも含む）等）を推定する。

ステップＳ２３２の処理が終了すると、読み出し領域設定処理が終了し、処理は図１６に戻る。

以上のように各処理を実行することにより、動きベクトルを用いて画像安定化を行うことができる。したがってIMU１０３を省略することができ、第１の実施の形態の場合に比べて、コストの増大を抑制することができる。

なお、この場合も、動きベクトル推定結果に基づいて、現在フレームの次以降の所定のフレーム（例えば次フレーム）の切り出し領域を推定し、その切り出し領域の推定結果に基づいて、読み出し領域を推定するようにしてもよい。その場合の、読み出し領域設定処理の流れは、図１３のフローチャートに対応する。つまり、図１７の場合と同様に、図１３のフローチャートにおけるIMUデータを動きベクトルに置き換えることにより、この場合の読み出し領域設定処理の流れの例を説明することができる。

なお、以上においては、動き情報として、動きベクトルを算出（検出）するように説明したが、これに限らず、撮像画像の消失点を検出し、消失点がどれだけ動いたかに基づいて動き量を検出するようにしてもよい。これにより、撮像画像において特徴点が存在しないような場合であっても、動き量を検出することができる。例えば、撮像装置１００を、車線から消失点を推定することができる車載カメラとして適用する場合に、このようにすることにより、容易に動き量を検出することができる。

＜４．第３の実施の形態＞
＜撮像装置＞
なお、撮像装置１００の構成例は、図２の例に限定されない。例えば、撮像装置１００が、生成した切り出し画像をモニタに表示したり、メモリに記録したり、他の装置に送信したりするようにしてもよい。

図１８は、撮像装置１００の他の構成例を示すブロック図である。図１８に示されるように、この場合、撮像装置１００は、イメージセンサ１０１乃至IMU１０３の他に、出力部（表示部）３５１、記録部３５２、通信部３５３、およびドライブ３５４を有する。

出力部（表示部）３５１は、例えば、切り出し画像を表示可能な表示デバイスや、切り出し画像を投影可能な投影デバイス等といった、切り出し画像を出力可能な出力デバイスを有しており、画像安定化部１０２により生成された切り出し画像の出力（表示等）に関する処理を行う。例えば、出力部（表示部）３５１は、画像安定化部１０２から供給される切り出し画像を、モニタに表示したり、投影スクリーン等に投影したりする。

記録部３５２は、例えば、ハードディスク、RAM（Random Access Memory）ディスク、不揮発性のメモリなどよりなり、画像安定化部１０２により生成された切り出し画像の記録に関する処理（書き込みや読み出し等）を行う。例えば、記録部３５２は、画像安定化部１０２から供給される切り出し画像を、その記憶領域（メモリ等）に記録する。また、例えば、記録部３５２は、その記憶領域に記録されている切り出し画像を、画像安定化部１０２に供給する。

なお、切り出し画像を記録する際に、切り出し画像データを符号化して記録するようにしてもよい。この切り出し画像を読み出す場合は、記録部３５２は、切り出し画像の符号化データを読み出して復号し、切り出し画像データを画像安定化部１０２に供給する。

通信部３５３は、例えば、有線若しくは無線、またはその両方のネットワークインタフェースよりなり、通信相手である他の装置との通信に関する処理を行う。例えば、通信部３５３は、所定の通信規格に準拠して他の装置と通信を行い、画像安定化部１０２から供給される切り出し画像を、他の装置に供給する。また、例えば、通信部３５３は、所定の通信規格に準拠して他の装置と通信を行い、他の装置から切り出し画像を取得し、それを画像安定化部１０２等に供給する。

なお、このように切り出し画像を他の装置と授受する際に、切り出し画像データを符号化するようにしてもよい。例えば、通信部３５３が、切り出し画像を符号化し、その符号化データ（またはビットストリーム）を他の装置に送信するようにしてもよい。また、例えば、通信部３５３が、他の装置から送信された切り出し画像の符号化データを受信し、それを復号して切り出し画像データを画像安定化部１０２等に供給するようにしてもよい。

ドライブ３５４は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３６１を駆動する。例えば、ドライブ３５４は、画像安定化部１０２から供給された切り出し画像データを、リムーバブルメディア３６１に記録する。その際、ドライブ３５４は、切り出し画像データを符号化し、その符号化データをリムーバブルメディア３６１に記録するようにしてもよい。

以上のように、撮像装置１００は、切り出し画像を出力したり、メモリに記録したり、他の装置に伝送したり、リムーバブルメディアに記録したりすることができる。

＜５．第４の実施の形態＞
＜画像処理システム＞
なお、画像安定化部１０２が切り出し領域の設定や切り出し画像の生成を行わずに、読み出し画像およびその座標情報、並びに、現在までのIMUデータを互いに関連付けて出力するようにしてもよい。そして、切り出し領域の設定や切り出し画像の生成を、後段の装置（例えばサーバ等）において行うようにしてもよい。

図１９は、本技術を適用した画像処理システムの一態様の主な構成の一例を示すブロック図である。図１９に示される画像処理システム４００は、撮像装置１００およびサーバ４０１により構成され、全体として図２の撮像装置１００と同様の処理を行う。

図１９の画像処理システム４００の場合、撮像装置１００は、第１の実施の形態の場合と同様に、イメージセンサ１０１、画像安定化部１０２、およびIMU１０３を有する。ただし、この場合の画像安定化部１０２は、切り出し領域の設定や切り出し画像の生成を行わずに、読み出し画像およびその座標情報（読み出し領域に関する情報）、並びに、現在までのIMUデータを互いに関連付けてサーバ４０１に供給する。

サーバ４０１は、それらの情報を取得し、その取得した情報に基づいて、切り出し領域の設定や、切り出し画像の生成等の処理を行う。

＜画像安定化部＞
この場合の画像安定化部１０２の主な構成例を図２０に示す。図２０に示されるように、この場合も、画像安定化部１０２は、図４の場合と同様に、通信部１５１および画像処理部１５２を有する。ただし、画像処理部１５２は、図４の場合と異なり、撮像制御部１６１、動き情報取得部１６２、読み出し領域設定部１６７、および通信部４１１を有する。換言するに、この場合の画像処理部１５２は、切り出し領域設定部１６３乃至学習部１６６を有していない。

撮像制御部１６１は、基本的に図４の場合と同様の処理を行うが、イメージセンサ１０１より取得した読み出し画像およびその読み出し領域に関する情報（座標情報を含む）を、通信部４１１に供給する。

動き情報取得部１６２は、基本的に図４の場合と同様の処理を行うが、IMU１０３より取得した動き情報（現在までのIMUデータ）を、通信部４１１と読み出し領域設定部１６７に供給する。

読み出し領域設定部１６７は、基本的に図４の場合と同様の処理を行い、現在までの動き情報に基づいて、処理対象フレームの次以降の所定のフレームの読み出し領域を設定する。読み出し領域設定部１６７は、設定した読み出し領域に関する情報を撮像制御部１６１に供給する。

通信部４１１は、所定の通信規格に準拠してサーバ４０１と通信を行い、読み出し画像およびその読み出し領域に関する情報（座標情報を含む）、並びに、現在までのIMUデータを、サーバ４０１に送信する。

このように、切り出し領域の設定や切り出し画像の生成に関する処理を省略することができるので、撮像装置１００は、画像安定化による負荷の増大を抑制することができる。

＜サーバ＞
図２１は、サーバ４０１の主な構成例を示すブロック図である。図２１に示されるように、サーバ４０１は、通信部４２１、切り出し領域設定部４２２、切り出し部４２３、および出力部４２４を有する。

通信部４２１は、所定の通信規格に準拠して撮像装置１００と通信を行い、撮像装置１００から送信される、読み出し画像およびその読み出し領域に関する情報（座標情報を含む）、並びに、現在までのIMUデータを受信する。通信部４２１は、受信したそれらの情報を切り出し領域設定部４２２に供給する。

切り出し領域設定部４２２は、基本的に切り出し領域設定部１６３（図４）と同様の処理を行い、通信部４２１から供給された情報を用いて、読み出し画像において、切り出し画像内における被写体の動きを抑制するように（切り出し画像を安定化させるように）切り出し領域を設定する。切り出し領域設定部４２２は、その設定した切り出し領域に関する情報を、通信部４２１から供給された情報とともに、切り出し部４２３に供給する。

切り出し部４２３は、基本的に切り出し部１６４（図４）と同様の処理を行い、読み出し画像から、切り出し領域設定部４２２により設定された切り出し領域の画像を切り出し、切り出し画像を生成する。切り出し部４２３は、生成した切り出し画像を出力部４２４に供給する。

出力部４２４は、基本的に出力部１６５（図４）と同様の処理を行い、切り出し画像のデータ（切り出し画像データ）を、出力インタフェースを介してサーバ４０１の外部に出力する。また、例えば、出力部４２４は、モニタやスピーカ等の出力デバイスを有し、切り出し画像をモニタに表示したり、切り出し画像に対応する音声等をスピーカより出力したりする。

このように、切り出し領域の設定や切り出し画像の生成に関する処理を、比較的高性能なサーバ４０１において行うことにより、比較的低性能な撮像装置１００においてこれらの処理を省略することができるので、撮像装置１００は、画像安定化による負荷の増大を抑制することができる。

＜撮像処理の流れ＞
この場合の撮像装置１００により実行される撮像処理の流れの例を、図２２のフローチャートを参照して説明する。

撮像処理が開始されると、ステップＳ３０１乃至ステップＳ３０４の各処理が、図１１のステップＳ１０１乃至ステップＳ１０４の各処理と同様に実行される。

ステップＳ３０５において、通信部４１１は、ステップＳ３０３の処理により得られた読み出し画像と座標情報、並びに、ステップＳ３０４の処理により得られた現在までのIMUデータを互いに関連付けてサーバ４０１に供給する。

ステップＳ３０６およびステップＳ３０７の各処理は、図１１のステップＳ１０９およびステップＳ１１０の各処理と同様に実行される。

すなわち、ステップＳ３０７において、撮像を終了しないと判定された場合、撮像制御部１６１は、ステップＳ３０６において設定された読み出し領域に関する情報をイメージセンサ１０１に供給し、その読み出し領域をイメージセンサ１０１に設定させる。つまり、読み出し領域の設定を更新する。読み出し領域の設定を更新すると、撮像制御部１６１は、処理をステップＳ３０２に戻し、それ以降の処理を繰り返す。

また、ステップＳ３０７において、撮像を終了すると判定された場合、撮像処理が終了する。

＜切り出し処理の流れ＞
次に、図２３のフローチャートを参照して、サーバ４０１により実行される切り出し処理の流れの例を説明する。

切り出し処理が開始されると、ステップＳ３２１において、通信部４２１は、撮像装置１００から、読み出し画像、読み出し領域に関する情報（座標情報を含む）、および現在までのIMUデータを取得する。

ステップＳ３２２において、切り出し領域設定部４２２は、ステップＳ１０５（図１１）の場合と同様に、ステップＳ３２１において得られた読み出し画像およびその座標情報、並びに、現在までのIMUデータに基づいて、被写体の位置の変動（ブレ）が抑制されるように、現在フレームの切り出し領域を設定する。

ステップＳ３２３において、切り出し部４２３は、ステップＳ１０６（図１１）の場合と同様に、ステップＳ３２１において得られた読み出し画像から、ステップＳ３２２の処理により設定された切り出し領域の画像を切り出し、切り出し画像を生成する。

ステップＳ３２４において、出力部４２４は、ステップＳ１０７（図１１）の場合と同様に、ステップＳ３２３の処理により生成された切り出し画像を出力する。

ステップＳ３２５において、通信部４２１は、切り出し処理を終了するか否かを判定する。撮像装置１００からの読み出し画像等の情報の送信が継続しており、切り出し処理を終了しないと判定された場合、処理はステップＳ３２１に戻り、それ以降の処理が繰り返される。

ステップＳ３２５において、撮像装置１００からの読み出し画像等の情報の送信が終了する等して、切り出し処理を終了すると判定された場合、切り出し処理が終了する。

以上のように各処理を実行することにより、画像処理システム４００は、第１の実施の形態の撮像装置１００の場合と同様に、画像安定化による負荷の増大を抑制することができる。

＜６．第５の実施の形態＞
＜画像処理装置＞
なお、本技術は、撮像装置以外の画像処理装置にも適用することができる。少なくとも、読み出し領域の設定と、切り出し領域の設定を行うことができればよい。例えば、第１の実施の形態の撮像装置１００の、読み出し領域設定部１６７と切り出し領域設定部１６３とを、撮像装置１００と別体の画像処理装置として構成するようにしてもよい。

図２４は、本技術を適用した画像処理装置の一態様の主な構成の一例を示すブロック図である。図２４に示される画像処理装置５０１は、撮像装置１００（のイメージセンサ１０１）に対して、読み出し領域や切り出し領域を設定する画像処理装置である。

画像処理装置５０１は、読み出し領域設定部５１１および切り出し領域設定部５１２を有する。

読み出し領域設定部５１１は、読み出し領域設定部１６７と同様の処理部であり、同様の処理を行う。例えば、読み出し領域設定部５１１は、撮像装置１００の画像安定化部１０２から、現在までのIMUデータを取得し、その情報に基づいて、処理対象フレームの次以降の所定のフレームの読み出し領域を設定する。そして、読み出し領域設定部５１１は、その読み出し領域に関する情報（読み出し領域設定情報）を画像安定化部１０２に供給する。撮像装置１００は、その読み出し領域において読み出し画像を生成する。

また、切り出し領域設定部５１２は、切り出し領域設定部１６３と同様の処理部であり、同様の処理を行う。例えば、切り出し領域設定部５１２は、撮像装置１００のお画像安定化部１０２から、読み出し画像およびその読み出し領域に関する情報（座標情報を含む）、並びに、現在までのIMUデータを取得し、それらの情報に基づいて、処理対象フレームの切り出し領域を設定する。そして、切り出し領域設定部５１２は、その切り出し領域に関する情報（切り出し領域設定情報）を画像安定化部１０２に供給する。撮像装置１００は、その切り出し領域において切り出し画像を生成する。

なお、この場合、撮像装置１００の画像安定化部１０２の読み出し領域設定部１６７と切り出し領域設定部１６３は、省略することができる。

このような構成であっても、画像処理装置５０１は、撮像装置１００に、イメージセンサ１０１から読み出し画像を読み出させ、その読み出し画像を用いて画像安定化させた切り出し画像を生成させることができる。したがって、画像処理装置５０１は、第１の実施の形態の場合と同様に、撮像装置１００の画像安定化による負荷の増大を抑制することができる。

＜７．第６の実施の形態＞
＜積層イメージセンサ＞
なお、本技術は、例えば、半導体基板が封止されたパッケージ（チップ）やそのパッケージ（チップ）が回路基板に設置されたモジュール等として実現するようにしてもよい。例えば、パッケージ（チップ）として実現する場合、そのパッケージ（チップ）において撮像素子が、単一の半導体基板により構成されるようにしてもよいし、互いに重畳される複数の半導体基板により構成されるようにしてもよい。

図２５は、本技術を適用した積層イメージセンサの物理構成の一例を示す図である。例えば、図２５Ａに示される積層イメージセンサ６１０は、互いに重畳される２枚の半導体基板（積層基板（画素基板６１１および回路基板６１２））を有する。例えば、画素基板６１１の画素領域には、撮像装置１００のイメージセンサ１０１の画素領域１３６（図３）が形成され、回路基板６１２の信号処理回路領域には、イメージセンサ１０１のその他の構成（図３）や画像安定化部１０２およびIMU１０３が形成されるようにしてもよい。このような構成とすることにより、画素領域を大きくすることができる。

なお、この半導体基板（積層基板）の数（層数）は任意であり、例えば３層以上であってもよい。例えば、図２５Ｂに示されるメモリ搭載積層イメージセンサ６２０は、互いに重畳される３枚の半導体基板（積層基板（画素基板６２１、メモリ基板６２２、および回路基板６２３））を有する。例えば、画素基板６２１の画素領域には、撮像装置１００のイメージセンサ１０１の画素領域１３６（図３）が形成され、メモリ基板６２２のメモリ領域には、読み出し画像（撮像画像）等を記憶するメモリが形成され、回路基板６２３の信号処理回路領域には、イメージセンサ１０１のその他の構成（図３）や画像安定化部１０２およびIMU１０３が形成されるようにしてもよい。このような構成とすることにより、画素領域を大きくすることができる。

＜８．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２６に示されるコンピュータ７００において、CPU（Central Processing Unit）７０１、ROM（Read Only Memory）７０２、RAM（Random Access Memory）７０３は、バス７０４を介して相互に接続されている。

バス７０４にはまた、入出力インタフェース７１０も接続されている。入出力インタフェース７１０には、入力部７１１、出力部７１２、記憶部７１３、通信部７１４、およびドライブ７１５が接続されている。

入力部７１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部７１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部７１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部７１４は、例えば、ネットワークインタフェースよりなる。ドライブ７１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア７２１を駆動する。

以上のように構成されるコンピュータでは、CPU７０１が、例えば、記憶部７１３に記憶されているプログラムを、入出力インタフェース７１０およびバス７０４を介して、RAM７０３にロードして実行することにより、上述した一連の処理が行われる。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア７２１をドライブ７１５に装着することにより、入出力インタフェース７１０を介して、記憶部７１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部７１４で受信し、記憶部７１３にインストールすることができる。

その他、このプログラムは、ROM７０２や記憶部７１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

例えば、本開示に係る技術（本技術）は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置（またはシステム）として実現されてもよい。

例えば、車両制御装置（または車両制御システム）が、移動体に搭載された撮像装置１００（またはその他の実施の形態において説明した本技術を適用した装置等）により得られた切り出し画像（画像安定化が施された撮像画像）に基づいて（またはその切り出し画像から得られる情報に基づいて）、駆動力発生装置、ステアリング機構または制動装置の制御目標値を演算し、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行（例えば、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等）、車速維持走行、車両の衝突警告（例えば音声や画像による障害物との衝突警告等）、または車両のレーン逸脱警告や近傍の歩行者の注意喚起表示等を含むADAS（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができるようにしてもよい。

また、例えば、車両制御装置（または車両制御システム）が、移動体に搭載された撮像装置１００（またはその他の実施の形態において説明した本技術を適用した装置等）により得られた切り出し画像（画像安定化が施された撮像画像）に基づいて（またはその切り出し画像から得られる情報に基づいて）、駆動力発生装置、ステアリング機構または制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができるようにしてもよい。

さらに、例えば、車両制御装置（または車両制御システム）が、移動体に搭載された撮像装置１００（またはその他の実施の形態において説明した本技術を適用した装置等）により得られた切り出し画像（画像安定化が施された撮像画像）に基づいて（またはその切り出し画像から得られる情報に基づいて）、先行車または対向車の位置を検出し、その位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができるようにしてもよい。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、撮像画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、
前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部と
を備える画像処理装置。
（２） 前記読み出し領域設定部は、前記読み出し領域の位置および形状を設定する
（１）に記載の画像処理装置。
（３） 前記読み出し領域設定部は、現在までの動き情報に基づいて前記所定のフレームまでの動き情報を、前記動き予測情報として推定し、推定した前記動き情報に基づいて前記読み出し領域を設定する
（１）または（２）に記載の画像処理装置。
（４） 前記読み出し領域設定部は、現在までの前記動き情報に基づいて、所定の規則性に従って、前記所定のフレームまでの動き情報を推定する
（３）に記載の画像処理装置。
（５） 前記読み出し領域設定部は、前記動き予測情報に基づいて、前記所定のフレームにおける前記切り出し領域を推定し、推定した前記切り出し領域を含むように前記読み出し領域を設定する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記読み出し領域設定部は、推定した前記切り出し領域の回転量に応じて前記読み出し領域の大きさを設定する
（５）に記載の画像処理装置。
（７） 前記切り出し領域設定部は、前記切り出し領域の位置および形状を設定する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記切り出し領域設定部は、前記処理対象フレームの前記読み出し領域内に、前記切り出し領域を設定する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記切り出し領域設定部は、前記処理対象フレームの前記読み出し領域内の、現在までの動き情報に対応する切り出し領域の位置に対して動き方向に最近傍の位置に、前記切り出し領域を設定する
（８）に記載の画像処理装置。
（１０） 前記切り出し領域設定部は、現在までの動き情報と、前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域に関する情報とに基づいて、前記処理対象フレームの前記切り出し領域を設定する
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記読み出し領域に関する情報は、前記読み出し領域の位置および形状に関する情報を含む
（１０）に記載の画像処理装置。
（１２） 前記読み出し領域設定部は、処理対象フレームの次のフレームについて前記読み出し領域を設定し、
前記切り出し領域設定部は、前記処理対象フレームの前記切り出し領域を設定する
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記読み出し画像から、前記切り出し領域設定部により設定された前記切り出し領域の部分画像を切り出す切り出し部をさらに備える
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記切り出し領域設定部による前記切り出し領域の設定結果に基づいて、前記読み出し領域設定部による前記読み出し領域の設定に関する学習を行う学習部をさらに備え、
前記読み出し領域設定部は、前記学習部による学習結果を反映して、前記読み出し領域の設定を行う
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 撮像部に被写体を撮像させ、前記撮像部の前記撮像領域の前記読み出し領域において得られる撮像画像である前記読み出し画像を取得する撮像制御部をさらに備える
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記撮像制御部は、前記読み出し領域設定部により設定された前記読み出し領域に関する情報を前記撮像部に供給し、
前記撮像部は、被写体を撮像し、供給された前記読み出し領域に関する情報に示される前記読み出し領域の撮像画像を生成する
（１５）に記載の画像処理装置。
（１７） 前記撮像制御部は、垂直ブランキング期間において、処理対象フレームの次のフレームの前記読み出し領域に関する情報を前記撮像部に供給する
（１６）に記載の画像処理装置。
（１８） 前記読み出し領域に関する情報は、前記読み出し領域の位置および形状に関する情報を含む
（１６）または（１７）に記載の画像処理装置。
（１９） 前記撮像制御部は、前記読み出し画像とともに、前記読み出し領域に関する情報を取得する
（１５）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 前記読み出し領域に関する情報は、前記読み出し領域の位置および形状に関する情報を含む
（１９）に記載の画像処理装置。
（２１） 被写体を撮像する撮像部をさらに備え、
前記撮像制御部は、前記撮像部に被写体を撮像させ、前記読み出し画像を取得する
（１５）乃至（２０）のいずれかに記載の画像処理装置。
（２２） 計測部により計測された撮像部の動きや姿勢に関する計測データを取得する取得部をさらに備え、
前記読み出し領域設定部は、前記取得部により取得された前記撮像部の動きや姿勢に関する前記計測データに基づいて前記動き予測情報を推定し、推定した前記動き予測情報に基づいて前記読み出し領域を設定する
（１）乃至（２１）のいずれかに記載の画像処理装置。
（２３） 前記切り出し領域設定部は、前記取得部により取得された前記撮像部の動きや姿勢に関する前記計測データに対応する現在までの動き情報に基づいて、前記処理対象フレームの前記切り出し領域を設定する
（２２）に記載の画像処理装置。
（２４） 前記計測部をさらに備える
（２２）または（２３）に記載の画像処理装置。
（２５） 撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部をさらに備え、
前記読み出し領域設定部は、前記動きベクトル検出部により検出された前記動きベクトルに基づいて前記読み出し領域を設定する
（１）乃至（２４）のいずれかに記載の画像処理装置。
（２６） 前記切り出し領域設定部は、前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記処理対象フレームの前記切り出し領域を設定する
（２５）に記載の画像処理装置。
（２７） 処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定し、
設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する
画像処理方法。
（２８） 被写体を撮像する撮像装置と、
画像処理を行う画像処理装置と
を備え、
処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、
前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部と
を有する画像処理システム。

１００ 撮像装置， １０１ イメージセンサ， １０２ 画像安定化部， １０３ IMU， １３１ 通信部, １３２ システム制御部， １３３ 行走査部， １３４ 列走査部， １３５ ADC， １３６ 画素領域， １５１ 通信部， １５２ 画像処理部， １６１ 撮像制御部， １６２ 動き情報取得部， １６３ 切り出し領域設定部， １６４ 切り出し部， １６５ 出力部， １６６ 学習部， １６７ 読み出し領域設定部， ３１１ 動きベクトル算出部， ３１２ 切り出し領域設定部， ３１３ 読み出し領域設定部， ３５１ 出力部， ３５２ 記録部， ３５３ 通信部， ３５４ ドライブ， ３６１ リムーバブルメディア， ４０１ サーバ， ４１１ 通信部， ４２１ 通信部， ４２２ 切り出し領域設定部， ４２３ 切り出し部， ４２４ 出力部， ５０１ 画像処理装置， ５１１ 読み出し領域設定部， ５１２ 切り出し領域設定部， ６１０ 積層イメージセンサ， ６２０ メモリ搭載積層イメージセンサ， ７００ コンピュータ

Claims (20)

1. 処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、
   前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部と
   を備える画像処理装置。
2. 前記読み出し領域設定部は、前記読み出し領域の位置および形状を設定する
   請求項１に記載の画像処理装置。
3. 前記読み出し領域設定部は、現在までの動き情報に基づいて前記所定のフレームまでの動き情報を、前記動き予測情報として推定し、推定した前記動き情報に基づいて前記読み出し領域を設定する
   請求項１に記載の画像処理装置。
4. 前記読み出し領域設定部は、現在までの前記動き情報に基づいて、所定の規則性に従って、前記所定のフレームまでの動き情報を推定する
   請求項３に記載の画像処理装置。
5. 前記読み出し領域設定部は、前記動き予測情報に基づいて、前記所定のフレームにおける前記切り出し領域を推定し、推定した前記切り出し領域を含むように前記読み出し領域を設定する
   請求項１に記載の画像処理装置。
6. 前記読み出し領域設定部は、推定した前記切り出し領域の回転量に応じて前記読み出し領域の大きさを設定する
   請求項５に記載の画像処理装置。
7. 前記切り出し領域設定部は、前記切り出し領域の位置および形状を設定する
   請求項１に記載の画像処理装置。
8. 前記切り出し領域設定部は、前記処理対象フレームの前記読み出し領域内に、前記切り出し領域を設定する
   請求項１に記載の画像処理装置。
9. 前記切り出し領域設定部は、前記処理対象フレームの前記読み出し領域内の、現在までの動き情報に対応する切り出し領域の位置に対して動き方向に最近傍の位置に、前記切り出し領域を設定する
   請求項８に記載の画像処理装置。
10. 前記切り出し領域設定部は、現在までの動き情報と、前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域に関する情報とに基づいて、前記処理対象フレームの前記切り出し領域を設定する
    請求項１に記載の画像処理装置。
11. 前記読み出し画像から、前記切り出し領域設定部により設定された前記切り出し領域の部分画像を切り出す切り出し部をさらに備える
    請求項１に記載の画像処理装置。
12. 撮像部に被写体を撮像させ、前記撮像部の前記撮像領域の前記読み出し領域において得られる撮像画像である前記読み出し画像を取得する撮像制御部をさらに備える
    請求項１に記載の画像処理装置。
13. 前記撮像制御部は、前記読み出し領域設定部により設定された前記読み出し領域に関する情報を前記撮像部に供給し、
    前記撮像部は、被写体を撮像し、供給された前記読み出し領域に関する情報に示される前記読み出し領域の撮像画像を生成する
    請求項１２に記載の画像処理装置。
14. 前記撮像制御部は、垂直ブランキング期間において、処理対象フレームの次のフレームの前記読み出し領域に関する情報を前記撮像部に供給する
    請求項１３に記載の画像処理装置。
15. 前記撮像制御部は、前記読み出し画像とともに、前記読み出し領域に関する情報を取得する
    請求項１２に記載の画像処理装置。
16. 被写体を撮像する撮像部をさらに備え、
    前記撮像制御部は、前記撮像部に被写体を撮像させ、前記読み出し画像を取得する
    請求項１２に記載の画像処理装置。
17. 計測部により計測された撮像部の動きや姿勢に関する計測データを取得する取得部をさらに備え、
    前記読み出し領域設定部は、前記取得部により取得された前記撮像部の動きや姿勢に関する前記計測データに基づいて前記動き予測情報を推定し、推定した前記動き予測情報に基づいて前記読み出し領域を設定する
    請求項１に記載の画像処理装置。
18. 撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部をさらに備え、
    前記読み出し領域設定部は、前記動きベクトル検出部により検出された前記動きベクトルに基づいて前記読み出し領域を設定する
    請求項１に記載の画像処理装置。
19. 処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定し、
    設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する
    画像処理方法。
20. 被写体を撮像する撮像装置と、
    画像処理を行う画像処理装置と
    を備え、
    処理対象フレームの次以降の所定のフレームについて、動き予測情報に基づいて、複数の画素により形成される撮像領域内の、画像を読み出す領域である読み出し領域を設定する読み出し領域設定部と、
    前記読み出し領域設定部により設定された前記処理対象フレームの前記読み出し領域から読み出された読み出し画像から部分画像を切り出す切り出し領域を設定する切り出し領域設定部と
    を有する画像処理システム。

Images