JP5888272B2 - 撮像装置、撮像制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像制御方法及びプログラムに関する。

従来より、ビデオカメラ等の撮像装置においては、手に把持して撮影することが前提になっているため、撮影時の手振れ解消するための様々な技術が搭載されている。

例えば、特許文献１においては、ビデオカメラの動きを加速度センサ等で測定し、その測定結果に基づいて、撮像範囲における手振れ補正の補正量を設定する技術が開示されている。

特開２００４−０５６５７８号公報

しかしながら、上記技術は、撮影時の微細な、しかも、予期することが困難な手振れを検出するものであり、結果的に必要以上の手振れブレ補正マージンを設定することがある。そのため、周期的で、かつ、ある程度予測可能な振動であっても、手振れブレ補正マージンを取り過ぎ有効画素領域を必要以上に狭めてしまう問題があった。

本発明は、上記の問題点に鑑みてなされたものであり、歩行等の移動態様を考慮した好適な撮影を可能とする撮像装置、撮像制御方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、撮像手段と、少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段と、この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段と、ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段と、を備え、前記検出手段による移動態様の検出タイミングと前記設定手段による設定タイミングとに所定の時間差を設けたことを特徴とする。
また、上記目的を達成するため、本発明の一態様の撮像装置は、撮像手段と、少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段と、この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段と、ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段と、を備え、前記検出手段は、前記移動態様として、前記撮像手段に周期的に与えられる振動の度合いを検出することを特徴とする。

本発明によれば、歩行等の移動態様を考慮した好適な撮影をすることができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態の撮像装置を取り付け対象へ取り付けた状態を示す図である。 電子式ブレ補正方式の原理を説明する図である。 撮像装置の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。 ブレ補正マージン設定テーブル記憶部に記憶されるブレ補正マージン設定テーブルを示す図である。 図４の機能的構成を有する図１の撮像装置が実行する撮像処理の流れを説明するフローチャートである。 図４の機能的構成を有する図１の撮像装置が実行するブレ補正マージン設定処理の流れを説明するフローチャートである。

以下、本発明の一実施形態について図面を適宜参照しつつ説明する。

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１８と、入力部１９と、出力部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、センサ部１７、撮像部１８、入力部１９、出力部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。

センサ部１７は、撮像装置１内に内蔵され、撮像装置１のＸＹＺ軸方向の移動（少なくとも、撮像素子の動き）を測定可能な３軸加速度センサにより構成される。
また、センサ部１７は、ピエゾ抵抗型もしくは静電容量型の検出機構を備えており、当該検出機構を用いて、加速度の３軸（Ｘ，Ｙ，Ｚ）成分を検出し、その検出結果を示すデータを出力する。なお、３軸加速度センサの検出結果を示すデータを、以下、「センサ情報」という。
ここで、センサ情報のうち、Ｘ成分は撮像装置１の撮像面を垂直に立てた際の水平方向の振動に、Ｙ成分は撮像面を垂直に立てた際の鉛直方向の振動に、Ｚ成分は撮像面を垂直に立てた際の光軸（垂直）方向の振動に、それぞれ対応する。
センサ部１７では、撮像装置１（少なくとも、撮像素子）の移動を検出して、撮像装置１の取り付け対象（本実施形態においては、人）の移動態様を検出するためのセンサ情報を出力する。本実施形態においては、センサ部１７によって、例えば、歩行や走行等の撮像装置１の取り付け対象の周期的な動き（移動態様）を表すセンサ情報が出力される。

撮像部１８は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、撮像素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。撮像素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。撮像素子には、光学レンズ部から被写体像が入射される。そこで、撮像素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１８の出力信号として出力される。
このような撮像部１８の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１、ＲＡＭ１３、及び画像処理部１４等に適宜供給される。
また、撮像部１８から出力される撮像画像のデータは、動画のデータを構成するフレーム画像のデータとなる。

入力部１９は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部２０は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２１は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。

図２は、本実施形態の撮像装置１を取り付け対象へ取り付けた状態を示す図である。
上述したようなハードウェア構成を有する撮像装置１は、図２に示すように、人の頭に、視線方向を撮影方向として、取り付けられ、人の視線に近似した一人称視点の動画の撮影を行う。
また、撮像装置１に内蔵されるセンサ部１７は、撮像装置１のＸＹＺ軸方向の移動（少なくとも、撮像素子の動き）をセンサ情報として出力する。なお、本実施形態においては、Ｘ軸は取り付け対象の視線方向（進行方向）に対し左右方向、Ｙ軸は同方向に対し上下方向、Ｚ軸は同方向（進行方向）に設定されている。

このように人の頭部に取り付けられて撮影するような撮像装置１の使用では、手で持って撮影が行われるような通常の撮像装置の使用に比べて、装置自体が動く頻度や動き量が多くなる。このため、通常の撮像装置に搭載される手振れ補正程度のブレ補正機能では、ブレを吸収しきれずに、ブレが生じた撮像画像となりやすい。

上述したような手振れ補正以上にブレに耐えられるブレ補正機能としては、例えば、電子式ブレ補正がある。電子式ブレ補正とは、取得した各フレーム画像を解析して、フレーム画像間で被写体が同じ位置になるように、各フレーム画像の位置合わせを行い、位置合わせされた共通部分の領域をフレーム画像とすることで動画のブレ補正を行う方式である。この電子式ブレ補正では、位置合わせのために各フレーム画像をずらすことから、一定量の位置合わせマージン（以下、「ブレ補正マージン」という）の領域を確保しておくことが必要である。その領域の広さによって、ブレを補正できる範囲も変わってくる。即ち、位置合わせマージンの領域を広く取れば、フレーム画像に用いる有効画素が少なくなり、画角が狭くなるものの、ブレを補正できる範囲は大きくなる。一方で、ブレ補正マージンの領域を狭くすれば、フレーム画像に用いる有効画素が多くなって、画角が広くなるが、ブレを補正できる範囲は小さくなる。
上述した事情に鑑みて、本実施形態の撮像装置１においては、ブレの範囲を予測して、予測したブレの範囲を考慮したブレ補正マージンを設定する。このようにして、ブレ補正マージンを設定することで、ブレを抑制しつつも、画角をより広くすることができる。

図３は、電子式ブレ補正方式の原理を説明する図である。
電子式ブレ補正方式においては、ブレ補正機能を有効にしていない場合には、撮像素子全体の画素領域１００をフレーム画像用の画素領域（以下、「有効画素領域」という）として用いる。これに対して、ブレ補正機能を有効にしている場合には、図３に示すように、撮像素子の全体の画素領域１００の一部を有効画素領域１０１とし、有効画素領域１０１以外の画素領域をブレ補正のための画素領域（以下、「ブレ補正マージン領域」という）１０２に用いる。即ち、このように有効画素領域１０１をフレーム画像用の主な画素領域とし、ブレ補正マージン領域１０２をブレ補正用の補完的な画素領域として設定することにより、ブレが生じた場合に、ブレに対応して有効画素領域１０１の位置を変更して、ブレを吸収したフレーム画像を取得することにより、ブレが抑制された動画を取得することができる。

また、本実施形態においては、ブレ補正マージン領域１０２は、取り付け対象の移動態様（具体例として停止、歩行、走行等の移動態様）に応じて設定される。停止、歩行、走行等の移動態様では、その移動態様の種類によって所定の周期で装置が移動することになり、かつ、所定の移動範囲（ブレの範囲）が出現する傾向がある。このため、本実施形態の撮像装置１においては、移動態様を検出して、検出した移動態様に合った広さのブレ補正マージン領域を設定する。
したがって、本実施形態の撮像装置１においては、検出した移動態様に合ったブレ補正マージン領域を設定し、当該ブレ補正マージン領域を用いたブレ補正を行って動画を撮影することで、ブレを抑制しつつも、画角がより広い動画を取得することができる機能を有する。

図４は、撮像装置１の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
「撮像処理」とは、撮影の開始の所定時間前の装置のセンサ情報に基づいて、ブレ補正マージンを設定し、当該ブレ補正マージンに基づいて、ブレを抑制した動画の撮影を行うまでの一連の処理である。
また、「撮像処理」は、「ブレ補正マージン設定処理」を含む。「ブレ補正マージン設定処理」とは、ブレ補正マージンの設定に係る処理であり、センサ部１７から取得したセンサ情報に基づいて、取り付け対象の移動態様を検出して、当該検出した移動態様からブレ補正マージンを設定するまでの一連の処理である。

撮像処理を実行する場合には、ＣＰＵ１１において、センサ情報取得部５１と、移動態様検出部５２と、ブレ補正マージン設定部５３と、撮像制御部５４と、画素取得制御部５５と、動画取得部５６と、が機能する。

記憶部２１の一領域には、センサ情報記憶部７１と、ブレ補正マージン設定テーブル記憶部７２と、ブレ補正マージン情報記憶部７３と、動画記憶部７４と、が設けられる。

センサ情報記憶部７１には、センサ部１７から取得した撮像装置１が動いた位置情報（Ｘ軸、Ｙ軸、Ｚ軸のデータ）であるセンサ情報が、逐次記憶される。

ブレ補正マージン設定テーブル記憶部７２には、ブレ補正マージン設定テーブルが記憶される。
「ブレ補正マージン設定テーブル」とは、撮像装置１の振幅最大値と、ブレ補正マージン領域とが対応づけられたテーブルであり、検出された移動態様から想定される最大の振幅の場合のブレ補正マージン領域の比率を設定するテーブルである。

図５は、ブレ補正マージン設定テーブル記憶部７２に記憶されるブレ補正マージン設定テーブルを示す図である。
ここで、「振幅最大値（ｃｍ）」とは、検出された周期的な振幅のうちで、最大の振幅の値である。
「ブレ補正マージン（％）」とは、全画素領域を１００％とした場合における、記録用の画素領域（以下、「有効画素領域」という）の残余の領域（以下、「ブレ補正マージン領域」という）を割合で示したものである。本実施形態においては、ブレ補正マージン領域と、有効画素領域とは、面積比で示される。

図５の例では、移動態様については、取り付け対象が停止している静止状態と、取り付け対象が歩いている歩行状態と、取り付け対象が走っている走行状態の３つの状態に別けている。これらの状態は、周期的な動きとなり、ブレの予測が可能となる移動態様であるからである。
また、図５の例では、上述した取り付け対象の移動態様として、０Ｈｚから５Ｈｚの周波数成分が検出されることを想定している。そして、０Ｈｚから５Ｈｚの周波数成分の波形を周期的に検出する場合における最大振幅値は、「２（ｃｍ）以下」と「５（ｃｍ）超」との間、即ち、２ｃｍから５ｃｍの範囲として設定されている。
具体的には、図５に示すように、振幅最大値が「２（ｃｍ）以下」の場合には、移動態様が静止状態であるとして、有効画素領域を「９０％」、ブレ補正マージン領域を「１０％」としている。
また、振幅最大値が「２（ｃｍ）超から５（ｃｍ）以下」の場合には、移動態様が歩行状態であるとして、有効画素領域を「８０％」、ブレ補正マージン領域を「２０％」としている。
また、振幅最大値が「５（ｃｍ）超」の場合には、移動態様が走行状態であるとして、基準記憶画素領域を「７０％」、ブレ補正マージン領域を「３０％」とする。
このように構成することで、振幅が小さい場合には、記憶画素領域を大きくとり、画角を広くすることを優先し、振幅が大きい場合には、記憶画素領域を小さくとってブレ補正マージン領域を大きくし、ブレのない画像を取得することを優先することができるようになる。

図４に戻り、ブレ補正マージン情報記憶部７３には、ブレ補正マージン設定テーブルにより設定されたブレ補正マージンの値（以下、「ブレ補正マージン情報」という）が記憶される。

動画記憶部７４には、予測されるブレに対応した位置の記録用有効画素で構成されるフレーム画像を、撮像部１８から複数取得したフレーム画像群により構成される動画のデータが記憶される。

センサ情報取得部５１は、センサ部１７からセンサ情報を取得して、センサ情報記憶部７１に出力する。

移動態様検出部５２は、センサ情報記憶部７１に逐次記憶されるセンサ情報に基づいて、取り付け対象の移動態様を検出する。本実施形態において、移動態様検出部５２は、取り付け対象である人の移動態様のうち、静止状態、歩行状態及び走行状態の３つの移動態様を検出する。また、本実施形態においては、移動態様検出部５２は、移動態様を示す指標として周波数成分の波形における振幅の最大値を検出する。

また、移動態様検出部５２は、周波数抽出部５２１と、振幅導出部５２２と、を備える。

周波数抽出部５２１は、センサ情報記憶部７１に記憶される所定期間のセンサ情報から周波数成分を抽出する。本実施形態において、周波数抽出部５２１は、撮像が開始される前の３秒間のセンサ情報から周波数成分を抽出する。

振幅導出部５２２は、周波数抽出部５２１により抽出された周波数成分から、周波数成分を構成する波形の振幅の最大値を導き出す。導き出された振幅の最大値は、移動態様を示す指標となる。本実施形態においては、図５に示すように、振幅最大値が「２（ｃｍ）以下」の場合には、移動態様が静止状態を示し、振幅最大値が「２（ｃｍ）超から５（ｃｍ）以下」の場合には、移動態様が歩行状態を示し、振幅最大値が「５（ｃｍ）超」の場合には、移動態様が走行状態を示す。

ブレ補正マージン設定部５３は、移動態様検出部５２により検出された移動態様に基づいて、ブレ補正マージンを設定する。本実施形態において、ブレ補正マージン設定部５３は、移動態様検出部５２の振幅導出部５２２により導き出された移動態様となる振幅の最大値から、ブレ補正マージン設定テーブル記憶部７２に記憶されるブレ補正マージン設定テーブルを参照して、ブレ補正マージンを設定する。
また、ブレ補正マージン設定部５３は、設定されたブレ補正マージンの値（本実施形態においては、全画素領域に占めるブレ補正マージン領域の割合）をブレ補正マージン情報記憶部７３に記憶させる。

なお、移動態様検出部５２（周波数抽出部５２１及び振幅導出部５２２）と、ブレ補正マージン設定部５３により、撮像処理のうち、ブレ補正マージン設定処理が実行される。

撮像制御部５４は、撮影開始の指示に基づいて、撮像部１８を制御する。その結果、撮像部１８から撮像画像のデータが出力される。

画素取得制御部５５は、ブレ補正マージン情報記憶部７３に記憶されるブレ補正マージンの値に基づいて、撮像部１８から取得した複数のフレーム画像を位置合わせして得られる共通部分の有効画素領域の画像を、ブレ補正されたフレーム画像として取得するように動画取得部５６を制御する。

動画取得部５６は、画素取得制御部５５による制御により、ブレ補正マージンの値（割合）に基づいて、全画素領域のうち複数のフレーム画像に対応する共通部分の有効画素領域の画像を取得し、当該共通部分の有効画素領域の画像からなる複数のフレーム画像を動画のデータとして取得する。
また、動画取得部５６は、取得した動画のデータを動画記憶部７４に記憶させる。

次に、図６を参照して、このような図４の機能的構成の撮像装置１が実行する撮像処理について説明する。
図６は、図４の機能的構成を有する図１の撮像装置１が実行する撮像処理の流れを説明するフローチャートである。

撮像処理は、ユーザにより入力部１９に対する撮像処理開始の操作がなされたことを契機として開始され、次のような処理が実行される。

ステップＳ１において、センサ情報取得部５１は、スタンバイ状態時にセンサ部１７の出力をモニタリングする。モニタリングしたセンサ部１７の出力は、センサ情報記憶部７１にセンサ情報として記憶される。

ステップＳ２において、ＣＰＵ１１は、入力部１９に撮影開始操作があったか否かを判定する。
撮影開始操作がない場合には、ステップＳ２においてＮＯと判定されて、処理はステップＳ２に戻る。即ち、撮影開始操作がない場合には、センサ部１７の出力をモニタリングし続ける。

これに対して、撮影開始操作があった場合には、ステップＳ２においてＹＥＳと判定されて、処理はステップＳ３に進む。

ステップＳ３において、移動態様検出部５２及びブレ補正マージン設定部５３は、ブレ補正マージン設定処理を実行する。即ち、移動態様検出部５２及びブレ補正マージン設定部５３は、撮影開始操作時に、モニタリングしていたセンサの出力（センサ情報）を用いて、ブレ補正マージンを設定する処理を行う。本ステップにより、ブレ補正マージンが設定される。ブレ補正マージン設定処理の詳細な流れについては後述する。
本実施形態においては、ステップＳ１と、ステップＳ３とに示すように、センサ情報の取得のタイミングと、ブレ補正マージンの設定のタイミングを別のタイミングで行うように構成される。

ステップＳ４において、ＣＰＵ１１は、設定されたブレ補正マージンで動画を撮影する。詳細には、撮像制御部５４は、撮影開始の指示に基づいて、動画を撮影するように撮像部１８を制御する。その結果、撮像部１８から撮像画像のデータが出力される。そして、画素取得制御部５５は、ブレ補正マージン情報記憶部７３に記憶されるブレ補正マージンの値に基づいて、撮像部１８から取得した複数のフレーム画像を位置合わせして得られる共通部分の有効画素領域の画像をフレーム画像として取得するように動画取得部５６を制御する。動画取得部５６は、画素取得制御部５５による制御により、ブレ補正マージンの値（割合）に基づいて、全画素領域のうち複数のフレーム画像に対応する共通部分の有効画素領域の画像を取得し、当該有効画素領域の画像からなる複数のフレーム画像を動画のデータとして取得する。
また、動画取得部５６は、取得した動画のデータを動画記憶部７４に記憶させる。
その後、撮影処理は終了する。

次に、図７を参照して、このような図４の機能的構成の撮像装置１が実行するブレ補正マージン設定処理について説明する。
図７は、図４の機能的構成を有する図１の撮像装置１が実行するブレ補正マージン設定処理の流れを説明するフローチャートである。

ステップＳ３１において、周波数抽出部５２１は、センサ部１７の出力から周波数成分を抽出する。即ち、周波数抽出部５２１は、センサ情報記憶部７１に記憶される所定期間のセンサ情報から周波数成分を抽出する。
詳細には、周波数抽出部５２１は、撮影開始前３秒間のセンサ情報のＸ軸及びＹ軸の出力を取得し、移動態様によって発生する０〜５Ｈｚの周波数成分を抽出する。

ステップＳ３２において、振幅導出部５２２は、周波数抽出部５２１によって抽出された周波数成分の波形の振幅の最大値（ｃｍ）を導き出す。

ステップＳ３３において、ブレ補正マージン設定部５２３は、ブレ補正マージン設定テーブルを参照して、振幅導出部５２２によって導き出された振幅の最大値に対応するブレ補正マージン（％）を設定する。
具体的には、例えば、振幅導出部５２２によって導き出された振幅の最大値が「３ｃｍ」であった場合には、ブレ補正マージン設定テーブルにおいて「２超５以下」が選択されて、対応する「２０（％）」がブレ補正マージンとして設定される。
その後、ブレ補正マージン設定処理は、終了する。

以上説明したように、本実施形態の撮像装置１は、撮像部１８と、センサ部１７と、ブレ補正マージン設定部５２３と、画素取得制御部５５と、を備える。
センサ部１７は、少なくとも、撮像部１８とともに移動する移動体の移動態様を検出する。
ブレ補正マージン設定部５２３は、このセンサ部１７によって検出された移動態様に応じた大きさの撮像部１８における有効画素領域を設定する。
画素取得制御部５５は、ブレが発生すると、ブレ補正マージン設定部５２３によって設定された有効画素領域を移動させることによりブレを軽減した画像を取得するよう制御する。
これにより、撮像装置１においては、移動態様に応じて、ブレ補正マージン設定部５２３によって設定された有効画素領域を移動させることによりブレを軽減した画像を取得することができる。
よって、撮像装置１においては、歩行等の移動態様を考慮した好適な撮影をすることができる。

また、センサ部１７は、移動態様を、その変化の度合い応じて段階的に検出する。
また、ブレ補正マージン設定部５２３は、移動態様の変化の度合いが大きい程、有効画素領域が小さくなるように設定する。
これにより、撮像装置１においては、移動態様の種類に合わせて、有効画素領域を設定することができ、例えば、移動態様の変化の度合いが大きい程、有効画素領域が小さくなるように設定する。
したがって、撮像装置１においては、例えば、走行等の変化の度合いが大きい移動態様を考慮した好適な撮影をすることができる。

撮像装置１においては、センサ部１７のセンサ情報を取得するタイミングとブレ補正マージン設定部５２３によるブレ補正マージンの設定タイミングとに所定の時間差を設ける。
これにより、撮像装置１においては、既にセンサ情報が取得された状態から、ブレ補正マージンの設定を行うことができ、即座に移動態様を考慮した好適な撮影を行うことができる。

センサ部１７は、移動態様として、撮像部１８に周期的に与えられる振動の度合いを検出する。
これにより、移動態様として、例えば、継続的に行われる静止状態、歩行状態及び走行状態等の検出を可能にする。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、撮像素子シフト方式ブレ補正やレンズシフト方式ブレ補正と併用してもよく、この場合、それらによる補正が有効な時はブレ補正マージンをやや狭めるよう設定してもよい。

また、上述の実施形態では、センサ部１７として三軸の加速度センサを用いる例を挙げているが、これに限られず、その他のセンサデバイス（速度や照度、ジャイロ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による測位）であってもよい。

また、上述の実施形態では、移動体の移動態様として、人の静止・歩行・走行等を検出する例を挙げているが、これに限られない。人の静止・歩行・走行だけでなく、取り付け対象となる自転車、自動車の走行による移動等も検出することも可能である。また、単純な周期的な移動に限らず、例えば、バッティング等の想定可能な一連の動作についても移動態様として捉えることができる。

また、上述の実施形態では、センサ部１７によって出力されたセンサ情報を解析して、ＣＰＵ１１において、移動態様を検出するように構成したがこれに限られない。例えば、センサ部１７に測定と解析をする機能を持たせて、移動態様の検出結果を出力するように構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）、等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段と、
この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段と、
ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段と
を備えることを特徴とする撮像装置。
［付記２］
前記検出手段は、前記移動態様を、その変化の度合い応じて段階的に検出し、
前記設定手段は、前記度合いが大きい程、前記有効画素領域が小さくなるように設定することを特徴とする付記１記載の撮像装置。
［付記３］
前記検出手段による移動態様の検出タイミングと前記設定手段による設定タイミングとに所定の時間差を設けたことを特徴とする付記１又は２記載の撮像装置。
［付記４］
前記検出手段は、前記移動態様として、前記撮像手段に周期的に与えられる振動の度合いを検出することを特徴とする付記１乃至３の何れか１つに記載の撮像装置。
［付記５］
撮像手段を備える撮像装置を制御する撮像制御方法であって、
少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出ステップと、
この検出ステップによって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定ステップと、
ブレが発生すると、前記設定ステップで設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御ステップと
を含むことを特徴とする撮像制御方法。
［付記６］
撮像手段を備える撮像装置を制御するコンピュータを、
少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段、
この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段、
ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・センサ部，１８・・・撮像部，１９・・・入力部，２０・・・出力部，２１・・・記憶部，２２・・・通信部，２３・・・ドライブ，３１・・・リムーバブルメディア，５１・・・センサ情報取得部，５２・・・移動態様検出部，５３・・・ブレ補正マージン設定部，５４・・・撮像制御部，５５・・・画素取得制御部，５６・・・動画取得部，７１・・・センサ情報記憶部，７２・・・ブレ補正マージンテーブル記憶部，７３・・・ブレ補正マージン情報記憶部，７４・・・動画記憶部，５２１・・・周波数抽出部，５２２・・・振幅導出部

Claims (7)

1. 撮像手段と、
   少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段と、
   この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段と、
   ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段と、
   を備え、
   前記検出手段による移動態様の検出タイミングと前記設定手段による設定タイミングとに所定の時間差を設けたことを特徴とする撮像装置。
2. 撮像手段と、
   少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段と、
   この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段と、
   ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段と、
   を備え、
   前記検出手段は、前記移動態様として、前記撮像手段に周期的に与えられる振動の度合いを検出することを特徴とする撮像装置。
3. 前記検出手段は、前記移動態様を、その変化の度合い応じて段階的に検出し、
   前記設定手段は、前記度合いが大きい程、前記有効画素領域が小さくなるように設定することを特徴とする請求項１又は２記載の撮像装置。
4. 撮像手段を備える撮像装置を制御する撮像制御方法であって、
   少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出ステップと、
   この検出ステップによって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定ステップと、
   ブレが発生すると、前記設定ステップで設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御ステップと、
   を含み、
   前記検出ステップによる移動態様の検出タイミングと前記設定ステップによる設定タイミングとに所定の時間差を設けることを特徴とする撮像制御方法。
5. 撮像手段を備える撮像装置を制御する撮像制御方法であって、
   少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出ステップと、
   この検出ステップによって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定ステップと、
   ブレが発生すると、前記設定ステップで設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御ステップと、
   を含み、
   前記検出ステップは、前記移動態様として、前記撮像手段に周期的に与えられる振動の度合いを検出することを特徴とする撮像制御方法。
6. 撮像手段を備える撮像装置を制御するコンピュータを、
   少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段、
   この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段、
   ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段、
   として機能させ、
   前記検出手段による移動態様の検出タイミングと前記設定手段による設定タイミングとに所定の時間差を設けたことを特徴とするプログラム。
7. 撮像手段を備える撮像装置を制御するコンピュータを、
   少なくとも、前記撮像手段とともに移動する移動体の移動態様を検出する検出手段、
   この検出手段によって検出された移動態様に応じた大きさの前記撮像手段における有効画素領域を設定する設定手段、
   ブレが発生すると、前記設定手段によって設定された有効画素領域を移動させることにより当該ブレを軽減した画像を取得するよう制御する制御手段、
   として機能させ、
   前記検出手段は、前記移動態様として、前記撮像手段に周期的に与えられる振動の度合いを検出することを特徴とするプログラム。

Images