JP2018164146A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】移動体が画像を入力する場合における動きの精度を高める。
【解決手段】ＣＰＵ１８は、センサ１７による各種情報（ＧＰＳ／地図情報／気圧等）を用いて、撮像装置１０に対する重力方向Ｇ、撮像装置１０の姿勢、進んでいる道の斜度に応じて、動きベクトル算出時に弊害を生む可能性の高い、放射状の動きベクトルが生じる領域をＭＶ「非」算出領域２００として画像から除いた、限定したＭＶ算出領域で動きベクトルを算出する。動きベクトルを算出後、ＣＰＵ１８は、算出した動きベクトルからフレーム間のブレ量を推定し、このブレ量に基づいて、画像変形処理によりフレーム間の特徴点の位置合わせを行う。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来より、デジタルカメラ等の撮像装置をユーザの体（頭部、体部等）や、着衣、あるいは、自転車、バイク、車両などに装着し、静止画や動画などを、自動撮影したり、遠隔操作で撮影したりするという撮影手法が普及しつつある。

車両に搭載する撮像装置としては、車両の進行方向と光軸とが一致するように撮像装置を取り付け、走行によって発生する回転を検知して、動きベクトル（ＭＶ：Motion Vector）を検出する技術が提案されている（例えば特許文献１参照）。

特開２００８−２０３９９２号公報

しかしながら、特許文献１では、光軸の方向が進行方向と一致するという前提になっているため、これらの方向が一致しない場合、正確に背景の動きベクトルを検出することが困難であるという問題がある。

そこで本発明は、移動体が画像を入力する場合における動きの精度を高めることを目的とする。

この発明に係る画像処理装置は、画像入力手段と、前記画像入力手段によって入力される画像から動きベクトルを取得する動きベクトル取得手段と、自己の姿勢を取得する姿勢取得手段と、前記姿勢取得手段によって取得された自己の姿勢に基づいて、前記動きベクトル取得手段が取得する動きベクトルの適用範囲を設定する設定手段と、を備えることを特徴とする。

この発明によれば、移動体が画像を入力する場合における動きの精度を高めることができる。

本発明の実施形態による撮像システム１００の構成を示す模式図である。 本実施形態による撮像装置１０の構成を示すブロック図である。 本実施形態において、画像周辺部に生じる放射状の動きベクトルによるブレ量の推定への影響を説明するための概念図である。 本実施形態の撮像装置１０の動作を説明するためのフローチャートである。 本第実施形態による撮像装置１０の姿勢を説明するための概念図である。 本実施形態による撮像装置１０に対する重力方向に対するＭＶ「非」算出領域の位置設定を説明するための概念図である。 本実施形態による撮像装置１０の仰角に対するＭＶ「非」算出領域の調整動作を説明するための概念図である。 本実施形態による移動体の移動状況に対するＭＶ「非」算出領域の調整動作を説明するための概念図である。 本実施形態による動きベクトルの算出動作を説明するための概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態による撮像システム１００の構成を示す模式図である。図１において、撮像システム１００は、撮像装置１０とリモコン装置２０とからなる。撮像装置１０は、例えば撮像機能を備えるデジタルカメラからなり、リモコン装置２０は、専用機器や、スマートフォン、タブレット端末などからなる。撮像装置１０とリモコン装置２０とは、それぞれが利用可能な無線通信４０を用いて、ペアリング（無線接続認識）を構築する。無線通信４０は、無線ＬＡＮ（ＷｉＦｉ）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）などからなる。

撮像装置１０は、ユーザの体（頭部、体部等）や着衣、あるいは、自転車、バイク、車両などの移動体（不図示）に装着される。本実施形態による撮像装置１０は、撮像部１４を含む主要な構成部分を収容する本体筐体３０と、該本体筐体３０に任意の角度で固定可能なようにヒンジ３１を介して結合された台座部３２とからなる。ヒンジ３１は、外部（ユーザなど）から適度な力が加わらない限り、本体筐体３０と台座部３２との角度を保持する。ユーザは、撮像装置１０を移動体に設置する際には、台座部３２を移動体に固定し、本体筐体３０のレンズ３３が進行方向を向くように本体筐体３０の台座部３２に対する角度を調整する。

リモコン装置２０は、起動したカメラ操作専用アプリケーション（プログラム）を用いて、無線通信４０を介して、撮像装置１０を遠隔操作する。当該遠隔操作は、撮影開始、停止、動作モードの設定、ズーミング、撮影条件の設定、撮影画像（撮影動画）の閲覧などの操作を含む。

図２は、本実施形態による撮像装置１０の構成を示すブロック図である。図２において、撮像装置１０は、通信部１１、ＲＯＭ１２、ＲＡＭ１３、撮像部１４、操作部１５、記録媒体１６、センサ１７、及びＣＰＵ１８を備えている。

通信部１１は、上記無線通信４０によりリモコン装置２０に接続し、リモコン装置２０にイブビュー画像を送信したり、リモコン装置２０からの操作指示信号などを受信したりする。ＲＯＭ１２は、後述するＣＰＵ１８により実行されるプログラムや動作等に必要とされる各種パラメータなどを記憶している。ＲＡＭ１３は、撮像部１４によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、後述するＣＰＵ１８がプログラムを実行した際のワーキングメモリとして使用される。

撮像部１４は、光学レンズ群からなるレンズブロックと、ＣＣＤや、ＣＭＯＳなどの撮像素子とからなり、レンズブロックから入った画像を撮像素子によりデジタル信号に変換して出力する。操作部１５は、電源スイッチや、モードキー等の基本的な操作キーを含み、ユーザのキー操作に応じた操作信号を出力する。記録媒体１６は、撮像部１４で撮像された画像データなどを保存する。センサ１７は、ジャイロセンサ、加速度センサ、地磁気センサ、気圧センサ、ＧＰＳ、地図情報の少なくとも１つから構成されるか、２つ以上を組み合わせて構成され、当該撮像装置１０の姿勢や、撮影状況などを検出（取得）する。なお、撮像装置１０の姿勢とは、撮像装置１０の重力方向に対する姿勢、水平方向に対する姿勢を含み、撮影状況とは、撮像装置１０が装着された移動体が移動する地形の高低変化（坂を登っている、坂を下っている）を含む。

ＣＰＵ１８は、上述したＲＯＭ１２に記憶されているプログラムを実行することで各部の動作を制御する。特に、本実施形態では、ＣＰＵ１８は、撮像部１４で撮影したライブビュー画像から、時間的に連続する複数のフレーム（画像）を入力し、これらフレームにおける特徴点を抽出し、更に、フレーム間における特徴点の移動に応じた動きベクトルを導出（取得）する。

このとき、ＣＰＵ１８は、センサ１７からの各種情報（ジャイロ／加速度／地磁気／気圧／ＧＰＳ／地図情報）を用いて、撮像装置１０の姿勢（重力方向（鉛直方向）と仰角）、撮影状況（撮像装置１０が搭載された移動体の移動状況；斜度）を判別し、これら重姿勢、及び撮影状況に基づいて、撮影している画像から動きベクトルＭＶを導出する領域を限定する。換言すれば、ＣＰＵ１８は、撮像装置１０の姿勢、及び撮影状況に基づいて、放射状の動きベクトルＭＶが発生し得る発生領域を、動きベクトルＭＶを算出する対象としない領域（以下、ＭＶ「非」算出領域）の位置を設定するとともに、その大きさ（面積）を調整する。

この結果、効率的かつ効果的に放射状の動きベクトルＭＶの影響を排除することができ、フレーム間の動きベクトルＭＶからフレーム間のブレ量（手ブレ量）をより正確に推定することができる。また、より正確にフレーム間のブレ量（手ブレ量）を推定できるので、フレーム間の位置合わせを高精度で行うことができる。

また、ＣＰＵ１８は、フレーム間の動きベクトルからフレーム間のブレ量（手ブレ量）を推定し、画像変形処理によりフレーム間の位置合わせを行うことで手ブレを補正する（電子式動画手ブレ補正）。なお、本実施形態では、上記ＣＰＵ１８による一連の処理を画像処理として取り扱うが、専用の画像処理部（ＧＰＵ；Graphics Processing Unit）を備えるようにしてもよい。

図３は、本実施形態において、画像周辺部に生じる放射状の動きベクトルによるブレ量の推定への影響を説明するための概念図である。本実施形態では、フレーム間の動きベクトルからフレーム間のブレ量（手ブレ量）を推定する際、撮像装置１０が装着されている撮影者や車両等が前進している場合には、図３に示すように、画像周辺部に放射状の動きベクトルＭＶが生じる。該放射状の動きベクトルＭＶは、ブレとは異なる方向に出力されてしまうため、ブレ量の推定に悪影響を及ぼしてしまう。

本実施形態では、ＣＰＵ１８は、センサ１７による各種情報（ジャイロ／加速度／地磁気／気圧／ＧＰＳ／地図情報）を用いて撮像装置１０の姿勢と撮影状況を判定し、該判定結果に基づいて、動きベクトルＭＶの算出領域（以下、動きベクトル算出領域）を限定することで、放射状の動きベクトルＭＶの影響を排除する。この結果、撮像装置１０のブレ量（手ブレ量）を効率的、かつ正確に推定することができる。ゆえに、フレーム間の位置合わせ処理のロバスト性を高めることができる。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図４は、本実施形態の撮像装置１０の動作を説明するためのフローチャートである。また、図５は、本第実施形態による撮像装置１０の姿勢を説明するための概念図である。図６は、本実施形態による撮像装置１０に対する重力方向に対するＭＶ「非」算出領域の位置設定を説明するための概念図である。図７は、本実施形態による撮像装置１０の仰角に対するＭＶ「非」算出領域の調整動作を説明するための概念図である。図８は、本実施形態による移動体の移動状況に対するＭＶ「非」算出領域の調整動作を説明するための概念図である。図９は、本実施形態による動きベクトルの算出動作を説明するための概念図である。

撮像装置１０において、ＣＰＵ１８は、前進判定が可能であるか否かを判断する（ステップＳ１０）。そして、前進判定が可能である場合には（ステップＳ１０のＹＥＳ）、ＣＰＵ１８は、前進判定を行う（ステップＳ１２）。前進判定では、ＣＰＵ１８は、センサ１７による各種情報（ジャイロ／加速度／地磁気／気圧／ＧＰＳ／地図情報）を用いて、撮像装置１０が搭載された移動体が前進しながら、かつ撮像部１４が前進方向を向いて撮影しているか否かを判断する。但し、前進判定手法は限定されない。

次に、ＣＰＵ１８は、前進判定結果に基づいて前進中であるか否かを判断する（ステップＳ１４）。そして、前進中である場合には（ステップＳ１４のＹＥＳ）、ＣＰＵ１８は、撮像装置１０の姿勢判定が可能であるか否かを判断する（ステップＳ１６）。そして、姿勢判定が可能である場合には（ステップＳ１６のＹＥＳ）、ＣＰＵ１８は、撮像装置１０の姿勢判定を行う（ステップＳ１８）。

姿勢判定では、ＣＰＵ１８は、センサ１７による各種情報（ジャイロ／加速度／地磁気）を用いて、撮像装置１０に対する重力方向と撮像装置１０の仰角（又は俯角；水平面に対する撮影方向（撮像部１４の光軸）の傾き）とを判定する。例えば、加速度センサの時間平均を導出するか、加速度とジャイロでカルマンフィルタを行うなどすればよい。但し、姿勢判定手法は限定されない。

次に、ＣＰＵ１８は、撮像装置１０が搭載されている移動体の移動状況として斜度判定を行う（ステップＳ２０）。斜度判定では、ＣＰＵ１８は、センサ１７による各種情報（ＧＰＳ／地図情報／気圧等）を用いて、移動体が進んでいる道の斜度を判定する。但し、斜度判定手法は限定されない。

次に、ＣＰＵ１８は、上記姿勢判定結果、及び上記斜度判定結果に基づいて、動きベクトルを算出（取得）すべき動きベクトル算出領域を限定する（ステップＳ２２）。

ここで、動きベクトル算出領域の限定処理について説明する。多くの撮影シーンで、前進時の放射状の動きベクトルＭＶは、画像内の撮像装置１０に対する重力方向を中心とした周辺部に発生する。また、その発生領域の大きさ（面積）は、進行方向に対する撮像部１４の撮影方向（光軸）の仰角、及び、撮像装置１０が搭載された移動体の移動状況（斜度）に応じて変化する。

そこで、本実施形態では、放射状の動きベクトルＭＶが発生し得るＭＶ「非」算出領域を、動きベクトル算出領域から排除するため、重力方向、仰角、及び斜度に応じて動きベクトル算出領域を限定する。換言すれば、撮像装置１０に対する重力方向、撮像装置１０の仰角、及び移動体の斜度に応じて、動きベクトルＭＶを算出する領域から除外するＭＶ「非」算出領域の位置を設定するとともに、該ＭＶ「非」算出領域の大きさを調整する。

例えば、撮像装置１０に対する重力方向については、図５（ａ）に示すように、撮像装置１０が水平に保持されていれば、撮像装置１０に対する重力方向Ｇは真下に向くことになる。また、図５（ｂ）に示すように、撮像装置１０が斜めに保持されるか、撮像装置１０が搭載されている移動体が斜めになれば、重力方向Ｇは、撮像装置１０に対して斜め下に向くことになる。

また、本実施形態による撮像装置１０は、前述したように、本体筐体３０と本体筐体３０にヒンジ３１を介して結合された台座部３２とからなる。したがって、撮像装置１０は、図５（ｃ）に示すように、撮像装置１０の移動体への設置状態や、移動体の移動状態等に応じて、撮像装置１０の光軸は、水平方向に対して仰角θを有することになる。

次に、ＭＶ「非」算出領域の位置の設定と、該ＭＶ「非」算出領域の大きさの調整とについて説明する。まず、重量方向については、図６（ａ）〜（ｄ）に示すように、重力方向Ｇに応じて、ＭＶ「非」算出領域の位置を変更する。具体的には、撮影される画像のうち、重力方向Ｇの向く側にＭＶ「非」算出領域を設置する。

つまり、図６（ａ）に示すように、重力方向Ｇが撮像装置１０の真下方向に向いている場合、すなわち、画像の下方向に向いている場合には、ＭＶ「非」算出領域２００を画像の下側に設定し、図６（ｂ）に示すように、重力方向Ｇが撮像装置１０の真上方向に向いている場合、すなわち、画像の上方向に向いている場合には、ＭＶ「非」算出領域２００を画像の上側に設定する。

また、図６（ｃ）に示すように、重力方向Ｇが撮像装置１０の右（又は左）に向いている場合、すなわち、画像の右（又は左）方向に向いている場合には、ＭＶ「非」算出領域２００を画像の右（又は左）側に設定する。また、図６（ｄ）に示すように、重力方向Ｇが撮像装置１０の斜め左下（又は斜め右下）方向に向いている場合、すなわち、画像の斜め左下（又は斜め右下）方向に向いている場合には、ＭＶ「非」算出領域２００も画像の左下（又は斜め右下）側に設定する。

次に、仰角については、図７（ａ）〜（ｃ）に示すように、仰角θに応じて、ＭＶ「非」算出領域２００の大きさ（面積）を調整する。つまり、図７（ａ）に示す仰角θが０°（水平）のときを基準とし、図７（ｂ）に示すように、撮像装置１０が上を向いているほど、周辺部が画像内に入りにくくなるため、仰角θが大きくなるほど（仰角＞０°）、ＭＶ「非」算出領域２００を狭めるよう調整する。逆に、図７（ｃ）に示すように、撮像装置１０が下を向くほど、周辺部が画像内に入りやすくなるため、仰角θが負になるほど（仰角＜０°；俯角となるほど）、ＭＶ「非」算出領域２００を広げるよう調整する。なお、図７（ａ）〜（ｃ）では、重力方向Ｇが真下に向いている場合のみを示しているが、図６（ｂ）〜（ｄ）に示すように、重力方向Ｇの向きに応じて同様に適用される。

さらに、斜度についても、図８（ａ）〜（ｃ）に示すように、移動体が移動する地形の高低変化に応じて、ＭＶ「非」算出領域２００の大きさ（面積）を調整する。例えば、図８（ａ）に示す移動している地形が平地のときを基準とし、図８（ｂ）に示すように、仰角＝０゜でも斜面を登っている場合には、放射状の動きベクトルＭＶが画像内に入り込みやすいため、ＭＶ「非」算出領域２００を広げる。また、図８（ｃ）に示すように、仰角＝０°でも斜面を下っている場合には、放射状の動きベクトルＭＶが画像内に入り込みにくいため、ＭＶ「非」算出領域２００を狭める。傾きが急なほど、調整量を大きくする。なお、図８（ａ）〜（ｃ）では、重力方向Ｇが真下に向いている場合のみを示しているが、図６（ｂ）〜（ｄ）に示すように、重力方向Ｇの向きに応じて同様に適用される。

なお、ＭＶ「非」算出領域２００の帯幅やその調整幅は、撮像装置１０の用途やレンズの画角などに応じて最適なものを実験的に設定することが望ましい。基本的に、広角レンズほど帯幅は広くとるべきである。

次に、ＣＰＵ１８は、画像からＭＶ「非」算出領域２００を除いた、限定した動きベクトル算出領域で動きベクトルを算出し（ステップＳ２４）、これをフレーム間のブレ量の推定処理に適用する。すなわち、図９（ａ）に示すように、放射状の動きベクトルＭＶが生じやすいＭＶ「非」算出領域２００を動きベクトル算出領域から除くことにより、放射状の動きベクトルＭＶの影響を排除することができ、フレーム間の動きベクトルＭＶからフレーム間のブレ量（手ブレ量）をより正確に推定することが可能となる。

一方、前進中でない場合には（ステップＳ１４のＮＯ）、図９（ｂ）に示すように、ＭＶ「非」算出領域２００の設定や、調整を行うことなく、全画像領域を算出対象とし、周辺部全体の情報も活用して動きベクトルＭＶを算出する（ステップＳ２６）。

また、前進判定が不可能な場合（ステップＳ１０のＮＯ）、あるいは、姿勢判定が不可能な場合には（ステップＳ１６のＮＯ）、図９（ｃ）に示すように、放射状の動きベクトルＭＶが存在する可能性が高い周辺部をＭＶ「非」算出領域２００として全て除き、画像中央領域のみを算出対象として動きベクトルＭＶを算出する（ステップＳ２８）。この場合、周辺部の有益情報が活用できない場合がある。

動きベクトルＭＶの算出方法としては、例えば、撮影した動画から時間的に連続する複数のフレームにおける特徴点を抽出し、該フレーム間における特徴点の移動に基づいて動きベクトルＭＶを算出する。なお、上述した３つの動きベクトル算出手法において、探索する動きベクトルＭＶの本数を同じにするなどして演算処理回数を揃えるようにすることが望ましい。また、動きベクトルＭＶの算出手法は限定されない。

いずれの場合においても、動きベクトルを算出後、ＣＰＵ１８は、算出した動きベクトルＭＶからフレーム間のブレ量を推定し、このブレ量に基づいて、画像変形処理によりフレーム間の特徴点の位置合わせを行う位置合わせ処理を行う（ステップＳ３０）。なお、フレーム間の位置合わせ手法は限定されない。その後、次のフレームに対して上述した処理を繰り返す。

上述した実施形態によれば、撮像装置１０の姿勢に応じて、動きベクトル算出時に弊害を生む可能性の高い、放射状の動きベクトルが生じるＭＶ「非」算出領域２００を設定、調整するようにしたので、移動体に撮像装置を設置する場合における自由度を高め、且つ、背景の動きベクトルＭＶの検出において効率化を図ることができる。

より具体的には、動きベクトルＭＶを算出する際の演算回数を低減することができ、効率的かつ効果的に放射状の動きベクトルＭＶの影響を排除することができる。また、放射状の動きベクトルによる影響を排除することにより、フレーム間の動きベクトルＭＶからフレーム間のブレ量（手ブレ量）をより正確に推定することができる。また、より正確にフレーム間のブレ量（手ブレ量）を推定することにより、フレーム間の位置合わせを高精度で行うことができる。

上述した実施形態によれば、撮像装置１０を移動体に設置し、移動体の移動に伴う撮像範囲全体に発生する動きベクトルＭＶの算出範囲を設定するようにしたので、移動体に撮像装置を設置する場合における自由度を高め、且つ、背景の動きベクトルＭＶの検出において効率化を図ることができる。

上述した実施形態によれば、撮像装置１０の姿勢のうち重力方向Ｇ（鉛直方向）を検出し、該重力方向Ｇ（鉛直方向）に基づいて、動きベクトルＭＶの算出範囲を変更するようにしたので、効率的かつ効果的に放射状の動きベクトルＭＶの影響を排除することができる。

上述した実施形態によれば、撮像部１４の撮像光軸方向が水平方向に対して仰角となる場合、重力方向Ｇ（鉛直方向）で動きベクトルＭＶの算出範囲を増やすようにしたので、効率的かつ効果的に放射状の動きベクトルＭＶの影響を排除することができる。

上述した実施形態によれば、撮像部１４の撮像光軸方向が水平方向に対して俯角となる場合、重力方向Ｇ（鉛直方向）で動きベクトルＭＶの算出範囲を減らすようにしたので、効率的かつ効果的に放射状の動きベクトルＭＶの影響を排除することができる。

上述した実施形態によれば、移動体が移動する地形の高低変化を検出し、撮像装置１０の姿勢に加えて、検出された高低変化に基づいて、動きベクトルＭＶの算出範囲を設定するようにしたので、効率的かつ効果的に放射状の動きベクトルＭＶの影響を排除することができる。

上述した実施形態によれば、撮像部１４によって逐次撮像される画像が所定以下の明るさである場合、動きベクトルの算出を無効とするとしたので、特徴点を検出することができない、あるいは特徴点を検出することが難しい撮影状況で無理に動きベクトルＭＶを算出せずに済ませることができる。

上述した実施形態によれば、動きベクトルＭＶの算出範囲から算出された動きベクトルに基づいて、撮像部１４によって逐次撮像される画像のフレーム間のブレ量を推定し、該推定されたブレ量に基づいて、フレーム間の特徴点の位置合わせを行うようにしたので、手ブレ量をより正確に推定することができ、フレーム間の位置合わせを高精度で行うことができる。

なお、上述した実施形態においては、画像からＭＶ「非」算出領域２００を除いた、限定した動きベクトル算出領域で動きベクトルを算出するようにしたが、フレーム（画像）内で発生する全ての動きベクトルを算出し、それらの動きベクトルから、画像からＭＶ「非」算出領域２００を除いた領域に存在する動きベクトルを適用するようにしても良い。このようにすることで、画像入力から動きベクトル算出処理までを単純なプロセスとして処理させることができる。
また、上述した実施形態において、ＣＰＵ１８は、撮像部１４によって逐次撮像される画像が所定以下の明るさである場合、画像内の特徴点を抽出できないので、動きベクトルＭＶの算出処理を無効とするようにしてもよい。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、画像入力手段と、前記画像入力手段によって入力される画像から動きベクトルを取得する動きベクトル取得手段と、自己の姿勢を取得する姿勢取得手段と、前記姿勢取得手段によって取得された自己の姿勢に基づいて、前記動きベクトル取得手段が取得する動きベクトルの適用範囲を設定する設定手段と、を備えることを特徴とする画像処理装置である。

（付記２）
付記２に記載の発明は、前記画像処理装置は、移動体に備えられ、前記動きベクトルは、前記移動体の移動に伴う撮像範囲全体に発生するものであることを特徴とする付記１に記載の画像処理装置である。

（付記３）
付記３に記載の発明は、前記姿勢取得手段は、自己の姿勢のうち鉛直方向の姿勢を取得し、前記設定手段は、前記姿勢取得手段によって取得された鉛直方向の姿勢に基づいて、前記動きベクトルの取得範囲を変更することを特徴とする付記２に記載の画像処理装置である。

（付記４）
付記４に記載の発明は、前記画像入力手段は、撮像手段によって撮像された画像を入力するとともに、前記設定手段は、前記撮像手段の撮像光軸方向が水平方向に対して仰角となる場合、前記鉛直方向で前記動きベクトルの取得範囲を増やすことを特徴とする付記３に記載の画像処理装置である。

（付記５）
付記５に記載の発明は、前記画像入力手段は、撮像手段によって撮像された画像を入力するとともに、前記設定手段は、前記撮像手段の撮像光軸方向が水平方向に対して俯角となる場合、前記鉛直方向で前記動きベクトルの取得範囲を減らすことを特徴とする付記３に記載の画像処理装置である。

（付記６）
付記６に記載の発明は、前記移動体が移動する地形の高低変化を取得する高低変化取得手段を更に備え、前記設定手段は、前記姿勢取得手段によって取得された自己の姿勢に加えて、前記高低変化取得手段によって取得された高低変化に基づいて、前記動きベクトルの取得範囲を設定することを特徴とする付記２乃至５のいずれか一つに記載の画像処理装置である。

（付記７）
付記７に記載の発明は、前記設定手段は、前記画像入力手段によって入力される画像が所定以下の明るさである場合、前記動きベクトル取得手段による前記動きベクトルの取得を無効とすることを特徴とする付記１乃至６のいずれか一つに記載の画像処理装置である。

（付記８）
付記８に記載の発明は、前記設定手段によって設定された動きベクトルの取得範囲から、前記動きベクトル取得手段によって取得された動きベクトルに基づいて、前記画像入力手段によって入力される画像のフレーム間のブレ量を推定するブレ量推定手段と、前記ブレ量推定手段によって推定されたブレ量に基づいて、前記フレーム間の特徴点の位置合わせを行う位置合わせ手段と、を更に備えることを特徴とする付記１乃至７のいずれか一つに記載の画像処理装置である。

（付記９）
付記９に記載の発明は、前記設定手段は、前記姿勢取得手段によって取得された自己の姿勢に基づいて、前記動きベクトル取得手段の動きベクトルの取得範囲を設定することを特徴とする付記１乃至８のいずれか一つに記載の画像処理装置である。

（付記１０）
付記１０に記載の発明は、入力される画像から動きベクトルを取得する動きベクトル取得ステップと、前記画像を入力する装置の姿勢を取得する姿勢取得ステップと、前記姿勢取得ステップにて取得された自己の姿勢に基づいて、前記動きベクトル取得ステップで取得する動きベクトルの適用範囲を設定する設定ステップと、を含むことを特徴とする画像処理方法である。

（付記１１）
付記１１に記載の発明は、画像を入力する装置に備えられたコンピュータを、入力される画像から動きベクトルを取得する動きベクトル取得機能、前記装置の自己の姿勢を取得する姿勢取得機能、前記姿勢取得機能によって取得された自己の姿勢に基づいて、前記動きベクトル取得機能が取得する動きベクトルの適用範囲を設定する設定機能、として実現させるためのプログラムである。

１０ 撮像装置
１１ 通信部
１２ ＲＯＭ
１３ ＲＡＭ
１４ 撮像部
１５ 操作部
１６ 記録媒体
１７ センサ
１８ ＣＰＵ
２０ 携帯端末
３０ 本体筐体
３１ ヒンジ
３２ 台座部
３３ レンズ
４０ 無線通信
１００ 撮像システム
ＭＶ 動きベクトル
Ｇ 重力方向

Claims (11)

1. 画像入力手段と、
   前記画像入力手段によって入力される画像から動きベクトルを取得する動きベクトル取得手段と、
   自己の姿勢を取得する姿勢取得手段と、
   前記姿勢取得手段によって取得された自己の姿勢に基づいて、前記動きベクトル取得手段が取得する動きベクトルの適用範囲を設定する設定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像処理装置は、移動体に備えられ、
   前記動きベクトルは、前記移動体の移動に伴う撮像範囲全体に発生するものであることを特徴とする請求項１に記載の画像処理装置。
3. 前記姿勢取得手段は、自己の姿勢のうち鉛直方向の姿勢を取得し、
   前記設定手段は、前記姿勢取得手段によって取得された鉛直方向の姿勢に基づいて、前記動きベクトルの取得範囲を変更することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像入力手段は、撮像手段によって撮像された画像を入力するとともに、前記設定手段は、前記撮像手段の撮像光軸方向が水平方向に対して仰角となる場合、前記鉛直方向で前記動きベクトルの取得範囲を増やすことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像入力手段は、撮像手段によって撮像された画像を入力するとともに、前記設定手段は、前記撮像手段の撮像光軸方向が水平方向に対して俯角となる場合、前記鉛直方向で前記動きベクトルの取得範囲を減らすことを特徴とする請求項３に記載の画像処理装置。
6. 前記移動体が移動する地形の高低変化を取得する高低変化取得手段を更に備え、
   前記設定手段は、前記姿勢取得手段によって取得された自己の姿勢に加えて、前記高低変化取得手段によって取得された高低変化に基づいて、前記動きベクトルの取得範囲を設定することを特徴とする請求項２乃至５のいずれか一つに記載の画像処理装置。
7. 前記設定手段は、前記画像入力手段によって入力される画像が所定以下の明るさである場合、前記動きベクトル取得手段による前記動きベクトルの取得を無効とすることを特徴とする請求項１乃至６のいずれか一つに記載の画像処理装置。
8. 前記設定手段によって設定された動きベクトルの取得範囲から、前記動きベクトル取得手段によって取得された動きベクトルに基づいて、前記画像入力手段によって入力される画像のフレーム間のブレ量を推定するブレ量推定手段と、
   前記ブレ量推定手段によって推定されたブレ量に基づいて、前記フレーム間の特徴点の位置合わせを行う位置合わせ手段と、
   を更に備えることを特徴とする請求項１乃至７のいずれか一つに記載の画像処理装置。
9. 前記設定手段は、前記姿勢取得手段によって取得された自己の姿勢に基づいて、前記動きベクトル取得手段の動きベクトルの取得範囲を設定することを特徴とする請求項１乃至８のいずれか一つに記載の画像処理装置。
10. 入力される画像から動きベクトルを取得する動きベクトル取得ステップと、
    前記画像を入力する装置の姿勢を取得する姿勢取得ステップと、
    前記姿勢取得ステップにて取得された自己の姿勢に基づいて、前記動きベクトル取得ステップで取得する動きベクトルの適用範囲を設定する設定ステップと、
    を含むことを特徴とする画像処理方法。
11. 画像を入力する装置に備えられたコンピュータを、
    入力される画像から動きベクトルを取得する動きベクトル取得機能、
    前記装置の自己の姿勢を取得する姿勢取得機能、
    前記姿勢取得機能によって取得された自己の姿勢に基づいて、前記動きベクトル取得機能が取得する動きベクトルの適用範囲を設定する設定機能、
    として実現させるためのプログラム。

Images