JP2007228154A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】カメラの光軸を制御する機構を持つことなく，角速度センサなどで得られるカメラの画角の変化量を元に，画像処理によって光軸が一致した，即ち回転および平行移動成分が補正された画像を得ることができる画像処理装置および画像処理方法を提供する．
【解決手段】画像を撮影する撮像部１１と，前記撮像部１１で撮影される画像以外の情報を検出するセンシング部１２と，前記センシング部１２によって得られた情報を元に，前記撮像部で撮影された画像に所定の画像処理を行う画像処理部１３を備えることを特徴とする．
【選択図】図１

Description

本発明は，画像撮影時に撮影された画像を公開する範囲を設定でき，公開を認める相手のみが当該画像を閲覧可能とするカメラおよびカメラシステムに関する。

常時装着型のデバイスによる「ウェアラブル・コンピューティング」という考え方が提唱されている。特許文献１には，カメラやマイクなどのセンサから情報を取得し，イベントごとに重要度を定義して記録する，人間の記憶と想起を補助するためのウェアラブル機器の構成が開示されている。
しかし，特許文献１に記載の機器に代表される，常時装着・常時撮影を前提としたカメラ（以下「ウェアラブルカメラ」と表記）を実現しようとすると，装着者の動きが原因で画質の低下を招く，という問題がある。特に問題となるのが，装着者の動きによる画角の変動である。

これに対して，特許文献２には，移動体の移動方向（ｘ軸方向）に直交するｙ軸方向を長手方向として配置され，撮影対象を撮影して１次元画像 データを取得する撮像センサであるリニアセンサを含む撮像装置に対して，リニアセンサの光軸が所定の方向を向くようにその姿勢を制御するスタビライザを設け，このスタビライザに対して、光軸制御装置から，移動体の移動に応じてリニアセンサの光軸を向けるべき方向等を指示することによって，撮影の各時点におけるリニアセンサによる撮影対象の撮影位置を制御するための方法が開示されている。
特開２００３−３０４４８６号公報 特開２００３−１５３０７２号公報

しかし，特許文献２に記載の方法では，センサの姿勢を制御するための機構をウェアラブルカメラの筐体内に設置する必要がある。このため，ウェアラブルカメラの装置全体の小型化や，消費電力量といった面で悪影響を及ぼす，という課題がある。その上，特許文献２に記載の方法では，スタビライザに利用する角速度センサなどの誤差により，光軸方向を完全に一致させることはできない，という課題がある。

本発明は上記事由を鑑みて為されたものであり，その目的はカメラの光軸を制御する機構を持つことなく，角速度センサなどで得られるカメラの画角の変化量を元に，画像処理によって光軸が一致した，即ち回転および平行移動成分が補正された画像を得ることができる画像処理装置および画像処理方法を提供することである。

請求項１に記載の画像処理装置は，画像を撮影する撮像部と，前記撮像部で撮影される画像以外の情報を検出するセンシング部と，前記センシング部によって得られた情報を元に，前記撮像部で撮影された画像に所定の画像処理を行う画像処理部を備えることを特徴とする。
このような構成によれば，センシング部によって画像が撮影された瞬間の画角の変化量を検出することで，画像処理によって画角の変化を補正し，ウェアラブルカメラを装着することによって生じる画角の変化の影響を低減することが可能となる。

また，請求項１４に記載の画像処理装置は，画像を撮影する撮像部と，前記撮像部で撮影される画像以外の情報を検出するセンシング部と，前記センシング部によって得られた情報を元に，前記撮像部が画像を撮影するタイミングを制御することを特徴とする。
このような構成によれば，ウェアラブルカメラの装着者が静止に近い状態にあるときに画像を撮影することで，装着者が画像撮影のために意識的に動きを止める必要なしに，動きによる像ぶれを低減することが可能となる。

なお，本発明は上記画像処理装置として実現することができるだけでなく，上記画像処理装置が備える特徴的な手段をステップとする画像処理方法として実現してもよく，それらのステップをパソコンなどのコンピュータで実現させるためのプログラムとして実現してもよい。そのようなプログラムをＣＤ−ＲＯＭなどの記録媒体や，インターネットに代表される通信媒体を通じて配信できることは言うまでもない。

本実施の形態にかかる画像処理装置では，ウェアラブルカメラの装着者の体の動きに起因する画角の変動や像ぶれを，撮像素子を制御する機構なしに低減することができ，撮影画像の品質の向上と消費電力の削減など利便性の向上を両立することが可能となる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
(実施の形態１)
まず、本発明の実施の形態１に係る画像処理装置について説明する。
図１は、本実施の形態に係る画像処理装置１０の機能ブロック図である。
この画像処理装置１０は、画像を撮影すると共に画角の変化量の測定し，画像処理によって補正を行う装置であり，撮像部１１，センシング部１２，および画像処理部１３を備える。

撮像部１１は画像を撮影する部分であり，レンズや撮像素子などで構成され，一般のカメラにおける撮像機能を担う構成要素と同等の機能を有する。
センシング部１２は撮像部１１によって得られる画像情報以外の情報を取得する。センシング部１２によって取得される情報として，例えば撮像面の傾きやその変化量，撮像面の動きや速度，などといったものが挙げられる。

画像処理部１３は撮像部１１によって撮影された画像に対して，センシング部１２より得られた情報を元に，画像の回転や平行移動，アフィン変換などの画像変換，画像内の直線成分の検出，被写体の抽出および認識，などの画像処理を行う。
図２は画像処理装置１０の動作の流れを表すフローチャートである。
まずはじめに，撮像部１１によって画像を撮影する（ステップＳ１００）。ウェアラブルカメラで撮影される画像は，装着者の動作に伴う体の動きによって画角に変動が生じ，図３のようになる。図３（ａ），（ｂ），（ｃ）はそれぞれ撮像面が回転している様子を表し，図３（ｄ），（ｅ），（ｆ）はそれぞれの場合に撮影される画像を表す。なお，図３の例はいわゆるロール角の変動を示したものであるが，実際にはロール角に加えてピッチ角，ヨー角の変動，および撮像面の平行移動が発生する。

次に，センシング部１２によって，撮像面の傾き，および平行移動成分を検出する（ステップＳ１０１）。撮像面（正確には撮像面を取り付けている画像処理装置１０の筐体）の傾きを測定するにはジャイロセンサに代表される角速度センサなど，一般に用いられる手段を任意に用いることができる。また，平行移動成分の測定には，加速度センサなどのように一般に用いられる手段を任意に用いることができる。

なお，センシング部１２が搭載するセンサの数は１つでもよく，複数でもよい。
なお，センシング部１２で検出される傾きや平行移動成分は，直前の計測値からの差分で表しても良く，ある基準値からの差分として表してもよい。
なお，この例では傾きと平行移動成分の両方を検出しているが，どちらか一方のみを検出，補正するようにしてもよい。また，傾きを検出する際に，ロール角，ピッチ角，ヨー角のすべてを検出する代わりに，いずれかの値のみを検出してもよい。例えば２軸角速度センサを使っていずれかの組み合わせのみを検出してもよい。

なお、センシング部１２によって検出される物理量は、撮像面もしくはレンズ光軸もしくは撮像面の向きや角度に関する一般的な値全てを対象とすることができ、その中から任意の物理量に限定して検出してもよい。また、向きや角度は撮影する瞬間の絶対座標的な表現であっても、時系列での変化表現であってもよい。
そして，画像処理部１３で，ステップＳ１０１で得られた傾きおよび平行移動成分の補正を行う（ステップＳ１０２）。以下，座標変換の方法について述べる。

一般的に，画像平面上の点Ｐ＝（ｘ，ｙ）に対して，Ｐをカメラを中心とした座標系であるカメラ座標系ＸＹＺで表したものをＰ１＝（ｘ１，ｙ１，ｚ１）とすると，以下の数式１で表す関係が成り立つ。

（数１）
ｓＰ’＝ＫＰ１’

ただし，Ｐ’，Ｐ１’はそれぞれＰ，Ｐ１を同次座標で表したもので，Ｐ’＝（ｘ，ｙ，１），Ｐ１’＝（ｘ１，ｙ１，ｚ１，１）である。また，Ｋは内部パラメータ行列と呼ばれる３＊４の行列で，焦点距離，アスペクト比，画像平面と光軸の交点である画像中心の座標などによって決まる。また，ｓはスケーリングパラメータである。

また，Ｐ１を別のカメラ座標系Ｘ’Ｙ’Ｚ’で表したときの座標をＰ２＝（ｘ２，ｙ２，ｚ２）とすると，以下の数式２で表す関係が成り立つ。

（数２）
Ｐ２’＝[Ｒｔ]Ｐ１’

ただし，Ｐ２’はＰ２を同次座標で表したもので，Ｐ２’＝（ｘ２，ｙ２，ｚ２，１）である。また，ＲはＰ１からＰ２への回転行列，ｔはＰ１からＰ２への並進ベクトルで，［Ｒｔ］はＲとｔを並べてできる４＊４の行列である。

そして，Ｐ２を画像座標系で表した点をＱ＝（ｕ，ｖ）とすると，数式１と同様に，数式３で表す関係が成り立つ。

（数３）
ｓＱ’＝ＫＰ２’

ただし，Ｑ’はＱを同次座標で表したもので，Ｑ’＝（ｕ，ｖ，１）である。また，Ｋはカメラの内部パラメータが変化しない限り一定である。

これらの式をまとめると，ＰとＱとの間には数式４で表す関係が成り立つ。

（数４）
Ｑ’＝Ｋ[Ｒｔ]Ｋ＾Ｐ’

ただし，Ｋ＾はＫの逆行列である。

ウェアラブルカメラの装着者の動きによって画角が変化する，というのは上記のカメラ座標系の変換が加わることに相当する。内部パラメータ行列Ｋは一定と考えると，前に画像を撮影した時から次に画像を撮影するまでの回転および平行移動量を測定することで，撮影した画像間の対応付けを行うことができる。
なお，回転および平行移動量を前に画像を撮影した時からの変化量として測定する代わりに，任意の位置に定めた原点および座標軸からの変化量として測定してもよい。

なお，回転角度の大きさもしくは平行移動量が所定の値を下回っている場合に限って，ステップＳ１０２の補正処理を行うようにしてもよい。これは，回転や移動があまりに大きい画像を補正した場合に，補正された画像に違和感が生じる可能性があるためである。
また同様に、回転角度の大きさや平行移動量が所定の値を上回っている場合に限って，ステップＳ１０２の補正処理を行うようにしてもよい。

また、センシング部１２でのセンサ検出タイミングと撮影タイミングは必ずしも一致するとは限らないため、複数の時刻におけるセンサからの出力から撮影タイミングにおける計測値を内挿（もしくは外挿）して求めてもよい。
しかし，ステップＳ１０２で回転角度および平行移動成分の補正はできるが，一般にセンサの出力には誤差が含まれているため，そのままでは補正後の結果にも誤差が含まれる。そこで，画像が持つ特徴を利用して誤差を補正する処理を行う（ステップＳ１０３）。

ここで，誤差補正方法の一例として，ステップＳ１０２で補正を行った画像から，方向ごとのエッジの頻度を求め，それを利用した誤差補正の方法について説明する。この例では回転角度の誤差を補正する方法について説明する。
撮影された空間内に電柱や建造物などの，水平あるいは垂直を表す直線が存在する場合，ステップＳ１０２で補正が正しく行われていれば，図５（ａ）のように，これらは画像内でまっすぐ縦あるいは横に伸びる直線として存在するはずである。

しかし，ステップＳ１０２における補正の際に，センサの出力に誤差θが含まれる場合，これらの直線は図５（ｂ）のように，θだけ傾いて存在することになる。そして，特に人工物であればこれらの直線は数多く存在すると考えられるため，結果として画像内の直線の角度ごとの頻度を測ると，θだけ傾いた直線が多数検出される。
これらを逆に考えると，水平あるいは垂直からある一定の角度だけ傾いた直線が多数存在する画像があった場合，それらの直線は元々水平あるいは垂直を表すものだった可能性が高いと考えられる。従って，この時の水平あるいは垂直からの傾き角が，残っている誤差に相当する。回転角度の補正には数式４で表される関係を利用するなど，既存の画像変換手法およびそれらの組み合わせを用いることができる。

図６は誤差補正処理の流れを示すフローチャートである。
はじめに，画像中から直線を検出する（ステップＳ２００）。直線検出手法として，たとえば画像のエッジ成分を検出し，その後Ｈｏｕｇｈ変換を利用して直線を検出する、特定の色相を持つ領域を抽出しその概形（外接多角形）の辺を用いるなど，既知の手法もしくはその組み合わせを用いることができる。

次に，検出された直線群の，角度毎の頻度を算出する（ステップＳ２０１）。このとき，頻度を算出する際に，水平あるいは垂直から所定の角度範囲の直線の頻度のみを算出してもよい。これは以下の理由による。
ステップＳ１０２で補正がなされていると仮定すると，水平あるいは垂直を表す直線の傾きはセンサの誤差に起因する。従って，センサに生じる誤差の最大値以上に傾きが生じることはないと考えられる。従って，この誤差の最大値より小さい傾きの範囲で直線の頻度を測る事で，画像のノイズや本来関係のない直線をカウントしてしまうことによる誤りを低減することができる。

逆に、センサの誤差範囲外の角度に特徴的なピークが認められた場合で、且つセンサのデータ取得タイミングと画像の取得タイミングにズレが認められた場合、センサの誤差範囲以上にタイミングのズレによって角度が変化したと判断して、センサの誤差範囲以上に画像を修正してもよい。この場合も、センサ出力によって大まかな角度変移量が判るため、画像修正の際の角度決定は、何も無い状態に較べ非常に簡単となる。勿論、角度頻度に対して、センサ出力に基づく重み付け（センサ出力値に近いほど重み付けを増す、など）をしてもよい。

次に，ステップＳ２０１で測定した頻度を元に，最も頻度の高い角度を求め，そのときの頻度の値が閾値を上回っているかを判定する（ステップＳ２０２）。これによって，補正を行おうとしている画像に対して，そもそもこの手法が適用可能か否かを判定する。最も高い頻度が閾値を下回る，というのは画像中の線分の方向がばらばらであるか，そもそも主要な線分が存在しない場合に相当する。このような画像を人間が見た場合に，人間はそもそもそれが傾いていることを知覚しづらいと考えられる。従って，このような場合には誤差を補正する必要はないと判断し，処理を終了する。

最後に，ステップＳ２０２で最も高い頻度の値が閾値を上回っている場合，最も頻度の高い角度に従って，誤差の補正を行う（ステップＳ２０３）。
角度に関する頻度計算であるが、角度の持続時間（特定のエッジの長さ）や、頻出度合い（局所的な発生かどうか）、直交成分の有無（特定角度のエッジに対して、それに直行するようなエッジ成分が検出されているかどうか、もしくは検出されている度合い）などを重みとして、頻度分布を重み付け頻度分布と読み替えてもよい。
なお，誤差を補正するための処理として，撮像部１１によって既に撮影された画像，あるいは補正処理を行った画像を基準として，それに対するマッチング処理を用いてもよい。以下，マッチングによる誤差の補正処理の方法について説明する。

まずはじめに，図７（ａ）のように，基準となる画像から小領域を切り出す。図７（ｂ）は切り出された小領域を表す。切り出された小領域をテンプレートとして，補正対象の画像とのマッチングを取る。この際，数式４の関係を利用してテンプレートに回転を施した上でマッチングを取る，という処理を図７（ｃ）のように回転の角度を変えながら繰り返し行い，最終的に最もマッチングの結果がよい角度が誤差に相当する。なお，画像間のマッチング手法については一般的に広く知られており，既存の手法およびその組み合わせを用いることができる。

なお，ステップＳ２０２で角度ごとの直線の頻度を測定し，最も高い頻度の値が閾値を下回っている際，そのまま処理を打ち切る代わりに，画像から特定の被写体を抽出，認識する処理を行い，被写体が検出された場合にはステップＳ２０３の補正処理を行うようにしてもよい。
なお，この際検出するべき被写体としては，垂直に立っていることが一般的な木や電柱，ビルのようなものなどのように，その存在がある方向を指し示しうるものが望ましい。

なお，画像から特定の被写体を検出する代わりに，センシング部１２に備えられたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの位置検出手段によって画像が撮影された位置を測定し，ビルが多く建っている都市部など特定の位置で撮影された画像である場合にはステップＳ２０３の補正処理を行うようにしてもよい。
勿論、先の２つ（テンプレートマッチングとＧＰＳ）を組み合わせて用いてもよい。すなわち、ＧＰＳ情報から想定され得る基準画像情報を取得し、これにテンプレートマッチングを用いるなど、場所・時間といった情報から基準情報を取得するように任意の組み合わせを用いてよい。

なお，画像処理装置１０は，センシング部１２によって得られる情報を元に撮像部１１が画像を撮影するタイミングを制御してもよい。
具体的には，センシング部１２に備えられた速度センサなどによって速度を測り，その速さが閾値を下回ったときを静止状態とみなし，画像を撮影する。なお，速度センサには既存のものを用いることができる。

なお，静止状態と判定するための閾値を，シャッター速度や撮像素子の感度，レンズ特性など撮像部１１の特性や撮影条件によって動的に変更してもよい。例えば一般的にはシャッター速度が速いほど像ぶれは低減されるため，シャッター速度が速いほど静止状態と判定するための閾値を大きくすることができる。また，同じく一般的には焦点距離が長いほど像ぶれは大きくなるため，焦点距離が長いほど静止状態と判定するための閾値は小さくする必要がある。

なお，センシング部１２に備えられた速度センサによって得られる速度の情報から，速度変化の周期を算出し，算出された周期を元に撮影タイミングを制御してもよい。
なお、速度変化に限らず、センシング部１２から取得される任意の情報の変化に対して、所定の値を超える・下回る・特定の値の範囲内にある、などの一般的な数値処理条件を組み合わせて、撮影タイミングを制御してもよい。例えば、ＧＰＳ変化量が所定値よりも大きく（移動速度が大きく）、且つ上下動が激しい（走っていると考えられる；乗り物に乗車しているのではない）ときには、写真撮影間隔を拡げる（もしくは狭める）といった処理や、最も物理的に高い位置にカメラが来たときに撮影する（瞬間的に重力方向の速度成分がゼロになったときに撮影する）など、撮影タイミングの任意コントロールを行ってもよい。

なお，画像処理装置１０は，撮像部１１によって撮影された画像に対して，センシング部１２で得られた情報をメタデータとして付与する情報付与部１４を備えてもよい。メタデータの形式としてＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）７，ＭＰＥＧ２１といった標準規格が存在しており，これらの規格に従う形でメタデータを付与することができる。また，メタデータの形式はここに挙げた例に制限されることはなく，それ以外の標準規格や独自規格であってもよい。また，メタデータを画像データ内に透かしとして埋め込んでもよい。なお，画像処理装置１０は，撮像部１１によって撮影された画像や，センシング部１２で得られた情報を外部のネットワークなどに送信するための通信部１５を備えてもよい。これによって，画像に傾き情報をメタデータとして記録しておき，外部のサーバーに送信した後，サーバー内で実際の画像処理を行ってもよい。

なお，画像処理装置１０は，撮像部１１によって撮影された画像や，画像処理部１３によって処理された画像を，表示部１６によって表示してもよい。
また，本発明にかかる画像処理装置および画像処理方法は，その範囲を逸脱することなく本発明の趣旨に沿って様々の変形または修正が可能であることは言うまでもない。

本発明の画像処理装置および画像処理方法は，カメラの動きによる画角の変動を補正するための装置および方法として有用であり，デジタルスチルカメラをはじめとする撮像装置，特に身体に装着可能な撮像装置に適用可能である。

本発明の実施の形態に係る画像処理装置の構成図である。 本発明の実施の形態に係る画像処理装置の，代表的な構成におけるフローチャートである。 撮像面の傾きによって画像が変化することを表す模式図である。 ある画角で撮影された画像を別の画角で撮影された画像に対応付ける際の関係を表す模式図である。 線分の傾きによって誤差を測定する流れを表す模式図である。 線分の傾きによって誤差を補正する処理のフローチャートである。 画像のマッチングによって誤差を測定する流れを表す模式図である。

符号の説明

１０・・・画像処理装置
１１・・・撮像部
１２・・・センシング部
１３・・・画像処理部
１４・・・情報付与部
１５・・・通信部
１６・・・表示部

Claims (34)

1. 画像を撮影する撮像部と，前記撮像部で撮影される画像以外の情報を検出するセンシング部と，前記センシング部によって得られた情報を元に，前記撮像部で撮影された画像に所定の画像処理を行う画像処理部を備えることを特徴とする，画像処理装置．
2. 前記センシング部が，角速度センサおよび加速度センサの少なくとも一方を備えることを特徴とする，請求項１に記載の画像処理装置．
3. 前記センシング部によって得られる情報が，前記撮像部の撮像面の回転角度および平行移動量の少なくとも１つ以上であり，前記所定の画像処理は，前記撮像部で撮影された画像の回転および平行移動の少なくとも1つ以上を補正するための補正処理であることを特徴とする，請求項１乃至２のいずれか一項に記載の画像処理装置．
4. 前記補正処理は，まずはじめに前記センシング部によって得られた回転角度および平行移動量の少なくとも１つ以上を利用して，前記撮影された画像の回転および平行移動の少なくとも１つ以上の補正処理を行い，その後に，前記センシング部の誤差を補償するための処理を行うことを特徴とする，請求項１乃至３のいずれか一項に記載の画像処理装置．
5. 前記誤差を補償するための処理は，前記撮像部によって撮影された画像とのマッチング処理であることを特徴とする，請求項４に記載の画像処理装置．
6. 前記誤差を補償するための処理は，前記撮像部によって撮影された画像のうち，既に補正処理を行った画像とのマッチング処理であることを特徴とする，請求項４に記載の画像処理装置．
7. 前記マッチング処理を行う際に，あらかじめ測定されている前記センシング部の誤差に関する情報を利用し，各画素から前記誤差の範囲内にある画素のみをマッチングの対象とすることを特徴とする，請求項５乃至６のいずれか一項に記載の画像処理装置．
8. 前記誤差を補償するための処理は，前記補正処理を行った画像から画像平面に対して水平および垂直方向から所定の角度範囲にあるエッジ成分を検出してそれぞれの頻度を測り，最も多いエッジ成分が存在する方向に対して更に補正処理を行うことを特徴とする，請求項３に記載の画像処理装置．
9. 前記所定の角度範囲は，センサの誤差範囲によって決まることを特徴とする，請求項８に記載の画像処理装置．
10. 前記撮像面の回転角度が，所定の値を下回っているときに，前記補正処理を行うことを特徴とする，請求項３乃至９のいずれか一項に記載の画像処理装置．
11. 前記画像処理部によって各方向のエッジ成分の頻度を測り，最も多い方向のエッジ成分の頻度が所定の値を下回っている場合，前記誤差を補償するための処理を行わないことを特徴とする，請求項３乃至１０のいずれか一項に記載の画像処理装置．
12. 前記画像処理部によって各方向のエッジ成分の頻度を測り，最も多い方向のエッジ成分の頻度が所定の値を下回っている場合，前記画像処理部はさらに画像中から特定の被写体を検出する処理を行い，前記特定の被写体を検出した場合には，前記誤差を補償するための処理を行うことを特徴とする，請求項３乃至１１のいずれか一項に記載の画像処理装置．
13. 前記センシング部が位置検出手段を備え，前記画像処理部によって各方向のエッジ成分の頻度を測り，最も多い方向のエッジ成分の頻度が所定の値を下回っている場合，前期位置検出手段によって得られた位置が所定の位置である場合には，前記誤差を補償するための処理を行うことを特徴とする，請求項３乃至１１のいずれか一項に記載の画像処理装置．
14. 画像を撮影する撮像部と，前記撮像部で撮影される画像以外の情報を検出するセンシング部と，前記センシング部によって得られた情報を元に，前記撮像部が画像を撮影するタイミングを制御することを特徴とする，画像処理装置．
15. 前記センシング部が速度センサを備え，速度センサによって得られる速度の値が所定の閾値を下回るときに，前記撮像部が画像を撮影することを特徴とする，請求項１４に記載の画像処理装置．
16. 前記所定の閾値は，前記撮像部の撮影条件に応じて動的に変化することを特徴とする，請求項１５に記載の画像処理装置．
17. 前記センシング部が速度センサを備え，速度センサによって得られる速度の変化の周期を算出し，前記算出された周期を元に，前記撮像部が画像を撮影するタイミングを制御することを特徴とする，請求項１４乃至１６のいずれか一項に記載の画像処理装置．
18. 画像を撮影する撮像手段と，前記撮像手段で撮影される画像以外の情報を検出するセンシング手段と，前記センシング手段によって得られた情報を元に，前記撮像手段で撮影された画像に所定の画像処理を行う画像処理手段を備えることを特徴とする，画像処理方法．
19. 前記センシング手段が，角速度センサおよび加速度センサの少なくとも一方を備えることを特徴とする，請求項１８に記載の画像処理方法．
20. 前記センシング手段によって得られる情報が，前記撮像手段の撮像面の回転角度および平行移動量の少なくとも１つ以上であり，前記所定の画像処理は，前記撮像手段で撮影された画像の回転および平行移動の少なくとも1つ以上を補正するための補正処理であることを特徴とする，請求項１８乃至１９のいずれか一項に記載の画像処理方法．
21. 前記補正処理は，まずはじめに前記センシング手段によって得られた回転角度および平行移動量の少なくとも１つ以上を利用して，前記撮影された画像の回転および平行移動の少なくとも１つ以上の補正処理を行い，その後に，前記センシング手段の誤差を補償するための処理を行うことを特徴とする，請求項１８乃至２０のいずれか一項に記載の画像処理方法．
22. 前記誤差を補償するための処理は，前記撮像手段によって撮影された画像とのマッチング処理であることを特徴とする，請求項２１に記載の画像処理方法．
23. 前記誤差を補償するための処理は，前記撮像手段によって撮影された画像のうち，既に補正処理を行った画像とのマッチング処理であることを特徴とする，請求項２１に記載の画像処理方法．
24. 前記マッチング処理を行う際に，あらかじめ測定されている前記センシング手段の誤差に関する情報を利用し，各画素から前記誤差の範囲内にある画素のみをマッチングの対象とすることを特徴とする，請求項２２乃至２３のいずれか一項に記載の画像処理方法．
25. 前記誤差を補償するための処理は，前記補正処理を行った画像から画像平面に対して水平および垂直方向から所定の角度範囲にあるエッジ成分を検出してそれぞれの頻度を測り，最も多いエッジ成分が存在する方向に対して更に補正処理を行うことを特徴とする，請求項２０に記載の画像処理方法．
26. 前記所定の角度範囲は，センサの誤差範囲によって決まることを特徴とする，請求項２５に記載の画像処理方法．
27. 前記撮像面の回転角度が，所定の値を下回っているときに，前記補正処理を行うことを特徴とする，請求項２０乃至２６のいずれか一項に記載の画像処理方法．
28. 前記画像処理手段によって各方向のエッジ成分の頻度を測り，最も多い方向のエッジ成分の頻度が所定の値を下回っている場合，前記誤差を補償するための処理を行わないことを特徴とする，請求項２０乃至２７のいずれか一項に記載の画像処理方法．
29. 前記画像処理手段によって各方向のエッジ成分の頻度を測り，最も多い方向のエッジ成分の頻度が所定の値を下回っている場合，前記画像処理手段はさらに画像中から特定の被写体を検出する処理を行い，前記特定の被写体を検出した場合には，前記誤差を補償するための処理を行うことを特徴とする，請求項２０乃至２８のいずれか一項に記載の画像処理方法．
30. 前記センシング手段が位置検出手段を備え，前記画像処理手段によって各方向のエッジ成分の頻度を測り，最も多い方向のエッジ成分の頻度が所定の値を下回っている場合，前期位置検出手段によって得られた位置が所定の位置である場合には，前記誤差を補償するための処理を行うことを特徴とする，請求項２０乃至２８のいずれか一項に記載の画像処理方法．
31. 画像を撮影する撮像手段と，前記撮像手段で撮影される画像以外の情報を検出するセンシング手段と，前記センシング手段によって得られた情報を元に，前記撮像手段が画像を撮影するタイミングを制御することを特徴とする，画像処理方法．
32. 前記センシング手段が速度センサを備え，速度センサによって得られる速度の値が所定の閾値を下回るときに，前記撮像手段が画像を撮影することを特徴とする，請求項３１に記載の画像処理方法．
33. 前記所定の閾値は，前記撮像手段の撮影条件に応じて動的に変化することを特徴とする，請求項３２に記載の画像処理方法．
34. 前記センシング手段が速度センサを備え，速度センサによって得られる速度の変化の周期を算出し，前記算出された周期を元に，前記撮像手段が画像を撮影するタイミングを制御することを特徴とする，請求項３１乃至３３のいずれか一項に記載の画像処理方法．

Images