JP2011259342A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】撮像された画像に含まれる傾きを補正する。
【解決手段】２以上の画像間の相対的な傾き角度を算出するため、画像中に含まれる傾き情報を角度ヒストグラムとして抽出する。この角度ヒストグラム間で類似度によるマッチングを行って、移動量を補正した上で角度ヒストグラムを累積加算し、ノイズ成分を抑制し傾き角度情報を先鋭化する。この結果から傾き角度を推定して画像の傾き補正を行う。
【選択図】図３

Description

本発明は画像処理装置及び画像処理方法に関し、特に画像補正の技術に関するものである。

近年、カメラ、ムービーなどの撮影装置における手ブレ補正技術において、画像の傾きを補正する技術が提案されている。

特許文献１には、撮像装置に加速度センサを設け、加速度センサにより重力加速度を測定することで撮像装置の地軸に対する傾きを検出し、検出した傾き角度に基づいて撮影した画像の傾きを補正する方法が開示されている。また特許文献２には、撮像画像の上部に存在する線分を検出し、それらの線分の傾き角から画像全体の傾き角を推定し、撮像画像の傾きを補正する方法が開示されている。また特許文献３には、センサと画像処理とを組み合わせて使用することで、傾き角度算出の精度を向上させる手法が示されている。

さらに特許文献４には、画像処理を用いて画像の傾き角度を算出する際には、画像を小ブロックに分割し、個々のブロックにおけるテクスチャが示す方向性を判定し、そのテクスチャが一方向性を有する領域のみを対象として傾き角度を算出する方法が示されている。この方法は画像中の構造物のみから傾き情報を抽出することと等価であり、傾き角度算出の精度と安定性の向上に寄与するものである。

特開２００６−２４５７２６号公報 特許第３６７６３６０号公報 国際公開第２００９−００１５１２号 国際公開第２００９−００８１７４号

しかしながら、特許文献１に開示されているセンサを用いる方式では、センサの出力値に慣性ノイズや他軸感度などの変動成分が含まれるため、ムービーなど撮影者が移動しながら撮像を行う場合には高精度な傾き補正が困難であった。また、特許文献２では撮像された画像の構図に制限があり、一般的な使用状況では実用的ではなかった。

特許文献３および特許文献４では、上記の欠点を補うため、センサと画像処理を組み合わせて使用することが提案されている。しかし、これらの方式では単一の画像から傾き角度を算出することを目的としているため、画像に写っている構造物の占める面積が、自然物や人物などの非構造物に比して小さい場合には、非構造物からの傾き情報は傾き角度を算出するためのノイズ成分となり、正しい傾き角度を算出することが不可能である。この課題は、撮像装置の撮像画角が広くなるほど顕著になる。図１の（ａ）および（ｂ）は同じ方向を画角を変えて撮影した画像の例であり、太線が傾き角度算出に寄与する成分である。ここでは傾き角度をθとする。図２の（ａ）および（ｂ）は図１の（ａ）および（ｂ）の傾き角度情報を累積した角度ヒストグラムを示しており、本来であれば図２（ａ）のように角度θの値が最大となる。ところが図１の（ｂ）の太線は図１の（ａ）にくらべその長さが短かいため、図２の（ｂ）のように自然物から抽出した傾き角度情報（図２における斜線部が自然物から抽出した傾き角度情報）によって抽出したい傾き角度情報を抽出できなくなっている。特許文献４ではこの課題解決のため、あらかじめ自然物を除去することで、ヒストグラム形状を保持する手法として開示されている。しかしながら、分割された小ブロックが一方向に方向性を持っていてもそれ以外の領域に乱雑な方向を持った被写体が写っている場合があること、広角撮影を行った場合には方向性を持った被写体そのものが小さく写ってしまい角度ヒストグラムのピーク検出が困難になること、などの課題を有する。

本発明は、画像から得られる傾き角度情報が相対的に少ない場合であっても、ノイズ成分を抑制し、傾き角度推定を可能として、画像の傾きを補正することを目的とする。

画像取得部と、画像取得部で取得した画像の各画素に対して画像の傾きを推定するための情報を抽出する傾き情報算出部と、傾き情報算出部で算出した傾き情報を用いてその傾き角度ごとの度数分布である角度ヒストグラムを生成する角度ヒストグラム生成部と、角度ヒストグラム生成部で生成された前記角度ヒストグラムのうち、２個以上の角度ヒストグラムを格納する角度ヒストグラム格納部と、角度ヒストグラム格納部に格納された２個以上の角度ヒストグラムのうち、基準角度ヒストグラム１個と、基準角度ヒストグラムとは異なる比較対象角度ヒストグラム１個を選択し、角度ヒストグラム格納部から読み出す読み出し部と、基準角度ヒストグラムと比較対象角度ヒストグラムとの形状の類似度と移動量を調べるマッチング部と、マッチング部の出力する類似度を用いて、基準角度ヒストグラムと比較対象角度ヒストグラム間で演算が可能かどうかを判定する演算可否判定部と、演算可否判定部の判定結果が可であった場合に、基準角度ヒストグラムと比較対象角度ヒストグラム間で移動量を用いて演算を行って演算後角度ヒストグラムを生成し、判定結果が否であった場合には演算を行わずに基準角度ヒストグラムを演算後角度ヒストグラムとする、角度ヒストグラム演算部と、演算後角度ヒストグラムの最大値あるいは極大値を検出するピーク検出部と、ピーク検出部が検出した最大値あるいは極大値が示す傾き角度から画像の傾き角度を推定する傾き推定部と、推定された傾き角度を用いて画像の傾きを補正する画像補正部とを備える画像処理装置である。

本構成によって、ある画像の傾き角度を推定する際に、対象画像のみでなく複数の画像の傾き角度情報を利用することができる。

本発明の画像処理装置および方法によれば、画像の傾き角度を推定する際に画像に含まれる傾き角度情報が少なく従来であれば傾き角度の推定、補正が困難であった画像であってもその傾き角度を推定、補正することができる。

通常画角画像（ａ）と広角画像（ｂ）とを比較した図である。 図１の（ａ）および（ｂ）の画像の角度ヒストグラムにおける構造物、自然物それぞれの影響を示した図である。 本発明の実施の形態１における画像処理装置の構成を示す図である。 本発明の実施の形態１における画像処理方法を示すフローチャートである。 線分上の点における輝度勾配を説明する図である。 Ｓｏｂｅｌフィルタで用いられる係数行列を示す図である。 Ｈｏｕｇｈ変換における線分を特徴付けるパラメータを説明する図である。 画像、角度ヒストグラムとその累積加算の流れを説明する図である。 本発明の実施の形態２における画像処理装置の構成を示す図である。 加速度センサの３軸の出力値の一例を示す図である。 加速度センサを用いて傾き検出を行う再のｘ方向、ｙ方向の出力値の一例を示す図である。 加速度センサの出力値から鉛直方向を指し示すベクトルを生成する一例を示す図である。

以下本発明の実施の形態の構成と動作について、図面を参照しながら説明する。

（実施の形態１）
図３は、本発明の実施の形態１における画像処理装置の構成を示す図である。また、図４は、本発明の実施の形態１における画像処理方法を示すフローチャートである。

画像取得部３０１は撮像部３０７で取得した画像データを画像処理装置３００に取り込み、傾き情報算出部３０２に送る（Ｓ４０１）。傾き情報算出部３０２では、取り込んだ画像に対して傾き情報を算出する（Ｓ４０２）。その手法としては、画像をグレースケール変換し、画素ごとに縦方向、横方向のＳｏｂｅｌフィルタを作用させ、その結果を合成して勾配ベクトルを算出する方法や、画像から線分抽出を行うＨｏｕｇｈ変換を作用させ、線分長さとその傾き角度を算出する方法などがあるが、本発明はこれに限定するものではない。

ここで、勾配ベクトルの算出について図５、図６を用いて説明する。図５において位置Ｐにおける画像の画素値をＩ（Ｐ）とし、Ｐにおけるｘ方向、ｙ方向のコントラスト変化をそれぞれｄｘ、ｄｙとしたとき、

と表せる。このとき、コントラスト変化の方向をθとすると、

が成り立ち、これが前述の勾配ベクトルの方向に相当する。ｄｘ、ｄｙを求めるには図６に示すＳｏｂｅｌフィルタを用いる。図６の（ａ）および（ｂ）は、それぞれｘ方向、ｙ方向のコントラスト変化を測定するためのフィルタ要素である。次にＨｏｕｇｈ変換による線分検出について図７を用いて説明する。図７の（ａ）において、点（ｘ＿ｉ、ｙ＿ｉ）を通る直線は次式を満たす。

なお、ρは直線と原点との距離、θは原点から直線への垂線とｘ軸のなす角を表す。

これは点（ｘ＿ｉ、ｙ＿ｉ）を通る直線群が図７の（ｂ）における一本の曲線に対応付けられることを意味する。一方、同じ直線状にある複数の点について同様の対応を行うと、得られる複数の曲線は一点で交わり、この交点（ρ、θ）がこれらの点を通る直線を示している。すなわち、あるθに着目し、ρの数をカウントすることで傾きθの線分の数が取得できる。

角度ヒストグラム生成部３０３は勾配ベクトルうち同じ方向成分を持つものを累積する、あるいはＨｏｕｇｈ変換で求めた線分のうち同じ方向成分を持つものをその長さ分加算する、といった処理を行うことによって角度ヒストグラムを生成する（Ｓ４０３）。この角度ヒストグラムは「ある角度方向のエッジがどれほど存在するか」を表す指標となり、一般に画像に傾きがない状態で構造物のみが写っている場合（歪がない場合）には水平線や垂直線成分が多くなるため、０度および９０度の角度ヒストグラムの値が強いピークを持つ形状となる。図１および図２の（ａ）のようにθだけ傾いた画像であれば、傾きがない場合の角度ヒストグラムがθだけ平行移動した角度ヒストグラムが得られる。

従来の画像処理による傾き角度推定では、ピーク検出部３０４によって角度ヒストグラムの最大値を示す角度を探索し、傾き推定部３０５によって角度ヒストグラムの最大値を示す角度をそのまま画像の傾き角度として、画像補正部３０６においてその傾き角度を補正する処理を行っていた。あるいはピーク検出部３０４において最大値を含む極大値数点を選択し、傾き推定部３０５ではその極大値を滑らかにつなぐような包絡線を多項式内挿、最少二乗法、勾配法などで算出したうえで最大値を解析的に算出し、これを画像の傾き角度として、画像補正部３０６においてその傾きを補正していた。一般に画像補正部３０６ではアフィン変換によって回転が補正される。本発明においても角度ヒストグラムからの傾き角度の推定とアフィン変換による補正は同様の処理を行う。

角度ヒストグラム格納部３１０は撮像部３０７で撮像される画像あるいはムービーの各フレームを３０１から３０３の各処理ブロックで処理した後の角度ヒストグラムを一時的に格納する（Ｓ４１１）。読み出し部３１１は傾き補正を行いたい画像の角度ヒストグラムを基準角度ヒストグラム、その画像に時間的に隣接する画像の角度ヒストグラムを比較対象角度ヒストグラムとして、両者を角度ヒストグラム格納部３１０から読み出し、マッチング部３１２に送る（Ｓ４１２）。

マッチング部３１２は２つのヒストグラムの類似度判定を行う（Ｓ４１３）。この処理を図８を用いて説明する。一般に撮像部３０７でムービーが撮影された場合、フレーム間の時間的な隔たりは３３ｍｓ〜６６ｍｓ程度（３０フレーム／秒から１５フレーム／秒）であり、時間的に隣接した画像の構成要素には大きな変化はないため、それらの角度ヒストグラムにも必然的に大きな差は現れない。そのため、２つの画像の角度ヒストグラムはお互いの相対的な回転角度だけ平行移動したものとなる。マッチング部３１２では２つの角度ヒストグラム間の類似度と平行移動量を算出できればよいので、画像や信号波形の類似度を計測するために一般的に用いられている相互相関関数や、ヒストグラムの類似度を計測するためによく用いられるヒストグラムインタセクションなどによって計算する。相互相関関数はその最大値が類似度、最大値を与える変数が２つのヒストグラム間に存在する相対的な移動量となるが、ヒストグラムインタセクションではインタセクションを計算する変数をずらしながら行うことによって、最大のヒストグラムインタセクション値を類似度、それを与える変数のずれ量を移動量とする。相対的な移動量は基準ヒストグラム側を基準として扱うものとし、「基準角度ヒストグラムに対する比較対象角度ヒストグラムの移動量」とみなす。

演算可否判定部３１３は、マッチング部３１２が算出した類似度を所定の基準と比較し、２つの角度ヒストグラム間で演算を行ってよいかどうかを判断する（Ｓ４１４）。基準値の設定は、例えば相互相関関数を用いる場合、その最大値は基準角度ヒストグラムの自己相関関数の最大値を超えることはないので、自己相関関数のｘ％などとしてよい。あるいはヒストグラムインタセクションを使用する場合、基準角度ヒストグラム同士のインタセクションの最大値が１００％と定義されるとき、そのｙ％などとしてよい。ここでは時間的に隣接した画像の角度ヒストグラムを比較することを前提としており、画像の構成に大きな変化がないことを想定しているため、ｘ＝８０、ｙ＝７５など比較的大きな値とするほうがよい。

角度ヒストグラム演算部３１４では、演算可否判定部３１３での可否判定結果と、基準角度ヒストグラムに対する比較対象角度ヒストグラムの移動量と、２つの角度ヒストグラムを受け取り、可否判定結果にしたがって演算後角度ヒストグラムを生成する。可否判定結果が可である場合、演算後角度ヒストグラムは基準角度ヒストグラムと移動量だけ変数をずらした比較対象角度ヒストグラムとを変数ごとに演算（加算）する（Ｓ４１５）。可否判定結果が否である場合、演算を行わずに基準角度ヒストグラムを演算後角度ヒストグラムとする（Ｓ４１６）。

ここで傾き情報算出部３０２で算出される傾き角度情報は大きく２つに分類できる。ひとつは構造物から抽出される、強い方向性を持った傾き角度情報、もう一つは非構造物（自然物、人など）から抽出される傾き角度情報の分散値が大きい傾き角度情報である。非構造物からの傾き角度情報は構造物と比較してコントラストが低いため、その傾き角度情報が安定せず、したがってホワイトノイズ的な性質を持つ。例えば木の葉、木肌、芝生などは画像ごとにその傾き角度情報に揺らぎが生じる。対して構造物はコントラストが高いため、傾き角度情報は安定して所定の方向に出続ける。角度ヒストグラムにはこれら２つの成分が混在しているが、マッチング部３１２で算出した移動量を補正した上で累積加算を行うことで、非構造物からの傾き角度情報は平均化されていくのに対して、構造物からの傾き角度情報は強調されていくこととなる。

したがってＳ４０１からＳ４１６までのステップを適切な時間幅を持つ画像間で実施することにより、演算後ヒストグラムにおける非構造物の影響は相対的に小さくなり、逆に構造物からの情報は先鋭化される。その結果、非構造物殻の傾き角度情報に埋もれていた構造物の傾き角度情報を、ピーク検出部３０４において検出可能とすることができる（Ｓ４０４）。傾き推定部３０５はピーク検出部３０４において検出した最頻値を与える角度を傾き推定角度と設定し、この情報を画像補正部３０６へ送る（Ｓ４０５）。画像補正部３０６では例えばアフィン変換などを行って、画像全体を回転させることよって画像間の回転移動量を補正することができる。ここで、傾き推定部３０５は、ピーク検出部３０４で検出された最頻値を与える角度が直前に傾き推定部３０５で推定された傾き角度と大きく異なっている場合、ピーク検出部３０４で得られた結果を無視し、直前に推定された角度を傾き角度としてもよい。あるいは、傾き推定部３０５が直前に推定した傾き角度に対して適当な誤差許容範囲（例えば±１゜など）を設定し、この範囲内でのヒストグラム最頻値をピーク検出部３０４から抽出して、これを推定角度としてもよい。いずれの場合も最終的に画像補正部３０６において画像全体を回転させることによって、目的の画像の補正が完了する（Ｓ４０６）。

補正後の画像は記憶部３０８に格納した後、図示しないモニタ装置に表示したり、図示しない外部記憶装置にファイルとして保存したり、してよい。また、ネットワークを介して送出してもよい。

以上が本発明の一例である画像処理装置３００の構成と動作である。

なお、傾き角度を推定するために必要な情報を保有していない画像に対しては、何も処理を行わないようにしてもよい。たとえば、人物や自然物が画面いっぱいに映っている画像では、構造物情報が存在しないために傾き情報の算出が行えない。このような場合には視覚的にも画像の傾きについての感度が低くなる（傾いていても品質の低下を感じにくくなる）ため、人物や自然物から抽出した不安定かつ確度の低い傾き推定角度を用いて補正を行うよりも、補正自体をキャンセルしたほうがよい。

なお、推定された傾き角度を保存するバッファを設けてもよい。このバッファには時系列で算出された推定傾き角度を保存しておき、ある一枚の画像の傾き角度の算出が不可であった場合に、その前後の傾き角度推定が成功した結果を用いた補間を行うことで推定を行ってもよい。ムービーなど連続した画像を取得する機器においては、画像の傾き角度は連続的に変化することが一般的であるためであり、この性質を用いることで、過去の傾き角度推定結果から外挿処理を用いて対象画像の傾き角度を推定することも可能である。

（実施の形態２）
図９は、本発明の実施の形態２における画像処理装置の構成を示す図である。図９において、図３と同じ構成要素については同じ符号を用い、説明を省略する。

センサ部９０１は撮像部３０７の内部あるいは外部に設置され、撮像部３０７の動きを所定の周期で計測、出力する。一般に撮像部３０７が画像をキャプチャするときに同期して、その動きを計測するのがよい。センサ部９０１は加速度センサ、ジャイロセンサ、方位センサなどで構成されており、理想的には撮像部３０７の動きすべてを計測できるよう、それぞれ３軸の計測軸を持つことが求められるが、必ずしもすべての軸を必要とはしない。画像データとセンサデータは画像処理装置３００の内部では同期するように扱われる。センサ取得部９０２は取得したセンサデータを処理し、推定傾き角度を算出するための補助情報を算出する。

例えば、図１０は加速度センサの３軸の出力値の一例を示したものである。本実施の形態においてはセンサの出力値そのものはさほど重要ではなく、それよりも波形の変化する周期やタイミングが重要となる。図１０において、（a）、（b）、（c）のタイミングですべての軸で波形が変化しており、これによりある軸について何かの動きが生じた、ということよりもこのタイミングで撮像部３０７全体に衝撃が加えられた、ということがわかる。この衝撃が例えば歩行時の足の着地による衝撃である場合には（a）から（b）の期間、あるいは（b）から（c）の期間は比較的安定しており、画像の構図自体も時間的に前後の画像と比較して大きな変化はないものと予測することができる。したがってそれぞれの期間に撮影された画像から生成した角度ヒストグラムはその形状は似ているものとなるため、累積加算することが可能となる。一般的には歩行は２ヘルツ程度、走るときは〜５ヘルツであり、３０ｆｐｓで撮影された動画の場合、６〜１５枚程度の画像を累積加算することが可能となることを示している。このような情報を読み出し部３１１に入力して、角度ヒストグラム格納部３１０から当該の角度ヒストグラムを読み出してマッチング、演算可否判定、確保ヒストグラム演算（累積加算）を行うことで、より精度の高い推定傾き角度の算出が可能となる。

なお、ここでは加速度センサ３軸での例を用いたが、ジャイロセンサを用いてもよい。また、必ずしも３軸である必要はなく、それよりも多くても少なくてもよい。ただし、撮像部３０７自体の動きを検知したものであるのか、それとも歩行時の衝撃のような外乱的な要因によるものなのかを判定するためには、情報は冗長であるほうがよく、少なくとも２軸以上（異なるセンサでもよい）を備えることが望ましい。

また、例えば加速度センサ、ジャイロセンサを用いて撮像部３０７の傾き角度をセンサによって大まかに推定し、傾き推定部３０５で推定傾き角度を算出する際の制約条件とすることもできる。図１１はｘ方向、ｙ方向の加速度の変化を示した一例である。図１１の（a）、（b）、（c）のタイミングでそれぞれの方向の加速度を取得し、２次元平面にマッピングしてベクトル化したものを図１２に示す。図１２の（a）、（b）、（c）のベクトルはその方向が撮像部３０７の撮像時の鉛直方向に対する傾き角度を示しているため、これが鉛直方向を向くように画像を回転させることで傾きを除去できる。ところで、歩きながらの撮影ではセンサの値が慣性ノイズや他軸感度などで正確でなくなる場合がある。その場合には本発明で明らかにした方法での補正が必要となるが、センサによって計測された傾き方向を傾き推定部３０５に入力することにより、本発明の効果をさらに高めることができる。すなわち、センサによって示された方向が画像の真の鉛直方向である可能性が高いとし、センサの示す方向を中心として所定の範囲を設定し、ピーク検出部３０４においてはその設定された範囲内の最頻値を傾き角度とする。なお、範囲設定は固定値でも変動値でもよく、変動値の場合には動きの大きさ、すなわちセンサの振幅や安定度（所定時間範囲内の分散値などが利用できる）によって変化させてもよい。その場合は動きが小さいときはセンサの出力値の誤差は小さいと判断して範囲を狭く設定し、動きが大きいときは誤差が大きいと判断して範囲を広く設定する。その変化は連続的でもよいし、２段階以上の離散値であってもよい。あるいは、画像から推定角度を算出するための情報が得られない場合は、過去の推定結果、あるいは前後の推定結果と、センサ値とから推定角度を算出してもよい。その場合、時系列上で連続的に取得された画像であれば傾き角度も連続的に変化する、という仮定を適用し、すでに推定済みの角度に対して許容値を設定して、その範囲内にセンサ値が収まっていればその値を補正値とする、といった方式が考えられる。

以上が本発明における実施の形態２における画像処理装置３００の構成と動作である。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明にかかる画像処理装置は、撮影装置あるいは画像表示装置、映像表示装置へ組み込むことで、取得した画像の傾きを補正し、正しい向きの画像を生成することができる。従来の画像処理を用いた傾き補正装置では補正困難であった画像であっても、複数の画像情報を統合することで所望の画像の傾き情報を抽出することができる。また、本発明は撮影装置、表示装置のみではなく、映像を扱うプリンタやスキャナなどの電子媒体以外の傾き補正への応用も可能である。

３００ 画像処理装置
３０１ 画像取得部
３０２ 傾き情報算出部
３０３ 角度ヒストグラム生成部
３０４ ピーク検出部
３０５ 傾き推定部
３０６ 画像補正部
３０７ 撮像部
３０８ 記憶部
３１０ 角度ヒストグラム格納部
３１１ 読み出し部
３１２ マッチング部
３１３ 演算可否判定部
３１４ 角度ヒストグラム演算部
９０１ センサ部
９０２ センサ取得部

Claims (17)

1. 画像取得部と、
   前記画像取得部で取得した画像の各画素に対して、画像の傾きを推定するための情報を抽出する傾き情報算出部と、
   前記傾き情報算出部で算出した傾き情報を用いて、その傾き角度ごとの度数分布である角度ヒストグラムを生成する角度ヒストグラム生成部と、
   前記角度ヒストグラム生成部で生成された前記角度ヒストグラムのうち、２個以上の前記角度ヒストグラムを格納する角度ヒストグラム格納部と、
   前記角度ヒストグラム格納部に格納された２個以上の前記角度ヒストグラムのうち、基準角度ヒストグラム１個と、前記基準角度ヒストグラムとは異なる比較対象角度ヒストグラム１個を選択し、前記角度ヒストグラム格納部から読み出す読み出し部と、
   前記基準角度ヒストグラムと前記比較対象角度ヒストグラムとの形状の類似度と移動量を調べるマッチング部と、
   前記マッチング部の出力する前記類似度を用いて、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で演算が可能かどうかを判定する演算可否判定部と、
   前記演算可否判定部の判定結果が可であった場合に、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で前記移動量を用いて演算を行って演算後角度ヒストグラムを生成し、前記判定結果が否であった場合には演算を行わずに前記基準角度ヒストグラムを前記演算後角度ヒストグラムとする、角度ヒストグラム演算部と、
   前記演算後角度ヒストグラムの最大値あるいは極大値を検出するピーク検出部と、
   前記ピーク検出部が検出した前記最大値あるいは前記極大値が示す傾き角度から画像の傾き角度を推定する傾き推定部と
   を備える画像処理装置。
2. 前記読み出し部は、前記演算後角度ヒストグラムを基準角度ヒストグラム、前記演算後角度ヒストグラム生成に用いられていない角度ヒストグラムを前記角度ヒストグラム格納部から１個選択して比較対象角度ヒストグラムとして前記角度ヒストグラム格納部から読み出す、
   請求項１に記載の画像処理装置。
3. 前記読み出し部は、前記角度ヒストグラム格納部に格納された前記角度ヒストグラムのうち、前記基準角度ヒストグラム１個と、前記基準角度ヒストグラム以外の角度ヒストグラムを２個以上選択して読み出し、
   前記マッチング部は、前記２個以上の比較対象角度ヒストグラムと前記基準角度ヒストグラムとの形状の類似度や移動量をおのおのについて調べ、
   前記演算可否判定部はおのおのの前記類似度を用いて演算可能かどうかを判定し、
   前記角度ヒストグラム演算部は前記２つ以上の比較対象角度ヒストグラムのうち前記演算可否判定部の前記判定結果が可であった角度ヒストグラムのみを用いて前記規準角度ヒストグラムとの演算を行って前記演算後角度ヒストグラムを生成し、前記判定結果が全て否であった場合には演算を行わずに前記基準角度ヒストグラムを前記演算後角度ヒストグラムとする
   請求項１に記載の画像処理装置。
4. 画像を撮影する撮像部と、
   前記撮像部で撮影される画像以外の情報をセンシングするセンサ部と、
   前記センサ部で取得した情報を取得するセンサ取得部
   をさらに備え、前記センサ部で取得した情報から前記撮像部の動きの特徴を抽出して動きの種類が同じである時系列上の区間を設定し、その区間内に含まれるフレームから求められる前記角度ヒストグラムを選択して、累積加算を行う
   請求項２または請求項３に記載の画像処理装置。
5. 前記マッチング部は、前記基準角度ヒストグラムと前記比較対象角度ヒストグラムの相互相関関数を計算し、前記相互相関関数の最大値を前記類似度、その最大値を与える変数（傾き角度）を前記移動量とする
   請求項１に記載の画像処理装置。
6. 前記マッチング部における類似度は、前記基準角度ヒストグラムと前記比較対象ヒストグラムのヒストグラムインタセクションであり、移動量は双方のヒストグラムの変数をずらしながら求めたヒストグラムインタセクションの値が最大値を与えるずれ量とする
   請求項１に記載の画像処理装置。
7. 前記角度ヒストグラム演算部における演算は、前記移動量を補正し前記基準角度ヒストグラムと前記比較対象角度ヒストグラムとの形状の対応する部分とが一致するようにしたうえで行なう
   請求項１に記載の画像処理装置。
8. 前記角度ヒストグラム演算部における演算は、対応する変数（傾き角度）の持つ値同士の加算である
   請求項６に記載の画像処理装置。
9. 前記角度ヒストグラム演算部における演算は、対応する変数（傾き角度）の持つ値同士の積算である
   請求項６に記載の画像処理装置。
10. 前記傾き情報算出部は、各画素の縦方向、横方向のエッジ強度を合成したベクトルを傾き情報とする
    請求項１に記載の画像処理装置。
11. 前記傾き情報算出部は、Ｈｏｕｇｈ変換によって得られた線分の長さと方向である
    請求項１に記載の画像処理装置。
12. 前記傾き推定部は前記センサ取得部から画像以外の情報を取得し、これを用いて傾き角度とする角度範囲に制約を与えた上で傾き角度を推定する
    請求項１に記載の画像処理装置。
13. 前記傾き推定部が出力する前記傾き情報にしたがって画像を補正する画像補正部
    をさらに備える請求項１に記載の画像処理装置。
14. 画像取得ステップと、
    前記画像取得ステップで取得した画像の各画素に対して、画像の傾きを推定するための情報を抽出する傾き情報算出ステップと、
    前記傾き情報算出ステップで算出した傾き情報を用いて、その傾き角度ごとの度数分布である角度ヒストグラムを生成する角度ヒストグラム生成ステップと、
    前記角度ヒストグラム生成ステップで生成された前記角度ヒストグラムのうち、２個以上の前記角度ヒストグラムを格納する角度ヒストグラム格納ステップと、
    前記角度ヒストグラム格納ステップで格納された２個以上の前記角度ヒストグラムのうち、基準角度ヒストグラム１個と、前記基準角度ヒストグラムとは異なる比較対象角度ヒストグラム１個を選択して読み出す読み出しステップと、
    前記基準角度ヒストグラムと前記比較対象角度ヒストグラムとの形状の類似度と移動量を調べるマッチングステップと、
    前記マッチングステップで出力された前記類似度を用いて、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で演算が可能かどうかを判定する演算可否判定ステップと、
    前記演算可否判定ステップの判定結果が可であった場合に、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で前記移動量を用いて演算を行って演算後角度ヒストグラムを生成し、前記判定結果が否であった場合には演算を行わずに前記基準角度ヒストグラムを前記演算後角度ヒストグラムとする、角度ヒストグラム演算ステップと、
    前記演算後角度ヒストグラムの最大値あるいは極大値を検出するピーク検出ステップと、
    前記ピーク検出ステップで検出された前記最大値あるいは前記極大値が示す傾き角度から画像の傾き角度を推定する傾き推定ステップと
    を備える画像処理方法。
15. 請求項１に記載の画像処理装置を含む集積回路。
16. 請求項１４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
17. 請求項１６に記載のプログラムを記憶した記憶媒体。