JP2011259342A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2011259342A JP2011259342A JP2010133622A JP2010133622A JP2011259342A JP 2011259342 A JP2011259342 A JP 2011259342A JP 2010133622 A JP2010133622 A JP 2010133622A JP 2010133622 A JP2010133622 A JP 2010133622A JP 2011259342 A JP2011259342 A JP 2011259342A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- histogram
- unit
- calculation
- angle histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
【課題】撮像された画像に含まれる傾きを補正する。
【解決手段】2以上の画像間の相対的な傾き角度を算出するため、画像中に含まれる傾き情報を角度ヒストグラムとして抽出する。この角度ヒストグラム間で類似度によるマッチングを行って、移動量を補正した上で角度ヒストグラムを累積加算し、ノイズ成分を抑制し傾き角度情報を先鋭化する。この結果から傾き角度を推定して画像の傾き補正を行う。
【選択図】図3
【解決手段】2以上の画像間の相対的な傾き角度を算出するため、画像中に含まれる傾き情報を角度ヒストグラムとして抽出する。この角度ヒストグラム間で類似度によるマッチングを行って、移動量を補正した上で角度ヒストグラムを累積加算し、ノイズ成分を抑制し傾き角度情報を先鋭化する。この結果から傾き角度を推定して画像の傾き補正を行う。
【選択図】図3
Description
本発明は画像処理装置及び画像処理方法に関し、特に画像補正の技術に関するものである。
近年、カメラ、ムービーなどの撮影装置における手ブレ補正技術において、画像の傾きを補正する技術が提案されている。
特許文献1には、撮像装置に加速度センサを設け、加速度センサにより重力加速度を測定することで撮像装置の地軸に対する傾きを検出し、検出した傾き角度に基づいて撮影した画像の傾きを補正する方法が開示されている。また特許文献2には、撮像画像の上部に存在する線分を検出し、それらの線分の傾き角から画像全体の傾き角を推定し、撮像画像の傾きを補正する方法が開示されている。また特許文献3には、センサと画像処理とを組み合わせて使用することで、傾き角度算出の精度を向上させる手法が示されている。
さらに特許文献4には、画像処理を用いて画像の傾き角度を算出する際には、画像を小ブロックに分割し、個々のブロックにおけるテクスチャが示す方向性を判定し、そのテクスチャが一方向性を有する領域のみを対象として傾き角度を算出する方法が示されている。この方法は画像中の構造物のみから傾き情報を抽出することと等価であり、傾き角度算出の精度と安定性の向上に寄与するものである。
しかしながら、特許文献1に開示されているセンサを用いる方式では、センサの出力値に慣性ノイズや他軸感度などの変動成分が含まれるため、ムービーなど撮影者が移動しながら撮像を行う場合には高精度な傾き補正が困難であった。また、特許文献2では撮像された画像の構図に制限があり、一般的な使用状況では実用的ではなかった。
特許文献3および特許文献4では、上記の欠点を補うため、センサと画像処理を組み合わせて使用することが提案されている。しかし、これらの方式では単一の画像から傾き角度を算出することを目的としているため、画像に写っている構造物の占める面積が、自然物や人物などの非構造物に比して小さい場合には、非構造物からの傾き情報は傾き角度を算出するためのノイズ成分となり、正しい傾き角度を算出することが不可能である。この課題は、撮像装置の撮像画角が広くなるほど顕著になる。図1の(a)および(b)は同じ方向を画角を変えて撮影した画像の例であり、太線が傾き角度算出に寄与する成分である。ここでは傾き角度をθとする。図2の(a)および(b)は図1の(a)および(b)の傾き角度情報を累積した角度ヒストグラムを示しており、本来であれば図2(a)のように角度θの値が最大となる。ところが図1の(b)の太線は図1の(a)にくらべその長さが短かいため、図2の(b)のように自然物から抽出した傾き角度情報(図2における斜線部が自然物から抽出した傾き角度情報)によって抽出したい傾き角度情報を抽出できなくなっている。特許文献4ではこの課題解決のため、あらかじめ自然物を除去することで、ヒストグラム形状を保持する手法として開示されている。しかしながら、分割された小ブロックが一方向に方向性を持っていてもそれ以外の領域に乱雑な方向を持った被写体が写っている場合があること、広角撮影を行った場合には方向性を持った被写体そのものが小さく写ってしまい角度ヒストグラムのピーク検出が困難になること、などの課題を有する。
本発明は、画像から得られる傾き角度情報が相対的に少ない場合であっても、ノイズ成分を抑制し、傾き角度推定を可能として、画像の傾きを補正することを目的とする。
画像取得部と、画像取得部で取得した画像の各画素に対して画像の傾きを推定するための情報を抽出する傾き情報算出部と、傾き情報算出部で算出した傾き情報を用いてその傾き角度ごとの度数分布である角度ヒストグラムを生成する角度ヒストグラム生成部と、角度ヒストグラム生成部で生成された前記角度ヒストグラムのうち、2個以上の角度ヒストグラムを格納する角度ヒストグラム格納部と、角度ヒストグラム格納部に格納された2個以上の角度ヒストグラムのうち、基準角度ヒストグラム1個と、基準角度ヒストグラムとは異なる比較対象角度ヒストグラム1個を選択し、角度ヒストグラム格納部から読み出す読み出し部と、基準角度ヒストグラムと比較対象角度ヒストグラムとの形状の類似度と移動量を調べるマッチング部と、マッチング部の出力する類似度を用いて、基準角度ヒストグラムと比較対象角度ヒストグラム間で演算が可能かどうかを判定する演算可否判定部と、演算可否判定部の判定結果が可であった場合に、基準角度ヒストグラムと比較対象角度ヒストグラム間で移動量を用いて演算を行って演算後角度ヒストグラムを生成し、判定結果が否であった場合には演算を行わずに基準角度ヒストグラムを演算後角度ヒストグラムとする、角度ヒストグラム演算部と、演算後角度ヒストグラムの最大値あるいは極大値を検出するピーク検出部と、ピーク検出部が検出した最大値あるいは極大値が示す傾き角度から画像の傾き角度を推定する傾き推定部と、推定された傾き角度を用いて画像の傾きを補正する画像補正部とを備える画像処理装置である。
本構成によって、ある画像の傾き角度を推定する際に、対象画像のみでなく複数の画像の傾き角度情報を利用することができる。
本発明の画像処理装置および方法によれば、画像の傾き角度を推定する際に画像に含まれる傾き角度情報が少なく従来であれば傾き角度の推定、補正が困難であった画像であってもその傾き角度を推定、補正することができる。
以下本発明の実施の形態の構成と動作について、図面を参照しながら説明する。
(実施の形態1)
図3は、本発明の実施の形態1における画像処理装置の構成を示す図である。また、図4は、本発明の実施の形態1における画像処理方法を示すフローチャートである。
図3は、本発明の実施の形態1における画像処理装置の構成を示す図である。また、図4は、本発明の実施の形態1における画像処理方法を示すフローチャートである。
画像取得部301は撮像部307で取得した画像データを画像処理装置300に取り込み、傾き情報算出部302に送る(S401)。傾き情報算出部302では、取り込んだ画像に対して傾き情報を算出する(S402)。その手法としては、画像をグレースケール変換し、画素ごとに縦方向、横方向のSobelフィルタを作用させ、その結果を合成して勾配ベクトルを算出する方法や、画像から線分抽出を行うHough変換を作用させ、線分長さとその傾き角度を算出する方法などがあるが、本発明はこれに限定するものではない。
ここで、勾配ベクトルの算出について図5、図6を用いて説明する。図5において位置Pにおける画像の画素値をI(P)とし、Pにおけるx方向、y方向のコントラスト変化をそれぞれdx、dyとしたとき、
と表せる。このとき、コントラスト変化の方向をθとすると、
が成り立ち、これが前述の勾配ベクトルの方向に相当する。dx、dyを求めるには図6に示すSobelフィルタを用いる。図6の(a)および(b)は、それぞれx方向、y方向のコントラスト変化を測定するためのフィルタ要素である。次にHough変換による線分検出について図7を用いて説明する。図7の(a)において、点(x_i、y_i)を通る直線は次式を満たす。
なお、ρは直線と原点との距離、θは原点から直線への垂線とx軸のなす角を表す。
これは点(x_i、y_i)を通る直線群が図7の(b)における一本の曲線に対応付けられることを意味する。一方、同じ直線状にある複数の点について同様の対応を行うと、得られる複数の曲線は一点で交わり、この交点(ρ、θ)がこれらの点を通る直線を示している。すなわち、あるθに着目し、ρの数をカウントすることで傾きθの線分の数が取得できる。
角度ヒストグラム生成部303は勾配ベクトルうち同じ方向成分を持つものを累積する、あるいはHough変換で求めた線分のうち同じ方向成分を持つものをその長さ分加算する、といった処理を行うことによって角度ヒストグラムを生成する(S403)。この角度ヒストグラムは「ある角度方向のエッジがどれほど存在するか」を表す指標となり、一般に画像に傾きがない状態で構造物のみが写っている場合(歪がない場合)には水平線や垂直線成分が多くなるため、0度および90度の角度ヒストグラムの値が強いピークを持つ形状となる。図1および図2の(a)のようにθだけ傾いた画像であれば、傾きがない場合の角度ヒストグラムがθだけ平行移動した角度ヒストグラムが得られる。
従来の画像処理による傾き角度推定では、ピーク検出部304によって角度ヒストグラムの最大値を示す角度を探索し、傾き推定部305によって角度ヒストグラムの最大値を示す角度をそのまま画像の傾き角度として、画像補正部306においてその傾き角度を補正する処理を行っていた。あるいはピーク検出部304において最大値を含む極大値数点を選択し、傾き推定部305ではその極大値を滑らかにつなぐような包絡線を多項式内挿、最少二乗法、勾配法などで算出したうえで最大値を解析的に算出し、これを画像の傾き角度として、画像補正部306においてその傾きを補正していた。一般に画像補正部306ではアフィン変換によって回転が補正される。本発明においても角度ヒストグラムからの傾き角度の推定とアフィン変換による補正は同様の処理を行う。
角度ヒストグラム格納部310は撮像部307で撮像される画像あるいはムービーの各フレームを301から303の各処理ブロックで処理した後の角度ヒストグラムを一時的に格納する(S411)。読み出し部311は傾き補正を行いたい画像の角度ヒストグラムを基準角度ヒストグラム、その画像に時間的に隣接する画像の角度ヒストグラムを比較対象角度ヒストグラムとして、両者を角度ヒストグラム格納部310から読み出し、マッチング部312に送る(S412)。
マッチング部312は2つのヒストグラムの類似度判定を行う(S413)。この処理を図8を用いて説明する。一般に撮像部307でムービーが撮影された場合、フレーム間の時間的な隔たりは33ms〜66ms程度(30フレーム/秒から15フレーム/秒)であり、時間的に隣接した画像の構成要素には大きな変化はないため、それらの角度ヒストグラムにも必然的に大きな差は現れない。そのため、2つの画像の角度ヒストグラムはお互いの相対的な回転角度だけ平行移動したものとなる。マッチング部312では2つの角度ヒストグラム間の類似度と平行移動量を算出できればよいので、画像や信号波形の類似度を計測するために一般的に用いられている相互相関関数や、ヒストグラムの類似度を計測するためによく用いられるヒストグラムインタセクションなどによって計算する。相互相関関数はその最大値が類似度、最大値を与える変数が2つのヒストグラム間に存在する相対的な移動量となるが、ヒストグラムインタセクションではインタセクションを計算する変数をずらしながら行うことによって、最大のヒストグラムインタセクション値を類似度、それを与える変数のずれ量を移動量とする。相対的な移動量は基準ヒストグラム側を基準として扱うものとし、「基準角度ヒストグラムに対する比較対象角度ヒストグラムの移動量」とみなす。
演算可否判定部313は、マッチング部312が算出した類似度を所定の基準と比較し、2つの角度ヒストグラム間で演算を行ってよいかどうかを判断する(S414)。基準値の設定は、例えば相互相関関数を用いる場合、その最大値は基準角度ヒストグラムの自己相関関数の最大値を超えることはないので、自己相関関数のx%などとしてよい。あるいはヒストグラムインタセクションを使用する場合、基準角度ヒストグラム同士のインタセクションの最大値が100%と定義されるとき、そのy%などとしてよい。ここでは時間的に隣接した画像の角度ヒストグラムを比較することを前提としており、画像の構成に大きな変化がないことを想定しているため、x=80、y=75など比較的大きな値とするほうがよい。
角度ヒストグラム演算部314では、演算可否判定部313での可否判定結果と、基準角度ヒストグラムに対する比較対象角度ヒストグラムの移動量と、2つの角度ヒストグラムを受け取り、可否判定結果にしたがって演算後角度ヒストグラムを生成する。可否判定結果が可である場合、演算後角度ヒストグラムは基準角度ヒストグラムと移動量だけ変数をずらした比較対象角度ヒストグラムとを変数ごとに演算(加算)する(S415)。可否判定結果が否である場合、演算を行わずに基準角度ヒストグラムを演算後角度ヒストグラムとする(S416)。
ここで傾き情報算出部302で算出される傾き角度情報は大きく2つに分類できる。ひとつは構造物から抽出される、強い方向性を持った傾き角度情報、もう一つは非構造物(自然物、人など)から抽出される傾き角度情報の分散値が大きい傾き角度情報である。非構造物からの傾き角度情報は構造物と比較してコントラストが低いため、その傾き角度情報が安定せず、したがってホワイトノイズ的な性質を持つ。例えば木の葉、木肌、芝生などは画像ごとにその傾き角度情報に揺らぎが生じる。対して構造物はコントラストが高いため、傾き角度情報は安定して所定の方向に出続ける。角度ヒストグラムにはこれら2つの成分が混在しているが、マッチング部312で算出した移動量を補正した上で累積加算を行うことで、非構造物からの傾き角度情報は平均化されていくのに対して、構造物からの傾き角度情報は強調されていくこととなる。
したがってS401からS416までのステップを適切な時間幅を持つ画像間で実施することにより、演算後ヒストグラムにおける非構造物の影響は相対的に小さくなり、逆に構造物からの情報は先鋭化される。その結果、非構造物殻の傾き角度情報に埋もれていた構造物の傾き角度情報を、ピーク検出部304において検出可能とすることができる(S404)。傾き推定部305はピーク検出部304において検出した最頻値を与える角度を傾き推定角度と設定し、この情報を画像補正部306へ送る(S405)。画像補正部306では例えばアフィン変換などを行って、画像全体を回転させることよって画像間の回転移動量を補正することができる。ここで、傾き推定部305は、ピーク検出部304で検出された最頻値を与える角度が直前に傾き推定部305で推定された傾き角度と大きく異なっている場合、ピーク検出部304で得られた結果を無視し、直前に推定された角度を傾き角度としてもよい。あるいは、傾き推定部305が直前に推定した傾き角度に対して適当な誤差許容範囲(例えば±1゜など)を設定し、この範囲内でのヒストグラム最頻値をピーク検出部304から抽出して、これを推定角度としてもよい。いずれの場合も最終的に画像補正部306において画像全体を回転させることによって、目的の画像の補正が完了する(S406)。
補正後の画像は記憶部308に格納した後、図示しないモニタ装置に表示したり、図示しない外部記憶装置にファイルとして保存したり、してよい。また、ネットワークを介して送出してもよい。
以上が本発明の一例である画像処理装置300の構成と動作である。
なお、傾き角度を推定するために必要な情報を保有していない画像に対しては、何も処理を行わないようにしてもよい。たとえば、人物や自然物が画面いっぱいに映っている画像では、構造物情報が存在しないために傾き情報の算出が行えない。このような場合には視覚的にも画像の傾きについての感度が低くなる(傾いていても品質の低下を感じにくくなる)ため、人物や自然物から抽出した不安定かつ確度の低い傾き推定角度を用いて補正を行うよりも、補正自体をキャンセルしたほうがよい。
なお、推定された傾き角度を保存するバッファを設けてもよい。このバッファには時系列で算出された推定傾き角度を保存しておき、ある一枚の画像の傾き角度の算出が不可であった場合に、その前後の傾き角度推定が成功した結果を用いた補間を行うことで推定を行ってもよい。ムービーなど連続した画像を取得する機器においては、画像の傾き角度は連続的に変化することが一般的であるためであり、この性質を用いることで、過去の傾き角度推定結果から外挿処理を用いて対象画像の傾き角度を推定することも可能である。
(実施の形態2)
図9は、本発明の実施の形態2における画像処理装置の構成を示す図である。図9において、図3と同じ構成要素については同じ符号を用い、説明を省略する。
図9は、本発明の実施の形態2における画像処理装置の構成を示す図である。図9において、図3と同じ構成要素については同じ符号を用い、説明を省略する。
センサ部901は撮像部307の内部あるいは外部に設置され、撮像部307の動きを所定の周期で計測、出力する。一般に撮像部307が画像をキャプチャするときに同期して、その動きを計測するのがよい。センサ部901は加速度センサ、ジャイロセンサ、方位センサなどで構成されており、理想的には撮像部307の動きすべてを計測できるよう、それぞれ3軸の計測軸を持つことが求められるが、必ずしもすべての軸を必要とはしない。画像データとセンサデータは画像処理装置300の内部では同期するように扱われる。センサ取得部902は取得したセンサデータを処理し、推定傾き角度を算出するための補助情報を算出する。
例えば、図10は加速度センサの3軸の出力値の一例を示したものである。本実施の形態においてはセンサの出力値そのものはさほど重要ではなく、それよりも波形の変化する周期やタイミングが重要となる。図10において、(a)、(b)、(c)のタイミングですべての軸で波形が変化しており、これによりある軸について何かの動きが生じた、ということよりもこのタイミングで撮像部307全体に衝撃が加えられた、ということがわかる。この衝撃が例えば歩行時の足の着地による衝撃である場合には(a)から(b)の期間、あるいは(b)から(c)の期間は比較的安定しており、画像の構図自体も時間的に前後の画像と比較して大きな変化はないものと予測することができる。したがってそれぞれの期間に撮影された画像から生成した角度ヒストグラムはその形状は似ているものとなるため、累積加算することが可能となる。一般的には歩行は2ヘルツ程度、走るときは〜5ヘルツであり、30fpsで撮影された動画の場合、6〜15枚程度の画像を累積加算することが可能となることを示している。このような情報を読み出し部311に入力して、角度ヒストグラム格納部310から当該の角度ヒストグラムを読み出してマッチング、演算可否判定、確保ヒストグラム演算(累積加算)を行うことで、より精度の高い推定傾き角度の算出が可能となる。
なお、ここでは加速度センサ3軸での例を用いたが、ジャイロセンサを用いてもよい。また、必ずしも3軸である必要はなく、それよりも多くても少なくてもよい。ただし、撮像部307自体の動きを検知したものであるのか、それとも歩行時の衝撃のような外乱的な要因によるものなのかを判定するためには、情報は冗長であるほうがよく、少なくとも2軸以上(異なるセンサでもよい)を備えることが望ましい。
また、例えば加速度センサ、ジャイロセンサを用いて撮像部307の傾き角度をセンサによって大まかに推定し、傾き推定部305で推定傾き角度を算出する際の制約条件とすることもできる。図11はx方向、y方向の加速度の変化を示した一例である。図11の(a)、(b)、(c)のタイミングでそれぞれの方向の加速度を取得し、2次元平面にマッピングしてベクトル化したものを図12に示す。図12の(a)、(b)、(c)のベクトルはその方向が撮像部307の撮像時の鉛直方向に対する傾き角度を示しているため、これが鉛直方向を向くように画像を回転させることで傾きを除去できる。ところで、歩きながらの撮影ではセンサの値が慣性ノイズや他軸感度などで正確でなくなる場合がある。その場合には本発明で明らかにした方法での補正が必要となるが、センサによって計測された傾き方向を傾き推定部305に入力することにより、本発明の効果をさらに高めることができる。すなわち、センサによって示された方向が画像の真の鉛直方向である可能性が高いとし、センサの示す方向を中心として所定の範囲を設定し、ピーク検出部304においてはその設定された範囲内の最頻値を傾き角度とする。なお、範囲設定は固定値でも変動値でもよく、変動値の場合には動きの大きさ、すなわちセンサの振幅や安定度(所定時間範囲内の分散値などが利用できる)によって変化させてもよい。その場合は動きが小さいときはセンサの出力値の誤差は小さいと判断して範囲を狭く設定し、動きが大きいときは誤差が大きいと判断して範囲を広く設定する。その変化は連続的でもよいし、2段階以上の離散値であってもよい。あるいは、画像から推定角度を算出するための情報が得られない場合は、過去の推定結果、あるいは前後の推定結果と、センサ値とから推定角度を算出してもよい。その場合、時系列上で連続的に取得された画像であれば傾き角度も連続的に変化する、という仮定を適用し、すでに推定済みの角度に対して許容値を設定して、その範囲内にセンサ値が収まっていればその値を補正値とする、といった方式が考えられる。
以上が本発明における実施の形態2における画像処理装置300の構成と動作である。
(その他変形例)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明にかかる画像処理装置は、撮影装置あるいは画像表示装置、映像表示装置へ組み込むことで、取得した画像の傾きを補正し、正しい向きの画像を生成することができる。従来の画像処理を用いた傾き補正装置では補正困難であった画像であっても、複数の画像情報を統合することで所望の画像の傾き情報を抽出することができる。また、本発明は撮影装置、表示装置のみではなく、映像を扱うプリンタやスキャナなどの電子媒体以外の傾き補正への応用も可能である。
300 画像処理装置
301 画像取得部
302 傾き情報算出部
303 角度ヒストグラム生成部
304 ピーク検出部
305 傾き推定部
306 画像補正部
307 撮像部
308 記憶部
310 角度ヒストグラム格納部
311 読み出し部
312 マッチング部
313 演算可否判定部
314 角度ヒストグラム演算部
901 センサ部
902 センサ取得部
301 画像取得部
302 傾き情報算出部
303 角度ヒストグラム生成部
304 ピーク検出部
305 傾き推定部
306 画像補正部
307 撮像部
308 記憶部
310 角度ヒストグラム格納部
311 読み出し部
312 マッチング部
313 演算可否判定部
314 角度ヒストグラム演算部
901 センサ部
902 センサ取得部
Claims (17)
- 画像取得部と、
前記画像取得部で取得した画像の各画素に対して、画像の傾きを推定するための情報を抽出する傾き情報算出部と、
前記傾き情報算出部で算出した傾き情報を用いて、その傾き角度ごとの度数分布である角度ヒストグラムを生成する角度ヒストグラム生成部と、
前記角度ヒストグラム生成部で生成された前記角度ヒストグラムのうち、2個以上の前記角度ヒストグラムを格納する角度ヒストグラム格納部と、
前記角度ヒストグラム格納部に格納された2個以上の前記角度ヒストグラムのうち、基準角度ヒストグラム1個と、前記基準角度ヒストグラムとは異なる比較対象角度ヒストグラム1個を選択し、前記角度ヒストグラム格納部から読み出す読み出し部と、
前記基準角度ヒストグラムと前記比較対象角度ヒストグラムとの形状の類似度と移動量を調べるマッチング部と、
前記マッチング部の出力する前記類似度を用いて、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で演算が可能かどうかを判定する演算可否判定部と、
前記演算可否判定部の判定結果が可であった場合に、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で前記移動量を用いて演算を行って演算後角度ヒストグラムを生成し、前記判定結果が否であった場合には演算を行わずに前記基準角度ヒストグラムを前記演算後角度ヒストグラムとする、角度ヒストグラム演算部と、
前記演算後角度ヒストグラムの最大値あるいは極大値を検出するピーク検出部と、
前記ピーク検出部が検出した前記最大値あるいは前記極大値が示す傾き角度から画像の傾き角度を推定する傾き推定部と
を備える画像処理装置。 - 前記読み出し部は、前記演算後角度ヒストグラムを基準角度ヒストグラム、前記演算後角度ヒストグラム生成に用いられていない角度ヒストグラムを前記角度ヒストグラム格納部から1個選択して比較対象角度ヒストグラムとして前記角度ヒストグラム格納部から読み出す、
請求項1に記載の画像処理装置。 - 前記読み出し部は、前記角度ヒストグラム格納部に格納された前記角度ヒストグラムのうち、前記基準角度ヒストグラム1個と、前記基準角度ヒストグラム以外の角度ヒストグラムを2個以上選択して読み出し、
前記マッチング部は、前記2個以上の比較対象角度ヒストグラムと前記基準角度ヒストグラムとの形状の類似度や移動量をおのおのについて調べ、
前記演算可否判定部はおのおのの前記類似度を用いて演算可能かどうかを判定し、
前記角度ヒストグラム演算部は前記2つ以上の比較対象角度ヒストグラムのうち前記演算可否判定部の前記判定結果が可であった角度ヒストグラムのみを用いて前記規準角度ヒストグラムとの演算を行って前記演算後角度ヒストグラムを生成し、前記判定結果が全て否であった場合には演算を行わずに前記基準角度ヒストグラムを前記演算後角度ヒストグラムとする
請求項1に記載の画像処理装置。 - 画像を撮影する撮像部と、
前記撮像部で撮影される画像以外の情報をセンシングするセンサ部と、
前記センサ部で取得した情報を取得するセンサ取得部
をさらに備え、前記センサ部で取得した情報から前記撮像部の動きの特徴を抽出して動きの種類が同じである時系列上の区間を設定し、その区間内に含まれるフレームから求められる前記角度ヒストグラムを選択して、累積加算を行う
請求項2または請求項3に記載の画像処理装置。 - 前記マッチング部は、前記基準角度ヒストグラムと前記比較対象角度ヒストグラムの相互相関関数を計算し、前記相互相関関数の最大値を前記類似度、その最大値を与える変数(傾き角度)を前記移動量とする
請求項1に記載の画像処理装置。 - 前記マッチング部における類似度は、前記基準角度ヒストグラムと前記比較対象ヒストグラムのヒストグラムインタセクションであり、移動量は双方のヒストグラムの変数をずらしながら求めたヒストグラムインタセクションの値が最大値を与えるずれ量とする
請求項1に記載の画像処理装置。 - 前記角度ヒストグラム演算部における演算は、前記移動量を補正し前記基準角度ヒストグラムと前記比較対象角度ヒストグラムとの形状の対応する部分とが一致するようにしたうえで行なう
請求項1に記載の画像処理装置。 - 前記角度ヒストグラム演算部における演算は、対応する変数(傾き角度)の持つ値同士の加算である
請求項6に記載の画像処理装置。 - 前記角度ヒストグラム演算部における演算は、対応する変数(傾き角度)の持つ値同士の積算である
請求項6に記載の画像処理装置。 - 前記傾き情報算出部は、各画素の縦方向、横方向のエッジ強度を合成したベクトルを傾き情報とする
請求項1に記載の画像処理装置。 - 前記傾き情報算出部は、Hough変換によって得られた線分の長さと方向である
請求項1に記載の画像処理装置。 - 前記傾き推定部は前記センサ取得部から画像以外の情報を取得し、これを用いて傾き角度とする角度範囲に制約を与えた上で傾き角度を推定する
請求項1に記載の画像処理装置。 - 前記傾き推定部が出力する前記傾き情報にしたがって画像を補正する画像補正部
をさらに備える請求項1に記載の画像処理装置。 - 画像取得ステップと、
前記画像取得ステップで取得した画像の各画素に対して、画像の傾きを推定するための情報を抽出する傾き情報算出ステップと、
前記傾き情報算出ステップで算出した傾き情報を用いて、その傾き角度ごとの度数分布である角度ヒストグラムを生成する角度ヒストグラム生成ステップと、
前記角度ヒストグラム生成ステップで生成された前記角度ヒストグラムのうち、2個以上の前記角度ヒストグラムを格納する角度ヒストグラム格納ステップと、
前記角度ヒストグラム格納ステップで格納された2個以上の前記角度ヒストグラムのうち、基準角度ヒストグラム1個と、前記基準角度ヒストグラムとは異なる比較対象角度ヒストグラム1個を選択して読み出す読み出しステップと、
前記基準角度ヒストグラムと前記比較対象角度ヒストグラムとの形状の類似度と移動量を調べるマッチングステップと、
前記マッチングステップで出力された前記類似度を用いて、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で演算が可能かどうかを判定する演算可否判定ステップと、
前記演算可否判定ステップの判定結果が可であった場合に、前記基準角度ヒストグラムと前記比較対象角度ヒストグラム間で前記移動量を用いて演算を行って演算後角度ヒストグラムを生成し、前記判定結果が否であった場合には演算を行わずに前記基準角度ヒストグラムを前記演算後角度ヒストグラムとする、角度ヒストグラム演算ステップと、
前記演算後角度ヒストグラムの最大値あるいは極大値を検出するピーク検出ステップと、
前記ピーク検出ステップで検出された前記最大値あるいは前記極大値が示す傾き角度から画像の傾き角度を推定する傾き推定ステップと
を備える画像処理方法。 - 請求項1に記載の画像処理装置を含む集積回路。
- 請求項14に記載の画像処理方法をコンピュータに実行させるためのプログラム。
- 請求項16に記載のプログラムを記憶した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010133622A JP2011259342A (ja) | 2010-06-11 | 2010-06-11 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010133622A JP2011259342A (ja) | 2010-06-11 | 2010-06-11 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011259342A true JP2011259342A (ja) | 2011-12-22 |
Family
ID=45474993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010133622A Pending JP2011259342A (ja) | 2010-06-11 | 2010-06-11 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011259342A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101561443B1 (ko) * | 2014-03-21 | 2015-10-19 | 주식회사 인프라웨어 | 히스토그램을 이용한 문서 이미지 보정 방법 및 장치 |
JP2016516365A (ja) * | 2013-03-15 | 2016-06-02 | グーグル インコーポレイテッド | 映像方向の自動調整 |
CN111259703A (zh) * | 2018-12-03 | 2020-06-09 | 北京嘀嘀无限科技发展有限公司 | 人脸倾斜角度检测方法和装置 |
CN112212851A (zh) * | 2019-07-09 | 2021-01-12 | 深圳市优必选科技股份有限公司 | 一种位姿确定方法、装置、存储介质及移动机器人 |
-
2010
- 2010-06-11 JP JP2010133622A patent/JP2011259342A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016516365A (ja) * | 2013-03-15 | 2016-06-02 | グーグル インコーポレイテッド | 映像方向の自動調整 |
US10469797B2 (en) | 2013-03-15 | 2019-11-05 | Google Llc | Automatic adjustment of video orientation |
US10887543B2 (en) | 2013-03-15 | 2021-01-05 | Google Llc | Automatic adjustment of video orientation |
KR101561443B1 (ko) * | 2014-03-21 | 2015-10-19 | 주식회사 인프라웨어 | 히스토그램을 이용한 문서 이미지 보정 방법 및 장치 |
CN111259703A (zh) * | 2018-12-03 | 2020-06-09 | 北京嘀嘀无限科技发展有限公司 | 人脸倾斜角度检测方法和装置 |
CN112212851A (zh) * | 2019-07-09 | 2021-01-12 | 深圳市优必选科技股份有限公司 | 一种位姿确定方法、装置、存储介质及移动机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5756455B2 (ja) | 画像処理装置および画像処理方法 | |
CN105407271B (zh) | 图像处理设备和方法、摄像设备以及图像生成设备 | |
EP2640057B1 (en) | Image processing device, image processing method and program | |
JP5694300B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6395506B2 (ja) | 画像処理装置および方法、プログラム、並びに撮像装置 | |
EP2640058B1 (en) | Image processing device, image processing method, program, and imaging device | |
JP5179398B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US9674441B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US8774550B2 (en) | Picture processing device, picture processing method, integrated circuit, and program | |
US20140023292A1 (en) | Image processing apparatus and image processing method | |
JP2006245677A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2017092756A (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
JP2018207252A (ja) | 画像処理システム、画像処理システムの制御方法、及び、プログラム | |
JP2011259342A (ja) | 画像処理装置および画像処理方法 | |
JP5449980B2 (ja) | 動き補正装置およびその方法 | |
JP5841345B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP6604783B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6378496B2 (ja) | 画像処理装置、制御方法及び記録媒体 | |
JP5152144B2 (ja) | 画像処理装置 | |
US9292907B2 (en) | Image processing apparatus and image processing method | |
JP2019149717A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 | |
JP2012070168A (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP2007036741A (ja) | 複数画像合成方法及び複数画像合成装置 | |
JP2008107290A (ja) | 距離画像生成装置、距離画像生成方法及びプログラム |