JP4253967B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、デジタルカメラ、ビデオカメラ、テレビカメラ等によって得られた画像を、動画領域と静止画領域に分割して処理する画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
この種の画像処理方法として、従来、例えば特開平１０−５１７５５号公報に示されるように、ＴＶ会議における送信データ量の軽減のために対象画像を動画領域と静止画領域に分割する技術や、特開平１０−８３０３３号公報に示されるように、動画領域と静止画領域に分割後、動画領域の画像に対して固定されたフィルタサイズで平滑化を施す方法が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような従来の画像処理方法では、人が物を見たときの見え方を考慮していないため、動画領域と静止画領域に分割した後に画像処理を行っても、違和感のある画像しか得られず、人が実際に物を見ている感覚を表現するのは困難であった。
【０００４】
この発明は、このような技術的背景に鑑みてなされたものであって、人が実際に物を見ているのと同様の感覚で見ることができる画像を提供するための画像処理方法及び画像処理装置を提供することを課題とする。
【０００５】
【課題を解決するための手段】
上記課題は、画像処理装置が行う画像処理方法であって、時系列に並んだ３つの静止画像を記憶手段が記憶するステップと、画像分割手段が、前記記憶手段に記憶された１番目と２番目の２つの画像および２番目と３番目の２つの画像の差分をとり、差分値の大きさに基づいて領域を分割するステップと、領域補正手段が、前記分割された領域のうち差分値の大きさが所定の値より大きい領域を動画領域とし、その動画領域に外接または内接する補正領域を求めるとともに、前記動画領域の動き方向およびその方向に直交する方向の動画領域の最大領域幅を求め、それらの最大領域幅の比に応じて前記補正領域を偏平化するステップと、画像処理手段が、前記動画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対しては画質改善処理を行い、それ以外の領域の画像に対しては画質改善処理を行わないステップと、を備えたこと特徴とする画像処理方法によって解決される。
【０００７】
この画像処理方法は、特に、背景が固定されていて対象物のみが動いているモード（以下、背景固定モードという）において、対象物についての動画領域を抽出して画像処理を行う場合に好適な方法であり、一般にランダムノイズ等の影響により静止画像に較べて画質が不十分とされる動画領域の画像の画質を、違和感なく向上できる。具体的には、時系列に並んだ３つの静止画像を取り込み、１番目と２番目の２つの画像および２番目と３番目の２つの画像の差分をとり、差分値の大きさに基づいて領域を分割する。
【０００９】
また、分割された領域のうち差分値の大きさが所定の値より大きい領域を動画領域とし、その動画領域に外接または内接する補正領域を求める。そして、動画領域の動き方向およびその方向に直交する方向の動画領域の最大領域幅を求め、それらの最大領域幅の比に応じて補正領域を偏平化し、動画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対して画質改善処理を行い、それ以外の領域の画像に対しては画質改善処理を行わない。この画像処理方法では、動画領域に外接または内接する補正領域が、さらに動きを考慮した扁平な補正領域に補正されるから、対象物の動きを考慮した画像が得られる。
【００１１】
また、上記課題は、画像処理装置が行う画像処理方法であって、時系列に並んだ３つの静止画像を記憶手段が記憶するステップと、画像分割手段が、前記記憶手段に記憶された１番目と２番目の２つの画像および２番目と３番目の２つの画像の差分をとり、差分値の大きさに基づいて領域を分割するステップと、領域補正手段が、前記分割された領域のうち差分値の大きさが所定の値より小さい領域を静止画領域とし、その静止画領域に外接または内接する補正領域を求めるとともに、前記静止画領域以外の動画領域の動き方向およびその方向に直交する方向の静止画領域の最大領域幅を求め、それらの最大領域幅の比に応じて前記補正領域を偏平化するステップと、画像処理手段が、前記静止画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対しては画質改善処理を行わず、それ以外の領域の画像に対しては画質改善処理を行うステップと、を備えたことを特徴とする画像処理方法によっても解決される。
【００１２】
この画像処理方法は、特に、背景が移動し対象物が固定されているモード（以下、背景移動モードという）において、対象物についての静止画領域を抽出して画像処理を行う場合の方法であり、動画領域の画質を改善して全体の画像の違和感をなくすことができる。具体的には、背景移動モードの場合等においては、静止画領域以外の動画領域の動き方向およびその方向に直交する方向の静止画領域の最大領域幅を求め、それらの最大領域幅の比に応じて補正領域を偏平化し、静止画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対して画質改善処理を行わず、それ以外の領域の画像に対しては画質改善処理を行うから、静止画領域に外接または内接する補正領域が、さらに動画領域の動きを考慮した扁平な補正領域に補正され、静止画領域に動きを表現する特殊効果を付与できる。
【００１３】
また、背景固定モード等においては、動画領域に外接または内接する補正領域での画質改善処理を、動画領域の動き量と同じ長さで動き方向と同じ傾きを有するフィルタを用いて行うのが望ましい。
【００１４】
この画像処理方法では、上記の傾き及び大きさのフィルタを用いることで、対象物の動き量に応じた画像処理が行われる。
【００１９】
また、補正領域の一例としては、動画領域または静止画領域に外接する円領域を挙げることができる。円領域に設定することで、人の目の特性に最も適した領域補正が行われる。
【００２０】
また、画質改善処理の一例として平滑化処理を挙げることができる。平滑化処理により、動画領域の画像がぼかされて、ランダムノイズの影響がなくなり、画質が改善される。
【００２１】
【発明の実施の形態】
図１は、この発明の一実施形態に係る画像処理方法を実施するための画像処理装置の概略構成を示すブロック図である。
【００２２】
図１において、１は画像処理装置であり、該画像処理装置は、デジタルカメラ、ビデオカメラ等のカメラ２によって撮影された画像を処理し、プリンタや各種ディスプレイ等からなる出力装置３へと出力する。
【００２３】
画像処理装置１は、カメラ２からの画像を図示しないＡ／Ｄ変換器等の信号処理回路を介して受領し、フレーム毎に記憶するフレームメモリ１１を備えている。このフレームメモリ１１には、図３（ａ）に示すように、画像１・・・、画像ｉ−１、画像ｉ、画像ｉ＋１、・・・、画像Ｋの複数の画像が記憶されている。
【００２４】
画像分割部１２は、前記フレームメモリ１１に記憶された処理対象画像について、後述する方法で、動画領域と静止画領域とを抽出分割するものである。
【００２５】
領域補正部１３は、前記画像分割部１２で抽出分割された動画領域あるいは静止画領域を、該領域に外接または内接する領域に補正するものであり、基本的にはこの補正された領域の内外の画像データに対して、異なった画像処理が施される。
【００２６】
動き量等検出部１４は、領域分割部１２で分割（抽出）された動画領域について、その動き量及び動き方向を検出するものである。そして、検出された動き方向に基づいて、後述する方法にて、前記領域補正部１３は前述した補正領域を動きを考慮した補正領域にさらに領域補正する。
【００２７】
フィルタ処理部１５は、領域補正部１３によって補正された補正領域や、これをさらに補正した動きを考慮した補正領域を基準にして、画像処理としてフィルタ処理による画質改善処理を実施する。画質改善処理としては、この実施形態では平滑化処理を行うが、その他の処理であっても良い。
【００２８】
次に、図１の画像処理装置１を用いた画像処理方法を説明する。この実施形態では、図３に示す静止画像ｉを処理対象画像とし、時間的に前後に存在する２つの静止画像（画像ｉ−１と画像ｉ＋１）を用いて、処理対象画像ｉの画像処理を行い、１枚の静止画像を得るものとする。
【００２９】
画像処理は、図２のフローチャートに示す手順で行われる。即ち、フレームメモリ１１に格納された時系列の複数の画像データに基づいて、領域分割部１２で、処理対象画像を動画領域と静止画領域とに分割し（ステップ（以下ステップをＳと記す）１０１）、領域分割された動画領域の動き量と動き方向を動き量等検出部１４にて検出し（Ｓ１０２）、検出した動画領域の動き量と動き方向に基づいて、領域補正部１３で動画領域もしくは静止画領域の領域補正を行い（Ｓ１０３）、領域補正された動画領域もしくは静止画領域に対して、フィルタ処理部１５で別々に画像処理（フィルタリング）を行う（Ｓ１０４）。
【００３０】
以下、各ステップの内容を詳細に説明する。
【００３１】
Ｓ１０１の動画領域と静止画領域の分割処理では、画像記億装置に格納された時系列順の３つの多値画像データ（画像ｉ−１、画像ｉ、画像ｉ＋１）をそれぞれ小領域（例えばｍ画素ｘｎ画素）に分割し、対象画像とその前後の画像とで、それぞれの小領域毎に比較し、対象画像の小領域毎に移動量（ずれ量ともいう）を求める。この実施形態では、図３（ａ）に示すように、画像ｉが対象画像であり、その前後に例えば１秒程度の僅かな時間間隔で２つの画像ｉ−１と画像ｉ＋１が記憶されているとした場合、３個の画像ｉ、画像ｉ−１、画像ｉ＋１をそれぞれ小領域に分割し、各小領域どうしを比較し、全ての小領域について座標上のずれ（移動量）＝ベクトルを求める。図３（ｂ）は図３（ａ）の画像ｉ−１、画像ｉ、画像ｉ＋１のそれぞれ拡大図である。つまり、各画像における小領域内の統計情報を求め、時系列に並んだ３つの画像（画像ｉ−１、画像ｉ、画像ｉ＋１）の小領域間の統計情報の一致度を求め、最も一致度の高い小領域との座標上の画像ｉ−１と画像ｉとのずれ＝ベクトルＶ１＝（ｘ１，ｙ１）、及び画像ｉと画像ｉ＋１とのずれ＝ベクトルＶ２＝（ｘ２，ｙ２）を求める。対象画像の全ての小領域について座標上のずれ＝ベクトルを求める。ずれ量（ベクトルの大きさ）がしきい値Ｄより大きい場合、対象画像上の小領域は動画領域と判断し、Ｄより小さい場合は静止画領域と判断する。図３（ａ）では、対象物２０が左斜め上方から右斜め下方へ移動しており、図３（ｃ）に示すように、対象物２０の移動方向に沿って動画領域が抽出されて、対象画像ｉが動画領域と静止画領域に分割される。
【００３２】
なお、小領域ごとの移動量を求める際には、小領域同士のパターンマッチングを用いる。また、図３（ｃ）に示すように、画像データをｍ×ｎ個よりも大きなＭ×Ｎ個の領域に分割して階層構造とし、まず大きな領域で比較してから小さな領域に細分化しながらパターンマッチングを行うことで高速化を図ってもよい。
【００３３】
Ｓ１０２の動き量等の検出ステップでは、図４に示すように、Ｓ１０１で分割した動画領域に含まれる小領域の移動量（ベクトル）の平均値を求め、この平均値を動画領域の動き量とする。式で示せば、動き量Ｖ（ｘ、ｙ）は下記あるいは図４のようになる。
【００３４】
【数１】

【００３５】
ただしＮ：動画領域のブロック（小領域）数
Ｂｅｆｏｒ（ｉ）：画像ｉ−１と画像ｉとでの移動量
Ａｆｔｅｒ（ｉ）：画像ｉと画像ｉ＋１とでの移動量
【００３６】
また、動き量の方向は、図４に示すようにθ（ｔａｎθ＝ｙ／ｘ）で与えられる。なお、小領域の移動量の平均値ではなく、中央値や最大値といった統計情報を用いて動画領域の動き量を設定しても良い。
【００３７】
Ｓ１０３の領域補正処理では、動画領域または静止画領域を補正する。具体的には、背景固定モードの場合は、図５のＡの画像に示すように、動画領域に外接する円を求め、その円領域を補正後の動画領域ａ（波線で示す領域）とし、それ以外を補正後の静止画領域とする。円領域を補正後の動画領域ａとするのは、人の目の特性に最も合致するからであるが、必ずしも動画領域に外接する円領域でなくても良く、処理の高速化を考慮し動画領域に外接する多角形を補正後の動画領域としても良い。また、処理範囲を限定することで高速化を図るために、動画領域に内接する領域を補正後の動画領域としても良い。
【００３８】
一方、図示は省略したが、背景移動モードの場合は、静止画領域に外接する円を求め、その円領域を補正後の静止画領域とし、それ以外を補正後の動画領域とする。この場合も上記背景固定モード時と同様に、人の目の特性を考慮して円が最も望ましいが、処理の高速化を考慮し多角形を補正後の静止画領域としても良い。また、処理範囲を限定することで高速化を図るために静止画領域に内接する領域を補正後の静止画領域としても良い。
【００３９】
次に、領域補正後の動画領域または静止画領域を、さらに次のようにして、動きを考慮した領域に補正する。即ち、図５のＡの画像に示すように、動画領域の動き量Ｖ（ｘ、ｙ）の方向およびその方向と直交する方向における動画領域の最大領域幅（以下フィレ径と称す）Ｆｈ（ベクトルＶと同じ方向のフィレ径）、Ｆｃ（ベクトルＶと直交する方向）を求め、先に求めた動画領域の補正領域である円ａを、ベクトルＶと同じ方向の幅はそのままでベクトルＶと直交する方向をＦｃ／Ｆｈの割合で偏平化する。そして、偏平化した円の中心を動画領域の重心と一致させた時の偏平した円で囲まれた領域を、動きを考慮した補正領域ｂ（実線で示す領域）とする。
【００４０】
図５のＡの画像は、時系列的に連続する３つの画像（画像ｉ−１、画像ｉ、画像ｉ＋１）において、対象物の移動方向が途中で変化しておらず、この場合は、補正領域（補正後の動画領域または補正後の静止画領域）と動きを考慮した補正領域とでその中心は同じである。しかし、図５のＢの画像のように、対象物２０が一旦上方へ移動し、次に下方に移動したような場合には、補正領域（補正後の動画領域または補正後の静止画領域）と動きを考慮した補正領域とではその中心が異なるものとなる。
【００４１】
このような動きを考慮した領域補正を行うことで、違和感の一層少ない動画表現や、静止画領域に動きを表現する特殊効果を付与できる。
【００４２】
Ｓ１０４の領域別フィルタリング処理では、背景固定モードにおいては、補正後の動画領域ａの画像に画質改善処理を施し、補正後の動画領域ａ以外の静止画領域の画像には画質改善処理を施さない。また、補正後の動画領域ａが、前述したように動きを考慮した動画領域ｂにさらに補正されているときは、動きを考慮した動画領域ｂに画質改善処理を施し、それ以外の領域には画質改善処理を施さない。
【００４３】
一方、背景移動モードにおいては、補正後の静止画領域には画質改善処理を施さず、補正後の静止画領域以外の動画領域に画質改善処理を施す。また、補正後の静止画領域が、動きを考慮した静止画領域にさらに補正されているときは、動きを考慮した静止画領域に画質改善処理を施さず、それ以外の領域には画質改善処理を施す。
【００４４】
フィルタ処理による画質改善処理の一例としては、平滑化処理を挙げることができる。この平滑化処理により、動画領域内の画像をぼかすことができ、画像の流れを目立たなくすることができ、画像の全体的な品質を向上することができる。なお、平滑化処理ではなく、フーリエ変換による高周波成分除去後に逆フーリエ変換を施すようにしても良い。
【００４５】
また、静止画領域においては、画像処理を施さなくても良いが、動画領域とは異なる例えばエッジ強調処理等の画像処理を実施しても良い。
【００４６】
さらに、望ましくは、背景固定モードにおいて、補正された動画領域あるいは動きを考慮した動画領域に施すフィルタ処理は、これら動画領域に含まれる画像データに対して、上記動画領域の動き量＝ベクトルＶ＝（ｘ、ｙ）に応じて傾きθ（ｔａｎθ＝ｙ／ｘ）を持たせたフィルタを用いて行うのがよい。また、フィルタサイズは、
【００４７】
【数２】

【００４８】
としても良いし、動き量を考慮してＶ×Ｖｔａｎθの大きさとしても良い。
【００４９】
このような傾き、大きさのフィルタを用いることで、対象物の動き量に応じた画像処理を行うことができ、画質がより改善される。
【００５０】
上記のフィルタ処理は、対象画像ｉの動画領域ａあるいはｂにのみ施しても良いし、時系列に並んだ３つの画像（画像ｉ−１、画像ｉ、画像ｉ＋１）の各動画領域に施し、これら３つの画像の各画素の平均を採用しても良い。一方、静止画領域についても、時系列の画像の各画素を平均しても良いし、対象画像の静止画領域のみを採用しても良い。
【００５１】
【発明の効果】
請求項１に係る発明によれば、背景固定モード等において、動画領域に外接または内接する補正領域が、さらに動きを考慮した扁平な補正領域に補正されるから、対象物の動きを考慮したさらに違和感のない高品質の画像を得ることができる。しかも、時系列に並んだ３つの静止画像を取り込み、１番目と２番目の２つの画像および２番目と３番目の２つの画像の差分をとり、差分値の大きさに基づいて領域を分割し、分割された領域のうち差分値の大きさが所定の値より大きい領域が動画領域とされるから、動画領域を確実に抽出することができる。
【００５４】
請求項２に係る発明によれば、背景移動モード等において、静止画領域に外接または内接する補正領域が、さらに動画領域の動きを考慮した扁平な補正領域に補正されるから、静止画領域に動きを表現する特殊効果を付与できる。
【００５５】
請求項３に係る発明によれば、背景固定モード等において、動画領域の動き量と同じ長さで動き方向と同じ傾きを有するフィルタを用いて動画領域の画質改善処理を行うから、対象物の動き量に応じた画像処理を行うことができる。
【００５８】
請求項４または５に係る発明によれば、補正領域が動画領域または静止画領域に外接する円領域であるから、人の目の特性に最も適した領域補正を行うことができ、これに画像処理を実施することで、さらに違和感のない画像を得ることができる。
【００５９】
請求項６に係る発明によれば、画質改善処理が平滑化処理であるから、この平滑化処理により、動画領域の周辺のランダムノイズの影響を軽減でき、画質を改善することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理方法を実施するための画像処理装置のブロック図である。
【図２】図１の画像処理装置で実施する画像処理方法のフローチャートである。
【図３】領域分割処理を説明するための図である。
【図４】動画領域の動き量の検出処理を説明するための図である。
【図５】領域補正処理を説明するための図である。
【図６】フィルタリング処理を説明するための図である。
【符号の説明】
１・・・・画像処理装置
１２・・・フレームメモリ
１３・・・領域補正部
１４・・・動き量等検出部
１５・・・フィルタ処理部

Claims (12)

1. 画像処理装置が行う画像処理方法であって、
   時系列に並んだ３つの静止画像を記憶手段が記憶するステップと、
   画像分割手段が、前記記憶手段に記憶された１番目と２番目の２つの画像および２番目と３番目の２つの画像の差分をとり、差分値の大きさに基づいて領域を分割するステップと、
   領域補正手段が、前記分割された領域のうち差分値の大きさが所定の値より大きい領域を動画領域とし、その動画領域に外接または内接する補正領域を求めるとともに、前記動画領域の動き方向およびその方向に直交する方向の動画領域の最大領域幅を求め、それらの最大領域幅の比に応じて前記補正領域を偏平化するステップと、
   画像処理手段が、前記動画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対しては画質改善処理を行い、それ以外の領域の画像に対しては画質改善処理を行わないステップと、
   を備えたことを特徴とする画像処理方法。
2. 画像処理装置が行う画像処理方法であって、
   時系列に並んだ３つの静止画像を記憶手段が記憶するステップと、
   画像分割手段が、前記記憶手段に記憶された１番目と２番目の２つの画像および２番目と３番目の２つの画像の差分をとり、差分値の大きさに基づいて領域を分割するステップと、
   領域補正手段が、前記分割された領域のうち差分値の大きさが所定の値より小さい領域を静止画領域とし、その静止画領域に外接または内接する補正領域を求めるとともに、前記静止画領域以外の動画領域の動き方向およびその方向に直交する方向の静止画領域の最大領域幅を求め、それらの最大領域幅の比に応じて前記補正領域を偏平化するステップと、
   画像処理手段が、前記静止画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対しては画質改善処理を行わず、それ以外の領域の画像に対しては画質改善処理を行うステップと、
   を備えたことを特徴とする画像処理方法。
3. 前記領域補正手段は、動画領域に外接または内接する補正領域での画質改善処理を、動画領域の動き量と同じ長さで動き方向と同じ傾きを有するフィルタを用いて行う請求項１に記載の画像処理方法。
4. 補正領域が動画領域に外接する円領域である請求項１または３のいずれかに記載の画像処理方法。
5. 補正領域が静止画領域に外接する円領域である請求項２に記載の画像処理方法。
6. 画質改善処理が平滑化処理である請求項１ないし５のいずれかに記載の画像処理方法。
7. 時系列に並んだ３つの静止画像を記憶する記憶手段と、
   前記記憶手段に記憶された１番目と２番目の２つの画像および２番目と３番目の２つの画像の差分をとり、差分値の大きさに基づいて領域を分割する画像分割手段と、
   前記分割された領域のうち差分値の大きさが所定の値より大きい領域を動画領域とし、その動画領域に外接または内接する補正領域を求めるとともに、前記動画領域の動き方向およびその方向に直交する方向の動画領域の最大領域幅を求め、それらの最大領域幅の比に応じて前記補正領域を偏平化する領域補正手段と、
   前記動画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対しては画質改善処理を行い、それ以外の領域の画像に対しては画質改善処理を行わない画像処理手段と、
   を備えたことを特徴とする画像処理装置。
8. 時系列に並んだ３つの静止画像を記憶する記憶手段と、
   前記記憶手段に記憶された１番目と２番目の２つの画像および２番目と３番目の２つの 画像の差分をとり、差分値の大きさに基づいて領域を分割する画像分割手段と、
   前記分割された領域のうち差分値の大きさが所定の値より小さい領域を静止画領域とし、その静止画領域に外接または内接する補正領域を求めるとともに、前記静止画領域以外の動画領域の動き方向およびその方向に直交する方向の静止画領域の最大領域幅を求め、それらの最大領域幅の比に応じて前記補正領域を偏平化する領域補正手段と、
   前記静止画領域の重心点と前記偏平化された補正領域の中心点を合せた時の偏平化された補正領域の画像に対しては画質改善処理を行わず、それ以外の領域の画像に対しては画質改善処理を行う画像処理手段と、
   を備えたことを特徴とする画像処理装置。
9. 前記画像処理手段は、動画領域に外接または内接する補正領域での画質改善処理を、動画領域の動き量と同じ長さで動き方向と同じ傾きを有するフィルタを用いて行う請求項７に記載の画像処理装置。
10. 補正領域が動画領域に外接する円領域である請求項７または９に記載の画像処理装置。
11. 補正領域が静止画領域に外接する円領域である請求項８に記載の画像処理装置。
12. 画質改善処理が平滑化処理である請求項７ないし１１のいずれかに記載の画像処理装置。

Images