JP5251544B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP5251544B2 JP5251544B2 JP2009015122A JP2009015122A JP5251544B2 JP 5251544 B2 JP5251544 B2 JP 5251544B2 JP 2009015122 A JP2009015122 A JP 2009015122A JP 2009015122 A JP2009015122 A JP 2009015122A JP 5251544 B2 JP5251544 B2 JP 5251544B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search range
- interpolation
- pixel
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 51
- 238000003672 processing method Methods 0.000 title claims description 17
- 239000013598 vector Substances 0.000 claims description 174
- 238000004364 calculation method Methods 0.000 claims description 61
- 230000007423 decrease Effects 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 description 78
- 230000015572 biosynthetic process Effects 0.000 description 21
- 238000000034 method Methods 0.000 description 21
- 238000003786 synthesis reaction Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000003247 decreasing effect Effects 0.000 description 7
- 230000003252 repetitive effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 2
- 102000020897 Formins Human genes 0.000 description 1
- 108091022623 Formins Proteins 0.000 description 1
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
また、特許文献3では、繰り返し模様検出部を備え、補間の際に、繰り返し模様でない領域には推定された動きベクトルを用いる補間と、繰り返し模様領域には0ベクトル補間とを切り替えている。
また、特許文献3の手法を用いた場合には、正しい動きベクトルが検出できた場合においても、繰り返し模様領域においては画一的に0ベクトル補間が用いられるため、高画質な補間フレーム画像の生成が困難となる。
第一の実施の形態.
まず、本発明の第一の実施の形態にかかる画像処理装置の概要について説明する。図1は、本発明の実施の形態1にかかる画像処理装置の概要を示すブロック図である。
画像処理装置は、動きベクトル推定手段61、探索範囲算出手段62及び補間画像生成手段63を備える。ここで、図1において画像処理装置に入力される複数のフレーム画像として、前後2つのフレーム画像の場合を例示するが、入力されるフレーム画像の数はここで例示した数に限られない。
探索範囲算出手段62は、入力された複数のフレーム画像の画素値に基づいて、動きベクトルを推定する探索範囲を決定する。
補間画像生成手段63は、動きベクトル推定手段61において生成された動きベクトルに基づいて、補間フレーム画像を生成する。
まず、探索範囲算出手段62は、前後フレーム画像が入力されると、入力された前後フレーム画像の画素値に基づいて、動きベクトルの探索範囲を決定する。そして、探索範囲算出手段62は、決定した探索範囲を動きベクトル推定手段61に出力する。
動きベクトル推定手段61は、探索範囲算出手段62から出力された探索範囲を取得する。動きベクトル推定手段61は、入力された複数のフレーム画像に基づき、取得した探索範囲内において、補間フレーム画像に含まれる補間画素の動きベクトルを推定する。そして、動きベクトル推定手段61は、動きベクトルを補間画像生成手段63に出力する。
補間画像生成手段63は、動きベクトル推定手段61から出力された動きベクトルを取得する。そして、補間画像生成手段63は、入力された複数のフレーム画像および取得した動きベクトルに基づいて補間フレーム画像を生成する。
また、本説明においては、画素値とは、画素に基づく値であればどのような値であってもよく、画素の輝度やRGBなどの色成分の値などを含んだ値、輝度値、色変換を用いて得られる明度値やRGBなどの色成分の要素の値であってもよい。なお、本実施の形態における探索範囲の算出方法は、画素値として輝度値を用いた場合を例示して説明する。
ここで、探索範囲内で輝度値の変化が2つ以上の異なる方向への凸曲面に分割可能である場合は、動きベクトル推定の結果、画素毎に異なる対応領域が選択され、補間フレーム画像の画質が劣化する。しかし、探索範囲算出手段36では、補間画素毎の探索範囲を、類似した凸曲面となるような最大範囲として設定することにより、探索範囲内で輝度値の変化が2つ以上の異なる方向への凸曲面に分割可能とならないようにして画質劣化を抑制する。
また、探索範囲算出手段36により設定される探索範囲を用いると、類似したパターンが複数ある領域では、前後フレーム間で最も近接するパターンを1つずつ含む範囲が自動的に算出されることとなるため、経験上、最も動き補償補間画像の画質が劣化する可能性の小さい類似したパターン間で最も短い動きベクトルを検出されることとなる。
探索範囲の第1の算出方法は、あらかじめ図5に示すようなスケーリング可能な凸曲面に収まる複数のパターン(パターン中の各値は、0.0〜1.0)を用意し、初期値として前後フレーム画像における注目補間画素位置の1画素×1画素の範囲を設定し、範囲を上下左右1画素ずつ広げながら、各パターンとマッチングを取ることにより、前後それぞれのフレーム画像についてその範囲(以下、「指定範囲」)における輝度変化が凸曲面に収まっているかの判別とフレーム画像間で類似した凸曲面であるかの判別とを繰り返すことで、それぞれの判別における条件を満たす最大範囲を探索範囲として求める。
このように、本実施の形態の探索範囲の算出における凸曲面とは、凸曲面に収まっている曲面であり、図5に示すパターン10〜19のような凸曲面の他に、パターン2〜9のような単調増加もしくは単調減少する曲面のように凸曲面の一部である曲面も含まれる。また、パターン1のような平面も含まれる。
また、探索範囲算出手段36は、探索範囲内における前後フレーム画像の輝度変化情報として、探索範囲における評価関数を最小化したパターンのインデックス番号を動きベクトル推定手段31に出力する。
まず、指定された範囲内の水平方向及び垂直方向の各ラインについて、ライン内の輝度変化を、1.平坦、2.単調増加、3.単調減少、4.上に凸、5.下に凸、6.その他の6つの指標に分類する。以下、このライン内の輝度変化の指標をライン輝度変化指標と呼ぶことにする。注目補間画素位置(x,y)、指定探索範囲(ρ(x,y)×ρ(x,y))の時、補間画素位置からp(-(ρ(x,y)-1)/2 ≦ p ≦ (ρ(x,y)-1)/2)離れた水平方向のライン輝度変化指標LH(x,y,ρ(x,y),p)は、輝度変化指標計算手段361から出力される輝度変化指標のうち、注目ラインの範囲における輝度変化指標DH(x-(ρ(x,y)-1)/2,y+p)〜DH(x+(ρ(x,y)-1)/2-1,y+p)の組み合わせを考慮することにより、容易に求めることができる。
条件1:その他と分類されたライン輝度変化指標を持つラインが存在する場合は、凸曲面に収まっていないと判断する。
条件2:上に凸と分類されたライン輝度変化指標を持つラインと下に凸と分類されたライン輝度変化指標を持つラインの両方が存在する場合には、凸曲面に収まっていないと判断する。
条件3:上に凸と分類されたライン輝度変化指標または下に凸と分類されたライン輝度変化指標を持つラインが複数存在し、かつこれらのラインの間に他の指標に分類されたラインが存在する場合は、凸曲面に収まっていないと判断する。
条件4:上に凸と分類されたライン輝度変化指標または下に凸と分類されたライン輝度変化指標を持つラインが存在し、かつ単調増加または単調減少のいずれかの指標を持つラインがこのラインを挟んで存在する場合は、凸曲面に収まっていないと判断する。
条件5:条件1〜4のいずれかに当てはまらない場合は、凸曲面に収まっていると判断する。
最後に、水平方向および垂直方向のライン輝度変化指標の統合結果を比較する。比較方法として、どちらか一方でも凸曲面に収まっていないと判断された場合および水平方向と垂直方向とで上に凸と下に凸の異なる方向に凸であるラインを含んでいる場合に凸曲面に収まっていないと判断し、その他の場合には凸曲面に収まっていると判断する。
探索範囲算出手段36から出力される探索範囲が狭いことは、入力フレーム画像の注目補間画素位置周辺の比較的近い位置において、繰り返しパターン等の類似した複数のパターンが存在することを意味する。一方、探索範囲算出手段36から出力される探索範囲が十分広いことは、入力フレーム画像の注目補間画素位置周辺において、類似した複数のパターンが存在しないことを意味する。探索範囲算出手段36から出力される探索範囲は、類似した複数のパターンが存在する領域においても発生する頻度の高い最も短い動きベクトルを推定するように設定されるが、その際に推定される動きベクトルが正しい可能性は、そのようなパターンが存在しない領域において推定される動きベクトルが正しい可能性が低くなる。そのため、探索範囲算出手段36から出力される探索範囲が狭い場合の動きベクトル推定手段31にて推定される動きベクトルの確信度は、探索範囲が広い場合と比較して低くなるといえる。
探索範囲算出手段36は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する(S001)。
動きベクトル推定手段31は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定する(S002)
動き補償補間手段32は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する(S003)。
0ベクトル補間手段33は、入力された前フレーム画像と後フレーム画像とから0ベクトル補間画像を生成する(S004)。
探索範囲評価手段36は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する(S005)。
補間画像合成手段35は、動き補償補間画像と0ベクトル補間画像とを探索範囲評価結果をもとに合成し、補間フレーム画像を生成する(S006)。
図11は、本発明による第二の実施の形態にかかる画像処理装置の構成を示すブロック図である。図11を参照すると、本発明による第二の実施の形態にかかる画像処理装置は、探索範囲算出手段36と動きベクトル推定手段31と動き補償補間手段32と0ベクトル補間手段33と探索範囲評価手段34と輝度変化情報評価手段47と補間画像合成手段45とから構成される。本発明による第二の実施の形態にかかる画像処理装置の構成は、前記第一の実施の形態にかかる画像処理装置の構成と比較して、輝度変化情報評価手段47と補間画像合成手段45において異なる。以下、輝度変化情報評価手段47と補間画像合成手段45の詳細を説明する。なお、動き補償補間手段32、0ベクトル補間手段33、探索範囲評価手段34、補間画像合成手段35及び輝度変化情報評価手段47は、補間画像生成手段として機能する。
一般に、補間画素位置における前後フレーム画像の輝度変化が複雑である場合に比べ、同一範囲内の輝度変化が単純である場合の方が正確な動きベクトルを求めやすいといえる。そこで、輝度変化情報評価手段47は、画素位置(x,y)における輝度変化情報評価結果β(x,y)(0≦β(x,y)≦1)を、入力される輝度変化情報をもとに決定する。輝度変化情報評価結果は、探索範囲があらかじめ用意されたパターンとのマッチングにより算出された場合には、あらかじめ設定されている輝度変化情報の組み合わせに応じた値により決定する。この値は、例えば、任意の記憶手段(図示せず)に格納しておき、輝度変化情報評価手段47がこれを読み出すことにより取得するようにしてもよい。また、探索範囲を隣接する画素間での輝度値の変化の指標をもとに算出した場合には、その探索範囲における輝度変化情報内のライン輝度変化指標を用いて以下のように決定する。
カテゴリー1.全てのライン輝度変化指標が、平坦である。
カテゴリー2.全てのライン輝度変化指標が、平坦または単調増加、もしくは平坦または単調減少である。
カテゴリー3.全てのライン輝度変化指標が、平坦または単調増加または単調減少である。
カテゴリー4.上に凸または下に凸であるライン輝度変化指標を含む
次に、あらかじめカテゴリー1の輝度変化情報評価結果>カテゴリー2の輝度変化情報評価結果>カテゴリー3の輝度変化情報評価結果>カテゴリー4の輝度変化情報評価結果となるようにβ(x,y)を決定する。例えば、任意の記憶手段(図示せず)に格納されているテーブルから対応カテゴリーの値を読み出し、β(x,y)に代入する。
探索範囲算出手段36は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する(S101)。
動きベクトル推定手段31は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定する(S102)。
動き補償補間手段32は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する(S103)。
0ベクトル補間手段33は、入力された前フレーム画像と後フレーム画像とから0ベクトル補間画像を生成する(S104)。
探索範囲評価手段36は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する(S105)。
輝度変化情報評価手段47は、補間画素毎に、動きベクトル推定の探索範囲内の輝度変化情報から輝度変化情報評価結果を算出する(S106)。
補間画像合成手段45は、動き補償補間画像と0ベクトル補間画像とを探索範囲評価結果と輝度変化情報評価結果とから算出される合成重みをもとに合成し、補間フレーム画像を生成する(S107)。
図13は、本発明による第三の実施の形態にかかる画像処理装置の構成を示すブロック図である。図13を参照すると、本発明による第三の実施の形態にかかる画像処理装置は、探索範囲算出手段36と動きベクトル推定手段51と動き補償補間手段32と0ベクトル補間手段33と探索範囲評価手段34と輝度変化情報評価手段47とブロック差分評価手段58と補間画像合成手段55とから構成される。本発明による第三の実施の形態にかかる画像処理装置の構成は、前記第二の実施の形態にかかる画像処理装置の構成と比較して、動きベクトル推定手段51とブロック差分評価手段58と補間画像合成手段55において異なる。以下、動きベクトル推定手段51とブロック差分評価手段58と補間画像合成手段55の詳細を説明する。なお、動き補償補間手段32、0ベクトル補間手段33、探索範囲評価手段34、補間画像合成手段35、輝度変化情報評価手段47及びブロック差分評価手段58は、補間画像生成手段として機能する。
ブロック差分値は、推定された動きベクトルで対応付けられる前後フレーム画像の画素ペアの類似度を表し、ブロック差分値が小さいほど類似度が高く、ブロック差分値が大きいほど類似度が低いことを意味する。そのため、動きベクトル推定手段51にて推定される動きベクトルの確信度は、ブロック差分値が大きい場合はブロック差分値が小さい場合と比較して低くなるといえる。そこで、ブロック差分評価手段58は、画素位置(x,y)におけるブロック差分値S(x,y)をもとに、ブロック差分評価結果γ(x,y)(0≦γ(x,y)≦1)を、S(x,y)が小さくなるほど1に近づき、S(x,y)が大きくなるほど0に近づくように設定し、出力する。γ(x,y)の算出方法の一例を式(16)に示す。ただし、Tb1およびTb2はあらかじめ設定される閾値である。
探索範囲算出手段36は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する(S201)。
動きベクトル推定手段51は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定し、動きベクトルとその時のブロック差分値を出力する(S202)
動き補償補間手段12は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する(S203)。
0ベクトル補間手段13は、入力された前フレーム画像と後フレーム画像とから0ベクトル補間画像を生成する(S204)。
探索範囲評価手段36は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する(S205)。
輝度変化情報評価手段47は、補間画素毎に、動きベクトル推定の探索範囲内の輝度変化情報から輝度変化情報評価結果を算出する(S206)。
ブロック差分評価手段58は、補間画素毎に、ブロック差分値からブロック差分評価結果を算出する(S207)。
補間画像合成手段55は、動き補償補間画像と0ベクトル補間画像とを探索範囲評価結果と輝度変化情報評価結果とブロック差分評価結果とから算出される合成重みをもとに合成し、補間フレーム画像を生成する(S208)。
また、このプログラムは様々な種類の記憶媒体に格納することが可能であり、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、BD(Blu-ray Disc)、ROM(Read Only Memory)カートリッジ、バッテリバックアップ付きRAM(Random Access Memory)メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性RAMカートリッジを含む。また、通信媒体には、電話回線の有線通信媒体、マイクロ波回線の無線通信媒体を含み、インターネットも含まれる。
さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットにより行われて上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。
32 動き補償補間手段
33 0ベクトル補間手段
34 探索範囲評価手段
35、45、55 補間画像合成手段
36、62 探索範囲算出手段
47 輝度変化情報評価手段
58 ブロック差分評価手段
63 補間画像生成手段
361 輝度変化指標計算手段
362 輝度変化情報計算手段
Claims (36)
- 複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理装置であって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出手段と、
前記探索範囲算出手段が算出した探索範囲内において、前記動きベクトルを推定する動きベクトル推定手段と、
前記動きベクトル推定手段が推定した動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成手段を備え、
前記探索範囲は、画素位置をX軸及びY軸にとり、画素値をZ軸にとった3次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である、
画像処理装置。 - 前記探索範囲は、各フレーム画像内において互いに類似する2つの画像パターンを共に含むことがないように決定される請求項1に記載の画像処理装置。
- 前記探索範囲は、画素位置をX軸及びY軸にとり、画素値をZ軸にとった3次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が1つ以下となる範囲である請求項1又は2に記載の画像処理装置。
- 前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記探索範囲算出手段は、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項4に記載の画像処理装置。 - 前記探索範囲算出手段は、前記フレーム画像の画素位置をX軸およびY軸上にとった場合におけるX軸方向およびY軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項4に記載の画像処理装置。
- 前記補間画像生成手段は、前記動きベクトルに基づいて生成した動き補償補間画像と、0ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した0ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項1乃至6のいずれか1項に記載の画像処理装置。 - 前記補間画像生成手段は、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項7に記載の画像処理装置。
- 前記補間画像生成手段は、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項7又は8に記載の画像処理装置。
- 前記補間画像生成手段は、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項9に記載の画像処理装置。
- 前記補間画像生成手段は、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項9又は10に記載の画像処理装置。
- 前記補間画像生成手段は、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項11に記載の画像処理装置。
- 複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理方法であって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出ステップと、
前記探索範囲内において、前記動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成ステップを備え、
前記探索範囲は、画素位置をX軸及びY軸にとり、画素値をZ軸にとった3次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である、
画像処理方法。 - 前記探索範囲は、各フレーム画像内において互いに類似する2つの画像パターンを共に含むことがないように決定される請求項13に記載の画像処理方法。
- 前記探索範囲は、画素位置をX軸及びY軸にとり、画素値をZ軸にとった3次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が1つ以下となる範囲である請求項13又は14に記載の画像処理方法。
- 前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項13乃至15のいずれか1項に記載の画像処理方法。
- 前記探索範囲算出ステップでは、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項16に記載の画像処理方法。 - 前記探索範囲算出ステップでは、前記フレーム画像の画素位置をX軸およびY軸上にとった場合におけるX軸方向およびY軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項16に記載の画像処理方法。
- 前記補間画像生成ステップでは、前記動きベクトルに基づいて生成した動き補償補間画像と、0ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した0ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項13乃至18のいずれか1項に記載の画像処理方法。 - 前記補間画像生成ステップでは、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項19に記載の画像処理方法。
- 前記補間画像生成ステップでは、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項19又は20に記載の画像処理方法。
- 前記補間画像生成ステップでは、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項21に記載の画像処理方法。
- 前記補間画像生成ステップでは、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項21又は22に記載の画像処理方法。
- 前記補間画像生成ステップでは、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項23に記載の画像処理方法。
- 複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理プログラムであって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出ステップと、
前記探索範囲内において、前記動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成ステップを備え、
前記探索範囲は、画素位置をX軸及びY軸にとり、画素値をZ軸にとった3次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である、
画像処理プログラム。 - 前記探索範囲は、各フレーム画像内において互いに類似する2つの画像パターンを共に含むことがないように決定される請求項25に記載の画像処理プログラム。
- 前記探索範囲は、画素位置をX軸及びY軸にとり、画素値をZ軸にとった3次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が1つ以下となる範囲である請求項25又は26に記載の画像処理プログラム。
- 前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項25乃至27のいずれか1項に記載の画像処理プログラム。
- 前記探索範囲算出ステップでは、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項28に記載の画像処理プログラム。 - 前記探索範囲算出ステップでは、前記フレーム画像の画素位置をX軸およびY軸上にとった場合におけるX軸方向およびY軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項28に記載の画像処理プログラム。
- 前記補間画像生成ステップでは、前記動きベクトルに基づいて生成した動き補償補間画像と、0ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した0ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項25乃至30のいずれか1項に記載の画像処理プログラム。 - 前記補間画像生成ステップでは、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項31に記載の画像処理プログラム。
- 前記補間画像生成ステップでは、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項31又は32に記載の画像処理プログラム。
- 前記補間画像生成ステップでは、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項33に記載の画像処理プログラム。
- 前記補間画像生成ステップでは、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項33又は34に記載の画像処理プログラム。
- 前記補間画像生成ステップでは、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項35に記載の画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015122A JP5251544B2 (ja) | 2009-01-27 | 2009-01-27 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015122A JP5251544B2 (ja) | 2009-01-27 | 2009-01-27 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010177739A JP2010177739A (ja) | 2010-08-12 |
JP5251544B2 true JP5251544B2 (ja) | 2013-07-31 |
Family
ID=42708299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009015122A Active JP5251544B2 (ja) | 2009-01-27 | 2009-01-27 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5251544B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8558989B2 (en) | 2002-11-12 | 2013-10-15 | Asml Netherlands B.V. | Lithographic apparatus and device manufacturing method |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011076795A1 (de) * | 2011-05-31 | 2012-09-20 | Robert Bosch Gmbh | Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs |
JP2013165487A (ja) | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびプログラム |
JP6222514B2 (ja) * | 2012-01-11 | 2017-11-01 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータブログラム |
JP2013165485A (ja) | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置およびコンピュータブログラム |
JP2013165488A (ja) | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびプログラム |
JP6037224B2 (ja) | 2012-01-11 | 2016-12-07 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3020299B2 (ja) * | 1991-04-24 | 2000-03-15 | 沖電気工業株式会社 | 動きベクトル検出装置 |
JP2006178642A (ja) * | 2004-12-21 | 2006-07-06 | Olympus Corp | 動きベクトル検出装置 |
JP4431089B2 (ja) * | 2005-06-17 | 2010-03-10 | 株式会社 日立ディスプレイズ | 映像補間装置、フレームレート変換装置および映像表示装置 |
JP4347347B2 (ja) * | 2007-02-06 | 2009-10-21 | 三菱電機株式会社 | フレーム補間装置、及びフレーム補間方法 |
CN101690195B (zh) * | 2007-07-03 | 2012-06-20 | 日本电气株式会社 | 图像插补方法、图像插补装置 |
-
2009
- 2009-01-27 JP JP2009015122A patent/JP5251544B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8558989B2 (en) | 2002-11-12 | 2013-10-15 | Asml Netherlands B.V. | Lithographic apparatus and device manufacturing method |
Also Published As
Publication number | Publication date |
---|---|
JP2010177739A (ja) | 2010-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5251544B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4752407B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
US8279930B2 (en) | Image processing apparatus and method, program, and recording medium | |
KR101118981B1 (ko) | 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 | |
JP5777311B2 (ja) | 低解像度ビデオから高解像度ビデオを生成する方法 | |
EP1734480A1 (en) | Image processing device and method, recording medium, and program | |
JP2007074592A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
JP4853653B2 (ja) | 画像処理装置及び画像処理プログラム | |
KR101136506B1 (ko) | 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체 | |
JP2005354124A (ja) | 複数の低画素密度画像からの高画素密度画像の生成 | |
KR101107254B1 (ko) | 인접 블록의 움직임 벡터를 이용한 움직임 벡터 추정 방법및 그 장치 | |
WO2009119347A1 (ja) | 画像処理システム、画像処理方法および画像処理用プログラムが格納された記録媒体 | |
JP2006244074A (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
JP5492223B2 (ja) | 動きベクトル検出装置及び方法 | |
JP4626158B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2017003281A (ja) | 対応点探索方法および距離測定装置 | |
JP6057629B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5737072B2 (ja) | 動き補償フレーム生成装置及び方法 | |
CN103618904A (zh) | 基于像素的运动估计方法及装置 | |
JP4771087B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2008042545A (ja) | 画像処理装置及び画像処理プログラム | |
KR20130135460A (ko) | 색상 차이를 사용한 깊이 영상 보간 장치 및 방법 | |
JP5735395B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP7157526B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5544497B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5251544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |