JP6412819B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP6412819B2
JP6412819B2 JP2015070390A JP2015070390A JP6412819B2 JP 6412819 B2 JP6412819 B2 JP 6412819B2 JP 2015070390 A JP2015070390 A JP 2015070390A JP 2015070390 A JP2015070390 A JP 2015070390A JP 6412819 B2 JP6412819 B2 JP 6412819B2
Authority
JP
Japan
Prior art keywords
frame
vector
motion vector
image processing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015070390A
Other languages
English (en)
Other versions
JP2016192601A (ja
Inventor
琢麿 山本
琢麿 山本
三島 直
直 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015070390A priority Critical patent/JP6412819B2/ja
Priority to US14/943,374 priority patent/US10038913B2/en
Publication of JP2016192601A publication Critical patent/JP2016192601A/ja
Application granted granted Critical
Publication of JP6412819B2 publication Critical patent/JP6412819B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

本発明の実施形態は画像処理装置、画像処理方法、および画像処理プログラムに関する。
動画像のフレーム間に補間フレームを内挿して、単位時間当たりのフレーム数を増大させる補間フレーム生成装置が知られている。この補間フレーム生成装置を備えた画像表示装置(液晶ディスプレイやエレクトロルミネッセンスディスプレイ等)は、動画像を滑らかに表示することができる。
従来の補間フレーム生成装置は、時間的に連続する2フレーム(以下、入力フレームと称する)間の画素ごともしくはブロックごとに画素値の相関に基づいて動きベクトルを推定する。そして、従来の補間フレーム生成装置は、この動きベクトルを用いて補間フレームを生成する。
前の時間の入力フレーム(第1の入力フレーム)から後の時間の入力フレーム(第2の入力フレーム)にかけて、フレーム内の物体が動いた場合、第2の入力フレームに新たに出現する背景領域(以下、オクル−ジョン領域と称する)がある。オクル−ジョン領域には第1の入力フレーム内に対応する領域が存在しないため、画素値の相関を用いて動きベクトルを求めることができない。そのため、オクル−ジョン領域の動きベクトルを適切に決定して、補間フレームの画素値を決定する必要がある。
特開2011−182193号公報 特許第4892113号
本発明の実施形態は、補間フレームのオクル−ジョン領域の動きベクトルおよび画素値を適切に決定できる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
本発明の実施形態による画像処理装置は、第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理装置であって、前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出する第1の相違度算出部と、前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出する第2の相違度算出部と、前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える。
本発明の実施形態に係る画像処理装置を示すブロック図。 本発明の実施形態に係る画像処理装置の動作を示すフローチャート。 オクル−ジョン領域について説明するための図。 オクル−ジョン領域について説明するための図。 本発明の実施形態に係る画像処理装置の処理を説明するための図。 本発明の実施形態に係る画像処理装置の処理を説明するための図。 本発明の実施形態に係る画像処理装置のHW構成を示す図。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の実施形態に係る画像処理装置10を示すブロック図である。画像処理装置10は、動き推定部101、候補ベクトル抽出部102、第1の相違度算出部103、第2の相違度算出部104、合成部105、出力部106、補間フレーム生成部107を有する。
動き推定部101は、入力フレーム110が入力され、補間フレームにおける動きベクトル111を推定する。候補ベクトル抽出部102は、動き推定部から出力された動きベクトル111が入力され、候補ベクトル112を算出する。第1の相違度算出部103は、入力フレーム110と候補ベクトル112が入力され、第1の相違度113を算出する。第2の相違度算出部104は入力フレーム110と動きベクトル111と候補ベクトル112が入力され、第2の相違度114を算出する。合成部105は、第1の相違度算出部103で算出された第1の相違度113と第2の相違度算出部104で算出された第2の相違度114を合成し、合成重み115を出力する。出力部106は候補ベクトル112と合成重み115が入力され、オクル−ジョン領域の動きベクトル116を出力する。補間フレーム生成部107は補間フレーム117を生成する。
図2は、画像処理装置10の動作を示すフローチャートである。図1および図2を用いて、画像処理装置10の動作について説明する。
動き推定部101は、時間的に連続する2フレームである第1および第2の入力フレーム110を取得し、補間フレームの動きベクトル111を生成して出力する(ステップS201)。以降、第1および第2の入力フレーム110はそれぞれ時刻t、時刻t+1のフレームであるとし、それぞれI、It+1と表す。
動き推定部101ではまず、IからIt+1への動きベクトルを求める。動きベクトルの検出には、例えば、ブロックマッチング法や勾配法などを用いることができる。
補間フレームの時刻における動きベクトルは、IからIt+1への動きベクトルを平行移動することで求められる。Iの位置ベクトルxにおけるIからIt+1への動きベクトルをu(x)とし、補間フレームの時刻をt+α(0<α<1)とすると、補間フレームの時刻における動きベクトルut+αは式(1)に基づいて計算できる。
Figure 0006412819
補間フレームの動きベクトルが割り当てられない場合は、不定を示す値(以下、不定値と称する)を代入する。この不定値が代入された領域がオクル−ジョン領域である。
図3および図4を用いてオクル−ジョン領域について説明する。説明を簡単にするために1次元軸上を移動する物体を例にする。例えば、図3(b)に示すように時刻tからt+1の間に、紙面の上方へ移動する円形の物体があり、背景は紙面の下方へ移動しているとする。図3および図4では、例えば、補間フレームの時刻をt+0.5とする。図3(a)は、時刻t、時刻t+0.5、時刻t+1における、線A−A’上の物体の位置を示す。
図4は時刻tのフレームIの全ての位置ベクトルxに対してフレームIt+1への動きベクトルが求められた状態を示す。このとき、各動きベクトルを補間フレームの時刻t+0.5に平行移動して、補間フレームの時刻における動きベクトルut+0.5を計算すると、動きベクトルが通過しない領域がある。この領域の動きベクトルは不定値となる。この領域は、物体が動いたことによって新たに出現した背景領域で、オクル−ジョン領域と呼ばれる。
補間フレームの動きベクトル111が生成された後に、候補ベクトル抽出部102が候補ベクトルを抽出する(ステップS202)。候補ベクトル抽出部102には、補間フレームの動きベクトル111が入力される。そして、候補ベクトル抽出部102は、オクル−ジョン領域周辺で割り当て済みの複数の動きベクトルを抽出する。候補ベクトル抽出部102が抽出した複数の動きベクトルを候補ベクトル112と呼ぶ。
具体的には、候補ベクトル112は以下のように抽出される。前述のとおり、動き推定部101はオクル−ジョン領域に対して不定値を割り当てる。そこで、候補ベクトル抽出部102は、不定値が割り当てられた画素を注目画素とする。そして、候補ベクトル抽出部102は、例えば、注目画素を中心とする一定の大きさの矩形内で、不定値ではなく、動きベクトルが割り当てられた画素の動きベクトルを候補ベクトルとして抽出する。なお、注目画素の周辺と判断する領域は、矩形に限らず、円形や楕円形で決めても良い。注目画素からの距離が近いと判断できるならば、どのような形でも良い。
次に、第1の相違度算出部103が、複数の候補ベクトルのそれぞれを注目画素に割当てて、候補ベクトルを注目画素に割り当てたとき指し示される画素と、候補ベクトルが元々指し示していた画素との第1の相違度を算出する(ステップS203)。具体的には、候補ベクトル毎に、候補ベクトルの始点の位置(位置ベクトルy)から候補ベクトルut+α(y)が指し示す画素値と、注目画素の位置(位置ベクトルx)から候補ベクトルut+α(y)が指し示す画素値との第1の相違度113を算出する。第1の相違度dは、以下の式(2)で算出することができる。なお、式(2)における絶対値は二乗に代えても良い。
Figure 0006412819
図5を参照して、候補ベクトル抽出部102と第1の相違度算出部103の処理について説明する。候補ベクトル抽出部102が、注目画素P1の周辺の領域(図5の破線で示した領域)から割り当て済みの動きベクトルV1およびV2を選択する。そして、第1の相違度算出部103は、注目画素P1に候補ベクトルV1を割り当てて、注目画素P1から候補ベクトルV1が指し示す画素P3の画素値と、候補ベクトルV1の始点Y1から候補ベクトルV1が指し示す画素P2の画素値との相違度を算出する。同様に、第1の相違度算出部103は、注目画素P1に候補ベクトルV2を割り当てて、注目画素P1から候補ベクトルV2が指し示す画素P4の画素値と、候補ベクトルV2の始点Y2から候補ベクトルV2が指し示す画素P5の画素値との相違度を算出する。
次に、第2の相違度算出部104が、第2の相違度を算出する(ステップS204)。具体的には、第2の相違度算出部104は、まず補間フレームの動きベクトル111から主要な背景ベクトルを算出する。
通常、動画像には、複数の被写体が写っており、被写体毎に動きベクトルが異なる。第2の相違度算出部104では、各被写体の動きを代表する動きを表すベクトルを主要な背景ベクトルとして算出する。主要な背景ベクトルの算出のために、第2の相違度算出部104は、候補ベクトル抽出部102が割り当て済みの動きベクトルを選択するために用いた注目画素の周辺の領域よりも広い領域の割当済みの動きベクトルを用いる。
主要な背景ベクトルの算出には、例えば特許文献2(特許第4892113号公報)に記載の方法を用いることができる。特許文献2に記載の方法によると、奥行きを最も奥側とすべきブロックに対して求めたベクトルを検出する。ただし、主要な背景ベクトルの算出方法は、この方法に限らない。例えば、補間フレームの動きベクトルを2クラスにクラスタリングし、面積の大きい方のクラスタの平均ベクトルもしくはメディアンベクトルを主要背景ベクトルとして用いても良い。
そして、第2の相違度算出部104は、複数の候補ベクトルのそれぞれと、主要な背景ベクトルとの第2の相違度114を算出する。主要な背景ベクトルをuとすると、第2の相違度114は、式(3)で算出することができる。
Figure 0006412819
式(3)は、候補ベクトル候補ベクトルut+α(y)と主要な背景ベクトルをuとの差のノルムを算出する式である。このノルムとして、L1ノルムやL2ノルムを用いることができる。第2の相違度114は、この算出方法に限らない。全ての候補ベクトルについて、
Figure 0006412819
を計算し、その中の最小値をmとして、式(4)によって第2の相違度114を算出しても良い。なお、式(4)における絶対値は、二乗に代えてもよい。
Figure 0006412819
次に、合成部105が、第1の相違度113および第2の相違度114を合成して、合成重み115を算出する(ステップS205)。合成重み115は、例えば式(5)により計算することができる。
Figure 0006412819
もしくは、第1の相違度113および第2の相違度114に対して、それぞれ重みw、wを設定し、合成重み115を以下の式(6)により計算することができる。重みw、wは、予め設計者が設計しておく。
Figure 0006412819
もしくは、ガウス関数を用いて、合成重み115を以下の式(7)により計算しても良い。
Figure 0006412819
式(7)において、σ、σは重み付き加算における重みに相当し、設計者が予め定めるパラメータである。なお、式(7)ではガウス関数を用いたが、ガウス関数に限らず、単調減少関数であればどのような関数を用いて合成重み115を算出しても良い。
次に、出力部106がオクル−ジョン領域の動きベクトル116を生成して出力する(ステップS206)。オクル−ジョン領域の動きベクトル116は、合成重み115に基づいて選択する。なお、合成重み115は、式(5)や式(6)のように算出すればd(x,y)やd(y)に対して単調増加となり、式(7)のように算出すると、単調減少となる。そのため、合成重み115をどのように算出するかによって、オクル−ジョン領域の動きベクトル116の選択方法が異なる。
オクル−ジョン領域の動きベクトル116は、注目画素に対して抽出された候補ベクトルの内、例えば、式(5)や式(6)で算出した合成重みd(x,y)が最も小さくなる候補ベクトルを選択することで決定することができる。もしくは、式(7)のように算出された合成重みd’(x,y)が最も大きくなる候補ベクトルを選択することで決定しても良い。もしくは、注目画素に対して抽出された全ての候補ベクトルのうち、式(7)のように算出された合成重みd’(x,y)で重み付き加算したものをオクル−ジョン領域の動きベクトル116としても良い。この場合、オクル−ジョン領域の動きベクトルut+α(x)は、式(8)によって算出することができる。
Figure 0006412819
ここで、Cは候補ベクトルの始点の位置ベクトル集合を表す。また、Zは合成重みの総和で、式(9)によって表される。
Figure 0006412819
また、式(5)や式(6)で算出した合成重みd(x,y)を用いて、重み付き加算をしても良い。例えば、注目画素に対して抽出された全ての候補ベクトルのうち、1/d(x,y)を重みとして重み付き加算したものをオクル−ジョン領域の動きベクトル116としても良い。
次に、補間フレーム生成部107が補間フレーム117を生成して出力する(ステップS207)。オクル−ジョン領域以外の補間フレームの画素値It+α(x)は、例えば、以下の式(10)で計算することができる。
Figure 0006412819
そして、オクル−ジョン領域の補間フレームの画素値画素値It+α(x)は、例えば、以下の式(11)で計算することができる。
Figure 0006412819
以上により、画像処理装置10は時刻t+αの補間フレーム117を生成することができる。
図5および図6を参照して、本実施形態に係る画像処理装置10の効果を説明する。図5および図6は、図3(b)のA−A’線上の位置を表している。図5において注目画素P1の動きベクトルを算出する。このとき、候補ベクトルをV1およびV2とする。P2は円形物体の画素であり、P1、P3、P4、P5は背景の画素とする。
このとき、候補ベクトルV1の第1の相違度は、P2とP3の画素値の相違度であり、候補ベクトルV2の第1の相違度は、P4とP5の画素値の相違度である。背景の画素値が均一であるとすると、候補ベクトルV2の第1の相違度は、候補ベクトルV1の第1の相違度よりも小さい。第2の相違度を考慮せずに、第1の相違度だけで候補ベクトルを選択すると、第1の相違度が小さい候補ベクトルV2が選択される。しかしながら、背景の画像構造が複雑な場合やノイズの影響により、候補ベクトルV2の第1の相違度が候補ベクトルV1の第1の相違度よりも大きくなる場合がある。そのため、第1の相違度だけで候補ベクトルを選択すると、誤った候補ベクトルであるV1が選択されてしまう可能性がある。
そこで、図6に示すように第1の相違度に加えて、第2の相違度を考慮することで、ノイズ等の影響を受けづらくなり、正しい候補ベクトルであるV2を選択することができる。
このように、実施形態に係わる画像処理装置によれば、第1の相違度に加えて第2の相違度を考慮することで、背景の画像構造やノイズの影響に対してロバストにオクルージョン領域の動きベクトルおよび画素値を求めることができ、高品質な補間フレームが生成できる。
次に、画像処理装置10のハードウェア構成について図7を参照して説明する。画像処理装置10は、CPU(Central Processing Unit)701、操作部702、表示部703、ROM(Read Only Memory)704、RAM(Random Access Memory)705、記憶部706を備え、各部はバス710により接続されている。
CPU701は、RAM705の所定領域を作業領域として、ROM704に予め記憶された各種制御プログラムとの協働により各種処理を実行し、画像処理装置10を構成する各部の動作を統括的に制御する。また、CPU701は、ROM704に予め記憶されたプログラムとの協働により、上述した動き推定部101,候補ベクトル抽出部102,第1の相違度算出部103,第2の相違度算出部104,合成部105,出力部106,補間フレーム生成部107の機能を実現させる。操作部702は、画像を電気信号に変換し、信号としてCPU701に出力するものである。ROM704は、画像処理装置10の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。RAM705は、SDRAM等の記憶手段であって、CPU701の作業エリアとして機能し、バッファ等の役割を果たす。記憶部706は、磁気的又は光学的に記録可能な記憶媒体を有し、操作部702を介して取得された画像信号や、図示しない通信部やI/F(インターフェース)等を介して外部から入力される画像信号等のデータを記憶する。なお、これに限らず、例えば画像処理装置10の上述の各部の機能のうちの少なくとも一部が専用のハードウェア回路(例えば半導体集積回路)で実現される形態であっても良い。また、複数のプロセッサ回路で画像処理装置10の各部の機能を実現する形態であっても良い。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…画像処理装置、 101…動き推定部、 102…候補ベクトル抽出部、 103…第1の相違度算出部、 104…第2の相違度算出部、 105…合成部、 106…出力部、 107…補間フレーム生成部、 110…入力フレーム、 111…動きベクトル111、 112…候補ベクトル、 113…第1の相違度、 114…第2の相違度、 115…合成重み、 116…動きベクトル、 117…補間フレーム

Claims (11)

  1. 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理装置であって、
    前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
    前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出する第1の相違度算出部と、
    前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出する第2の相違度算出部と、
    前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える画像処理装置。
  2. 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理装置であって、
    前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
    前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出する第1の相違度算出部と、
    背景の主要な領域の動きベクトルを表す主要背景ベクトルと前記候補ベクトルとから第2の相違度を算出する第2の相違度算出部と、
    前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える画像処理装置。
  3. 前記第1の相違度と前記第2の相違度を合成して合成重みを算出する合成部と、
    前記合成重みで前記候補ベクトルを重み付け加算したベクトルを出力する出力部とを更に有し、
    前記補間フレーム生成部は、前記動きベクトルおよび前記出力部から出力されたベクトルに基づいて第1フレームおよび第2フレームの画素値から補間フレームを生成する請求項1または2に記載の画像処理装置。
  4. 前記合成部は、前記第1の相違度から前記第1の相違度が小さいほど大きくなる第1の信頼度を計算し、前記第2の相違度から前記第2の相違度が小さいほど大きくなる第2の信頼度を計算し、前記第1の信頼度と前記第2の信頼度の積により前記合成重みを算出することを特徴とする請求項3に記載の画像処理装置。
  5. 前記合成部は,前記第1の相違度と前記第2の相違度を重み付け加算することを特徴とする請求項3に記載の画像処理装置。
  6. 前記出力部は,前記合成重みが最も大きくなる候補ベクトルを選択することを特徴とする請求項3に記載の画像処理装置。
  7. 前記出力部は,前記合成重みが最も小さくなる候補ベクトルを選択することを特徴とする請求項3に記載の画像処理装置。
  8. 前記主要背景ベクトルは,最も奥に存在する被写体の動きベクトルであることを特徴とする請求項2に記載の画像処理装置。
  9. 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームの動きベクトルを生成する画像処理装置であって、
    前記第1フレームから前記第2フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
    前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出する第1の相違度算出部と、
    前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出する第2の相違度算出部と、
    前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素の動きベクトルを出力する出力部を備える画像処理装置。
  10. 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理方法であって、
    前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てるステップと、
    前記動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出するステップと、
    前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出するステップと、
    前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成するステップを備える画像処理方法。
  11. 第1フレームと第1フレームとは異なる時刻に表示される第2フレームとの間に内挿される補間フレームを生成する画像処理プログラムであって、
    前記第1フレームから第2フレームへの動きベクトルを前記補間フレームに割当てるステップと、
    前記動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第1の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第1の相違度を算出するステップと、
    前記第1の領域よりも広い第2の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第2の相違度を算出するステップと、
    前記第1の相違度および前記第2の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成するステップをコンピュータに実行させるための画像処理プログラム。
JP2015070390A 2015-03-30 2015-03-30 画像処理装置、画像処理方法、および画像処理プログラム Expired - Fee Related JP6412819B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015070390A JP6412819B2 (ja) 2015-03-30 2015-03-30 画像処理装置、画像処理方法、および画像処理プログラム
US14/943,374 US10038913B2 (en) 2015-03-30 2015-11-17 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015070390A JP6412819B2 (ja) 2015-03-30 2015-03-30 画像処理装置、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016192601A JP2016192601A (ja) 2016-11-10
JP6412819B2 true JP6412819B2 (ja) 2018-10-24

Family

ID=57016500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015070390A Expired - Fee Related JP6412819B2 (ja) 2015-03-30 2015-03-30 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (2)

Country Link
US (1) US10038913B2 (ja)
JP (1) JP6412819B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6659317B2 (ja) * 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
KR102508757B1 (ko) * 2018-08-03 2023-03-09 엘지디스플레이 주식회사 영상 처리 장치 및 방법, 디스플레이 장치
KR20220163994A (ko) * 2020-04-24 2022-12-12 엘지전자 주식회사 Pov 디스플레이 장치 및 그 제어방법
RU2747965C1 (ru) * 2020-10-05 2021-05-18 Самсунг Электроникс Ко., Лтд. Обработка окклюзий для frc c помощью глубокого обучения
US11889227B2 (en) 2020-10-05 2024-01-30 Samsung Electronics Co., Ltd. Occlusion processing for frame rate conversion using deep learning

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4238772A (en) * 1979-08-03 1980-12-09 The United States Of America As Represented By The Secretary Of The Air Force Image enhancement using on-line spatial filtering
US4488245A (en) * 1982-04-06 1984-12-11 Loge/Interpretation Systems Inc. Method and means for color detection and modification
US4890160A (en) * 1986-03-19 1989-12-26 British Broadcasting Corporation TV picture motion vector measurement by correlation of pictures
EP0419752B1 (en) * 1989-09-25 1995-05-10 Rai Radiotelevisione Italiana System for encoding and transmitting video signals comprising motion vectors
DE69811631T2 (de) * 1997-10-29 2003-10-30 Koninklijke Philips Electronics N.V., Eindhoven Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen
JP2002523985A (ja) * 1998-08-21 2002-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号における問題領域位置決め
EP1590957A1 (en) 2003-01-23 2005-11-02 Koninklijke Philips Electronics N.V. Background motion vector detection
JP4655214B2 (ja) 2005-09-09 2011-03-23 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP4303748B2 (ja) * 2006-02-28 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP2008252176A (ja) * 2007-03-29 2008-10-16 Toshiba Corp 動画像符号化装置及び方法
JP2009188702A (ja) * 2008-02-06 2009-08-20 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP4670918B2 (ja) 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
JP5245783B2 (ja) 2008-12-09 2013-07-24 富士通株式会社 フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置
CN101686393B (zh) * 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
EP2224738A1 (en) * 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
WO2011030399A1 (ja) 2009-09-08 2011-03-17 株式会社 東芝 画像処理方法及び装置
TWI408621B (zh) * 2009-11-17 2013-09-11 Mstar Semiconductor Inc 影像插補處理裝置及其方法
US20110169818A1 (en) * 2010-01-13 2011-07-14 Sharp Laboratories Of America, Inc. Reducing viewing discomfort
JP4991890B2 (ja) 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
ES2660610T3 (es) * 2010-04-30 2018-03-23 Vestel Elektronik Sanayi Ve Ticaret A.S. Procedimiento y aparato para la detección y clasificación de regiones de oclusión

Also Published As

Publication number Publication date
US10038913B2 (en) 2018-07-31
JP2016192601A (ja) 2016-11-10
US20160295232A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6412819B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4398925B2 (ja) 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
US9591258B2 (en) Image processing apparatus, image processing method, program and storage medium
JP6186834B2 (ja) 目標追尾装置及び目標追尾プログラム
US20110050939A1 (en) Image processing apparatus, image processing method, program, and electronic device
KR102094506B1 (ko) 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
JPWO2017154630A1 (ja) 画像処理装置、画像処理方法および記録媒体
KR20210056149A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
CN108885778B (zh) 图像处理设备和图像处理方法
JP2012034327A5 (ja)
JP6223899B2 (ja) 動きベクトル検出装置、距離検出装置および動きベクトル検出方法
JP2009077309A (ja) 動き予測装置および動き予測方法
JP2010055252A (ja) 動きベクトル検出装置および画像処理装置
JP2012181710A (ja) オブジェクト追跡装置、方法、及びプログラム
JP2013098961A (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP5975791B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP6854629B2 (ja) 画像処理装置、画像処理方法
JP2010039968A (ja) オブジェクト検出装置及び検出方法
JP2005250561A (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2007156954A (ja) 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム
WO2014175484A1 (ko) 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치
JP2014153918A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019062406A (ja) 動きベクトル検出装置
US10057596B2 (en) Motion estimation method and apparatus for periodic pattern
JP2023156866A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20170220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181001

R151 Written notification of patent or utility model registration

Ref document number: 6412819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees