JP2003189255A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number
JP2003189255A
JP2003189255A JP2001387124A JP2001387124A JP2003189255A JP 2003189255 A JP2003189255 A JP 2003189255A JP 2001387124 A JP2001387124 A JP 2001387124A JP 2001387124 A JP2001387124 A JP 2001387124A JP 2003189255 A JP2003189255 A JP 2003189255A
Authority
JP
Japan
Prior art keywords
field image
image
pixel
field
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001387124A
Other languages
English (en)
Other versions
JP4117527B2 (ja
Inventor
Masami Tomita
真巳 冨田
Kyoko Fukuda
京子 福田
Masanari Miyata
勝成 宮田
Masashi Ota
正志 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001387124A priority Critical patent/JP4117527B2/ja
Publication of JP2003189255A publication Critical patent/JP2003189255A/ja
Application granted granted Critical
Publication of JP4117527B2 publication Critical patent/JP4117527B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 変換後のプログレッシブ映像信号の動きのあ
る部分と静止している部分の解像度の差を少なくする。 【解決手段】 ステップS1において、動きベクトル検
出の結果に基づき、処理対象の画素の座標が動きのある
部分に属するのか否かを判定し、動きのある部分に属す
ると判定された場合、ステップS2において、第2補間
部からの入力が選択される。ステップS1において、動
きのある部分に属さないと判定された場合、ステップS
3において、動きベクトル検出の結果に基づき、処理対
象の画素の座標が静止している部分に属するか否かを判
定する。静止している部分に属すると判定された場合、
ステップS4において、フレーム間動き判定の結果に基
づき、処理対象の画素の座標が静止している部分に属す
るのか否かを判定し、静止している部分に属すると判定
した場合、ステップS5において、第1補間部からの入
力が選択される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、例えば、
インタレース方式の映像信号をプログレッシブ方式の映
像信号に変換する場合に用いて好適な画像処理装置およ
び方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】テレビジョン放送による映像信号、ビデ
オカセットやDVD(Digital VersatileDisc)などの記録メ
ディアに録画されている映像信号などは、ODDフィール
ド画像とEVENフィールド画像が交互に配置されたインタ
レース方式である。
【0003】インタレース方式に対し、フィールド画像
の2倍の垂直解像度を有するフレーム画像が連続的に配
置された映像信号は、プログレッシブ方式と称される。
【0004】従来、より垂直解像度が高い高画質な映像
を表示することを目的として、インタレース方式の映像
信号(以下、インタレース映像信号と記述する)をプロ
グレッシブ方式の映像信号(以下、プログレッシブ映像
信号と記述する)に変換してから表示させるテレビジョ
ン受像機、DVDプレーヤなどが存在する。
【0005】インタレース映像信号をプログレッシブ映
像信号に変換する場合、画像内の静止している部分は前
後する2枚のフィールド画像が用いられ、動きのある部
分は1枚のフィールド画像が用いられる。
【0006】
【発明が解決しようとする課題】したがって、変換され
たプログレッシブ映像信号は、動きのある部分の解像度
が、静止している部分の解像度に比較して低下している
画像となってしまう課題があった。
【0007】本発明はこのような状況に鑑みてなされた
ものであり、変換されたプログレッシブ映像信号の動き
のある部分と静止している部分の解像度の差を少なくす
ることを目的とする。
【0008】
【課題を解決するための手段】本発明を適用した画像処
理装置は、インタレース方式の映像信号を構成する連続
した第1乃至第3のフィールド画像のうち、第1のフィ
ールド画像と第2のフィールド画像との間の動きベクト
ルを検出する動きベクトル検出手段と、第1のフィール
ド画像と第3のフィールド画像との対応する画素対の差
分に基づき、生成する第4のフィールド画像の画素候補
の座標が動きのある部分に属するのか、または静止して
いる部分に属するのかを判定するフレーム間動き判定手
段と、フレーム間動き判定手段の判定結果に基づき、第
1のフィールド画像と第2のフィールド画像を用いて、
第2のフィールド画像とは異位相の第4のフィールド画
像の画素候補を補間する第1の補間手段と、第1のフィ
ールド画像と第2のフィールド画像を組み合わせてフレ
ーム画像を生成し、フレーム画像の隣接する画素対の差
分に基づき、第1または第4のフィールド画像の画素の
座標が動きのある部分に属するのか、または静止してい
る部分に属するのかを判定するフレーム内動き判定手段
と、フレーム内動き判定手段の判定結果に基づき、第1
のフィールド画像と第2のフィールド画像を用いて、第
2のフィールド画像とは異位相の第4のフィールド画像
の画素候補を補間する第2の補間手段と、動きベクトル
検出手段の検出結果に基づき、第1の補間手段によって
補間された画素候補、または第2の補間手段によって補
間された画素候補を選択して第4のフィールド画像を生
成する選択手段とを含むことを特徴とする。
【0009】本発明を適用した画像処理装置は、第2の
フィールド画像と第4のフィールド画像を組み合わせ
て、プログレッシブ方式の映像信号を構成するフレーム
画像を生成する生成手段をさらに含むことができる。
【0010】本発明の画像処理方法は、インタレース方
式の映像信号を構成する連続した第1乃至第3のフィー
ルド画像のうち、第1のフィールド画像と第2のフィー
ルド画像との間の動きベクトルを検出する動きベクトル
検出ステップと、第1のフィールド画像と第3のフィー
ルド画像との対応する画素対の差分に基づき、生成する
第4のフィールド画像の画素候補の座標が動きのある部
分に属するのか、または静止している部分に属するのか
を判定するフレーム間動き判定ステップと、フレーム間
動き判定ステップの処理での判定結果に基づき、第1の
フィールド画像と第2のフィールド画像を用いて、第2
のフィールド画像とは異位相の第4のフィールド画像の
画素候補を補間する第1の補間ステップと、第1のフィ
ールド画像と第2のフィールド画像を組み合わせてフレ
ーム画像を生成し、フレーム画像の隣接する画素対の差
分に基づき、第1または第4のフィールド画像の画素の
座標が動きのある部分に属するのか、または静止してい
る部分に属するのかを判定するフレーム内動き判定ステ
ップと、フレーム内動き判定ステップの処理での判定結
果に基づき、第1のフィールド画像と第2のフィールド
画像を用いて、第2のフィールド画像とは異位相の第4
のフィールド画像の画素候補を補間する第2の補間ステ
ップと、動きベクトル検出ステップの処理での検出結果
に基づき、第1の補間ステップの処理で補間された画素
候補、または第2の補間ステップの処理で補間された画
素候補を選択して第4のフィールド画像を生成する選択
ステップとを含むことを特徴とする。
【0011】本発明の記録媒体のプログラムは、インタ
レース方式の映像信号を構成する連続した第1乃至第3
のフィールド画像のうち、第1のフィールド画像と第2
のフィールド画像との間の動きベクトルを検出する動き
ベクトル検出ステップと、第1のフィールド画像と第3
のフィールド画像との対応する画素対の差分に基づき、
生成する第4のフィールド画像の画素候補の座標が動き
のある部分に属するのか、または静止している部分に属
するのかを判定するフレーム間動き判定ステップと、フ
レーム間動き判定ステップの処理での判定結果に基づ
き、第1のフィールド画像と第2のフィールド画像を用
いて、第2のフィールド画像とは異位相の第4のフィー
ルド画像の画素候補を補間する第1の補間ステップと、
第1のフィールド画像と第2のフィールド画像を組み合
わせてフレーム画像を生成し、フレーム画像の隣接する
画素対の差分に基づき、第1または第4のフィールド画
像の画素の座標が動きのある部分に属するのか、または
静止している部分に属するのかを判定するフレーム内動
き判定ステップと、フレーム内動き判定ステップの処理
での判定結果に基づき、第1のフィールド画像と第2の
フィールド画像を用いて、第2のフィールド画像とは異
位相の第4のフィールド画像の画素候補を補間する第2
の補間ステップと、動きベクトル検出ステップの処理で
の検出結果に基づき、第1の補間ステップの処理で補間
された画素候補、または第2の補間ステップの処理で補
間された画素候補を選択して第4のフィールド画像を生
成する選択ステップとを含むことを特徴とする。
【0012】本発明のプログラムは、インタレース方式
の映像信号を構成する連続した第1乃至第3のフィール
ド画像のうち、第1のフィールド画像と第2のフィール
ド画像との間の動きベクトルを検出する動きベクトル検
出ステップと、第1のフィールド画像と第3のフィール
ド画像との対応する画素対の差分に基づき、生成する第
4のフィールド画像の画素候補の座標が動きのある部分
に属するのか、または静止している部分に属するのかを
判定するフレーム間動き判定ステップと、フレーム間動
き判定ステップの処理での判定結果に基づき、第1のフ
ィールド画像と第2のフィールド画像を用いて、第2の
フィールド画像とは異位相の第4のフィールド画像の画
素候補を補間する第1の補間ステップと、第1のフィー
ルド画像と第2のフィールド画像を組み合わせてフレー
ム画像を生成し、フレーム画像の隣接する画素対の差分
に基づき、第1または第4のフィールド画像の画素の座
標が動きのある部分に属するのか、または静止している
部分に属するのかを判定するフレーム内動き判定ステッ
プと、フレーム内動き判定ステップの処理での判定結果
に基づき、第1のフィールド画像と第2のフィールド画
像を用いて、第2のフィールド画像とは異位相の第4の
フィールド画像の画素候補を補間する第2の補間ステッ
プと、動きベクトル検出ステップの処理での検出結果に
基づき、第1の補間ステップの処理で補間された画素候
補、または第2の補間ステップの処理で補間された画素
候補を選択して第4のフィールド画像を生成する選択ス
テップとをコンピュータに実行させることを特徴とす
る。
【0013】本発明の画像処理装置および方法、並びに
プログラムにおいては、フレーム間動き判定の処理での
判定結果に基づき、第1のフィールド画像と第2のフィ
ールド画像を用いて、第2のフィールド画像とは異位相
の第4のフィールド画像の画素候補が補間され、また、
フレーム内動き判定の処理での判定結果に基づき、第1
のフィールド画像と第2のフィールド画像を用いて、第
2のフィールド画像とは異位相の第4のフィールド画像
の画素候補が補間される。さらに、動きベクトル検出の
処理での検出結果に基づき、第1の補間の処理で補間さ
れた画素候補、または第2の補間の処理で補間された画
素候補が選択されて第4のフィールド画像が生成され
る。
【0014】
【発明の実施の形態】本発明を適用したDVDプレーヤの
構成例について、図1を参照して説明する。このDVDプ
レーヤ1は、DVD2に記録されているインタレース映像
信号を読み出し、プログレッシブ映像信号に変換して、
ディスプレイ3に出力するものである。なお、以下にお
いては、DVD2に記録されている音声に関するデータに
ついては言及せず、映像に関するデータにだけ言及す
る。
【0015】DVDプレーヤ1は、DVD2に記録されてい
る、例えばMPEG2方式で符号化された符号化データを読
み出す読み出し部11、読み出された符号化データをデ
コードしてインタレース映像信号を生成するMPEGデコー
ド部12、インタレース映像信号を構成するフィールド
画像を用いた補間により、新たなフィールド画像を生成
する補間処理部13、新たなフィールド画像と、実在す
るフィールド画像を用いてフレーム画像を生成するプロ
グレッシブ変換部14、および生成されたフレーム画像
からなるプログレッシブ映像信号をディスプレイ3に出
力する信号出力部15から構成される。
【0016】ディスプレイ3は、入力されるプログレッ
シブ映像信号に対応する映像を表示する。
【0017】図2は、補間処理部13の構成例を示して
いる。以下、MPEGデコード部12から補間処理部13に
入力されるインタレース映像信号を構成する、連続する
3枚のフィールド画像のうち、基準とするフィールド画
像をFtと記述し、フィールド画像Ftの1フィールド前
のフィールド画像をFt-1と記述し、フィールド画像F
t-1の1フィールド前のフィールド画像をFt-2と記述す
る。フィールド画像F tとフィールド画像Ft-1は同位相
であり、フィールド画像Ft-1とフィールド画像Ft-2
異位相である。
【0018】また、1フィールド間隔が空いた同位相の
フィールド画像Ftとフィールド画像Ft-2との関係をフ
レーム間とも記述する。また、連続した異位相のフィー
ルド画像Ft-1とフィールド画像Ft-2との関係をフィー
ルド間とも記述する。
【0019】MPEGデコード部12から順次出力されるフ
ィールド画像Ftは、フィールドメモリ21、およびフ
レーム間動き検出部24に入力される。フィールドメモ
リ21は、入力されるフィールド画像Ftを1フィール
ド周期だけ遅延し、フィールド画像Ft-1として、フィ
ールドメモリ22、動きベクトル検出部23、第1補間
部27、フレーム内動き検出部28、および第2補間部
29に供給する。また、フィールドメモリ21は、フィ
ールド画像Ft-1をプログレッシブ変換部14にも供給
する。
【0020】フィールドメモリ22は、入力されるフィ
ールド画像Ft-1を1フィールド周期だけ遅延し、フィ
ールド画像Ft-2として、動きベクトル検出部23、フ
レーム間動き検出部24、第1補間部27、フレーム内
動き検出部28、および第2補間部29に供給する。
【0021】動きベクトル検出部23は、入力される連
続した異位相のフィールド画像Ft- 1,Ft-2に基づき、
例えばブロックマッチング法を適用して、フィールド画
像F t-2の画素毎(または所定の領域毎)に対する動き
ベクトルを検出して、当該動きベクトルの確かさを示す
評価値ととともに選択制御部26に出力する。
【0022】フレーム間動き検出部24は、入力される
1フィールド間隔が空いた同位相のフィールド画像
t,Ft-2の対応する画素対の差分を算出し、算出結果
をメモリ25に保持させ、保持させた数フィールド分の
算出結果に基づき、各画素対の座標が動きのある部分に
属するのか、静止している部分に属するのかを判定し、
判定結果を選択制御部26および第1補間部27に出力
する。
【0023】フレーム間動き検出部24によるフレーム
間動き判定処理について、図3を参照して具体的に説明
する。例えば、図3に示すように、フィールド画像Ft
の画素zとFt-2の対応する画素hの画素対の座標の動
きを判定する場合、算出したフィールド画像Ft,Ft-2
の対応する画素対の差分のうちの画素対z,hの差分、
並びに1フィールド周期前に算出してメモリ25に保持
させている、画素対e,xの差分、および画素対k,y
の差分に着目する。そして、着目した3つの差分がそれ
ぞれ所定の閾値以下であるか否かを判断し、着目した3
つの差分がそれぞれ所定の閾値以下であると判断した場
合、画素対z,hの座標は静止している部分に属すると
判定する。反対に、着目した3つの差分のうちにずれか
が所定の閾値以下ではないと判断した場合、画素対z,
hの座標は動きのある部分に属すると判定する。
【0024】図2に戻る。選択制御部26は、動きベク
トル検出部23の検出結果、およびフレーム間動き検出
部24の判定結果に基づき、選択部30の出力を制御す
る。なお、フレーム内動き判定28の判定結果にも基づ
いて、選択部30の出力を制御するようにしてもよい。
【0025】第1補間部27は、フレーム間動き検出部
24の判定結果に基づき、フィールド画像Ft-1上に実
在しない画素を補間して選択部30に出力する。具体的
には、動きのある部分に属すると判定された座標の画素
に対しては、フィールド画像Ft-1内に実在する近傍の
複数の画素を用いた補間演算を行う。静止している部分
に属する画素に対しては、フィールド画像Ft-2内に実
在する画素を流用する。
【0026】例えば、フレーム間動き検出部24におい
て、画素対z,hの座標は静止している部分に属すると
判定された場合、フィールド画像Ft-1上の実在しない
画素h’として、フィールド画像Ft-2の画素hを流用
する。反対に、画素対z,hの座標は動きのある部分に
属すると判定された場合、フィールド画像Ft-1上の実
在しない画素h’を、フィールド画像Ft-1の画素e,
kを用いて補間する。
【0027】フレーム内動き検出部28は、図4に示す
ように、入力される連続した異位相のフィールド画像F
t-1,Ft-2の画素を組み合わせてフレーム画像を生成
し、生成したフレーム画像の各画素の座標に対し、動き
のある部分に属するのか、静止している部分に属するの
かを判定して、判定結果を第2補間部29に出力する。
【0028】例えば、画素hの座標が動きのある部分に
属するのか、静止している部分に属するのかを判定する
場合、垂直方向に隣接する画素b,e,h,k,nを用
いて、フィールド画像Ft-1,Ft-2の相関を3回判断
し、相関が低いと2回以上判断した場合、動きのある部
分に属すると判定する。
【0029】まず、画素b,e,hに着目し、画素bと
画素eとの差分(b−e)、および画素eと画素hとの
差分(e−b)を算出する。両者の符号が異なり、か
つ、両者の乗算値が所定の閾値以上である場合、画素
b,hが存在していたフィールド画像Ft-2と、画素e
が存在していたフィールド画像Ft-1との相関が低いと
判断する。
【0030】次に、画素e,h,kに着目し、画素eと
画素hとの差分(e−h)、および画素hと画素kとの
差分(h−k)を算出する。両者の符号が異なり、か
つ、両者の乗算値が所定の閾値以上である場合、画素
e,kが存在していたフィールド画像Ft-1と、画素h
が存在していたフィールド画像Ft-2との相関が低いと
判断する。
【0031】さらに、画素h,k,nに着目し、画素h
と画素kとの差分(h−k)、および画素kと画素nと
の差分(k−n)を算出する。両者の符号が異なり、か
つ、両者の乗算値が所定の閾値以上である場合、画素
h,nが存在していたフィールド画像Ft-2と、画素k
が存在していたフィールド画像Ft-1との相関が低いと
判断する。
【0032】以上のような3回の判断のうち、2回以上
相関が低いと判断した場合、画素hの座標を動きのある
部分に属すると判定する。
【0033】なお、フィールド画像Ft-1,Ft-2の相関
の判断には、さらに、画素b,e,h,k,nの横方向
に隣接する画素を用いてもよい。
【0034】また、画素e,kの平均値と、画素hとの
差分が所定の閾値以上である場合、画素hの座標を動き
のある部分に属すると判定するようにしてもよい。また
上記判断を組み合わせてもよい。さらに、画素hの斜め
方向に隣接する複数の画素を用い、上述した垂直方向に
隣接する画素を用いた判断と同様に、フィールド画像F
t-1,Ft-2の相関を判断するようにすれば、画素hの座
標の動き検出の精度を高めることが可能である。
【0035】図2に戻る。第2補間部29は、フレーム
内動き検出部28の判定結果に基づき、フィールド画像
t-1上に存在しない画素を補間して選択部30に出力
する。具体的には、動きのある部分に属する画素に対し
ては、フィールド画像Ft-1内に実在する近傍の複数の
画素を用いた補間フィルタ処理を行う。静止している部
分に属する画素に対しては、フィールド画像Ft-2内に
実在する画素を流用する。
【0036】例えば、図4に示すフィールド画像Ft-1
上の画素eと画素kの中間に位置する画素を補間する場
合、フレーム内動き検出部28の判定結果が「画素hの
座標は動きのある部分に属する」であるならば、フィー
ルド画像Ft-1内の画素d,e,f,j,k,lなどを
用いた補間フィルタ処理を行う。反対に、フレーム内動
き検出部28の判定結果が「画素hの座標は静止してい
る部分に属する」であるならば、フィールド画像Ft-2
内に実在する画素hを流用する。
【0037】選択部30は、選択制御部26からの制御
に基づき、画素毎に、第1補間部27または第2補間部
29からの入力を選択することによって、フィールド画
像F t-1と異位相のフィールド画像F’t-1を生成し、プ
ログレッシブ変換部14に出力する。
【0038】なお、選択部30において、選択制御部2
6からの制御に基づき、画素毎に、第1補間部27また
は第2補間部29からの入力を混合することによって、
フィールド画像F’t-1を生成するようにしてもよい。
【0039】また、さらに、フィールド画像F’t-1
周囲の画素と比較して孤立点となっている画素に対して
補正するようにしてもよい。
【0040】制御部31は、磁気ディスク、光ディス
ク、光磁気ディスク、または半導体メモリなどからなる
記録媒体32に記録されている制御用プログラムを読み
出し、読み出した制御用プログラムに基づいて、補間処
理部13の各部を制御する。なお、図2においては、制
御部31から各部に対する制御線の図示を省略してい
る。
【0041】次に、補間処理部13による補間処理につ
いて、図5のフローチャートを参照して説明する。この
補間処理は、動きベクトル検出部23において動きベク
トルが検出された画素(または所定の領域)を順次処理
対象として実行される。なお、動きベクトル検出部2
3、フレーム間動き検出部24、第1補間部27、フレ
ーム内動き検出部28、および第2補間部29は、既
に、上段からの入力に対してそれぞれの処理を実行して
いるものとする。
【0042】ステップS1において、選択制御部26
は、動きベクトル検出部23の検出結果に基づき、処理
対象の画素の座標が動きのある部分に属するのか否かを
判定する。具体的には、処理対象の画素の動きベクトル
が0ではなく、かつ、その評価値が所定の閾値以上であ
る場合にだけ、処理対象の画素の座標が動きのある部分
に属すると判定されて、処理はステップS2に進む。
【0043】ステップS2において、選択部30は、選
択制御部26からの制御に基づき、処理対象の画素とし
て、第2補間部29からの入力を選択する。すなわち、
この場合、フレーム内動き検出判定部28の判定結果に
基づいて補間された画素が、選択部30で生成されるフ
ィールド画像F’t-1の画素に採用される。この後、処
理対象の画素(または所定の領域)が変更されて、ステ
ップS1の処理が繰り返される。
【0044】ステップS1において、処理対象の画素の
座標が動きのある部分に属さないと判定された場合、処
理はステップS3に進む。ステップS3において、選択
制御部26は、動きベクトル検出部23の検出結果に基
づき、処理対象の画素の座標が静止している部分に属す
るか否かを判定する。具体的には、処理対象の画素の動
きベクトルが0であり、かつ、その評価値が所定の閾値
以上である場合にだけ、処理対象の画素の座標が静止し
ている部分に属すると判定されて、処理はステップS4
に進む。
【0045】ステップS4において、選択制御部26
は、フレーム間動き検出部24の判定結果に基づき、処
理対象の画素の座標が静止している部分に属するのか否
かを判定し、静止している部分に属すると判定した場
合、処理はステップS5に進む。ステップS5におい
て、選択部30は、選択制御部26からの制御に基づ
き、処理対象の画素として、第1補間部24からの入力
を選択する。すなわち、この場合、フレーム間動き検出
判定部24の判定結果に基づいて補間された画素が、選
択部30で生成されるフィールド画像F’t-1の画素に
採用される。この後、処理対象の画素(または所定の領
域)が変更されて、ステップS1の処理が繰り返され
る。
【0046】なお、ステップS4において、処理対象の
画素の座標が静止している部分に属さないと判定された
場合、処理はステップS2に進む。
【0047】また、ステップS3において、処理対象の
画素の座標が静止している部分に属さないと判定された
場合、ステップS4の処理はスキップされる。
【0048】以上説明した補間処理が、動きベクトル検
出部23において動きベクトルが検出された画素(また
は所定の領域)を順次処理対象として実行されることに
より、選択部30からフィールド画像F’t-1がプログ
レッシブ変換部14に供給されることになる。
【0049】このフィールド画像F’t-1は、動きのあ
る部分がフィールド画像Ft-1内に実在する画素を用い
たフィルタ処理によって補間されており、静止している
部分がフィールド画像Ft-2の画素を流用したものであ
り、動きのある部分と静止している部分はねともに1枚
のフィールド画像を利用したものであるので、両者に解
像度の違いは生じない。したがって、プログレッシブ変
換部14において、このフィールド画像’Ft-1と、フ
ィールド画像Ft-1とを利用して生成されるフレーム画
像においても、動きのある部分と静止している部分に解
像度の違いは生じない。
【0050】なお、本発明は、DVDプレーヤに限らず、
例えば、テレビジョン受像機、ビデオテープレコーダ、
ハードディスクレコーダなどの、インタレース方式の映
像信号をプログレッシブ方式の映像信号に変換する映像
関連機器に適用することが可能である。
【0051】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、図2
の記録媒体32などからインストールされる。
【0052】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【0053】
【発明の効果】以上のように、本発明の画像処理装置お
よび方法、並びにプログラムによれば、フレーム間動き
判定の処理での判定結果に基づき、第1のフィールド画
像と第2のフィールド画像を用いて、第2のフィールド
画像とは異位相の第4のフィールド画像の画素候補を補
間し、また、フレーム内動き判定の処理での判定結果に
基づき、第1のフィールド画像と第2のフィールド画像
を用いて、第2のフィールド画像とは異位相の第4のフ
ィールド画像の画素候補を補間し、さらに、動きベクト
ル検出の処理での検出結果に基づき、第1の補間の処理
で補間した画素候補、または第2の補間の処理で補間し
た画素候補を選択して第4のフィールド画像を生成する
ようにしたので、変換後のプログレッシブ映像信号の動
きのある部分と静止している部分の解像度の差を少なく
することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したDVDプレーヤの構成例を示す
ブロック図である。
【図2】図1の補間処理部13の構成例を示すブロック
図である。
【図3】フレーム間動き検出部24の処理、および第1
補間部27の処理を説明するための図である。
【図4】フレーム内動き検出部28の処理、および第2
補間部29の処理を説明するための図である。
【図5】補間処理部13による補間処理を説明するため
の図である。
【符号の説明】
1 DVDプレーヤ, 13 補間処理部, 14 プロ
グレッシブ変換部,21,22 フィールドメモリ,
23 動きベクトル検出部, 24 フレーム間動き検
出部, 26 選択制御部, 27 第1補間部, 2
8 フレーム内動き検出部, 29 第2補間部, 3
0 選択部, 31 制御部, 32記録媒体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮田 勝成 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 太田 正志 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C063 BA04 BA10 BA12 CA07

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 インタレース方式の映像信号を構成する
    連続した第1乃至第3のフィールド画像のうち、前記第
    1のフィールド画像と前記第2のフィールド画像との間
    の動きベクトルを検出する動きベクトル検出手段と、 前記第1のフィールド画像と前記第3のフィールド画像
    との対応する画素対の差分に基づき、生成する第4のフ
    ィールド画像の画素候補の座標が動きのある部分に属す
    るのか、または静止している部分に属するのかを判定す
    るフレーム間動き判定手段と、 前記フレーム間動き判定手段の判定結果に基づき、前記
    第1のフィールド画像と前記第2のフィールド画像を用
    いて、前記第2のフィールド画像とは異位相の前記第4
    のフィールド画像の前記画素候補を補間する第1の補間
    手段と、 前記第1のフィールド画像と前記第2のフィールド画像
    を組み合わせてフレーム画像を生成し、前記フレーム画
    像の隣接する画素対の差分に基づき、前記第1または第
    4のフィールド画像の画素の座標が動きのある部分に属
    するのか、または静止している部分に属するのかを判定
    するフレーム内動き判定手段と、 前記フレーム内動き判定手段の判定結果に基づき、前記
    第1のフィールド画像と前記第2のフィールド画像を用
    いて、前記第2のフィールド画像とは異位相の前記第4
    のフィールド画像の前記画素候補を補間する第2の補間
    手段と、 前記動きベクトル検出手段の検出結果に基づき、第1の
    補間手段によって補間された前記画素候補、または第2
    の補間手段によって補間された前記画素候補を選択して
    前記第4のフィールド画像を生成する選択手段とを含む
    ことを特徴とする画像処理装置。
  2. 【請求項2】 前記第2のフィールド画像と前記第4の
    フィールド画像を組み合わせて、プログレッシブ方式の
    映像信号を構成するフレーム画像を生成する生成手段を
    さらに含むことを特徴とする請求項1に記載の画像処理
    装置。
  3. 【請求項3】 インタレース方式の映像信号を構成する
    連続した第1乃至第3のフィールド画像のうち、前記第
    1のフィールド画像と前記第2のフィールド画像との間
    の動きベクトルを検出する動きベクトル検出ステップ
    と、 前記第1のフィールド画像と前記第3のフィールド画像
    との対応する画素対の差分に基づき、生成する第4のフ
    ィールド画像の画素候補の座標が動きのある部分に属す
    るのか、または静止している部分に属するのかを判定す
    るフレーム間動き判定ステップと、 前記フレーム間動き判定ステップの処理での判定結果に
    基づき、前記第1のフィールド画像と前記第2のフィー
    ルド画像を用いて、前記第2のフィールド画像とは異位
    相の前記第4のフィールド画像の前記画素候補を補間す
    る第1の補間ステップと、 前記第1のフィールド画像と前記第2のフィールド画像
    を組み合わせてフレーム画像を生成し、前記フレーム画
    像の隣接する画素対の差分に基づき、前記第1または第
    4のフィールド画像の画素の座標が動きのある部分に属
    するのか、または静止している部分に属するのかを判定
    するフレーム内動き判定ステップと、 前記フレーム内動き判定ステップの処理での判定結果に
    基づき、前記第1のフィールド画像と前記第2のフィー
    ルド画像を用いて、前記第2のフィールド画像とは異位
    相の前記第4のフィールド画像の前記画素候補を補間す
    る第2の補間ステップと、 前記動きベクトル検出ステップの処理での検出結果に基
    づき、第1の補間ステップの処理で補間された前記画素
    候補、または第2の補間ステップの処理で補間された前
    記画素候補を選択して前記第4のフィールド画像を生成
    する選択ステップとを含むことを特徴とする画像処理方
    法。
  4. 【請求項4】 インタレース方式の映像信号を構成する
    連続した第1乃至第3のフィールド画像のうち、前記第
    1のフィールド画像と前記第2のフィールド画像との間
    の動きベクトルを検出する動きベクトル検出ステップ
    と、 前記第1のフィールド画像と前記第3のフィールド画像
    との対応する画素対の差分に基づき、生成する第4のフ
    ィールド画像の画素候補の座標が動きのある部分に属す
    るのか、または静止している部分に属するのかを判定す
    るフレーム間動き判定ステップと、 前記フレーム間動き判定ステップの処理での判定結果に
    基づき、前記第1のフィールド画像と前記第2のフィー
    ルド画像を用いて、前記第2のフィールド画像とは異位
    相の前記第4のフィールド画像の前記画素候補を補間す
    る第1の補間ステップと、 前記第1のフィールド画像と前記第2のフィールド画像
    を組み合わせてフレーム画像を生成し、前記フレーム画
    像の隣接する画素対の差分に基づき、前記第1または第
    4のフィールド画像の画素の座標が動きのある部分に属
    するのか、または静止している部分に属するのかを判定
    するフレーム内動き判定ステップと、 前記フレーム内動き判定ステップの処理での判定結果に
    基づき、前記第1のフィールド画像と前記第2のフィー
    ルド画像を用いて、前記第2のフィールド画像とは異位
    相の前記第4のフィールド画像の前記画素候補を補間す
    る第2の補間ステップと、 前記動きベクトル検出ステップの処理での検出結果に基
    づき、第1の補間ステップの処理で補間された前記画素
    候補、または第2の補間ステップの処理で補間された前
    記画素候補を選択して前記第4のフィールド画像を生成
    する選択ステップとを含むことを特徴とするコンピュー
    タが読み取り可能なプログラムが記録されている記録媒
    体。
  5. 【請求項5】 インタレース方式の映像信号を構成する
    連続した第1乃至第3のフィールド画像のうち、前記第
    1のフィールド画像と前記第2のフィールド画像との間
    の動きベクトルを検出する動きベクトル検出ステップ
    と、 前記第1のフィールド画像と前記第3のフィールド画像
    との対応する画素対の差分に基づき、生成する第4のフ
    ィールド画像の画素候補の座標が動きのある部分に属す
    るのか、または静止している部分に属するのかを判定す
    るフレーム間動き判定ステップと、 前記フレーム間動き判定ステップの処理での判定結果に
    基づき、前記第1のフィールド画像と前記第2のフィー
    ルド画像を用いて、前記第2のフィールド画像とは異位
    相の前記第4のフィールド画像の前記画素候補を補間す
    る第1の補間ステップと、 前記第1のフィールド画像と前記第2のフィールド画像
    を組み合わせてフレーム画像を生成し、前記フレーム画
    像の隣接する画素対の差分に基づき、前記第1または第
    4のフィールド画像の画素の座標が動きのある部分に属
    するのか、または静止している部分に属するのかを判定
    するフレーム内動き判定ステップと、 前記フレーム内動き判定ステップの処理での判定結果に
    基づき、前記第1のフィールド画像と前記第2のフィー
    ルド画像を用いて、前記第2のフィールド画像とは異位
    相の前記第4のフィールド画像の前記画素候補を補間す
    る第2の補間ステップと、 前記動きベクトル検出ステップの処理での検出結果に基
    づき、第1の補間ステップの処理で補間された前記画素
    候補、または第2の補間ステップの処理で補間された前
    記画素候補を選択して前記第4のフィールド画像を生成
    する選択ステップとをコンピュータに実行させるプログ
    ラム。
JP2001387124A 2001-12-20 2001-12-20 画像処理装置 Expired - Fee Related JP4117527B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001387124A JP4117527B2 (ja) 2001-12-20 2001-12-20 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001387124A JP4117527B2 (ja) 2001-12-20 2001-12-20 画像処理装置

Publications (2)

Publication Number Publication Date
JP2003189255A true JP2003189255A (ja) 2003-07-04
JP4117527B2 JP4117527B2 (ja) 2008-07-16

Family

ID=27596047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001387124A Expired - Fee Related JP4117527B2 (ja) 2001-12-20 2001-12-20 画像処理装置

Country Status (1)

Country Link
JP (1) JP4117527B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127220B1 (ko) 2004-07-28 2012-04-12 세종대학교산학협력단 움직임 보상 적응형 순차주사화 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127220B1 (ko) 2004-07-28 2012-04-12 세종대학교산학협력단 움직임 보상 적응형 순차주사화 장치 및 그 방법

Also Published As

Publication number Publication date
JP4117527B2 (ja) 2008-07-16

Similar Documents

Publication Publication Date Title
US8144778B2 (en) Motion compensated frame rate conversion system and method
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
US8175163B2 (en) System and method for motion compensation using a set of candidate motion vectors obtained from digital video
JPS63313984A (ja) テレビジョン画像の動きベクトル処理装置
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US7218354B2 (en) Image processing device and method, video display device, and recorded information reproduction device
KR20060083978A (ko) 움직임 벡터 필드 리-타이밍
JPH0884293A (ja) 変換アーチファクトの減少方法及び装置
JP3855761B2 (ja) 画像信号処理装置及び方法
JP2006504175A (ja) フォールバックを用いる画像処理装置
KR100553893B1 (ko) 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법
JP2000278649A (ja) 走査線補間装置、及び走査線補間方法
JP3293561B2 (ja) 画像表示装置及び画像表示方法
JP2008244811A (ja) フレームレート変換装置および映像表示装置
JP2009260930A (ja) ビデオ・フレーム・シーケンスにおけるフィールド・ドミナンス判断方法
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
JP2004519901A (ja) 動き推定の容易化
JP2006109488A (ja) フィールド選択が可能な映像処理装置及びその方法
JP2003179886A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2012244333A (ja) 画像処理装置および方法、並びにプログラム
JP2003189255A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4179089B2 (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
JP2004320278A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070618

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080409

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees