JPH06141291A

JPH06141291A - 画像信号の走査線数変換装置

Info

Publication number: JPH06141291A
Application number: JP4286154A
Authority: JP
Inventors: Taishirou Kurita; 泰市郎栗田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1992-10-23
Filing date: 1992-10-23
Publication date: 1994-05-20
Anticipated expiration: 2016-12-25
Also published as: JP3242164B2

Abstract

(57)【要約】【目的】走査線数変換装置において、動画に対する変
換画質を向上させること。【構成】インタレース走査の入力画像信号における画
像の動き量を動ベクトルとして出力する動ベクトル発生
回路３と、入力画像信号の遅延量を、動ベクトルに従い
動き補償した動き補償メモリ１０〜１２と、入力画像信
号を遅延する１Ｈディレイ１３〜１５と、１Ｈディレイ
１３〜１５の出力信号と動き補償メモリ１０〜１２の出
力信号とに対し加重平均を行う加重平均回路１６と、動
ベクトルに従い遅延量を動き補償した動き補償フレーム
間差信号に基づいて加重平均回路内の重みを決定する補
間選択判定回路９と、加重平均回路１６から走査線数を
変換して画像信号を取り出すバッファメモリ１７とを具
える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像信号の走査線数変換
装置に関する。

【０００２】

【発明の概要】この発明は、例えば２：１インタレース
走査のテレビジョン画像信号を走査変換し、走査線数の
異なるテレビジョン画像信号を出力する走査線数変換装
置において、仮想的に動き補償型の順次走査変換を行っ
てから走査線数を変換することにより、動画における不
要な折り返し妨害を除去して、動画に対する変換画質を
向上させるものである。

【０００３】

【従来の技術】従来の走査線数変換装置としては、例え
ば以下に記す（１）、および（１）の装置を動き適応型
にした（２）がある。

【０００４】（１）「走査線数変換方式」特願昭５８
−１７４３２５号（出願人：日本放送協会，発明者：田中，西澤）（２）「走査線数・順次走査変換方式」特願昭６１−
７１２２５号（出願人：日本放送協会，発明者：田中，大村，栗田，
二宮，西澤）

【０００５】

【発明が解決しようとする課題】従来の走査線数変換装
置においては、静止画に対しては充分な変換画質を有す
るが、後に詳しく述べるように、入力信号の２：１イン
タレース走査に基づく折り返しが原因となって、動画に
対しては不自然な折り返し信号成分を発生してしまう。
そのため動画に対する変換画質は必ずしも充分とは言え
なかった。

【０００６】すなわち、図２に従来の走査線数変換法の
原理を説明する。図２は時間（ｔ）−垂直（ｙ）の座標
系で画像の走査の状況を見たものである。図２中の白丸
が走査線の存在する位置を示している。走査線に付され
た１，２，３，…の番号は入力信号における走査線番号
であり、１′，２′，３′，…の番号は出力信号におけ
る走査線番号である。またＤ．Ｃ．（＝Ｄｏｎ’ｔＣ
ａｒｅ）はその走査線の信号内容は無効であることを示
している。なお、走査線数の変換比は５：３であるとし
ている（例えば１１２５本から６７５本への変換）。

【０００７】走査線数変換は以下のようにして行われ
る。まず図２の左側の入力信号から垂直方向の補間フィ
ルタにより走査線を補間し、出力信号用の走査線
（１′，２′，３′，４′）を作成する。このとき走査
線１′，２′，３′を作成するフィルタは各々周波数特
性は同一であるが標本化位相の異なるフィルタであり、
それを実現する回路は従来例である文献（１），（２）
に詳しく述べられている。さて、図２において、出力信
号用の走査線１′，２′，３′，４′ではまだ走査その
ものは入力信号と同一であるため、バッファメモリ等に
より走査線の間引きと垂直走査の変換を行い、出力信号
を作成している。このとき、文献（２）からも明らかな
ように、出力信号は２：１インタレース走査であっても
順次走査であっても以上の動作に大きな変更はない。

【０００８】従来の走査線数変換では、上記の補間を行
う際に、動画についてはフィールド内の走査線（図２で
は図左側のｔ＝０のフィールド内の走査線）から行って
いた。しかし、入力信号が２：１インタレース走査であ
り、垂直方向の情報がフレーム画像の１／２しかなく、
このため、このフィールド内補間では垂直解像度の高い
補間が行えず、静止画においてのみ図２中の点線に示す
ようにフィールドメモリにより前フィールドの走査線を
用いて仮想的に順次走査に変換してから走査線数のため
の補間を行っていた。しかし、これはあくまで静止画に
限られていた。

【０００９】そこで本発明はこの点を改善し、動画に対
しても充分な変換画質が得られる画像信号の走査線数変
換装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
本発明はインタレース走査の入力画像信号における画像
の動き量を動ベクトルとして出力する動ベクトル発生回
路と、前記入力画像信号の遅延量を、前記動ベクトルに
従い動き補償した動き補償フィールド遅延回路と、前記
入力画像信号を遅延する遅延回路と、該遅延回路の出力
信号と前記動き補償フィールド遅延回路の出力信号とに
対し加重平均を行う加重平均回路と、前記動ベクトルに
従い遅延量を動き補償した動き補償フレーム間差信号に
基づいて前記加重平均回路内の重みを決定する回路と、
前記加重平均回路から走査線数を変換して画像信号を取
り出す回路とを具えたことを特徴とする。

【００１１】

【作用】本発明によれば、インタレース走査の入力画像
に対して仮想的に動き補償型の順次走査変換を行ってか
ら走査線数を変換する。これによって、動画における不
要な折り返し妨害を除去して、動画に対する変換画質を
向上させることができる。

【００１２】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１３】図１に本発明の実施例である走査線数変換
装置の構成を示す。

【００１４】図１において、本装置の入力信号は走査線
数１１２５本／フィールド周波数６０Ｈｚ／インタレー
ス比２：１の画像信号であり、出力信号は５２５本／フ
ィールド周波数６０Ｈｚ／インタレース比２：１の画像
信号である。すなわち、本装置は画像信号の基本的な走
査パラメータのうち走査線数のみを変換するものであ
り、その変換比は１１２５：５２５＝１５：７である。

【００１５】本装置の入力信号は、まず動ベクトル検出
回路１に入力させる。この動ベクトル検出回路１では入
力信号の画像の動き量を動ベクトルＶ₀ として検出す
る。この検出にはすでに種々提案されている動ベクトル
検出技術をそのまま使用できる。また、動ベクトルが外
部から与えられる場合はそれを受信してもよい。Ｖ₀ は
動ベクトル値修正回路２に入力され、その値が若干修正
されて、図１の他の回路で使用される動ベクトルＶ（Ｖ
_x ，Ｖ_y ）として出力される。修正の内容および意味に
ついては後に述べる。ここでＶは実際はＶ_x ，Ｖ_y の２
つの信号からなる。Ｖ_x は動きの水平方向の成分を表わ
し、単位は（画素／フィールド）とする。Ｖ_y は動きの
垂直方向の成分を表わし、単位は（（フレーム内）走査
線／フィールド）とする。Ｖは画素毎、あるいはある大
きさの画素ブロック毎、あるいはフィールド毎のいずれ
の単位でその値が更新されても本装置は動作可能であ
る。これら回路１，２が全体として動ベクトル発生回路
３を構成している。

【００１６】入力信号はまた、各々（５６５Ｈ＋Ｖ），
（５６４Ｈ＋Ｖ），（５６３Ｈ＋Ｖ）のディレイ量を持
つ動き補償メモリ１０，１１，１２に入力される。ここ
でＨはフィールド内の１ラインを表わす。またＶは前記
動ベクトルである。例えば（５６３Ｈ＋Ｖ）のディレイ
量は画素数で表わすと以下のようになる。１ラインの画
素数をＮとして

【００１７】

【数１】

【００１８】となる。他のディレイ量についても同様に
求められる。ここでＶ_x ，Ｖ_y の極性は、時間とともに
画像が右上に移動するときＶ_x ＞０，Ｖ_y ＞０としてい
る。メモリ１０の出力を信号ｘ_-2 、メモリ１１の出力
をｘ₀ 、メモリ１２の出力をｘ₂ とする。これらは加重
平均回路１６に入力される。

【００１９】入力信号はまた、１Ｈディレイ１３，１
４，１５の縦続接続回路に入力される。ここでは装置の
入力信号をｘ_-3 、ディレイ１３の出力をｘ_-1 、ディ
レイ１４の出力をｘ₁ 、ディレイ１５の出力をｘ₃ とす
る。これらも加重平均回路１６に入力される。

【００２０】なお、図１の装置では、動ベクトルＶに従
ってメモリ１０〜１２におけるフィールドディレイ量を
動き補償することにより仮想的な順次走査変換の際の動
画における画質劣化を解決している。例えば画像の垂直
方向の動きがＶ_y ＝２である場合は、図１の動き補償メ
モリ１０〜１２により図３のａ，ｂ，ｃの走査線をディ
レイさせてｘ₂ ，ｘ₀ ，ｘ_-2を出力し、加重平均回路１
６に順次走査信号ｘ₃〜ｘ_-3を入力する。図３の表示法
は図２と同様であり、また、補間以後の動作は従来法と
同様である（詳細は後述）。このように図１の装置では
画像に動きがある場合でも垂直フィルタを用いることな
く順次走査に変換できるので、動画の変換画質が良好で
ある。すなわち、高解像度、高画質が得られる。この状
況は水平方向の動き成分についても同様である。なお、
静止画においてはＶ_x ＝Ｖ_y ＝０であるので、従来の静
止画に対するフィールド間補間も上記動き補償補間の動
作に含まれている。

【００２１】ところで、図３にはＶ_y が偶数の場合のみ
示したが、Ｖ_y が奇数の場合は１フィールド前に順次走
査に該当する走査線が存在しないため動き補償補間を行
うことができない。従って、図１の動ベクトル値修正回
路２では以下のアルゴリズムにより垂直方向の動ベクト
ル値を修正する。動ベクトル検出回路で検出された垂
直，水平の動ベクトルを各々Ｖ_y0，Ｖ_x0とすると、

【００２２】

【数２】

【００２３】

【数３】 V_x＝V_x0 …(3) すなわち、Ｖ_y0についてはＶ_y0が奇数の場合はＶ_y0をよ
り絶対値の小さい偶数に丸めている。これは、動き補償
が正確でない場合は、過補償の状態よりも補償不足の状
態の方が一般的に画質が良好であることによるものであ
る。水平方向の動き成分については以上のようなインタ
レース走査に基づく特殊事情がないためＶ_x0を修正する
必要はない。

【００２４】加重平均回路１６は、７次の補間フィルタ
を構成し、上で述べたｘ_i （ｉは整数かつ、−３≦ｉ≦
３）に対し、各々に重み（係数）α_i を乗じたのち、加
算して出力する。すなわち

【００２５】

【外１】

【００２６】このとき、係数α_i の値は後に述べる信号
Ｋ、およびフレーム内あるいはフィールド内での走査線
番号によって変化する。加重平均回路１６の出力はバッ
ファメモリ１７に入力される。ここでは前記図２の走査
線番号に従って信号をリード／ライトすることにより、
画像における垂直走査の変換を行い、５２５／６０／
２：１の本装置の出力信号を作成する。

【００２７】本装置の入力信号はまた、（５２５Ｈ＋２
Ｖ）のディレイ量の持つ動き補償メモリ４に入力され
る。４の動作は動き補償量が動ベクトルＶの２倍となっ
ている他はメモリ１０〜１２と同様であり、そのディレ
イ量は（１）式と同様にして求められる。減算器５は本
装置の入力信号とメモリ４の出力との差分をとって出力
する。減算器５の出力が動き補償フレーム間差信号であ
る。絶対値回路６は減算器５の出力の絶対値を出力す
る。Ｋ決定回路７は絶対値回路６の出力をもとに前記の
信号Ｋを決定する。ここでＫの値は例えば０≦Ｋ≦１と
する。また、この範囲内でＫの取り得る値の数は前記の
加重平均回路１６の条件に依存する。例えば、係数α_i
が、Ｋに対して３種類変化できるものとすれば、Ｋの取
り得る値は３種であり、例えばＫは０または０．５また
は１である。Ｋ決定回路７の内容は、単純に絶対値回路
６の出力値が大きければＫを大きな値にするという量子
化器のみでも良いし、従来の画像の動き検出法の中に見
られる様々な手法を盛り込んでもよい。Ｋ決定回路７の
出力はｘ_i との位相合わせのための１Ｈディレイ８を経
て、信号Ｋとして加重平均回路１６に入力される。な
お、信号Ｋの位相は信号ｘ_-1に合わせられている。これ
ら各構成４〜８が全体として補間選択判定回路９を構成
している。

【００２８】本実施例による走査線数変換は、前述した
ようにメモリ１０〜１２，１Ｈディレイ１３〜１５，動
ベクトル発生回路３，補間選択判定回路９，加重平均回
路１６，バッファメモリ１７を用いて２：１インタレー
ス走査信号に対して仮想的に動き補償型の順次走査変換
を行ってから走査線数の変換のための補間を行うもので
あるから、動画に対しても高解像度，高画質な変換を行
うことが可能である。

【００２９】図１の実施例を含む走査線数変換の時間−
垂直スペクトルを図４および図５に示す。図４および図
５において、横軸はいずれも時間周波数ｆ（Ｈｚ）であ
り、縦軸はいずれも垂直空間周波数ν（ｃｐｈ）であ
る。図４（ａ）は以下で検討する画像のスペクトルであ
り、

【００３０】

【外２】

【００３１】

【外３】

【００３２】インタレース走査による時空間標本化のキ
ャリアである。図では原スペクトル、およびフィールド
による時間標本化の折り返しスペクトルを実線で、イン
タレース走査による折り返しを点線で示してある。ま
た、同図（ｂ）は同じ画像を走査線５２５本システムの
カメラで撮像した場合の信号スペクトルである。同図
（ａ）ではＶ_y ＝２（１１２５走査線／フィールド）で
あったが、同図（ｂ）では

【００３３】

【数４】

【００３４】と考えることができる。

【００３５】同図（ｃ）は図２で述べた従来例の静止画
用補間の補間特性である。同図（ｃ）の斜線部は補間フ
ィルタの阻止域であり、この部分の信号スペクトルはカ
ットされる。通過域に残った信号を５２５／２：１に走
査変換することにより同図（ｄ）のスペクトルが得られ
る。同図（ｄ）を見ると、長さが短くなった（解像度が
低下した）原スペクトル（実線）、およびインタレース
キャリアＸからのスペクトル（点線）の他に、−６０≦
ｆ≦−３０，０≦ｆ≦３０の領域に不自然なスペクトル
を生じていることがわかる。これは、同図（ｃ）の通過
域内に残ったインタレースの折り返しスペクトルにより
生じるものである。また、このスペクトルは原画像のν
に関する中域成分が原因で生じている。このスペクトル
のため、従来の変換では画像の垂直解像度が低下するこ
とに加えて、不自然な画質妨害、たとえば画像の水平エ
ッジ等における不自然で目立ちやすいインタラインフリ
ッカ等を生じていた。

【００３６】同様に、従来の動画用の補間特性を同図
（ｅ）、それによる走査線数変換の結果を同図（ｆ）に
示す。この場合も、原スペクトルの解像度が低下するこ
とに加えて、やはり不自然な折り返しスペクトルを生じ
ている。ただしこの場合、この不自然なスペクトルは原
画像のν高域成分が原因となっている。すなわち原画像
のν高域成分はνの値が変換されて出力されている。し
かし画質に関しては、解像度の低下とともにやはり不自
然なインタレース妨害を生じ、同様に画質が劣化してい
た。

【００３７】これに対し、図１の装置によれば、図５
（ｇ）のような補間特性を実現することができ、同図
（ｈ）に示すような、走査線５２５システムで直接撮像
した図４（ｂ）と等価な出力信号スペクトルを得ること
が可能である。さらに、図４（ｂ）や図５（ｈ）の画像
でインタレース妨害が目立つ場合は、図５（ｉ）に示す
ように補間特性をνに関して意識的に狭帯域にすること
により、図５（ｊ）に示すように視覚的に目立つν低域
への妨害のない画像を得ることもできる。このように、
本装置によれば、不自然な妨害のない高画質な走査変換
出力を得られることに加えて、特性の選択によっては通
常の走査線５２５本のカメラよりもさらに妨害の少ない
極めて高画質な画像を得ることも可能である。

【００３８】なお、図１の装置における信号Ｋによる係
数α_i の制御は、動ベクトルの誤検出等により動き補償
が誤差を生じる場合に対処するためのものであり、補間
フィルタの特性を例えばＫ＝１の場合は図５（ｇ）の特
性に、Ｋ＝０の場合は図４（ｅ）の特性に、Ｋ＝０．５
の場合は図５（ｇ）の特性と図４（ｅの特性の中間の特
性（例えば両者の平均の特性）にすれば良い。

【００３９】本発明の別の実施例を図６に示す。入出力
信号は図１と等しい。また回路構成上図１と異なるの
は、図１の動き補償メモリ１０，１１，１２に代えて図
５で５４７Ｈディレイ２０、動き補償メモリ２１、１Ｈ
ディレイ２２，２３が用いられていることである。他の
部分の回路は内容、動作とも図１に等しい。

【００４０】入力信号は５４７Ｈディレイ２０を経て、
（１６Ｈ＋Ｖ）のディレイ量を持つ動き補償メモリ２１
で動き補償される。｜Ｖ｜≦１６Ｈであれば５４７Ｈデ
ィレイ２０，動き補償メモリ２１を合わせて図１の動き
補償メモリ１２の動作と等価である。これは通常の画像
では｜Ｖ｜≦１６Ｈであることが多いので、動き補償メ
モリ１２を５４７Ｈディレイ２０と動き補償メモリ２１
に分割することにより高価な動き補償メモリのディレイ
サイズを小さくし、装置を経済的に実現しようとするも
のである。動き補償メモリ２１の出力は１Ｈディレイ２
２，２３の縦続接続に入力される。動き補償メモリ２
１、１Ｈディレイ２２，２３の出力が各々ｘ_-2，ｘ₀ ，
ｘ₂ となる。すなわち、各構成２０〜２２で図１の動き
補償メモリ１１を、同各構成２０〜２３で動き補償メモ
リ１２を代用している。これも高価な動き補償メモリを
節約する１つの手段である。

【００４１】図７に図６の装置の動作例を示す。図７の
表記法は図３と同様である。図７において図３と異なる
のは、ｘ₀ ，ｘ₂ を走査線ｂ，ｃから作成せず、ｘ_-2か
ら作成していることである。これは、図３に示すごとく
ｘ_-2，ｘ₀ ，ｘ₂ を補間するための動ベクトルが等しい
場合は図１の装置の動作と等価である。しかし、ある走
査線とそれに隣接する走査線に対する動ベクトルが異な
る場合は図６の装置の動作は図１と異なり、動き補償の
誤差により画質劣化を生じるおそれがある。しかし、動
ベクトルの発生方法や画像の種類によっては図６の装置
でも画質的に充分である可能性も大きい。そのような場
合は図６の構成により装置を経済的に実現できる。

【００４２】本発明は以上述べた例のほか、入出力とも
実施例とは異なる走査線数のシステムにも利用できる。
また、本実施例の１１２５→５２５のようにダウン変換
だけでなく、５２５→１１２５のようなアップ変換にも
利用できる。また、出力信号は順次走査であってもよ
い。さらに、動き補償は注目信号の１フィールド前後の
信号によって行ってもよいし、さらに、動き補償補間に
おいて間補間信号等の動き補償を行える動ベクトルを増
すようにすることも可能である。

【００４３】

【発明の効果】本発明によれば、インタレース走査の入
力画像信号に仮想的に動き補償型の順次走査変換を行っ
てから走査線数の変換を行うことにより、動画における
不自然な折り返し妨害の発生を防ぎ、動画に対する変換
画質を向上させることができる。

【図面の簡単な説明】

【図１】本発明の実施例を示すブロック図である。

【図２】従来の走査線数変換装置の動作を示す図であ
る。

【図３】図１の装置の動作例を示す図である。

【図４】図１の装置の動作を説明する時間−垂直スペク
トルを示す図である。

【図５】同じく時間−垂直スペクトルを示す図である。

【図６】本発明の別の実施例を示すブロック図である。

【図７】図６の装置の動作例を示す図である。

【符号の説明】

３動ベクトル発生回路９補間選択判定回路１０，１１，１２動き補償メモリ１３，１４，１５１Ｈディレイ１６加重平均回路１７バッファメモリ

Claims

【特許請求の範囲】

【請求項１】インタレース走査の入力画像信号におけ
る画像の動き量を動ベクトルとして出力する動ベクトル
発生回路と、前記入力画像信号の遅延量を、前記動ベクトルに従い動
き補償した動き補償フィールド遅延回路と、前記入力画像信号を遅延する遅延回路と、該遅延回路の出力信号と前記動き補償フィールド遅延回
路の出力信号とに対し加重平均を行う加重平均回路と、前記動ベクトルに従い遅延量を動き補償した動き補償フ
レーム間差信号に基づいて前記加重平均回路内の重みを
決定する回路と、前記加重平均回路から走査線数を変換して画像信号を取
り出す回路とを具えたことを特徴とする画像信号の走査
線数変換装置。