JPH09200575A

JPH09200575A - 画像データ補間装置

Info

Publication number: JPH09200575A
Application number: JP8005822A
Authority: JP
Inventors: Kazuyuki Suga; 和幸菅; Hiroshi Kusao; 寛草尾; Nobutoshi Gako; 宣捷賀好
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-01-17
Filing date: 1996-01-17
Publication date: 1997-07-31

Abstract

(57)【要約】【課題】補間ミスの発生を極力抑え、かつ浅い角度の
エッジに対しても滑らかな高画質のフレーム画像をフィ
ールド画像から導く。【解決手段】補間の際に参照される上下の走査線上で
画素の水平方向の補間を行い、その複数の画素からブロ
ックを構成して、上下の走査線上のブロック同士で相関
を計算し、その相関値を補間される画素からブロックま
での距離（補間方向）を参照して補正したものを評価関
数として最適な補間方向を選択する。また、補間後の画
像データに対して補間された画素と、その周囲の画素と
の差を検出して補間ミスを判定し、補間ミスの場合は上
下の画素による垂直方向の補間を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオテープレコ
ーダ等で高品質な静止画を表示するための画像データ補
間装置に関し、特にインターレース走査においてフィー
ルド画像から画像データを補間してフレーム画像を生成
する画像データ補間装置に関する。

【０００２】

【従来の技術】従来、インターレース走査方式を採用す
るビデオテープレコーダやビデオプリンタ等において静
止画を表示する場合、第１フィールドの画像を補間処理
してフレーム画像を生成することにより、第１フィール
ドと第２フィールドとの間の映像の時間上のずれを排除
して高品質な１枚の静止画を表示している。この第１フ
ィールドの画像を補間処理してフレーム画像を生成する
従来の画像データ補間技術について、図７ないし図１５
を参照して説明する。

【０００３】ここで、図７は、従来の画像データ補間技
術を説明するための元のフィールド画像の一例を表す参
考図であり、図８は、図７に〇印でマークした元のフィ
ールド画像の細部を説明するための拡大図である。図９
は、フィールド画像の補間について、補間される画素を
垂直方向に隣接した上下いずれかの画素で補間する方法
について説明するための図であり、図１０は補間される
画素を垂直方向に隣接した上下の画素の平均値で補間す
る方法を説明するための図であり、図１１は補間される
画素の斜め方向の画素の相関性を使用して補間する方法
を説明するための図である。図１２は５方向の補間につ
いて説明するための図であり、図１３は７方向の補間に
ついて説明するための図である。更に、図１４および図
１５はそれぞれ相関を使用した補間方向判定に関する参
考図である。

【０００４】インターレース走査は、１枚のフレーム画
像を時間を異にした２枚のフィールド画像に分けて、１
回目の走査の軌跡の間を２回目の走査が埋めるように、
２回に分けて走査して映像を映し出す走査方法である。
２回に分けて映し出される２枚の画像は、人間の視覚特
性上の残像効果により、１枚の画像として認識される。
しかし、この２回に分けて送られてきた２枚のフィール
ド画像をそのままフレーム画像に変換して静止画を生成
する場合、カメラおよび被写体が完全に静止していれば
問題はないが、いずれかが移動していると、フィールド
画像間の時間上のずれにより、画像の奇数走査線と偶数
走査線走査線との間で画像の連続性が損なわれ、第１フ
ィールドの画像と第２フィールドの画像との間にずれが
生じることになる。この結果、表示画像の品質が低下す
ることとなる。

【０００５】そこで、第１フィールドまたは第２フィー
ルドのいづれか１枚のフィールド画像をもとにフレーム
画像を導くことが考えられるが、この場合、図８に示す
ように、もとになるフィールド画像は、１本おきに走査
線の間が空いているため画像データを補間をする必要が
ある。この補間の方法としては従来より種々のものが提
案されており、その幾つかについて以下に説明する。
尚、以下の説明において、Ｂ（０）は補間される画素デ
ータを表し、Ａ（ｎ）とＣ（ｎ）は補間の際に参照され
る上側および下側の水平走査線のそれぞれの参照画素デ
ータを表している。ただし、ｎは、画素データＢ（０）
を基準とした水平走査線上の画素データの配列番号を表
す。

【０００６】その第一は単純に繰り返す方法であり、図
９に示すように、フィールド画像の奇数の走査線１、走
査線３、・・・のそれぞれの画像データをそのまま偶数
の走査線２、走査線４、・・・の画像データとして補間
する方法である。即ち、この方法によれば、 B(0)=A(0) として補間する。当然のことながら、偶数の走査線から
奇数の走査線を補間してもよい。この方法では、垂直方
向の解像度が２分の１になり、斜線にギザギザが極めて
目立つようになる。

【０００７】次に、図１０に示すように、補間すべき画
素を上下の２つの画素の参照画像データの平均値で補間
するがある。即ち、この方法によれば、 B(0)=(A(0)+C(0))/2 として補間する。この方法では、若干ギザギザは目立た
なくなるが、エッジの劣化により画像がぼける印象を与
えることになる。

【０００８】更に、図１１に示すように、エッジの方向
性に注目し、補間すべき画素の垂直方向だけでなく右上
から左下方向、および左上から右下方向の全部で３方向
について、その方向の補間すべき画素を挟む２個の参照
画素の画像データに対して差分を計算し、これが最小に
なる方向の２個の画素の画像データの平均値で補間する
方法も知られている。即ち、この方法によれば、 B(0)=(A(-1)+C(1))/2 B(0)=(A(0)+C(0))/2 B(0)=(A(1)+C(-1))/2 のＢ（０）のうち、最も小さい値を補間画素の画像デー
タとして補間する。

【０００９】ところが、画像にはかなり水平に近い傾斜
エッジもあり、この場合上記の３方向補間では十分に対
応することができない。そこで、図１２および図１３に
示すように、補間しようとする画素の上下の水平走査線
上により多くの参照画素を設定して、例えば５方向また
は７方向の画素を参照する必要が生じる。しかし、この
場合、図１３に示すＡ（−３）とＣ（３）、またはＡ
（３）とＣ（−３）の如く、補間される画素Ｂ（０）か
ら参照する画素が遠い程、画像的に関連がない画素であ
って、しかもその輝度が略一致することの可能性が高く
なる。したがって、この場合、補間画素Ｂ（０）は隣接
する画素とは不連続な全く異なる値で置き換えられる場
合が生じ、画像上極めて目立つノイズとなって現れる。

【００１０】このような従来の画像データ補間技術を改
良したものとして特開平５−１５３５６２号公報に開示
されているものが知られている。この画像データ補間技
術は、図１３に示すような７方向の補間を想定してい
て、まず補間がその６つの参照画素、図１３ではＡ（−
１）とＣ（１）、Ａ（０）とＣ（０）、Ａ（１）とＣ
（−１）を第一の領域としてそれぞれの方向について相
関性を判断する。そして、この第１の領域における斜め
方向、つまりＡ（−１）とＣ（１）もしくはＡ（１）と
Ｃ（−１）に相関がある場合は、さらに浅い角度につい
ても相関性を判断する。即ち、最初の段階でＡ（１）と
Ｃ（−１）に相関があると判断されたならば、Ａ（１）
とＣ（−１）、Ａ（２）とＣ（−２）、Ａ（３）とＣ
（−３）を第二の領域としてそれぞれについて相関性を
判断し、一方、Ａ（−１）とＣ（１）に相関性があると
判断されたならば、Ａ（−１）とＣ（１）、Ａ（−２）
とＣ（２）、Ａ（−３）とＣ（３）を第三の領域として
それぞれについて相関性を判断し、最も相関性が強いも
のを判断して補間画素データを決定している。

【００１１】

【発明が解決しようとする課題】しかしながら、これら
従来の画像データ補間技術によれば、必ずしも正確な補
間が行われない場合があり、結果として得られた補間画
像では本来滑らかな輪郭線に凹凸が発生し、補間ミスの
ノイズが目につくことが少なくない（正当でない補間が
行われること、またそのようにして補間された画素を、
以後「補間ミス」と記す）。その理由として、第一に、
画像のエッジは常に実際の画素に沿って存在しているわ
けではないことが挙げられる。たとえば、図１４に示す
画像においてＢ（０）を補間する場合を考える。この場
合、直線ＬがＡ（０）とＡ（１）との境界部分からＣ
（−１）とＣ（０）との境界部分を横切っていて、Ａ
（３）とＣ（−３）に全く同じ画像データの点が存在し
ているとする。このような状態の画像は、解像度が印刷
等と比べて高くないＮＴＳＣ方式のテレビ画像等をデジ
タル化して取り扱っている場合に十分有り得る。

【００１２】ここで、Ａ（０）、Ａ（１）、Ｃ（−
１）、Ｃ（０）の画素データをそれぞれ、５、５、６、
３とし、一方、Ａ（３）、Ｃ（−３）の画像データをｘ
とする。また、他の参照画素との相関が低いとする。こ
のような場合、Ａ（０）とＣ（０）との差分値は２であ
り、また、Ａ（１）とＣ（−１）との差分値は１であっ
て、Ａ（３）とＣ（−３）との差分値よりも大きく計算
される虞れが生じる。即ちこの場合、Ａ（０）とＣ
（０）との相関、およびＡ（１）とＣ（−１）との相関
が、Ａ（３）とＣ（−３）との相関より小さいと判定さ
れ、結果的にＢ（０）が、相関が必ずしも高くないＡ
（３）とＣ（−３）との画像データの平均値で補間され
るという問題があった。また、先に述べた特開平５−１
５３５６２号公報の方法によっても、第一段階の判定で
斜線と判定されるため、同様の問題を有している。

【００１３】第二に、特開平５−１５３５６２号公報に
開示された方法によると、第一の例とは逆に、Ａ（３）
とＣ（−３）とで補間するのが正しい場合であっても、
誤ってＡ（０）とＣ（０）で補間される場合がある。即
ち、この方法によれば、図１５に示すＡ（０）とＣ
（０）、Ａ（−１）とＣ（１）、Ａ（１）とＣ（−１）
との第一の領域における３方向の相関において、斜め方
向の相関が検出されない場合には、第二および第三の領
域での相関を調べることをしない。このため、浅い角度
のエッジの場合、Ａ（−３）とＣ（３）との相関が最も
強いにもかかわらず、補間画素データを生成するための
参照画素として採用されない場合が生じるという問題が
あった。

【００１４】本発明は、かかる問題点に鑑みてなされた
ものであって、浅い角度のエッジに対しても滑らかさを
実現する適切な補間を行い、さらにこの補間後に補間ミ
スによって発生したノイズを検出して取り除くことによ
り、補間ミスの発生を極力抑えて、１枚のフィールド画
像データから高品質なフレーム画像データを合成するこ
とのできる画像データ補間装置を提供することを課題と
している。

【００１５】

【課題を解決するための手段】前記課題を解決達成する
ために、本発明は次の構成を有する。請求項１記載の画
像データ補間装置は、フレームデータの奇数番目または
偶数番目の一方の走査線上の画素に対応する画素データ
を構成するフィールドデータから前記フレームデータの
奇数番目または偶数番目の他方の走査線上の補間画素に
対応する補間画素データを生成して前記フレームデータ
を生成する画像データ補間装置において、前記画像デー
タ補間装置は、前記補間画素を起点として補間方向を定
め、該補間方向に位置する前記画素データに基づいて前
記補間画素に対応する補間画素データを生成することに
より、前記フィールドデータを補間してフレームデータ
を生成するものであって、前記補間画素の上側に隣接す
る前記一方の走査線上の画素の列に対応する画素データ
の列を補間して第１の参照画素データの列を生成し且つ
前記補間画素の下側に隣接する前記一方の走査線上の画
素の列に対応する画素データの列を補間して第２の参照
画素データの列を生成する参照画素データ生成手段と、
前記第１の参照画素データの列を構成する連続した所定
個数の参照画素データの集合からなる第１のブロックデ
ータと前記補間画素データを挟んで前記第１のブロック
データに対向して前記第２の参照画像データの列を構成
する連続した所定個数の参照画素データの集合からなる
第２のブロックデータとの間の相関の演算結果に基づい
て前記補間画素の補間方向を定める補間方向決定手段
と、前記補間方向決定手段により定められた前記補間方
向に位置し且つ前記補間画素の上側および下側に隣接す
る前記一方の走査線上の画素に対応する画素データに基
づいて前記補間画素データを生成する補間画素データ生
成手段と、を備えて構成されている。

【００１６】請求項２記載の画像データ補間装置は、フ
レームデータの奇数番目または偶数番目の一方の走査線
上の画素に対応する画素データを構成するフィールドデ
ータから前記フレームデータの奇数番目または偶数番目
の他方の走査線上の補間画素に対応する補間画素データ
を生成して前記フレームデータを生成する画像データ補
間装置において、前記画像データ補間装置は、前記補間
画素を起点として補間方向を定め、該補間方向に位置す
る前記画素データに基づいて前記補間画素に対応する補
間画素データを生成することにより、前記フィールドデ
ータを補間してフレームデータを生成するものであっ
て、前記補間画素データと該補間画素データに隣接また
は該補間画素データの近傍に位置する画素データとの比
較に基づいて前記補間データの正当性を判定する判定手
段と、前記判定手段による判定の結果に基づいて前記補
間画素データを該補間画素データに隣接または該補間画
素データの近傍に位置する画素の画素データから生成し
た補正データに置き換えて補間画素データを補正する相
関値補正手段と、を備えて構成されている。

【００１７】請求項３記載の画像データ補間装置は、請
求項１に記載の画像データ補間装置の補間方向決定手段
が、補間方向に基づいた重みづけをして相関を演算する
ように構成されている。

【００１８】請求項４記載の画像データ補間装置は、請
求項２に記載の画像データ補間装置の判定手段が、２次
微分または８方向ラプラシアンを用いて補間画素データ
と該補間画素データに隣接または該補間画素データの近
傍に位置する画素データとの比較をするように構成され
ている。

【００１９】請求項１および請求項３記載の画像データ
補間装置によれば、参照データ生成手段は、たとえば補
間画素の上側に隣接する走査線上の隣り合った画素デー
タの間にこれらの平均値をとったものを加えて第１の参
照画素データの列を生成し、同様に補間画素の下側に隣
接する走査線上の隣り合った画素データの間にこれらの
平均値をとったものを加えて第２の参照画素データの列
を生成して、水平方向の参照画素データを増やす。つぎ
に、補間方向決定手段は、補間画素の上側の走査線上の
第１のブロックデータと補間画素との延長線上にある下
側の走査線上の第２のブロックデータとの間の相関を各
補間方向について演算し、さらにこの演算結果を補間方
向に応じた重みづけをして最適な補間方向を決定する。
補間画素データ生成手段は、決定された補間方向に位置
する画素データを用いて補間画素の補間画素データを生
成する。

【００２０】請求項２および請求項４記載の画像データ
補間装置によれば、判定手段は、２次微分または８方向
ラプラシアンを用いて補間画素データと該補間画素デー
タの画素の周辺（隣接または近傍）に位置する画素の画
素データとを比較して正当性（補間ミス）を判定する。
この判定の結果、補間画素データが正当でない場合、相
関値補正手段は、補間画素の周辺画素の画素データから
補正データを生成し、この補正データで補間画素データ
を置き換えることにより補間し直す。

【００２１】

【発明の実施の形態】本発明の実施の形態にかかる画像
データ補間装置および補間方法について図１から図６を
参照して説明する。図１は、本発明の実施形態例にかか
る画像データ補間装置の構成を表すブロック図である。
また、図２は、補間しようとする画素の周辺の画素の画
素データの配列を表す画像データ配列図であり、図３
は、図２に示す画像データから参照画像データを得る水
平方向補間処理を説明するための説明図である。さら
に、図４は、図３に示す参照画像データから相関値を算
出する方法を説明するための説明図であり、また、図５
は、画像データの補間ミスを説明するための説明図であ
る。さらにまた、図６は、本発明における補間処理の流
れを説明するためのフローチャートである。

【００２２】まず、図１に示すように、本実施形態にか
かる画像データ補間装置は、入力ビデオ信号Ｐ_iを入力
し、この入力ビデオ信号Ｐ_iをデジタル化して画像デー
タＤを生成するＡ／Ｄコンバータ１０１と、Ａ／Ｄコン
バータ１０１によりデジタル化して得られた１フレーム
分の画像データＤを蓄えるフレームメモリ１０２と、後
述するコントローラに制御されてフレームメモリ１０２
から転送された画像データＤをＤ／Ａ変換して出力ビデ
オ信号Ｐ_Oを生成するＤ／Ａコンバータ１０３と、後述
するＣＰＵの制御の下にＡ／Ｄコンバータ１０１、Ｄ／
Ａコンバータ１０３およびフレームメモリ１０２の動作
を制御するコントローラ１０４と、Ａ／Ｄコンバータ１
０１によりデジタル化してフレームメモリ１０２に格納
された画像データＤの相関演算処理等を実行すると共に
前記フレームメモリ１０２およびコントローラ１０４の
動作を制御するＣＰＵ１０５とを具備して構成されてい
る。ここで、入力ビデオ信号Ｐ_iをデジタル化して得ら
れる画像データＤとして輝度データを想定して説明する
こととする。なお、ＣＰＵ１０５は、相関演算データを
格納するためのＲＡＭおよび制御プログラムを格納した
ＲＯＭを内蔵したものとなっている。

【００２３】以下、このように構成された本実施形態例
にかかる画像データ補間装置の動作と補間方法につい
て、図１から図６を参照しながら説明する。この画像デ
ータ補間装置は、すでに存在する１枚のフィールド画像
の「・・・、i-1、i+1、・・・」の行の画素データから「・・・、i-
2、i、i+2、・・・」の行の画素データを生成するものとし、
説明の簡略にするため、図２に示す第ｉ行ｊ列の画素
（以下、補間画素と記す）の画素データ（以下、補間画
素データと記す）Ｂ（０）を生成して補間する場合につ
いて、図６に示すフローチャートに従って説明する。

【００２４】まず、図１において、入力されたビデオ信
号Ｐ_iは、Ａ／Ｄコンバータ１０１によってデジタルデ
ータである画像データＤに変換される。変換して得られ
た画像データＤのうち、１フレーム分の画像データＤ
が、コントローラ１０４の制御によりフレームメモリ１
０２に入力される。フレームメモリ１０２は、入力した
１フレーム分の画像データのうち第１フィールドを構成
する画素データを奇数行アドレスに、また第２フィール
ドを構成する画像データを偶数行アドレスに対応付けて
格納する。

【００２５】つぎに、図１に示すＣＰＵ１０５は、フレ
ームメモリ１０２から、図２に示す第ｉ−１行の画素デ
ータＡ（−４）〜Ａ（４）を読みだす。そして、図３に
示すように、隣り合った画像データの間にそれらの平均
値からなる画像データを補間して、参照画素データＰ
（−８）〜Ｐ（８）を新たに生成する。同様に画素デー
タＣ（−４）〜Ｃ（４）から、参照画素データＱ（−
８）〜Ｑ（８）を生成する（ステップＳ１）。

【００２６】すなわち、 P(k)=A(k/2) (k=-8,-6,-4,-2,0,2,4,6,8) P(k)=(A((k-1)/2)+A((k+1)/2))/2 (k=-7,-5,-3,-1,1,3,5,7) Q(k)=C(k/2) (k=-8,-6,-4,-2,0,2,4,6,8) Q(k)=(C((k-1)/2)+C((k+1)/2))/2 (k=-7,-5,-3,-1,1,3,5,7) を計算してＣＰＵ１０５内部のＲＡＭに蓄える。以下、
画素データＡ（−４）〜Ａ（４）およびＣ（−４）〜Ｃ
（４）から、参照画素データＰ（−８）〜Ｐ（８）およ
びＱ（−８）〜Ｑ（８）を生成する処理を水平方向補間
処理と称す。

【００２８】このブロック間相関値Ｓ（ｋ）に対して更
に、 T(k) = α(k)S(k) + β(k) (k=-7,-6,-5,-4,-3,-2,-1,0,1,2,3,4,5,6,7) を演算して、補正ブロック間相関値Ｔ（ｋ）を得る（ス
テップＳ３）。そして、この補正ブロック間相関値Ｔ
（ｋ）の最小値を与えるｋを最適な補間方向として定め
る（ステップＳ４）。ここで、ブロック間相関値Ｓ
（ｋ）から補正ブロック間相関値Ｔ（ｋ）を得る過程で
導入される補正係数α（ｋ）およびβ（ｋ）は、ｋの絶
対値の増加に伴って増加する補正値であり、これにより
ｋが異なる２つ以上のブロック間相関値Ｓ（ｋ）が等し
いか、または僅かな差しかないときには、垂直方向、即
ち０に近い方のｋを優先的に採用して補間方向を定め
る。

【００２９】また、参照画素データを３個ずつブロック
化して得られるブロック間相関値Ｓ（ｋ）は、１画素ず
つ比較して得られる相関値よりも、相関が少ない場合の
相関値がはるかに大きくなる。このため、補正係数α
（ｋ）およびβ（ｋ）により垂直方向の補間を優先する
ように補正係数を定めたとしても、斜め方向の補間方向
の選択も適切に行われ、浅い斜め方向の補間も適切に行
われる。なお、ブロック間相関値Ｓ（ｋ）を算出する際
にブロック化される参照画素データ数は、３個に限定さ
れるものではなく、必要に応じて適切な個数を設定すれ
ばよい。

【００３０】こうして得られた最適な補間方向を与える
ｋを用いて、 B(0) = (P(k)+Q(-k))/2 を演算して、補間画素データＢ（０）を得る（ステップ
Ｓ５）。そして、この補間画素データ値Ｂ（０）を、図
２に示す第ｉ行ｊ列の補間画素に対応するフレームメモ
リ１０２の所定のアドレスに格納する（ステップＳ
６）。

【００３１】同様にして、処理の対象とする画素を移動
して、図２に示す第ｉ行のすべての画素について、順次
繰り返し補間画素データを求め、フレームメモリ１０２
の対応する所定のアドレスに格納して１行分の補間され
た画素データを得る（ステップＳ７〜ステップＳ８〜ス
テップＳ１〜ステップＳ７）。ここで、補間に必要な画
素データＡ（・）およびＣ（・）のフレームメモリ１０
２からの読み出しと、水平方向補間処理は、処理対象の
画素を移動したことにより新たに必要になった分だけ行
えばよい。

【００３２】さて、以上の補間処理（ステップＳ１〜ス
テップＳ８）により得られたフレーム画像についてさえ
も、補間結果が１００％正当であるとは言えず、わずか
ながら補間ミスが生じる場合がある。そこで次に、この
わずかながら起こり得る補間ミスを補正する処理（以
下、補正処理と記す）について説明する。この補正処理
は、補間ミスにより補間された画素の画像データを検出
して判定するステップ（ステップＳ９）と、補間ミスが
検出された画像データを正当な補間データに置き換える
ステップ（ステップＳ１０）とからなる。

【００３３】まず、補間ミスにより生成された補間画素
データを検出するステップについて説明する。通常、カ
メラ等の視覚センサによって取り込まれた画像は、視覚
センサの光学系や撮像素子の特性に起因して、被写体が
細かい水玉模様のような場合であっても、周囲の画素と
の境界にある程度のぼけを伴っている。しかし、補間ミ
スが生じると、その境界は、補間処理によって合成的に
生成されるため、極めて明瞭になるという特徴がある。
以下に説明する補正処理は、この特徴に着目したもので
あり、この特徴の有無を検出して補間ミスが生じたか否
かを判定するものである。

【００３４】いま、図５に示す画素データ配列の第ｉ行
ｊ列の補間画素データＢ（０）が補間ミスにより生成さ
れた画素データであるとして、この補間画素データＢ
（０）を補正処理する場合について考える。同図におい
て、第ｉ行の画素データは補間処理により得られたもの
であり、以下に説明する補正処理は、補間処理により得
られた行の画素データについてのみ行われる。

【００３５】図１に示すＣＰＵ１０５は、フレームメモ
リ１０２から図５に示す画素データＡ（−１）〜Ａ
（１）、Ｂ（−１）〜Ｂ（１）、およびＣ（−１）〜Ｃ
（１）を読みだし、以下の演算式から、評価値ｄを算出
する。 d = |-A(0)+2*B(0)-C(0)| * |-B(-1)+2*B(0)-B(1)| * |
-A(-1)+2*B(0)+C(1)|* |-A(1)+2*B(0)+C(-1)| ここで、評価値ｄは、垂直方向、水平方向、左斜め上か
ら右斜め下方向、右斜め上から左斜め下方向にそれぞれ
２次微分を計算してその絶対値を掛け合わせたものであ
り、補間画素データＢ（０）が周囲の画素の画素データ
から孤立している度合いを表す。

【００３６】一般に、図５に示すように、補間ミスが発
生した場合、周囲の画素に比較して画像レベルが大きく
異なったものになる。この場合、評価値ｄは極めて大き
な値を示すので、この評価値ｄが所定の閾値を上回る画
素データは、補間ミスにより生成されたものとみること
ができ、これにより補間処理により得られた画素データ
の正当性を容易に判定（以下、補間正当性判定という）
することができる（ステップＳ９）。また、補間ミスの
検出能力は若干落ちるとしても、評価値ｄとして、 d = |8*B(0)-A(-1)-A(0)-A(1)-B(-1)-B(1)-C(-1)-C(0)-
C(1)| のように、８方向ラプラシアンを使用してもよい。

【００３７】つぎに、補間正当性判定において補間ミス
が検出され、補間が正当ではないと判定された場合、補
間ミスが検出された補間画素データを垂直方向の画像デ
ータで置き換える（ステップＳ１０）。すなわち、補間
ミスが検出された補間画素の補間画像データを、 B(0) = (A(0)+C(0))/2 により得られる補間データで置き換える。この場合、補
間データは、補間ミスが検出された補間画素の上下に隣
接する画素データの平均値となる。

【００３８】同様にして、補間処理により生成された図
２に示す第ｉ行のすべての画素データについて補正処理
（ステップＳ９〜ステップＳ１０）を行うことにより、
補間処理（ステップＳ１〜ステップＳ８）において発生
した補間ミスが補正された１行分の画素データが得られ
る。さらに、同様にして、上述した補間処理と補正処理
とを補間しようとする各行毎に繰り返して行い、最終的
に１フィールド分の画像データから１フレーム分の画像
データが生成されてフレームメモリ１０２に与えられ
る。この結果、フレームメモリ１０２には補間ミスが補
正されたノイズの目立たない１フレーム分の画像データ
が格納される。

【００３９】補間処理と補正処理からなる一連の画像デ
ータ補間処理により１フレーム分の画像データが得られ
ると、ＣＰＵ１０５は、コントローラ１０４を介してフ
レームメモリ１０２およびＤ／Ａコンバータ１０３を制
御し、フレームメモリ１０２に格納された１フレーム分
の画像データをＤ／Ａコンバータ１０３により出力ビデ
オ信号Ｐ_Oに変換してこの装置から外部に出力する。

【００４０】上述した補正処理は、１行ごとに補間処理
と補正処理を繰り返して１フィールド分の補間された画
像データを処理するようにしたが、１フィールド分の全
ての画素データに対して補間処理を行った後に、一括し
て補正処理をするようにしてもよく、また、補間処理に
より十分な品質の画像が得られれば、補正処理を省略し
てもよい。

【００４１】また、画素データから補間処理に使用する
参照画素データを生成する水平方向補間処理において、
隣接する画素データの間を、これら隣接する画素データ
の平均値からなるデータで補間して参照画素データを準
備したが、この水平方向補間処理において画素データを
補間するデータの数は幾つに増やしてもよく、また、処
理の簡略化のために、参照画素データＰ（・）およびＱ
（・）を準備することなく、直接的に画素データＡ
（・）およびＣ（・）に対して同様の処理を施して補間
方向を求めてもよい。

【００４２】さらに、本実施形態例の画像データ補正装
置を構成するＣＰＵ１０５が、内部のＲＯＭに格納され
たプログラムに従って相関計算等を実行するものとなっ
ているが、本発明の本質はこの計算の実行手段に制約さ
れるものではない。すなわち、この計算処理を他のハー
ドウェアによって実現してもよく、また、パソコンやワ
ークステーションによりソフトウェアで同様の補間処理
をすべて実行するように構成してもよい。

【００４３】さらにまた、本実施形態例の説明におい
て、画像データとして輝度データを想定したが、カラー
画像では色差信号についても補間処理する場合には、輝
度データを処理して求められる補間方向と同じ方向のデ
ータを参照して補間処理を行えばよい。

【００４４】上述した本実施形態例の画像データ補間装
置によれば、隣接した画素データの平均値で補間して得
られるＰ（・）およびＱ（・）を参照画素データとして
用意して、補間の方向を定めるので、実際のエッジとは
関連のない画素データを参照画素データとして誤って補
間処理する可能性が低くなる。また、隣接した３つの画
素データからなるブロックごとに、補間しようとする画
素の周囲の画素の状態を反映させて相関を求めるので、
単純に上下に隣接する２画素の差分から相関を求める場
合に比較して、補間ミスが減少する。

【００４５】また、本実施形態例の画像データ補正装置
によれば、垂直方向が優先されるように補正された評価
関数Ｔ（ｋ）から補間方向を求めるので、どの方向につ
いても相関性が認められない場合、または正当な補間方
向でないにもかかわらず正当な補間方向の差分値に対し
て僅差で最小値を示しているような場合、垂直方向の補
間が行われる確率が高くなり、より近くの画素の画素デ
ータを参照して補間するので、補間ミスの発生が低減さ
れる。

【００４６】さらに、本実施形態例の画像データ補正装
置によれば、フレームメモリ１０２の後方にＤ／Ａコン
バータ１０３が接続されており、静止画表示装置として
機能するが、このＤ／Ａコンバータ１０３の代わりにプ
リンタエンジンを接続すれば、高画質なプリントが可能
なビデオプリンタを実現することができる。

【００４７】

【発明の効果】以上説明したように本発明によれば、以
下の効果を得ることができる。すなわち、請求項１記載
の発明によれば、補間画素を挟んで対向する２つの参照
画素データのブロックの相関値から補間方向を定めるの
で、正確な補間方向を決定することができ、補間処理に
おける補間ミスを著しく低減させることができる。

【００４８】また、請求項２記載の発明によれば、補間
ミスにより生成された画素データを検出して、この画素
データの周辺（隣接または近傍）に位置する画素データ
から生成した補間データで置き換えるので、補間処理に
おいて発生した補間ミスによる視覚上のノイズを事実上
排除することができる。

【００４９】さらに、請求項３記載の発明によれば、補
間方向に基づいた重みづけをして相関を判断し、この判
断に基づいて補間するので、浅い角度のエッジに対して
も凹凸が少なく、なめらかな補間を実現することができ
る。

【００５０】さらにまた、請求項４記載の発明によれ
ば、補間処理により得られた画素データの補間ミスを判
断するにあたり、２次微分または８方向ラプラシアンを
用いて補間により得られた画素データの孤立性を表す評
価値を算出して判断するので、補間ミスに対してこの評
価値が極めて大きな値を示し、補間ミスの判定を容易に
行うことができる。

【００５１】従って、請求項１から請求項４記載の本発
明によれば、補間ミスが極めて少なく且つ補間ミスに起
因した視覚上のノイズを事実上排除することができるの
で、１枚のフレームデータから極めて高画質な静止画像
のフレームデータを得ることができる。

【図面の簡単な説明】

【図１】本発明の実施形態例にかかる画像データ補間装
置の構成を示すブロック図である。

【図２】本発明の実施形態例にかかる画像データ補間装
置により補間される画素を中心とする周辺画素の配列を
表す画素配列図である。

【図３】本発明の実施形態例にかかる画像データ補間装
置による参照画素データの生成を説明するための図であ
る。

【図４】本発明の実施形態例にかかる画像データ補間装
置による相関値の算出方法を説明するための説明図であ
る。

【図５】本発明の実施形態例にかかる画像データ補間装
置による補間ミスを説明するための説明図である。

【図６】本発明の実施形態例にかかる画像データ補間装
置による補間処理および補正処理の流れを説明するため
のフローチャートである。

【図７】従来の技術を説明するための元のフィールド画
像を表す参考図である。

【図８】従来の技術を説明するための元のフィールド画
像の細部を説明するための説明図である。

【図９】補間される画素を垂直方向に隣接した上下いず
れかの画素で補間する従来の補間方法を説明するための
説明図である。

【図１０】補間される画素を垂直方向に隣接した上下の
画素の平均値で補間する従来の補間方法を説明するため
の説明図である。

【図１１】補間される画素の斜め方向の画素の相関性を
使用して補間する従来の補間方法を説明するための説明
図である。

【図１２】５方向の補間について説明するための説明図
である。

【図１３】７方向の補間について説明するための説明図
である。

【図１４】相関を使用した補間方向判定に関する参考図
である。

【図１５】相関を使用した補間方向判定に関する参考図
である。

【符号の説明】

１０１Ａ／Ｄコンバータ１０２フレームメモリ１０３Ｄ／Ａコンバータ１０４コントローラ１０５ＣＰＵ

Claims

【特許請求の範囲】

【請求項１】フレームデータの奇数番目または偶数番
目の一方の走査線上の画素に対応する画素データを構成
するフィールドデータから前記フレームデータの奇数番
目または偶数番目の他方の走査線上の補間画素に対応す
る補間画素データを生成して前記フレームデータを生成
する画像データ補間装置において、前記画像データ補間装置は、前記補間画素を起点として
補間方向を定め、該補間方向に位置する前記画素データ
に基づいて前記補間画素に対応する補間画素データを生
成することにより、前記フィールドデータを補間してフ
レームデータを生成するものであって、前記補間画素の上側に隣接する前記一方の走査線上の画
素の列に対応する画素データの列を補間して第１の参照
画素データの列を生成し且つ前記補間画素の下側に隣接
する前記一方の走査線上の画素の列に対応する画素デー
タの列を補間して第２の参照画素データの列を生成する
参照画素データ生成手段と、前記第１の参照画素データの列を構成する連続した所定
個数の参照画素データの集合からなる第１のブロックデ
ータと前記補間画素データを挟んで前記第１のブロック
データに対向して前記第２の参照画像データの列を構成
する連続した所定個数の参照画素データの集合からなる
第２のブロックデータとの間の相関の演算結果に基づい
て前記補間画素の補間方向を定める補間方向決定手段
と、前記補間方向決定手段により定められた前記補間方向に
位置し且つ前記補間画素の上側および下側に隣接する前
記一方の走査線上の画素に対応する画素データに基づい
て前記補間画素データを生成する補間画素データ生成手
段と、を備えたことを特徴とする画像データ補間装置。
【請求項２】フレームデータの奇数番目または偶数番
目の一方の走査線上の画素に対応する画素データを構成
するフィールドデータから前記フレームデータの奇数番
目または偶数番目の他方の走査線上の補間画素に対応す
る補間画素データを生成して前記フレームデータを生成
する画像データ補間装置において、前記画像データ補間装置は、前記補間画素を起点として
補間方向を定め、該補間方向に位置する前記画素データ
に基づいて前記補間画素に対応する補間画素データを生
成することにより、前記フィールドデータを補間してフ
レームデータを生成するものであって、前記補間画素データと該補間画素データに隣接または該
補間画素データの近傍に位置する画素データとの比較に
基づいて前記補間データの正当性を判定する判定手段
と、前記判定手段による判定の結果に基づいて前記補間画素
データを該補間画素データに隣接または該補間画素デー
タの近傍に位置する画素の画素データから生成した補正
データに置き換えて補間画素データを補正する相関値補
正手段と、を備えたことを特徴とする画像データ補間装
置。
【請求項３】補間方向決定手段は、補間方向に基づい
た重みづけをして相関を演算することを特徴とする請求
項１に記載の画像データ補間装置。
【請求項４】判定手段は、２次微分または８方向ラプ
ラシアンを用いて補間画素データと該補間画素データに
隣接または該補間画素データの近傍に位置する画素デー
タとの比較をすることを特徴とする請求項２に記載の画
像データ補間装置。