JP4677755B2 - 画像フィルタ回路及び補間処理方法 - Google Patents

Description

本発明は、画像データから補間画像データを生成する画像フィルタ回路に関し、詳しくは、４：２：２フォーマットの画像データから高画質の画像となるように補間画像データを生成する画像フィルタ回路及び補間処理方法に関する。

ＶＴＲに替わり急速に普及しているＤＶＤ（Digital Versatile Disk）パッケージに記録されたコンテンツや、地上波デジタル放送にて放送される番組は、ＭＰＥＧ−２（Moving Picture Expert Group-2）方式にて高能率符号化されている。ＭＰＥＧ−２は、通常レベルの解像度であるＳＤ（Standard Definition）映像信号はもちろん、高解像レベルのＨＤ（High Definition）映像信号にも対応しており、例えば、ＨＤＴＶに対応したテレビジョン受像機を用いれば、ユーザは、高解像度での映像を楽しむことができる。

従来のテレビジョン受像機は、送信される映像信号が、４：３のアスペクト比となる映像フォーマットであったことからディスプレイ形状も４：３であるものが主流となっていた。ところで、今後、徐々に日本国内、全国で放送されることになる地上波デジタル放送においては、アスペクト比が１６：９のＨＤ映像信号、ＳＤ映像信号が供給されることもあり、ディスプレイ形状が４：３と、１６：９のアスペクト比に対応していないテレビジョン受像機でこのような映像信号を表示させるには、受信した映像信号の映像フォーマットを１６：９から４：３に変換する必要がある。

アスペクト比を変換する手法は、いくつか考えられているが、代表的な変換手法としてレターボックス方式と、パンスキャン方式とがある。以下に、レターボックス方式と、パンスキャン方式について具体例を用いて簡単に説明をする。

まず、図２１（ａ）に示すようなアスペクト比が１６：９である画像があったとする。今、この画像を水平方向に３／４縮小し、両端にサイドパネルと呼ばれる黒帯を付加した図２１（ｂ）に示すようなスクイーズ画像がＤＶＤパッケージに記録されているとする。このＤＶＤパッケージを再生し、アスペクト比が４：３のディスプレイに表示させると、縦長の画像となってしまう。そこで、レターボックス方式又はパンスキャン方式にて、アスペクト比変換を実行する。

レターボックス方式でアスペクト比変換を行う場合、図２１（ｂ）に示したスクイーズ画像は、垂直方向に３／４縮小され、上下に黒帯が付加された図２１（ｃ）に示すような縮小された画像となる。この縮小された画像は、上下に黒帯部分が設けられるもののアスペクト比が４：３のディスプレイに表示させることができる。

パンスキャン方式でアスペクト比変換を行う場合、まず、図２１（ｂ）に示したスクイーズ画像は、水平方向に４／３拡大され、図２１（ａ）に示した１６：９の画像に変換されディスプレイに表示される。その際に、ディスプレイの表示部分からはみ出してしまう左右の画像をカットすることで、図２１（ｄ）に示すようなアスペクト比が４：３の画像に変換する。

パンスキャン方式は、ＭＰＥＧデータの中に画像データに対する上述したカット操作に相当する、“切り出し”に関するデータが記述されている場合に実行可能となる。“切り出し”に関するデータは、ＦＣＶＯ（Frame Center Vertical Offset）データ、ＦＣＨＯ（Frame Center Horizontal Offset）データとして規定されている。具体的には、図２２（ａ）に示すスクイーズ画像を水平方向に４／３拡大された画像を、このＦＣＶＯデータ、ＦＣＨＯデータに基づいて、図２２（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）に示すように水平、垂直方向に所定幅だけスライドさせた後、左右の画像がカットされる。このような画像の切り出しを繰り返すことで、元々は、アスペクト比が１６：９の画像を、連続した動きのあるアスペクト比が４：３の映像としてディスプレイ上に表示させることができる。

ところでＭＰＥＧ−２では、輝度信号（Ｙ）・色差信号（Ｃｒ、Ｃｂ）フォーマットとして、４：２：０、４：２：２、４：４：４の３つのフォーマットを使用することができる。中でも、４：２：２フォーマットは、国際電気通信連合（ＩＴＵ）の無線通信セクタ（ＩＴＵ−Ｒ）においてＩＴＵ−Ｒ勧告６０１として規定されており、スタジオ内などの業務用として用いられることが多く、４：２：０フォーマットに較べて高画質なフォーマットとなっている。

ところで、上述した、アスペクト比変換において用いられるパンスキャン方式、レターボックス方式に関する技術として、パンスキャン方式によるモードやレターボックス方式によるモードに表示モードが変更された場合であっても、副映像である字幕を主映像に適切に合成させるといった技術が開示されている（特許文献１参照。）。

また、４：２：０フォーマットから４：２：２フォーマットへフォーマット変換する画像フィルタ回路の回路構成の最適化を図るといった技術が開示されている（特許文献２参照。）。

特許第３３４５４１４号公報 特開平１１−２７５６３号公報

パンスキャン方式、レターボックス方式といったアスペクト比変換は、画像データを一旦メモリに格納し、メモリから読み出す際に所望のアスペクト比となるように切り出す位置、つまりメモリからどの画像データを読み出すのかを指定したり、輝度データや、色差データに対して所望の補間処理を施したりすることで実現している。

４：２：２フォーマットの画像データにおいて、アスペクト比変換を実行する場合、上述した切り出しに関するＭＰＥＧの規格として適用されているデータであるＦＣＶＯデータ、ＦＣＨＯデータが４：２：２フォーマットの特性に厳密に対応しておらず、メモリに格納された画像データから適切な読み出しが行われないといった問題あった。これにより、切り出された、つまりメモリから読み出された画像データを用いて、補間処理を施した場合、適切な補間画像が生成されず、特に、ＦＣＶＯデータ、ＦＣＨＯデータを用いてパンスキャン方式にてアスペクト比変換をする場合など、パンスキャンされる映像が滑らかに動画表示されないといった問題がある。

そこで、本発明は、このような問題を解決するために案出されたものであり、任意に指定される切り出し領域に関わらず適切に画像データを切り出すことで、良好な画質の画像を形成する補間画像データを生成する画像フィルタ回路及び補間処理方法を提供することを目的とする。

上述の目的を達成するために、本発明は、４：２：２フォーマットの画像データにおいて、メモリに格納された上記画像データから指定されたサイズの画像データを切り出し、切り出した上記画像データの隣り合う画像データ間の補間画像データを生成することで補間処理をする画像フィルタ回路であって、４：２：２フォーマットの画像データから指定されたサイズの画像データを切り出す際、切り出し端において、４：２：２フォーマットの最小構成単位を保持したまま切り出す偶数切り出しをするのか、４：２：２フォーマットの最小構成単位を無視して切り出す奇数切り出しをするのかを検出する検出手段と、上記検出手段によって偶数切り出しが検出された場合、上記指定されたサイズの画像データを上記メモリから読み出し、上記検出手段によって奇数切り出しが検出された場合、上記切り出し端において、上記４：２：２フォーマットの最小構成単位となるように、上記指定されたサイズ以上の画像データをメモリから読み出す読み出し手段と、上記読み出し手段によって、上記メモリから読み出された上記画像データから補間演算処理をすることで、上記画像データ間の補間画像データを生成する補間演算処理手段とを備え、パンスキャン方式のアスペクト比変換を実行する際に、上記検出手段によって奇数切り出しが検出された場合、上記読み出し手段は、水平方向の切り出し端において、上記画像データを構成する輝度データ、色差データを上記指定されたサイズよりも１ピクセル分だけ余分に読み出し、上記補間演算処理手段は、１次元上に並んだ４点の画像データから、隣り合う画像データ間の補間画像データを生成することを特徴とする。

また、上述の目的を達成するために、本発明は、４：２：２フォーマットの画像データにおいて、メモリに格納された上記画像データから指定されたサイズの画像データを切り出し、切り出した上記画像データの隣り合う画像データ間の補間画像データを生成することで補間処理をする画像フィルタ回路の補間処理方法であって、４：２：２フォーマットの画像データから指定されたサイズの画像データを切り出す際、切り出し端において、４：２：２フォーマットの最小構成単位を保持したまま切り出す偶数切り出しをするのか、４：２：２フォーマットの最小構成単位を無視して切り出す奇数切り出しをするのかを検出する検出工程と、上記検出工程によって偶数切り出しが検出された場合、上記指定されたサイズの画像データを上記メモリから読み出し、上記検出工程によって奇数切り出しが検出された場合、上記切り出し端において、上記４：２：２フォーマットの最小構成単位となるように、上記指定されたサイズ以上の画像データをメモリから読み出す読み出し工程と、上記読み出し工程によって、上記メモリから読み出された上記画像データから補間演算処理をすることで、上記画像データ間の補間画像データを生成する補間演算処理工程とを有し、パンスキャン方式のアスペクト比変換を実行する際に、上記検出工程で奇数切り出しが検出された場合、上記読み出し工程では、水平方向の切り出し端において、上記画像データを構成する輝度データ、色差データを上記指定されたサイズよりも１ピクセル分だけ余分に読み出し、上記補間演算処理工程で１次元上に並んだ４点の画像データから、隣り合う画像データ間の補間画像データを生成することを特徴とする。

本発明は、４：２：２フォーマットの画像データから指定されたサイズの画像データを切り出す際、切り出し端において、４：２：２フォーマットの最小構成単位を保持したまま切り出す偶数切り出しをするのか、４：２：２フォーマットの最小構成単位を無視して切り出す奇数切り出しをするのかを検出する。そして、奇数切り出しが検出された場合、切り出し端において、４：２：２フォーマットの最小構成単位となるように、指定されたサイズ以上の画像データをメモリから読み出し、読み出した画像データを用いて補間演算処理をすることで、画像データ間の補間画像データを生成する。

これにより、画像データの切り出しがどのように指定されたとしても、４：２：２フォーマットを崩すことなく補間画像データを生成することができるため、特に画像端部において良好な画質となる画像を形成することを可能とする。

これをパンスキャン方式に適用した場合、従来までは、生成される画質の劣化を抑制するために、奇数切り出しが指定された場合であっても必ず偶数切り出しとなり、例えば、２ ピクセル単位で水平方向に移動するような動画像が形成されていたが、本発明では、パンスキャン方式のアスペクト比変換を実行する際に、検出手段によって奇数切り出しが検出された場合、水平方向の切り出し端において、上記画像データを構成する輝度データ、色差データを上記指定されたサイズよりも１ピクセル分だけ余分に読み出し、１次元上に並んだ４点の画像データから、隣り合う画像データ間の補間画像データを生成することにより、奇数切り出しにおいても良好な画質で、１ピクセル単位で水平方向に移動するような画像間の繋がりも非常に滑らかなパンスキャン方式でアスペクト比変換された動画像を形成することができる。

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明をする。なお、本発明は、以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることはいうまでもない。

｛映像信号処理装置の構成｝
図１を用いて、本発明を実施するための最良の形態として示す映像信号処理装置１００について説明をする。映像信号処理装置１００は、例えば、地上波デジタル放送として放送され、アンテナ２００を介して受信されたＭＰＥＧ−２（Moving Picture Expert Group-2）方式で高効率符号化された映像信号や、ＤＶＤ（Digital Versatile Disk）再生装置２２０にて再生された、ＤＶＤ（Digital Versatile Disk）パッケージにＭＰＥＧ−２方式で高効率符号化された映像信号を、ディスプレイ２１０で出力表示可能な信号形態に変換する。

映像信号処理装置１００は、ストリームデータ処理部１０１と、メモリ１０２と、画質改善処理部１０３と、ＯＳＤ（On Screen Display）１０４と、ＣＰＵ１０５と、出力ビデオデータ処理部１０８とを備えている。

ストリームデータ処理部１０１、メモリ１０２、画質改善処理部１０３、ＯＳＤ１０４は、レジスタバス１０６を介してＣＰＵ１０５と接続されている。ストリームデータ処理部１０１、画質改善処理部１０３は、レジスタバス１０６を介して、ＣＰＵ１０５との間でレジスタ情報を相互にやり取りする。

また、ストリームデータ処理部１０１、画質改善処理部１０３、ＯＳＤ１０４、メモリ１０２は、メモリバス１０７を介して接続されており、上述したレジスタバス１０６を介してＣＰＵ１０５から供給されるレジスタ情報に基づいて、画像データを送信し、各機能部における処理を実行させる。

ストリームデータ処理部１０１は、上述したように受信又は再生されたＭＰＥＧ２方式で高効率符号化された画像データに対して、トランスポートストリーム（ＴＳ：Transport Stream）方式或いはプログラムストリーム（ＰＳ：Program Stream）方式に応じた各種ストリーム処理を実行する。

メモリ１０２は、ストリームデータ処理部１０１によって各種ストリーム処理が施され、メモリバス１０７を介して供給される画像データを一時的に格納する。画質改善処理部１０３は、メモリ１０２に格納された画像データに対して、伝送過程などで劣化した画像データの画質を改善するための処理を実行する。

ＯＳＤ１０４は、画面表示用のグラフィックッス、字幕情報、緊急情報等の生成を行い、メモリ１０２に格納されている画像データに重ねたり、部分的に表示したりする等の処理を実行する。また、ＯＳＤ１０４は、画像データに対して拡大変換処理、縮小変換処理を実行する。なお、ＯＳＤ１０４については、後で詳細に説明をする。

ＣＰＵ１０５は、当該映像信号処理装置１００の動作を統括的に制御する制御部である。出力ビデオデータ処理部１０８は、ＯＳＤ１０４から供給された画像データに対して、ディスプレイ２１０と接続された接続インターフェース（アナログ形式又はＤＶＩなどのデジタル方式）に応じた信号形式に変換し、ディスプレイ２１０に送信する。

このような、映像信号処理装置１００は、ＬＳＩ（Large Scale Integration）としてワンチップ化されている。

図１に示した映像信号処理装置１００が備えるＯＳＤ１０４は、図２に示すように、拡大変換ブロック１０、上述したような画像データに重ねる文字情報を生成する文字情報生成部１５などを備えている。

ＯＳＤ１０４が備える拡大変換ブロック１０は、所謂アップフォーマットコンバータでありＳＤ（Standard Definition）フォーマットの画像データ、例えば、４８０ｉのサイズの画像データを、ＨＤ（High Definition）フォーマットの画像データ、例えば１０８０ｉのサイズの画像データに拡大処理をしたり、インターレース方式の画像データをプログレッシブ方式の画像データに拡大処理したりする。

図２に示すように、拡大変換ブロック１０は、メモリインターフェース１１と、垂直方向拡大処理部１２と、水平方向拡大処理部１３とを備えている。

メモリインターフェース１１は、ＣＰＵ１０５の制御に応じて、拡大変換ブロック１０にて実行する拡大変換処理の対象となる画像データをメモリ１０２から読み出す際のタイミングを調整する。

メモリインターフェース１１によって調整されたタイミングに応じて、メモリ１０２から読み出された映像信号は、垂直方向拡大処理部１２、水平方向拡大処理部１３にて、それぞれ垂直方向への拡大処理、水平方向への拡大処理が実行されることになる。拡大変換ブロック１０によって拡大処理された映像信号は、文字情報生成部１５によって生成された文字情報などが付加されて、上述したように出力ビデオデータ処理部１０８へ供給される。

続いて、図２に示す拡大変換ブロック１０が備えるレジスタについて説明をする。図２では図示していないが、拡大変換ブロック１０は、メモリ１０２から読み出した画像データを拡大処理する際に必要となる所望の情報を格納するレジスタが用意されている。なお、拡大処理における切り出しに関するデータは、ＭＥＰＧデータにあらかじめエンコードされたＦＣＶＯデータ、ＦＣＨＯデータから算出されることになる。

例えば、図３（ａ）に示すように、メモリ１０２のメモリ領域１０２ａ１、メモリ領域１０２ａ２、メモリ領域１０３ａ３に、それぞれ画像データ２０、２１、２２などが格納されているとする。ここで、メモリ領域１０２ａ２に格納されている画像データ２１から、拡大処理の基になるソース画像データ２１ｃを切り出し、拡大処理する場合を考える。

まず、拡大処理をするには、画像データ２１からソース画像データ２１ｃを切り出す必要がある。切り出しに必要な情報は、図３（ａ）に示す水平方向の切り出し位置を特定する水平方向切り出し位置情報ｈｐ、垂直方向の切り出し位置を特定する垂直方向切り出し位置情報ｖｐ、水平方向の切り出し幅を特定する水平方向切り出し幅情報ｈｗ、垂直方向の切り出し幅を特定する垂直方向切り出し幅情報ｖｗである。

この水平方向切り出し位置情報ｈｐ、垂直方向切り出し位置情報ｖｐ、水平方向切り出し幅情報ｈｗ、垂直方向切り出し幅情報ｖｗは、それぞれ、図３（ｂ）に模式的に示す拡大処理ブロック１０が備えるレジスタ１１０の各レジスタ１１１、１１２、１１３、１１４に格納される。

画像データ２１からソース画像データ２１ｃが切り出されると、次は、拡大処理が実行される。拡大処理に必要な情報は、図４（ａ）に示す水平方向の拡大処理後の表示開始位置を特定する水平方向表示開始位置情報ｈｄｓ、垂直方向の拡大処理後の表示開始位置を特定する垂直方向表示開始位置情報ｖｄｓ、水平方向の拡大処理後の表示幅を特定する水平方向表示幅情報ｈｄｗ、垂直方向の拡大処理後の表示幅を特定する垂直方向表示幅情報ｖｄｗである。

この水平方向表示開始位置情報ｈｄｓ、垂直方向表示開始位置情報ｖｄｓ、水平方向表示幅情報ｈｄｗ、垂直方向表示幅情報ｖｄｗは、それぞれ、図４（ｂ）に模式的に示す拡大処理ブロック１０が備えるレジスタ１１０の各レジスタ１１５、１１６、１１７、１１８に格納される。

また、レジスタ１１０のレジスタ１１９には、水平方向切り出し幅情報ｈｗ、水平方向表示幅情報ｈｄｗから求めた水平方向の拡大率である水平方向拡大率（h Delta）が格納される。また、レジスタ４０には、垂直方向切り出し幅情報ｖｗ、垂直方向表示幅情報ｖｄｗから求めた垂直方向の拡大率である垂直方向拡大率（v Delta）が格納される。この水平方向拡大率、垂直方向拡大率は、それぞれ後述する拡大処理に伴う補間演算処理に用いられる。

さらに、レジスタ１１０のレジスタ１２１、１２２には、それぞれ後述する拡大処理に伴う補間演算処理に用いられる水平方向の初期オフセット値、垂直方向のオフセット値が格納される。

｛拡大変換処理の具体的な説明｝
続いて、映像信号処理装置１００が備える拡大変換ブロック１０の拡大変換処理の動作について具体的に説明をする。なお、上述したように拡大変換ブロック１０は、垂直方向拡大処理部１２と、水平方向拡大処理部１３とを備えているため、垂直方向、水平方向の拡大処理をそれぞれ独立して実行することができるが、この拡大処理動作は、どちらも全く同様の処理動作となるため、水平方向拡大処理部１３における説明をすることで、水平方向拡大処理、垂直方向拡大処理の説明とする。

本発明の実施の形態として示す映像信号処理装置１００が備える拡大変換ブロック１０においては、ＭＰＥＧ−２方式にて高効率符号化された画像データ、特に、４：２：２フォーマットの画像データを拡大処理した際の問題点を大幅に改善することができる。

上述したように、拡大処理においては、まず、メモリ１０２に格納された画像データから所望の領域のソース画像データを切り出し、所望の拡大率となるように拡大処理をすることになる。拡大処理をするには、当然のことながらソース画像データよりも多くの画像データが必要となる。つまり、ソース画像データのみでは、画像データとしての情報が足りないことになる。そこで、切り出したソース画像データを用いて補間演算処理を実行することで、足りない映像情報を補うことになる。

なお、補間演算処理は、現在まで様々な演算手法が考案されており、後で詳細に説明をするが、本発明を実施するための最良の形態として示す映像信号処理装置１００においては、４点補間回路を用いて補間演算処理をする。

ここで、改めて、ＭＰＥＧ−２方式にて高効率符号化された４：２：２フォーマットの画像データを拡大処理する際の問題点について説明をする。

まず、４：２：２フォーマットについて説明をする。一般に人間の視覚特性は、輝度信号と比較して、色差信号に対して感度が低いため、色差信号について間引いた信号を用い、符号化情報量を低減させることができる。４：２：２フォーマットは、水平方向の色差信号を輝度信号の１／２のサイズとするようなフォーマットである。具体的には、４：２：２フォーマットは、各走査線の輝度信号２サンプルに対して、色差信号１サンプルが配置されることになる。

したがって、４：２：２フォーマットの画像データのデータ形式は、図５に示すように、２つの輝度データＹと、色差データＣｂ、Ｃｒとからなる輝度・色差データ３０を最小構成単位としている。輝度・色差データ３０は、輝度データＹ、色差データＣｂを含む輝度・色差データ３０ａと、輝度データＹ、色差データＣｒを含む輝度・色差データ３０ｂで構成されている。輝度は、人間の視覚特性において感度が高いため、表示される画像の１画素（ピクセル）毎に与えられる必要がある。したがって、輝度・色差データ３０ａ、３０ｂは、それぞれ１画素分のデータを表していることになる。

図５に示すように色差データＣｂ、Ｃｒは、それぞれ２画素毎に与えられるため、輝度・色差データ３０ａ、３０ｂにおいて、色差データＣｒ、Ｃｂが互いに不足していることになる。そこで、一方の輝度・色差データ３０ａは、輝度・色差データ３０ｂに含まれる色差データＣｒを共用して用いることになる。他方の輝度・色差データ３０ｂは、輝度・色差データ３０ａに含まれる色差データＣｂを共用して用いることになる。

なお、以下の説明において、図５に示す輝度・色差データ３０を構成する輝度データＹ、色差データＣｂ、Ｃｒは、それぞれ８ビットの情報量を有することにする。つまり、輝度・色差データ３０は、８×４＝３２ビット（８バイト）の情報量となる。

このような、輝度・色差データ３０を、４：２：２フォーマット形式の画像データの最小構成単位とすることを前提にして、メモリ１０２に格納された画像データを切り出す際の動作について説明をする。なお、説明は、メモリ１０２に記憶された画像データの水平方向１ラインのみについて考えることにする。また、説明のため、扱う画像データの情報量も実際の画像データよりも大幅に削減させて考えることにする。

まず、図６に示すように、１２８ビット（１６バイト）を１ワードとするような構成単位のメモリ領域１０２ｈａ、１０２ｈｂ、１０２ｈｃからなる水平方向メモリ領域１０２ｈに画像データの水平方向１ライン分の画像データが格納されているとする。図６に示すように、メモリ領域１０２ｈａ、１０２ｈｂ、１０２ｈｃには、上述した２画素分の画像データである輝度・色差データ３０が、それぞれ４個ずつ、つまり８画素分ずつ格納されることになる。

メモリ領域１０２ｈａ、１０２ｈｂ、１０２ｈｃにおいて、輝度・色差データ３０が格納される画素データ単位の領域を画素データ格納領域Ｇ１〜Ｇ２４と呼ぶことにする。また、メモリ１０２の各メモリ領域１０２ｈａ、１０２ｈｂ、１０２ｈｃに格納された輝度・色差データ３０を、順番にパケット４０_１〜４０_１２と呼ぶことにする。

このようなメモリ１０２の構成、４：２：２フォーマットの輝度・色差データ３０の構成などを踏まえ、パンスキャン方式のアスペクト比変換を実行するという仮定の基に、水平方向メモリ領域１０２ｈに格納されているパケット４０_１〜４０_１２から、所望の輝度・色差データ３０を切り出す際の問題点を具体的に検証する。

まず、パンスキャン方式のアスペクト比変換を実行するにあたり、水平方向切り出し位置情報ｈｐ、水平方向切り出し幅情報ｈｗによって、図６に示すように、メモリ領域１０２ｈａの画素データ格納領域Ｇ７、Ｇ８、メモリ領域１０２ｈｂの画素データ格納領域Ｇ９〜Ｇ１６、メモリ領域１０２ｈｃの画素データ格納領域Ｇ１７、Ｇ１８が指定され、パケット４０_４〜４０_９の輝度・色差データ３０（１２画素）が切り出されたとする。

この場合、切り出される輝度・色差データ３０は、パケット単位で切り出されており、それぞれのパケット内では、各画素の色差データＣｒ、Ｃｂを相互に共有することで正しく補間がなされることになる。このように、パケット単位、つまり４：２：２フォーマット形式の画像データの最小構成単位で輝度・色差データ３０を切り出す場合を“偶数切り出し”と呼ぶことにする。

続いて、パンスキャン方式のアスペクト比変換を実行するには、図６に示すような切り出しを実行した後、切り出す水平方向メモリ領域１０２ｈの位置を変更することになるが、切り出す位置によって、表示される映像に違和感がでず、滑らかな動きとなるように切り出されることが望ましい。

例えば、図６で示した切り出しによって表示される映像から、右方向に滑らかに移動した映像となるように切り出すには、図６における水平方向切り出し位置情報ｈｐ、水平方向切り出し幅情報ｈｗから１画素分だけ右方向にシフトされた、図７に示すような水平方向切り出し位置情報ｈｐ、水平方向切り出し幅情報ｈｗによってメモリ領域１０２ｈが指定されることが推定される。

図７に示すように、切り出された両端部においては、上述した“偶数切り出し”の場合と異なり、パケット単位で輝度・色差データ３０が切り出されず、パケット４０_４では、一つの輝度データＹと、色差データＣｂのみ、パケット４０_１０では、一つの輝度データＹと、色差データＣｒのみが切り出されることになる。このように、パケット単位で輝度・色差データ３０が切り出されない場合、つまり４：２：２フォーマット形式の画像データの最小構成単位が無視されて切り出される場合を“奇数切り出し”と呼ぶことにする。

“奇数切り出し”においては、図７に示す左端部を例に挙げると、画素データ格納領域Ｇ７に格納されているパケット４０_４の輝度データＹ、色差データＣｂが無視されることになる。この輝度データＹ、色差データＣｂは、拡大処理において、つまりパンスキャン方式の切り出し処理の後に実行される拡大処理において、補間画像データを生成する際に必要となるデータである。また、ディスプレイ２１０に供給するＲＧＢ信号を生成する場合にも、パケット４０_４の色差データが必要であるため、画素データ格納領域Ｇ７に格納されたパケット４０_４の輝度データＹ、色差データＣｂが無視されるということは、最終的にパンスキャン方式でアスペクト比変換された映像の画質に劣化が生じてしまう可能性が非常に高くなる。

切り出しに関するデータである水平方向切り出し位置情報ｈｐ、水平方向切り出し幅情報ｈｗなどを算出する際に用いるＦＣＨＯデータ、垂直方向切り出し位置情報ｖｐ、垂直方向切り出し幅情報ｖｗなどを算出する際に用いるＦＣＶＯデータは、画像中心からのオフセット量が指定されているのみであるため、上述したような“偶数切り出し”、“奇数切り出し”といった概念をデータ中に含んでいない。

例えば、従来までの映像処理装置においては、“奇数切り出し”による映像の画質劣化を防ぐため、“奇数切り出し”となるようなＦＣＨＯデータ、ＦＣＶＯデータがＭＰＥＧデータにエンコードされていても、常に“偶数切り出し”とするような設定となっていた。したがって、パンスキャン方式のような映像のシフトを伴うエフェクトなどを実行する場合には、滑らかに動画像表示できていないといった問題があった。

そこで、本発明を実施するための最良の形態として示す映像信号処理装置１００では、図７に示すような“奇数切り出し”となるようなＦＣＨＯデータ、ＦＣＶＯデータがＭＰＥＧデータにエンコードされていても、水平方向拡大処理部１３において、図８に示すように、両端における必要なデータである、画素データ格納領域Ｇ７の輝度データＹ、色差データＣｂ、画素データ格納領域Ｇ２０の輝度データＹ、色差データＣｒを取り出して、補間画像データ生成に用いたり、ＲＧＢ信号生成時に用いたりすることで、誤った補間処理が実行されないようにする。

｛水平方向拡大処理部１３の具体的な構成｝
続いて、上述したような、“偶数切り出し”及び“水平切り出し”を実行する水平方向拡大処理部１３の構成について図９を用いて説明をする。図９に示すように、水平方向拡大処理部１３は、タイミング信号生成ブロック５０と、フィルタ回路６０とを備えている。水平方向拡大処理部１３は、タイミング信号生成ブロック５０で生成される各種タイミング信号に応じて、メモリ１０２に格納された画像データを読み出し、フィルタ回路６０で拡大処理を実行する。

水平方向拡大処理部１３のフィルタ回路６０は、拡大処理に伴い、以下に示すような４点補間演算処理を実行することになる。４点補間演算処理は、公知の技術であり、例えば、特開平４−３１７１７０号公報（４点補間回路）に詳細に記載されているため、本発明を実施するための最良の形態においては、その概略のみの記載とする。

４点補間演算処理は、図１０に示すようなフィルタ関数であるＣｕｂｉｃ関数に補間前データ（Sourceデータ）を４点分入力することで、補間データ（Destinationデータ）を求める演算手法である。Ｃｕｂｉｃ関数から補間データを求めるには、４点分の補間前データの他に、図４で示したレジスタ１１０のレジスタ１１９、レジスタ１２１に格納された水平方向拡大率（h Delta）、水平方向初期オフセット値も必要となる。

図１０に示すように、水平方向初期オフセット値、水平方向拡大率は、それぞれ初期オフセット値ｏｆｆ、拡大率ｄｅｌとしている。図１０に示すフェイズｐｈａは、この初期オフセットｏｆｆと、拡大率ｄｅｌの累積加算値とによって算出される値である。図１０では、一例として、補間前データである入力データＡ、Ｂ、Ｃ、Ｄによって、補間データである出力データＯＡ、ＯＢが生成されている様子を示してある。続く、出力データＯＣは、入力データＢ、Ｃ、Ｄ、Ｅによって生成されることになる。

４点補間演算処理において、補間演算に用いられる４点のデータのうち、図１０に示す入力データＢがＣｕｂｉｃ関数の中心となる。また、上述した水平方向初期オフセット値つまり、初期オフセット値ｏｆｆは、出力開始位置のデータ、図１０における、出力データＯＡにのみ影響することになる。

再び図９に戻り、水平方向拡大処理部１３の構成について説明をする。図９に示すように、タイミング信号生成ブロック５０は、フェイズ計算ブロック５１と、初期化タイミング信号生成ブロック５２と、マスク信号生成ブロック５３とを備えている。

フェイズ計算ブロック５１は、レジスタ１１９、１２１から、それぞれ読み出された拡大率ｄｅｌ、初期オフセット値ｏｆｆ、初期化タイミング信号生成ブロック５２から供給される累積計算開始信号ｒｓｐからフェイズｐｈａを生成する。算出されたフェイズｐｈａは、図２に示したメモリインターフェースブロック１１、フィルタ回路６０に供給される。メモリインターフェースブロック１１に供給されたフェイズｐｈａは、メモリ１０２に格納された画像データを読み出す際のタイミング信号となる。また、フィルタ回路６０に供給されるフェイズｐｈａは、データバッファ６１、補間関数ブロック６２のそれぞれに供給される。

初期化タイミング信号生成ブロック５２は、レジスタ１１５、１１１から、それぞれ読み出した水平方向表示開始位置情報ｈｄｓ、水平方向切り出し位置情報ｈｐの最下位ビットｌｓｂ（least significant bit）から、フェイズ計算ブロック５１に供給する累積計算開始信号ｒｓｐを生成する。この累積計算開始信号ｒｓｐは、上述した“偶数切り出し”、“奇数切り出し”に応じて、それぞれ異なった信号となる。

マスク信号生成ブロック５３は、レジスタ１１５、１１１から、それぞれ読み出した水平方向表示開始位置情報ｈｄｓ、水平方向切り出し位置情報ｈｐの最下位ビットｌｓｂ（least significant bit）、さらに、レジスタ１１３から読み出した水平方向切り出し幅情報ｈｄｗからマスク信号ｍｓｋを生成する。

フィルタ回路６０は、データバッファ６１と、補間関数ブロック６２と、ディレイ調整ブロック６３とを備えている。

データバッファ６１は、補間関数ブロック６２にて実行される補間演算処理に用いられる入力データである輝度・色差データ３０を入力しバッファリングする。データバッファ６１は、マスク信号生成ブロック５３から供給されたマスク信号ｍｓｋで、フェイズ計算ブロック５１から供給されたフェイズｐｈａの最上位ビットｍｓｂ（most significant bit）をマスクすることで生成されるタイミング信号に基づいて、入力データをバッファリングする。このとき、データバッファ６１には、レジスタ１１３、１１７から読み出された水平方向切り出し幅情報ｈｗ、水平方向表示幅情報ｈｄｗが供給される。

補間関数ブロック６２は、データバッファ６１にバファリングされた輝度・色差データ３０を、フェイズ計算ブロック５１から供給されるフェイズｐｈａを用いて、フィルタリングして、上述したｃｕｂｉｃ関数に基づいた演算処理により補間データｉｐｏを生成する。

ディレイ調整ブロック６３は、補間関数ブロック６２から供給された補間データｉｐｏの“偶数切り出し”、“奇数切り出し”に応じて生ずるレイテンシーを統一し、水平方向に拡大された出力画像データｐｄと、有効領域を示す信号とを出力する。このとき、ディレイ調整ブロック６３には、レジスタ１１７から読み出された水平方向表示幅情報ｈｄｗが供給される。

｛バッファリング動作｝
続いて、上述したような構成の水平拡大処理部１３において実行される水平拡大処理におけるデータバッファ６１のバッファリング動作を“偶数切り出し”、“奇数切り出し”毎に説明する。まず、図１１、１２に示すタイミングチャートを用いて、データバッファ６１に入力する入力データのうち輝度データＹに着目し、“偶数切り出し”、“奇数切り出し”における動作について説明をする。なお、図１１、１２に示すタイミングチャートは、一例として、８ピクセルの画像から、１６ピクセルの画像へと２倍に拡大する場合について示している。なお、フェイズ計算ブロック５０に供給される初期オフセットｏｆｆを“０”とし、拡大率ｄｅｌを“０．５”としている。

図１１（ａ）〜（ｉ）は、“偶数切り出し”を実行する際のタイミングチャートであり、それぞれ以下に説明するような信号を示している。

図１１において、（ａ）は、水平拡大処理部１３に供給される動作クロック信号、（ｂ）は、拡大後の有効画像領域を示すマスク信号、（ｃ）は、有効データの開始を示すフラグ信号、（ｄ）は、あらかじめ拡大タイミングを加味した状態でメモリ１０２から読み出された輝度データＹ、（ｅ）は、拡大前の有効画像領域を示すマスク信号、（ｆ）は、メモリインターフェースブロック１１へ供給したメモリ１０２から輝度データＹを読み出す際のタイミング信号兼データバッファ６１にバッファリングする際のタイミング信号、（ｇ）は、データバッファ６１にバッファリングされた輝度データＹ、（ｈ）は、フェイズ計算ブロック５１で生成されるフェイズｐｈａ、（ｉ）は、（ｂ）に示した拡大後の有効画像領域を示すマスク信号を３クロックディレイさせた信号であり、拡大処理された画像データの出力タイミングを示している。

また、図１１（ｇ）における（ｇＡ）、（ｇB）、（ｇＣ）、（ｇＤ）は、それぞれ図１０を用いて説明した４点補間演算処理で入力されるデータＡ、Ｂ、Ｃ、Ｄを示している。

図１１において、最も重要な信号は、図１１（ｆ）で示したタイミング信号であり、“偶数切り出し”の特徴を表している。このようなタイミング信号を生成してメモリ１０２からの輝度データＹの読み出し、データバッファ６１へバッファリングをすることで、“偶数切り出し”が実行されることになる。

図１１（ｇＢ）は、データＢに相当するため、上述したように、４点補間演算処理をする際のＣｕｂｉｃ関数の中心となる。したがって、最初の輝度データＹ０がデータバッファ６１のフリップフロップを経由して、データＢとなった時点で補間計算が開始される（ステップＳ１）。このとき、図１１（ｇＡ）に示すように、データＡに相当するデータがデータバッファ６１に供給されていないため、データＢと同じ輝度データＹ０が用いられることになる。したがって、ステップＳ１において補間関数ブロック６２に４点補間演算を実行するために供給される輝度データを、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｙ０、Ｙ０、Ｙ１、Ｙ２）のようになる。

逆説的になるが、図１１（ｆ）に示すタイミング信号は、このような輝度データの供給により補間演算ブロック６２における演算が実行されるよう、ステップＳ１を開始するまでの初期化期間として、３クロック分のイニシャル（initial）信号を有している。このイニシャル信号の後の図１１（ｆ）に示されるタイミング信号は、ここでは、２倍の拡大率の逆数として示されるデルタ０．５を累積加算した際の、２回に１回ごとに発生するキャリーを示している。

このように、図１１（ｆ）に示すタイミング信号に応じて、データバッファ６１にバッファリングされ（ステップＳ１〜ステップＳ７）、補間関数ブロック６２にて補間演算処理が実行され、さらに、図１１（ｇＢ）に示すように、データＢとして８個目の輝度データである輝度データＹ７が供給され、バッファリングされ（ステップＳ８）、補間演算が実行されることで、１水平方向ラインの補間演算処理が終了することになる。

このときデータＣ、Ｄに相当するデータがデータバッファ６１に供給されていないため、データＢと同じ輝度データＹ７がどちらにも用いられることになる。したがって、ステップＳ８においてデータバファ６１に４点補間演算を実行するために供給される輝度データは、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｙ６、Ｙ７、Ｙ７、Ｙ７）のようになる。

以上が、“偶数切り出し”のバッファリング動作であり、このようにデータバッファ６１にバッファリングされることにより、補間関数ブロック６２で生成される補間演算処理された輝度データは、４：２：２フォーマットを崩すことがないため、非常に良好な画像を形成することができる。

図１２（ａ）〜（ｉ）は、“奇数切り出し”を実行する際のタイミングチャートであり、それぞれ以下に説明するような信号を示している。なお、説明のため、この“奇数切り出し”では、上述した図１１を用いて示した“偶数切り出し”の後に、右水平方向に１ピクセル分移動させた画像を切り出すことを目的とする場合を例として挙げている。すなわち、上述した“偶数切り出し”では、輝度データＹ０〜Ｙ７を切り出して、拡大補間処理を実行するが、この“奇数切り出し”では、輝度データＹ１〜Ｙ８を切り出して拡大補間処理を実行する。

図１２において、（ａ）は、水平拡大処理部１３に供給される動作クロック信号、（ｂ）は、拡大後の有効画像領域を示すマスク信号、（ｃ）は、有効データの開始を示すフラグ信号、（ｄ）は、あらかじめ拡大タイミングを加味した状態でメモリ１０２から読み出された輝度データＹ、（ｅ）は、拡大前の有効画像領域を示すマスク信号、（ｆ）は、メモリインターフェースブロック１１へ供給したメモリ１０２から輝度データＹを読み出す際のタイミング信号兼データバッファ６１にバッファリングする際のタイミング信号、（ｇ）は、データバッファ６１にバッファリングされた輝度データＹ、（ｈ）は、フェイズ計算ブロック５１で生成されるフェイズｐｈａ、（ｉ）は、（ｂ）に示した拡大後の有効画像領域を示すマスク信号を４クロックディレイさせた信号であり、拡大処理された画像データの出力タイミングを示している。

また、図１２（ｇ）における（ｇＡ）、（ｇＢ）、（ｇＣ）、（ｇＤ）は、それぞれ図１０を用いて説明した４点補間演算処理で入力されるデータＡ、Ｂ、Ｃ、Ｄを示している。

図１２（ｅ）は、上述した“偶数切り出し”における、図１１（ｅ）に相当するが、拡大前の有効画像領域を８ピクセルではなく１０ピクセルとし、輝度データＹ１〜Ｙ８の前後をそれぞれ１ピクセル分余分に確保している。これが、図５〜図８を用いて説明した４：２：２フォーマットを“奇数切り出し”する際の弊害を除去するための操作である。

図１２（ｅ）に示すマスク信号と同様に、重要な信号は、図１２（ｆ）で示したタイミング信号であり、“奇数切り出し”の特徴を表している。このようなタイミング信号を生成してメモリ１０２からの輝度データＹの読み出し、データバッファ６１へのバッファリングを実行することで、“奇数切り出し”が実行されることになる。

図１２（ｇＢ）は、データＢに相当するため、上述したように、４点補間演算処理をする際のＣｕｂｉｃ関数の中心となる。“奇数切り出し”において、輝度データＹ０、Ｙ９は、Ｃｕｂｉｃ関数の中心であるデータＢとして用いられることはなく、あくまで補間要素として使用されることになる。

例えば、従来の技術においては、マスク信号によって、輝度データＹ１〜Ｙ８のみが有効画像領域として指定され、データバッファ６１にバッファリングされることになる。したがって、最初の４点補間演算を実行するためにデータバッファ６１に供給される輝度データは、データＡに供給される輝度データをデータＢと重複させるため、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｙ１、Ｙ１、Ｙ２、Ｙ３）のようになる。

一方、本発明の実施の形態として示す水平拡大処理部１３では、最初の輝度データＹ０をデータバッファ６１のフリップフロップを経由してデータＢとせずに、そのままスルーして、データＡとする。そして、次の輝度データＹ１がデータバッファ６１のフリップフロップを経由して、データＢとなった時点で補間計算が開始される（ステップＳ１１）。このときデータＡに相当するデータは、補間要素として確保された輝度データＹ０が用いられる。

したがって、ステップＳ１１において補間関数ブロック６２に４点補間演算を実行するために供給される輝度データは、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｙ０、Ｙ１、Ｙ２、Ｙ３）のようになる。

逆説的になるが、図１２（ｆ）に示すタイミング信号は、このような輝度データの供給により補間演算ブロック６２における演算が実行されるよう、ステップＳ１１を開始するまでの初期化期間として、４クロック分のイニシャル（initial）信号を有している。このイニシャル信号の後の図１２（ｆ）に示されるタイミング信号は、ここでは、２倍の拡大率の逆数として示されるデルタ０．５を累積加算した際の、２回に１回ごとに発生するキャリーを示している。

このようにタイミング図１２（ｆ）に示すタイミング信号に応じて、データバッファ６１にバッファリングされ（ステップＳ１〜ステップＳ７）、補間関数ブロック６２にて補間演算処理が実行され、さらに図１１（ｇＢ）に示すように、データＢとして８個目の輝度データである輝度データＹ８が供給され、バッファリングされ（ステップＳ１８）、補間演算が実行されることで、１水平方向ラインの補間演算処理が終了することになる。

このときデータＣ、Ｄに相当するデータが、データバッファ６１に供給されていないため、輝度データＹ０と同様に補間要素として確保された輝度データＹ９が用いられることになる。したがって、ステップＳ１８において、データバッファ６１に、４点補間演算を実行するために供給される輝度データＹ９は、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｙ７、Ｙ８、Ｙ９、Ｙ９）のようになる。

以上が、“奇数切り出し”のバッファリング動作であり、このようにデータバッファ６１にバッファリングされることにより、補間関数ブロック６２で生成される補間演算処理された輝度データは、４：２：２フォーマットを崩すことがないため、非常に良好な画像を形成することができる。

以上の結果をまとめると、図１３に示すようになる。図１３（ａ）に示すような４：２：２フォーマットの画像データを構成する輝度データＹ０、Ｙ１、Ｙ２・ ・ ・ ・Ｙ９、Ｙ１０、Ｙ１１に対して、まず、始めに図１３（ｂ）に示す輝度データＹ０〜Ｙ７までを指定したとする（偶数切り出し）。

次に、図１３（ｃ）に示すように、１ピクセルだけ水平右方向にシフトした輝度データＹ１〜Ｙ８が指定されたとする（奇数切り出し）。このとき、データバッファ６１にバッファリングさせる輝度データは、図１３（ｄ）に示すように輝度データＹ０〜Ｙ９となる。この輝度データＹ０、Ｙ９は、４：２：２フォーマットを維持するための補間要素として用いられる。

そして、図１３（ｅ）に示すように、さらに１ピクセルだけ水平右方向にシフトした輝度データＹ２〜Ｙ９が指定されたとする（偶数切り出し）。

このようにして、“偶数切り出し”、“奇数切り出し”によって切り出された画像データから補間画像データを生成し、連続表示させた映像は、“偶数切り出し”ではもちろんのこと、“奇数切り出し”においても４：２：２フォーマットが崩されることがないため、非常に滑らかで高画質な映像となる。したがって、パンスキャン方式のアスペクト比変換を実行した場合には、従来までは、滑らかさに欠けていた動画像を、非常に滑らかな動画像に改善することができる。

続いて、図１４、１５に示すタイミングチャートを用いて、データバッファ６１に入力する入力データのうち色差データＣｒ、Ｃｂに着目し、“偶数切り出し”、“奇数切り出し”における動作について説明をする。なお、図１４、１５に示すタイミングチャートは、一例として、８ピクセルの画像から、１６ピクセルの画像へと２倍に拡大する場合について示している。なお、フェイズ計算ブロック５０に供給される初期オフセットｏｆｆを“０”とし、拡大率ｄｅｌを“０．５”としている。

図１４（ａ）〜（ｉ）は、“偶数切り出し”を実行する際のタイミングチャートであり、それぞれ以下に説明するような信号を示している。

図１４において、（ａ）は、水平拡大処理部１３に供給される動作クロック信号、（ｂ）は、拡大後の有効画像領域を示すマスク信号、（ｃ）は、有効データの開始を示すフラグ信号、（ｄ）は、あらかじめ拡大タイミングを加味した状態でメモリ１０２から読み出された輝度データＹ、（ｅ）は、拡大前の有効画像領域を示すマスク信号、（ｆ）は、メモリインターフェースブロック１１へ供給したメモリ１０２から色差データＣｂ、Ｃｒを読み出す際のタイミング信号兼データバッファ６１にバッファリングする際のタイミング信号、（ｇ）は、データバッファ６１にバッファリングされた輝度データＹ、（ｈ）は、フェイズ計算ブロック５１で生成されるフェイズｐｈａ、（ｉ）は、（ｂ）に示した拡大後の有効画像領域を示すマスク信号を６クロックディレイさせた信号であり、拡大処理された画像データの出力タイミングを示している。

また、図１４（ｇ）における（ｇＡ）、（ｇＢ）、（ｇＣ）、（ｇＤ）は、それぞれ図１０を用いて説明した４点補間演算処理で入力されるデータＡ、Ｂ、Ｃ、Ｄを示している。

図１４において、最も重要な信号は、図１４（ｆ）で示したタイミング信号であり、“偶数切り出し”の特徴を表している。このようなタイミング信号を生成してメモリ１０２からの色差データＣｂ、Ｃｒの読み出し、データバッファ６１へのバッファリングを実行することで、“偶数切り出し”が実行されることになる。

図１４（ｇＢ）は、データＢに相当するため、上述したように、４点補間演算処理をする際のＣｕｂｉｃ関数の中心となる。したがって、最初の色差データＣｂ０、Ｃｒ０がデータバッファ６１のフリップフロップを経由して、データＢとなった時点で補間計算が開始される（ステップＳ３１）。このとき、図１４（ｇＡ）に示すように、データＡに相当するデータがデータバッファ６１に供給されていないため、データＢと同じ色差データＣｂ０、Ｃｒ０が用いられることになる。したがって、ステップＳ３１において補間関数ブロック６２に４点補間演算を実行するために供給される輝度データを、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｃｂ０：Ｃｒ０、Ｃｂ０：Ｃｒ０、Ｃｂ２：Ｃｒ２、Ｃｂ４：Ｃｒ４）のようになる。

逆説的になるが、図１４（ｆ）に示すタイミング信号は、このような輝度データの供給により補間演算ブロック６２における演算が実行されるよう、ステップＳ３１を開始するまで初期化の期間として、６クロック分のイニシャル（initial）信号を有している。このイニシャル信号の後の図１４（ｆ）に示されるタイミング信号は、ここでは、２倍の拡大率の逆数として示されるデルタ０．５を累積加算した際の、２回に１回ごとに発生するキャリーを示している。

このように、図１４（ｆ）に示すタイミング信号に応じて、データバッファ６１にバッファリングされ（ステップＳ３１〜ステップＳ３７）、補間関数ブロック６２にて補間演算処理が実行され、さらに、図１４（ｇＢ）に示すように、データＢとして８個目の輝度データである色差データＣｂ６、Ｃｒ６が供給され、バッファリングされ（ステップＳ３８）、補間演算が実行されることで、１水平方向ラインの補間演算処理が終了することになる。

このときデータＣ、Ｄに相当するデータがデータバッファ６１に供給されていないため、データＢと同じ色差データＣｂ６、Ｃｒ６がどちらにも用いられることになる。したがって、ステップＳ３８において、データバファ６１に４点補間演算を実行するために供給される輝度データは、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｃｂ４：Ｃｒ４、Ｃｂ６：Ｃｒ６、Ｃｂ６：Ｃｒ６、Ｃｂ６：Ｃｒ６）のようになる。

以上が、“偶数切り出し”のバッファリング動作であり、このようにデータバッファ６１にバッファリングされることにより、補間関数ブロック６２で生成される補間演算処理された輝度データは、４：２：２フォーマットを崩すことがないため、非常に良好な画像を形成することができる。

図１５（ａ）〜（ｉ）は、“奇数切り出し”を実行する際のタイミングチャートであり、それぞれ以下に説明するような信号を示している。なお、説明のため、この“奇数切り出し”では、上述した図１４を用いて示した“偶数切り出し”の後に、右水平方向に１ピクセル分移動させた画像を切り出すことを目的とする場合を例として挙げている。すなわち、上述した“偶数切り出し”では、色差データＣｂ０、Ｃｒ０〜Ｃｂ６、Ｃｒ６を切り出して、拡大補間処理を実行するが、この“奇数切り出し”では、色差データＣｒ０、Ｃｂ２〜Ｃｒ６、Ｃｂ８を切り出して拡大補間処理を実行する。

図１５において、（ａ）は、水平拡大処理部１３に供給される動作クロック信号、（ｂ）は、拡大後の有効画像領域を示すマスク信号、（ｃ）は、有効データの開始を示すフラグ信号、（ｄ）は、あらかじめ拡大タイミングを加味した状態でメモリ１０２から読み出された色差データＣｂ、Ｃｒ、（ｅ）は、拡大前の有効画像領域を示すマスク信号、（ｆ）は、メモリインターフェースブロック１１へ供給したメモリ１０２から色差データＣｂ、Ｃｒを読み出す際のタイミング信号兼データバッファ６１にバッファリングする際のタイミング信号、（ｇ）は、データバッファ６１にバッファリングされた色差データＣｂ、Ｃｒ、（ｈ）は、フェイズ計算ブロック５１で生成されるフェイズｐｈａ、（ｉ）は、（ｂ）に示した拡大後の有効画像領域を示すマスク信号を４クロックディレイさせた信号であり、拡大処理された画像データの出力タイミングを示している。

また、図１５（ｇ）における（ｇＡ）、（ｇＢ）、（ｇＣ）、（ｇＤ）は、それぞれ図１０を用いて説明した４点補間演算処理で入力されるデータＡ、Ｂ、Ｃ、Ｄを示している。

図１５（ｅ）は、上述した“偶数切り出し”における、図１４（ｅ）に相当するが、拡大前の有効画像領域を８ピクセルではなく１０ピクセルとし、色差データＣｒ０、Ｃｂ２〜Ｃｒ６、Ｃｂ８の前後をそれぞれ１ピクセル分余分に確保している。これが、図５〜図８を用いて説明した４：２：２フォーマットを“奇数切り出し”する際の弊害を除去するための操作である。

図１５（ｅ）に示すマスク信号と同様に、重要な信号は、図１５（ｆ）で示したタイミング信号であり、“奇数切り出し”の特徴を表している。このようなタイミング信号を生成してメモリ１０２からの色差データＣｂ、Ｃｒの読み出し、データバッファ６１へのバッファリングを実行することで、“奇数切り出し”が実行されることになる。

図１５（ｇＢ）は、データＢに相当するため、上述したように、４点補間演算処理をする際のＣｕｂｉｃ関数の中心となる。

例えば、従来の技術においては、マスク信号によって、色差データＣｒ０、Ｃｂ２〜Ｃｒ６、Ｃｂ８のみが有効画像領域として指定され、データバッファ６１にバッファリングされることになる。したがって、最初の４点補間演算を実行するためにデータバッファ６１に供給される輝度データは、データＡに供給される輝度データをデータＢと重複させるため、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｃｒ０：Ｃｂ２、Ｃｒ０：Ｃｂ２、Ｃｒ２：Ｃｂ４、Ｃｒ４：Ｃｂ６）のようになる。

一方、本発明の実施の形態として示す水平拡大処理部１３では、“偶数切り出し”と同様に、最初の色差データＣｂ０、Ｃｒ０がデータバッファ６１のフリップフロップを経由して、データＢとなった時点で補間計算が開始される（ステップＳ４１）。このときデータＡに相当するデータがデータバッファ６１に供給されていないため、データＢと同じ色差データＣｂ０、Ｃｒ０が用いられることになる。

したがって、ステップＳ４１において補間関数ブロック６２に４点補間演算を実行するために供給される輝度データは、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｃｂ０：Ｃｒ０、Ｃｂ０：Ｃｒ０、Ｃｂ２：Ｃｒ２、Ｃｂ４：Ｃｒ４）のようになる。

しかしながら、色差データの“奇数切り出し”では、フェイズの累積加算が、“偶数切り出し”と異なっている。“偶数切り出し”においては、フェイズを０、０．５、・ ・ ・と用いることになるが、“奇数切り出し”においては、右にシフトさせ、最初の４点による補間演算においてフェイズを０．５とし、次の４点による補間演算においてフェイズを０としている。したがって、最後の４点による補間演算では、フェイズを０としている。つまり、色差データの場合は、輝度データの場合と異なり、“偶数切り出し”、“奇数切り出し”の違いによってタイミング信号のイニシャル信号のクロック数に違いはなく、どちらも６クロック分有していることになる。

このようにタイミング図１５（ｆ）に示すタイミング信号に応じて、データバッファ６１にバッファリングされ（ステップＳ４１〜ステップＳ４７）、補間関数ブロック６２にて補間演算処理が実行され、さらに図１５（ｇＢ）に示すように、データＢとして８個目の色差データである色差データＣｂ８、Ｃｒ８が供給され、バッファリングされ（ステップＳ４８）、補間演算が実行されることで、１水平方向ラインの補間演算処理が終了することになる。

このときデータＣ、Ｄに相当するデータが、データバッファ６１に供給されていないため、色差データＣｂ８、Ｃｒ８が用いられることになる。したがって、ステップＳ４８において、データバッファ６１に、４点補間演算を実行するために供給される色差データは、データＡ、Ｂ、Ｃ、Ｄの順に示すと（Ｃｂ６：Ｃｒ６、Ｃｂ８：Ｃｒ８、Ｃｂ８：Ｃｒ８、Ｃｂ８：Ｃｒ８）のようになる。

以上が、“奇数切り出し”のバッファリング動作であり、このようにバッファリングされることにより、補間関数ブロック６２で生成される補間演算処理された色差データは、４：２：２フォーマットを崩すことがないため、非常に良好な画像を形成することができる。

以上の結果をまとめると、図１６に示すようになる。図１６（ａ）に示すような４：２：２フォーマットの画像データを構成する色差データＣｂ０、Ｃｒ０、Ｃｂ２、Ｃｂ２、Ｃｂ４、Ｃｒ４、Ｃｂ６、Ｃｒ６、Ｃｂ８、Ｃｒ８、Ｃｂ１０、Ｃｒ１０に対して、まず、始めに図１６（ｂ）に示す色差データＣｂ０〜Ｃｒ６までを指定したとする（偶数切り出し）。

次に、図１６（ｃ）に示すように、１ピクセルだけ水平右方向にシフトした色差データＣｒ０〜Ｃｂ８が指定されたとする（奇数切り出し）。このとき、データバッファ６１にバッファリングさせる輝度データは、図１６（ｄ）に示すように色差データＣｂ０〜Ｃｒ８となる。この色差データＣｂ０、Ｃｒ８は、４：２：２フォーマットを維持するための補間要素として用いられる。

そして、図１６（ｅ）に示すように、さらに１ピクセルだけ水平右方向にシフトした色差データＣｂ２〜Ｃｒ８が指定されたとする（偶数切り出し）。

このようにして、“偶数切り出し”、“奇数切り出し”によって拡大処理された画像データから補間画像データを生成し、連続表示させた映像は、“偶数切り出し”ではもちろんのこと、“奇数切り出し”においても４：２：２フォーマットが崩されることがないため、非常に滑らかで高画質な映像となる。したがって、パンスキャン方式のアスペクト比変換を実行した場合には、従来までは、滑らかさに欠けていた動画像を、非常に滑らかな動画像に改善することができる。

｛タイミング信号生成ブロック５０、フィルタ回路６０の実装例｝
以下に、図９に示した水平拡大処理部１３の実装例を示す。図９に示したように水平拡大処理部１３は、タイミング信号生成ブロック５０と、フィルタ回路６０とを備えている。

例えば、輝度データＹに対しては、図１７に示すようなタイミング信号生成ブロック５０ｙ、図１８に示すようなフィルタ回路６０ｙを実装することができる。

図１７に示すように、タイミング信号生成ブロック５０ｙは、入力された拡大率ｄｅｌ、初期オフセットｏｆｆをセレクタＳＥＬ１によって切り換えながら累積計算を実行しフェイズｐｈａを生成する。セレクタＳＥＬ１は、セレクタＳＥＬ３からの出力によって切り換えを行う。

図１１（ｆ）、図１２（ｆ）に示したタイミング信号のイニシャル（initial）信号は、有効画像領域の始まりにつけてある開始フラグ信号ＦＳをディレイさせたものであり、“偶数切り出し”、“奇数切り出し”に応じたセレクタＳＥＬ２の切り換えによって、それぞれに対応したイニシャル信号が生成されることになる。このイニシャル信号は、論理回路ＬＯＧ１に供給される。論理回路ＬＯＧ１は、同じく供給されたフェイズｐｈａのＭＳＢ（Most Significant Bit）、すなわち上述したキャリーと、供給されたイニシャル信号との論理和を取ることで、図１１（ｆ）、図１２（ｆ）として示したタイミング信号ＴＳを生成する。

また、ディレイされた開始フラグ信号ＦＳは、セレクタＳＥＬ３に供給され、その出力がＳＥＬ１の切り換えに作用する。セレクタＳＥＬ２、ＳＥＬ３は、水平方向切り出し位置情報ｈｐのｌｓｂに応じて切り換えられる。

タイミング信号生成ブロック５０ｙは、図１１（ｅ）、図１２（ｅ）に示した、拡大前の有効画像領域を示すマスク信号である拡大前有効画像領域バリッド信号ＢＶＳを生成する。

水平方向切り出し位置情報ｈｐのｌｓｂで切り換えられるセレクタＳＥＬ４は、水平方向切り出し幅情報ｈｗと、水平方向切り出し幅情報ｈｗを２ピクセル分拡張させた信号とのいずれかを出力する。そして、比較器ＣＭＰ１による、ＳＥＬ４の出力値と、タイミング信号ＴＳで回るマスク信号生成カウンタＣＮＴ１のカウント値との比較結果が拡大前有効画像領域バリッド信号ＢＶＳになる。

また、図１８に示すように、フィルタ回路６０ｙは、入力データである輝度データＹを、シフトレジスタＲＥＧ１を介して、補間フィルタブロックＣＦＢ１に供給し、拡大補間処理を実行させる。フィルタ回路６０ｙは、補間フィルタブロックＣＦＢ１で拡大補間処理された輝度データＹを、水平方向切り出し位置情報ｈｐのｌｓｂによって動作するセレクタＳＥＬ５によって、セレクトし出力データとして出力する。

シフトレジスタＲＥＧ１によるバッファリング処理は、拡大前リクエストバリッド信号ＲＶＳと、拡大前リクエスト信号ＲＳとの論理回路ＬＯＧ２による論理積に応じて実行される。また、バッファリングの初期化は、拡大後有効画像領域バリッド信号ＡＶＳの立ち上がりをトリガーにして実行される。この拡大後有効画像領域バリッド信号ＡＶＳは、システムレイテンシを考慮されることで、図１１（ｉ）、図１２（ｉ）に示された拡大後の有効画像領域を示すマスク信号として出力される。

また、色差データＣｂ、Ｃｒに対しては、図１９に示すようなタイミング信号生成ブロック５０ｃ、図２０に示すようなフィルタ回路６０ｃを実装することができる。

図１９に示すように、タイミング信号生成ブロック５０ｃは、入力された拡大率ｄｅｌ、初期オフセットｏｆｆをセレクタＳＥＬ１１によって切り換えながら累積計算を実行しフェイズｐｈａを生成する。

図１４（ｆ）、図１５（ｆ）に示したタイミング信号のイニシャル（initial）信号は、有効画像領域の始まりにつけてある開始フラグ信号ＦＳをディレイさせたものであり、論理回路ＬＯＧ１１に供給される。論理回路ＬＯＧ１１は、同じく供給されたフェイズｐｈａのＭＳＢ（Most Significant Bit）、すなわち上述したキャリーと、供給されたイニシャル信号との論理和を取ることで、図１４（ｆ）、図１５（ｆ）として示したタイミング信号ＴＳを生成する。

タイミング信号生成ブロック５０ｃは、図１４（ｅ）、図１５（ｅ）に示した、拡大前の有効画像領域を示すマスク信号である拡大前有効画像領域バリッド信号ＢＶＳを生成する。

水平方向切り出し位置情報ｈｐのｌｓｂで切り換えられるセレクタＳＥＬ１２は、水平方向切り出し幅情報ｈｗと、水平方向切り出し幅情報ｈｗを２ピクセル分拡張させた信号とのいずれかを出力する。そして、比較器ＣＭＰ１１による、セレクタＳＥＬ１２の出力値と、タイミング信号ＴＳで回るマスク信号生成カウンタＣＮＴ１１のカウント値との比較結果が拡大前有効画像領域バリッド信号ＢＶＳになる。

また、図２０に示すように、フィルタ回路６０ｃは、入力データである色差データＣｂ、Ｃｒを、シフトレジスタＲＥＧ１１を介して、補間フィルタブロックＣＦＢ１１に供給し、拡大補間処理を実行させる。

シフトレジスタＲＥＧ１１によるバッファリング処理は、拡大前リクエストバリッド信号ＲＶＳと、拡大前リクエスト信号ＲＳとの論理回路ＬＯＧ１２による論理積に応じて実行される。また、バッファリングの初期化は、拡大後有効画像領域バリッド信号ＡＶＳの立ち上がりをトリガーにして実行される。この拡大後有効画像領域バリッド信号ＡＶＳは、システムレイテンシを考慮されることで、図１４（ｉ）、図１５（ｉ）に示された拡大後の有効画像領域を示すマスク信号として出力される。

なお、上述した水平拡大処理部１３の実装例は、一例であって本発明を限定するものではなく、本発明の要旨を逸脱しない範囲内であれば、どのような実装形式であってもよい。

本発明を実施するための最良の形態として示す映像信号処理装置の構成について説明するための図である。 同映像信号処理装置が備えるＯＳＤ（On Screen Display）の構成について説明するための図である。 切り出しに必要となる情報について説明するための図である。 切り出しに必要となる情報について説明するための図である。 ４：２：２フォーマットの最小構成単位となる輝度・色差データについて説明するための図である。 従来の“偶数切り出し”について説明するための図である。 従来の“奇数切り出し”について説明するための図である。 本発明の“奇数切り出し”について説明するための図である。 ＯＳＤが備える水平方向拡大処理部の構成について説明するための図である。 ４点補間演算処理について説明するための図である。 “偶数切り出し”を実行した際に、輝度データをバッファリングする動作について説明するためのタイミングチャートである。 “奇数切り出し”を実行した際に、輝度データをバッファリングする動作について説明するためのタイミングチャートである。 “偶数切り出し”、“奇数切り出し”を連続して実行した際に取得される輝度データについて説明するためのタイミングチャートである。 “偶数切り出し”を実行した際に、色差データをバッファリングする動作について説明するための図である。 “奇数切り出し”を実行した際に、色差データをバッファリングする動作について説明するための図である。 “偶数切り出し”、“奇数切り出し”を連続して実行した際に取得される色差データについて説明するためのタイミングチャートである。 輝度データに関する処理を実行するタイミング信号生成ブロックの実装例を示した図である。 輝度データに関する処理を実行するフィルタ回路の実装例を示した図である。 色差データに関する処理を実行するタイミング信号生成ブロックの実装例を示した図である。 色差データに関する処理を実行するフィルタ回路の実装例を示した図である。 パンスキャン方式、レターボックス方式のアスペクト比変換について説明するための図である。 パンスキャン方式のアスペクト比変換の具体例を示した図である。

符号の説明

１１ メモリインターフェース、１２ 垂直方向拡大処理部、１３ 水平方向拡大処理部、３０ 輝度・色差データ、５０ タイミング信号生成ブロック、５１ フェイズ計算ブロック、５２ 初期化タイミング信号生成ブロック、５３ マスク信号生成ブロック、６０ フィルタ回路、６１ データバッファ、６２ 補間関数ブロック、６３ ディレイ調整ブロック、１００ 映像信号処理装置、１０１ ストリームデータ処理部、１０２ メモリ、１０３ 画質改善処理部、１０４ ＯＳＤ（On Screen Display）、１０５ ＣＰＵ（Central Processing Unit）

Claims (2)

1. ４：２：２フォーマットの画像データにおいて、メモリに格納された上記画像データから指定されたサイズの画像データを切り出し、切り出した上記画像データの隣り合う画像データ間の補間画像データを生成することで補間処理をする画像フィルタ回路であって、
   ４：２：２フォーマットの画像データから指定されたサイズの画像データを切り出す際、切り出し端において、４：２：２フォーマットの最小構成単位を保持したまま切り出す偶数切り出しをするのか、４：２：２フォーマットの最小構成単位を無視して切り出す奇数切り出しをするのかを検出する検出手段と、
   上記検出手段によって偶数切り出しが検出された場合、上記指定されたサイズの画像データを上記メモリから読み出し、上記検出手段によって奇数切り出しが検出された場合、上記切り出し端において、上記４：２：２フォーマットの最小構成単位となるように、上記指定されたサイズ以上の画像データをメモリから読み出す読み出し手段と、
   上記読み出し手段によって、上記メモリから読み出された上記画像データから補間演算処理をすることで、上記画像データ間の補間画像データを生成する補間演算処理手段とを備え、
   パンスキャン方式のアスペクト比変換を実行する際に、上記検出手段によって奇数切り出しが検出された場合、上記読み出し手段は、水平方向の切り出し端において、上記画像データを構成する輝度データ、色差データを上記指定されたサイズよりも１ピクセル分だけ余分に読み出し、上記補間演算処理手段は、１次元上に並んだ４点の画像データから、隣り合う画像データ間の補間画像データを生成すること
   を特徴とする画像フィルタ回路。
2. ４：２：２フォーマットの画像データにおいて、メモリに格納された上記画像データから指定されたサイズの画像データを切り出し、切り出した上記画像データの隣り合う画像データ間の補間画像データを生成することで補間処理をする画像フィルタ回路の補間処理方法であって、
   ４：２：２フォーマットの画像データから指定されたサイズの画像データを切り出す際、切り出し端において、４：２：２フォーマットの最小構成単位を保持したまま切り出す偶数切り出しをするのか、４：２：２フォーマットの最小構成単位を無視して切り出す奇数切り出しをするのかを検出する検出工程と、
   上記検出工程によって偶数切り出しが検出された場合、上記指定されたサイズの画像データを上記メモリから読み出し、上記検出工程によって奇数切り出しが検出された場合、上記切り出し端において、上記４：２：２フォーマットの最小構成単位となるように、上記指定されたサイズ以上の画像データをメモリから読み出す読み出し工程と、
   上記読み出し工程によって、上記メモリから読み出された上記画像データから補間演算処理をすることで、上記画像データ間の補間画像データを生成する補間演算処理工程とを有し、
   パンスキャン方式のアスペクト比変換を実行する際に、上記検出工程で奇数切り出しが検出された場合、上記読み出し工程では、水平方向の切り出し端において、上記画像データを構成する輝度データ、色差データを上記指定されたサイズよりも１ピクセル分だけ余分に読み出し、上記補間演算処理工程で１次元上に並んだ４点の画像データから、隣り合う画像データ間の補間画像データを生成すること
   を特徴とする補間処理方法。

Images