JP2010199648A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】ＩＰ変換処理において連続したフィールド画像が入力されない場合における画質劣化を防ぐ画像処理装置、方法を提供する。
【解決手段】デコーダ部１０１が画像データを復号して参照フィールド画像を生成し、ＩＰ変換処理部１０３が複数の参照フィールド画像を変換して補間フィールド画像を生成し、表示処理部１０５が参照フィールド画像と補間フィールド画像とを用いた画像を出力する画像処理装置であって、制御部１０６は、新たに受け付けた画像データがリピート状態であるか否かを検出し、リピート状態でない場合、カウンタ（ｒｅｐｅａｔ＿ｃｏｕｎｔ）をクリアし、新たに補間フィールド画像を生成させ、リピート状態である場合、カウンタを加算し、前回生成させた補間フィールド画像を変更しないで維持させ、カウンタの値に基づいて参照フィールド画像と補間フィールド画像から表示する画像を選択し、選択した画像を表示処理部１０５に出力させる。
【選択図】図１

Description

本発明は、画像の変換技術に関し、特に、インタレース画像からプログレッシブ画像への変換を行うＩＰ変換技術に関する。

現行の映像信号方式は、インタレース走査を前提としたインタレース信号方式と、プログレッシブ走査を前提としたプログレッシブ信号方式に大別される。インタレース走査とは、映像の１画面を構成する５２５本または１１２５本の走査線中、１本ずつ走査線を飛び越して走査する方式である。この方式では、１つの表示画面（１フレーム）は２回のインタレース走査により生成され、走査線が互い違いの２つの走査画面（第１および第２フィールド）により１フレームが構成される。一方、プログレッシブ走査は、走査線を１本ずつ順次に走査する方式である。

例えば地上デジタル放送の場合においてテレビ局から送られてくるストリームの解像度は１９２０×１０８０ｉ（インタレース）または１４４０×１０８０ｉのインタレース画像となっている。

近年発売されているディスプレイ装置である、プラズマディスプレイパネル、液晶表示パネル、エレクトロルミネッセンス表示パネル等はマトリクス駆動方式の表示パネルを搭載したものとなっている。このようなディスプレイ装置では、入力映像信号に応じた画像表示（又は画素データの書込）を１表示ライン分ずつ順次実行する、プログレッシブ駆動を行うようにしている。
そのため、地上デジタル放送のようにインタレース方式の映像信号が表示装置に対して入力される場合は、これをプログレッシブ方式の映像信号に変換する必要がある。インタレース方式の映像信号を入力し、プログレッシブ方式の映像信号に変換する処理をＩＰ変換処理という。

ＩＰ変換処理は一般的に、動画像において連続する複数のフィールド画像を入力し、１枚の補間フィールド画像を生成する。補間フィールド画像の生成においては、入力された複数のフィールド画像から、入力された画像の動き検出を行い、その検出結果に応じて補間フィールドを生成する。生成した補間フィールド画像と、元のフィールド画像（参照フィールド画像）から１枚のプログレッシブ画像が構成される。

図１にＩＰ変換処理を行う画像処理装置の一般的な構成図を示す。
デコーダ部１０１はＭＰＥＧ（Moving Picture Expert Group）やＨ．２６４などの画像圧縮規格に基づいて復号処理を行う。復号された画像データは参照フィールド用画像メモリ１０２にｓｏｕｒｃｅ ｆｉｅｌｄとして格納されるものとする。
参照フィールド用画像メモリ１０２にはｓｏｕｒｃｅ ｆｉｅｌｄ、ｐｒｅｖ ｆｉｅｌｄ、ｐｒｅｖ２ ｆｉｅｌｄ、ｐｒｅｖ３ ｆｉｅｌｄの４つ参照フィールド画像を格納するメモリが存在する。制御部１０６からの指示により、１枚の参照フィールド画像が参照フィールド用画像メモリ１０２のｓｏｕｒｃｅ ｆｉｅｌｄに格納される毎、ｐｒｅｖ２ ｆｉｅｌｄ→ｐｒｅｖ３ ｆｉｅｌｄ、ｐｒｅｖ ｆｉｅｌｄ→ｐｒｅｖ２ ｆｉｅｌｄ、ｓｏｕｒｃｅ ｆｉｅｌｄ→ｐｒｅｖ ｆｉｅｌｄのように、参照フィールド画像を格納するメモリを順次移すことにより、ＩＰ変換処理を行うタイミングでは、３世代前までの過去画像を保存している。

ＩＰ変換処理部１０３は参照フィールド用画像メモリ１０２から最大４つのフィールド画像を入力し、補間フィールド画像を生成し、補間フィールド用画像メモリ１０４に格納する。ここでは、ＩＰ変換処理部１０３は４つのフィールド画像を用いて補間フィールド画像を生成することを前提とする。
表示処理部１０５は制御部１０６からの指示により、補間フィールド画像と参照フィールド画像を入力し、１枚のプログレッシブ画像として出力する。また、表示処理部１０５は最終出力解像度にあわせてプログレッシブ画像を拡大／縮小する機能を有す。
制御部１０６は、各構成要素の動作を制御する。

前述の通り、ＩＰ変換処理部１０３は連続する４つのフィールド画像が入力され、１つの補間フィールド画像を作成する。この補間フィールドは、ｓｏｕｒｃｅ ｆｉｅｌｄの補間画像であるとは限らず、ｐｒｅｖ ｆｉｅｌｄやｐｒｅｖ２ ｆｉｅｌｄの補間画像を作成することもありえる。これはＩＰ変換のモードとして存在するもので、ｓｏｕｒｃｅ ｆｉｅｌｄの補間フィールド画像を作成する場合０Ｄｅｌａｙモード、ｐｒｅｖ ｆｉｅｌｄの補間フィールド画像を作成する場合を１Ｄｅｌａｙモード、ｐｒｅｖ２ ｆｉｅｌｄの補間フィールド画像を作成する場合を２Ｄｅｌａｙモードと呼ぶこととする。０Ｄｅｌａｙモードの場合、過去画像のみを参照することとなる。１Ｄｅｌａｙモードや２Ｄｅｌａｙモードの場合、未来画像も参照することになる。このため、１Ｄｅｌａｙモードや２Ｄｅｌａｙモードは、０Ｄｅｌａｙモードと比べ、より精度の高いＩＰ変換が可能となる。

図８に１Ｄｅｌａｙモードにおける参照フィールド用画像メモリ１０２の遷移と各タイミングで表示される画像について示す。ｎｏ＝１のタイミングで１Ｔ（Ｔｏｐ）のフィールド画像がｓｏｕｒｃｅとして入力され、以降１Ｂ（Ｂｏｔｔｏｍ），２Ｔ，２Ｂ・・の順に入力される。ｎｏ＝１のｓｏｕｒｃｅである１Ｔは、ｎｏ＝２ではｐｒｅｖ、ｎｏ＝３ではｐｒｅｖ２、ｎｏ＝４ではｐｒｅｖ３のように順次過去画像が保存されている。１Ｄｅｌａｙモードでは、各タイミングにおいてｐｒｅｖに格納されている参照フィールド画像の補間フィールド画像が作成され、プログレッシブ画像として表示されることになる。

ここでは、ｓｏｕｒｃｅ、ｐｒｅｖ、ｐｒｅｖ２、ｐｒｅｖ３の４つの参照フィールド画像が揃ってからＩＰ変換処理を行うこととし、４つの参照フィールド画像が揃っていないｎｏ＝３までの期間は参照フィールド画像を垂直２倍拡大して表示することとする。図８では、ｎｏ＝３までの期間の処理方法については、４枚の参照フィールド画像が揃わない場合は垂直２倍拡大表示を行うこととする（表示方法の記号"Ｄ"）。なお、他にも様々な方法が存在するが、ここでは説明を省略する。ｎｏ＝４以降の各タイミングでは４枚の参照フィールド画像を入力し、補間フィールド画像を生成してＩＰ変換結果を表示する（表示方法の記号"ＩＰ"）。

図９に従来技術の制御部１０６の制御フローを示す。本制御フローはデコーダ部１０１からの１枚のフィールド画像が参照フィールド用画像メモリ１０２のｓｏｕｒｃｅ ｆｉｅｌｄに格納される毎に実行される。

入力された参照フィールド画像がｓｏｕｒｃｅ ｆｉｅｌｄとして格納される。これに伴い、制御部１０６は、前回のｐｒｅｖ２ ｆｉｅｌｄをｐｒｅｖ３ ｆｉｅｌｄ、前回のｐｒｅｖ ｆｉｅｌｄをｐｒｅｖ２ ｆｉｅｌｄ、前回のｓｏｕｒｃｅ ｆｉｅｌｄをｐｒｅｖ ｆｉｅｌｄと更新する（ステップ３０１）。ここでは、世代の異なる複数の参照フィールド画像がそれぞれ別のｆｉｅｌｄに格納されて管理されていればよい。従って、参照フィールド画像を記憶する領域を書き換えて更新してもよいし、参照フィールド画像と各ｆｉｅｌｄとの対応づけを変更することによって更新してもよい。４枚の参照フィールド画像が揃った場合（ステップ３０２のＹｅｓ）、制御部１０６は、ＩＰ変換処理部１０３へＩＰ変換処理を指示し、ＩＰ変換処理部１０３は、ＩＰ変換を実行して補間フィールド画像を生成する（ステップ３０３）。制御部１０６は、生成された補間フィールド画像と参照フィールド画像を表示処理部１０５へ設定する（ステップ３０４）。表示処理部１０５は、制御部１０６の設定に応じて、補間フィールド画像と参照フィールド画像とを読み出し表示する。４枚の参照フィールド画像が揃っていない場合（ステップ３０２のＮｏ）、制御部１０６は、ＩＰ変換の指示を実行せずに、参照フィールド画像を表示処理部１０５へ設定する。表示処理部１０５は、制御部１０６の設定に応じて、参照フィールド画像を読み出し、垂直２倍拡大表示する（ステップ３０５）。

特開２００４−３０４７８８号公報

上述した一般的な技術において、ＩＰ変換処理部１０３の前段（デコーダ部１０１）にて、以下のような要因によりリピートが発生し、同じフィールド画像が続けてＩＰ変換処理部１０３に入力される場合がある。
（１）ＡＶ（Audio/Video）同期によるリピート（オーディオとビデオの同期をとるために、フィールド単位のリピートを行うことがある）
（２）フレームレート変換（５０Ｈｚ→６０Ｈｚ変換など）によるリピート
（３）スロー再生やポーズなどトリック再生によるリピート
（４）スライドショー（同じ絵がリピート表示され、数秒毎に絵が切り替わる）

図１０に２フィールド期間リピートが発生した場合の参照フィールド用画像メモリ１０２の遷移と各タイミングで表示される画像について示す。ｎｏ＝６のタイミングまでは図８と同じように遷移しｎｏ＝７，８の２フィールド期間、３Ｂのフィールド画像がリピートされる場合を示している。この場合、同じ３Ｂのフィールド画像が入力されることにより、ｎｏ＝７からｎｏ＝１０の４フィールド期間、４つの参照フィールドメモリに３Ｂのフィールド画像が複数枚存在することとなる。

ＩＰ変換処理は動画像の連続するフィールド画像が入力されることを期待しており、同じフィールド画像が入力された場合は、正しい動き検出ができなくなり、期待する補間フィールド画像を生成することができず画質が劣化してしまう可能性があった。また、同じフィールド画像が入力されることにより、本来Ｔｏｐフィールドが入力されるべきタイミングでＢｏｔｔｏｍフィールドが入力されることになる。

この場合、このＢｏｔｔｏｍフィールドをＴｏｐフィールドとしてＩＰ変換処理を行ってしまう。図１１に通常時とリピート発生時のＩＰ変換のイメージ図を示す。図１１において、Ｔｏｐフィールドは白色、Ｂｏｔｔｏｍフィールドは網かけで表示し、Ｔｏｐフィールドの補間フィールドは右下りの斜線、Ｂｏｔｔｏｍフィールドの補間フィールドは右上りの斜線で示している。

通常、（１）Ｔｏｐ、（２）Ｂｏｔｔｏｍ、（３）Ｔｏｐ、（４）Ｂｔｔｏｍの順に入力されるインタレース画像に対して、それぞれ、（１）Ｂｏｔｔｏｍ、（２）Ｔｏｐ、（３）Ｂｏｔｔｏｍ、（４）Ｔｏｐの補間フィールドを生成することで、プログレッシブ画像が構成される。しかし、例えばＢｏｔｔｏｍでリピートが発生した時は（１）Ｔｏｐ、（２）Ｂｏｔｔｏｍ、（３）Ｂｏｔｔｏｍ、（４）Ｂｏｔｔｏｍの順に入力されるインタレース画像に対して、（１）Ｂｏｔｔｏｍ、（２）Ｔｏｐ、（３）Ｂｏｔｔｏｍ、（４）Ｔｏｐの補間フィールドを生成してしまい、（３）の入力フィールドをＴｏｐフィールドとして、Ｂｏｔｔｏｍの補間フィールドを生成する。これによりフリッカが発生し、画質劣化を招く要因となっていた。

上述したように、ＩＰ変換処理は連続したフィールド画像が入力されることを前提としており、非連続なフィールド画像が入力された場合、理想的な補間フィールド画像は生成されない。そのため、ＩＰ変換処理の前段にて、リピートやトリック（スロー再生や、ポーズ）を行った場合、理想的な動き検出ができないことや、同じフィールド画像が連続で入力されることになり、フリッカが発生してしまう。

例えば、特許文献１に同一フィールドの映像信号を続けて入力するようなスロー再生の場合にも、動きを検出することができ、動き補償したＩＰ変換を行い、鮮明なノンインタレース信号を生成する映像信号処理装置が開示されている。

しかしながら、特許文献１の技術では連続でリピートが発生した場合に、ＡＶ同期ズレが発生してしまうという問題があった。

本発明に係る画像処理装置の一態様は、画像データを復号するデコーダ部と、複数の画像データ夫々を復号した複数の参照フィールド画像を格納する参照フィールド用画像メモリと、前記複数の参照フィールド画像を用いて補間フィールド画像を生成する補間フィールド生成部と、前記補間フィールド画像を格納する補間フィールド用画像メモリと、前記複数の参照フィールド画像の少なくとも一つと前記補間フィールド画像とを用いて、表示する画像を出力する表示処理部と、リピート状態をカウントするカウンタと、新たに受け付けた画像データが、前回と同じ画像データとなっているリピート状態を検出した場合、前記カウンタをカウントアップし、前記補間フィールド用画像メモリに格納した前記補間フィールド画像を変更しないで維持させ、リピート状態でない場合、前記カウンタをクリアし、新たに補間フィールド画像を生成させ、カウントアップまたはクリアされた後のカウンタの値に基づいて、前記表示処理部が用いる画像を前記参照フィールド画像と、前記維持させた補間フィールド画像から選択し、選択した画像を前記表示処理部に出力させる制御部と、を備える。制御部は、画像データの入力状況がリピート状態である場合、前回生成した補間フィールド画像、すわなち、リピート状態になる前に生成した補間フィールド画像を用いるように制御する。また、制御部はカウンタの値に基づいて、リピート状態が繰り返されていることを把握する。従って、リピート状態が繰り返されている状況に応じて、適切な補間フィールド画像を用いることが可能になり、リピート発生時の画質劣化を防ぐことができる。

また、本発明に係る画像処理方法の一態様は、画像データを復号して参照フィールド画像を生成し、複数の参照フィールド画像を用いて補間フィールド画像を生成し、前記複数の参照フィールド画像の少なくとも一つと前記補間フィールド画像とを用いた画像を出力する画像処理装置を制御する画像処理制御方法であって、新たに受け付けた画像データが前回と同じ画像データとなっているリピート状態であるか否かを検出し、リピート状態でない場合、カウンタをクリアし、新たに補間フィールド画像を生成させ、リピート状態である場合、カウンタをカウントアップし、前回生成させた補間フィールド画像を変更しないで維持させ、カウントアップまたはクリアされた後のカウンタの値に基づいて、前記参照フィールド画像と前記補間フィールド画像から表示する画像を選択し、選択した画像を出力させる。

さらに、本発明に係る画像処理プログラムの一態様は、画像データを復号して参照フィールド画像を生成し、複数の参照フィールド画像を用いて補間フィールド画像を生成し、前記複数の参照フィールド画像の少なくとも一つと前記補間フィールド画像とを用いた画像を出力する画像処理装置を制御する画像処理制御プログラムであって、コンピュータに、新たに受け付けた画像データが前回と同じ画像データとなっているリピート状態であるか否かを検出する検出手順と、リピート状態でない場合、カウンタをクリアし、新たに補間フィールド画像を生成させ、リピート状態である場合、カウンタをカウントアップし、前回生成させた補間フィールド画像を変更しないで維持させる変換指示手順と、カウントアップまたはクリアされた後のカウンタの値に基づいて、前記参照フィールド画像と補間フィールド画像から表示する画像を選択し、選択した画像を出力させる表示指示手順と、を実行させる。

本発明によれば、連続でリピートが発生した場合に、ｎ（ｎ＞０の整数）フィールド未満のリピート発生時の画質劣化を防止し、ｎフィールド以上のリピート発生時にもＡＶ同期を維持することができる。

ＩＰ変換を行う画像処理装置の一般的な構成図を示す図である。 実施形態１における２フィールド・リピート発生時の参照フィールド用画像メモリ遷移と表示画像を示す図である。 実施形態１における８フィールド・リピート発生時の参照フィールド用画像メモリ遷移と表示画像（１）を示す図である。 実施形態１における８フィールド・リピート発生時の参照フィールド用画像メモリ遷移と表示画像（２）を示す図である。 実施形態１の画像処理装置の動作例を示すフローチャートである。 実施形態２の表示画像のイメージ図である。 実施形態３の画像処理装置の構成例を示すブロック図である。 リピート発生なしの場合の参照フィールド用画像メモリ遷移と表示画像を示す図である。 従来技術の画像処理の動作を示すフローチャートである。 従来技術における２フィールド・リピート発生時の参照フィールド用画像メモリ遷移と表示画像を示す図である。 従来技術における画質劣化のイメージ図である。

以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。

本発明では、リピート発生時に前回と同じ参照フィールド画像を用いてＩＰ変換することにより生じる画質劣化を防ぐため、リピート発生時には前回のＩＰ変換結果をリピート表示する。また、単純に前回のＩＰ変換結果を表示する方法を適用すると、スライドショーなどの場合にＡＶ同期ずれが大きくなってしまうため、対処方法を変更する。ここで、前回のＩＰ変換結果とは、リピート発生前のＩＰ変換結果であり、具体的には、リピート発生やトリックプレー中などのように、連続した画像データが入力されなくなる前にＩＰ変換した結果をいう。より具体的には、制御部１０６がリピート状態やトリック状態を検出する前に生成された補間フィールド画像を用いる。従って、補間フィールド用画像メモリ１０４は、前回のＩＰ変換で生成した補間フィールド画像を維持することになる。
以下の説明では、図１に示した構成を用いて、本発明に係る画像処理装置及び方法を説明する。具体的には、画像処理装置は、デコーダ部１０１、参照フィールド用画像メモリ１０２、ＩＰ変換処理部（補間フィールド生成部）１０３、補間フィールド用画像メモリ１０４、表示処理部１０５、及び制御部１０６を備える。制御部１０６を除いた各構成要素は上述した説明と同様であるため省略する。制御部１０６の制御方法が従来の画像処理装置とは異なる。従って、以下の各実施形態では、制御部１０６の動作を中心に説明する。

（実施形態１）
まず、本実施形態の画像の遷移について説明する。
図２に本実施形態における２フィールド期間リピートが発生した場合の参照フィールド用画像メモリ１０２の遷移と各タイミングで表示される画像について示す。ｎｏ＝６のタイミングまでは図８と同じように遷移し、ｎｏ＝７，８の２フィールド期間、３Ｂのフィールド画像がリピートされる場合を示している。ｎｏ＝７，８のリピートされている期間はＩＰ変換を実行せずにｎｏ＝６で表示していた３Ｔの参照フィールド画像と補間フィールド画像をリピート表示する。ｎｏ＝６で表示されていた画像は正常にＩＰ変換されたものであるため、それをリピート表示しても画質は一切劣化しない。ｎｏ＝９のタイミングでリピートが終了し新しいフィールド画像４Ｔが入力され、ＩＰ変換を再開する。この場合、ｎｏ＝６の続きでＩＰ変換を実行し、以降の画質も劣化することはない。

図３および図４はｎｏ＝７からｎｏ＝１４にて８フィールド期間連続で、３Ｂのフィールド画像がリピートされ、さらにｎｏ＝１７からｎｏ＝２４の８フィールド期間連続で、４Ｂのフィールド画像がリピートされる場合を示している。
本ケースにおいて、リピート発生期間中は前回のＩＰ変換結果をリピートする方法を適用した場合を図３に示している。この場合、ｎｏ＝７からｎｏ＝１４およびｎｏ＝１７からｎｏ＝２４のリピートが発生している期間はＩＰ変換を行わずに前回のＩＰ変換結果を表示する。画質という意味ではこのように運用することで最適な画像を表示することが可能であるが、１Ｄｅｌａｙ、２Ｄｅｌａｙモードにおいては、本来表示されるタイミングよりかなり遅れて表示されてしまうことになる。

例えば１Ｄｅｌａｙモードの場合３Ｂの表示位置が４Ｔ入力時（ｎｏ＝１５のタイミング）となり、２Ｄｅｌａｙモードの場合４Ｔの表示開始位置が５Ｔ入力時（ｎｏ＝２５のタイミング）となる。１Ｄｅｌａｙモードは１フィールド期間の遅延、２Ｄｅｌａｙモードは２フィールド期間の遅延を期待するため、期待通りの動作にならない。また、スライドショーなどのように、数秒に１回しか入力フィールド画像が更新されない場合を考えると、ＡＶ同期ズレが発生することになってしまう。

そこで、ｎ（ｎ＞０の整数）フィールド以上（本実施形態では３フィールド以上）連続でリピートが発生した場合には画質よりもＡＶ同期を優先し、参照フィールド画像を垂直２倍拡大表示する例を図４に示す。ｎｏ＝７およびｎｏ＝８のタイミングでは、図１０で説明した通り、ＩＰ変換を行わずにｎｏ＝６のＩＰ変換結果である３Ｔをリピート表示する。次のｎｏ＝９のタイミングにおいてさらに３Ｂがリピートされたため、参照用フィールド画像メモリの更新は再開するが、ＩＰ変換処理は行わずに、参照フィールド画像（１Ｄｅｌａｙのモードの場合、ｐｒｅｖ）を垂直２倍拡大表示する。ｎｏ＝１５のタイミングにおいて４Ｔが入力されるため、リピート状態は脱し、参照フィールド画像メモリの更新は再開されるが、４枚の参照フィールド画像が揃っていないため、ＩＰ変換処理は行わずに、参照フィールド画像を垂直２倍拡大表示する。

なお、本実施形態では、３フィールド以上リピートとしたが、表示遅延（ＡＶ同期ズレ）をどこまで許容するかによって、この閾値は変更しても良い。
このようにすることで、フレームレート変換などによる短い期間（ｎフィールド未満）のリピートが発生した場合は前回のＩＰ変換結果をリピート表示し、最適画質を保ち、ｎフィールド以上のリピートが発生した場合は参照フィールド画像を垂直２倍拡大表示することでＡＶ同期を保つことができる。

また、スロー再生やポーズなどオーディオ再生を伴わないトリックプレー再生の場合はＡＶ同期を考慮する必要がなくなるため、デコーダ部１０１からトリック情報を入手し、トリックプレー中の場合は、前回のＩＰ変換結果をリピート表示することで、最適画質を保つことが可能となる。

図５に本実施形態の画像処理装置の動作例を表すフローチャートを示す。本実施形態において、制御部１０６は、ｒｅｐｅａｔ＿ｃｏｕｎｔを用いる。ｒｅｐｅａｔ＿ｃｏｕｎｔは、画像処理装置に同じ画像データが入力された場合に、その回数をカウントするカウンタであり、制御部１０６が使用するメモリ内に設置される。ｒｅｐｅａｔ＿ｃｏｕｎｔは、システム起動時に初期化される。

まず、制御部１０６は、前段のデコーダ部１０１からトリック情報、リピート情報を取得する（ステップ６０１）。トリック情報とはスロー再生やポーズなどトリックプレー中（トリック状態）かどうかを示す情報、リピート情報とは参照フィールド用画像メモリ１０２のｓｏｕｒｃｅ ｆｉｅｌｄに格納された画像が前回と同一のもの（リピートされたもの、リピート状態）かどうかを示す情報である。
リピートが発生していない場合（ステップ６０２のＹｅｓ）、制御部１０６は、ｒｅｐｅａｔ＿ｃｏｕｎｔをクリアする（ステップ６０３）。ステップ６０４からステップ６０８については図９のステップ３０１からステップ３０５と同一であるため、説明は省略する。
リピートが発生している場合（ステップ６０２のＮｏ）、制御部１０６は、ｒｅｐｅａｔ＿ｃｏｕｎｔをインクリメントする（ステップ６０９）。

このｒｅｐｅａｔ＿ｃｏｕｎｔは連続でリピートが発生している場合にインクリメントされ、リピートではない画像が入力された場合はステップ６０３でクリアされる。
トリックプレー中、または３回未満のリピート（ｒｅｐｅａｔ＿ｃｏｕｎｔ＜３）の場合（ステップ６１０のＹｅｓ）、制御部１０６は、前回のＩＰ変換時に生成された補間フィールド画像と参照フィールド画像を表示処理部へ設定し、プログレッシブ画像として表示する。具体的には、制御部１０６は、表示処理部１０５へ表示する画像データを指示し、表示処理部１０５は、制御部１０６の指示に応じて補間フィールド画像と参照フィールド画像とを読み出し、表示する。
トリックプレー中ではなく、３回以上のリピート（ｒｅｐｅａｔ＿ｃｏｕｎｔ＞＝３）の場合（ステップ６１０のＮｏ）、制御部１０６は、参照フィールド用画像メモリ１０２の更新を行い（ステップ６１２）、参照フィールド画像を垂直２倍拡大して表示する（ステップ６１３）。具体的には、制御部１０６は、参照フィールド用画像メモリ１０２が既に記憶する画像データそれぞれをｐｒｅｖ／ｐｒｅｖ２／ｐｒｅｖ３のどのフィールドに該当するかを更新する。また、表示処理部１０５へ表示する画像データを指示し、表示処理部１０５は、制御部１０６の指示に応じて参照フィールド画像を読み出し、垂直２倍拡大して表示する。

図５のフローチャートに示したように、制御部１０６は、デコーダ部１０１からリピート情報、トリック情報を取得し、３回未満のリピート発生時、またはトリックプレー中は前回のＩＰ変換結果をリピート表示し、３回以上のリピート発生時、かつトリックプレー中でない場合は参照フィールド画像を垂直２倍拡大表示する。そのため、従来技術のように同じ参照フィールド画像がＩＰ変換処理部１０３に入力されることはなくなり、不適切な補間フィールドが表示されることを回避することができる。上記では、３フィールド以上のリピートが発生した場合の動作を示したが、ｎフィールド以上のリピートが発生した場合についても、同様に説明することができる。

このように、本実施形態によれば、画像処理装置において、リピート発生時にＩＰ変換を実行せずに前回のＩＰ変換結果をリピート表示する機能、トリックプレー中もＩＰ変換を実行せずに前回のＩＰ変換結果をリピート表示する機能を実現することができる。これらの機能により、リピート発生時のＩＰ変換画質劣化を防ぐことが可能になる。また、本実施形態によれば、ｎフィールド以上のリピート発生時は、前回のＩＰ変換結果をリピート表示する方法を適用しない機能、ｎフィールド以上のリピート発生時に、前回のＩＰ変換結果をリピート表示する方法を適用しない場合に、参照フィールド画像を垂直２倍拡大表示する機能を実現することができる。これらの機能により、スライドショーなどのように長時間リピートが発生するケースでもＡＶ同期を維持することができる。

（実施形態２）
実施形態１ではｎフィールド以上のリピート発生、かつトリックプレー中ではない場合に、参照フィールド画像を垂直２倍拡大表示することとしたが、Ｔｏｐフィールド画像とＢｏｔｔｏｍフィールド画像の単純組み合わせによりプログレッシブ画像を構成して表示しても良い。
一般的にＩＰ変換は入力される複数のフィールド画像から動き検出を行い、動画、静止画判定を行う。

静止画と判定された場合、表示対象の参照フィールド画像がＢｏｔｔｏｍフィールド画像の場合は、ひとつ手前のＴｏｐフィールド画像をそのまま補間フィールドとして適用する。
また、表示対象の参照フィールド画像がＴｏｐフィールド画像の場合は、ひとつ先のＢｏｔｔｏｍフィールド画像をそのまま補間フィールドとして適用する。

例えば、３フィールド以上のリピートが発生した場合、それはスライドショーのような静止画である可能性が高い。このため、静止画と判断して、参照フィールド画像がＢｏｔｔｏｍフィールド画像の場合はＴｏｐフィールド画像を、参照フィールド画像がＴｏｐフィールド画像の場合はＢｏｔｔｏｍフィールド画像をそのまま補間フィールドとして適用してプログレッシブ画像を構成することで、最適な画質が得られる可能性が高い。

図６に本実施形態を使用した場合でＢｏｔｔｏｍフィールドが連続してリピートした場合のイメージ図を示す。図６の表示は図１１と同様のパターンを用いて各フィールド及び補間フィールドを示している。図６では、（３）以降（２）と同じＢｏｔｔｏｍフィールドがリピートして入力されている。（３）（４）では３フィールド未満のリピートであるため、前回のＩＰ変換結果をリピート表示する。３フィールド以上のリピートとなる（５）（６）では補間フィールドとして（１）のＴｏｐ Ｆｉｅｌｄを使用して表示を行う。

この方法を適用した場合、３フィールド以上リピート発生した場合においても、それが静止画であれば最適な画質で表示されることとなる。なお、静止画でない場合は串状の絵が表示されることとなるため、誤った表示に至る可能性もある。このため、静止画であるか否かの判断を慎重に実施する工夫が施されることが好ましい。例えば、予め静止画の指定を受け付けた場合に本実施形態を適用するようにしてもよい。
また、３フィールド以上リピート発生した場合に、Ｔｏｐフィールド画像とＢｏｔｔｏｍフィールド画像を組み合わせて表示する方法として、制御部１０６が表示するＴｏｐ／Ｂｏｔｔｏｍフィールド画像を参照フィールド用画像メモリ１０２から選択して表示処理部１０５へ設定して表示させても良い。あるいは、制御部１０６がＩＰ変換処理部１０３に強制的に静止画判定をするように指示し、ＩＰ変換処理部１０３にて生成される補間フィールドが前後のＴｏｐまたはＢｏｔｔｏｍフィールド画像そのものになるようにしても良い。

本実施形態によれば、ｎフィールド以上のリピート発生時に、前回のＩＰ変換結果をリピート表示する方法を適用しない場合に、静止画と判断してＴｏｐフィールド画像とＢｏｔｔｏｍフィールド画像の組み合わせによりプログレッシブ画像を構成し表示する機能を実現することができる。これにより、リピート発生時のＩＰ変換画質劣化を防ぐことが可能になる。特に、静止画が表示されている場合における画質劣化を防ぐことができる。

（実施形態３）
実施形態３では、上記各実施形態の制御部が実現する制御機能を、構成例を用いて説明する。図７は、実施形態３の画像処理装置の構成例を示すブロック図である。図７において、デコーダ部１０１、参照フィールド用画像メモリ１０２、ＩＰ変換処理部１０３、補間フィールド用画像メモリ１０４、及び表示処理部１０５は図１と同様であるため説明を省略する。制御部２００は、検出部２１０と、変換指示部２２０と、表示指示部２３０と、を備える。

検出部２１０は、デコーダ部１０１に画像データが入力されたことを検出し、入力された画像データの状態（例えば、リピート発生、トリックプレー中など）を検出する。具体的には、実施形態１では、デコーダ部１０１からリピート情報やトリック情報を取得し、デコーダ部１０１が新たに受け付けた画像データがリピート状態あるいはトリック状態であることを検出する。また、検出部２１０は、新たな画像データの受け付けられたときに、参照フィールド用画像メモリ１０２の各フィールド（ｐｒｅｖ／ｐｒｅｖ２／ｐｒｅｖ３）を更新する。
また、検出部２１０は、検出結果メモリ２１１を含む。検出結果メモリ２１１は、リピート情報、トリック情報、または、ｒｅｐｅａｔ＿ｃｏｕｎｔを設置する記憶領域である。検出部２１０は、デコーダ部１０１から取得したリピート情報またはトリック情報を検出結果メモリ２１１へ記憶する。また、検出部２１０は、リピート状態を検出したときにｒｅｐｅａｔ＿ｃｏｕｎｔをカウントアップし、リピート状態でなくなったときにｒｅｐｅａｔ＿ｃｏｕｎｔをクリアする。

変換指示部２２０は、検出部２１０が検出した検出結果に基づいて、補間フィールドの生成をＩＰ変換処理部１０３へ指示する。具体的には、変換指示部２２０は、リピート状態及びトリック状態のいずれでもない場合、ＩＰ変換処理部１０３へＩＰ変換処理を実行させ、新たな参照フィールド画像に応じた補間フィールド画像を生成させ、補間フィールド用画像メモリ１０４が保存する補間フィールド画像を更新させる。これに対して、リピート状態あるいはトリック状態である場合、ＩＰ変換処理部１０３にＩＰ変換させず、前回生成した補間フィールド画像を補間フィールド用画像メモリ１０４へ維持させる。

表示指示部２３０は、参照フィールド画像と補間フィールド画像とを用いて画像を表示処理部１０５へ表示させる。表示指示部２３０は、検出部２１０の検出結果に基づいて、参照フィールド画像と補間フィールド画像から用いる画像を選択し、表示処理部１０５へ設定する。表示指示部２３０が画像を選択する基準は、上記各実施形態で説明したとおりである。

なお、図７は制御部の構成例の一例を示したものであり、これ以外の構成によって上記各実施形態を実現するものであってもよい。また、図７に示した制御部２００の機能は、ソフトウェア、あるいはソフトウェアとハードウェアとの組み合わせによって実現することもできる。

次に、図７に示した制御部２００の機能はプログラムによって実現する場合について説明する。プログラムは、画像処理装置内のメモリにロードされ、ＣＰＵ（Central Processing Unit）の制御のもとでプログラムの各命令が実行される。例えば、プログラムは、少なくとも次に説明する検出手順、変換指示手順、及び表示指示手順を含む。
（１）検出手順は、新たにデコーダ部１０１によって受けつけられた画像データがリピート状態であるか否かを検出する。（２）変換指示手順は、新たに受けつけられた画像データがリピート状態でない場合、ｒｅｐｅａｔ＿ｃｏｕｎｔをクリアし、ＩＰ変換処理部１０３に新たに補間フィールド画像を生成させ、補間フィールド用画像メモリ１０４へ格納させる。これに対し、リピート状態である場合、ｒｅｐｅａｔ＿ｃｏｕｎｔをカウントアップし、前回生成させた補間フィールド画像を補間フィールド用画像メモリ１０４に維持させる（ＩＰ変換を実施させない）。（３）表示指示手順は、ｒｅｐｅａｔ＿ｃｏｕｎｔの値に基づいて、参照フィールド画像と、補間フィールド画像から表示する画像を選択し、選択した画像を表示処理部１０５に出力させる。

例えば、実施形態１で説明した制御方法を実現するために、プログラムは、次の手順をコンピュータに実行させる命令群を有してもよい。検出手順は、新たに受け付けた画像データがトリック状態であることを検出し、変換指示手順は、リピート状態とトリック状態とのいずれでもでない場合、新たに補間フィールド画像を生成させ、その他の場合、前回生成させた補間フィールド画像を維持させる。さらに、検出手順は、リピート状態を検出したときにカウントアップするカウンタの領域を確保し、リピート状態である場合、カウンタをカウントアップし、リピート状態でない場合、カウンタをクリアする。表示指示手順は、カウンタの値に基づいて、複数の参照フィールド画像及び補間フィールド画像から出力させる画像を選択する。表示指示手順は、カウンタの値が所定の閾値以上の場合、複数の参照フィールド画像から画像を選択する。

（その他の実施形態）
上記各実施形態では、ＩＰ変換処理を用いて説明したが、これに限られることはない。入力される画像データ（参照フィールド画像）を表示する際に、補間フィールドを用いて表示画像を生成する画像処理装置及び方法に適用することが可能である。この場合、補間フィールド画像は、複数の参照フィールド画像に基づいて生成され、表示画像は、参照フィールド画像と補間フィールド画像とを組み合わせて生成される場合であればよい。

以上説明したように、本発明に係る実施形態の一態様では、リピート発生時に同じ参照フィールド画像をＩＰ変換に入力した場合、画質劣化を防ぐため、リピート発生時にはＩＰ変換にフィールド画像を入力せず、前回のＩＰ変換結果をリピート表示する。また、単純に前回のＩＰ変換結果を表示する方法を適用すると、スライドショーなどの場合にＡＶ同期ずれが大きくなってしまう。このため、規定回数以上のリピート発生時は、ＩＰ変換結果を表示せずに、入力フィールド画像を垂直２倍拡大表示する。ただし、スロー再生やポーズ時などのトリック再生時はリピートが規定回数以上発生しても、前回のＩＰ変換結果を垂直２倍拡大表示する。上記実施形態のいずれかを適用することにより、以下に説明する機能を実現する。

通常再生（１倍速再生）、かつ、ｎフィールド未満のリピート発生時は、ＩＰ変換処理部１０３に画像を入力せずに前回のＩＰ変換結果をリピート表示する。
通常再生（１倍速再生）、かつ、ｎフィールド以上連続でリピート発生時は、ＩＰ変換処理部１０３に画像を入力せずに、入力元のインタレース画像を垂直２倍拡大して表示する。
ポーズまたはスロー再生、かつリピート発生時は、ＩＰ変換処理部に画像を入力せずに前回のＩＰ変換結果をリピート表示する。

これらの機能により、ＩＰ変換処理において、連続したフィールド画像が入力されない場合、具体的にはリピート発生時のように同一のフィールド画像が入力された場合における画質劣化を防ぐことが可能となる。また、同一のフィールド画像が所定の回数（閾値）以上入力された場合に対処方法を変更することができる。これにより、画像の表示状況に対応させることが可能になる。特に、図３を用いて説明したように、スライドショーなどＡＶ同期のズレを防ぐことができる。このため、画質劣化を防ぐとともに、表示状況に応じて適切な画像を表示することができる。

なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。

１０１ デコーダ部
１０２ 参照フィールド用画像メモリ
１０３ ＩＰ変換処理部
１０４ 補間フィールド用画像メモリ
１０５ 表示処理部
１０６、２００ 制御部
２１０ 検出部
２２０ 変換指示部
２３０ 表示指示部

Claims (13)

1. 画像データを復号するデコーダ部と、
   複数の画像データ夫々を復号した複数の参照フィールド画像を格納する参照フィールド用画像メモリと、
   前記複数の参照フィールド画像を用いて補間フィールド画像を生成する補間フィールド生成部と、
   前記補間フィールド画像を格納する補間フィールド用画像メモリと、
   前記複数の参照フィールド画像の少なくとも一つと前記補間フィールド画像とを用いて、表示する画像を出力する表示処理部と、
   リピート状態をカウントするカウンタと、
   新たに受け付けた画像データが、前回と同じ画像データとなっているリピート状態を検出した場合、前記カウンタをカウントアップし、前記補間フィールド用画像メモリに格納した前記補間フィールド画像を変更しないで維持させ、リピート状態でない場合、前記カウンタをクリアし、新たに補間フィールド画像を生成させ、カウントアップまたはクリアされた後のカウンタの値に基づいて、前記表示処理部が用いる画像を前記参照フィールド画像と、前記維持させた補間フィールド画像から選択し、選択した画像を前記表示処理部に出力させる制御部と、を備える画像処理装置。
2. 前記制御部は、前記新たに受け付けた画像データがトリックプレー中であるトリック状態を検出した場合、前記補間フィールド用画像メモリに格納した前記補間フィールド画像を変更しないで維持させ、前記表示処理部が用いる画像を、前記参照フィールド画像と、前記維持させた補間フィールド画像から選択することを特徴とする請求項１記載の画像処理装置。
3. 前記制御部は、前記カウンタの値が所定の閾値以上の場合、前記表示処理部が用いる画像を、前記複数の参照フィールド画像から画像を選択することを特徴とする請求項１または２記載の画像処理装置。
4. 前記制御部は、前記カウンタの値が所定の閾値以上の場合、前記表示処理部が用いる画像として、前記参照フィールド画像を垂直二倍に拡大させた画像を選択することを特徴とする請求項３記載の画像処理装置。
5. 前記制御部は、前記カウンタの値が所定の閾値以上の場合、前記表示処理部が用いる画像として、前記複数の参照フィールド画像のうち、トップフィールド画像とボトムフィールド画像とを組み合わせた画像を選択することを特徴とする請求項３記載の画像処理装置。
6. 前記制御部は、リピート状態を検出した場合に、前記補間フィールド生成部に前記補間フィールド画像を生成させないことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記補間フィールド生成部は、インタレース画像をプログレッシブ画像に変換するための補間フィールド画像を生成し、
   前記制御部は、リピート状態とトリック状態との少なくとも一方を検出した場合に、前記補間フィールド生成部に前記複数の参照フィールド画像を入力させないことを特徴とする請求項６記載の画像処理装置。
8. 前記制御部は、前記カウンタの値が所定の閾値以上の場合、前記補間フィールド生成部に前記参照フィールド画像のうち、トップフィールド画像とボトムフィールド画像との一方を、前記補間フィールド画像として選択することを特徴とする請求項５記載の画像処理装置。
9. 前記制御部は、
   前記デコーダ部が前記新たに受け付けた画像データがリピート状態であるか否かを検出する検出部と、
   検出結果に基づいて、前記補間フィールド画像の生成を前記補間フィールド生成部へ指示し、前記補間フィールド用画像メモリに保存されている補間フィールド画像を更新させる変換指示部と、
   前記選択した画像を前記表示処理部によって出力させる表示指示部と、を備えることを特徴とする請求項１記載の画像処理装置。
10. 画像データを復号して参照フィールド画像を生成し、複数の参照フィールド画像を用いて補間フィールド画像を生成し、前記複数の参照フィールド画像の少なくとも一つと前記補間フィールド画像とを用いた画像を出力する画像処理装置を制御する画像処理制御方法であって、
    新たに受け付けた画像データが前回と同じ画像データとなっているリピート状態であるか否かを検出し、
    リピート状態でない場合、カウンタをクリアし、新たに補間フィールド画像を生成させ、
    リピート状態である場合、カウンタをカウントアップし、前回生成させた補間フィールド画像を変更しないで維持させ、
    カウントアップまたはクリアされた後のカウンタの値に基づいて、前記参照フィールド画像と前記補間フィールド画像から表示する画像を選択し、選択した画像を出力させる画像処理制御方法。
11. 画像データを復号して参照フィールド画像を生成し、複数の参照フィールド画像を用いて補間フィールド画像を生成し、前記複数の参照フィールド画像の少なくとも一つと前記補間フィールド画像とを用いた画像を出力する画像処理装置を制御する画像処理制御プログラムであって、
    コンピュータに、
    新たに受け付けた画像データが前回と同じ画像データとなっているリピート状態であるか否かを検出する検出手順と、
    リピート状態でない場合、カウンタをクリアし、新たに補間フィールド画像を生成させ、リピート状態である場合、カウンタをカウントアップし、前回生成させた補間フィールド画像を変更しないで維持させる変換指示手順と、
    カウントアップまたはクリアされた後のカウンタの値に基づいて、前記参照フィールド画像と補間フィールド画像から表示する画像を選択し、選択した画像を出力させる表示指示手順と、を実行させる画像処理制御プログラム。
12. 前記検出手順は、前記新たに受け付けた画像データがトリックプレー中となっているトリック状態であることを検出し、
    前記変換指示手順は、リピート状態とトリック状態とのいずれでもでない場合、新たに補間フィールド画像を生成させ、その他の場合、前回生成させた補間フィールド画像を変更しないで維持させることを特徴とする請求項１１記載の画像処理制御プログラム。
13. 前記表示指示手順は、前記カウンタの値が所定の閾値以上の場合、前記複数の参照フィールド画像から画像を選択することを特徴とする請求項１１または１２記載の画像処理プログラム。

Images