JP4759159B2 - 画像処理装置、走査方式変換方法、記憶媒体、及びプログラム - Google Patents
画像処理装置、走査方式変換方法、記憶媒体、及びプログラム Download PDFInfo
- Publication number
- JP4759159B2 JP4759159B2 JP2001115743A JP2001115743A JP4759159B2 JP 4759159 B2 JP4759159 B2 JP 4759159B2 JP 2001115743 A JP2001115743 A JP 2001115743A JP 2001115743 A JP2001115743 A JP 2001115743A JP 4759159 B2 JP4759159 B2 JP 4759159B2
- Authority
- JP
- Japan
- Prior art keywords
- scanning method
- image
- conversion
- area
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、インターレース走査方式による画像信号（インターレース画像信号）を、順次走査方式による画像信号（順次走査画像信号）に変換するための装置或いはシステムに用いられる、画像処理装置、走査方式変換方法、それを実施するための処理ステップ等をコンピュータに実行させるためのプログラム、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より例えば、ＮＴＳＣ方式やＰＡＬ方式等のテレビジョン方式によるテレビジョン放送では、画面の走査方式として、インターレース走査方式が採用されている。
【０００３】
インターレース走査方式は、奇数行目の走査線の情報を有する画面と、偶数行目の走査線の情報を有する画面とを交互に伝送することで、帯域を節約し高効率の伝送を実現する走査方式である。
【０００４】
しかしながら、インターレース走査方式は、ラインフリッカ等の問題をあわせ持つことにより、例えば、ディスプレイ等の表示装置において、当該インターレース走査方式による画像信号（インターレース画像信号）の隙間を補間して、順次走査画像信号に変換して出力することが行なわれている。
【０００５】
一方、ディジタル放送は、ＭＰＥＧ２規格（以下、単に「ＭＰＥＧ２」とも言う）に準拠するようになされているが、ＭＰＥＧ２は、インターレース構造の信号に対応している。これにより、ディジタル放送においても、インターレース画像信号から順次走査画像信号への変換処理が必要である。
【０００６】
ここで、ＭＰＥＧ２とは、動き補償型の圧縮方式の規格である。したがって、ＭＰＥＧ２では、符号化及び復号化時に動き補償を行うことになり、これにより得られたデータは、動きベクトルを既に持っていることになる。すなわち、ＮＴＳＣ方式等のテレビジョン方式によるインターレース画像信号を順次走査画像信号へ変換（以下、この変換を「走査線変換」或いは「走査方式変換」とも言う）する際に必要とされていた動き検出は必要ない。
【０００７】
上記の点に着目した技術として、例えば、特開平１０−１２６７４９号等には、前のフィールドの画素から補間を行うフィールド間補間と、補間すべき位置の上下の画素から補間を行うフィールド内補間とを、ＭＰＥＧ２における動きベクトルを基準として切り替える構成が記載されている。この構成によれば、動き検出回路を用いることなく、画像信号の走査方式を変換することができ、また、回路規模を低減することができる。
【０００８】
【発明が解決しようとする課題】
ところで、上述したようなディジタル放送は、１チャンネルあたりに必要な帯域が、例えば、従来からのＮＴＳＣ方式のテレビジョン放送よりもはるかに少ないため、多チャンネル化、及びデータ放送との多重等が可能となる。
【０００９】
しかしながら、ディジタル放送において多チャンネル化や多重化等を行おうとすると、これに伴って、ディジタル放送受信機（ディジタルテレビジョン装置等）内のマイクロプロセッサが処理するデータ量が増加することになる。また、このような多くのデータを処理しつつ、さらに走査線変換処理を行うと、当該処理が間に合わないことにより、駒落ちによる画質劣化が発生するという問題が生じてくる。
【００１０】
そこで、上記の問題を解決するために、例えば、特開平１１−１４６３９８号等では、マイクロプロセッサを用いたディジタルテレビジョン装置等において、マイクロプロセッサの負荷を何らかの手法で検出し、駒落ちを押さえる構成が提案されている。
【００１１】
しかしながら、特開平１１−１４６３９８号等に記載された従来の構成は、復号器の処理を変更して処理負荷を低減する構成であり、走査線変換処理の負荷を考慮した構成ではない。
【００１２】
例えば、復号化処理から走査線変換までの処理を、マイクロプロセッサで実行する場合、復号化処理とは別に、走査線変換処理の負荷を監視し、その負荷に応じて、走査線変換手法を変更するための手段が必要となることが考えられるが、従来では、このような構成が実現されていなかった。
【００１３】
上述のように、マイクロプロセッサを用いたディジタルテレビジョン装置等の従来の画像処理装置では、多チャンネルの同時視聴等によりマイクロプロセッサにかかる負荷が大きくなると駒落ち等が発生し、この結果、画質劣化が生じていた。また、復号化処理を変更することでマイクロプロセッサへの処理負荷を軽減することもできるが、一方の走査線変換の処理負荷は、その構成によっては小さなものではない。そこで、例えば、マイクロプロセッサへの処理負荷が大きい場合には、処理負荷の小さな走査線変換手法に変更するような構成が必要になると考えられるが、このような構成において、単純に処理負荷が大きくなったときに、全ての走査線変換を行わないようにすると、画質が急激に劣化してしまうことになる。
【００１４】
そこで、本発明は、上記の欠点を除去するために成されたもので、マイクロプロセッサへの処理負荷が大きくなると、処理負荷の大きい走査線変換を、処理負荷の小さい走査線変換に変更可能な構成とすることで、急激な画質の劣化を生じることなく、走査線変換を続けて実行できる、画像処理装置、走査方式変換方法、それを実施するための処理ステップ等をコンピュータに実行させるためのプログラム、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得する画像処理装置であって、上記符号化信号を復号して得られた第１の画像信号を記憶する第１の画像記憶手段と、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶手段と、上記動きベクトル記憶手段内の動きベクトルに基づいて、上記第１の画像記憶手段内の第１の画像信号により構成される画面を動領域か静止領域に領域分割する領域分割手段と、上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定手段と、 上記推定手段によって推定された負荷が所定値よりも低い場合には、走査方式変換の手法として、上記動領域にはフィールド内補間方式を実行し、上記静止領域にはフィールド間補間方式を実行し、上記推定手段によって推定された負荷が所定値よりも高い場合には、上記動領域と上記静止領域とにフィールド間補間方式を実行する走査方式変換手段とを備え、上記走査方式変換手段は、上記推定手段によって推定された負荷が所定値よりも高い場合であって、上記動領域と上記静止領域とにフィールド間補間方式を実行しても当該負荷が所定値より低くならない場合には、上記フィールド間補間方式の実行に代えて、補間すべき位置に特定値を挿入する。
本発明の画像処理装置における他の態様は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得する画像処理装置であって、上記符号化信号を復号して得られた第１の画像信号を記憶する第１の画像記憶手段と、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶手段と、上記動きベクトル記憶手段内の動きベクトルに基づいて、上記第１の画像記憶手段内の第１の画像信号により構成される画面を動領域か静止領域か中間領域かに領域分割する領域分割手段と、上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定手段と、上記推定手段によって推定された負荷に基づいて、上記領域分割手段による分割領域において、上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への走査方式変換処理の手法である、フィールド内補間方式、フィールド間補間方式、動き補償補間方式もしくは当該補間方式に代えて補間すべき位置に特定値を挿入する方式を選択して実行する走査方式変換手段とを備える。
【００１６】
本発明の走査方式変換方法は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得するための走査方式変換方法であって、上記符号化信号を復号して得られた第１の画像信号を記憶する画像記憶ステップと、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶ステップと、上記動きベクトル記憶ステップにより記憶された動きベクトルに基づいて、上記画像記憶ステップにより記憶された第１の画像信号により構成される画面を動領域か静止領域に領域分割する領域分割ステップと、上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定ステップと、 上記推定ステップによって推定された負荷が所定値よりも低い場合には、走査方式変換の手法として、上記動領域にはフィールド内補間方式を実行し、上記静止領域にはフィールド間補間方式を実行し、上記推定ステップによって推定された負荷が所定値よりも高い場合には、上記動領域と上記静止領域とにフィールド間補間方式を実行する走査方式変換ステップとを備え、上記走査方式変換ステップは、上記推定ステップによって推定された負荷が所定値よりも高い場合であって、上記動領域と上記静止領域とにフィールド間補間方式を実行しても当該負荷が所定値より低くならない場合には、上記フィールド間補間方式の実行に代えて、補間すべき位置に特定値を挿入する。
本発明の走査方式変換方法における他の態様は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得するための走査方式変換方法であって、上記符号化信号を復号して得られた第１の画像信号を記憶する画像記憶ステップと、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶ステップと、上記動きベクトル記憶ステップにより記憶された動きベクトルに基づいて、上記画像記憶ステップにより記憶された第１の画像信号により構成される画面を動領域か静止領域か中間領域かに領域分割する領域分割ステップと、上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定ステップと、上記推定ステップによって推定された負荷に基づいて、上記領域分割ステップによる分割領域において、上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への走査方式変換処理の手法である、フィールド内補間方式、フィールド間補間方式、動き補償補間方式もしくは当該補間方式に代えて補間すべき位置に特定値を挿入する方式を選択して実行する走査方式変換ステップとを備える。
【００１７】
本発明のコンピュータ読み取り可能な記憶媒体は、上記走査方式変換方法の処理ステップをコンピュータに実行させるためのプログラムを記録する。
【００１８】
本発明のプログラムは、コンピュータに、上記走査方式変換方法の処理ステップを実行させる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３４】
[第１の実施の形態]
本発明は、例えば、図１に示すような走査方式変換装置１００に適用される。
本実施の形態の走査方式変換装置１００は、ディジタルテレビジョン装置等に用いられ、特に、ＭＰＥＧ２に準拠したエンコーダにより符号化された画像信号（以下、「ＭＰＥＧ２画像データ」と言う）を入力信号とし、このＭＰＥＧ２画像データを復号することで、インターレース構造の画像データ（インターレース画像データ）及び動きベクトルを取得し、動きベクトルに基づいた領域統合によりインターレース画像データを静止領域のデータと動領域のデータに分割し、これらの領域毎に画像データを並べ直し、静止領域の画像データについては静止領域用の走査方式変換を施すことで順次走査画像データを取得し、動領域の画像データについては動領域用の走査方式変換を施すことで順次走査画像データを取得するが、このとき、処理対象のデータの量から、現在の全体の処理負荷を推定し、この推定の結果、処理負荷が重いようであれば、動領域についての走査方式変換の手法を、フィールド内補間からフィールド間補間に変更するように構成されている。これにより画質の急激な劣化を伴わずに、全体の処理負荷を低減することができる。
以下、本実施の形態の走査方式変換装置１００の構成及び動作について具体的に説明する。
【００３５】
尚、本実施の形態では、フィールド内補間よりもフィールド内補間の方が、演算処理に時間を要し、処理負荷が大きいと仮定している。
【００３６】
走査方式変換装置１００は、上記図１に示すように、ＭＰＥＧ２画像データが入力される入力端子１０１と、入力端子１０１からのＭＰＥＧ２画像データを復号するＭＰＥＧ２復号部１０２と、ＭＰＥＧ２復号部１０２での復号に必要な参照フィールドの画像データを記憶する参照用メモリ１０４と、ＭＰＥＧ２復号部１０２で得られたインターレース画像データを記憶する表示用メモリ１０３と、ＭＰＥＧ２復号部１０２で得られた動きベクトルのデータを記憶する動きベクトル１０５と、動きベクトル記憶メモリ１０５に記憶された動きベクトルに基づき画面領域分割を行なう領域分割部１０６と、領域分割部６の分割結果（統合結果）に基づき走査方式を選択する走査方式選択部１０７と、表示用メモリ１０３内の画像データを走査方式選択部１０７での選択指示に基づき静止領域の画像データと動領域の画像データに分配する信号分配部１０８と、信号分配部１０８により得られた静止領域の画像データを記憶する信号記憶メモリ１０９と、信号分配部１０８により得られた動領域の画像データを記憶する信号記憶メモリ１１０と、信号記憶メモリ１０９に記憶された静止領域の画像データの走査方式を変換する走査方式変換部１１１と、信号記憶メモリ１１０に記憶された動領域の画像データの走査方式を変換する走査方式変換部１１２と、走査方式変換部１１１及び走査方式変換部１１２による走査方式変換後の画像データを記憶する出力用メモリ１１３と、出力用メモリ１１３内の画像データを外部出力する出力端子１１４とを備えている。
【００３７】
上述のような走査方式変換装置１００において、先ず、入力端子１０１には、ＭＰＥＧ２画像データが入力される。
具体的には例えば、ディジタル放送チューナやＤＶＤ等の蓄積メディアからディジタルテレビジョン装置に与えられたＭＰＥＧ２データは、当該装置内のデマルチプレクサにより、ＭＰＥＧ２音声データとＭＰＥＧ２画像データに分配される。これらのデータのうちの、ＭＰＥＧ２画像データが、入力端子１０１に対して入力される。
【００３８】
ＭＰＥＧ２復号部１０２は、入力端子１０１に入力されたＭＰＥＧ２画像データを復号する。このとき、参照用メモリ１０４には、現フィールドの復号に必要な参照フィールドの画像データが記憶されているため、ＭＰＥＧ２復号部１０２は、参照用メモリ１０４内の画像データを用いて、当該復号処理を行なう。
【００３９】
そして、ＭＰＥＧ２復号部１０２は、上記の復号処理により取得したインターレース画像データを表示用メモリ１０３に供給すると共に、当該インターレース画像データと共に取得した動きベクトルのデータを動きベクトル記憶メモリ１０５に供給する。
【００４０】
尚、ＭＰＥＧ２では、輝度信号及び色差信号から構成される画像は、８×８画素のブロック単位でＤＣＴ処理（直交変換処理）される。また、輝度信号を４ブロック、色差信号をそれぞれ１ブロックの、合計６ブロックをまとめて１マクロブロックで扱うことが多く、動きベクトルは、当該マクロブロック単位で検出される。
本実施の形態では、上記の検出動きベクトルを用いて、走査方式変換を行うため、当該走査方式変換をもマクロブロック単位で行うことになる。
【００４１】
ＭＰＥＧ２復号部１０２により、１画面分のＭＰＥＧ２画像データの復号が終了すると、表示用メモリ１０３には、１画面分の現フィールドのインターレース画像データが記憶されることになる。また、動きベクトル記憶メモリ１０５にも、１画面分の動きベクトルが記憶されることになる。
【００４２】
領域分割部１０６は、動きベクトル記憶メモリ１０５に記憶された１画面分の動きベクトルに基づいて、当該画面の領域分割を行う。
本実施の形態では、走査方式変換の手法として、静止領域に対してフィールド間補間を、動領域に対してフィールド内補間を適用する手法を用いるため、領域分割部１０６において、動きベクトルを基準とする領域分割を行うにあたっては、静止領域と動領域に分割できればよい。
【００４３】
具体的には例えば、図２（ａ），（ｂ）は、領域分割部１０６における領域分割の一例（例１）を示したものである。
【００４４】
先ず、領域分割部１０６は、動きベクトル記憶メモリ１０５内の対象動きベクトルを、任意のしきい値と比較することで、対象動きベクトルに対応するマクロブロックを動領域又は静止領域に仮分割する。
【００４５】
上記の仮分割の様子を示したものが、上記図２（ａ）である。
上記図２（ａ）では、１つの画面２０１が５×５のマクロブロックに分割されている。これらのマクロブロックに対応する動きベクトルが、動きベクトル記憶メモリ１０５に記憶される。
したがって、領域分割部１０６は、個々のマクロブロックに対応する動きベクトルについて、任意のしきい値よりも大きいか否かの結果に基づいて、画面２０１を、静止領域（白ブロック参照）と動領域（黒ブロック参照）に分割する。
【００４６】
次に、領域分割部１０６は、仮分割した画面２０１のそれぞれにマクロブロックに対して、注目マクロブロック（対象マクロブロック）の動きベクトルと、その周囲の８つのマクロブロックの動きベクトルとを比較した結果、注目マクロブロックの動きベクトルが、その周囲の８つのマクロブロックの動きベクトルと明らかに傾向が異なる場合、注目マクロブロックを、その周囲の８つのマクロブロックと同一の領域に統合する、という処理を行なう。
【００４７】
例えば、注目マクロブロックが、動領域と判定されたマクロブロックであり、その周囲の８つのマクロブロックのうち、６つのマクロブロックが、静止領域と判定されたマクロブロックである場合、注目マクロブロックが動領域と判定されていたとしても、静止領域として、その周囲の静止領域に統合する。
【００４８】
上記の統合の様子を示したものが、上記図２（ｂ）である。すなわち、上記図２（ｂ）は、上記図２（ａ）に示した仮分割の画面２０１に対して、上記の統合を行なった結果である。
上記図２（ｂ）において、“Ａ”で示すマクロブロックは、その周囲の７つのマクロブロックが静止領域と判定されたマクロブロックであることにより、本来動領域と判定されていたが、静止領域に統合されている。
【００４９】
尚、本実施の形態では、その一例として、注目マクロブロックの周囲の８つのマクロブロックのうち、６つ以上のマクロブロックが、注目マクロブロックと異なる領域の判定結果である場合に、その領域に注目マクロブロックを統合するようにしているが、統合の判定の基準となるマクロブロック数（ここでは、６つ）はこれに限られることはない。
【００５０】
図３（ａ），（ｂ）は、領域分割部１０６における領域分割の他の例（例２）を示したものである。
【００５１】
先ず、領域分割部１０６は、動きベクトル記憶メモリ１０５内の対象動きベクトルを、第１のしきい値及び第２のしきい値と比較することで、対象動きベクトルに対応するマクロブロックを、明らかに静止している領域、及び明らかに動いている領域、及び動きベクトルが小さく動いているかどうかあいまいな中間領域の３つ領域の何れかに仮分割する。
【００５２】
上記の仮分割の様子を示したものが、上記図３（ａ）である。
上記図３（ａ）では、１つの画面３０１が５×５のマクロブロックに分割されている。これらのマクロブロックに対応する動きベクトルが、動きベクトル記憶メモリ１０５に記憶される。
したがって、領域分割部１０６は、個々のマクロブロックに対応する動きベクトルについて、第１のしきい値よりも大きいか否か、さらに第２のしきい値よりも大きいか否かの結果に基づいて、画面３０１を、静止領域（白ブロック参照）動領域（黒ブロック参照）、及び中間領域（斜線ブロック参照）に分割する。
【００５３】
次に、領域分割部１０６は、仮分割した画面３０１の中の中間領域（斜線ブロックの領域）のそれぞれにマクロブロックに対して、注目マクロブロック（対象マクロブロック）の周囲の８つのマクロブロックを参照し、静止領域と判定されたマクロブロック数、及び動領域と判定されたマクロブロック数を認識し、注目マクロブロックを、マクロブロック数の多い方の静止領域又は動領域に統合する、という処理を行なう。
【００５４】
このとき、静止領域と判定されたマクロブロック数と、動領域と判定されたマクロブロック数とが同じである場合、領域分割部１０６は、注目マクロブロックを、予め決められた領域（静止領域又は動領域）へ統合する。
【００５５】
また、注目マクロブロックの周囲のマクロブロックの全てが、中間領域と判定されたマクロブロックである場合、領域分割部１０６は、注目マクロブロックの統合は保留し、統合可能なマクロブロックから先に処理し、その後、保留しておいたマクロブロックについての統合を行なう。これにより、仮分割で中間領域と判定されたマクロブロックは全て、静止領域又は動領域に統合される。
【００５６】
上記の統合の様子を示したものが、上記図３（ｂ）である。すなわち、上記図３（ｂ）は、上記図３（ａ）に示した仮分割の画面３０１に対して、上記の統合を行なった結果である。
上記図３（ｂ）において、“Ａ”で示すマクロブロックは、仮分割時に中間領域と判定されたマクロブロックであるが、その周囲に、静止領域と判定されたマクロブロックが多く存在するため、静止領域に統合されている。また、“Ｂ”で示すマクロブロックは、仮分割時に中間領域と判定されたマクロブロックであるが、その周囲に、動領域と判定されたマクロブロックが多く存在するため、動領域に統合されている。
【００５７】
上述のようにして、領域分割部１０６は、画面の領域分割（領域統合）を行ない、走査方式選択部１０７は、領域分割部１０６の統合結果に基づいて、信号分配部１０８が処理対象とするマクロブロックが、動領域と静止領域の何れに属するマクロブロックであるかを示す信号、すなわち動領域用の走査方式変換を行うべきマクロブロックであるか、或いは静止域用の走査方式変換を行うべきマクロブロックであるかを示す信号（変換方式選択信号）を信号分配部１０８に供給する。
【００５８】
信号分配部１０８は、表示用メモリ１０３に記憶されたインターレース画像データを構成するそれぞれのマクロブロックについて、走査方式選択部１０７からの変換方式選択信号に基づき、対象マクロブロックを、静止領域用の信号記憶メモリ１１１又は動領域用の信号記憶メモリ１１２に分配する。
【００５９】
このとき、信号分配部１０８は、対象マクロブロックに対して、画面内での位置を示す情報を、任意の構成により付加して、静止領域用の信号記憶メモリ１１１又は動領域用の信号記憶メモリ１１２に分配する。
【００６０】
例えば、信号分配部１０８は、画面の位置に基づいた番号を、“０”から順に、対象マクロブロックに付加する。この場合、７２０画素×４８０画素で構成された画面（画像データ）の場合、マクロブロックの数は１３５０個であり、付加される番号は“０”から“１３５０”となる。番号の付加方法としては、例えば、対象マクロブロックの先頭に対して、１０ビットの位置情報ビットを付加する方法等が挙げられる。或いは、対象マクロブロックの先頭に付加する１０ビットの位置情報を、先頭６ビットで水平位置を示し、後ろ４ビットで垂直位置を示す情報としてもよい。
【００６１】
また、信号分配部１０８は、信号記憶メモリ１０９及び信号記憶メモリ１１０の空き状況を監視し、後述する構成により、処理負荷を推定する。
【００６２】
信号記憶メモリ１０９及び信号記憶メモリ１１０はそれぞれ、例えば、２画面分の記憶容量を有するメモリである。
静止領域用の信号記憶メモリ１０９は、信号分配部１０８から供給された、静止領域と判定されたマクロブロックを、当該マクロブロックに付加された位置情報と共に順次に記憶する。また、動領域用の信号記憶メモリ１１０も同様に、信号分配部１０８から供給された、動領域と判定されたマクロブロックを、当該マクロブロックに付加された位置情報と共に順次に記憶する。
【００６３】
静止領域用の走査方式変換部１１１は、静止領域用の信号記憶メモリ１０９に記憶されているマクロブロックの画像データの走査方式を、後述する構成により変換し、当該マクロブロックに付加された位置情報に基いて、走査方式変換後のマクロブロックを、出力用メモリ１１３の該当する位置へ格納する。
【００６４】
動領域用の走査方式変換部１１２は、動領域用の信号記憶メモリ１１０に記憶されているマクロブロックの画像データの走査方式を、後述する構成により変換し、当該マクロブロックに付加された位置情報に基いて、走査方式変換後のマクロブロックを、出力用メモリ１１３の該当する位置へ格納する。
【００６５】
ここで、図４（ａ）は、静止領域用の走査方式変換部１１１での走査方式変換を示したものであり、同図（ｂ）は、動領域用の走査方式変換部１１２での走査方式変換を示したものである。
【００６６】
静止領域用の走査方式変換部１１１は、上記図４（ａ）に示すように、参照用メモリ１０３からの該当する画像データ４０１，４０２、及び信号記憶メモリ１０９からの該当する画像データ４０３，４０３の入力を受け、前フィールドの画素値（“○”印参照）を補間が必要な位置（“△”印参照）に補間する。
【００６７】
動領域用の走査方式変換部１１２は、上記図４（ｂ）に示すように、信号記憶メモリ１１０からの該当する画像データ４１１，４１２の入力を受け、補間が必要な位置（“△”印参照）の上下に位置する画素（“○”参照）の平均値で補間する。
【００６８】
上述のような処理により、インターレース画像データから順次走査画像データへの変換への変換がなされる。
【００６９】
また、走査方式変換部１１１及び走査方式変換部１１２は、信号記憶メモリ１０９及び信号記憶メモリ１１０内のマクロブロックが既に処理されたか否かを信号分配部１０８が監視できるように、処理済のマクロブロックに対して、処理済みを示すフラグを付加する。
例えば、走査方式変換部１１１及び走査方式変換部１１２は、処理済みのマクロブロックに付加された位置情報を、そのビット全てを“１”に設定する。
【００７０】
信号分配部１０８は、信号記憶メモリ１０９及び信号記憶メモリ１１０内のマクロブロックを、その位置情報を参照することで、処理済みであるか否かを監視し、この結果により、処理負荷を推定する。
【００７１】
具体的には例えば、信号分配部１０８は、表示用メモリ１０３内の画面先頭の画像データを、信号記憶メモリ１０９又は信号記憶メモリ１１０に分配するとき、信号記憶メモリ１０９及び信号記憶メモリ１１０内のマクロブロックに対して、走査方式変換部１１１及び走査方式変換部１１２により負荷された処理済みを示すフラグを参照することで、処理済みでないマクロブロックがどのくらい存在するかを認識する。
【００７２】
そして、信号分配部１０８は、処理済みでないマクロブロックが一定数以上ある場合、例えば、１画面分のマクロブロックが未処理の状態で残っている場合、処理負荷が大きく処理が間に合っていないと判定し、次に分配を行う画面の画像データを分配するにあたって、その動領域のマクロブロックについては、走査方式変換の手法を、フィールド内補間からフィールド間補間に切り替えるようにする。例えば、信号分配部１０８は、動領域用の走査方式変換部１１２に対して、上記の走査方式変換の手法を切り替えることを示す信号（走査方式変換手法切替信号）を供給する。これにより、動領域用の走査方式変換部１１２は、信号分配部１０８からの走査方式変換手法切替信号に基づいて、走査方式変換の手法を、フィールド内補間からフィールド間補間に切り替える。
【００７３】
また、信号分配部１０８は、動領域用の走査方式変換部１１２において、動領域についての走査方式変換の手法がフィールド間補間で代用されている間も、信号記憶メモリ１０９及び信号記憶メモリ１１０の監視を続け、処理済みでないマクロブロックの残量が少なくなってきたら、処理負荷が軽くなったものと判定し、動領域の走査方式変換の手法をフィールド内補間に戻す。例えば、信号分配部１０８は、動領域用の走査方式変換部１１２に対して、上記の走査方式変換の手法を切り替えを戻すことを示す信号（走査方式変換手法切替信号）を供給する。これにより、動領域用の走査方式変換部１１２は、信号分配部１０８からの走査方式変換手法切替信号に基づいて、走査方式変換の手法を元に戻す。
【００７４】
また、信号分配部１０８は、動領域用の走査方式変換部１１２において、動領域についての走査方式変換の手法をフィールド間補間で代用しても処理負荷が軽くならない場合、静止領域及び動領域の双方についての走査方式変換を行わないようにする。例えば、信号分配部１０８は、走査方式変換部１１１及び走査方式変換部１１２に対して、補間すべき位置に“０”もしくは適当な数値を挿入するように指示を与える。この場合、出力用メモリ１１３には、インターレース画像データが格納される。
【００７５】
上述のようにして、信号分配部１０８からの処理負荷に応じた指示に基づいて、動領域用の走査方式変換部１１２及び静止領域用の走査方式変換部１１１は、信号記憶メモリ１０９及び信号記憶メモリ１１０のマクロブロックに対して走査方式変換を行なう。この変換後のマクロブロックは、出力用メモリ１１３の該当する位置に格納される。
【００７６】
出力メモリ１１３は、動領域用の走査方式変換部１１２及び静止領域用の走査方式変換部１１１により該当する位置に格納されたマクロブロックの画像データを出力端子１１４を介して出力する。
【００７７】
例えば、マクロブロックに付加された位置情報として、画面における位置を示す“０”〜“１３５０”の番号が与えられている場合、その番号値を、出力用メモリ１１３のアドレスに変換し、そのアドレスに画像データを書き込み、出力端子１１４から出力する。この結果、出力端子１１４からは、順次走査画像データが出力されることになる。
【００７８】
上述のように、本実施の形態では、ＭＰＥＧ２の画像データから得られる動きベクトルに基づいて、当該画像データから構成される画面を、静止領域と動領域の２つに領域に分割し、静止領域の画像データに対しては静止領域用の走査方式変換部１１１によりフィールド間補間を行い、動領域の画像データに対しては動領域用の走査方式変換部１１２によりフィールド内補間を行う。このとき、信号分配部１０８が、それぞれの変換部用メモリ１０９，１１０の使用状況（未処理のマクロブロック数）を監視（処理負荷の監視）しながら、静止領域用の走査方式変換部１１１及び動領域用の走査方式変換部１１２で処理対象とするマクロブロックの分配を行う。また、信号分配部１０８が、処理負荷が大きくなったと判断すると、動領域についての走査方式変換手法を、フィールド間補間で代用する。
このように構成したことにより、マイクロプロセッサを用いて、ＭＰＥＧ２画像データの復号及び走査方式変換を行う際、処理負荷が大きくなったときでも、急激な画質の劣化を引き起こすことなく、走査方式変換を行うことができる。
【００７９】
尚、本実施の形態では、その一例として、フィールド間補間よりもフィールド内補間の方が、処理負荷が大きいとしたが、装置或いはシステムによっては、フィールド間補間のためのメモリ参照に多くの時間を要すること等により、フィールド間補間の方が処理負荷が大きくなることもある。この場合、処理負荷が大きいと判断したときに、本実施の形態とは逆に、フィールド間補間をフィールド内補間に変更する。
【００８０】
また、例えば、フィールド間補間とフィールド内補間が、それぞれ処理負荷がほとんど変わらない場合、処理負荷が大きくなったときに、何れかの手法を、もう一方の手法に変更するようにしてもよい。また、この場合、補間すべき位置に“０”もしくは適当な数値を挿入すること等により、動領域についての走査方式変換を行わないようにするようにしてもよい。
【００８１】
また、本実施の形態では、処理負荷が大きくなったときに、動領域についての走査方式変換手法をフィールド間補間とすることで、処理負荷の低減を図るが、例えば、補間すべき位置に“０”もしくは適当な数値を挿入すること等して、走査方式変換を行わないようにしてもよい。
【００８２】
[第２の実施の形態]
本発明は、例えば、図５に示すような走査方式変換装置５００に適用される。
尚、上記図５の走査方式変換装置５００において、上記図１の走査方式変換装置１００と同様に動作する箇所には同じ符号を付し、その詳細な説明を省略する。
【００８３】
まず、第１の実施の形態では、走査方式変換手法として、フィールド内補間とフィールド間補間の２種類を用い、領域分割についても、当該走査方式変換手法に対応させて、静止領域と動領域の２つに分割するようにし、処理負荷に基づいて、通常の走査方式変換、動領域についてフィールド間補間で代用する変換、及び走査方式変換無し等のように走査方式変換処理を変化させることで、処理負荷の低減を図るように構成した。
【００８４】
これに対して本実施の形態では、走査方式変換手法として、フィールド内補間、フィールド間補間、及び動き補償補間の３種類を用い、領域分割についても、当該走査方式変換手法に対応させて、静止領域、動領域、及び中間領域の３つに分割するように構成する。このように、走査方式変換手法を多く用いるように構成することで、処理負荷が大きくなった場合の、処理の変化の段階を多くすることが可能となり、その分、違和感の少ない処理負荷の低減を図ることができる。
【００８５】
尚、本実施の形態では、フィールド間補間が最も処理負荷が小さく、これについで、フィールド内補間、動き補償補間が順に処理負荷が大きいと仮定する。
【００８６】
このため、本実施の形態の走査方式変換装置５００は、上記図５に示すように、上記図１に示した構成に加えて、信号記憶メモリ１１９及び走査方式変換部１２０を備え、動きベクトル記憶メモリ１０５の出力（動きベクトル）を走査方式変換１２０へも供給するように構成されている。
【００８７】
領域分割部１０６は、動きベクトル記憶メモリ１０５に記憶された１画面分の動きベクトルに基づいて領域分割を行うが、上記図３（ａ）を用いて説明したように、第１のしきい値及び第２のしきい値を用いて、明らかに静止している領域（静止領域）と、明らかに動いている領域（動領域）と、いずれにも判断できない中間領域との３つの領域に分割する。
【００８８】
また、領域分割部１０６は、１画面を構成するマクロブロックのそれぞれに対して、注目マクロブロック（対象マクロブロック）の周囲８つのマクロブロックのうち、６つまでが同一の領域で、且つ注目マクロブロックと異なる領域の場合、注目マクロブロックを当該領域に統合する、という処理を施す。
【００８９】
走査方式選択部１０７は、領域分割部１０６の統合結果に基づいて、信号分配部１０８が処理対象とするマクロブロックが、動領域、静止領域、及び中間領域の何れに属するマクロブロックであるかを示す信号、すなわち動領域用の走査方式変換を行うべきマクロブロックであるか、或いは静止域用の走査方式変換を行うべきマクロブロックであるか、或いは中間領域用の走査方式変換を行うべきマクロブロックであるかを示す信号（変換方式選択信号）を信号分配部１０８に供給する。
【００９０】
信号分配部１０８は、表示用メモリ１０３に記憶されたインターレース画像データを構成するそれぞれのマクロブロックについて、走査方式選択部１０７からの変換方式選択信号に基づき、対象マクロブロックを、静止領域用の信号記憶メモリ１１１、又は動領域用の信号記憶メモリ１１２、又は中間領域用の信号記憶メモリ１１９に分配する。
【００９１】
このとき、信号分配部１０８は、第１の実施の形態と同様にして、メモリ１０９，１１０，１１９を監視し、処理負荷の推定を行う。
【００９２】
そして、信号分配部１０８は、上記処理負荷の推定の結果、処理負荷が大きいと判定した場合、先ず、中間領域に対する走査方式変換を中止し、次の画面からは領域を３分割ではなく２分割で行うように、領域分割部１１６及び変換方式選択部１０７に対して、割込信号等により指示する。
【００９３】
この場合、領域分割部１０６は、信号分配部１０８からの指示に基づいて、領域を３分割する手法を、第１の実施の形態と同様の２分割する手法に切り替える。
また、走査方式選択部１０７は、３つの走査方式変換から１つを選択する手法から、第１の実施の形態と同様の２つの走査方式変換から１つを選択する手法に切り替える。
【００９４】
ここで、図６は、中間領域用の走査方式変換部１２０での走査方式変換を示したものである。
中間領域用の走査方式変換部１２０は、上記図６に示すように、参照用メモリ１０３からの該当する画像データ６０１，６０２、及び信号記憶メモリ１１９からの該当する画像データ６０３，６０３の入力を受け、点線で囲まれたマクロブロックの動きベクトルが太破線矢印である場合、補間画素を（“△”参照）を動きベクトルと平行なベクトルが指す、参照フィールドと対になるフィールドの画素（“○”参照）で補間し、ベクトルの指す位置に画素が存在しない場合は最も近い画素で補間する。
【００９５】
上述のような構成及び動作が、第１の実施の形態と異なる点である。
すなわち、本実施の形態では、走査方式変換手法として３種類の手法を用い、分割領域を静止領域、動領域、及び中間領域の３つの領域とし、処理負荷に基づいて、３種類の走査方式変換、静止領域及び動領域の走査方式変換、動領域をフィールド間補間で代用する変換、及び走査方式変換無しの４段階の処理の中の該当する処理を実行するように構成した。これにより、走査方式変換の切り替えによる画質劣化を軽減することができる。
【００９６】
例えば、静止領域及び動領域の走査方式変換から、静止領域のみの走査方式変換に切り替えるときの画質劣化よりも、３種類の走査方式変換から、静止領域及び動領域の走査方式変換への切り替えるときの方が、画質の劣化が少なくてすむので、３種類の走査方式変換から２種類の走査方式変換への切り替えにより処理負荷を小さくできるような場合は、本実施の形態は大きな効果を持つことになる。
【００９７】
尚、中間領域についての走査方式変換を中止し、静止領域及び動領域のみの走査方式変換を行っても処理負荷が小さくならない場合、第１の実施の形態と同様に、静止領域及び動領域の双方についての走査方式変換を行わないようにしてもよい。また、逆に、処理負荷が小さくなり、中間領域の走査方式変換を再開する場合、これについても第１の実施と同様であるため、その詳細な説明は省略する。
【００９８】
また、本実施の形態においても、第１の実施の形態と同様に、動領域の走査方式変換手法を、フィールド間補間からフィールド内補間に切り替えるようにしたが、例えば、走査方式変換手法を行わないようにしてもよいのは、第1の実施の形態と同様である。
【００９９】
また、本実施の形態では、フィールド間補間が最も処理の負荷が小さく、これについで、フィールド内補間、動き補償補間が順次処理負荷が大きいと仮定した。動き補償補間が、他の走査方式変換手法に比べ負荷が小さいことは、その計算量から考えられない。
【０１００】
また、フィールド内補間の方がフィールド間補間よりも処理負荷が小さい場合や、フィールド間補間とフィールド内補間の処理負荷の大きさがほとんど同じである場合等については、第1の実施の形態と同様に処理できることは明らかである。
【０１０１】
[第３の実施の形態]
本発明は、例えば、図７に示すような走査方式変換装置７００に適用される。
尚、上記図７の走査方式変換装置７００において、上記図１の走査方式変換装置１００と同様に動作する箇所には同じ符号を付し、その詳細な説明を省略する。
【０１０２】
まず、第１の実施の形態では、処理負荷の大きさを推定するために、信号記憶メモリ１０９，１１０（第２の実施の形態では、これに加えて信号記憶メモリ１１９）を監視するようにした。
【０１０３】
これに対して本実施の形態では、処理負荷の大きさを推定するために、表示用メモリ１０３を監視する。
【０１０４】
このため、本実施の形態の走査方式変換装置7００は、上記図7に示すように、上記図１に示した構成に加えて、表示用メモリ１０３の前段に負荷推定部１２１を備えるように構成されている。
【０１０５】
負荷推定部１２１は、ＭＰＥＧ２復号部１０２から供給される画像データ（復号済みの次に表示すべき画像データ）を表示用メモリ１０３に書き込む際、表示用メモリ１０３の残量を監視する。
【０１０６】
具体的には例えば、表示用メモリ１０３において、１画面を構成するそれぞれのマクロブロックに対して、１ビットの処理終了監視ビットを付与し、未処理のマクロブロックについては“１”に設定し、処理済みのマクロブロックについては“０”に設定する。
【０１０７】
負荷推定部１２１は、上記の処理終了監視ビットを参照することで、表示用メモリ１０３内に未処理のマクロブロックが一定以上あるか否かを判断し、一定以上の未処理のマクロブロックが存在する場合、処理負荷が大きいと判定する。この場合、負荷推定部１２１は、ＭＰＥＧ２復号部１０２に対して、次の画面の画像データの処理から、動きベクトル記憶メモリ１０５への動きベクトルの出力を止めるよう指示すると共に、領域分割部１０６に対して、領域分割を停止するよう指示する。さらに、負荷推定部１２１は、信号分配部１０８に対して、処理負荷が大きいことを通知する。
【０１０８】
領域分割部１０６は、負荷推定部１２１からの指示に基づいて、動領域用の走査方式変換部１１２に対して、フィールド内補間からフィールド内補間に切り替えるよう指示する。
また、信号分配部１０８は、負荷推定部１２１からの通知により、処理負荷が大きい場合、表示用メモリ１０３から受け取るマクロブロックの画像データを交互に、静止領域用の信号記憶メモリ１０９と動領域用の信号記憶メモリ１１０にそれぞれ分配する。
【０１０９】
上述のような処理によっても、処理負荷が低減されない場合、第1の実施の形態と同様に、静止領域及び動領域共に、走査方式変換を行わないようにすることで、処理負荷を低減するようにしてもよい。
【０１１０】
上述のように本実施の形態は、処理負荷が大きくなった場合に領域分割を停止する点と、この場合に静止領域と動領域の区別なくフィールド間補間を適用する点とが、第1の実施の形態の構成と異なり、このような構成をとることで、処理負荷の低減の効果を、より期待できる。
【０１１１】
尚、第１〜第３の実施の形態では、フィールド間補間に参照フィールドを用いているが、例えば、処理負荷が大きくなった場合に、動領域をフィールド間補間で代用する際の画質の劣化が大きいことにより、１フィールド前の画面を任意の構成で記憶し、その１フィールドの画素で、フィールド間補間を行なうようにしてもよい。
【０１１２】
また、本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第３の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１１３】
図８は、上記コンピュータ機能８００の構成の一例を示したものである。
コンピュータ機能８００は、上記図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、キーボード（ＫＢ）８０９のキーボードコントローラ（ＫＢＣ）８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）８１０のＣＲＴコントローラ（ＣＲＴＣ）８０６と、ハードディスク（ＨＤ）８１１及びフロッピーディスク（ＦＤ）８１２のディスクコントローラ（ＤＫＣ）８０７と、ネットワーク８２０と接続するためのネットワークインターフェースカード（ＮＩＣ）８０８とが、システムバス８０４を介して互いに通信可能に接続された構成としている。
【０１１４】
ＣＰＵ８０１は、ＲＯＭ８０２或いはＨＤ８１１に記憶されたソフトウェア、或いはＦＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ８０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ８０２、或いはＨＤ８１１、或いはＦＤ８１２から読み出して実行することで、第１〜第３の実施の形態での動作を実現するための制御を行う。
【０１１５】
ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ８０５は、ＫＢ８０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ８０６は、ＣＲＴ８１０の表示を制御する。
ＤＫＣ８０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における上記処理プログラム等を記憶するＨＤ８１１及びＦＤ８１２とのアクセスを制御する。
ＮＩＣ８０８は、ネットワーク８２０上の装置或いはシステムと双方向にデータをやりとりする。
【０１１６】
【発明の効果】
以上説明したように本発明では、第１の走査方式（インターレース走査方式等）による第１の画像信号が動き補償予測符号化により符号化（ＭＰＥＧ２等）された符号化信号から、第２の走査方式（順次走査方式等）による第２の画像信号を取得するにあたって、動きベクトルに基づいて、第１の画像信号により構成される画面を領域分割し、それぞれに分割領域について、処理負荷に基づいた手法による走査方式変換処理を実行する。これにより、例えば、マイクロプロセッサへの処理負荷が大きくなると、処理負荷の大きい走査線変換を、処理負荷の小さい走査線変換に変更することで、急激な画質の劣化を生じることなく、走査線変換を続けて実行できる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した走査方式変換装置の構成を示すブロック図である。
【図２】上記走査方式変換装置での領域分割の一例（例１）を説明するための図である。
【図３】上記領域分割の他の例（例２）を説明するための図である。
【図４】上記走査方式変換装置での走査方式変換手法の一例を説明するための図である。
【図５】第２の実施の形態において、本発明を適用した走査方式変換装置の構成を示すブロック図である。
【図６】上記走査方式変換装置での走査方式変換手法の一例を説明するための図である。
【図７】第３の実施の形態において、本発明を適用した走査方式変換装置の構成を示すブロック図である。
【図８】第１〜第３の実施の形態の機能を実現させるための処理プログラムをコンピュータ読出可能な記憶媒体から読み出して実行するコンピュータ機能の構成を示すブロック図である。
【符号の説明】
１００ 走査方式変換装置
１０１ 入力端子
１０２ ＭＰＥＧ２復号部
１０３ 表示用メモリ
１０４ 参照用メモリ
１０５ 動きベクトル記憶メモリ
１０６ 領域分割部
１０７ 変換方式選択部
１０８ 信号分配部
１０９，１１０ 信号記憶メモリ
１１１，１１２ 走査方式変換部
１１３ 出力用メモリ
１１４ 出力端子
【発明の属する技術分野】
本発明は、例えば、インターレース走査方式による画像信号（インターレース画像信号）を、順次走査方式による画像信号（順次走査画像信号）に変換するための装置或いはシステムに用いられる、画像処理装置、走査方式変換方法、それを実施するための処理ステップ等をコンピュータに実行させるためのプログラム、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より例えば、ＮＴＳＣ方式やＰＡＬ方式等のテレビジョン方式によるテレビジョン放送では、画面の走査方式として、インターレース走査方式が採用されている。
【０００３】
インターレース走査方式は、奇数行目の走査線の情報を有する画面と、偶数行目の走査線の情報を有する画面とを交互に伝送することで、帯域を節約し高効率の伝送を実現する走査方式である。
【０００４】
しかしながら、インターレース走査方式は、ラインフリッカ等の問題をあわせ持つことにより、例えば、ディスプレイ等の表示装置において、当該インターレース走査方式による画像信号（インターレース画像信号）の隙間を補間して、順次走査画像信号に変換して出力することが行なわれている。
【０００５】
一方、ディジタル放送は、ＭＰＥＧ２規格（以下、単に「ＭＰＥＧ２」とも言う）に準拠するようになされているが、ＭＰＥＧ２は、インターレース構造の信号に対応している。これにより、ディジタル放送においても、インターレース画像信号から順次走査画像信号への変換処理が必要である。
【０００６】
ここで、ＭＰＥＧ２とは、動き補償型の圧縮方式の規格である。したがって、ＭＰＥＧ２では、符号化及び復号化時に動き補償を行うことになり、これにより得られたデータは、動きベクトルを既に持っていることになる。すなわち、ＮＴＳＣ方式等のテレビジョン方式によるインターレース画像信号を順次走査画像信号へ変換（以下、この変換を「走査線変換」或いは「走査方式変換」とも言う）する際に必要とされていた動き検出は必要ない。
【０００７】
上記の点に着目した技術として、例えば、特開平１０−１２６７４９号等には、前のフィールドの画素から補間を行うフィールド間補間と、補間すべき位置の上下の画素から補間を行うフィールド内補間とを、ＭＰＥＧ２における動きベクトルを基準として切り替える構成が記載されている。この構成によれば、動き検出回路を用いることなく、画像信号の走査方式を変換することができ、また、回路規模を低減することができる。
【０００８】
【発明が解決しようとする課題】
ところで、上述したようなディジタル放送は、１チャンネルあたりに必要な帯域が、例えば、従来からのＮＴＳＣ方式のテレビジョン放送よりもはるかに少ないため、多チャンネル化、及びデータ放送との多重等が可能となる。
【０００９】
しかしながら、ディジタル放送において多チャンネル化や多重化等を行おうとすると、これに伴って、ディジタル放送受信機（ディジタルテレビジョン装置等）内のマイクロプロセッサが処理するデータ量が増加することになる。また、このような多くのデータを処理しつつ、さらに走査線変換処理を行うと、当該処理が間に合わないことにより、駒落ちによる画質劣化が発生するという問題が生じてくる。
【００１０】
そこで、上記の問題を解決するために、例えば、特開平１１−１４６３９８号等では、マイクロプロセッサを用いたディジタルテレビジョン装置等において、マイクロプロセッサの負荷を何らかの手法で検出し、駒落ちを押さえる構成が提案されている。
【００１１】
しかしながら、特開平１１−１４６３９８号等に記載された従来の構成は、復号器の処理を変更して処理負荷を低減する構成であり、走査線変換処理の負荷を考慮した構成ではない。
【００１２】
例えば、復号化処理から走査線変換までの処理を、マイクロプロセッサで実行する場合、復号化処理とは別に、走査線変換処理の負荷を監視し、その負荷に応じて、走査線変換手法を変更するための手段が必要となることが考えられるが、従来では、このような構成が実現されていなかった。
【００１３】
上述のように、マイクロプロセッサを用いたディジタルテレビジョン装置等の従来の画像処理装置では、多チャンネルの同時視聴等によりマイクロプロセッサにかかる負荷が大きくなると駒落ち等が発生し、この結果、画質劣化が生じていた。また、復号化処理を変更することでマイクロプロセッサへの処理負荷を軽減することもできるが、一方の走査線変換の処理負荷は、その構成によっては小さなものではない。そこで、例えば、マイクロプロセッサへの処理負荷が大きい場合には、処理負荷の小さな走査線変換手法に変更するような構成が必要になると考えられるが、このような構成において、単純に処理負荷が大きくなったときに、全ての走査線変換を行わないようにすると、画質が急激に劣化してしまうことになる。
【００１４】
そこで、本発明は、上記の欠点を除去するために成されたもので、マイクロプロセッサへの処理負荷が大きくなると、処理負荷の大きい走査線変換を、処理負荷の小さい走査線変換に変更可能な構成とすることで、急激な画質の劣化を生じることなく、走査線変換を続けて実行できる、画像処理装置、走査方式変換方法、それを実施するための処理ステップ等をコンピュータに実行させるためのプログラム、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得する画像処理装置であって、上記符号化信号を復号して得られた第１の画像信号を記憶する第１の画像記憶手段と、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶手段と、上記動きベクトル記憶手段内の動きベクトルに基づいて、上記第１の画像記憶手段内の第１の画像信号により構成される画面を動領域か静止領域に領域分割する領域分割手段と、上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定手段と、 上記推定手段によって推定された負荷が所定値よりも低い場合には、走査方式変換の手法として、上記動領域にはフィールド内補間方式を実行し、上記静止領域にはフィールド間補間方式を実行し、上記推定手段によって推定された負荷が所定値よりも高い場合には、上記動領域と上記静止領域とにフィールド間補間方式を実行する走査方式変換手段とを備え、上記走査方式変換手段は、上記推定手段によって推定された負荷が所定値よりも高い場合であって、上記動領域と上記静止領域とにフィールド間補間方式を実行しても当該負荷が所定値より低くならない場合には、上記フィールド間補間方式の実行に代えて、補間すべき位置に特定値を挿入する。
本発明の画像処理装置における他の態様は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得する画像処理装置であって、上記符号化信号を復号して得られた第１の画像信号を記憶する第１の画像記憶手段と、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶手段と、上記動きベクトル記憶手段内の動きベクトルに基づいて、上記第１の画像記憶手段内の第１の画像信号により構成される画面を動領域か静止領域か中間領域かに領域分割する領域分割手段と、上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定手段と、上記推定手段によって推定された負荷に基づいて、上記領域分割手段による分割領域において、上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への走査方式変換処理の手法である、フィールド内補間方式、フィールド間補間方式、動き補償補間方式もしくは当該補間方式に代えて補間すべき位置に特定値を挿入する方式を選択して実行する走査方式変換手段とを備える。
【００１６】
本発明の走査方式変換方法は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得するための走査方式変換方法であって、上記符号化信号を復号して得られた第１の画像信号を記憶する画像記憶ステップと、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶ステップと、上記動きベクトル記憶ステップにより記憶された動きベクトルに基づいて、上記画像記憶ステップにより記憶された第１の画像信号により構成される画面を動領域か静止領域に領域分割する領域分割ステップと、上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定ステップと、 上記推定ステップによって推定された負荷が所定値よりも低い場合には、走査方式変換の手法として、上記動領域にはフィールド内補間方式を実行し、上記静止領域にはフィールド間補間方式を実行し、上記推定ステップによって推定された負荷が所定値よりも高い場合には、上記動領域と上記静止領域とにフィールド間補間方式を実行する走査方式変換ステップとを備え、上記走査方式変換ステップは、上記推定ステップによって推定された負荷が所定値よりも高い場合であって、上記動領域と上記静止領域とにフィールド間補間方式を実行しても当該負荷が所定値より低くならない場合には、上記フィールド間補間方式の実行に代えて、補間すべき位置に特定値を挿入する。
本発明の走査方式変換方法における他の態様は、第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得するための走査方式変換方法であって、上記符号化信号を復号して得られた第１の画像信号を記憶する画像記憶ステップと、上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶ステップと、上記動きベクトル記憶ステップにより記憶された動きベクトルに基づいて、上記画像記憶ステップにより記憶された第１の画像信号により構成される画面を動領域か静止領域か中間領域かに領域分割する領域分割ステップと、上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定ステップと、上記推定ステップによって推定された負荷に基づいて、上記領域分割ステップによる分割領域において、上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への走査方式変換処理の手法である、フィールド内補間方式、フィールド間補間方式、動き補償補間方式もしくは当該補間方式に代えて補間すべき位置に特定値を挿入する方式を選択して実行する走査方式変換ステップとを備える。
【００１７】
本発明のコンピュータ読み取り可能な記憶媒体は、上記走査方式変換方法の処理ステップをコンピュータに実行させるためのプログラムを記録する。
【００１８】
本発明のプログラムは、コンピュータに、上記走査方式変換方法の処理ステップを実行させる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３４】
[第１の実施の形態]
本発明は、例えば、図１に示すような走査方式変換装置１００に適用される。
本実施の形態の走査方式変換装置１００は、ディジタルテレビジョン装置等に用いられ、特に、ＭＰＥＧ２に準拠したエンコーダにより符号化された画像信号（以下、「ＭＰＥＧ２画像データ」と言う）を入力信号とし、このＭＰＥＧ２画像データを復号することで、インターレース構造の画像データ（インターレース画像データ）及び動きベクトルを取得し、動きベクトルに基づいた領域統合によりインターレース画像データを静止領域のデータと動領域のデータに分割し、これらの領域毎に画像データを並べ直し、静止領域の画像データについては静止領域用の走査方式変換を施すことで順次走査画像データを取得し、動領域の画像データについては動領域用の走査方式変換を施すことで順次走査画像データを取得するが、このとき、処理対象のデータの量から、現在の全体の処理負荷を推定し、この推定の結果、処理負荷が重いようであれば、動領域についての走査方式変換の手法を、フィールド内補間からフィールド間補間に変更するように構成されている。これにより画質の急激な劣化を伴わずに、全体の処理負荷を低減することができる。
以下、本実施の形態の走査方式変換装置１００の構成及び動作について具体的に説明する。
【００３５】
尚、本実施の形態では、フィールド内補間よりもフィールド内補間の方が、演算処理に時間を要し、処理負荷が大きいと仮定している。
【００３６】
走査方式変換装置１００は、上記図１に示すように、ＭＰＥＧ２画像データが入力される入力端子１０１と、入力端子１０１からのＭＰＥＧ２画像データを復号するＭＰＥＧ２復号部１０２と、ＭＰＥＧ２復号部１０２での復号に必要な参照フィールドの画像データを記憶する参照用メモリ１０４と、ＭＰＥＧ２復号部１０２で得られたインターレース画像データを記憶する表示用メモリ１０３と、ＭＰＥＧ２復号部１０２で得られた動きベクトルのデータを記憶する動きベクトル１０５と、動きベクトル記憶メモリ１０５に記憶された動きベクトルに基づき画面領域分割を行なう領域分割部１０６と、領域分割部６の分割結果（統合結果）に基づき走査方式を選択する走査方式選択部１０７と、表示用メモリ１０３内の画像データを走査方式選択部１０７での選択指示に基づき静止領域の画像データと動領域の画像データに分配する信号分配部１０８と、信号分配部１０８により得られた静止領域の画像データを記憶する信号記憶メモリ１０９と、信号分配部１０８により得られた動領域の画像データを記憶する信号記憶メモリ１１０と、信号記憶メモリ１０９に記憶された静止領域の画像データの走査方式を変換する走査方式変換部１１１と、信号記憶メモリ１１０に記憶された動領域の画像データの走査方式を変換する走査方式変換部１１２と、走査方式変換部１１１及び走査方式変換部１１２による走査方式変換後の画像データを記憶する出力用メモリ１１３と、出力用メモリ１１３内の画像データを外部出力する出力端子１１４とを備えている。
【００３７】
上述のような走査方式変換装置１００において、先ず、入力端子１０１には、ＭＰＥＧ２画像データが入力される。
具体的には例えば、ディジタル放送チューナやＤＶＤ等の蓄積メディアからディジタルテレビジョン装置に与えられたＭＰＥＧ２データは、当該装置内のデマルチプレクサにより、ＭＰＥＧ２音声データとＭＰＥＧ２画像データに分配される。これらのデータのうちの、ＭＰＥＧ２画像データが、入力端子１０１に対して入力される。
【００３８】
ＭＰＥＧ２復号部１０２は、入力端子１０１に入力されたＭＰＥＧ２画像データを復号する。このとき、参照用メモリ１０４には、現フィールドの復号に必要な参照フィールドの画像データが記憶されているため、ＭＰＥＧ２復号部１０２は、参照用メモリ１０４内の画像データを用いて、当該復号処理を行なう。
【００３９】
そして、ＭＰＥＧ２復号部１０２は、上記の復号処理により取得したインターレース画像データを表示用メモリ１０３に供給すると共に、当該インターレース画像データと共に取得した動きベクトルのデータを動きベクトル記憶メモリ１０５に供給する。
【００４０】
尚、ＭＰＥＧ２では、輝度信号及び色差信号から構成される画像は、８×８画素のブロック単位でＤＣＴ処理（直交変換処理）される。また、輝度信号を４ブロック、色差信号をそれぞれ１ブロックの、合計６ブロックをまとめて１マクロブロックで扱うことが多く、動きベクトルは、当該マクロブロック単位で検出される。
本実施の形態では、上記の検出動きベクトルを用いて、走査方式変換を行うため、当該走査方式変換をもマクロブロック単位で行うことになる。
【００４１】
ＭＰＥＧ２復号部１０２により、１画面分のＭＰＥＧ２画像データの復号が終了すると、表示用メモリ１０３には、１画面分の現フィールドのインターレース画像データが記憶されることになる。また、動きベクトル記憶メモリ１０５にも、１画面分の動きベクトルが記憶されることになる。
【００４２】
領域分割部１０６は、動きベクトル記憶メモリ１０５に記憶された１画面分の動きベクトルに基づいて、当該画面の領域分割を行う。
本実施の形態では、走査方式変換の手法として、静止領域に対してフィールド間補間を、動領域に対してフィールド内補間を適用する手法を用いるため、領域分割部１０６において、動きベクトルを基準とする領域分割を行うにあたっては、静止領域と動領域に分割できればよい。
【００４３】
具体的には例えば、図２（ａ），（ｂ）は、領域分割部１０６における領域分割の一例（例１）を示したものである。
【００４４】
先ず、領域分割部１０６は、動きベクトル記憶メモリ１０５内の対象動きベクトルを、任意のしきい値と比較することで、対象動きベクトルに対応するマクロブロックを動領域又は静止領域に仮分割する。
【００４５】
上記の仮分割の様子を示したものが、上記図２（ａ）である。
上記図２（ａ）では、１つの画面２０１が５×５のマクロブロックに分割されている。これらのマクロブロックに対応する動きベクトルが、動きベクトル記憶メモリ１０５に記憶される。
したがって、領域分割部１０６は、個々のマクロブロックに対応する動きベクトルについて、任意のしきい値よりも大きいか否かの結果に基づいて、画面２０１を、静止領域（白ブロック参照）と動領域（黒ブロック参照）に分割する。
【００４６】
次に、領域分割部１０６は、仮分割した画面２０１のそれぞれにマクロブロックに対して、注目マクロブロック（対象マクロブロック）の動きベクトルと、その周囲の８つのマクロブロックの動きベクトルとを比較した結果、注目マクロブロックの動きベクトルが、その周囲の８つのマクロブロックの動きベクトルと明らかに傾向が異なる場合、注目マクロブロックを、その周囲の８つのマクロブロックと同一の領域に統合する、という処理を行なう。
【００４７】
例えば、注目マクロブロックが、動領域と判定されたマクロブロックであり、その周囲の８つのマクロブロックのうち、６つのマクロブロックが、静止領域と判定されたマクロブロックである場合、注目マクロブロックが動領域と判定されていたとしても、静止領域として、その周囲の静止領域に統合する。
【００４８】
上記の統合の様子を示したものが、上記図２（ｂ）である。すなわち、上記図２（ｂ）は、上記図２（ａ）に示した仮分割の画面２０１に対して、上記の統合を行なった結果である。
上記図２（ｂ）において、“Ａ”で示すマクロブロックは、その周囲の７つのマクロブロックが静止領域と判定されたマクロブロックであることにより、本来動領域と判定されていたが、静止領域に統合されている。
【００４９】
尚、本実施の形態では、その一例として、注目マクロブロックの周囲の８つのマクロブロックのうち、６つ以上のマクロブロックが、注目マクロブロックと異なる領域の判定結果である場合に、その領域に注目マクロブロックを統合するようにしているが、統合の判定の基準となるマクロブロック数（ここでは、６つ）はこれに限られることはない。
【００５０】
図３（ａ），（ｂ）は、領域分割部１０６における領域分割の他の例（例２）を示したものである。
【００５１】
先ず、領域分割部１０６は、動きベクトル記憶メモリ１０５内の対象動きベクトルを、第１のしきい値及び第２のしきい値と比較することで、対象動きベクトルに対応するマクロブロックを、明らかに静止している領域、及び明らかに動いている領域、及び動きベクトルが小さく動いているかどうかあいまいな中間領域の３つ領域の何れかに仮分割する。
【００５２】
上記の仮分割の様子を示したものが、上記図３（ａ）である。
上記図３（ａ）では、１つの画面３０１が５×５のマクロブロックに分割されている。これらのマクロブロックに対応する動きベクトルが、動きベクトル記憶メモリ１０５に記憶される。
したがって、領域分割部１０６は、個々のマクロブロックに対応する動きベクトルについて、第１のしきい値よりも大きいか否か、さらに第２のしきい値よりも大きいか否かの結果に基づいて、画面３０１を、静止領域（白ブロック参照）動領域（黒ブロック参照）、及び中間領域（斜線ブロック参照）に分割する。
【００５３】
次に、領域分割部１０６は、仮分割した画面３０１の中の中間領域（斜線ブロックの領域）のそれぞれにマクロブロックに対して、注目マクロブロック（対象マクロブロック）の周囲の８つのマクロブロックを参照し、静止領域と判定されたマクロブロック数、及び動領域と判定されたマクロブロック数を認識し、注目マクロブロックを、マクロブロック数の多い方の静止領域又は動領域に統合する、という処理を行なう。
【００５４】
このとき、静止領域と判定されたマクロブロック数と、動領域と判定されたマクロブロック数とが同じである場合、領域分割部１０６は、注目マクロブロックを、予め決められた領域（静止領域又は動領域）へ統合する。
【００５５】
また、注目マクロブロックの周囲のマクロブロックの全てが、中間領域と判定されたマクロブロックである場合、領域分割部１０６は、注目マクロブロックの統合は保留し、統合可能なマクロブロックから先に処理し、その後、保留しておいたマクロブロックについての統合を行なう。これにより、仮分割で中間領域と判定されたマクロブロックは全て、静止領域又は動領域に統合される。
【００５６】
上記の統合の様子を示したものが、上記図３（ｂ）である。すなわち、上記図３（ｂ）は、上記図３（ａ）に示した仮分割の画面３０１に対して、上記の統合を行なった結果である。
上記図３（ｂ）において、“Ａ”で示すマクロブロックは、仮分割時に中間領域と判定されたマクロブロックであるが、その周囲に、静止領域と判定されたマクロブロックが多く存在するため、静止領域に統合されている。また、“Ｂ”で示すマクロブロックは、仮分割時に中間領域と判定されたマクロブロックであるが、その周囲に、動領域と判定されたマクロブロックが多く存在するため、動領域に統合されている。
【００５７】
上述のようにして、領域分割部１０６は、画面の領域分割（領域統合）を行ない、走査方式選択部１０７は、領域分割部１０６の統合結果に基づいて、信号分配部１０８が処理対象とするマクロブロックが、動領域と静止領域の何れに属するマクロブロックであるかを示す信号、すなわち動領域用の走査方式変換を行うべきマクロブロックであるか、或いは静止域用の走査方式変換を行うべきマクロブロックであるかを示す信号（変換方式選択信号）を信号分配部１０８に供給する。
【００５８】
信号分配部１０８は、表示用メモリ１０３に記憶されたインターレース画像データを構成するそれぞれのマクロブロックについて、走査方式選択部１０７からの変換方式選択信号に基づき、対象マクロブロックを、静止領域用の信号記憶メモリ１１１又は動領域用の信号記憶メモリ１１２に分配する。
【００５９】
このとき、信号分配部１０８は、対象マクロブロックに対して、画面内での位置を示す情報を、任意の構成により付加して、静止領域用の信号記憶メモリ１１１又は動領域用の信号記憶メモリ１１２に分配する。
【００６０】
例えば、信号分配部１０８は、画面の位置に基づいた番号を、“０”から順に、対象マクロブロックに付加する。この場合、７２０画素×４８０画素で構成された画面（画像データ）の場合、マクロブロックの数は１３５０個であり、付加される番号は“０”から“１３５０”となる。番号の付加方法としては、例えば、対象マクロブロックの先頭に対して、１０ビットの位置情報ビットを付加する方法等が挙げられる。或いは、対象マクロブロックの先頭に付加する１０ビットの位置情報を、先頭６ビットで水平位置を示し、後ろ４ビットで垂直位置を示す情報としてもよい。
【００６１】
また、信号分配部１０８は、信号記憶メモリ１０９及び信号記憶メモリ１１０の空き状況を監視し、後述する構成により、処理負荷を推定する。
【００６２】
信号記憶メモリ１０９及び信号記憶メモリ１１０はそれぞれ、例えば、２画面分の記憶容量を有するメモリである。
静止領域用の信号記憶メモリ１０９は、信号分配部１０８から供給された、静止領域と判定されたマクロブロックを、当該マクロブロックに付加された位置情報と共に順次に記憶する。また、動領域用の信号記憶メモリ１１０も同様に、信号分配部１０８から供給された、動領域と判定されたマクロブロックを、当該マクロブロックに付加された位置情報と共に順次に記憶する。
【００６３】
静止領域用の走査方式変換部１１１は、静止領域用の信号記憶メモリ１０９に記憶されているマクロブロックの画像データの走査方式を、後述する構成により変換し、当該マクロブロックに付加された位置情報に基いて、走査方式変換後のマクロブロックを、出力用メモリ１１３の該当する位置へ格納する。
【００６４】
動領域用の走査方式変換部１１２は、動領域用の信号記憶メモリ１１０に記憶されているマクロブロックの画像データの走査方式を、後述する構成により変換し、当該マクロブロックに付加された位置情報に基いて、走査方式変換後のマクロブロックを、出力用メモリ１１３の該当する位置へ格納する。
【００６５】
ここで、図４（ａ）は、静止領域用の走査方式変換部１１１での走査方式変換を示したものであり、同図（ｂ）は、動領域用の走査方式変換部１１２での走査方式変換を示したものである。
【００６６】
静止領域用の走査方式変換部１１１は、上記図４（ａ）に示すように、参照用メモリ１０３からの該当する画像データ４０１，４０２、及び信号記憶メモリ１０９からの該当する画像データ４０３，４０３の入力を受け、前フィールドの画素値（“○”印参照）を補間が必要な位置（“△”印参照）に補間する。
【００６７】
動領域用の走査方式変換部１１２は、上記図４（ｂ）に示すように、信号記憶メモリ１１０からの該当する画像データ４１１，４１２の入力を受け、補間が必要な位置（“△”印参照）の上下に位置する画素（“○”参照）の平均値で補間する。
【００６８】
上述のような処理により、インターレース画像データから順次走査画像データへの変換への変換がなされる。
【００６９】
また、走査方式変換部１１１及び走査方式変換部１１２は、信号記憶メモリ１０９及び信号記憶メモリ１１０内のマクロブロックが既に処理されたか否かを信号分配部１０８が監視できるように、処理済のマクロブロックに対して、処理済みを示すフラグを付加する。
例えば、走査方式変換部１１１及び走査方式変換部１１２は、処理済みのマクロブロックに付加された位置情報を、そのビット全てを“１”に設定する。
【００７０】
信号分配部１０８は、信号記憶メモリ１０９及び信号記憶メモリ１１０内のマクロブロックを、その位置情報を参照することで、処理済みであるか否かを監視し、この結果により、処理負荷を推定する。
【００７１】
具体的には例えば、信号分配部１０８は、表示用メモリ１０３内の画面先頭の画像データを、信号記憶メモリ１０９又は信号記憶メモリ１１０に分配するとき、信号記憶メモリ１０９及び信号記憶メモリ１１０内のマクロブロックに対して、走査方式変換部１１１及び走査方式変換部１１２により負荷された処理済みを示すフラグを参照することで、処理済みでないマクロブロックがどのくらい存在するかを認識する。
【００７２】
そして、信号分配部１０８は、処理済みでないマクロブロックが一定数以上ある場合、例えば、１画面分のマクロブロックが未処理の状態で残っている場合、処理負荷が大きく処理が間に合っていないと判定し、次に分配を行う画面の画像データを分配するにあたって、その動領域のマクロブロックについては、走査方式変換の手法を、フィールド内補間からフィールド間補間に切り替えるようにする。例えば、信号分配部１０８は、動領域用の走査方式変換部１１２に対して、上記の走査方式変換の手法を切り替えることを示す信号（走査方式変換手法切替信号）を供給する。これにより、動領域用の走査方式変換部１１２は、信号分配部１０８からの走査方式変換手法切替信号に基づいて、走査方式変換の手法を、フィールド内補間からフィールド間補間に切り替える。
【００７３】
また、信号分配部１０８は、動領域用の走査方式変換部１１２において、動領域についての走査方式変換の手法がフィールド間補間で代用されている間も、信号記憶メモリ１０９及び信号記憶メモリ１１０の監視を続け、処理済みでないマクロブロックの残量が少なくなってきたら、処理負荷が軽くなったものと判定し、動領域の走査方式変換の手法をフィールド内補間に戻す。例えば、信号分配部１０８は、動領域用の走査方式変換部１１２に対して、上記の走査方式変換の手法を切り替えを戻すことを示す信号（走査方式変換手法切替信号）を供給する。これにより、動領域用の走査方式変換部１１２は、信号分配部１０８からの走査方式変換手法切替信号に基づいて、走査方式変換の手法を元に戻す。
【００７４】
また、信号分配部１０８は、動領域用の走査方式変換部１１２において、動領域についての走査方式変換の手法をフィールド間補間で代用しても処理負荷が軽くならない場合、静止領域及び動領域の双方についての走査方式変換を行わないようにする。例えば、信号分配部１０８は、走査方式変換部１１１及び走査方式変換部１１２に対して、補間すべき位置に“０”もしくは適当な数値を挿入するように指示を与える。この場合、出力用メモリ１１３には、インターレース画像データが格納される。
【００７５】
上述のようにして、信号分配部１０８からの処理負荷に応じた指示に基づいて、動領域用の走査方式変換部１１２及び静止領域用の走査方式変換部１１１は、信号記憶メモリ１０９及び信号記憶メモリ１１０のマクロブロックに対して走査方式変換を行なう。この変換後のマクロブロックは、出力用メモリ１１３の該当する位置に格納される。
【００７６】
出力メモリ１１３は、動領域用の走査方式変換部１１２及び静止領域用の走査方式変換部１１１により該当する位置に格納されたマクロブロックの画像データを出力端子１１４を介して出力する。
【００７７】
例えば、マクロブロックに付加された位置情報として、画面における位置を示す“０”〜“１３５０”の番号が与えられている場合、その番号値を、出力用メモリ１１３のアドレスに変換し、そのアドレスに画像データを書き込み、出力端子１１４から出力する。この結果、出力端子１１４からは、順次走査画像データが出力されることになる。
【００７８】
上述のように、本実施の形態では、ＭＰＥＧ２の画像データから得られる動きベクトルに基づいて、当該画像データから構成される画面を、静止領域と動領域の２つに領域に分割し、静止領域の画像データに対しては静止領域用の走査方式変換部１１１によりフィールド間補間を行い、動領域の画像データに対しては動領域用の走査方式変換部１１２によりフィールド内補間を行う。このとき、信号分配部１０８が、それぞれの変換部用メモリ１０９，１１０の使用状況（未処理のマクロブロック数）を監視（処理負荷の監視）しながら、静止領域用の走査方式変換部１１１及び動領域用の走査方式変換部１１２で処理対象とするマクロブロックの分配を行う。また、信号分配部１０８が、処理負荷が大きくなったと判断すると、動領域についての走査方式変換手法を、フィールド間補間で代用する。
このように構成したことにより、マイクロプロセッサを用いて、ＭＰＥＧ２画像データの復号及び走査方式変換を行う際、処理負荷が大きくなったときでも、急激な画質の劣化を引き起こすことなく、走査方式変換を行うことができる。
【００７９】
尚、本実施の形態では、その一例として、フィールド間補間よりもフィールド内補間の方が、処理負荷が大きいとしたが、装置或いはシステムによっては、フィールド間補間のためのメモリ参照に多くの時間を要すること等により、フィールド間補間の方が処理負荷が大きくなることもある。この場合、処理負荷が大きいと判断したときに、本実施の形態とは逆に、フィールド間補間をフィールド内補間に変更する。
【００８０】
また、例えば、フィールド間補間とフィールド内補間が、それぞれ処理負荷がほとんど変わらない場合、処理負荷が大きくなったときに、何れかの手法を、もう一方の手法に変更するようにしてもよい。また、この場合、補間すべき位置に“０”もしくは適当な数値を挿入すること等により、動領域についての走査方式変換を行わないようにするようにしてもよい。
【００８１】
また、本実施の形態では、処理負荷が大きくなったときに、動領域についての走査方式変換手法をフィールド間補間とすることで、処理負荷の低減を図るが、例えば、補間すべき位置に“０”もしくは適当な数値を挿入すること等して、走査方式変換を行わないようにしてもよい。
【００８２】
[第２の実施の形態]
本発明は、例えば、図５に示すような走査方式変換装置５００に適用される。
尚、上記図５の走査方式変換装置５００において、上記図１の走査方式変換装置１００と同様に動作する箇所には同じ符号を付し、その詳細な説明を省略する。
【００８３】
まず、第１の実施の形態では、走査方式変換手法として、フィールド内補間とフィールド間補間の２種類を用い、領域分割についても、当該走査方式変換手法に対応させて、静止領域と動領域の２つに分割するようにし、処理負荷に基づいて、通常の走査方式変換、動領域についてフィールド間補間で代用する変換、及び走査方式変換無し等のように走査方式変換処理を変化させることで、処理負荷の低減を図るように構成した。
【００８４】
これに対して本実施の形態では、走査方式変換手法として、フィールド内補間、フィールド間補間、及び動き補償補間の３種類を用い、領域分割についても、当該走査方式変換手法に対応させて、静止領域、動領域、及び中間領域の３つに分割するように構成する。このように、走査方式変換手法を多く用いるように構成することで、処理負荷が大きくなった場合の、処理の変化の段階を多くすることが可能となり、その分、違和感の少ない処理負荷の低減を図ることができる。
【００８５】
尚、本実施の形態では、フィールド間補間が最も処理負荷が小さく、これについで、フィールド内補間、動き補償補間が順に処理負荷が大きいと仮定する。
【００８６】
このため、本実施の形態の走査方式変換装置５００は、上記図５に示すように、上記図１に示した構成に加えて、信号記憶メモリ１１９及び走査方式変換部１２０を備え、動きベクトル記憶メモリ１０５の出力（動きベクトル）を走査方式変換１２０へも供給するように構成されている。
【００８７】
領域分割部１０６は、動きベクトル記憶メモリ１０５に記憶された１画面分の動きベクトルに基づいて領域分割を行うが、上記図３（ａ）を用いて説明したように、第１のしきい値及び第２のしきい値を用いて、明らかに静止している領域（静止領域）と、明らかに動いている領域（動領域）と、いずれにも判断できない中間領域との３つの領域に分割する。
【００８８】
また、領域分割部１０６は、１画面を構成するマクロブロックのそれぞれに対して、注目マクロブロック（対象マクロブロック）の周囲８つのマクロブロックのうち、６つまでが同一の領域で、且つ注目マクロブロックと異なる領域の場合、注目マクロブロックを当該領域に統合する、という処理を施す。
【００８９】
走査方式選択部１０７は、領域分割部１０６の統合結果に基づいて、信号分配部１０８が処理対象とするマクロブロックが、動領域、静止領域、及び中間領域の何れに属するマクロブロックであるかを示す信号、すなわち動領域用の走査方式変換を行うべきマクロブロックであるか、或いは静止域用の走査方式変換を行うべきマクロブロックであるか、或いは中間領域用の走査方式変換を行うべきマクロブロックであるかを示す信号（変換方式選択信号）を信号分配部１０８に供給する。
【００９０】
信号分配部１０８は、表示用メモリ１０３に記憶されたインターレース画像データを構成するそれぞれのマクロブロックについて、走査方式選択部１０７からの変換方式選択信号に基づき、対象マクロブロックを、静止領域用の信号記憶メモリ１１１、又は動領域用の信号記憶メモリ１１２、又は中間領域用の信号記憶メモリ１１９に分配する。
【００９１】
このとき、信号分配部１０８は、第１の実施の形態と同様にして、メモリ１０９，１１０，１１９を監視し、処理負荷の推定を行う。
【００９２】
そして、信号分配部１０８は、上記処理負荷の推定の結果、処理負荷が大きいと判定した場合、先ず、中間領域に対する走査方式変換を中止し、次の画面からは領域を３分割ではなく２分割で行うように、領域分割部１１６及び変換方式選択部１０７に対して、割込信号等により指示する。
【００９３】
この場合、領域分割部１０６は、信号分配部１０８からの指示に基づいて、領域を３分割する手法を、第１の実施の形態と同様の２分割する手法に切り替える。
また、走査方式選択部１０７は、３つの走査方式変換から１つを選択する手法から、第１の実施の形態と同様の２つの走査方式変換から１つを選択する手法に切り替える。
【００９４】
ここで、図６は、中間領域用の走査方式変換部１２０での走査方式変換を示したものである。
中間領域用の走査方式変換部１２０は、上記図６に示すように、参照用メモリ１０３からの該当する画像データ６０１，６０２、及び信号記憶メモリ１１９からの該当する画像データ６０３，６０３の入力を受け、点線で囲まれたマクロブロックの動きベクトルが太破線矢印である場合、補間画素を（“△”参照）を動きベクトルと平行なベクトルが指す、参照フィールドと対になるフィールドの画素（“○”参照）で補間し、ベクトルの指す位置に画素が存在しない場合は最も近い画素で補間する。
【００９５】
上述のような構成及び動作が、第１の実施の形態と異なる点である。
すなわち、本実施の形態では、走査方式変換手法として３種類の手法を用い、分割領域を静止領域、動領域、及び中間領域の３つの領域とし、処理負荷に基づいて、３種類の走査方式変換、静止領域及び動領域の走査方式変換、動領域をフィールド間補間で代用する変換、及び走査方式変換無しの４段階の処理の中の該当する処理を実行するように構成した。これにより、走査方式変換の切り替えによる画質劣化を軽減することができる。
【００９６】
例えば、静止領域及び動領域の走査方式変換から、静止領域のみの走査方式変換に切り替えるときの画質劣化よりも、３種類の走査方式変換から、静止領域及び動領域の走査方式変換への切り替えるときの方が、画質の劣化が少なくてすむので、３種類の走査方式変換から２種類の走査方式変換への切り替えにより処理負荷を小さくできるような場合は、本実施の形態は大きな効果を持つことになる。
【００９７】
尚、中間領域についての走査方式変換を中止し、静止領域及び動領域のみの走査方式変換を行っても処理負荷が小さくならない場合、第１の実施の形態と同様に、静止領域及び動領域の双方についての走査方式変換を行わないようにしてもよい。また、逆に、処理負荷が小さくなり、中間領域の走査方式変換を再開する場合、これについても第１の実施と同様であるため、その詳細な説明は省略する。
【００９８】
また、本実施の形態においても、第１の実施の形態と同様に、動領域の走査方式変換手法を、フィールド間補間からフィールド内補間に切り替えるようにしたが、例えば、走査方式変換手法を行わないようにしてもよいのは、第1の実施の形態と同様である。
【００９９】
また、本実施の形態では、フィールド間補間が最も処理の負荷が小さく、これについで、フィールド内補間、動き補償補間が順次処理負荷が大きいと仮定した。動き補償補間が、他の走査方式変換手法に比べ負荷が小さいことは、その計算量から考えられない。
【０１００】
また、フィールド内補間の方がフィールド間補間よりも処理負荷が小さい場合や、フィールド間補間とフィールド内補間の処理負荷の大きさがほとんど同じである場合等については、第1の実施の形態と同様に処理できることは明らかである。
【０１０１】
[第３の実施の形態]
本発明は、例えば、図７に示すような走査方式変換装置７００に適用される。
尚、上記図７の走査方式変換装置７００において、上記図１の走査方式変換装置１００と同様に動作する箇所には同じ符号を付し、その詳細な説明を省略する。
【０１０２】
まず、第１の実施の形態では、処理負荷の大きさを推定するために、信号記憶メモリ１０９，１１０（第２の実施の形態では、これに加えて信号記憶メモリ１１９）を監視するようにした。
【０１０３】
これに対して本実施の形態では、処理負荷の大きさを推定するために、表示用メモリ１０３を監視する。
【０１０４】
このため、本実施の形態の走査方式変換装置7００は、上記図7に示すように、上記図１に示した構成に加えて、表示用メモリ１０３の前段に負荷推定部１２１を備えるように構成されている。
【０１０５】
負荷推定部１２１は、ＭＰＥＧ２復号部１０２から供給される画像データ（復号済みの次に表示すべき画像データ）を表示用メモリ１０３に書き込む際、表示用メモリ１０３の残量を監視する。
【０１０６】
具体的には例えば、表示用メモリ１０３において、１画面を構成するそれぞれのマクロブロックに対して、１ビットの処理終了監視ビットを付与し、未処理のマクロブロックについては“１”に設定し、処理済みのマクロブロックについては“０”に設定する。
【０１０７】
負荷推定部１２１は、上記の処理終了監視ビットを参照することで、表示用メモリ１０３内に未処理のマクロブロックが一定以上あるか否かを判断し、一定以上の未処理のマクロブロックが存在する場合、処理負荷が大きいと判定する。この場合、負荷推定部１２１は、ＭＰＥＧ２復号部１０２に対して、次の画面の画像データの処理から、動きベクトル記憶メモリ１０５への動きベクトルの出力を止めるよう指示すると共に、領域分割部１０６に対して、領域分割を停止するよう指示する。さらに、負荷推定部１２１は、信号分配部１０８に対して、処理負荷が大きいことを通知する。
【０１０８】
領域分割部１０６は、負荷推定部１２１からの指示に基づいて、動領域用の走査方式変換部１１２に対して、フィールド内補間からフィールド内補間に切り替えるよう指示する。
また、信号分配部１０８は、負荷推定部１２１からの通知により、処理負荷が大きい場合、表示用メモリ１０３から受け取るマクロブロックの画像データを交互に、静止領域用の信号記憶メモリ１０９と動領域用の信号記憶メモリ１１０にそれぞれ分配する。
【０１０９】
上述のような処理によっても、処理負荷が低減されない場合、第1の実施の形態と同様に、静止領域及び動領域共に、走査方式変換を行わないようにすることで、処理負荷を低減するようにしてもよい。
【０１１０】
上述のように本実施の形態は、処理負荷が大きくなった場合に領域分割を停止する点と、この場合に静止領域と動領域の区別なくフィールド間補間を適用する点とが、第1の実施の形態の構成と異なり、このような構成をとることで、処理負荷の低減の効果を、より期待できる。
【０１１１】
尚、第１〜第３の実施の形態では、フィールド間補間に参照フィールドを用いているが、例えば、処理負荷が大きくなった場合に、動領域をフィールド間補間で代用する際の画質の劣化が大きいことにより、１フィールド前の画面を任意の構成で記憶し、その１フィールドの画素で、フィールド間補間を行なうようにしてもよい。
【０１１２】
また、本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第３の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１１３】
図８は、上記コンピュータ機能８００の構成の一例を示したものである。
コンピュータ機能８００は、上記図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、キーボード（ＫＢ）８０９のキーボードコントローラ（ＫＢＣ）８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）８１０のＣＲＴコントローラ（ＣＲＴＣ）８０６と、ハードディスク（ＨＤ）８１１及びフロッピーディスク（ＦＤ）８１２のディスクコントローラ（ＤＫＣ）８０７と、ネットワーク８２０と接続するためのネットワークインターフェースカード（ＮＩＣ）８０８とが、システムバス８０４を介して互いに通信可能に接続された構成としている。
【０１１４】
ＣＰＵ８０１は、ＲＯＭ８０２或いはＨＤ８１１に記憶されたソフトウェア、或いはＦＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ８０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ８０２、或いはＨＤ８１１、或いはＦＤ８１２から読み出して実行することで、第１〜第３の実施の形態での動作を実現するための制御を行う。
【０１１５】
ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ８０５は、ＫＢ８０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ８０６は、ＣＲＴ８１０の表示を制御する。
ＤＫＣ８０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における上記処理プログラム等を記憶するＨＤ８１１及びＦＤ８１２とのアクセスを制御する。
ＮＩＣ８０８は、ネットワーク８２０上の装置或いはシステムと双方向にデータをやりとりする。
【０１１６】
【発明の効果】
以上説明したように本発明では、第１の走査方式（インターレース走査方式等）による第１の画像信号が動き補償予測符号化により符号化（ＭＰＥＧ２等）された符号化信号から、第２の走査方式（順次走査方式等）による第２の画像信号を取得するにあたって、動きベクトルに基づいて、第１の画像信号により構成される画面を領域分割し、それぞれに分割領域について、処理負荷に基づいた手法による走査方式変換処理を実行する。これにより、例えば、マイクロプロセッサへの処理負荷が大きくなると、処理負荷の大きい走査線変換を、処理負荷の小さい走査線変換に変更することで、急激な画質の劣化を生じることなく、走査線変換を続けて実行できる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した走査方式変換装置の構成を示すブロック図である。
【図２】上記走査方式変換装置での領域分割の一例（例１）を説明するための図である。
【図３】上記領域分割の他の例（例２）を説明するための図である。
【図４】上記走査方式変換装置での走査方式変換手法の一例を説明するための図である。
【図５】第２の実施の形態において、本発明を適用した走査方式変換装置の構成を示すブロック図である。
【図６】上記走査方式変換装置での走査方式変換手法の一例を説明するための図である。
【図７】第３の実施の形態において、本発明を適用した走査方式変換装置の構成を示すブロック図である。
【図８】第１〜第３の実施の形態の機能を実現させるための処理プログラムをコンピュータ読出可能な記憶媒体から読み出して実行するコンピュータ機能の構成を示すブロック図である。
【符号の説明】
１００ 走査方式変換装置
１０１ 入力端子
１０２ ＭＰＥＧ２復号部
１０３ 表示用メモリ
１０４ 参照用メモリ
１０５ 動きベクトル記憶メモリ
１０６ 領域分割部
１０７ 変換方式選択部
１０８ 信号分配部
１０９，１１０ 信号記憶メモリ
１１１，１１２ 走査方式変換部
１１３ 出力用メモリ
１１４ 出力端子
Claims (6)
- 第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得する画像処理装置であって、
上記符号化信号を復号して得られた第１の画像信号を記憶する第１の画像記憶手段と、
上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶手段と、
上記動きベクトル記憶手段内の動きベクトルに基づいて、上記第１の画像記憶手段内の第１の画像信号により構成される画面を動領域か静止領域に領域分割する領域分割手段と、
上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定手段と、
上記推定手段によって推定された負荷が所定値よりも低い場合には、走査方式変換の手法として、上記動領域にはフィールド内補間方式を実行し、上記静止領域にはフィールド間補間方式を実行し、上記推定手段によって推定された負荷が所定値よりも高い場合には、上記動領域と上記静止領域とにフィールド間補間方式を実行する走査方式変換手段と
を備え、
上記走査方式変換手段は、上記推定手段によって推定された負荷が所定値よりも高い場合であって、上記動領域と上記静止領域とにフィールド間補間方式を実行しても当該負荷が所定値より低くならない場合には、上記フィールド間補間方式の実行に代えて、補間すべき位置に特定値を挿入することを特徴とする画像処理装置。 - 第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得する画像処理装置であって、
上記符号化信号を復号して得られた第１の画像信号を記憶する第１の画像記憶手段と、
上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶手段と、
上記動きベクトル記憶手段内の動きベクトルに基づいて、上記第１の画像記憶手段内の第１の画像信号により構成される画面を動領域か静止領域か中間領域かに領域分割する領域分割手段と、
上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定手段と、
上記推定手段によって推定された負荷に基づいて、上記領域分割手段による分割領域において、上記第１の画像記憶手段内の第１の画像信号に対する上記第２の画像信号への走査方式変換処理の手法である、フィールド内補間方式、フィールド間補間方式、動き補償補間方式もしくは当該補間方式に代えて補間すべき位置に特定値を挿入する方式を選択して実行する走査方式変換手段と
を備えることを特徴とする画像処理装置。 - 第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得するための走査方式変換方法であって、
上記符号化信号を復号して得られた第１の画像信号を記憶する画像記憶ステップと、
上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶ステップと、
上記動きベクトル記憶ステップにより記憶された動きベクトルに基づいて、上記画像記憶ステップにより記憶された第１の画像信号により構成される画面を動領域か静止領域に領域分割する領域分割ステップと、
上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定ステップと、
上記推定ステップによって推定された負荷が所定値よりも低い場合には、走査方式変換の手法として、上記動領域にはフィールド内補間方式を実行し、上記静止領域にはフィールド間補間方式を実行し、上記推定ステップによって推定された負荷が所定値よりも高い場合には、上記動領域と上記静止領域とにフィールド間補間方式を実行する走査方式変換ステップと
を備え、
上記走査方式変換ステップは、上記推定ステップによって推定された負荷が所定値よりも高い場合であって、上記動領域と上記静止領域とにフィールド間補間方式を実行しても当該負荷が所定値より低くならない場合には、上記フィールド間補間方式の実行に代えて、補間すべき位置に特定値を挿入することを特徴とする走査方式変換方法。 - 第１の走査方式による第１の画像信号が動き補償予測符号化により符号化された符号化信号から、第２の走査方式による第２の画像信号を取得するための走査方式変換方法であって、
上記符号化信号を復号して得られた第１の画像信号を記憶する画像記憶ステップと、
上記符号化信号を復号して得られた動きベクトルを記憶する動きベクトル記憶ステップと、
上記動きベクトル記憶ステップにより記憶された動きベクトルに基づいて、上記画像記憶ステップにより記憶された第１の画像信号により構成される画面を動領域か静止領域か中間領域かに領域分割する領域分割ステップと、
上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への変換処理の負荷を推定する推定ステップと、
上記推定ステップによって推定された負荷に基づいて、上記領域分割ステップによる分割領域において、上記画像記憶ステップにより記憶された第１の画像信号に対する上記第２の画像信号への走査方式変換処理の手法である、フィールド内補間方式、フィールド間補間方式、動き補償補間方式もしくは当該補間方式に代えて補間すべき位置に特定値を挿入する方式を選択して実行する走査方式変換ステップと
を備えることを特徴とする走査方式変換方法。 - 請求項３または４に記載の走査方式変換方法の処理ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
- コンピュータに、請求項３または４に記載の走査方式変換方法の処理ステップを実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115743A JP4759159B2 (ja) | 2001-04-13 | 2001-04-13 | 画像処理装置、走査方式変換方法、記憶媒体、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115743A JP4759159B2 (ja) | 2001-04-13 | 2001-04-13 | 画像処理装置、走査方式変換方法、記憶媒体、及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002314951A JP2002314951A (ja) | 2002-10-25 |
| JP2002314951A5 JP2002314951A5 (ja) | 2008-05-29 |
| JP4759159B2 true JP4759159B2 (ja) | 2011-08-31 |
Family
ID=18966595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001115743A Expired - Fee Related JP4759159B2 (ja) | 2001-04-13 | 2001-04-13 | 画像処理装置、走査方式変換方法、記憶媒体、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4759159B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007013315A (ja) * | 2005-06-28 | 2007-01-18 | Toshiba Corp | 情報処理装置および動画像再生方法 |
| KR100672617B1 (ko) | 2006-01-09 | 2007-01-22 | 엘지전자 주식회사 | Ｈｄ급 디인터레이싱 구현 장치 및 구현 방법 |
| JP5317894B2 (ja) * | 2009-09-01 | 2013-10-16 | キヤノン株式会社 | 撮像装置、および撮像装置の制御方法 |
| JP4922418B2 (ja) * | 2010-02-16 | 2012-04-25 | 株式会社東芝 | 再生装置および再生装置の制御方法 |
| JP6069929B2 (ja) * | 2012-07-25 | 2017-02-01 | 富士通株式会社 | 画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3154272B2 (ja) * | 1989-09-13 | 2001-04-09 | キヤノン株式会社 | 画像変換装置及び方法 |
| JPH066720A (ja) * | 1992-06-16 | 1994-01-14 | Toshiba Corp | 画像信号処理装置 |
| JPH1098709A (ja) * | 1996-09-20 | 1998-04-14 | Matsushita Electric Ind Co Ltd | 画像データ復号装置 |
| JPH10126749A (ja) * | 1996-10-14 | 1998-05-15 | Toshiba Corp | 順次走査変換装置 |
| JP3063736B2 (ja) * | 1998-06-25 | 2000-07-12 | 日本電気株式会社 | 画像走査方式変換装置、及び方法 |
-
2001
- 2001-04-13 JP JP2001115743A patent/JP4759159B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002314951A (ja) | 2002-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6272179B1 (en) | Image coding apparatus, image decoding apparatus, image coding method, image decoding method, and data storage medium | |
| US5737022A (en) | Motion picture error concealment using simplified motion compensation | |
| US5329365A (en) | Method and apparatus for providing compressed non-interlaced scanned video signal | |
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| US6462744B1 (en) | Image decoding apparatus that performs image decoding so that frame areas that occupy a large area in a storage apparatus can be used for other purposes, and a recording medium recording an image decoding program | |
| JP3778721B2 (ja) | 動画像符号化方法および装置 | |
| US20050243920A1 (en) | Image encoding/decoding device, image encoding/decoding program and image encoding/decoding method | |
| US20070030899A1 (en) | Motion estimation apparatus | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP3302939B2 (ja) | 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置 | |
| JPH0837662A (ja) | 画像符号化復号化装置 | |
| JPH07264580A (ja) | 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置 | |
| JP2007124564A (ja) | 画像符号化装置、方法、及びプログラム | |
| KR100345968B1 (ko) | 화상신호의고능률부호화,복호화장치및기록매체 | |
| US6836273B1 (en) | Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium | |
| JP4759159B2 (ja) | 画像処理装置、走査方式変換方法、記憶媒体、及びプログラム | |
| US6353683B1 (en) | Method and apparatus of image processing, and data storage media | |
| JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4336402B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4130197B2 (ja) | 動画像符号化方法および装置 | |
| KR100328199B1 (ko) | 다채널 영상 인코딩 시스템 및 다채널 인코딩용 메모리운영방법 | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JPH1013836A (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080410 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |