JP2009100236A - 映像信号処理方法および映像信号処理装置 - Google Patents

Abstract

【課題】 よりメモリーアクセス量を低減した映像信号処理技術を提供する。
【解決手段】 入力映像信号中のインターレース映像信号をノンインターレース映像信号に変換する映像信号処理装置において、所定フレーム周波数ｆのインターレース映像信号を入力する入力部と、前記インターレース映像信号が順次書き込まれる第１乃至第４のメモリーと、前記メモリーからｆの概略ｎ倍の周波数で前記入力信号と隣接するフィールドデータを読み出し走査線補間を行いフレームデータを作成する第１及び第２の走査線補間部と、この二つの走査線補間された隣接するフレームデータからその間の時刻に相当する補間フレームデータを作成する補間フレーム作成部とを備えたことを特徴とする映像信号処理装置。
【選択図】 図１

Description

本発明は、補間フレームとノンインターレース変換に係わる映像信号処理技術に関する。

テレビ、パーソナルコンピュータ（ Ｐ Ｃ ） 、携帯電話、あるいはその他の画像信号を表示する装置において、画像信号を構成する画像フレームから、画像フレームを補間する補間フレームを作成し、作成された補間フレームを画像フレームに内挿して表示させる技術が知られている。この技術は、例えば、情報量を削減するため低フレームレートで伝送された画像信号を滑らかに表示することを目的として利用されている。他方で、インターレース信号をノンインターレース信号に変換する技術も知られている。

前者として例えば特許文献１には、二つのフレームから、その間のフレームの信号を演算により発生し、元のフレームと新たに発生したフレームを交互に表示することでフレーム周波数を倍増する技術が示されている。

また後者として例えば特許文献２（図２）には、隣接フィールドの信号を用いたインターレースからノンインターレースへの変換（走査線補間）回路が示されている。
特開２００５−６２７５号公報 特開平４−３２０１８０号公報

しかしながら従来の回路構成においては、メモリーアクセス量が多く高速処理に適さない面があった。本発明は、よりメモリーアクセス量を低減した映像信号処理技術を提供することを目的とする。

上記課題を解決するために、本発明の映像信号処理装置は、入力映像信号中のインターレース映像信号をノンインターレース映像信号に変換する映像信号処理装置において、所定フレーム周波数ｆのインターレース映像信号を入力する入力部と、前記インターレース映像信号が順次書き込まれる第１乃至第４のメモリーと、前記メモリーからｆの概略ｎ倍の周波数で前記入力信号と隣接するフィールドデータを読み出し走査線補間を行いフレームデータを作成する第１及び第２の走査線補間部と、この二つの走査線補間された隣接するフレームデータからその間の時刻に相当する補間フレームデータを作成する補間フレーム作成部とを備えたことを特徴とする。

本発明によれば、よりメモリーアクセス量を低減した映像信号処理技術が得られる。

以下、本発明の実施例を説明する。

本発明による実施例１を図１乃至図３及び図８乃至図１０を参照して説明する。
図８は、この発明を適用したデジタルテレビジョン放送受信装置１１１の外観と、このデジタルテレビジョン放送受信装置１１１を中心として構成されるネットワークシステムの一例を概略的に示している。

すなわち、デジタルテレビジョン放送受信装置１１１は、主として、薄型のキャビネット１１２と、このキャビネット１１２を起立させて支持する支持台１１３とから構成されている。そして、キャビネット１１２には、例えばＳＥＤ（Surface-conduction Electron-emitter Display）表示パネル、液晶表示パネル等でなる平面パネル型の映像表示器１１４、スピーカ１１５、操作部１１６、リモートコントローラ１１７から送信される操作情報を受ける受光部１１８等が設置されている。

また、このデジタルテレビジョン放送受信装置１１１には、例えばＳＤ（Secure Digital）メモリカード、ＭＭＣ（Multimedia Card）及びメモリスティック等の第１のメモリカード１１９が着脱可能となっており、この第１のメモリカード１１９に対して番組や写真等の情報の記録再生が行なわれるようになっている。

さらに、このデジタルテレビジョン放送受信装置１１１には、例えば契約情報等の記録された第２のメモリカード（ＩＣカード）１２０が着脱可能となっており、この第２のメモリカード１２０に対して情報の記録再生が行なわれるようになっている。

また、このデジタルテレビジョン放送受信装置１１１は、第１のＬＡＮ（Local Area Network）端子１２１、第２のＬＡＮ端子１２２、ＵＳＢ（Universal Serial Bus）端子１２３及びｉ．ＬＩＮＫ端子１２４を備えている。

このうち、第１のＬＡＮ端子１２１は、ＬＡＮ対応ＨＤＤ専用ポートとして使用されるもので、接続されたＮＡＳ（Network Attached Storage）であるＬＡＮ対応のＨＤＤ１２５に対して、イーサネット（登録商標）により情報の記録再生を行なうために使用される。

このように、ＬＡＮ対応ＨＤＤ専用ポートとしての第１のＬＡＮ端子１２１を設けることにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、ＨＤＤ１２５に対してハイビジョン画質による番組の情報記録を安定して行なうことができる。

また、第２のＬＡＮ端子１２２は、イーサネット（登録商標）を用いた一般的なＬＡＮ対応ポートとして使用されるもので、例えばハブ１２６を介して、ＬＡＮ対応のＨＤＤ１２７、ＰＣ（Personal Computer）１２８、ＨＤＤ内蔵のＤＶＤレコーダ１２９等の機器を接続し、これらの機器と情報伝送を行なうために使用される。

なお、ＰＣ１２８については、家庭内ネットワークにおいてコンテンツのサーバー機器として動作するための機能を持ち、さらにコンテンツのアクセスに必要なＵＲＩ（Uniform Resource Identifier）情報を提供するサービスを備えたＵＰｎＰ（ユニバーサルプラグアンドプレイ）対応機器として構成される。

なお、ＤＶＤレコーダ１２９については、第２のＬＡＮ端子１２２を介して通信されるデジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置１１１との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路１３０を設ける必要がある。

さらに、この第２のＬＡＮ端子１２２は、ハブ１２６に接続されたブロードバンドルータ１３１を介して、例えばインターネット等のネットワーク１３２に接続し、このネットワーク１３２を介してＰＣ１３３や携帯電話１３４等と情報伝送を行なうために使用される。

また、上記ＵＳＢ端子１２３は、一般的なＵＳＢ対応ポートとして使用されるもので、例えばハブ１３５を介して、携帯電話１３６、デジタルカメラ１３７、メモリカードに対するカードリーダ／ライタ１３８、ＨＤＤ１３９、キーボード１４０等のＵＳＢ機器を接続し、これらのＵＳＢ機器と情報伝送を行なうために使用される。

さらに、上記ｉ．ＬＩＮＫ端子１２４は、例えばＡＶ−ＨＤＤ１４１、Ｄ（Digital）−ＶＨＳ（Video Home System）１４２等をシリアル接続し、これらの機器と情報伝送を行なうために使用される。

第９図は、デジタル放送受信装置の一般的構成を示している。放送だけでなく、ＤＶＤやＨＤＤなどのメディアやＩＰ網やＬＡＮなどのネットワークなどからもコンテンツを受信してもよい。放送受信信号は、図示せぬ復調回路からDemux回路9-2に供給される。IPネットワークからのコンテンツ受信などではCPU9-6での処理によりメモリー9-1にいったん取り込まれ、その後にDemux回路9-2に供給される。Demux回路9-2は受信ストリームをVideoやAudio信号などに分離し、メモリーに書き込む。AudioDecoder9-3やでVideoDecoder9-4圧縮されたストリームは復号(デコード)される。デコードされた結果はメモリー9-1に書き込まれる。外部から供給されるビデオやオーディオ信号などはCapture回路9-7でメモリー9-1に取り込まれる。走査線補間回路補間フレーム作成回路9-5は、メモリー9-1から映像データを読み出し、インターレース構造のデータに対して走査線補間を行いノンインターレース構造に変換し、ノンインターレース構造の二つのフレームからそのフレームデータ、およびそれらの時間的に間の位置に相当するフレームデータを作成し、映像信号のもともとのフィールド周波数より高い周波数(通常は2倍だが、n倍や1.5倍など非整数倍でもよい)でフレームデータを出力する。グラフィックス回路9-8は、メモリー9-1上のグラフィックデータを読み出し、これを、走査線補間回路補間フレーム作成回路9-5の出力するデータに重畳して画像を出力し、図示せぬＬＣＤデバイスなどに表示したり、外部機器に出力などする。

メモリー9-1は、Demux9-2, AudioDecoder9-3, VideoDecoder9-4, 走査線補間回路補間フレーム作成回路9-5, CPU9-6, Capture9-7, Graphics9-8は、各々の処理にてメモリー9-1を共有し、時分割でアクセスする。

第１図は、第9図の装置での信号処理の流れを示している。受信した放送映像信号や、外部から供給された映像信号は、メモリー1-2、メモリー1-3、メモリー1-4、メモリー1-5、に記録される。

＜メモリーバンド幅の削減＞
メモリー1-2〜1-5に記録された映像信号がインターレース形式の場合は、走査線補間回路1-6はメモリー1-2、メモリー1-3、メモリー1-4から隣接する３つのフィールドデータを読み出して、ノンインターレース形式に変換する。また、走査線補間回路1-7は、メモリー1-3、メモリー1-4、メモリー1-5から隣接する３つのフィールドデータを読み出して、ノンインターレース形式のフレームデータに変換する（ノンインターレースへの変換処理については公知文献を参照）。本実施例では、二つの走査線補間回路1-6,1-7を備え、二つのフレームデータを同時に作成する。また、２倍の処理速度で動作することで、1/2フィールドの時間で１つのフレームデータを出力する。第８図は、走査線補間回路の一例を示す。

補間フレーム作成回路1-8は、走査線補間回路から出力されるノンインターレース形式の隣接する二つのフレームデータから、時間的該二つのフレームデータの中間（時間的に中央とすることが一般的ではあるがそれに限る必要も無い）に位置する補間フレームデータを作成する（補間フレームデータの作成方法は公知文献を参照）。

なお、入力映像信号がノンインターレース映像信号の場合には、インターレース映像信号をノンインターレース映像信号に変換する処理をバイパスする構成となっている。

第２図は、メモリーの読み出しタイミング、補間フレームの出力タイミングを示す。2-1は入力画像信号の１フィールド期間を示している。
走査線補間回路1-7は、期間2-2ではフィールドデータ0,1,2からフレームデータ１を、期間2-3では、フィールドデータ0,1,2からフレームデータ１を、また走査線補間回路1-6はフィールドデータ1,2,3からフレームデータ２を作成する。

１フィールド期間で見ると、走査線補間とフレーム補間処理とに必要となるメモリーアクセス量は、７フィールド分のメモリー読み出しとなる。
公知文献に対して、２倍の周波数で２フレーム分の処理を実行する走査線補間回路と、1/2フィールド期間で動作する補間フレーム作成回路を備える必要がある。
＜走査線補間回路と補間フレーム作成回路の周期的動作＞
補間フレーム作成回路1-8からの出力信号は、この場合は１フィールド期間に２つのフレームデータを出力する。補間フレーム作成回路1-8は、2-2の期間には走査線補間回路1-6からのフレームデータ１を1/2フィールド期間2-2で出力する。期間2-3では走査線補間回路1-6からのフレームデータ１と走査線補間回路1-7からのフレームデータ２からその間の補間フレームデータ1.5を作成して出力する。期間2-2ではフレームデータ２は不要なため、この期間には走査線補間回路1-7が走査線補間処理をする必要は無く、補間フレームデータ作成回路1-8が補間フレーム作成処理をする必要も無く、メモリー1-2からの読み出しも不要である。したがって、期間2-2ではメモリー1-3,1-4,1-5を、期間2-3ではメモリー1-2,1-3,1-4,1-5を読み出す。

メモリー1-2,1-3,1-4,1-5が物理的に共通のデバイスで構成されている場合には、そのデバイスからの読み出しデータレート（消費するメモリーバンド）は期間2-2と期間2-3で異なり、メモリーシステムの設計として期間2-3でのメモリーバンドを満たす設計が必要となる。

＜メモリーアクセス量の均等化＞
一般的に圧縮ストリームのデコーダやキャプチャ回路は、デコード処理を実行するなどでメモリーに映像信号をいったん書き込む。フィールド期間2-1では、その期間を均等に利用してデコード処理を実行した場合のメモリーアクセス量を示している。トータルのメモリーバンドとしては、期間2-2より期間2-3で消費するメモリーバンド量は増えるため、メモリーシステムとして期間2-3でのメモリーアクセス量に耐えられるような設計が必要となる。

一方、期間2-4では、デコード回路1-1の動作を前半部分に処理量が多くなるように配分した場合を示している。3-1は画面の一番上の位置を、3-2は画面の一番下を示している。

第３図は、デコード処理の進み方のイメージを示している。3-4,3-6は走査線補間回路補間フレーム作成回路9-5が処理している1画面の中の位置を示している。走査線補間回路補間フレーム作成回路9-5は、入力画像の1フィールド時間の期間中に2回のフレーム出力をしている。3-3,3-5,3-7はデコーダキャプチャ回路1-1が処理している1画面中の位置を示している。3-3では、デコーダキャプチャ回路1-1は、入力画像の1フィールド時間を均等に使ってデコード処理をおこなっている。走査線補間回路補間フレーム作成回路9-5は、期間3-4では3フィールドを、期間3-6では4フィールドを読み出すため、メモリーアクセス量は、後半のほうが多く、メモリーシステムはこのバンド幅を満たすものが必要となる。3-5では1フィールド期間の前半では1画面の1/2以上を、後半では1/2以下を処理している。こうすることで、メモリーアクセスの量が全体として均等に近づけることができる。1フィールドの前半と後半の比較で後半が１フィールド分の読み出し分多いため、デコード回路の動作を前半後半で不均一にすることで、後半のメモリーアクセス量を１／２フィールド分下げることができる。その結果、システム全体としてより多くの処理を実行することができる。

本発明による実施例３を図４乃至図１０を参照して説明する。実施例１と共通する部分は説明を省略する。
第４図は、１フィールド期間に３フレームを出力する場合のメモリーアクセスを示している。１フィールド期間を３分割し、１番目のフレーム出力期間では３枚のフィールドを読み出し、２番目と３番目のフレーム出力期間では４枚のフィールドを読み出す。合計で入力信号１フィールドの期間に11フィールド分のメモリーアクセス量となる。

デコーダ1-1の処理は期間4-2,4-3より期間4-1に集中することで、全体的にメモリーアクセス量を均等化し、メモリーバンドの最大値を低く抑えることができる。

第５図は走査線補間回路にノイズリダクション（ＮＲ）機能を持たせる場合、メモリーアクセスの方法が異なる。第７図はＮＲ付走査線補間回路の構成例を示す。ＮＲ付走査線補間回路は４つのフィールドデータをメモリーから読み出してインターレース形式の信号をノンインターレース形式に変換する。ノンインターレースに変換するフィールドと、それに内挿する走査線を得るためのフィールドそれぞれに対し、２フレームの信号の差分値が小さい場合はその平均値、差分値が大きい場合は片方のフィールドの値を用いる。

入力信号の１フィールド期間の前半では４フィールド分のデータの読み出しを行い、後半では５フィールド分のデータの読み出しを行う。合計９フィールド分のデータ読み出しとなる。

従来例に示される走査線補間回路とフレーム補間回路を単純に組み合わせたときの構成を第１０図に示す。この構成によれば、１フィールド期間にメモリー10-1,10-2,10-3の読み出しが１回、フレームデータのメモリー10-4への書き込み、読み出し、メモリー10-5の書き込みが各１回、メモリー10-4、10-5のフレームデータの読み出しが１回、となる。フィールドデータに換算すると、合計3+(2*3)+2*2=13枚分ということになる。１フィールドの半分の期間で考えれば6.5枚分となる。

第１図の実施例によれば、走査線補間回路は1/2フィールドで実行するため、必要メモリーバンド幅は１フィールド時間の前半では3枚分、後半では4枚分、となり、公知例の6.5に対して2.5枚分減少する効果が得られる。

また、第２図の実施例のようにデコード処理を前半と後半でバランスを変化させることで、システム全体でのメモリーアクセス量を平均化することができ、デコードなどの処理を除いたアクセス量は3.5枚分と考えることができ、公知例の6.5枚分に対して３枚分減少する効果が得られる。

上記のようにインターレースの映像信号をプログレッシブ変換してさらに二倍のフレームレートで出力するには、プログレッシブ変換のためにインターレース形式でのフィールドメモリ読み出しを３回、プログレッシブ形式に変換された信号については、メモリー書き込みを１回、補間フレーム作成に読み出しを１回、補間フレーム書き込みのために１回、倍速でのフレームメモリーの読み出しを２回、合計、インターレースのフィールドデータに換算して、１フィールド時間内に１３枚分のメモリーアクセス量であった。

効果として、メモリーアクセス量をインターレースのフィールドデータに換算して７枚分に減らすことができる。
なお、この発明は上記実施例に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

この発明の一実施例である信号処理の流れを示す図。 同実施例のメモリーの読み出しタイミング、補間フレームの出力タイミングを示す図。 同実施例のデコード処理の進み方のイメージを示す説明図。 同実施例の他の例のメモリーアクセスを示す図。 同他の例に用いられるメモリーアクセスの方法が異なる構成図。 同他の例の走査線補間回路を示すブロック構成図。 同他の例にＮＲ付走査線補間回路を示すブロック構成図。 放送受信装置１１１の外観と周囲に構成されるネットワークシステムの一例を概略的に示す構成図。 デジタル放送受信装置の一般的構成を示す構成図。 走査線補間回路とフレーム補間回路を単純に組み合わせたときの構成を示す構成図。

符号の説明

１１１…デジタルテレビジョン放送受信装置、１１２…キャビネット、１１３…支持台、１１４…映像表示器、１１５…スピーカ、１１６…操作部、１１７…リモートコントローラ、１１８…受光部、１１９…第１のメモリカード、１２０…第２のメモリカード、１２１…第１のＬＡＮ端子、１２２…第２のＬＡＮ端子、１２３…ＵＳＢ端子、１２４…ｉ．ＬＩＮＫ端子、１２５，１２７，１３９…ＨＤＤ、１２６，１３５…ハブ、１２８…ＰＣ、１２９…ＤＶＤレコーダ、１３０…アナログ伝送路、１３１…ブロードバンドルータ、１３２…ネットワーク、１３３…ＰＣ、１３４，１３６…携帯電話、１３７…デジタルカメラ、１３８…カードリーダ／ライタ、１４０…キーボード、１４１…ＡＶ−ＨＤＤ、１４２…Ｄ−ＶＨＳ。

Claims (6)

1. 入力映像信号中のインターレース映像信号をノンインターレース映像信号に変換する映像信号処理装置における映像信号処理方法であって、
   所定フレーム周波数ｆのインターレース映像信号を入力し、第１乃至第４のメモリーに順次書き込み、前記メモリーからｆの概略ｎ倍の周波数で前記入力信号と隣接するフィールドデータを読み出し、二つの走査線補間された隣接するフレームデータを作成し、その二つのフレームデータからその間の時刻に相当する補間フレームデータを作成し出力することを特徴とする映像信号処理方法。
2. 前記補間フレームを作成する期間と、補間フレームを作成しない期間を周期的に繰り返すことを特徴とする請求項１に記載の映像信号処理方法。
3. 二つの走査線補間回路のうちの一つは、動作する期間としない期間を周期的に繰り返すことを特徴とする請求項１に記載の映像信号処理方法。
4. 映像デコーダの動作頻度や処理量などを、前期補間フレームデータ作成期間とそうでない期間で切り替えることを特徴とする請求項１に記載の映像信号処理方法。
5. 入力映像信号中のインターレース映像信号をノンインターレース映像信号に変換する映像信号処理装置において、
   所定フレーム周波数ｆのインターレース映像信号を入力する入力部と、
   前記インターレース映像信号が順次書き込まれる第１乃至第４のメモリーと、
   前記メモリーからｆの概略ｎ倍の周波数で前記入力信号と隣接するフィールドデータを読み出し走査線補間を行いフレームデータを作成する第１及び第２の走査線補間部と、
   この二つの走査線補間された隣接するフレームデータからその間の時刻に相当する補間フレームデータを作成する補間フレーム作成部とを
   備えたことを特徴とする映像信号処理装置。
6. 入力映像信号中のインターレース映像信号をノンインターレース映像信号に変換する映像信号処理装置において、
   所定フレーム周波数ｆのインターレース映像信号を入力する入力部と、
   前記インターレース映像信号が順次書き込まれる第１乃至第４のメモリーと、
   前記メモリーからｆの概略ｎ倍の周波数で前記入力信号と隣接するフィールドデータを読み出し走査線補間を行いフレームデータを作成する第１及び第２の走査線補間部と、
   この二つの走査線補間された隣接するフレームデータからその間の時刻に相当する補間フレームデータを作成する補間フレーム作成部と、
   この補間フレームデータを出力する表示部とを
   備えたことを特徴とする映像信号処理装置。

Images