JP4262139B2

JP4262139B2 - 信号処理装置

Info

Publication number: JP4262139B2
Application number: JP2004163559A
Authority: JP
Inventors: 慎吾野澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-06-01
Filing date: 2004-06-01
Publication date: 2009-05-13
Anticipated expiration: 2024-06-01
Also published as: US7756203B2; CN1705366A; CN100433821C; JP2005347955A; US20050265448A1

Description

本発明は信号処理装置に関し、特に、圧縮符号化された動画像ストリームデータを処理するために用いて好適なものである。

従来、近年、デジタル信号処理技術の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率符号化し、小型磁気媒体、小型光媒体への記録や通信媒体での伝送を行うことが可能となっている。そして、このような技術を応用し、容易に高品位な映像を撮影して即座に情報媒体へ出力できる撮像装置などの開発が行われている。

特に、昨今の動画像の符号化には、ＭＰＥＧ符号化技術が使われている。ＭＰＥＧ符号化は画面内の相関を用いて符号化するフレーム内符号化方式と、前後の画面間の相関を用いて符号化するフレーム間符号化方式とを使い、符号レートを大幅に削減することができるため、ＤＶＤに代表される映像再生装置や、ビデオカメラなどの撮像装置に広く用いられている。

ところで、日本や米国などのテレビ規格では、１秒間に約３０フレームのフレームレートが用いられているが、映画で用いるフィルム素材の映像は、１秒間に約２４フレームのフレームレートが一般的である。そのため、１秒あたり２４フレームの映像を１フレームあたり約３０フレームに変換し、フィルム素材映像とテレビ映像の互換性を高めてＭＰＥＧ符号化する技術が知られている（例えば、特許文献１にて提案されている「画像圧縮符号化装置」）。

このような１秒あたり約２４フレームの映像信号を３０フレームに変換する技術として、２−３プルダウンとよばれる方式が知られており、映画などのフィルム素材をテレビ向けの映像に変換される場合に多用されている技術である。

図６は２−３プルダウン処理を説明する図である。
図６において、９０１〜９１０は１秒あたり約２４フレームの映像のフィールド列である。このフィールド列を１秒あたり約３０フレームに変換したフィールド列が９１１〜９２２である。

フィールド９０１、９０２を９１１、９１２に、フィールド９０３、９０４を９１３、９１４、９１５に、というように入力映像２フィールドずつを、出力映像２フィールドと３フィールドの繰り返しになるように変換してゆく。この繰り返しにより入力４フィールド毎に出力５フィールドが生成され、２４フレーム毎秒から３０フレーム毎秒への変換を実現する。

この時、２フィールドから３フィールドに変換された際の１番目と３番目のフィールドは同一のデータである。例えば、フィールド９１３と９１５はともにフィールド９０３をもとにしている。同様にフィールド９１８と９２０も同一のデータである。

このように、レート変換した映像信号をＭＰＥＧ符号化して記録する場合、２−３プルダウン映像の冗長性を取り除くため、top field first、repeat first fieldというパラメータが用いられることがある。

パラメータrepeat first fieldが「０」の場合２フィールド構成を示し、「１」の場合３フィールド構成を示す。前述のように３フィールド構成の場合、１番目と３番目のフィールドは同一でなので、３番目のフィールドについては画像データを生成しない。一方、パラメータtop field firstは、トップ、ボトムいずれのフィールドが時間的に先であるかを示し、０の場合ボトムフィールドが先、１の場合トップフィールドが先を示している。

このような従来の装置では、前述のパラメータを組み合わせて用いることにより、ストリームの複雑さが増し、復号処理に負担を与えてしまうという問題があった。すなわち、生成されたストリームを正常に復号するためには、前述のパラメータを判別し、復号処理側で、複製フィールドを挿入する必要がある。そのため、ＭＰＥＧを部分的に実装する復号装置やシステムでは正常に再生できない場合があった。

より平易な従来の方法として、前述の２−３プルダウン映像をそのまま符号化する方法があった。この方法は、プルダウン後の３０フレーム毎秒の映像そのものをストリームとするので、復号処理に何ら負担は発生しない利点がある。

特開２０００-０４１２４４号公報

しかしながら、前述のように、２−３プルダウンした３０フレームの映像信号をそのままＭＰＥＧ符号化して記録した場合、再生時にプルダウン前の冗長性のない２４フレーム毎秒のストリームに再変換することが困難であった。

何故ならば、ＭＰＥＧ特有の画像間相関を用いた符号化により、挿入したフレームが他のフレームから参照されている場合、この挿入したフレームをそのまま取り除くとこのフレームを参照しているフレームのデータをデコードできなくなってしまうため、挿入したフレームを取り除くことができないためである。
従って、２−３プルダウン後にＭＰＥＧ符号化された映像信号からＭＰＥＧ符号化された形態の２４フレームの映像信号を得るためには、３０フレーム毎秒のまま一旦復号し、復号後に挿入したフレームを除去し、再度符号化する必要がある。そのため、膨大な処理時間を要する上に、再符号化による画質劣化を免れない問題点があった。

本発明はかかる問題点に鑑みなされたものであり、第１のフレームレートの動画像データを第２のフレームレートの動画像データのストリームに符号化した後に、再符号化することなく前記第１のフレームレートの動画像データに変換可能な信号処理技術を提供することを目的としている。

本発明の信号処理装置は、第１のフレームレートの第１の動画像データに対し、直前のフレームの画像と同じ画像を新たなフレームとして挿入することにより第２のフレームレートの第２の動画像データに変換する変換手段と、フレーム内符号化と、他のフレームの画像から参照されない第１のフレームタイプのフレーム間予測符号化と、他のフレームの画像から参照される第２のフレームタイプのフレーム間予測符号化とを選択的に用いて前記変換手段から出力された第２の動画像データを符号化する符号化手段であって、所定フレーム数の間隔で前記フレーム内符号化または前記第２のフレームタイプのフレーム間予測符号化を選択して符号化する符号化手段と、前記挿入されたフレームを前記第２のフレームタイプのフレーム間予測符号化で符号化する場合には、当該挿入されたフレームの直前のフレームを前記第１のフレームタイプのフレーム間予測符号化で符号化するよう前記符号化手段を制御する制御手段と、前記符号化手段から出力された動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生手段と、前記記録媒体から再生された動画像データから、前記挿入されたフレーム、または、前記挿入されたフレームの直前の前記第１のフレームタイプのフレームのいずれかを除去することにより、前記第１のフレームレートの符号化された動画像データを出力する出力手段と備えることを特徴とする。
また、本発明の他の特徴とするところは、前記符号化手段はＭＰＥＧ符号化を行い、前記第１のフレームタイプはＢピクチャ、前記第２のフレームタイプはＰピクチャとすることを特徴とする。
また、本発明のその他の特徴とするところは、前記出力手段は、再生された動画像データ中のタイムスタンプ情報を書き換えることを特徴とする。
また、本発明のその他の特徴とするところは、前記符号化手段は、前記出力手段が除去すべきフレームを識別するフラグ情報を動画像データに付加することを特徴とする。

本発明によれば、第２のフレームレートの動画像データを符号化して記録媒体に記録し、再生時、再符号化することなく元の第１のフレームレートの動画像を得ることができる。
また、第２のフレームレートの動画像データにおけるフレーム内符号化、または第２のフレームタイプのフレームの間隔を、一般的なフレーム間隔に設定することが可能となる。

以下、添付図面に従って本発明の信号処理装置にかかる実施の形態を詳細に説明する。
（第１の実施の形態）
図１は、本実施の形態における装置のブロック構成図を示している。図１において、１０１は映像信号入力端子、１０２は変換部、１０３は符号化部、１０４は記録媒体１０５への読み書きをアクセスする記録再生部、１０５は書き込み可能なディスクや磁気テープ等の記録媒体、１０６はストリームを出力端子１０７へ出力する出力部、１０７はIEEE1394やUSBなどの出力端子、１０８は各ブロックを制御する制御部１０８である。

映像信号入力端子１０１から入力される、１秒あたり２４フレームのフレームレートを有する映像信号は変換部１０２に供給される。変換部１０２は、４フレーム毎に１枚の複製画像を挿入して、４フレームの映像信号を５フレームの映像信号とすることにより、１秒あたり３０フレームの映像信号に変換する。

図２は、変換部１０２による変換処理の例を示す図である。フレーム２０１に対して複製画像２０２を挿入、フレーム２０３に対し複製画像２０４を挿入、フレーム２０５に対し複製画像２０６を挿入するというように、４フレーム毎に複製画像を１枚挿入することにより、４フレームの映像信号を５フレームの映像信号に変換するようにしている。複製画像を挿入するタイミングは、制御部１０８から指示される。

なお、映像入力部１０１としては、２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム／秒で映像を撮像する撮像装置（或いは撮像手段）、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナで良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。

レート変換された映像信号は、変換部１０２から符号化部１０３に供給される。符号化部１０３は、ISO/IEC１３８１８-２に記載のＭＰＥＧ符号化処理によって映像信号を圧縮したストリームを生成し、記録再生部１０４に供給する。

この時、符号化部１０３は、制御部１０８から供給されるパラメータに基づいて圧縮を行う。たとえば、画像ごとの符号化方式を指定する画像タイプなどのパラメータを受け取る。画像タイプには、フレーム単独に符号化を行うＩピクチャ、前の（過去の）画像を参照して符号化するＰピクチャ、前後の画像を参照して符号化するＢピクチャがある。また、Ｉピクチャ及びＰピクチャは、他のＰピクチャやＢピクチャから参照を受けるのに対し、Ｂピクチャは他の画像から参照を受けないという特徴を持つ。

制御部１０８は、前記変換部１０２で生成された複製画像、たとえば、図２における画像２０２、２０４、２０６に対して、Ｂピクチャとして符号化を行うように指示する。すなわち、冗長フレームである画像２０２、２０４、２０６を、参照を受けない画像タイプとすることにより、ストリームから後でこれら冗長フレーム２０２、２０４、２０６を除去しても影響が広がらないようにしている。

符号化部１０３で生成されたストリームは、記録再生部１０４を経て、記録媒体１０５に格納される。このようにして記録されたストリームは、同じく記録再生部１０４を経て読み出され、出力部１０６に供給される。出力部１０６は、制御部１０８からの指示に従い、３０フレーム毎秒のストリームを２４フレーム毎秒のストリームに変換し、出力端子１０７へ出力する。

出力部１０６は、供給される３０フレーム毎秒のストリームから前記複製画像２０２、２０４、２０６に相当する符号列を除去し、タイムスタンプ等のパラメータを２４フレーム毎秒に適合するよう書き換えることで、２４フレーム毎秒のストリームへと変換する。除去する画像は所定の位置に決まるよう定められるので、制御部１０８が計算して求めても良いし、あらかじめ前記符号化部１０３が該当する画像にフラグ情報を埋め込んでおき、それを制御部１０８が識別しても良い。

なお、出力部１０６は、除去処理をせずに３０フレーム毎秒のストリームをそのまま出力端子に出力するモードを持ち、制御部１０８によってモードの切り替えを指示される構成であっても良い。

図５は、本実施の形態における画像処理をパーソナルコンピュータ等の汎用情報処理装置上で実施する場合の構成を示している。
図５において、１は装置全体の制御を司るＣＰＵ、２はＢＩＯＳやブートプログラムを記憶しているＲＯＭ、３はワークエリアとして使用するＲＡＭである。４はＯＳ、並びに実施の形態における符号化、並びに、変換にかかる制御プログラム、更には、各ストリームを記憶保持する記憶装置（ハードディスク等）である。５は映画で用いるフィルム素材を順次読取る映像入力部である。

映像入力部５としては、２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム／秒で映像を撮像する撮像装置（或いは撮像手段）、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナで良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。

６は変換部であり、７は符号化部である。なお、最近のＰＣでは、処理能力が非常に高くなってきているので、変換部６、符号化部７に相当する処理をソフトウェア処理で実現しても良い。８はストリームを出力する出力部である。出力部８の出力先はネットワーク上に存在するのであれば（例えば、ファイルサーバ等）であれば、この出力部はネットワークインタフェースとなる。

かかる構成において、本装置に電源を投入し、ＯＳがＲＡＭ３にロードされ、実施の形態におけるアプリケーションをＲＡＭ３にロードすることで、先に説明した図１に応じた処理を行い、外部記憶装置４（図１における記録媒体１０５に相当する）に記憶することになる。なお、図１では、映像信号入力端子１０１よりフィルム素材の２４フレーム／秒の映像信号を入力するものとしたが、外部記憶装置４に記憶されていても構わない。

（第２の実施の形態）
次に、本発明の信号処理装置の第２の実施の形態を説明する。本第２の実施の形態におけるブロック構成は前記第１の実施の形態を示す図１と同じである。以下、第１の実施の形態と動作の異なる変換部、出力部、制御部１０８を中心に説明する。

前記第１の実施の形態においては、ＩピクチャとＰピクチャ、及びＰピクチャとＰピクチャの間隔を５フレームとした。ＭＰＥＧでは、Ｍ＝５のＧＯＰ構成と呼ばれる。これは、４フレームを５フレームに変換する際に挿入した複製画像を確実にＢピクチャとするためである。しかしながら、Ｍ＝３のＧＯＰ構成が一般に用いられており、第１の実施の形態はこれに対応できない。本第２の実施の形態は、Ｍ＝３のＧＯＰ構成に対応する装置を説明する。

図３は、変換部１０２による変換処理の例を示す図である。フレーム３０１に対して複製画像３０２を挿入、フレーム３０３に対し複製画像３０４を挿入、フレーム３０５に対し複製画像３０６を挿入、というような処理を行って、４フレームずつを５フレームに変換するようにしている。複製画像３０２、３０４、３０６を挿入するタイミングは、制御部１０８から指示される。

制御部１０８は、前記変換部１０２で生成された複製画像、あるいはその直前の画像すなわち複製の元画像のいずれか一方に対して、Ｂピクチャとしての符号化を指示する。たとえば、図３における複製画像３０２、３０４と、複製画像３０６の直前の画像３０５に対して、Ｂピクチャを指定する。すなわち、冗長フレームとして除去可能な画像は、複製画像そのものだけではなく、複製の元となった画像であっても良いので、ＧＯＰ構成などにより好適な方の画像をＢピクチャと指定すれば良い。

出力部１０６は、供給される３０フレーム毎秒のストリームから前記複製画像あるいはその直前の画像に相当する符号列を除去し、タイムスタンプ等のパラメータを２４フレーム毎秒に適合するよう書き換えることで、２４フレーム毎秒のストリームへと変換する。

以上のように、後で除去しうるＢピクチャに、複製画像だけでなくその直前の画像を対象に加えることで、Ｍ＝３のＧＯＰ構成に適応できる。また、４フレームを５フレームに変換する変換単位を３回繰り返し、すなわち１２フレームを１５フレームに変換する毎にＧＯＰを形成することで、一般的なＧＯＰのフレーム総数Ｎ＝１５に適応できる。

（第３の実施の形態）
続いて、本発明の第３の実施の形態を説明する。本第３の実施の形態におけるブロック構成は前記第１の実施の形態を示す図１と同じである。以下、第１の実施の形態と動作の異なる変換部、出力部、制御部を中心に説明する。

前記第１の実施の形態は、除去しうる冗長フレームとしてＢピクチャを用いているが、本第３の実施の形態は、除去しうる冗長フレームとしてＰピクチャを用いる構成を説明する。

図４は、変換部１０２による変換処理の例を示す図である。フレーム４０１に対して複製画像４０２を挿入、フレーム４０３に対し複製画像４０４を挿入、フレーム４０５に対し複製画像４０６を挿入、というように４フレームずつを５フレームに変換する。複製画像を挿入するタイミングは、制御部１０８から指示される。

制御部１０８は、前記変換部１０２で生成された複製画像に対してＰピクチャ、複製画像の直前の画像すなわち複製の元画像に対してＩピクチャまたはＰピクチャとしての符号化を指示する。

たとえば、図４における複製画像４０２、４０４、４０６に対してＰピクチャ、複製画像の直前の画像４０１、４０３、４０５に対して、ＩピクチャまたはＰピクチャを指定する。すなわち、他のフレームから参照を受ける画像タイプ（Ｉピクチャ、Ｐピクチャ）を連続して配置することで、冗長フレームとして複製画像（Ｐピクチャ）を除去しても、直前の画像（ＩピクチャまたはＰピクチャ）がその代替として参照を受けることができる。

出力部１０６は、供給される３０フレーム毎秒のストリームから前記複製画像に相当する符号列を除去し、タイムスタンプ等のパラメータを２４フレーム毎秒に適合するよう書き換えることで、２４フレーム毎秒のストリームへと変換する。
以上のように、後で除去しうる複製画像をＰピクチャとする構成も本発明の適応範囲である。

（本発明の他の実施の形態）
以上、第１〜第３実施の形態を説明したが、先に説明したように、実施の形態における機能実現手段は、映像入力手段（撮像手段）を有する撮像装置に限らず、パーソナルコンピュータ等の汎用情報処理装置でもって実現できることは明らかである。すなわち、本発明はコンピュータ用のユーティリティアプリケーションプログラムをもその範疇とする。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ可読記憶媒体に記憶され、それをコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能となるわけであるから、かかるコンピュータ可読記憶媒体をもその範疇とするのは明らかである。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合にも本発明に含まれる。

本発明の実施の形態における画像処理装置のブロック構成図である。第１の実施の形態における変換部の処理を説明するための図である。第２の実施の形態における変換部の処理を説明するための図である。第３の実施の形態における変換部の処理を説明するための図である。ソフトウェアを介在させて処理する場合の装置構成を示す図である。２−３プルダウン処理による、フレーム構成とＭＰＥＧストリームの構造を示す図である。

符号の説明

１０１映像信号入力端子
１０２変換部
１０３符号化部
１０４記録再生部
１０５記録媒体
１０６出力部
１０７出力端子
１０８制御部

Claims

第１のフレームレートの第１の動画像データに対し、直前のフレームの画像と同じ画像を新たなフレームとして挿入することにより第２のフレームレートの第２の動画像データに変換する変換手段と、
フレーム内符号化と、他のフレームの画像から参照されない第１のフレームタイプのフレーム間予測符号化と、他のフレームの画像から参照される第２のフレームタイプのフレーム間予測符号化とを選択的に用いて前記変換手段から出力された第２の動画像データを符号化する符号化手段であって、所定フレーム数の間隔で前記フレーム内符号化または前記第２のフレームタイプのフレーム間予測符号化を選択して符号化する符号化手段と、
前記挿入されたフレームを前記第２のフレームタイプのフレーム間予測符号化で符号化する場合には、当該挿入されたフレームの直前のフレームを前記第１のフレームタイプのフレーム間予測符号化で符号化するよう前記符号化手段を制御する制御手段と、
前記符号化手段から出力された動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生手段と、
前記記録媒体から再生された動画像データから、前記挿入されたフレーム、または、前記挿入されたフレームの直前の前記第１のフレームタイプのフレームのいずれかを除去することにより、前記第１のフレームレートの符号化された動画像データを出力する出力手段と備えることを特徴とする信号処理装置。
前記符号化手段はＭＰＥＧ符号化を行い、前記第１のフレームタイプはＢピクチャ、前記第２のフレームタイプはＰピクチャとすることを特徴とする請求項１に記載の信号処理装置。
前記出力手段は、再生された動画像データ中のタイムスタンプ情報を書き換えることを特徴とする請求項１に記載の信号処理装置。
前記符号化手段は、前記出力手段が除去すべきフレームを識別するフラグ情報を動画像データに付加することを特徴とする請求項１に記載の信号処理装置。