JP4403737B2 - 信号処理装置及びこれを用いた撮像装置 - Google Patents
信号処理装置及びこれを用いた撮像装置 Download PDFInfo
- Publication number
- JP4403737B2 JP4403737B2 JP2003207246A JP2003207246A JP4403737B2 JP 4403737 B2 JP4403737 B2 JP 4403737B2 JP 2003207246 A JP2003207246 A JP 2003207246A JP 2003207246 A JP2003207246 A JP 2003207246A JP 4403737 B2 JP4403737 B2 JP 4403737B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- picture
- unit
- signal processing
- selection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号の符号化方式を変換するトランスコーダ及びこれを用いた撮像装置及び信号処理装置に関する。
【０００２】
【従来の技術】
近年、動画像信号をＭＰＥＧなどの圧縮方式によって圧縮符号化して記録媒体に記録する技術、あるいは圧縮符号化した信号をインターネットや無線等の通信媒体を介して伝送する技術が様々な分野で用いられている。例えば、ＤＶＤの記録再生にはＭＰＥＧ２−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１３８１８−２）が用いられる。また、無線通信やインターネット用途にはＭＰＥＧ４−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１４４９６−２）が適用される。この他にも多種多様な符号化方式が提案されている。符号化方式の多様化に伴い、これらの方式間でデータの変換を行うトランスコードが必要であり、その機能向上が求められる。特に、トランスコード処理に要する時間を短縮することは、ユーザ側の利便性を高めることにつながる。
【０００３】
トランスコードの高速化に関して、特許文献１に開示された技術がある。この技術は、「入力映像ストリームから双方向予測フレームを間引いて時間解像度を低減し、変換係数に逆変換を施すことなく時間解像度の低減した映像ストリームの画像サイズを縮小して空間解像度を低減する」ことによって、「変換符号化された周波数領域の変換係数を一度も逆変換することなく異種映像データへ変換することにより、トランスコード処理時間を短縮する」ことを目的としたものである。
【０００４】
【特許文献１】
特開２００２−１５２７５５号公報
【０００５】
【発明が解決しようとする課題】
特許文献１に記載の技術によれば、復号化処理（具体的には変換係数の逆変換）を行わないことで、トランスコードの処理時間は短縮される。しかしながら、例えばＭＰＥＧストリームを復号化して映像信号として表示するデコーダと、入力画像を符号化してＭＰＥＧストリームに圧縮するエンコーダを組み合わせ、１フレーム期間をかけて１ピクチャをトランスコードするような構成をもつようなトランスコーダにおいては、変換係数の逆変換を省略することによってトランスコード自体に要する時間が大幅に短縮されるということはない。
【０００６】
本発明の目的は上記課題を解決し、画像信号のトランスコードのために要する時間を短縮し、ユーザの使い勝手を向上することである。
【０００７】
【課題を解決するための手段】
本発明では例えば以下の構成により前記課題を改善できるが、この構成に限られることはない。
前記課題は例えば、第１の圧縮符号化方式にて符号化された第１の画像信号が入力され、第２の圧縮符号化方式にて符号化された第２の画像信号に変換する信号処理装置であって、上記第１の画像信号から、該画像信号を構成するフレームまたはフィールド単位の特定の種類のピクチャを抽出し、部分画像信号を生成するピクチャ選別部と、該ピクチャ選別部に上記第１の画像信号を供給するストリーム供給部と、該ピクチャ選別部にて生成された部分画像信号を復号化する第１の復号化部と、該復号化された画像信号を第２の圧縮符号化方式にて符号化する第１の符号化部とを備え、上記ピクチャ選別部は、抽出されるピクチャを用いて画像信号の実効長さを短縮した部分画像信号を生成し、
上記ストリーム供給部は、該ピクチャ選別部において抽出されないピクチャの符号量の分を補充するように、前記第１の復号化部で前記部分画像信号が復号化されるレートよりも高いビットレートで前記第１の画像信号を前記ピクチャ選別部へ供給することを特徴とした信号処理装置により、改善できる。
【０００９】
【発明の実施の形態】
図１は、本発明の第１の実施形態に係るトランスコーダのブロック図を示したものである。図１において、記録媒体１から読み出したストリームを、トランスコーダ３にて符号変換し、出力端子５０から出力する。トランスコーダ３は、ピクチャ選別部４、ＭＰＥＧ２デコーダ５、フレームメモリ６、ＭＰＥＧ４エンコーダ７で構成される。また、フレームメモリ６に蓄積された信号は表示部８を介して、表示装置９にて表示される。
【００１０】
図１に示したトランスコーダは、記録媒体１に格納されたＭＰ＠ＭＬ（ｍａｉｎ ｐｒｏｆｉｌｅ ａｔ ｍａｉｎ ｌｅｖｅｌ）のＭＰＥＧ２ストリーム（以下ＭＰＥＧ２／ＭＰ＠ＭＬと略記）を、ＳＰ（ｓｉｍｐｌｅ ｐｒｏｆｉｌｅ）のＭＰＥＧ４ストリーム（以下ＭＰＥＧ４／ＳＰと略記）にトランスコードして出力する場合である。
【００１１】
以下具体的に、３０フレーム／秒のＭＰＥＧ２／ＭＰ＠ＭＬストリームを１０フレーム／秒のＭＰＥＧ４／ＳＰストリームにトランスコードする場合の動作を説明する。まず、ＤＶＤなどの記録媒体１に格納されているＭＰＥＧ２ストリームは、インターフェース部２によって読み出され、ピクチャ選別部４に供給される。ピクチャ選別部４は、入力されたＭＰＥＧ２ストリームのピクチャヘッダをサーチし、ストリームを構成するフレームまたはフィールド単位の特定の種類のピクチャを抽出してピクチャ数が１／３に間引かれたＭＰＥＧ２ストリームを生成する。ピクチャ選別部４の詳細構成については後述する。抽出処理の施されたＭＰＥＧ２ストリームはピクチャ選別部４から出力され、ＭＰＥＧ２デコーダ５に供給される。ＭＰＥＧ２デコーダ５は、入力されたＭＰＥＧストリームを復号化し、デジタルビデオ信号の画素値データに変換する。画素値データはフレームメモリ６に蓄積され、表示用同期信号に従って表示部８に読み出され、表示装置９に表示される。同時に、フレームメモリ６の中のデータはＭＰＥＧ４エンコーダ７に供給され、ＭＰＥＧ４ストリームに変換されて出力端子５１に出力される。
【００１２】
図２は、図１におけるピクチャ選別部４の構成を示す。ピクチャ選別部４は、分離部４１、バッファメモリ４２、バッファメモリ読み出し回路４３を有する。ＭＰＥＧ２のストリームはオーディオ、ビデオ、付加データなどが多重化されており、これを分離部４１でデータの種類ごとに分離し、システムデコードを行ってＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を生成する。ビデオのＥＳはバッファメモリ４２に蓄えられる。バッファメモリ読み出し回路４３はピクチャヘッダサーチの機能を有し、バッファメモリ４２内を順にサーチしてピクチャヘッダを検出し、そのピクチャの種類を判別する。判別したピクチャ種類が抽出すべきピクチャ種類であった場合、次のピクチャヘッダの直前までのデータを読み出す。上記手順により、ピクチャ種類によるピクチャの抽出が実現される。
【００１３】
図３は、本実施形態によるピクチャ選別の一例を示すイメージ図である。ＭＰＥＧ２ストリームは、フレーム内符号化方式により符号化されたＩピクチャ、過去のフレームを用いて予測符号化されたＰピクチャ、過去と未来のフレームを用いて予測符号化されたＢピクチャの３種類のピクチャから構成される。図３（ａ）は、バッファメモリ４２に格納されているビデオＥＳ３００で、図３（ｂ）は、バッファメモリ４２から読み出し回路４３によってピクチャ選別を行ったビデオＥＳ３０１を示す。入力されたビデオＥＳのうちＩピクチャとＰピクチャのみを抽出し、Ｂピクチャを間引く場合である。ビデオＥＳ３００のピクチャ構成が＜ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢ……＞であれば、ビデオＥＳ３０１のピクチャ構成は＜ＩＰＰＰＰＩ……＞となる。
【００１４】
バッファメモリ読み出し回路４３はまずビデオＥＳ３００のピクチャヘッダ３０２を検出し、ピクチャ種類が抽出すべきＩピクチャであることを判別して、データの読み出しを開始する。そして、次のピクチャヘッダ３０３を検出し、ピクチャ種類が間引くべきＢピクチャであることを判別して、ピクチャヘッダ３０３の直前でデータの読み出しを終了する。読み出し回路４３は再びヘッダサーチを開始し、ピクチャヘッダ３０４、３０５を検出し、ピクチャヘッダ３０５で始まるピクチャの種類が抽出すべきＰピクチャであることを検出してデータの読み出しを開始する。上記手順を繰り返し、ビデオＥＳ３００からＩピクチャとＰピクチャのみを抽出したビデオＥＳ３０１を生成する。
【００１５】
図３で明らかなように、ビデオＥＳ３０１において、Ｉピクチャのデータの次にはこれに続く次に抽出されたＰピクチャのデータが詰めて連続的に配置される。その結果、ビデオＥＳ３００の長さに対し、ビデオＥＳ３０１の長さは短縮された部分画像信号となっている。なお、図示していないが、部分画像信号は、抽出されなかったＢピクチャの位置を空白データとして構成しても、その後の信号処理（復号処理）で空白部をスキップして処理できるので、実効的な長さが短縮されており支障はない。
【００１６】
ＭＰＥＧ２デコーダ５は、供給されたＭＰＥＧ２ストリームを復号化し、復号化された画像信号を表示するためにフレームメモリ６に格納しておく。格納された画像信号は表示されるまで保持される。この際、フレームメモリがオーバーフローもしくはアンダーフローしないようにするためには、表示スピードと復号化スピードが同じである必要がある。従って、復号化するストリームに含まれるピクチャ総数が多ければ、表示するピクチャは多くなり、復号化に要する時間はピクチャ総数に比例して長くなる。
【００１７】
従来の方式でビデオＥＳ３００をトランスコードする場合、ＭＰＥＧ２デコーダ５は間引き前の全てのピクチャ＜ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩ……＞を復号化し、その後Ｂピクチャを間引いて＜ＩＰＰＰＰＩ……＞の構成とし、ＭＰＥＧ４エンコーダ７に供給して符号化していた。従って、トランスコードに要する時間は、間引き前の全てのピクチャを含むビデオＥＳ３００を復号化して表示するのに要する時間と等しくなる。
【００１８】
本発明では、ビデオＥＳ３００からＢピクチャを間引いて部分画像信号であるビデオＥＳ３０１を生成してから上記のトランスコード処理を行う。ＭＰＥＧデコーダ５はビデオＥＳ３０１、つまり＜ＩＰＰＰＰＩ……＞のピクチャのみを復号化し、復号化した画像信号をそのままＭＰＥＧ４エンコーダに供給すればよい。ビデオＥＳ３０１に含まれるピクチャ総数は、ピクチャ抽出回路４によってビデオＥＳ３００に含まれるピクチャ総数の１／３に減少される。従って、トランスコードに要する時間は、ビデオＥＳ３００を復号化して表示するのに要する時間の１／３となり、本実施形態によってトランスコードに要する時間を大幅に短縮することができる。この場合、表示部８を経由して表示される映像は、ピクチャ間引き前のストリームをそのまま再生した場合と比較して３倍速の映像となる。
【００１９】
図４は、ピクチャ選別部４による好ましいピクチャ抽出条件を示す図である。ＭＰＥＧ予測符号化では、ピクチャ間の動き補償のためのピクチャ間の参照関係を必要とする。図４（ａ）のように抽出前のストリームにおいては、たとえばＢピクチャ１０２はＰピクチャ１０１とＰピクチャ１０３を参照して予測符号化を行っている。図４（ｂ）、（ｃ）はピクチャ選別部４を用いて抽出したストリームの例である。図４（ｂ）はＢピクチャを間引きし、ＩピクチャとＰピクチャを抽出した場合で、抽出されたＰピクチャは他の抽出されたピクチャを参照することができ、好適な抽出条件の１つである。しかし図４（ｃ）のような抽出では、抽出されたＢピクチャ１１１、１１３、Ｐピクチャ１１４が参照すべきＰピクチャ１１２はすでに間引かれて参照できない。このため、これらの抽出されたピクチャを復号化することができない。よって、ピクチャ選別部４によってストリームからピクチャを抽出する条件は、抽出後の各ピクチャが参照するピクチャが必ず存在するように抽出することが必要である。
【００２０】
他の好適な抽出条件としては、Ｉ、Ｐ、ＢピクチャからなるビデオストリームからＩピクチャのみを抽出する場合、ＩピクチャとＰピクチャからなるストリームからＩピクチャを抽出する場合、Ｉピクチャのみからなるストリームから特定のＩピクチャを抽出してトランスコードを行う場合にも適用可能である。さらに、抽出するピクチャをユーザが指定できるような構成をとることも可能である。
【００２１】
上記実施形態では、ピクチャ選別部４の処理スピードについても特徴がある。先に説明したとおり、図３（ａ）のストリーム（ビデオＥＳ）３００を図３（ｂ）のストリーム３０１に間引く場合、各ストリームに含まれるピクチャ総数は１／３に減少する。このピクチャ数の減少の結果、その後の復号化処理時間が短縮できる訳であるが、ピクチャ選別部４の抽出・間引き処理を滞りなく行うためには、ピクチャ選別部４には復号化処理のレートよりも高速にデータを供給する必要がある。前出の＜ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩ……＞のピクチャ構成を持つストリームからＢピクチャを間引いて＜ＩＰＰＰＰＩ……＞とする例を引くと、仮にＩ、Ｐ、Ｂピクチャの符号量が同じであった場合にピクチャ選別部４の抽出・間引き処理を滞りなく行うためには、ピクチャ選別部４には復号化処理の３倍のビットレートでストリームを供給しなければならない。ただし一般的には、Ｉピクチャの符号量が一番大きく、次いでＰピクチャ、Ｂピクチャの順となるので、供給するストリームのビットレートは３倍より小さくても良い。ＭＰＥＧ２／ＭＰ＠ＭＬのビットレートは最大１５Ｍｂｉｔ／ｓｅｃと規定されているので、ピクチャ選別部４にはその３倍のビットレートの４５Ｍｂｉｔ／ｓｅｃでストリームを供給すればよい。
【００２２】
一例として、記録媒体１としてＤＶＤ−ＲＯＭからの供給を仮定すると、インターフェース部２を経由してピクチャ選別部４に入力できるデータのビットレートは、最大で１６０Ｍｂｉｔ／ｓｅｃとなる。よって、ピクチャ選別部４には上記必要な入力ビットレートでＭＰＥＧ２ストリームデータを供給することは可能である。また、読み出し回路４３の能力は、８１ＭＨｚ動作、１６ｂｉｔ処理の場合、ヘッダサーチ処理可能な最大ビットレートはおよそ１Ｇｂｉｔ／ｓｅｃとなる。ゆえに、上記入力ビットレートに対して余裕をもってヘッダサーチ処理を行うことが可能である。同様のヘッダサーチをソフトウェアで行う場合、例えば２００ＭＨｚ動作のＣＰＵを用い、１ワードの処理に３０サイクルを要するとすると、ヘッダサーチ処理可能な最大ビットレートは１０６Ｍｂｉｔ／ｓｅｃであり、この場合も入力ビットレートに対して十分に処理可能である。
【００２３】
次に図５は、本発明の第２の実施形態に係るトランスコーダのブロック図を示したものである。本実施形態は第１の実施形態（図１）におけるピクチャ選別部４をなくし、代わりにインターフェース部２を用いて、記録媒体１からの読み出し時にピクチャの抽出・間引きを行う。記録媒体１には、入力端子５１から入力するストリームがインターフェース部２を介して格納される。
【００２４】
ＤＶＤなどの記録媒体１の中には、ＭＰＥＧ２ストリームと管理情報ファイルが格納されている。管理情報ファイルは、入力端子５１から入力されたストリームを記録媒体１に格納する際にインターフェース部２において作成され、ストリームとともに記録される。管理情報ファイルには、各ピクチャのピクチャタイプと格納位置、サイズが記録されている。インターフェース部２は、この管理情報ファイルを参照して抽出するピクチャの位置を特定し、ストリーム中からそのピクチャを抽出する。抽出されたピクチャはＭＰＥＧ２デコーダ５に供給され、前述の第１の実施形態と同様のプロセスによってトランスコードが行われる。
【００２５】
図６は、記録媒体の一例として、ＤＶＤ Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ規格によって規定されるファイル構成を示す。記録媒体上にはＤＶＤ＿ＲＴＡＶディレクトリ２００があり、その下位の階層にＶＲ＿ＭＡＮＧＲ．ＩＦＯ２０１とＶＲ＿ＭＯＶＩＥ．ＶＲＯ２０２の各ファイルが存在する。ＶＲ＿ＭＯＶＩＥ．ＶＲＯ２０１はＭＰＥＧ２ストリームデータであり、ＶＯＢＵ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ）と呼ばれる小単位に分割されて格納されている。各ＶＯＢＵはそれぞれ１枚のＩピクチャを有する。ＶＲ＿ＭＡＮＧＲ．ＩＦＯ２０２は管理情報ファイルであり、早送り・巻き戻し等の特殊再生に用いるため、ＶＯＢＵ中のＩピクチャの位置とサイズがテーブルとして記録されている。従って、Ｉピクチャのみの抽出を行う場合には、まずＶＲ＿ＭＡＮＧＲ．ＩＦＯ２０１を参照してＩピクチャの位置を特定し、そこからピクチャサイズ分のデータを読み出せばよい。
【００２６】
この実施形態によれば、記録媒体１からの抽出読み出しの段階で短縮した部分画像信号を生成しているので、後続の処理に要する時間を短縮することができる。
【００２７】
上記の例はＤＶＤ Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ規格に準拠した記録媒体について言及したものであるが、ピクチャ種類とその格納位置を示す管理情報をもつ他の記録媒体においても同様に適用可能である。
【００２８】
なお、記録媒体１がリムーバブルな記録媒体で、この記録媒体に他装置を用いてストリームの書き込みを行った場合には、管理情報ファイルが存在しない可能性がある。このような場合に備え、格納されているストリームをインターフェース部２が読み出し、ストリーム解析を行って管理情報ファイルを作成して記録媒体に格納することが出来るような機能を備えてもよい。
【００２９】
図７は、本発明の第３の実施形態に係る撮像装置のブロック図を示したものである。本実施形態は、第１の実施形態（図１）に示したトランスコーダを用いた撮影装置である。撮像装置３０は、第１の実施形態の構成に加え、カメラ部１０、ユーザインタフェース２０を有する。カメラ部１０は撮像部１１、ＭＰＥＧ２エンコーダ１２により構成される。
【００３０】
ユーザが記録媒体１にＭＰＥＧ２動画を記録する場合、ユーザインタフェース２０より記録指示が出され、カメラ部１０の撮像部１１においてデジタルビデオ信号を生成し、ＭＰＥＧ２エンコーダ１２において前記デジタルビデオ信号を符号化してＭＰＥＧ２ストリームを生成する。そして、前記ＭＰＥＧ２ストリームはインターフェース部２を経由して記録媒体１に記録される。
【００３１】
また、記録媒体１に記録されたＭＰＥＧ２ストリームをＭＰＥＧ４ストリームにトランスコードする場合、ユーザインタフェース２０よりトランスコード指示が出され、第１の実施形態に示したようなプロセスを経てＭＰＥＧ４ストリームにトランスコードされて出力する。
【００３２】
このように本実施形態の撮像装置によれば、撮影した画像を高画質のＭＰＥＧ２ストリームで記録保存しておくとともに、外部には低ビットレートのＭＰＥＧ４ストリームに変換して出力することができる。
【００３３】
図７では、第１の実施形態（図１）のトランスコーダを用いた撮影装置であるが、この代わりに第２の実施形態（図５）のトランスコーダを用いて撮像装置を構成してもよい。本実施形態のカメラ部１０には撮像部１１が存在するが、さらに外部から画像信号を受信する受信部を接続し、外部から画像信号を受け取る構成としてもよい。また、外部からＭＰＥＧ２ストリームを受信する受信部を接続し、外部からＭＰＥＧ２ストリームを受け取る構成としてもよい。
【００３４】
以上の第１ないし第３の実施形態においては、ＭＰＥＧ２圧縮符号化方式からＭＰＥＧ４へのトランスコードを前提として説明したが、本発明はこれに限定するものではなく、他の圧縮符号化方式を用いた場合にも適用可能である。
【００３５】
さらに本発明のトランスコーダは、上記撮像装置以外にも、画像信号（ストリーム）を受信しこれをトランスコードして表示装置等へ出力する受信装置（セットトップボックス）、入力した画像信号をトランスコードして表示する画像表示装置（ディスプレイ）、入力した画像信号をトランスコードして記録媒体（ハードディスク、光ディスク等）に記録する画像記録装置、あるいは各種画像機器を接続して画像信号の供給を行なうホームサーバなどへの適用が可能である。
【００３６】
【発明の効果】
本発明によれば、ユーザの使い勝手を向上させるトランスコーダおよび撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るトランスコーダのブロック図である。
【図２】図１におけるピクチャ選別部４の構成を示した図である。
【図３】図１におけるピクチャ選別の一例を示すイメージ図である。
【図４】図１における好ましいピクチャ抽出条件を示す図である。
【図５】本発明の第２の実施形態に係るトランスコーダのブロック図である。
【図６】図５における記録媒体１のファイル構成の一例を示した図である。
【図７】本発明の第３の実施形態に係る撮像装置のブロック図である。
【符号の説明】
１…記録媒体
２…インターフェース部
３…トランスコーダ
４…ピクチャ選別部
５…ＭＰＥＧ２デコーダ
６…フレームメモリ
７…ＭＰＥＧ４エンコーダ
８…表示部
９…表示装置
１０…カメラ部
１１…撮像部
１２…ＭＰＥＧ２エンコーダ
２０…ユーザインタフェース
３０…撮像装置
【発明の属する技術分野】
本発明は、画像信号の符号化方式を変換するトランスコーダ及びこれを用いた撮像装置及び信号処理装置に関する。
【０００２】
【従来の技術】
近年、動画像信号をＭＰＥＧなどの圧縮方式によって圧縮符号化して記録媒体に記録する技術、あるいは圧縮符号化した信号をインターネットや無線等の通信媒体を介して伝送する技術が様々な分野で用いられている。例えば、ＤＶＤの記録再生にはＭＰＥＧ２−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１３８１８−２）が用いられる。また、無線通信やインターネット用途にはＭＰＥＧ４−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１４４９６−２）が適用される。この他にも多種多様な符号化方式が提案されている。符号化方式の多様化に伴い、これらの方式間でデータの変換を行うトランスコードが必要であり、その機能向上が求められる。特に、トランスコード処理に要する時間を短縮することは、ユーザ側の利便性を高めることにつながる。
【０００３】
トランスコードの高速化に関して、特許文献１に開示された技術がある。この技術は、「入力映像ストリームから双方向予測フレームを間引いて時間解像度を低減し、変換係数に逆変換を施すことなく時間解像度の低減した映像ストリームの画像サイズを縮小して空間解像度を低減する」ことによって、「変換符号化された周波数領域の変換係数を一度も逆変換することなく異種映像データへ変換することにより、トランスコード処理時間を短縮する」ことを目的としたものである。
【０００４】
【特許文献１】
特開２００２−１５２７５５号公報
【０００５】
【発明が解決しようとする課題】
特許文献１に記載の技術によれば、復号化処理（具体的には変換係数の逆変換）を行わないことで、トランスコードの処理時間は短縮される。しかしながら、例えばＭＰＥＧストリームを復号化して映像信号として表示するデコーダと、入力画像を符号化してＭＰＥＧストリームに圧縮するエンコーダを組み合わせ、１フレーム期間をかけて１ピクチャをトランスコードするような構成をもつようなトランスコーダにおいては、変換係数の逆変換を省略することによってトランスコード自体に要する時間が大幅に短縮されるということはない。
【０００６】
本発明の目的は上記課題を解決し、画像信号のトランスコードのために要する時間を短縮し、ユーザの使い勝手を向上することである。
【０００７】
【課題を解決するための手段】
本発明では例えば以下の構成により前記課題を改善できるが、この構成に限られることはない。
前記課題は例えば、第１の圧縮符号化方式にて符号化された第１の画像信号が入力され、第２の圧縮符号化方式にて符号化された第２の画像信号に変換する信号処理装置であって、上記第１の画像信号から、該画像信号を構成するフレームまたはフィールド単位の特定の種類のピクチャを抽出し、部分画像信号を生成するピクチャ選別部と、該ピクチャ選別部に上記第１の画像信号を供給するストリーム供給部と、該ピクチャ選別部にて生成された部分画像信号を復号化する第１の復号化部と、該復号化された画像信号を第２の圧縮符号化方式にて符号化する第１の符号化部とを備え、上記ピクチャ選別部は、抽出されるピクチャを用いて画像信号の実効長さを短縮した部分画像信号を生成し、
上記ストリーム供給部は、該ピクチャ選別部において抽出されないピクチャの符号量の分を補充するように、前記第１の復号化部で前記部分画像信号が復号化されるレートよりも高いビットレートで前記第１の画像信号を前記ピクチャ選別部へ供給することを特徴とした信号処理装置により、改善できる。
【０００９】
【発明の実施の形態】
図１は、本発明の第１の実施形態に係るトランスコーダのブロック図を示したものである。図１において、記録媒体１から読み出したストリームを、トランスコーダ３にて符号変換し、出力端子５０から出力する。トランスコーダ３は、ピクチャ選別部４、ＭＰＥＧ２デコーダ５、フレームメモリ６、ＭＰＥＧ４エンコーダ７で構成される。また、フレームメモリ６に蓄積された信号は表示部８を介して、表示装置９にて表示される。
【００１０】
図１に示したトランスコーダは、記録媒体１に格納されたＭＰ＠ＭＬ（ｍａｉｎ ｐｒｏｆｉｌｅ ａｔ ｍａｉｎ ｌｅｖｅｌ）のＭＰＥＧ２ストリーム（以下ＭＰＥＧ２／ＭＰ＠ＭＬと略記）を、ＳＰ（ｓｉｍｐｌｅ ｐｒｏｆｉｌｅ）のＭＰＥＧ４ストリーム（以下ＭＰＥＧ４／ＳＰと略記）にトランスコードして出力する場合である。
【００１１】
以下具体的に、３０フレーム／秒のＭＰＥＧ２／ＭＰ＠ＭＬストリームを１０フレーム／秒のＭＰＥＧ４／ＳＰストリームにトランスコードする場合の動作を説明する。まず、ＤＶＤなどの記録媒体１に格納されているＭＰＥＧ２ストリームは、インターフェース部２によって読み出され、ピクチャ選別部４に供給される。ピクチャ選別部４は、入力されたＭＰＥＧ２ストリームのピクチャヘッダをサーチし、ストリームを構成するフレームまたはフィールド単位の特定の種類のピクチャを抽出してピクチャ数が１／３に間引かれたＭＰＥＧ２ストリームを生成する。ピクチャ選別部４の詳細構成については後述する。抽出処理の施されたＭＰＥＧ２ストリームはピクチャ選別部４から出力され、ＭＰＥＧ２デコーダ５に供給される。ＭＰＥＧ２デコーダ５は、入力されたＭＰＥＧストリームを復号化し、デジタルビデオ信号の画素値データに変換する。画素値データはフレームメモリ６に蓄積され、表示用同期信号に従って表示部８に読み出され、表示装置９に表示される。同時に、フレームメモリ６の中のデータはＭＰＥＧ４エンコーダ７に供給され、ＭＰＥＧ４ストリームに変換されて出力端子５１に出力される。
【００１２】
図２は、図１におけるピクチャ選別部４の構成を示す。ピクチャ選別部４は、分離部４１、バッファメモリ４２、バッファメモリ読み出し回路４３を有する。ＭＰＥＧ２のストリームはオーディオ、ビデオ、付加データなどが多重化されており、これを分離部４１でデータの種類ごとに分離し、システムデコードを行ってＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を生成する。ビデオのＥＳはバッファメモリ４２に蓄えられる。バッファメモリ読み出し回路４３はピクチャヘッダサーチの機能を有し、バッファメモリ４２内を順にサーチしてピクチャヘッダを検出し、そのピクチャの種類を判別する。判別したピクチャ種類が抽出すべきピクチャ種類であった場合、次のピクチャヘッダの直前までのデータを読み出す。上記手順により、ピクチャ種類によるピクチャの抽出が実現される。
【００１３】
図３は、本実施形態によるピクチャ選別の一例を示すイメージ図である。ＭＰＥＧ２ストリームは、フレーム内符号化方式により符号化されたＩピクチャ、過去のフレームを用いて予測符号化されたＰピクチャ、過去と未来のフレームを用いて予測符号化されたＢピクチャの３種類のピクチャから構成される。図３（ａ）は、バッファメモリ４２に格納されているビデオＥＳ３００で、図３（ｂ）は、バッファメモリ４２から読み出し回路４３によってピクチャ選別を行ったビデオＥＳ３０１を示す。入力されたビデオＥＳのうちＩピクチャとＰピクチャのみを抽出し、Ｂピクチャを間引く場合である。ビデオＥＳ３００のピクチャ構成が＜ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢ……＞であれば、ビデオＥＳ３０１のピクチャ構成は＜ＩＰＰＰＰＩ……＞となる。
【００１４】
バッファメモリ読み出し回路４３はまずビデオＥＳ３００のピクチャヘッダ３０２を検出し、ピクチャ種類が抽出すべきＩピクチャであることを判別して、データの読み出しを開始する。そして、次のピクチャヘッダ３０３を検出し、ピクチャ種類が間引くべきＢピクチャであることを判別して、ピクチャヘッダ３０３の直前でデータの読み出しを終了する。読み出し回路４３は再びヘッダサーチを開始し、ピクチャヘッダ３０４、３０５を検出し、ピクチャヘッダ３０５で始まるピクチャの種類が抽出すべきＰピクチャであることを検出してデータの読み出しを開始する。上記手順を繰り返し、ビデオＥＳ３００からＩピクチャとＰピクチャのみを抽出したビデオＥＳ３０１を生成する。
【００１５】
図３で明らかなように、ビデオＥＳ３０１において、Ｉピクチャのデータの次にはこれに続く次に抽出されたＰピクチャのデータが詰めて連続的に配置される。その結果、ビデオＥＳ３００の長さに対し、ビデオＥＳ３０１の長さは短縮された部分画像信号となっている。なお、図示していないが、部分画像信号は、抽出されなかったＢピクチャの位置を空白データとして構成しても、その後の信号処理（復号処理）で空白部をスキップして処理できるので、実効的な長さが短縮されており支障はない。
【００１６】
ＭＰＥＧ２デコーダ５は、供給されたＭＰＥＧ２ストリームを復号化し、復号化された画像信号を表示するためにフレームメモリ６に格納しておく。格納された画像信号は表示されるまで保持される。この際、フレームメモリがオーバーフローもしくはアンダーフローしないようにするためには、表示スピードと復号化スピードが同じである必要がある。従って、復号化するストリームに含まれるピクチャ総数が多ければ、表示するピクチャは多くなり、復号化に要する時間はピクチャ総数に比例して長くなる。
【００１７】
従来の方式でビデオＥＳ３００をトランスコードする場合、ＭＰＥＧ２デコーダ５は間引き前の全てのピクチャ＜ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩ……＞を復号化し、その後Ｂピクチャを間引いて＜ＩＰＰＰＰＩ……＞の構成とし、ＭＰＥＧ４エンコーダ７に供給して符号化していた。従って、トランスコードに要する時間は、間引き前の全てのピクチャを含むビデオＥＳ３００を復号化して表示するのに要する時間と等しくなる。
【００１８】
本発明では、ビデオＥＳ３００からＢピクチャを間引いて部分画像信号であるビデオＥＳ３０１を生成してから上記のトランスコード処理を行う。ＭＰＥＧデコーダ５はビデオＥＳ３０１、つまり＜ＩＰＰＰＰＩ……＞のピクチャのみを復号化し、復号化した画像信号をそのままＭＰＥＧ４エンコーダに供給すればよい。ビデオＥＳ３０１に含まれるピクチャ総数は、ピクチャ抽出回路４によってビデオＥＳ３００に含まれるピクチャ総数の１／３に減少される。従って、トランスコードに要する時間は、ビデオＥＳ３００を復号化して表示するのに要する時間の１／３となり、本実施形態によってトランスコードに要する時間を大幅に短縮することができる。この場合、表示部８を経由して表示される映像は、ピクチャ間引き前のストリームをそのまま再生した場合と比較して３倍速の映像となる。
【００１９】
図４は、ピクチャ選別部４による好ましいピクチャ抽出条件を示す図である。ＭＰＥＧ予測符号化では、ピクチャ間の動き補償のためのピクチャ間の参照関係を必要とする。図４（ａ）のように抽出前のストリームにおいては、たとえばＢピクチャ１０２はＰピクチャ１０１とＰピクチャ１０３を参照して予測符号化を行っている。図４（ｂ）、（ｃ）はピクチャ選別部４を用いて抽出したストリームの例である。図４（ｂ）はＢピクチャを間引きし、ＩピクチャとＰピクチャを抽出した場合で、抽出されたＰピクチャは他の抽出されたピクチャを参照することができ、好適な抽出条件の１つである。しかし図４（ｃ）のような抽出では、抽出されたＢピクチャ１１１、１１３、Ｐピクチャ１１４が参照すべきＰピクチャ１１２はすでに間引かれて参照できない。このため、これらの抽出されたピクチャを復号化することができない。よって、ピクチャ選別部４によってストリームからピクチャを抽出する条件は、抽出後の各ピクチャが参照するピクチャが必ず存在するように抽出することが必要である。
【００２０】
他の好適な抽出条件としては、Ｉ、Ｐ、ＢピクチャからなるビデオストリームからＩピクチャのみを抽出する場合、ＩピクチャとＰピクチャからなるストリームからＩピクチャを抽出する場合、Ｉピクチャのみからなるストリームから特定のＩピクチャを抽出してトランスコードを行う場合にも適用可能である。さらに、抽出するピクチャをユーザが指定できるような構成をとることも可能である。
【００２１】
上記実施形態では、ピクチャ選別部４の処理スピードについても特徴がある。先に説明したとおり、図３（ａ）のストリーム（ビデオＥＳ）３００を図３（ｂ）のストリーム３０１に間引く場合、各ストリームに含まれるピクチャ総数は１／３に減少する。このピクチャ数の減少の結果、その後の復号化処理時間が短縮できる訳であるが、ピクチャ選別部４の抽出・間引き処理を滞りなく行うためには、ピクチャ選別部４には復号化処理のレートよりも高速にデータを供給する必要がある。前出の＜ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩ……＞のピクチャ構成を持つストリームからＢピクチャを間引いて＜ＩＰＰＰＰＩ……＞とする例を引くと、仮にＩ、Ｐ、Ｂピクチャの符号量が同じであった場合にピクチャ選別部４の抽出・間引き処理を滞りなく行うためには、ピクチャ選別部４には復号化処理の３倍のビットレートでストリームを供給しなければならない。ただし一般的には、Ｉピクチャの符号量が一番大きく、次いでＰピクチャ、Ｂピクチャの順となるので、供給するストリームのビットレートは３倍より小さくても良い。ＭＰＥＧ２／ＭＰ＠ＭＬのビットレートは最大１５Ｍｂｉｔ／ｓｅｃと規定されているので、ピクチャ選別部４にはその３倍のビットレートの４５Ｍｂｉｔ／ｓｅｃでストリームを供給すればよい。
【００２２】
一例として、記録媒体１としてＤＶＤ−ＲＯＭからの供給を仮定すると、インターフェース部２を経由してピクチャ選別部４に入力できるデータのビットレートは、最大で１６０Ｍｂｉｔ／ｓｅｃとなる。よって、ピクチャ選別部４には上記必要な入力ビットレートでＭＰＥＧ２ストリームデータを供給することは可能である。また、読み出し回路４３の能力は、８１ＭＨｚ動作、１６ｂｉｔ処理の場合、ヘッダサーチ処理可能な最大ビットレートはおよそ１Ｇｂｉｔ／ｓｅｃとなる。ゆえに、上記入力ビットレートに対して余裕をもってヘッダサーチ処理を行うことが可能である。同様のヘッダサーチをソフトウェアで行う場合、例えば２００ＭＨｚ動作のＣＰＵを用い、１ワードの処理に３０サイクルを要するとすると、ヘッダサーチ処理可能な最大ビットレートは１０６Ｍｂｉｔ／ｓｅｃであり、この場合も入力ビットレートに対して十分に処理可能である。
【００２３】
次に図５は、本発明の第２の実施形態に係るトランスコーダのブロック図を示したものである。本実施形態は第１の実施形態（図１）におけるピクチャ選別部４をなくし、代わりにインターフェース部２を用いて、記録媒体１からの読み出し時にピクチャの抽出・間引きを行う。記録媒体１には、入力端子５１から入力するストリームがインターフェース部２を介して格納される。
【００２４】
ＤＶＤなどの記録媒体１の中には、ＭＰＥＧ２ストリームと管理情報ファイルが格納されている。管理情報ファイルは、入力端子５１から入力されたストリームを記録媒体１に格納する際にインターフェース部２において作成され、ストリームとともに記録される。管理情報ファイルには、各ピクチャのピクチャタイプと格納位置、サイズが記録されている。インターフェース部２は、この管理情報ファイルを参照して抽出するピクチャの位置を特定し、ストリーム中からそのピクチャを抽出する。抽出されたピクチャはＭＰＥＧ２デコーダ５に供給され、前述の第１の実施形態と同様のプロセスによってトランスコードが行われる。
【００２５】
図６は、記録媒体の一例として、ＤＶＤ Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ規格によって規定されるファイル構成を示す。記録媒体上にはＤＶＤ＿ＲＴＡＶディレクトリ２００があり、その下位の階層にＶＲ＿ＭＡＮＧＲ．ＩＦＯ２０１とＶＲ＿ＭＯＶＩＥ．ＶＲＯ２０２の各ファイルが存在する。ＶＲ＿ＭＯＶＩＥ．ＶＲＯ２０１はＭＰＥＧ２ストリームデータであり、ＶＯＢＵ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ）と呼ばれる小単位に分割されて格納されている。各ＶＯＢＵはそれぞれ１枚のＩピクチャを有する。ＶＲ＿ＭＡＮＧＲ．ＩＦＯ２０２は管理情報ファイルであり、早送り・巻き戻し等の特殊再生に用いるため、ＶＯＢＵ中のＩピクチャの位置とサイズがテーブルとして記録されている。従って、Ｉピクチャのみの抽出を行う場合には、まずＶＲ＿ＭＡＮＧＲ．ＩＦＯ２０１を参照してＩピクチャの位置を特定し、そこからピクチャサイズ分のデータを読み出せばよい。
【００２６】
この実施形態によれば、記録媒体１からの抽出読み出しの段階で短縮した部分画像信号を生成しているので、後続の処理に要する時間を短縮することができる。
【００２７】
上記の例はＤＶＤ Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ規格に準拠した記録媒体について言及したものであるが、ピクチャ種類とその格納位置を示す管理情報をもつ他の記録媒体においても同様に適用可能である。
【００２８】
なお、記録媒体１がリムーバブルな記録媒体で、この記録媒体に他装置を用いてストリームの書き込みを行った場合には、管理情報ファイルが存在しない可能性がある。このような場合に備え、格納されているストリームをインターフェース部２が読み出し、ストリーム解析を行って管理情報ファイルを作成して記録媒体に格納することが出来るような機能を備えてもよい。
【００２９】
図７は、本発明の第３の実施形態に係る撮像装置のブロック図を示したものである。本実施形態は、第１の実施形態（図１）に示したトランスコーダを用いた撮影装置である。撮像装置３０は、第１の実施形態の構成に加え、カメラ部１０、ユーザインタフェース２０を有する。カメラ部１０は撮像部１１、ＭＰＥＧ２エンコーダ１２により構成される。
【００３０】
ユーザが記録媒体１にＭＰＥＧ２動画を記録する場合、ユーザインタフェース２０より記録指示が出され、カメラ部１０の撮像部１１においてデジタルビデオ信号を生成し、ＭＰＥＧ２エンコーダ１２において前記デジタルビデオ信号を符号化してＭＰＥＧ２ストリームを生成する。そして、前記ＭＰＥＧ２ストリームはインターフェース部２を経由して記録媒体１に記録される。
【００３１】
また、記録媒体１に記録されたＭＰＥＧ２ストリームをＭＰＥＧ４ストリームにトランスコードする場合、ユーザインタフェース２０よりトランスコード指示が出され、第１の実施形態に示したようなプロセスを経てＭＰＥＧ４ストリームにトランスコードされて出力する。
【００３２】
このように本実施形態の撮像装置によれば、撮影した画像を高画質のＭＰＥＧ２ストリームで記録保存しておくとともに、外部には低ビットレートのＭＰＥＧ４ストリームに変換して出力することができる。
【００３３】
図７では、第１の実施形態（図１）のトランスコーダを用いた撮影装置であるが、この代わりに第２の実施形態（図５）のトランスコーダを用いて撮像装置を構成してもよい。本実施形態のカメラ部１０には撮像部１１が存在するが、さらに外部から画像信号を受信する受信部を接続し、外部から画像信号を受け取る構成としてもよい。また、外部からＭＰＥＧ２ストリームを受信する受信部を接続し、外部からＭＰＥＧ２ストリームを受け取る構成としてもよい。
【００３４】
以上の第１ないし第３の実施形態においては、ＭＰＥＧ２圧縮符号化方式からＭＰＥＧ４へのトランスコードを前提として説明したが、本発明はこれに限定するものではなく、他の圧縮符号化方式を用いた場合にも適用可能である。
【００３５】
さらに本発明のトランスコーダは、上記撮像装置以外にも、画像信号（ストリーム）を受信しこれをトランスコードして表示装置等へ出力する受信装置（セットトップボックス）、入力した画像信号をトランスコードして表示する画像表示装置（ディスプレイ）、入力した画像信号をトランスコードして記録媒体（ハードディスク、光ディスク等）に記録する画像記録装置、あるいは各種画像機器を接続して画像信号の供給を行なうホームサーバなどへの適用が可能である。
【００３６】
【発明の効果】
本発明によれば、ユーザの使い勝手を向上させるトランスコーダおよび撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るトランスコーダのブロック図である。
【図２】図１におけるピクチャ選別部４の構成を示した図である。
【図３】図１におけるピクチャ選別の一例を示すイメージ図である。
【図４】図１における好ましいピクチャ抽出条件を示す図である。
【図５】本発明の第２の実施形態に係るトランスコーダのブロック図である。
【図６】図５における記録媒体１のファイル構成の一例を示した図である。
【図７】本発明の第３の実施形態に係る撮像装置のブロック図である。
【符号の説明】
１…記録媒体
２…インターフェース部
３…トランスコーダ
４…ピクチャ選別部
５…ＭＰＥＧ２デコーダ
６…フレームメモリ
７…ＭＰＥＧ４エンコーダ
８…表示部
９…表示装置
１０…カメラ部
１１…撮像部
１２…ＭＰＥＧ２エンコーダ
２０…ユーザインタフェース
３０…撮像装置
Claims (10)
- 第１の圧縮符号化方式にて符号化された第１の画像信号が入力され、第２の圧縮符号化方式にて符号化された第２の画像信号に変換する信号処理装置であって、
上記第１の画像信号から、該画像信号を構成するフレームまたはフィールド単位の特定の種類のピクチャを抽出し、部分画像信号を生成するピクチャ選別部と、
該ピクチャ選別部に上記第１の画像信号を供給するストリーム供給部と、
該ピクチャ選別部にて生成された部分画像信号を復号化する第１の復号化部と、
該復号化された画像信号を第２の圧縮符号化方式にて符号化する第１の符号化部と、
を備え、
上記ピクチャ選別部は、抽出されるピクチャを用いて画像信号の実効長さを短縮した部分画像信号を生成し、
上記ストリーム供給部は、該ピクチャ選別部が抽出処理を滞りなく行うために、前記第１の復号化部で前記部分画像信号が復号化されるレートにピクチャの間引き率の逆数をかけたレートで、前記第１の画像信号を前記ピクチャ選別部へ供給すること
を特徴とした信号処理装置。 - 請求項１に記載の信号処理装置であって、
前記ピクチャ選別部は、抽出後の各ピクチャには互いに動き補償のために用いる参照先のピクチャが含まれるように抽出することを特徴とした信号処理装置。 - 請求項１または２に記載の信号処理装置であって、
前記第１、第２の圧縮符号化方式は、それぞれＭＰＥＧ２、ＭＰＥＧ４方式であり、
前記ピクチャ選別部は、ＩピクチャとＰピクチャを抽出して部分画像信号を生成することを特徴とした信号処理装置。 - 請求項１ないし３のいずれか１項に記載の信号処理装置であって、
前記ピクチャ選別部は、抽出するピクチャの種類をユーザが指定できることを特徴とした信号処理装置。 - 請求項１ないし４のいずれか１項に記載の信号処理装置であって、
前記第１の復号化部にて復号化された画像信号を記憶するフレームメモリと、
該フレームメモリから画像信号を読み出し表示装置へ出力する出力部とを備え、
前記出力部は、該表示装置にトランスコード中の画像信号を出力することを特徴とする信号処理装置。 - 請求項１ないし５のいずれか１項に記載の信号処理装置を用いた撮像装置であって、
被写体を撮影する撮像部と、
撮像部から供給される画像信号を前記第１の圧縮符号化方式にて符号化する第２の符号化部と、
該第２の符号化部によって符号化された第１の画像信号を記録媒体に記録し再生する記録再生部とを備え、
該記録媒体から再生した第１の画像信号を前記信号処理装置に供給することを特徴とする撮像装置。 - 請求項６に記載の撮像装置であって、
外部から入力される画像信号を受信する受信部を備え、
前記第２の符号化部は、該受信部から供給される画像信号を前記第１の圧縮符号化方式にて符号化することを特徴とする撮像装置。 - 請求項６に記載の撮像装置であって、
外部から入力される第１の圧縮符号化方式にて符号化された第１の画像信号を受信する受信部を備え、
前記記録再生部は、該受信部から供給される第１の画像信号を記録媒体に記録し再生することを特徴とする撮像装置。 - 請求項６ないし８のいずれか１項に記載の撮像装置であって、
前記記録再生部は、前記記録媒体に記録されている第１の画像信号から管理情報を生成し、該記録媒体に格納することを特徴とする撮像装置。 - 請求項１ないし５のいずれか１項に記載の信号処理装置であって、
第１の圧縮符号化方式にて符号化された第１の画像信号が入力され、第２の圧縮符号化方式にて符号化された第２の画像信号に変換して外部機器へ出力する信号処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003207246A JP4403737B2 (ja) | 2003-08-12 | 2003-08-12 | 信号処理装置及びこれを用いた撮像装置 |
| CNB2004100390367A CN1295932C (zh) | 2003-08-12 | 2004-01-20 | 代码转换器和使用它的摄像装置及信号处理装置 |
| US10/768,757 US20050047501A1 (en) | 2003-08-12 | 2004-01-30 | Transcoder and imaging apparatus for converting an encoding system of video signal |
| US12/839,540 US8355439B2 (en) | 2003-08-12 | 2010-07-20 | Transcoder and imaging apparatus for converting an encoding system of video signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003207246A JP4403737B2 (ja) | 2003-08-12 | 2003-08-12 | 信号処理装置及びこれを用いた撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005064569A JP2005064569A (ja) | 2005-03-10 |
| JP4403737B2 true JP4403737B2 (ja) | 2010-01-27 |
Family
ID=34208954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003207246A Expired - Fee Related JP4403737B2 (ja) | 2003-08-12 | 2003-08-12 | 信号処理装置及びこれを用いた撮像装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20050047501A1 (ja) |
| JP (1) | JP4403737B2 (ja) |
| CN (1) | CN1295932C (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006279262A (ja) * | 2005-03-28 | 2006-10-12 | Pioneer Electronic Corp | 符号化映像変換装置、変換方法及びそのプログラム |
| JP4534935B2 (ja) * | 2005-10-04 | 2010-09-01 | 株式会社日立製作所 | トランスコーダ、記録装置及びトランスコード方法 |
| JP4600997B2 (ja) * | 2005-11-08 | 2010-12-22 | Ｋｄｄｉ株式会社 | 符号化方式変換装置 |
| FR2908949A1 (fr) * | 2006-11-16 | 2008-05-23 | Thomson Licensing Sas | Procede de transcodage de donnees du standard mpeg2 a un standard mpeg4. |
| JP4829767B2 (ja) * | 2006-12-18 | 2011-12-07 | 株式会社日立製作所 | 映像記録再生装置、その映像特殊再生方法 |
| US9398346B2 (en) | 2007-05-04 | 2016-07-19 | Time Warner Cable Enterprises Llc | Methods and apparatus for predictive capacity allocation |
| US8233527B2 (en) * | 2007-05-11 | 2012-07-31 | Advanced Micro Devices, Inc. | Software video transcoder with GPU acceleration |
| US8861591B2 (en) * | 2007-05-11 | 2014-10-14 | Advanced Micro Devices, Inc. | Software video encoder with GPU acceleration |
| US20080278595A1 (en) * | 2007-05-11 | 2008-11-13 | Advance Micro Devices, Inc. | Video Data Capture and Streaming |
| US9060208B2 (en) | 2008-01-30 | 2015-06-16 | Time Warner Cable Enterprises Llc | Methods and apparatus for predictive delivery of content over a network |
| JPWO2009119721A1 (ja) * | 2008-03-26 | 2011-07-28 | 日本電気株式会社 | 映像トランスコーダ監視装置、その方法及びその監視プログラム |
| JPWO2009119807A1 (ja) * | 2008-03-28 | 2011-07-28 | 日本電気株式会社 | 映像トランスコーダ監視装置、その方法及びそのプログラム |
| US11076189B2 (en) | 2009-03-30 | 2021-07-27 | Time Warner Cable Enterprises Llc | Personal media channel apparatus and methods |
| US9215423B2 (en) | 2009-03-30 | 2015-12-15 | Time Warner Cable Enterprises Llc | Recommendation engine apparatus and methods |
| US8396055B2 (en) | 2009-10-20 | 2013-03-12 | Time Warner Cable Inc. | Methods and apparatus for enabling media functionality in a content-based network |
| US9027062B2 (en) * | 2009-10-20 | 2015-05-05 | Time Warner Cable Enterprises Llc | Gateway apparatus and methods for digital content delivery in a network |
| US8743178B2 (en) * | 2010-01-05 | 2014-06-03 | Dolby Laboratories Licensing Corporation | Multi-view video format control |
| US8997136B2 (en) | 2010-07-22 | 2015-03-31 | Time Warner Cable Enterprises Llc | Apparatus and methods for packetized content delivery over a bandwidth-efficient network |
| CN101951504B (zh) * | 2010-09-07 | 2012-07-25 | 中国科学院深圳先进技术研究院 | 基于重叠边界的多媒体切片转码方法和*** |
| US9602414B2 (en) | 2011-02-09 | 2017-03-21 | Time Warner Cable Enterprises Llc | Apparatus and methods for controlled bandwidth reclamation |
| US8978079B2 (en) | 2012-03-23 | 2015-03-10 | Time Warner Cable Enterprises Llc | Apparatus and methods for managing delivery of content in a network with limited bandwidth using pre-caching |
| US9467723B2 (en) | 2012-04-04 | 2016-10-11 | Time Warner Cable Enterprises Llc | Apparatus and methods for automated highlight reel creation in a content delivery network |
| US20140082645A1 (en) | 2012-09-14 | 2014-03-20 | Peter Stern | Apparatus and methods for providing enhanced or interactive features |
| US10116676B2 (en) | 2015-02-13 | 2018-10-30 | Time Warner Cable Enterprises Llc | Apparatus and methods for data collection, analysis and service modification based on online activity |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1223768A (zh) * | 1996-08-21 | 1999-07-21 | 株式会社日立制作所 | 带有液晶显示的电子摄像机 |
| JP2000244872A (ja) | 1999-02-19 | 2000-09-08 | Toshiba Corp | トランスコーダ装置 |
| JP3789048B2 (ja) | 1999-02-22 | 2006-06-21 | 株式会社東芝 | 動画像再符号化装置 |
| US7088725B1 (en) * | 1999-06-30 | 2006-08-08 | Sony Corporation | Method and apparatus for transcoding, and medium |
| JP4153150B2 (ja) | 1999-09-10 | 2008-09-17 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 |
| AU1806601A (en) * | 1999-11-30 | 2001-06-12 | New Media Technology, Corp. | System and method for computer-assisted manual and automatic logging of time-based media |
| JP2001285863A (ja) * | 2000-03-30 | 2001-10-12 | Sony Corp | 画像情報変換装置及び方法 |
| JP2001285823A (ja) | 2000-03-30 | 2001-10-12 | Toshiba Corp | 映像再生配信方法および映像再生配信装置 |
| US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| KR20020064963A (ko) * | 2000-10-24 | 2002-08-10 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 임베딩된 필터들을 갖는 트랜스코딩 방법 및 트랜스코딩장치 |
| JP2002152755A (ja) * | 2000-11-09 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | 映像ストリーム間のトランスコード方法、およびトランスコーダ、並びにトランスコード方法のプログラムを記録した記録媒体 |
| JP2002152759A (ja) * | 2000-11-10 | 2002-05-24 | Sony Corp | 画像情報変換装置および画像情報変換方法 |
| US20020194589A1 (en) * | 2001-05-08 | 2002-12-19 | Cristofalo Michael | Technique for optimizing the delivery of advertisements and other programming segments by making bandwidth tradeoffs |
| US7706445B2 (en) * | 2001-05-31 | 2010-04-27 | Sanyo Electric Co., Ltd. | Image processing employing picture type conversion |
| JP2003087785A (ja) * | 2001-06-29 | 2003-03-20 | Toshiba Corp | 動画像符号化データの形式変換方法及び装置 |
| JP2003087797A (ja) * | 2001-09-06 | 2003-03-20 | Sony Corp | 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体 |
| US7173947B1 (en) * | 2001-11-28 | 2007-02-06 | Cisco Technology, Inc. | Methods and apparatus to evaluate statistical remultiplexer performance |
| US7469012B2 (en) * | 2002-05-14 | 2008-12-23 | Broadcom Corporation | System and method for transcoding entropy-coded bitstreams |
-
2003
- 2003-08-12 JP JP2003207246A patent/JP4403737B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-20 CN CNB2004100390367A patent/CN1295932C/zh not_active Expired - Fee Related
- 2004-01-30 US US10/768,757 patent/US20050047501A1/en not_active Abandoned
-
2010
- 2010-07-20 US US12/839,540 patent/US8355439B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1295932C (zh) | 2007-01-17 |
| CN1581981A (zh) | 2005-02-16 |
| JP2005064569A (ja) | 2005-03-10 |
| US8355439B2 (en) | 2013-01-15 |
| US20100283869A1 (en) | 2010-11-11 |
| US20050047501A1 (en) | 2005-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4403737B2 (ja) | 信号処理装置及びこれを用いた撮像装置 | |
| EP0895694B1 (en) | System and method for creating trick play video streams from a compressed normal play video bitstream | |
| US6078616A (en) | Methods and apparatus for error concealment utilizing temporal domain motion vector estimation | |
| KR101227330B1 (ko) | 화상 부호화 장치 및 화상 복호화 장치 | |
| JP4515465B2 (ja) | 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
| JP3147792B2 (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| JPH1155649A (ja) | 画像通信方法及び装置 | |
| JP4902854B2 (ja) | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 | |
| JP4289055B2 (ja) | トランスコーダおよびこれを用いた記録再生装置 | |
| EP1926104A1 (en) | Encoding device, decoding device, recording device, audio/video data transmission system | |
| KR100394013B1 (ko) | 비디오 스냅 영상용 변환 부호화 장치 | |
| JP4528043B2 (ja) | 映像信号変換装置、変換方法及びこれを用いた映像信号記録装置 | |
| JP2989417B2 (ja) | デジタル情報再生装置 | |
| JP4178521B2 (ja) | 符号化映像信号の記録方法、及び映像信号符号化装置 | |
| JP2003339003A (ja) | 画像撮影配信装置および画像撮影配信方法 | |
| JP3897783B2 (ja) | 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JPH1168881A (ja) | データストリーム処理装置及び方法 | |
| JP2011091592A (ja) | 画像符号化装置、符号変換装置、画像記録装置、画像再生装置、画像符号化方法及び、集積回路 | |
| JP2006180315A (ja) | 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法 | |
| JP2002112183A (ja) | Ｍｐｅｇ画像データ記録方法 | |
| JP2013102295A (ja) | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム | |
| JP3381723B2 (ja) | データ生成装置 | |
| JP3381725B2 (ja) | データ記録装置 | |
| JP3381724B2 (ja) | データ記録方法 | |
| JP2000188736A (ja) | 記録装置及び方法、再生装置及び方法並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060421 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090427 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091026 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| LAPS | Cancellation because of no payment of annual fees |