JP2000278643A - データ変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 画質の劣化を生じさせることなく、間欠映像
音声情報を作成することができるデータ変換装置を提供
する。 【解決手段】 映像を表す符号化された第１の映像情報
と映像以外の情報を表す符号化された非映像情報とを含
む第１のデータ列を入力する入力部と、符号化された第
１の映像情報と符号化された非映像情報とを復号化する
ことなく、第１のデータ列に含まれる符号化された第１
の映像情報と符号化された非映像情報とを分離する分離
部と、分離された符号化された第１の映像情報を符号化
された第２の映像情報に変換する映像変換部と、符号化
された第２の映像情報と分離された符号化された非映像
情報とを結合することにより、第２のデータ列を生成す
る結合部とを有するデータ変換装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル圧縮符
号化された映像音声データを、映像は間欠的に、音声は
連続的に記録し、再生する技術に関する。

【０００２】

【従来の技術】近年、衛星ディジタル放送、ＤＶＤな
ど、映像がディジタルデータの形態で配信される機会が
増えている。将来的には地上波でのディジタル放送も計
画されており、映像のディジタルデータ化に一層拍車が
かかることは容易に予想される。よって、今後、ディジ
タル化された映像情報が多くの映像関連分野で使用され
るようになると考えられる。

【０００３】ディジタル化映像情報を取り扱うための処
理、例えばノンリニア映像編集や映像検索といった比較
的負荷の大きい処理は、今までは高価な編集機器を有す
る映像業界のプロだけが行うことのできる処理であっ
た。しかし、近年、大量のデータを高速に処理できる高
性能パソコン等が普及したことにより、一般の個人が取
り扱うことのできる情報量が飛躍的に増大した。その結
果、上述した負荷の大きい処理は、個人が家庭で行うこ
とのできる範疇の処理になってきている。一般の個人が
音声情報を含む大量の映像情報を受け取り、蓄積し、編
集して利用するという生活スタイルが定着するのはもは
や時間の問題であろう。

【０００４】ところが、情報収集に費やすことのできる
個人の時間は往々にして限られており、その時間内に処
理しうる情報量も限られるので、大量に送られてくる情
報を有効に活用できないおそれが生じる。したがって、
個人にとって重要な情報だけを効率的に利用できるよう
にする技術が必要である。

【０００５】重要な情報だけを利用するにあたり、携帯
端末で映像情報あるいは音声情報を処理する際に問題と
なるのは、映像情報あるいは音声情報のデータサイズで
ある。携帯端末に映像情報あるいは音声情報をそのまま
記憶させるには容量的に無理が多くかつ無駄であること
が多い。

【０００６】したがって、情報を重要度に応じて自動的
に取捨選択し、どこででもすばやく参照することができ
るようにすることが有用であろう。特に近年は、モバイ
ル機器の普及により、携帯端末でも手軽に情報を参照す
ることが可能である。例えば、自宅のパソコンで映像情
報あるいは音声情報を蓄積し、重要な映像情報あるいは
音声情報を検索した後、携帯端末にコピーしておくこと
により、出先などで空いた時間内に手軽に情報を参照す
ることができる。

【０００７】映像情報の容量を携帯端末であっても十分
記憶できる容量にするため、連続した映像を、例えばコ
マ送り映像などのような、連続した映像を間引いた間欠
映像に変換することができる。間欠映像であってもユー
ザは十分情報を活用することができる。ユーザが必要と
している情報は、連続した映像情報のうちの代表的な映
像フレームだけ十分であることが多く、必ずしも連続映
像として提供される必要はないからである。したがっ
て、大量の映像情報を間引きするために効率的な間引き
処理手法が望まれている。

【０００８】特開平８−９８１３３号公報は、映像を間
欠的に、音声を連続的に記録することにより記憶領域を
効率的に使用するシステムを開示する。

【０００９】図９は、特開平８−９８１３３号公報に開
示されたシステムのブロック図を示す。

【００１０】映像データ１０１は、映像データ記録部１
０２とシーンチェンジ検出部１０３とに入力される。音
声データ１０４は、シーンチェンジ検出部１０３と音声
データ記録部１０５とに入力される。

【００１１】シーンチェンジ検出部１０３は、画像メモ
リ１２１とデータ比較部１２２とを用いてシーンチェン
ジを検出する。シーンチェンジの検出は、映像データ１
０１と音声データ１０４とを用いて行われる。シーンチ
ェンジを検出する際の映像データ１０１は、映像そのも
のを表すデータである。すなわち、映像データ１０１は
ディジタル符号化された映像データではなく、復号化さ
れた映像データである。シーンチェンジ検出部１０３の
データ比較部１２２は、シーンチェンジが検出されたこ
とを示す検出信号１０６を記録制御部１０７に出力す
る。

【００１２】記録制御部１０７は、検出信号１０６に基
づいて映像データ記録信号１０８と再生タイミング情報
１０９とを出力する。映像データ記録信号１０８は、映
像データ記録部１０２を制御するための信号である。記
録制御部１０７は、再生タイミング情報１０９を制御情
報記録部１１２に入力する。制御情報記録部１１２は、
入力された再生タイミング情報１０９に対し半導体メモ
リ１１１に記録するために必要な信号処理を行った後、
再生タイミング情報１０９を半導体メモリ１１１に書き
込む。

【００１３】映像データ記録部１０２は、入力端からの
映像データ１０１または映像データ記録信号１０８に関
連するシーンチェンジ検出部１０３からの映像データ１
１０に対して、半導体メモリ１１１への記録に必要な信
号処理を行う。映像データ記録部１０２は、信号処理さ
れた映像データ１０１または映像データ１１０を記録媒
体である半導体メモリ１１１に書き込む。

【００１４】音声データ１０４は、音声データ記録部１
０５において記録に必要な信号処理を受けて半導体メモ
リ１１１に書き込まれる。

【００１５】上述の特開平８−９８１３３号公報は、音
声は連続して記録されるのに対して、映像は変化があっ
た場合のみ記録する技術である。間欠的に記録された映
像の間欠部は情報が存在しないため、半導体メモリが無
駄に使用されてしまう問題がある。上述のシステムで
は、この無駄をなくすため情報が存在しない部分を省略
し、映像データ間の隙間を詰めて記録するようにしてい
る。映像データ間の隙間を詰めて記録するためには、映
像と音声の同期を取る必要があるため、間欠映像と音声
を記録する際に映像と音声の同期情報もあわせて記録さ
れる。

【００１６】

【発明が解決しようとする課題】しかし、上記システム
が出力する間欠映像音声情報は独自のフォーマットであ
るため、ユーザの利用環境を制約することになり不都合
である。

【００１７】さらに上記システムでは、シーンチェンジ
を検出するために、まずディジタル化された映像情報を
復号化しなければならない。この復号化は、全てのディ
ジタル情報に対して必要であるため、処理量が多い。

【００１８】加えてこの復号化プロセスにより、シーン
チェンジの検出に使用した映像を記憶装置に書き込む際
に画質劣化が生じる。

【００１９】さらに、処理の最終段階では映像と音声を
再符号化する必要があり処理量が大きい。

【００２０】本発明は上記課題を解決するためになされ
たものであって、ＭＰＥＧ規格で符号化された映像音声
情報のデータ構造を利用することにより、符号化された
映像音声情報を復号化および再符号化することなくＭＰ
ＥＧ規格に準拠した間欠映像音声を作成することを目的
とする。

【００２１】

【課題を解決するための手段】本発明のデータ変換装置
は、映像を表す符号化された第１の映像情報と映像以外
の情報を表す符号化された非映像情報とを含む第１のデ
ータ列を入力する入力部と、前記符号化された第１の映
像情報と前記符号化された非映像情報とを復号化するこ
となく、前記第１のデータ列に含まれる前記符号化され
た第１の映像情報と前記符号化された非映像情報とを分
離する分離部と、分離された前記符号化された第１の映
像情報を符号化された第２の映像情報に変換する映像変
換部と、前記符号化された第２の映像情報と分離された
前記符号化された非映像情報とを結合することにより、
第２のデータ列を生成する結合部とを有するデータ変換
装置であって、これにより上記目的を達成することがで
きる。

【００２２】前記符号化された第２の映像情報は、前記
映像を間引いた間欠映像を表してもよい。

【００２３】前記分離部は、分離された前記符号化され
た第１の映像情報と前記符号化された非映像情報との結
合に関する第１の結合情報を前記映像変換部に出力し、
前記映像変換部は、前記符号化された第１の映像情報か
ら前記符号化された第２の映像情報への変換にしたがっ
て、前記第１の結合情報から、前記符号化された第２の
映像情報と前記符号化された非映像情報との結合に関す
る第２の結合情報を生成し、前記結合部は、前記第２の
結合情報に基づいて前記符号化された第２の映像情報と
前記符号化された非映像情報とを結合することにより前
記第２のデータ列を生成してもよい。

【００２４】前記符号化された非映像情報は、前記第１
のデータ列に含まれる前記符号化された第１の映像情報
の再生と前記符号化された非映像情報との再生を同期さ
せるための同期情報を含み、前記結合部は、前記同期情
報を前記符号化された第２のデータの同期情報として用
いてもよい。

【００２５】前記第１のデータ列はＭＰＥＧ圧縮符号化
された第１のＭＰＥＧデータ列であり、前記第２のデー
タ列はＭＰＥＧ圧縮符号化された第２のＭＰＥＧデータ
列であり、前記符号化された第１の映像情報は、所定の
数の第１のピクチャを含み、前記符号化された第２の映
像情報は、前記所定の数の第２のピクチャを含んでもよ
い。

【００２６】前記映像変換部は、前記所定の数の前記第
１のピクチャのうち、少なくとも１つのピクチャを除く
ピクチャをダミーピクチャに変換することによって、前
記少なくとも１つのピクチャと前記ダミーピクチャとか
ら前記所定の数の前記第２のピクチャを生成し、前記少
なくとも１つのピクチャは前記映像の一部を表す情報を
含むピクチャであり、前記ダミーピクチャは前記映像の
一部の表示を保持させるための情報を含むピクチャであ
ってもよい。

【００２７】前記所定の数の第１のピクチャは、少なく
ともイントラピクチャと非イントラピクチャとを含み、
前記イントラピクチャと前記非イントラピクチャは所定
の順序で配置されており、前記少なくとも１つのピクチ
ャは、最初に配置されたイントラピクチャを含んでもよ
い。

【００２８】前記第１のデータ列はＭＰＥＧ圧縮符号化
された第１のＭＰＥＧデータ列であり、前記第２のデー
タ列はＭＰＥＧ圧縮符号化された第２のＭＰＥＧデータ
列であり、前記符号化された第１の映像情報は、各々が
複数のピクチャを有する複数のＧＯＰを含み、前記映像
変換部は、複数のＧＯＰのうち第１のＧＯＰの少なくと
も１つのピクチャを除くピクチャと、前記第１のＧＯＰ
を除く前記複数のＧＯＰの各々に含まれる前記複数のピ
クチャをダミーピクチャに変換することによって、前記
第１のＧＯＰの少なくとも１つのピクチャと前記ダミー
ピクチャとから単一のＧＯＰを生成し、前記第１のＧＯ
Ｐの前記少なくとも１つのピクチャは前記映像の一部を
表す情報を含むピクチャであり、前記ダミーピクチャは
前記映像の一部の表示を保持させるための情報を含むピ
クチャであり、前記複数のＧＯＰに含まれる前記複数の
ピクチャの総数と、前記映像変換部によって生成された
前記単一のＧＯＰに含まれるピクチャの総数は同じであ
ってもよい。

【００２９】前記複数のＧＯＰの各々は第１の所定の順
序で配置されており、前記複数のＧＯＰの各々に含まれ
る前記複数のピクチャは、少なくともイントラピクチャ
と非イントラピクチャとを含み、前記イントラピクチャ
と前記非イントラピクチャは、第２の所定の順序で配置
されており、前記第１のＧＯＰは、前記第１の所定の順
序で配置された前記複数のＧＯＰのうち最初に配置され
たＧＯＰであり、前記第１のＧＯＰの少なくとも１つの
ピクチャは、前記第２の所定の順序で配置された前記第
１のＧＯＰの前記複数のピクチャのうち最初に配置され
たイントラピクチャであってもよい。

【００３０】前記符号化された第１の映像情報は、所定
の順序で配置され、各々が少なくともイントラピクチャ
を含む複数のＧＯＰを含み、前記データ変換装置は、前
記符号化された第１の映像情報の所定の部分を復号化す
る部分復号部と、前記復号された前記所定の部分に基づ
いて、前記映像の特性が大きく変化する画像を表すイベ
ントを検出するイベント検出部とをさらに含み、前記映
像変換部は、前記イベントに対応するピクチャに基づい
て少なくとも１つのピクチャを選択し、前記所定の数の
前記第２のピクチャを生成してもよい。

【００３１】前記少なくとも１つのピクチャは、前記イ
ベントに対応するピクチャを含むＧＯＰの次に配置され
たＧＯＰのイントラピクチャであってもよい。

【００３２】前記少なくとも１つのピクチャは、前記イ
ベントに対応するピクチャの次のピクチャであってもよ
い。

【００３３】前記少なくとも１つのピクチャは、前記イ
ベントに対応するピクチャが再生されてから所定の時間
を経過した後に再生されるピクチャであってもよい。

【００３４】前記データ変換装置は、所定のパラメータ
に応じて、前記所定の順序で配置されているピクチャの
うちの任意のピクチャを、前記少なくとも１つのピクチ
ャとして利用してもよい。

【００３５】前記符号化された非映像情報は、前記第１
の映像情報の情報量を示す第１のパケット長データを含
み、前記結合部は、前記第２の映像情報の情報量にした
がって前記第１のパケット長データを修正することによ
り、第２のパケット長データを生成し、前記非映像情報
として前記第２のデータ列に含めてもよい。

【００３６】以下、作用を説明する。

【００３７】本発明の請求項１に係る発明によれば、符
号化された第１の映像情報と符号化された非映像情報と
を復号化することなく、第１のデータ列に含まれる符号
化された第１の映像情報と符号化された非映像情報とを
分離し、かつ、符号化された第１の映像情報を符号化さ
れた第２の映像情報に変換する。これにより、復号化に
よる画質劣化のない映像情報を得ることができる。さら
に、復号化に要する計算に必要な負荷を減少することが
できる。

【００３８】本発明の請求項３に係る発明によれば、映
像変換部は、符号化された第１の映像情報から符号化さ
れた第２の映像情報への変換にしたがって、第１の結合
情報から、符号化された第２の映像情報と符号化された
非映像情報との結合に関する第２の結合情報を生成す
る。第２の結合情報を用いることにより、符号化された
第１の映像情報を符号化された第２の映像情報に変換し
ても、第２の映像情報と非映像情報とを結合することが
できる。

【００３９】本発明の請求項４に係る発明によれば、符
号化された第１の映像情報の再生と符号化された非映像
情報との再生を同期させるための同期情報を、符号化さ
れた第２のデータの同期情報として用いる。これによ
り、第１の映像情報を第２の映像情報に変換しても、同
一の同期情報を利用することができ、同期情報を新たに
生成する処理を行う必要がなくなる。

【００４０】本発明の請求項５に係る発明によれば、Ｍ
ＰＥＧ圧縮符号化されたデータ列の第１の映像情報およ
び第２の映像情報は、同数のピクチャを含む。これによ
り、第１の映像情報を第２の映像情報に変換しても、再
生時間が同じ映像情報を得ることができる。

【００４１】本発明の請求項８に係る発明によれば、映
像変換部は、複数のＧＯＰを含む第１の映像情報を単一
のＧＯＰを含む第２の映像情報に変換する。これによ
り、第１の映像情報を第２の映像情報に変換しても、再
生時間が同じ映像情報を得ることができる。

【００４２】本発明の請求項１５に係る発明によれば、
結合部は、第２の映像情報の情報量にしたがって第１の
映像情報の情報量を示す第１のパケット長データを修正
し、第２のパケット長データを生成する。生成された第
２のパケット長データは、非映像情報として第２のデー
タ列に含められる。これにより、第１の映像情報を第２
の映像情報に変換しても、第２の映像情報に基づいて生
成された第２のデータ列を適切に再生することができ
る。

【００４３】

【発明の実施の形態】本発明のデータ変換装置では、入
力される映像情報および／あるいは音声情報を含むデー
タ列は、例えばＭＰＥＧ規格のデータ構造を有するディ
ジタルデータ列である。以下では、入力されるデータ列
はＭＰＥＧ規格で符号化されたディジタルデータ列（以
下「ＭＰＥＧデータ列」と呼ぶ）であるとして説明す
る。ＭＰＥＧデータ列のうち、特に、ＭＰＥＧ符号化さ
れた映像音声情報をＭＰＥＧ映像音声情報と呼ぶ。ＭＰ
ＥＧ映像音声情報は、例えば、衛星放送やＤＶＤなどの
メディアによって配信される。

【００４４】なお、言うまでもなく、以下で説明する方
法が適用できる場合にはＭＰＥＧデータ列に限られない
他のデジタル形式の圧縮データであってもよい。

【００４５】以下ではまず、本発明によるデータ変換装
置が扱うＭＰＥＧデータ列の構造を説明する。

【００４６】図１は、ＭＰＥＧデータ列の一般的なデー
タ構造（データフォーマット）を示す。

【００４７】ＭＰＥＧデータ列は、データブロックであ
るパック１１を複数個含む。パック１１は、パックヘッ
ダ１２とシステムヘッダ１３と１以上のパケット１４と
を含む。

【００４８】パックヘッダ１２は、バッファを同期させ
るためのバッファ同期情報（図示せず）を含む。システ
ムヘッダ１３は、各パックのシステム情報（図示せず）
を含む。パケット１４は、パケットヘッダと呼ばれるパ
ケット開始コード１５とパケットのデータ長を示すパケ
ット長１６と同期情報１７とパケットデータ１８とを含
む。

【００４９】パケット開始コード１５は３２ビット幅を
持つデータブロックである。パケット開始コード１５は
パケットの開始を示す情報であり、さらにその下位８ビ
ットを見ることによりそのパケットが映像パケットであ
るのか音声パケットであるのかを識別することができ
る。同期情報１７は、再生時にそのパケットに含まれる
データと他のパケットのデータとの再生の同期を取らせ
るために用いられる情報である。パケットデータ１８に
は実際の映像あるいは音声を表す情報の他に、そのパケ
ットデータ１８の属性を示す属性情報等が含まれる。

【００５０】以下では、映像情報とは、パケット開始コ
ード１５で映像パケットであると識別されたパケット１
４のパケットデータ１８のみに含まれる情報をいう。

【００５１】音声情報とは、パケット開始コード１５で
音声パケットであると識別されたパケット１４のパケッ
トデータ１８のみに含まれる情報をいう。

【００５２】非映像情報とは、ＭＰＥＧ映像音声情報に
おける映像情報以外の情報、すなわちＭＰＥＧ映像音声
情報におけるパックヘッダ１２、システムヘッダ１３、
パケット開始コード１５、パケット長１６、同期情報１
７および音声情報であると識別されたパケットのパケッ
トデータ１８に含まれる情報をいう。

【００５３】（実施の形態１）以下、図面を参照しなが
ら本発明の第１の実施の形態におけるデータ変換装置を
説明する。

【００５４】１．本発明のデータ変換装置の動作の概要 本発明のデータ変換装置は、連続映像を表す入力された
ＭＰＥＧ映像情報のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃ
ｔｕｒｅ）構造を保持したまま、間欠映像情報に変換す
る装置である。ここでＧＯＰとは、数フレームの符号化
されたピクチャ（映像の１画面あるいは１コマ）が複数
集められたデータの単位をいう。

【００５５】以下の説明で言及されるＧＯＰは、ＧＯＰ
ヘッダ、Ｉピクチャ、ＢピクチャおよびＰピクチャを含
む（ＧＯＰの具体的データ構造は図５Ｂに例示され
る）。ＧＯＰヘッダには、ＧＯＰの属性やタイムコード
等が記録されている。Ｉピクチャはフレーム内符号化画
像を、Ｂピクチャは双方向予測符号化画像を、Ｐピクチ
ャはフレーム間順方向予測符号化画像を表す。なお、Ｉ
ピクチャはイントラピクチャ、ＰピクチャおよびＢピク
チャは非イントラピクチャである。

【００５６】データ変換装置は、ＧＯＰヘッダとＧＯＰ
の最初のＩピクチャを除く他のピクチャをダミーＰピク
チャに置換する。ダミーＰピクチャは、前フレームから
の変化がないという情報、すなわち映像の一部を表すフ
レームの表示を保持させるための情報だけを含んだピク
チャである。ダミーＰピクチャの再生時にはＩピクチャ
で表された映像情報が保持されるので、静止画像として
表示される間欠映像情報を作成することができる。な
お、ダミーピクチャにはＢピクチャを使うこともでき
る。ダミーＢピクチャも、ダミーＰピクチャと同様、前
フレームからの変化がないという情報、すなわち映像の
一部を表すフレームの表示を保持させるための情報だけ
を含んだピクチャである。したがって、Ｐピクチャをダ
ミーＰピクチャで、ＢピクチャをダミーＢピクチャで置
換してもよい。あるいは、ＧＯＰヘッダとＧＯＰの最初
のＩピクチャを除く他のピクチャをダミーＢピクチャに
置換してもよい。

【００５７】２．本発明のデータ変換装置１００（図２
Ａ）の構成 図２Ａは、映像変換処理を行うための本発明のデータ変
換装置１００の構成を示す。

【００５８】データ変換装置１００は、映像音声情報入
力部２０と、分離部２２と、映像変換部２４と、結合部
２６と、映像音声情報記録部２８とを含む。

【００５９】ＭＰＥＧ符号化された映像音声情報は、ま
ず映像音声情報入力部２０に入力され、データ変換装置
１００内部の記憶作業領域（図示せず）に読み込まれ
る。映像音声入力部２０は読み込んだＭＰＥＧ映像音声
情報を分離部２２に出力する。

【００６０】分離部２２は、映像音声入力部２０からＭ
ＰＥＧ映像音声情報を受け取り、符号化された映像情報
と符号化された非映像情報とに分離する。後述のよう
に、ＭＰＥＧ規格のデータ構造を利用することにより、
ＭＰＥＧ映像音声情報から映像情報および非映像情報を
分離する処理は復号化することなくディジタルデータの
形態で行われる。分離された映像情報は映像変換部２４
に、非映像情報は結合部２６に出力される。さらに分離
部２２は、映像情報と非映像情報とが互いにどのような
関係でＭＰＥＧ映像音声情報を構成していたかを示す情
報を、結合情報として映像変換部２４へ出力する。後述
するように、結合情報は例えば分離された映像情報およ
び非映像情報のそれぞれの情報量（データ長）等を格納
した情報である。

【００６１】映像変換部２４は、分離部２２から符号化
された映像情報を受け取り、受け取った符号化された映
像情報を、異なる別の映像情報に変換する。例えばこの
変換は、連続映像を表す映像情報からその連続映像を間
引くことによって得られる間欠映像を表す映像情報への
変換である。ここで間欠映像は連続映像（すなわち分離
された映像情報によって表される映像）を間引くことに
よって得られる映像であるため、間欠映像のデータ量は
連続映像のデータ量よりも小さい。映像変換部２４は、
このデータ量の減少に応じて結合情報を修正する。映像
変換部２４は、間欠映像情報および修正された結合情報
を結合部２６に出力する。

【００６２】後述のようにＭＰＥＧ規格のデータ構造を
利用することにより、連続映像情報から間欠映像情報へ
の変換を含む、ある映像情報から別の異なる映像情報へ
の変換は、復号化することなくディジタルデータの形態
で行われる。

【００６３】結合部２６は、映像変換部２４から受け取
った間欠映像情報と、分離部２２から受け取った非映像
情報とを結合する。結合に際して、結合部２６は、映像
変換部２４から受け取った結合情報を用い、間欠映像と
音声とを同期させた間欠映像音声情報を作成する。作成
された間欠映像音声情報は、映像音声記録部２８に出力
される。

【００６４】映像音声記録部２８は、結合部２６から受
け取った間欠映像音声情報を、メモリあるいは携帯端末
（図示せず）等に書き込む。

【００６５】３．本発明のデータ変換装置１００（図２
Ａ）が行う映像変換処理 図２Ｂは、本発明のデータ変換装置が行う映像変換処理
の手順を示すフローチャートである。ここでいう映像変
換処理とは、連続映像を間引くことにより間欠映像を生
成する処理のことをいう。

【００６６】データ変換装置１００（図２Ａ）は、映像
音声情報入力部２０（図２Ａ）を介してＭＰＥＧ映像音
声情報を読み込むと（ステップ２０１）、分離部２２
（図２Ａ）は、読み込まれたＭＰＥＧ映像音声情報を映
像情報と非映像情報とに分離する（ステップ２０２）。
上述のように、ＭＰＥＧ映像音声情報はＭＰＥＧ符号化
されている。したがってＭＰＥＧ映像音声情報に含まれ
る映像情報と非映像情報のいずれも符号化されている。
ＭＰＥＧ映像音声情報を映像情報と非映像情報とに分離
するステップは、符号化されたＭＰＥＧ映像音声情報を
復号化することなく行われ得る。続いて映像変換部２４
（図２Ａ）は、分離した映像情報に対し変換処理を行う
ことによって元の映像情報とは異なる映像情報を生成す
る（ステップ２０３）。結合部２２（図２Ａ）は、生成
した元の映像情報とは異なる映像情報と分離した非映像
情報とを再び結合する（ステップ２０４）。上述した映
像情報の変換処理には、例えば連続映像を表す映像情報
を、その連続映像を間引くことによって得られる間欠映
像を表す映像情報に変換する処理が含まれる。本実施の
形態のデータ変換装置は、映像情報および非映像情報を
復号化することなく、これらの変換処理および結合処理
を行うことができる。このような分離処理、変換処理お
よび結合処理によって得られた映像音声情報を、映像音
声情報記録部２８（図２Ａ）がメモリ等の記憶媒体へ書
き込むと一連の映像変換処理が終了する。

【００６７】本発明のデータ変換装置は映像情報および
非映像情報の復号化が必要ないので、画質劣化のない映
像情報を得ることができる。さらに、復号化に要する計
算に必要な負荷を減少することができる。

【００６８】４．本発明のデータ変換装置１００（図２
Ａ）の各部の説明 以下では、本発明のデータ変換装置１００（図２Ａ）に
含まれる構成要素のうち、特に主要な分離部２２（図２
Ａ）、映像変換部２４（図２Ａ）および結合部２６（図
２Ａ）の動作をさらに詳しく説明する。

【００６９】４．１ 分離部２２（図２Ａ）の動作 図３Ａは、分離部２２（図２Ａ）がＭＰＥＧ映像音声情
報を映像情報と非映像情報に分離する処理の手順を示す
フローチャートである。

【００７０】分離部２２（図２Ａ）は、映像音声情報入
力部２０（図２Ａ）を介して入力されたＭＰＥＧ映像音
声情報から、パックヘッダ１２（図１）およびシステム
ヘッダ１３（図１）を読み込む（ステップ３０１）。パ
ックヘッダ１２（図１）およびシステムヘッダ１３（図
１）は映像情報を含まない。したがって分離部２２（図
２Ａ）は、パックヘッダ１２（図１）およびシステムヘ
ッダ１３（図１）を非映像情報としてバッファあるいは
メモリに書き出し、蓄積する（ステップ３０２）。次に
分離部２２（図２Ａ）は、映像音声情報からパケットヘ
ッダ、すなわちパケット開始コード１５（図１）、パケ
ット長１６（図１）および同期情報１７（図１）を読み
込む（ステップ３０３）。パケットヘッダも映像情報を
含まない。したがって分離部２２（図２Ａ）は、非映像
情報としてバッファに書き出し、蓄積する（ステップ３
０４）。

【００７１】分離部２２（図２Ａ）は、上述のパケット
ヘッダに続き、パケットデータ１８（図１）を読み込む
（ステップ３０５）。パケットヘッダのうち、パケット
開始コード１５（図１）には続くパケットデータが映像
情報であるか音声情報であるかを示す情報が含まれてい
る。したがって分離部２２（図２Ａ）は、その情報を読
み取ることにより、後の処理が映像情報を対象とすべき
か否かを判断することができる（ステップ３０６）。パ
ケットヘッダに含まれている情報が、パケットデータ１
８（図１）には映像情報が含まれていることを示してい
る場合には、分離部２２（図２Ａ）は、そのパケットデ
ータを映像情報としてバッファに蓄積する（ステップ３
０７）。その後分離部２２（図２Ａ）は、結合情報を作
成し、バッファに書き込む（ステップ３０８）。

【００７２】バッファへの書き込みが終了すると、分離
部２２（図２Ａ）は、１つのパック１１（図１）の映像
音声情報の終端まで処理を行ったかを判断し（ステップ
３１０）、さらにパック１１（図１）が終端かを判断す
る（ステップ３１１）。処理すべき映像音声情報が残っ
ている場合には、分離部２２（図２Ａ）は、それぞれス
テップ３０３およびステップ３０１から上述した処理を
繰り返す。処理すべき映像音声情報が残っていない場合
には、処理を終了する。

【００７３】以上、分離部２２（図２Ａ）で行われる処
理の手順を説明した。

【００７４】図３Ｂを参照して、分離部２２（図２Ａ）
が、ＭＰＥＧ映像音声情報すなわちＭＰＥＧ映像音声情
報に含まれる映像情報と非映像情報とをどのように分離
するかを具体的に説明する。

【００７５】図３Ｂは、ＭＰＥＧ映像音声情報すなわち
ＭＰＥＧ映像音声情報が映像情報と非映像情報とに分離
される処理を示す。図３Ｂには、入力されたＭＰＥＧ映
像音声情報３２と、分離された映像情報３０および非映
像情報３４とが示されている。

【００７６】ＭＰＥＧ映像音声情報３２は、映像情報を
表す映像データブロックＶ、映像情報以外のパケットデ
ータ（主に音声情報）ブロックＮおよび同期情報や属性
情報を含むデータブロックＰを含む。データブロックＰ
は、パックヘッダ、システムヘッダ、パケット開始コー
ド、パケット長、同期情報を表す情報である。個々のデ
ータブロックＰにつけられた数字は、それぞれのデータ
の種類に関する通し番号である。図示されるように、Ｍ
ＰＥＧ映像音声情報３２には、映像データブロックＶと
映像データブロック以外のデータブロックＮおよびＰが
交互に出現する。

【００７７】分離部２２（図２Ａ）の動作（図３Ａ）に
したがって、ＭＰＥＧ映像音声情報３２は、映像データ
ブロックＶと非映像情報のデータブロック、すなわち映
像情報以外のパケットデータブロックＮおよび同期情報
や属性情報を含むデータブロックＰとに分離される。図
３Ｂには、映像情報３０中での映像データブロックＶの
開始位置Ｖ_Pと、映像データブロックＶ間のサイズ（映
像データブロックＶの開始位置Ｖ_P間のサイズ）Ｖ_Sと、
非映像情報３４中のデータブロックの開始位置Ｎ_Pと、
データブロック間のサイズ（データブロックの開始位置
Ｎ_P間のサイズ）Ｎ_Sとが示されている。

【００７８】図示されるように、ＭＰＥＧ映像音声情報
３２は、映像情報３０と非映像情報３４とに分離され
る。

【００７９】次に、分離部２２（図２Ａ）がステップ３
０８（図３Ａ）において作成する結合情報を説明する。

【００８０】図４は、結合情報の例を示す。図４に示さ
れる例では、複数の結合情報が表形式で記録されてい
る。結合情報は、映像データブロックＶ（図３Ｂ）およ
び非映像情報データブロックそれぞれの開始位置Ｖ_P、
Ｎ_PおよびそのサイズＶ_S、Ｎ_Sと、映像を切り出したと
きのその映像パケットの同期情報のサイズＰＶＳとを含
む。

【００８１】結合情報は、映像データブロックＶ（図３
Ｂ）を出力する際に記録された、それまでに出力した映
像データブロックＶおよび非映像情報のデータブロック
の情報量（データサイズ）である。結合情報を用いるこ
とにより、分離され、さらに間引かれた映像情報の映像
データブロックと非映像情報のデータブロックとを映像
音声情報に再結合することができる（再結合処理は、結
合部２６（図２Ａ）の動作に関連して後述する）。

【００８２】結合情報は、同期情報１７のデータサイズ
を含む。この理由を簡単に述べる。分離部２２（図２
Ａ）によって分離された後、映像変換部２４（図２Ａ）
によって映像情報が間引かれると、映像情報の情報量
（データサイズ）は変化する。情報量（データサイズ）
が変わってしまった映像情報と非映像情報とを再結合す
るには、映像情報のもとのパケット長を修正する必要が
ある。間引くことにより小さくなった映像情報の情報量
（データサイズ）の減少分をパケット長１６から減算
し、ＭＰＥＧ規格に適合させるためである。映像情報の
パケット長１６の値を修正する際には、既に受け取られ
たパケット長１６（図１）が格納されている位置を逆算
して修正することになる。パケット１４（図１）では、
パケット長１６、同期情報１７、パケットデータ１８の
順にデータが配置されている。パケット長１６（図１）
が格納されている位置の逆算は、パケットデータの先頭
の位置から、同期情報１７（図１）の情報量（データサ
イズ）に相当するデータサイズだけ前の位置を差し引く
ことにより実現される。ここで、同期情報１７（図１）
のサイズは一定でないため、後方から走査すると処理の
負荷が大きく処理が面倒になる。したがって、パケット
長１６（図１）の位置の逆算を容易にするために同期情
報１７のデータサイズを記録しておくと、その後の処理
の負荷を軽減できる。

【００８３】なお結合情報には、それまでに出力した映
像情報の情報量だけでなく、これから出力するデータの
サイズも記録しておくことにより、その後の処理の負荷
を軽減することができる。

【００８４】図４に示される結合情報の１行目は、最初
の映像データブロックＶ（図３Ｂ）が記録されたとき、
非映像情報３４（図３Ｂ）および映像情報３０（図３
Ｂ）の位置Ｎ_PおよびＶ_Pがいずれも「００００」であ
り、記録された非映像情報３４（図３Ｂ）のデータブロ
ックのサイズＮ_Sが３０バイト、映像情報３０（図３
Ｂ）のデータブロックのサイズＶ_Sが２０バイト、パケ
ットの同期情報のサイズＰＶＳが１２バイトであること
を示す。

【００８５】図４に示される結合情報の２行目は、非映
像情報３４（図３Ｂ）の開始位置Ｎ _Pが「００３０」、
映像情報３０（図３Ｂ）の映像データブロックＶ（１）
（図３Ｂ）の開始位置Ｖ_Pが「００２０」であり、記録
された非映像情報３４（図３Ｂ）のデータブロックのサ
イズＮ_Sが３０バイト、映像情報（図３Ｂ）のデータブ
ロックのサイズＶ_Sが２０バイト、パケットの同期情報
のサイズＰＶＳが３バイトであることを示す。

【００８６】図４に示される結合情報の３行目も上記同
様の内容を示す。ここで、記録された非映像情報３４の
データブロックのサイズＮ_Sが１００バイトの大きさに
なっているのは、パケットデータに含まれていた情報が
映像情報以外の情報（主に音声情報）を含んでいるた
め、次のパケットの同期情報のサイズもデータブロック
のサイズに含まれたからである。

【００８７】以下、映像パケットが記録されるたびに、
同様に繰り返し結合情報が追加記録され結合情報が作成
される。このようにして、パケット構造にしたがって映
像情報と非映像情報を繰り返し交互に切り出す操作をＭ
ＰＥＧ映像情報３２（図３Ｂ）の終端に達するまで行
い、かつ結合情報を作成することによって、映像情報３
０（図３Ｂ）および非映像情報３４（図３Ｂ）の分離が
どのような情報に基づいて行われているのかが判断でき
る。

【００８８】４．２ 映像変換部２４（図２Ａ）の動作 映像変換部２４（図２Ａ）は、連続した映像を示す映像
情報を解析し編集した後、入力された映像と同数のピク
チャを持つ映像を出力することによって間欠映像情報を
生成する。すなわちこの動作は、映像変換部２４（図２
Ａ）は、重要な情報を持つピクチャのみを残しその他の
フレームを情報を含まないダミーＰピクチャと置換する
動作である。したがって、出力される映像は間欠映像と
なる。さらに映像変換部２４（図２Ａ）は、編集による
映像のサイズ変化に応じて結合情報（図４）を修正す
る。

【００８９】図５Ａは、映像変換部２４（図２Ａ）が連
続する映像情報を間欠映像情報に変換する処理の手順を
示すフローチャートである。

【００９０】まず映像変換部２４（図２Ａ）は、映像情
報からシーケンスヘッダを読み込み（ステップ５０
１）、シーケンスヘッダをそのまま間欠映像情報に書き
出す（ステップ５０２）。映像情報のシーケンスが終端
でない場合、続いて処理が進められる。次に映像変換部
２４（図２Ａ）は、映像情報からＧＯＰヘッダを読み込
み（ステップ５０４）、間欠映像情報のＧＯＰヘッダに
書き込む（ステップ５０５）。これは、映像情報のＧＯ
Ｐヘッダが間欠映像情報のＧＯＰヘッダとして用いられ
ることを意味する。その後映像変換部２４（図２Ａ）
は、映像情報からＩピクチャを読み込み（ステップ５０
６）、そのＩピクチャをそのまま間欠映像情報のＩピク
チャとして間欠映像情報として書き込む（ステップ５０
７）。映像情報のＧＯＰが終端でなければ、そのまま処
理が進められる（ステップ５０８）。続いて、映像変換
部２４（図２Ａ）は、映像情報のＧＯＰから、ＧＯＰに
含まれる残りのピクチャを読み込む（ステップ５０
９）。このピクチャの読み込みは、Ｉピクチャ以外のピ
クチャ（例えばＢピクチャあるいはＰピクチャ）であり
うる。映像変換部２４（図２Ａ）は、読み込んだピクチ
ャに含まれる映像情報を棄却し、そのピクチャの数と同
数のダミーピクチャを間欠映像情報のＧＯＰとして書き
込む（ステップ５１０）。ダミーピクチャは、前フレー
ムからの変化がないという情報だけを含んだ、サイズの
小さなピクチャである。このようなＧＯＰの変換をシー
ケンス終端まで繰り返す。シーケンス終端に達すると、
シーケンスヘッダの読み込み（ステップ５０１）に戻っ
て処理を繰り返す。映像終端に達すると、映像から間欠
映像への変換は終了する。映像情報のＧＯＰが終端でな
く、シーケンスが終端でなく、かつ映像情報が終端でな
い場合には、そのまま処理が続けられる。

【００９１】図５Ｂを参照して、上述のように動作する
映像変換部２４（図２Ａ）が映像情報のＧＯＰを読み込
み、間欠映像情報のＧＯＰを出力する処理をより具体的
に説明する。

【００９２】図５Ｂは、入力された映像情報から取り出
したあるＧＯＰ５０と、ＧＯＰ５０を変換して得られる
間欠映像情報のＧＯＰ５２の対応関係を示す。ＧＯＰ５
０は、映像情報に含まれる任意のＧＯＰである。ＧＯＰ
に付されているマーカーＶ_Pは、結合情報（図４）に記
録された映像開始位置を示す。

【００９３】まず映像変換部２４（図２Ａ）は、ＧＯＰ
５０のＧＯＰヘッダおよび最初のＩピクチャを読みこ
み、それをそのままＧＯＰ５２に書き出す。続いて、Ｇ
ＯＰ５０の２枚目以降のすべてのピクチャを読み込む。
読み込まれたピクチャに含まれる映像情報は棄却され、
代わりに読み込まれたピクチャの数と同数のダミーＰピ
クチャに置換されＧＯＰ５２に書き込まれる。ダミーＰ
ピクチャは、前フレームからの変化がないという情報だ
けを含んだピクチャである。ダミーＰピクチャは映像情
報を含まないためサイズが極めて小さい。このピクチャ
が存在すると、再生系は前フレームを継続表示する。な
お、ダミーピクチャのこのような仕様はＭＰＥＧ規格に
定められている。このダミーピクチャの存在により、Ｇ
ＯＰ５２は最初のＩピクチャの静止画のように再生され
る。さらに、ＧＯＰ５２はＧＯＰ５０と同数のピクチャ
を含むため、再生時間はＧＯＰ５０と同じである。

【００９４】ここで留意すべき点は、ＧＯＰ５０をＧＯ
Ｐ５２に変換すると、ダミーピクチャのサイズが比較的
小さいことに起因してＧＯＰ５２のサイズが小さくな
り、映像開始位置Ｖ_PがＧＯＰ５２の外部に存在すると
いう矛盾が生じることである。そこでこの矛盾をなくす
ために、映像開始位置Ｖ_PがＧＯＰ５２内に含まれるよ
うに修正する必要がある。以下にその修正を行うための
一例を示す。映像ストリーム中でのＧＯＰの開始位置を
Ｓ、終了位置をＥとし、ｎ番目の映像開始位置Ｖ
_P（ｎ）がＶ_P’（ｎ）に修正され、Ｖ_P’（ｎ）の開始
位置がＳ’、終了位置がＥ’とすると、 Ｖ_P’（ｎ）＝（Ｖ_P（ｎ）−Ｓ）＊（Ｅ’−Ｓ’）／
（Ｅ−Ｓ）＋Ｓ’ という計算を行うことにより、映像開始位置がＧＯＰ５
２内に含まれるように修正することができる。

【００９５】このような一連のＧＯＰ変換動作がシーケ
ンス終端まで繰り返される。シーケンス終端に達する
と、シーケンスヘッダの読み込みに戻って処理を繰り返
す。映像終端に達すると、映像から間欠映像への変換は
終了する。

【００９６】ＧＯＰの変換では、ＧＯＰ５０に含まれる
ピクチャ数と、ＧＯＰ５２に含まれるピクチャ数は同じ
になる。仮に、ＧＯＰ５０に含まれるピクチャ数および
ＧＯＰ５２に含まれるピクチャ数が異なる場合は、後続
のすべてのＧＯＰに対してＧＯＰヘッダ内のＴＣ（タイ
ムコード）値をずらす必要が生じ、処理量が多くなる。
したがって本実施例は、ＧＯＰ５０とＧＯＰ５２に含ま
れるそれぞれのピクチャ数を同じにすることにより、Ｇ
ＯＰヘッダを変更することなく処理することができると
いう利点がある。

【００９７】なお、ＧＯＰの途中のイントラピクチャを
棄却せず、間欠映像として利用することができる。例え
ば、１枚のイントラピクチャを棄却せず間欠映像に利用
する場合は、最初のＩピクチャのあといくつかのピクチ
ャをダミーＰピクチャで置換した後、２枚目のイントラ
ピクチャを抜き出して挿入し、さらにその後のピクチャ
をダミーＰピクチャで置換することになる。一般にＧＯ
Ｐは、２分の１秒程度のピクチャを構成するように符号
化されることが多い。したがって、１ＧＯＰにつきイン
トラピクチャを１枚程度用いると、１秒に２コマ程度ず
つ進行する適度な間欠映像になる。

【００９８】しかし、さらに細かくコマ送りする間欠映
像にしたい場合や、映像情報自体がＧＯＰを構成するピ
クチャの数が多くなるように符号化されている場合に
は、ＧＯＰ最初のＩピクチャに限らず、任意の位置で任
意の数のイントラピクチャを使うことにより、間欠映像
のコマ毎の間隔を任意に調節することができる。このよ
うな柔軟性により、使用される携帯端末の処理速度に応
じた速度、またはユーザが選択した速度で間欠的に表示
される間欠映像を生成することができる。携帯端末の処
理速度に応じた速度あるいはユーザが選択した速度は、
パラメータとしてデータ変換装置へ入力され、そのパラ
メータの値に応じてイントラピクチャが間欠映像の各コ
マとして利用される。

【００９９】逆に複数のＧＯＰを１つのＧＯＰに統合
し、間欠映像のコマの間隔をＧＯＰの再生期間よりも長
くすることも可能である。

【０１００】図６は、映像情報に含まれる複数のＧＯＰ
列６０から間欠映像情報の単一のＧＯＰ６２を生成する
場合のヘッダおよびピクチャの対応関係を示す。

【０１０１】ＧＯＰ列６０は、元の映像情報から任意の
数の連続するＧＯＰを抜き出して得られたＧＯＰの集合
である。簡略化のため、切り出された最初のＧＯＰと最
後のＧＯＰのみが図示され、途中のＧＯＰは省略されて
いる。ＧＯＰ列６０が変換され、単一のＧＯＰとして統
合された結果得られたのがＧＯＰ６２である。

【０１０２】まず、ＧＯＰ列６０の最初のＧＯＰのＧＯ
Ｐヘッダ情報と最初のＧＯＰの最初のＩピクチャが間欠
映像情報のＧＯＰとして用いられる。それ以降のＧＯＰ
列６０のピクチャは棄却され、それに代えて、情報量を
持たないダミーのＰピクチャがＧＯＰ６２のピクチャと
して用いられる。この際、各ピクチャが有するＴＲ（テ
ンポラルリファレンス値）が、ＧＯＰ６２における通し
番号になるように修正する。ＧＯＰ列の２つ目以降のＧ
ＯＰのＧＯＰヘッダは棄却される。ＧＯＰヘッダの中に
は、タイムコードなどの同期情報が含まれるが、必ずし
も必要ではないので棄てても問題は起きない。これは最
終的にＭＰＥＧ映像音声情報に再構成すると、ＭＰＥＧ
映像音声情報に含まれる同期情報が同期安定性を補償す
るためである。

【０１０３】作成されたＧＯＰ６２は、最初のＧＯＰの
最初のＩピクチャのみが映像情報を持ち、それに続くピ
クチャはダミーＰピクチャで、前ピクチャを継続表示す
ることを再生系に伝える以上に情報を持たない。したが
って、ＧＯＰ６２を再生すると、最初のＩピクチャがＧ
ＯＰ６２の再生期間中継続表示される。ＧＯＰ６２に
は、ＧＯＰ列６０と同数のピクチャが含まれる。したが
って、ＧＯＰ６２は、ＧＯＰ列６０の再生期間と同じ長
さの静止映像となる。こうして、複数のＧＯＰをひとつ
のＧＯＰに統合することにより、ＧＯＰの再生期間より
長い静止コマ映像を作成することができる。

【０１０４】映像に含まれるすべてのＧＯＰに対して、
上記操作を行うことにより、間欠映像を作成することが
できる。

【０１０５】なおＧＯＰ５０（図５Ｂ）からＧＯＰ５２
（図５Ｂ）を生成した際にも述べたように、ＧＯＰ６２
はＧＯＰ列６０に比べてサイズが小さくなっているた
め、結合情報に含まれる映像開始位置に関して矛盾が生
じてしまう。そこで、結合情報が保持する映像開始位置
もＧＯＰサイズの縮小に応じて、修正する必要がある。
以下にその修正を行うための一例を示す。映像ストリー
ム中でのＧＯＰ列６０の開始位置をＳ、終了位置をＥと
し、ｎ番目の映像開始位置Ｎ_P（ｎ）がＮ_P’（ｎ）に修
正され、間欠映像中でのＧＯＰ６２の開始位置がＳ’、
終了位置がＥ’とすると、 Ｎ_P’（ｎ）＝（Ｎ_P（ｎ）−Ｓ）＊（Ｅ’−Ｓ’）／
（Ｅ−Ｓ）＋Ｓ’ のように計算すればよい。

【０１０６】４．３ 結合部２６（図２Ａ）の動作 結合部２６（図２Ａ）は、映像変換部２４（図２Ａ）で
作成された間欠映像情報と、分離部２２によって分離さ
れた非映像情報とを、映像変換部５３より出力される結
合情報に基づいて映像音声情報に再結合する。間欠映像
情報と非映像情報とを結合すると、間欠映像音声情報と
なる。再結合は、ＭＰＥＧ映像音声情報と非映像情報と
がいずれも符号化されたままで行われるため、計算量を
少なくすることができる。

【０１０７】図７Ａは、結合部２６（図２Ａ）が間欠映
像情報と非映像情報とを結合する処理の手順を示すフロ
ーチャートである。

【０１０８】結合処理では、結合部２６（図２Ａ）はま
ず、映像変換部２４（図２Ａ）からの結合情報を読み込
み（ステップ７０１）、続いて非映像情報から非映像デ
ータブロックを読み込む（ステップ７０２）。結合部２
６（図２Ａ）は、読み込んだ結合情報を用いて非映像情
報を映像音声情報として書き込む（ステップ７０３）。
この後結合部２６（図２Ａ）は、読み込んだ結合情報
が、最終の非映像情報のデータブロックを示しているか
否かを判断する（ステップ７０４）。結合情報が最終の
非映像情報のデータブロックを示している場合には、処
理は終了する。結合情報が最終の非映像情報のデータブ
ロックを示していない場合には、結合部２６（図２Ａ）
は続いて映像情報から映像データブロックを読み込む
（ステップ７０５）。その後結合部２６（図２Ａ）は、
映像音声情報に映像情報の映像データブロックを書き込
み（ステップ７０６）、再び結合情報を読み込む処理
（ステップ７０１）に戻る。

【０１０９】図７Ｂを参照して、上述のように動作する
結合部２６（図２Ａ）が間欠映像情報と非映像情報とが
結合される処理を示す。図７Ｂには、間欠映像情報７０
と非映像情報７４と生成されたＭＰＥＧ映像音声情報７
２とが示されている。ＭＰＥＧ映像音声情報７２は間欠
映像情報である。

【０１１０】間欠映像音声情報７２は、非映像情報のデ
ータブロックＰで始まり、その後交互に映像情報と非映
像情報および音声情報が繰り返し出現し、最後に非映像
情報で終わることがあらかじめ分かっている。

【０１１１】結合部２６（図２Ａ）は、結合情報を読み
込み、非映像情報のデータブロックの切り出し開始位置
Ｎ_Pと切り出しサイズＮ_S、映像データブロックＶの切り
出し開始位置Ｖ_Pと切り出しサイズＶ_Sを取得する。ただ
し、最後の結合情報には、非映像データブロックの切り
出し開始位置Ｎ_Pと切り出しサイズＮ_Sのみであり、映像
データブロックの切り出し開始位置Ｖ_Pおよび切り出し
サイズＶ_Sには情報は書かれていないか、もしくは事前
に定めらたエンドコードが書かれている。次に結合部２
６（図２Ａ）は、非映像情報７４から、データ結合情報
に書かれている切り出し開始位置Ｎ_Pより切り出しサイ
ズＮ_S分だけ、データブロックを切り出す。たとえば、
Ｎ_Pの値が０、Ｎ_Sの値が３０であれば、非映像情報７４
の最初から３０バイト分が切り出される。結合部２６
（図２Ａ）は、切り出されたデータブロックを間欠映像
音声情報７２に記録する。読みこまれた結合情報が最終
の非映像データブロックを示している場合は、ここで結
合処理は終了する。読みこまれた結合情報が最終の非映
像データブロックを表しているのでなければ、結合部２
６（図２Ａ）は、間欠映像７０から切り出し開始位置Ｖ
_Pより切り出しサイズＶ_S分だけデータブロックを切り出
す。たとえば、Ｖ_Pの値が０、Ｖ_Sの値が２０であれば、
間欠映像を表す映像情報７０の最初から２０バイトのデ
ータブロックを切り出す。結合部２６（図２Ａ）は、間
欠映像音声情報７２の末尾に切り出されたデータブロッ
クを結合する。結合部２６（図２Ａ）は再び結合情報の
読み込み処理に戻り、次の非映像情報７４および映像情
報７０から切り出すべきデータブロックの開始位置およ
びデータブロックサイズを結合情報からそれぞれ読み込
む。そして、結合情報を読みこみ、非映像情報７４から
データブロックを切り出してそのデータブロックを間欠
映像音声７２に追加し、最後の結合情報でなければ間欠
映像を表す映像情報７０からデータブロックを切り出し
てそのデータブロックを間欠映像音声情報７２に追加す
る処理を繰り返す。この繰り返し操作が最後の結合情報
に達すると、結合された間欠映像音声情報７２が生成さ
れる。

【０１１２】ここで、パケットに含まれる、パケット長
以外の情報すわなちパケット開始コードと同期情報のう
ち同期情報は、映像データブロックのサイズが増加する
ことがない場合は非映像情報７４に含まれる情報がその
まま再利用できる。一般に、映像を間欠映像に変換する
とデータブロックのサイズは大幅に小さくなるので、同
期情報は変更する必要がない。パケット開始コードは例
えばＭＰＥＧ規格に定められた固定値である。また、パ
ックヘッダには同期情報とパケットの属性情報が含まれ
るが、同期情報は上記パケットと同じ理由で変更の必要
はない。パケットの属性情報は、間欠映像にすることで
は変化しない。したがって、本発明において修正しなけ
ればならないヘッダ情報は、パケット長１６（図１）の
みである。

【０１１３】以上、本発明の実施の形態１によるデータ
変換装置の構成および動作の説明を終わる。

【０１１４】（実施の形態２）次に、図８を参照しなが
ら、本発明の第２の実施の形態におけるデータ変換装置
を説明する。

【０１１５】１．本発明のデータ変換装置８００（図
８）の動作の概要 本発明の実施の形態２におけるデータ変換装置８００
（図８）は、輝度もしくは彩度、色相などの分布、すな
わち映像の特性の変化が時間的に所定の閾値以上になる
カットが映像中に含まれる場合、そのカットを静止画像
として用いるように間欠映像音声情報を生成する。カッ
トを静止画像として利用するのは、映像が時間的に大き
く変化するカットが存在する付近には映像上重要な情報
を含むことが多いという経験的事実に基づいている。本
実施の形態におけるデータ変換装置を利用することによ
り、たとえば、ニュース番組では、シーンが切り替わっ
た直後の、ニュースの概要を示すテロップが表示された
映像や、あるいは映画等における字幕の切り替わった直
後の映像を代表画像とすることでシーンの概要を把握す
ることができるようになる。

【０１１６】２．本発明のデータ変換装置８００（図
８）の構成 図８は、映像に含まれるカット検出を行うための構成を
含むデータ変換装置８００を示す。

【０１１７】データ変換装置８００は、映像音声情報入
力部８０と、分離部８１と、部分復号部８２と、カット
検出部８３と、ショット映像作成および結合情報修正部
８４と、結合部８５と、映像音声情報記録部８６とを含
む。

【０１１８】なお、データ変換装置８００を構成する各
要素のうち、映像音声情報入力部８０、分離部８１、結
合部８５および映像音声情報記録部８６の機能および動
作は、図２Ａに示すデータ変換装置１００の映像音声情
報入力部２０、分離部２２、結合部２６および映像音声
情報記録部２８の機能および動作とそれぞれ同一である
ので、その説明は省略する。

【０１１９】部分符号部８２は、分離部８１で分離され
た符号化された映像情報を受け取り、その映像情報の一
部分であるＤＣ成分のみを復号する。ＭＰＥＧにおい
て、ＤＣ（低周波）成分はＩＤＣＴ（逆離散コサイン変
換）を要せず、簡単な計算で求めることができる。求め
られた映像情報のＤＣ成分は、低解像度映像情報として
カット検出部８３へ出力される。

【０１２０】カット検出部８３は、部分復号部８２から
出力された低解像度映像情報を受け取り、受け取った低
解像度映像情報（映像情報のＤＣ成分）を用いて、単位
時間当たりの映像の変化が大きい部分を検出する。映像
の変化が大きいフレームをカットフレームと呼ぶ。カッ
トフレームは、例えば輝度もしくは彩度、色相などの分
布が時間的にある閾値以上になるフレームとして認識す
ることができる。前述のように、一般にカットフレーム
付近には映像的に重要となるフレームが存在することが
多い。カット検出部８３は、映像を走査し、カットの直
後に現れるＧＯＰを検索する。そして、そのＧＯＰの最
初のＩピクチャを代表フレームとして選出する。選出さ
れた代表フレームを含むＧＯＰおよび代表フレームのフ
レーム番号は、カット情報としてショット映像作成およ
び結合情報修正部８４に出力される。

【０１２１】ここで、カットフレーム自身を代表フレー
ムとしない理由は、ＭＰＥＧの場合、ＧＯＰを単位とし
て映像を改変する方が処理が容易であるからである。Ｍ
ＰＥＧデータ列を利用する場合に、カットフレーム自身
を代表フレームとして間欠映像を作成するためには、Ｍ
ＰＥＧデータ列を復号化する必要がある。復号化には多
少の計算を要する。一方、カットフレーム直後のＧＯＰ
の先頭フレームを代表フレームとすると、遅延の為に重
要性のより少ないフレームを代表フレームに選んでしま
うエラーが生じる問題もあるというトレードオフが存在
する。本実施の形態では、カットフレーム直後のＧＯＰ
の最初のフレームを代表フレームとすることとして説明
する。なお、多少計算量が増加してもＭＰＥＧデータ列
を復号化する、あるいはＭＰＥＧ以外のフォーマットが
利用される場合であって、映像の改変が容易に行うこと
ができる等の場合には、カットフレーム自身を静止画像
を表すため代表フレームとして利用することができる。

【０１２２】ショット映像作成および結合情報修正部８
５は、分離部８２よって分離された映像情報および結合
情報と、カット検出部８４によって検出されたカット情
報から間欠映像を作成する。ショット映像作成および結
合情報修正部８５は映像を走査し、カット情報に記録さ
れた代表フレームを探索する。代表画像フレ一ムが見つ
かると、代表フレームの直後のＧＯＰから次の代表フレ
ームを含むＧＯＰの直前までをひとつの間欠映像ＧＯＰ
に変換する。映像に含まれる複数のＧＯＰを単一の間欠
映像ＧＯＰに変換し、結合情報を修正するには、第１の
実施の形態において図６に関連して説明した手順と同一
の手順を用いることができる。この変換処理により、最
初のピクチャを継続再生する静止画映像が作成される。
この静止画映像をショット映像と呼ぶ。カット情報にし
たがって一つ一つのカットに対して上記操作を適用する
ことにより、それぞれのカットに対応するショット映像
を作成し、作成されたショット映像を結合することによ
り、複数の代表画像からなる間欠映像が作成される。

【０１２３】上記説明では、間欠映像の代表画像をカッ
ト直後のＧＯＰの最初のＩピクチャとしたが、この方法
では、カットの位置と代表画像の位置にずれがあるた
め、特に映像が時間的に激しく変化する場合には、本来
採用したかった代表画像とは異なる画像を代表画像にし
てしまうことがある。そこで、ショット映像を作成する
他の例として、カット直後のピクチャを代表画像とする
ことが考えられる。カット直後のピクチャを代表画像と
する場合は、カット直後のピクチャがＩピクチャとは限
らない。カット直後のピクチャがＩピクチャである場合
は、そのＩピクチャを切り出して間欠映像の代表画像に
使用することができる。しかし、カット直後のピクチャ
がＢピクチャやＰピクチャである場合には、先行するＩ
ピクチャを検索し、そこからカット直後のピクチャまで
を復号化し、さらにカット直後のピクチャを符号化して
Ｉピクチャとして生成すればよい。これにより、カット
情報により忠実な代表画像をショット映像として間欠映
像を作成することができるため、重要度の高い画像を代
表画像とした間欠映像が作成できる。ただし、このよう
な復号化処理および符号化処理を行うと、元の映像情報
に含まれるＩピクチャを置換するだけの場合に比べて計
算量が大きくなる。しかしこの計算量は、復号化するピ
クチャが全映像の一部のピクチャだけであること、およ
び符号化はカット直後のピクチャに限られることを考え
ると、映像すべてを復号化する方法に比べて小さい。

【０１２４】ショット映像を作成する他の変形例とし
て、カット直後は映像の乱れが発生しやすいため、カッ
トからさらに一定時間後のピクチャを代表画像として採
用することによって間欠映像を作成してもよい。この場
合も、先行するＩピクチャから、カット直後より一定時
間後のピクチャすなわち代表ピクチャまでを復号化した
後、代表ピクチャをＩピクチャに符号化すればよい。本
実施の形態で最初に説明したショット映像作成方法で
は、カット直後のＧＯＰの先頭Ｉピクチャを代表ピクチ
ャとするため、カットからある程度時間が経過した後の
ピクチャを採用している。本変形例もカットから一定時
間後のピクチャを代表画像として採用しているために、
上記最初の説明の場合と同様の効果を得ることができ
る。しかし上記最初の説明の場合は、必ずしもカットか
ら一定時間が経過した後のピクチャではない。したがっ
て、カット直後のピクチャを代表画像として採用してし
まうこともある。上述のようにカット直後は映像の乱れ
が発生しやすいため、代表画像の画質が不安定になり得
る。したがって、先行するＩピクチャからカットから一
定時間後のピクチャまでを復号化し、代表ピクチャを符
号化する方法を用いることで、より安定した画像を代表
画像として採用することができ、したがって安定した間
欠映像を作成することができる。

【０１２５】本実施の形態では、カットすなわち輝度も
しくは彩度、色相などの分布が時間的にある閾値以上に
なる時点の映像を代表画像として採用した。しかし、映
像の時間的な区切りの情報であれば、任意の情報を代表
画像として採用することができる。一般的には、映像の
特性が大きく変化する画像を表すイベントを検出して、
代表画像として採用することができる。イベントの検出
は、カットの検出のみならずテロップの検出も含まれ
る。テロップは、映像の空間的勾配の総量が時間的に大
きく変化する時点の映像として検出される。概して、ニ
ュースなどの映像ではテロップの出現した直後の映像
に、シーンの要約が提示されることが多いため、テロッ
プの出現直後のピクチャを代表画像として間欠映像を作
成すると、利用価値の高い間欠映像を得ることができ
る。本実施の形態では、カットの検出を説明したが、こ
の説明はイベントの検出にも適用される。イベントを検
出するためには、カットを検出するためのカット検出部
８３と同様の動作を行うイベント検出部を設ければよ
い。

【０１２６】以上、本発明の実施の形態２によるデータ
変換装置の構成および動作の説明を終わる。

【０１２７】上述した実施の形態１および２のデータ変
換装置は、広く利用されているＭＰＥＧ規格で符号化さ
れた映像音声情報を取り扱う装置として実現されること
が望ましい。ＭＰＥＧ規格化された情報を扱うことによ
り、ユーザは現在までにＭＰＥＧ規格に関連して確立さ
れた技術を利用することができる。

【０１２８】

【発明の効果】本発明によれば、符号化されたデータ列
を復号化することなく映像情報を変換することができ
る。したがって、画質劣化のない映像情報を得ることが
できる。さらに、復号化に要する計算に必要な負荷を減
少することができる。

【０１２９】本発明によれば、映像のシーンチェンジな
どのイベント検出部を併用することによって、より重要
度の高い画像を代表画像とする間欠映像音声を作成する
ことができる。また、使用する携帯端末に応じた形で間
欠画像を録画することができるようになる。

【図面の簡単な説明】

【図１】ＭＰＥＧデータ列の一般的なデータ構造（デー
タフォーマット）を示す図である。

【図２Ａ】本発明の第１の実施の形態における、映像変
換処理を行うための本発明のデータ変換装置１００を示
す。

【図２Ｂ】本発明のデータ変換装置が行う映像変換処理
の手順を示すフローチャートである。

【図３Ａ】分離部２２（図２Ａ）がＭＰＥＧ映像音声情
報を映像情報と非映像情報に分離する手順を示すフロー
チャートである。

【図３Ｂ】ＭＰＥＧ映像音声情報（図１）が映像情報と
非映像情報とに分離される処理を示す図である。

【図４】結合情報の例を示す図である。

【図５Ａ】映像変換部２４（図２Ａ）が連続する映像情
報を間欠映像情報に変換する処理の手順を示すフローチ
ャートである。

【図５Ｂ】入力された映像情報から取り出したＧＯＰ５
０と、ＧＯＰ５０を変換して得られる間欠映像情報のＧ
ＯＰ５２の対応関係を示す図である。

【図６】映像情報に含まれる複数のＧＯＰ列６０から間
欠映像情報の単一のＧＯＰ６２を生成する場合のヘッダ
およびピクチャの対応関係を示す図である。

【図７Ａ】結合部２６（図２Ａ）が間欠映像情報と非映
像情報とを結合する処理の手順を示すフローチャートで
ある。

【図７Ｂ】間欠映像情報と非映像情報とが結合され、Ｍ
ＰＥＧ映像音声情報が作成される処理を示す図である。

【図８】本発明の第２の実施の形態における、映像に含
まれるカット検出を行うための構成を含むデータ変換装
置８００を示す図である。

【図９】映像を間欠的に、音声を連続的に記録し、再生
するための従来のデータ変換装置を示す図である。

【符号の説明】

２０ 映像音声情報入力部 ２２ 分離部 ２４ 映像変換部 ２６ 結合部 ２８ 映像音声情報記録部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 赤木 宏之 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5C052 AA17 AB03 AB04 AC02 AC03 AC08 CC11 CC20 DD06 GA03 GA04 GA06 GA07 GB06 GB07 GB09 GC06 GD09 GE04 GE08 5C053 FA14 FA27 GB06 GB08 GB09 GB10 GB11 GB12 GB21 GB37 GB40 HA29 JA21 JA30 KA05 5C059 KK39 LB07 MA00 MA23 MC32 PP01 PP05 PP06 PP07 RB01 RC02 RC07 RC32 RC39 SS19 SS30 UA02 UA05

Claims (15)

【特許請求の範囲】
1. 【請求項１】 映像を表す符号化された第１の映像情報
   と映像以外の情報を表す符号化された非映像情報とを含
   む第１のデータ列を入力する入力部と、 前記符号化された第１の映像情報と前記符号化された非
   映像情報とを復号化することなく、前記第１のデータ列
   に含まれる前記符号化された第１の映像情報と前記符号
   化された非映像情報とを分離する分離部と、 分離された前記符号化された第１の映像情報を符号化さ
   れた第２の映像情報に変換する映像変換部と、 前記符号化された第２の映像情報と分離された前記符号
   化された非映像情報とを結合することにより、第２のデ
   ータ列を生成する結合部とを有するデータ変換装置。
2. 【請求項２】 前記符号化された第２の映像情報は、前
   記映像を間引いた間欠映像を表す、請求項１に記載のデ
   ータ変換装置。
3. 【請求項３】 前記分離部は、分離された前記符号化さ
   れた第１の映像情報と前記符号化された非映像情報との
   結合に関する第１の結合情報を前記映像変換部に出力
   し、 前記映像変換部は、前記符号化された第１の映像情報か
   ら前記符号化された第２の映像情報への変換にしたがっ
   て、前記第１の結合情報から、前記符号化された第２の
   映像情報と前記符号化された非映像情報との結合に関す
   る第２の結合情報を生成し、 前記結合部は、前記第２の結合情報に基づいて前記符号
   化された第２の映像情報と前記符号化された非映像情報
   とを結合することにより前記第２のデータ列を生成す
   る、請求項１に記載のデータ変換装置。
4. 【請求項４】 前記符号化された非映像情報は、前記第
   １のデータ列に含まれる前記符号化された第１の映像情
   報の再生と前記符号化された非映像情報との再生を同期
   させるための同期情報を含み、 前記結合部は、前記同期情報を前記符号化された第２の
   データの同期情報として用いる、請求項１に記載のデー
   タ変換装置。
5. 【請求項５】 前記第１のデータ列はＭＰＥＧ圧縮符号
   化された第１のＭＰＥＧデータ列であり、前記第２のデ
   ータ列はＭＰＥＧ圧縮符号化された第２のＭＰＥＧデー
   タ列であり、 前記符号化された第１の映像情報は、所定の数の第１の
   ピクチャを含み、 前記符号化された第２の映像情報は、前記所定の数の第
   ２のピクチャを含む、請求項１に記載のデータ変換装
   置。
6. 【請求項６】 前記映像変換部は、前記所定の数の前記
   第１のピクチャのうち、少なくとも１つのピクチャを除
   くピクチャをダミーピクチャに変換することによって、
   前記少なくとも１つのピクチャと前記ダミーピクチャと
   から前記所定の数の前記第２のピクチャを生成し、 前記少なくとも１つのピクチャは前記映像の一部を表す
   情報を含むピクチャであり、前記ダミーピクチャは前記
   映像の一部の表示を保持させるための情報を含むピクチ
   ャである、請求項５に記載のデータ変換装置。
7. 【請求項７】 前記所定の数の第１のピクチャは、少な
   くともイントラピクチャと非イントラピクチャとを含
   み、前記イントラピクチャと前記非イントラピクチャは
   所定の順序で配置されており、 前記少なくとも１つのピクチャは、最初に配置されたイ
   ントラピクチャを含む、請求項６に記載のデータ変換装
   置。
8. 【請求項８】 前記第１のデータ列はＭＰＥＧ圧縮符号
   化された第１のＭＰＥＧデータ列であり、前記第２のデ
   ータ列はＭＰＥＧ圧縮符号化された第２のＭＰＥＧデー
   タ列であり、 前記符号化された第１の映像情報は、各々が複数のピク
   チャを有する複数のＧＯＰを含み、 前記映像変換部は、複数のＧＯＰのうち第１のＧＯＰの
   少なくとも１つのピクチャを除くピクチャと、前記第１
   のＧＯＰを除く前記複数のＧＯＰの各々に含まれる前記
   複数のピクチャをダミーピクチャに変換することによっ
   て、前記第１のＧＯＰの少なくとも１つのピクチャと前
   記ダミーピクチャとから単一のＧＯＰを生成し、 前記第１のＧＯＰの前記少なくとも１つのピクチャは前
   記映像の一部を表す情報を含むピクチャであり、前記ダ
   ミーピクチャは前記映像の一部の表示を保持させるため
   の情報を含むピクチャであり、 前記複数のＧＯＰに含まれる前記複数のピクチャの総数
   と、前記前記映像変換部によって生成された前記単一の
   ＧＯＰに含まれるピクチャの総数は同じである、請求項
   １に記載のデータ変換装置。
9. 【請求項９】 前記複数のＧＯＰの各々は第１の所定の
   順序で配置されており、 前記複数のＧＯＰの各々に含まれる前記複数のピクチャ
   は、少なくともイントラピクチャと非イントラピクチャ
   とを含み、前記イントラピクチャと前記非イントラピク
   チャは、第２の所定の順序で配置されており、 前記第１のＧＯＰは、前記第１の所定の順序で配置され
   た前記複数のＧＯＰのうち最初に配置されたＧＯＰであ
   り、 前記第１のＧＯＰの少なくとも１つのピクチャは、前記
   第２の所定の順序で配置された前記第１のＧＯＰの前記
   複数のピクチャのうち最初に配置されたイントラピクチ
   ャである、請求項８に記載のデータ変換装置。
10. 【請求項１０】 前記符号化された第１の映像情報は、
    所定の順序で配置され、各々が少なくともイントラピク
    チャを含む複数のＧＯＰを含み、 前記データ変換装置は、 前記符号化された第１の映像情報の所定の部分を復号化
    する部分復号部と、 前記復号された前記所定の部分に基づいて、前記映像の
    特性が大きく変化する画像を表すイベントを検出するイ
    ベント検出部とをさらに含み、 前記映像変換部は、前記イベントに対応するピクチャに
    基づいて少なくとも１つのピクチャを選択し、前記所定
    の数の前記第２のピクチャを生成する、請求項６に記載
    のデータ変換装置。
11. 【請求項１１】 前記少なくとも１つのピクチャは、前
    記イベントに対応するピクチャを含むＧＯＰの次に配置
    されたＧＯＰのイントラピクチャである、請求項１０に
    記載のデータ変換装置。
12. 【請求項１２】 前記少なくとも１つのピクチャは、前
    記イベントに対応するピクチャの次のピクチャである、
    請求項１０に記載のデータ変換装置。
13. 【請求項１３】 前記少なくとも１つのピクチャは、前
    記イベントに対応するピクチャが再生されてから所定の
    時間を経過した後に再生されるピクチャである、請求項
    １０に記載のデータ変換装置。
14. 【請求項１４】 前記データ変換装置は、所定のパラメ
    ータに応じて、前記所定の順序で配置されているピクチ
    ャのうちの任意のピクチャを、前記少なくとも１つのピ
    クチャとして利用する、請求項７に記載のデータ変換装
    置。
15. 【請求項１５】 前記符号化された非映像情報は、前記
    第１の映像情報の情報量を示す第１のパケット長データ
    を含み、 前記結合部は、前記第２の映像情報の情報量にしたがっ
    て前記第１のパケット長データを修正することにより、
    第２のパケット長データを生成し、前記非映像情報とし
    て前記第２のデータ列に含める、請求項１に記載のデー
    タ変換装置。