JPH10155149A - フレームレート変換方式、及びフレームレート変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 端末の処理能力に合わせたフレームレート変
換を行うこと、および動き補償を伴うブロックを含むハ
イブリッド符号化された画像データの高速で負荷の少な
いフレームレート変換を行うこと。 【解決手段】 入力された動き補償を伴うブロックを含
むハイブリッド符号化された画像データを、逆直交変
換、動き検出、直交変換を行わず、複数枚のフレームを
１枚に合成して、端末の処理能力に合わせたフレーム数
の動き補償を伴わないブロックとフレーム内符号化され
たブロックのハイブリッド符号化された画像データに変
換し出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ会議や動画
像伝送を行うにあたり、勧告Ｈ．２６１などを用い、処
理能力の異なる端末間でハイブリッド符号化された画像
データを伝送する際、または伝送速度の異なる通信回線
を中継しハイブリッド符号化された画像データを伝送す
る際、または処理能力が異なる端末間で伝送速度の異な
る通信回線を中継しハイブリッド符号化された画像デー
タを伝送する際のフレームレート変換方式、および動き
補償を伴うフレーム間予測誤差に対して直交変換を行う
ハイブリッド符号化されたデータが含まれる画像データ
のフレームレート変換方式、および動き補償を伴うフレ
ーム間予測誤差に対して直交変換を行うハイブリッド符
号化されたデータが含まれる画像データのフレームレー
ト変換方式を利用した処理能力の異なる端末間でハイブ
リッド符号化された画像データを伝送する際、または伝
送速度の異なる通信回線を中継しハイブリッド符号化さ
れた画像データを伝送する際、または処理能力が異なる
端末間で、伝送速度の異なる通信回線を中継しハイブリ
ッド符号化された画像データを伝送する際のフレームレ
ート変換方式、およびフレームレート変換装置に関する
ものである。

【０００２】

【従来の技術】従来のフレームレート変換装置について
図面を参照しながら説明する。図２０は、従来のフレー
ムレート変換方式（装置）の構成を示すブロック図であ
る。図２０において、８２１，８２５は端末、８２２は
端末８２１に接続されている、伝送速度の速い通信回
線、８２４は端末８２５に接続されている、伝送速度の
遅い通信回線、８２３は、上記伝送速度の速い通信回線
８２２と上記伝送速度の遅い通信回線８２４との間に設
けられた従来のフレームレート変換装置であるフレーム
レート変換部である。

【０００３】次に動作について説明する。図２０におい
て、フレームレート変換装置は、端末８２１から出力さ
れたフレームレートの高いハイブリッド符号化された画
像データを実時間で端末８２５に伝送するために、フレ
ームレート変換部８２３は、速い通信回線８２２上の、
フレームレートの高いハイブリッド符号化された画像デ
ータをフレームレート変換し、遅い通信回線８２４上に
フレームレートの低いハイブリッド符号化された画像デ
ータとして出力していた。

【０００４】また、動き補償を伴うフレーム間予測誤差
に対して、直交変換を行うハイブリッド符号化された画
像データのフレームレート変換方法として、例えば、特
開平７−５０８３４号公報に示されるレート変換画像符
号化装置において、可変長復号器、及び可変長符号器を
追加した構成の装置によるフレームレート変換方法を例
に挙げて、以下、図面を参照しながら説明する。

【０００５】図１０は上記特開平７−５０８３４号公報
のレート変換画像符号化装置において可変長復号器、可
変長符号器を追加した構成のレート変換画像符号化装置
を示すものである。

【０００６】図１０において、９０１は画像データの入
力、９０２は入力された画像データを復号化する可変長
復号化手段、９０３は復号化されたデータを逆量子化す
る逆量子化手段、９１９は逆量子化手段９０３の出力と
画像メモリ９２０から出力されたデータとを加算する加
算手段、９２１，９２２はセレクタ、９２３は逆直交変
換手段、９２４は加算手段、９２５は画像メモリ、９２
６は画像メモリ９２５から出力される画像メモリを入力
とするループ内フィルタ手段、９２７はセレクタ、９２
８は減算手段、９３０は直交変換手段、９３１はセレク
タ、９１４は量子化手段、９３２は逆量子化手段、９３
３は逆直交変換手段、９３４は加算手段、９３５は画像
メモリ、９３６はループ内フィルタ手段、９３７はセレ
クタ、９３８は動き検出手段、９３９は符号化制御手
段、９１７は可変長符号化手段、９１８は出力である。

【０００７】次に動作について説明する。図１０におい
て、入力９０１より入力された、フレームレートの高い
動き補償を伴うフレームのレート変換を行うには、ま
ず、ハイブリッド符号化された画像データを、可変長復
号化手段９０２により可変長復号化し、量子化された動
き補償を伴う予測誤差直交変換データに変換し、続い
て、逆量子化手段９０３によって逆量子化して動き補償
を伴う予測誤差直交変換データに変換する。

【０００８】そして、上記予測誤差直交変換データは、
セレクタ９２２により選択され、逆直交変換手段９２３
により逆直交変換されて動き補償を伴う予測誤差データ
に変換され、加算手段９２４において、セレクタ９２７
にて選択されたループ内フィルタ手段９２６を経由した
画像メモリ９２５と加算されて係数（画素データ）に変
換される。

【０００９】そして、加算手段９２４より出力された係
数（画素データ）と画像メモリ９３５上の係数（画素デ
ータ）とを用いて、動き検出手段９３８は、動き検出を
行って動きベクトルを求め、減算手段９２８により、加
算手段９２４より出力された係数（画素データ）から、
動きベクトルを考慮した画像メモリ９３５をループ内フ
ィルタ手段９３６を経由させた後に減算し、動き補償を
伴う予測誤差データに変換する。

【００１０】そして、上記得られた動き補償を伴う予測
誤差データは、直交変換手段９３０により直交変換され
て、動き補償を伴う予測誤差直交変換データに変換さ
れ、セレクタ９３１により選択され、後段の量子化手段
９１４により量子化されて、量子化された動き補償を伴
う予測誤差直交変換データに変換され、続いて、可変長
符号化手段９１７により可変長符号化され、ハイブリッ
ド符号化された画像データに変換され、出力９１８より
フレームレートの低い動き補償を伴うフレームとして出
力される。

【００１１】また、フレームレートの高いハイブリッド
符号化された画像データがフレーム内符号化された画像
データのみであれば、逆直交変換，動き検出，直交変換
などの途中の処理を省くことができるが、動き補償を伴
うブロックが１つでも含まれていれば、動きベクトルを
検出する必要が生じるため、上記の処理を全て行う必要
があった。

【００１２】上述のように構成されたフレームレート変
換装置では、フレームレートを変換する際に、通信回線
の伝送速度を基準として変換を行っていた。すなわち、
図２０において、例えば、端末８２１が３０ｆｐｓのエ
ンコード能力を有し、端末８２５が５ｆｐｓのデコード
能力を有し、通信回線８２２が３０ｆｐｓの伝送能力を
有し、通信回線８２４が１５ｆｐｓの伝送能力を有する
とする。この時、フレームレート変換装置（変換部８２
３）では、３０ｆｐｓのフレームを１５ｆｐｓになるよ
うに変換していた。

【００１３】このため、通信回線８２４上には１５ｆｐ
ｓのハイブリッド符号化された画像データが伝送される
ことになるが、端末８２５は５ｆｐｓの速度でしかデコ
ードできないために、５ｆｐｓの速度でしか画像を表示
することができない。このことから、デコードされない
不要なハイブリッド符号化された画像データが通信回線
８２４上を伝送されていたことが分かる。従って、フレ
ームレート変換部８２３の後段の通信回線８２４の使用
効率が悪くなる。

【００１４】さらに、上記から分かるように、動き補償
を伴うフレーム、および動き補償を伴うブロックを含む
フレームのレート変換を行うためには、ハイブリッド符
号化されたデータの復号化と、係数（画素データ）の符
号化のための全てのプロセスを実行する必要があり、変
換に時間と負荷がかかっていた。

【００１５】

【発明が解決しようとする課題】従来のフレームレート
変換装置は以上のように構成されており、伝送速度の異
なる通信回線間において、単に、伝送速度の遅い方の通
信回線に合わせて、これに適したフレームレートとなる
ように変換するようにしていたために、フレームレート
変換装置よりも後段の通信回線の使用効率が悪化するこ
とがあるという問題点があった。また、動き補償を伴う
フレームを処理する際の処理時間が長く、かつ、システ
ムにも大きな負荷がかかるという問題点があった。

【００１６】本発明は以上のような問題点を解消するた
めになされたもので、フレームレートの高いハイブリッ
ド符号化された画像データを、フレームレートの低いハ
イブリッド符号化された画像データに変換する際、端末
の処理能力を考慮することにより、通信回線の使用効率
の向上と、端末の処理能力に対応したフレームレートの
ハイブリッド符号化された画像データを生成することが
できるフレームレート変換方式、及びフレームレート変
換装置を提供することを目的とする。

【００１７】また、動き補償を伴うフレーム、および動
き補償を伴うブロックを含むフレームのレート変換を行
う場合でも、演算量を大幅に減らし、高速で負荷の少な
いフレームレート変換を行うことができるフレームレー
ト変換方式、及びフレームレート変換装置を提供するこ
とを目的とする。

【００１８】

【課題を解決するための手段】本発明の請求項１に係る
フレームレート変換方式は、端末間でハイブリッド符号
化された画像データを通信する場合において、一方の端
末をａ１、他方の端末をａ２とし、端末ａ１が接続され
ている通信回線の伝送速度をｂ１、端末ａ２が接続され
ている通信回線の伝送速度をｂ２、さらにａ１の処理能
力をｃ１、端末ａ２の処理能力をｃ２としたとき、フレ
ームレートの高い画像データを端末ａ１側から入力し、
端末ａ２側に出力するフレーム数を、伝送速度がｂ１≧
ｂ２で、かつ端末の処理能力がｃ１＝ｃ２のときには、
ｂ２で伝送できるフレーム数に設定し、伝送速度がｂ１
≧ｂ２で、かつ端末の処理能力がｃ１＞ｃ２のときに
は、ｂ２で伝送できるフレーム数とｃ２で処理できるフ
レーム数のどちらか少ない方のフレーム数に設定し、伝
送速度がｂ１＜ｂ２で、かつ端末の処理能力がｃ１＞ｃ
２のときには、ｂ１で伝送できるフレーム数とｃ２で処
理できるフレーム数のどちらか少ない方のフレーム数に
設定し、伝送速度がｂ１＞ｂ２で、かつ端末の処理能力
がｃ１＜ｃ２のときには、ｂ２で伝送できるフレーム数
とｃ１で処理できるフレーム数のどちらか少ない方のフ
レーム数に設定し、上記端末ａ１から入力されたフレー
ムレートの高い画像データのフレームレートを変換して
上記端末ａ２側にフレームレートの低い画像データとし
て出力するようにしたものである。

【００１９】また、本発明の請求項２に係るフレームレ
ート変換方式は、フレームレートの高い動き補償を伴う
フレーム間予測誤差に対して直交変換を行うハイブリッ
ド符号化された画像データを入力し、動き補償を伴うフ
レーム間予測誤差に対して直交変換を行うハイブリッド
符号化された画像データのフレームを複数枚まとめて１
枚の動き補償を伴わないフレーム間予測誤差に対して直
交変換を行うハイブリッド符号化された画像データのフ
レームに合成することによりフレームレートを変換し、
フレームレートの低い動き補償を伴わないフレーム間予
測誤差に対して直交変換を行うハイブリッド符号化され
た画像データとして出力するようにしたものである。

【００２０】また、本発明の請求項３に係るフレームレ
ート変換方式は、フレームレートの高い動き補償を伴う
フレーム間予測誤差に対して直交変換を行うハイブリッ
ド符号化された画像データと、動き補償を伴わないフレ
ーム間予測誤差に対して直交変換を行うハイブリッド符
号化された画像データとの両方が含まれる画像データを
入力し、動き補償を伴うフレーム間予測誤差に対して直
交変換を行うハイブリッド符号化された画像データと、
動き補償を伴わないフレーム間予測誤差に対して直交変
換を行うハイブリッド符号化された画像データとの両方
が含まれる画像データのフレームを複数枚まとめて１枚
の動き補償を伴わないフレーム間予測誤差に対して直交
変換を行うハイブリッド符号化された画像データのフレ
ームに合成することによりフレームレートを変換し、フ
レームレートの低い動き補償を伴わないフレーム間予測
誤差に対して直交変換を行うハイブリッド符号化された
画像データとして出力するようにしたものである。

【００２１】また、本発明の請求項４に係るフレームレ
ート変換方式は、フレームレートの高い動き補償を伴う
フレーム間予測誤差に対して直交変換を行うハイブリッ
ド符号化された画像データと、フレーム内符号化された
画像データとの両方が含まれる画像データを入力し、動
き補償を伴うフレーム間予測誤差に対して直交変換を行
うハイブリッド符号化された画像データと、フレーム内
符号化された画像データとの両方が含まれる画像データ
のフレームを複数枚まとめて１枚の動き補償を伴わない
フレーム間予測誤差に対して直交変換を行うハイブリッ
ド符号化された画像データと、フレーム内符号化された
画像データとの両方が含まれる画像データのフレームに
合成することによりフレームレートを変換し、フレーム
レートの低い動き補償を伴わないフレーム間予測誤差に
対して直交変換を行うハイブリッド符号化された画像デ
ータと、フレーム内符号化された画像データとの両方が
含まれる画像データとして出力するようにしたのであ
る。

【００２２】また、本発明の請求項５に係るフレームレ
ート変換方式は、フレームレートの高い動き補償を伴う
フレーム間予測誤差に対して直交変換を行うハイブリッ
ド符号化された画像データと、動き補償を伴わないフレ
ーム間予測誤差に対して直交変換を行うハイブリッド符
号化された画像データと、フレーム内符号化された画像
データとの３つが含まれる画像データを入力し、動き補
償を伴うフレーム間予測誤差に対して直交変換を行うハ
イブリッド符号化された画像データと、動き補償を伴わ
ないフレーム間予測誤差に対して直交変換を行うハイブ
リッド符号化された画像データと、フレーム内符号化さ
れた画像データとの３つが含まれる画像データのフレー
ムを複数枚まとめて１枚の動き補償を伴わないフレーム
間予測誤差に対して直交変換を行うハイブリッド符号化
された画像データと、フレーム内符号化された画像デー
タとの両方が含まれる画像データのフレームに合成する
ことによりフレームレートを変換し、フレームレートの
低い動き補償を伴わないフレーム間予測誤差に対して直
交変換を行うハイブリッド符号化された画像データと、
フレーム内符号化された画像データとの両方が含まれる
画像データとして出力するようにしたものである。

【００２３】本発明の請求項６に係るフレームレート変
換方式は、上記請求項１記載のフレームレート変換方式
において、フレームレートの変換を行う際に、上記請求
項２ないし請求項５のいずれかに記載のフレームレート
変換方式を用いてフレームレート変換を行うようにした
ものである。

【００２４】本発明の請求項７に係るフレームレート変
換装置は、上記請求項１ないし請求項６のいずれかに記
載のフレームレート変換方式を用いてフレームレートの
変換を行うようにしたものである。

【００２５】

【発明の実施の形態】

実施の形態１．以下、本発明の請求項１に対応する実施
の形態１．に係るフレームレート変換方式について、図
1 に示す、フレームレート変換方式の構成を参照しなが
ら説明する。

【００２６】図１はフレームレート変換方式の構成を示
すブロック図である。

【００２７】図１において、１２１は端末であり、その
処理能力はｃ１とする。１２２は上記端末１２１の後段
に接続された通信回線であり、その伝送速度はｂ１とす
る。１２３は上記通信回線１２２の後段に接続されたフ
レームレート変換部であり、フレームレート変換情報が
端末１２５から入力され、通信回線１２２の伝送速度ｂ
１と、通信回線１２４の伝送速度ｂ２と、端末１２５の
処理能力ｃ２とをそれぞれ考慮したフレームレート変換
を行うように構成されている。１２４は通信回線であ
り、その伝送速度はｂ２とする。また、１２５は端末で
あり、その処理能力はｃ２とする。

【００２８】以下、フレームレートの高い画像データを
端末１２１側から入力し、通信回線の伝送速度が、ｂ１
≧ｂ２となる関係で、かつ、端末の処理能力が、ｃ１＝
ｃ２のときのフレームレート変換方式について図１を参
照しながら説明する。

【００２９】ここで、ｃ１＝ｃ２であるので、端末同士
の処理能力は等しく、これに合わせたフレームレートの
変換は考慮する必要はない。よって、通信回線間の伝送
速度ｂ１とｂ２の関係に着目することになる。

【００３０】今、通信回線１２４の伝送速度ｂ２は、通
信回線１２２の伝送速度ｂ１以下であるので、フレーム
レート変換部１２３では通信回線１２４の伝送速度ｂ２
で伝送可能なフレームレートに変換すればよいことにな
る。よって、端末１２１側から入力されたフレームレー
トの高いハイブリッド符号化された画像データは、伝送
速度ｂ２の性能にあった、フレームレートの低いハイブ
リッド符号化された画像データにフレームレート変換さ
れ端末１２５側に出力される。端末１２５では、通信回
線１２４の伝送速度ｂ2 と等しいフレームレートの画像
データが送られて、端末１２５の処理能力範囲で完全に
再生されて表示されることになる。

【００３１】次に、フレームレートの高い画像データを
端末１２１側から入力し、通信回線の伝送速度が、ｂ１
≧ｂ２となる関係で、かつ、端末の処理能力が、ｃ１＞
ｃ２の関係となるときのフレームレート変換方式につい
て図１を参照しながら説明する。

【００３２】端末１２１，１２５の処理能力ｃ１とｃ２
の関係に着目すると、端末１２１の処理能力ｃ１よりも
端末１２５の処理能力ｃ２が低いので、端末１２５の処
理能力ｃ２で処理可能なフレームレートに変換すればよ
いことになる。また、通信回線１２２，１２４の伝送速
度ｂ１とｂ２の関係に着目すると、通信回線１２４の伝
送速度ｂ２は通信回線１２２の伝送速度ｂ１以下である
ので、通信回線１２４の伝送速度ｂ２で伝送可能なフレ
ームレートに変換すればよいことになる。

【００３３】ここで、端末１２５の処理能力ｃ２で処理
可能なフレーム数よりも、通信回線１２４の伝送速度ｂ
２で伝送可能なフレーム数の方が多い場合、端末１２５
の処理能力ｃ２で処理可能なフレーム数を超えるフレー
ムを伝送しても端末１２５ではデコードできないので、
通信回線の使用効率が悪くなることになる。これを回避
するために、端末１２１側から入力されたフレームレー
トの高いハイブリッド符号化された画像データは、端末
１２５の処理能力ｃ２の性能にあった、フレームレート
の低いハイブリッド符号化された画像データにフレーム
レート変換されて端末１２５側に出力される。

【００３４】また、端末１２５の処理能力ｃ２で処理可
能なフレーム数よりも、通信回線１２４の伝送速度ｂ２
で伝送可能なフレーム数の方が少ない場合、通信回線１
２４の伝送速度ｂ２で伝送可能なフレーム数しか伝送す
ることができないので、端末１２１側から入力されたフ
レームレートの高いハイブリッド符号化された画像デー
タは、通信回線１２４の伝送速度ｂ２の性能にあった、
フレームレートの低いハイブリッド符号化された画像デ
ータにフレームレート変換されて端末１２５側に出力さ
れる。

【００３５】また、さらに端末１２５の処理能力ｃ２で
処理可能なフレーム数と通信回線１２４の伝送速度ｂ２
で伝送可能なフレーム数とが等しい場合、端末１２１側
から入力されたフレームレートの高いハイブリッド符号
化された画像データは、通信回線１２４の伝送速度ｂ
２、もしくは端末１２５の処理能力ｃ２の性能にあっ
た、フレームレートの低いハイブリッド符号化された画
像データにフレームレート変換されて端末１２５側に出
力される。

【００３６】次に、フレームレートの高い画像データ
を、端末１２１側から入力し、通信回線の伝送速度がｂ
１＜ｂ２となる関係で、かつ、端末の処理能力が、ｃ１
＞ｃ２の関係となるときのフレームレート変換方式につ
いて図１を参照しながら説明する。

【００３７】端末１２１，１２５の処理能力ｃ１とｃ２
の関係に着目すると、端末１２１の処理能力ｃ１よりも
端末１２５の処理能力ｃ２が低いので、端末１２５の処
理能力ｃ２で処理可能なフレームレートに変換すればよ
いことになる。また、通信回線１２２，１２４の伝送速
度ｂ１とｂ２の関係に着目すると、通信回線１２２の伝
送速度ｂ１は通信回線１２４の伝送速度ｂ２よりも遅い
ので、伝送速度ｂ１で伝送可能なフレームレートに変換
すればよいことになる。

【００３８】ここで、端末１２５の処理能力ｃ２で処理
可能なフレーム数よりも通信回線１２２の伝送速度ｂ１
で伝送可能なフレーム数の方が多い場合、端末１２５の
処理能力ｃ２で処理可能なフレーム数を超えるフレーム
を伝送しても端末１２５ではデコードできないので、通
信回線の使用効率が悪くなることになる。これを回避す
るために、端末１２１側から入力されたフレームレート
の高いハイブリッド符号化された画像データは、端末１
２５の処理能力ｃ２の性能にあった、フレームレートの
低いハイブリッド符号化された画像データにフレームレ
ート変換されて端末１２５側に出力される。

【００３９】また、端末１２５の処理能力ｃ２で処理可
能なフレーム数よりも、通信回線１２２の伝送速度ｂ１
で伝送可能なフレーム数の方が少ない場合、通信回線１
２２の伝送速度ｂ１で伝送可能なフレーム数しか伝送す
ることができないので、端末１２１側から入力されたフ
レームレートの高いハイブリッド符号化された画像デー
タは、通信回線１２２の伝送速度ｂ１の性能にあった、
フレームレートの低いハイブリッド符号化された画像デ
ータにフレームレート変換されて端末１２５側に出力さ
れる。

【００４０】また、さらに、端末１２５の処理能力ｃ２
で処理可能なフレーム数と通信回線１２２の伝送速度ｂ
１で伝送可能なフレーム数とが等しい場合、端末１２１
側から入力されたフレームレートの高いハイブリッド符
号化された画像データは、通信回線１２２の伝送速度ｂ
１、もしくは端末１２５の処理能力ｃ２の性能にあっ
た、フレームレートの低いハイブリッド符号化された画
像データにフレームレート変換されて端末１２５側に出
力される。

【００４１】次に、フレームレートの高い画像データを
端末１２１側から入力し、通信回線の伝送速度がｂ１＞
ｂ２となる関係で、かつ、端末の処理能力が、ｃ１＜ｃ
２の関係となるときのフレームレート変換方式について
図１を参照しながら説明する。

【００４２】端末１２１，１２５の処理能力ｃ１とｃ２
の関係に着目すると、端末１２５の処理能力ｃ２よりも
端末１２１の処理能力ｃ１が低いので、端末１２１の処
理能力ｃ１で処理可能なフレームレートに変換すればよ
いことになる。また、通信回線１２２，１２４のの伝送
速度ｂ１とｂ２の関係に着目すると、通信回線１２４の
伝送速度ｂ２は通信回線１２２の伝送速度ｂ１よりも遅
いので、通信回線１２４の伝送速度ｂ２で伝送可能なフ
レームレートに変換すればよいことになる。

【００４３】ここで、端末１２１の処理能力ｃ１で処理
可能なフレーム数よりも、通信回線１２４の伝送速度ｂ
２で伝送可能なフレーム数の方が多い場合、端末１２１
の処理能力ｃ１で処理可能なフレーム数を超えるフレー
ムは通信回線１２４の伝送速度ｂ２を利用しても、伝送
できない。よって、端末１２１側から入力されたハイブ
リッド符号化された画像データは、フレームレート変換
されずに、そのまま端末１２５側に出力される。

【００４４】また、端末１２１の処理能力ｃ１で処理可
能なフレーム数よりも、通信回線１２４の伝送速度ｂ２
で伝送可能なフレーム数の方が少ない場合、通信回線１
２４の伝送速度ｂ２で伝送可能なフレーム数しか伝送す
ることができないので、端末１２１側から入力されたフ
レームレートの高いハイブリッド符号化された画像デー
タは、通信回線１２４の伝送速度ｂ２の性能にあった、
フレームレートの低いハイブリッド符号化された画像デ
ータにフレームレート変換されて端末１２５側に出力さ
れる。

【００４５】また、端末１２１の処理能力ｃ１で処理可
能なフレーム数と通信回線１２４の伝送速度ｂ２で伝送
可能なフレーム数とが等しい場合、端末１２１側から入
力されたハイブリッド符号化された画像データは、フレ
ームレート変換されずに、そのまま端末１２５側に出力
される。

【００４６】以下、フレームレート変換処理の詳細につ
いて説明する。入力される画像データを、０からｉ番目
のフレームまではフレームレート変換なしとし、（ｉ＋
１）から（ｉ＋ｎ）番目のフレームまでを合成してフレ
ームレート変換を行い、（ｉ＋ｎ＋１）番目のフレーム
以降のフレームは、フレームレート変換なしとして説明
する。また、入力されたフレームレートの高い画像デー
タがフレーム内符号化されたデータである場合を例にあ
げて、図面を参照しながら説明する。

【００４７】図２は入力されたフレームレートの高い画
像データのうち、（ｉ＋１）から（ｉ＋ｎ）番目のフレ
ームまでが、フレーム内符号化されたデータである場合
の、（ｉ＋ｎ）番目のフレームの処理時のフレームレー
ト変換方式を示すものである。

【００４８】図２において、１０１は入力であり、フレ
ームレートの高い画像データが入力される。

【００４９】また、１０２は可変長復号化手段であり、
ハイブリッド符号化データを可変長復号化することによ
り、量子化された動き補償を伴う予測誤差直交変換デー
タ，量子化された動き補償を伴わない予測誤差直交変換
データ，量子化された直交変換係数に変換する。また、
同時に、入力側の端末の符号化装置で設定されたフレー
ム内／フレーム間識別を検出して、フレーム内／フレー
ム間（ｉｎ）を設定し、また、入力側端末の符号化装置
で設定された、動き補償あり／なし識別を検出して、動
き補償あり／なし（ｉｎ）を設定し、また、入力側端末
の符号化装置で設定された量子化係数を検出して、量子
化係数（ｉｎ）を設定し、さらに、入力側端末の符号化
装置で設定された動きベクトルを検出して、動きベクト
ル（ｉｎ）を設定する。

【００５０】１０３は逆量子化手段であり、上記設定さ
れた量子化係数（ｉｎ）により、量子化された動き補償
を伴う予測誤差直交変換データ，量子化された動き補償
を伴わない予測誤差直交変換データ，量子化された直交
変換係数を、動き補償を伴う予測誤差直交変換データ，
動き補償を伴わない予測誤差直交変換データ，直交変換
係数にそれぞれ変換する。

【００５１】１０４は予測誤差直交変換データ加算手段
であり、動きベクトル・直交変換係数演算手段１０８に
て動きベクトルを考慮して演算された直交変換係数、ま
たは画像メモリ１０６に記憶されている直交変換係数
と、動き補償を伴う予測誤差直交変換データ、または動
き補償を伴わない予測誤差直交変換データとを加算す
る。

【００５２】１０５は直交変換係数選択手段であり、上
記設定されたフレーム内／フレーム間（ｉｎ）により制
御される。すなわち、上記フレーム内／フレーム間（ｉ
ｎ）が「フレーム内」の時は、逆量子化手段１０３によ
り逆量子化された直交変換係数が選択され、上記フレー
ム内／フレーム間（ｉｎ）が「フレーム間」の時は、予
測誤差直交変換データ加算手段１０４により算出された
直交変換係数が選択され出力される。

【００５３】１０６は画像メモリであり、上記直交変換
係数選択手段１０５により選択された直交変換係数を記
憶するためのものである。

【００５４】１０７は動き補償あり／なし（ｉｎ）判断
手段であり、動き補償が「あり」の時は画像メモリ１０
６に記憶されている直交変換係数を後述する動きベクト
ル・直交変換係数演算手段１０８に出力する。動き補償
が「なし」の時は画像メモリ１０６に記憶されている直
交変換係数を、予測誤差直交変換データ加算手段１０４
に出力する。

【００５５】１０８は動きベクトル・直交変換係数演算
手段であり、動きベクトル（ｉｎ）を用いて、動き補償
あり／なし（ｉｎ）判断手段１０７にて「あり」と判断
されたときの画像メモリ１０６に記憶されていた直交変
換係数を、マトリクス演算することにより、動きベクト
ルを考慮して演算された直交変換係数を算出する。マト
リクス演算については後述する方法を用いることとす
る。

【００５６】１０９は初期画像取込選択手段であり、後
述する符号化制御・フレーム内／フレーム間判断手段１
１３により設定された画像取込指示により、画像メモリ
１０６に記憶されている直交変換係数を取り込み、後述
する画像メモリ１１０に直交変換係数を出力する。

【００５７】１１０は画像メモリであり、初期画像取込
選択手段１０９により選択された直交変換係数を記憶す
るためのものである。

【００５８】１１１はフレーム内／フレーム間（ｉｎ）
判断手段であり、「フレーム内」の時は、画像メモリ１
０６の直交変換係数を後段の符号化制御・フレーム内／
フレーム間判断手段１１３へ出力し、「フレーム間」の
時は、画像メモリ１０６の直交変換係数を後述する直交
変換係数減算手段１１２へ出力する。

【００５９】１１２は直交変換係数減算手段であり、フ
レーム内／フレーム間（ｉｎ）判断手段１１１で、「フ
レーム間」と判断されたときに画像メモリ１０６に記憶
されていた直交変換係数から、画像メモリ１１０の直交
変換係数を減算する。

【００６０】１１３は符号化制御・フレーム内／フレー
ム間判断手段であり、フレームレート変換が行われてい
ない時には、動き補償あり／なし（ｉｎ）をそのまま動
き補償あり／なし（ｏｕｔ）として出力し、フレームレ
ート変換が行われている時には、動き補償あり／なし
（ｏｕｔ）を「なし」に設定して出力する。また、フレ
ームレート変換を行う１つ前のフレームを画像メモリ１
１０に記憶させるために、画像取込指示を出力する。ま
た、フレーム内／フレーム間（ｉｎ）を用いて、フレー
ム内／フレーム間（ｉｎ）判断手段１１１からの直交変
換係数と、直交変換係数減算手段１１２からの動き補償
を伴わない予測誤差直交変換データとの選択を行い、後
述する量子化手段１１４へ出力する。また、量子化係数
（ｉｎ）を再設定し、これを量子化係数（ｏｕｔ）とし
て後述する量子化手段１１４へ出力する。

【００６１】１１４は量子化手段であり、上記出力され
た量子化係数（ｏｕｔ）により、動き補償を伴わない予
測誤差直交変換データ，直交変換係数を、量子化された
動き補償を伴わない予測誤差直交変換データ，量子化さ
れた直交変換係数にそれぞれ変換する。

【００６２】１１５はフレームレート変換制御手段であ
り、フレームレート変換情報より、フレームレート変換
の継続／終了を判断する。そして、フレームレート変換
終了後、可変長符号化手段１１７に、量子化された動き
補償を伴わない予測誤差直交変換データ，量子化された
直交変換係数を出力し、フレームレート変換が行われな
い時は、可変長復号化手段１０２からの量子化された動
き補償を伴う予測誤差直交変換データ，量子化された動
き補償を伴わない予測誤差直交変換データ，量子化され
た直交変換係数をそのまま出力する。

【００６３】１１６は動きベクトル選択手段であり、上
記符号化制御・フレーム内／フレーム間判断手段１１３
から出力された動き補償あり／なし（ｏｕｔ）により、
動きベクトルの選択を行う。すなわち、動き補償あり／
なし（ｏｕｔ）が「あり」の時は、動きベクトル（ｉ
ｎ）を後述する可変長符号化手段１１７にそのまま出力
し、「なし」の時には可変長符号化手段１１７には、動
きベクトル（ｉｎ）を出力しない。

【００６４】１１７は可変長符号化手段であり、量子化
された動き補償を伴う予測誤差直交変換データ，量子化
された動き補償を伴わない予測誤差直交変換データ，量
子化された直交変換係数を可変長符号化することによ
り、ハイブリッド符号化データに変換する。また、同時
に、フレーム内／フレーム間（ｉｎ）により、出力側端
末の復号化装置に対して設定されたフレーム内／フレー
ム間識別を設定し、動き補償あり／なし（ｏｕｔ），動
きベクトル（ｉｎ）により、出力側端末の復号化装置に
対して動き補償あり／なし識別，動きベクトルを設定
し、量子化係数（ｉｎ）により、出力側端末の復号化装
置に対して量子化係数を設定する。

【００６５】１１８は出力であり、ここからフレームレ
ートの低い画像データが出力される。

【００６６】ここで、Ｅｍｖ（ｉ）は動き補償を伴う予
測誤差直交変換データ、Ｑ（Ｅｍｖ（ｉ））は量子化さ
れた動き補償を伴う予測誤差直交変換データ、Ｖ（Ｑ
（Ｅｍｖ（ｉ）））は量子化され可変長符号化された動
き補償を伴う予測誤差直交変換データ、Ｓ（ｉ）は直交
変換係数、Ｑ（Ｓ（ｉ））は量子化された直交変換係
数、Ｖ（Ｑ（Ｓ（ｉ）））は量子化され可変長符号化さ
れた直交変換係数、Ｓ’（ｉ）は動きベクトルを考慮し
て演算された直交変換係数、Ｅ（ｉ）は動き補償を伴わ
ない予測誤差直交変換データ、Ｑ（Ｅ（ｉ））は量子化
された動き補償を伴わない予測誤差直交変換データ、Ｖ
（Ｑ（Ｅ（ｉ）））は量子化され可変長符号化された動
き補償を伴わない予測誤差直交変換データ、Ｅｍｖ＿ｎ
ｏｎｍｖ（ｉ）は動き補償を伴う予測誤差直交変換デー
タ、または動き補償を伴わない予測誤差直交変換デー
タ、Ｑ（Ｅｍｖ＿ｎｏｎｍｖ（ｉ））は量子化された動
き補償を伴う予測誤差直交変換データ、または量子化さ
れた動き補償を伴わない予測誤差直交変換データ、Ｖ
（Ｑ（Ｅｍｖ＿ｎｏｎｍｖ（ｉ）））は量子化され可変
長符号化された動き補償を伴う予測誤差直交変換デー
タ、または量子化され可変長符号化された動き補償を伴
わない予測誤差直交変換データ、ＳＥｍｖ（ｉ）は動き
補償を伴う予測誤差直交変換データ、または直交変換係
数、Ｑ（ＳＥｍｖ（ｉ））は量子化された動き補償を伴
う予測誤差直交変換データ、または量子化された直交変
換係数、Ｖ（Ｑ（ＳＥｍｖ（ｉ）））は量子化され可変
長符号化された動き補償を伴う予測誤差直交変換デー
タ、または量子化され可変長符号化された直交変換係
数、ＳＥｍｖ＿ｎｏｎｍｖ（ｉ）は動き補償を伴う予測
誤差直交変換データ、または、動き補償を伴わない予測
誤差直交変換データ、あるいは直交変換係数、Ｑ（ＳＥ
ｍｖ＿ｎｏｎｍｖ（ｉ））は量子化された動き補償を伴
う予測誤差直交変換データ、または量子化された動き補
償を伴わない予測誤差直交変換データ、あるいは量子化
された直交変換係数、Ｖ（Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ
（ｉ）））は量子化され可変長符号化された動き補償を
伴う予測誤差直交変換データ、または量子化され可変長
符号化された動き補償を伴わない予測誤差直交変換デー
タ、または量子化され可変長符号化された直交変換係数
とする。

【００６７】フレームレート変換しない０〜ｉフレーム
までは、可変長復号化手段１０２，逆量子化手段１０
３，予測誤差直交変換データ加算手段１０４，直交変換
係数選択手段１０５，動き補償あり／なし（ｉｎ）判断
手段１０７，動きベクトル・直交変換係数演算手段１０
８を経由して画像メモリ１０６にＳ（ｉ）として記憶さ
れる。また、初期画像取込選択手段１０９を経由し、画
像メモリ１１０にもＳ（ｉ）として記憶される。また、
可変長復号化手段１０２により可変長復号化されたＱ
（ＳＥｍｖ＿ｎｏｎｍｖ（０））からＱ（ＳＥｍｖ＿ｎ
ｏｎｍｖ（ｉ））は、フレームレート変換制御手段１１
５により選択されて、可変長符号化手段１１７により可
変長符号化されて、Ｖ（Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ
（０）））からＶ（Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ
（ｉ）））として出力される。

【００６８】一方、フレームレート変換を行う（ｉ＋
１）フレームは、可変長復号化手段１０２により可変長
復号化され、量子化された直交変換係数Ｑ（Ｓ（ｉ＋
１））に変換される。

【００６９】そして、Ｑ（Ｓ（ｉ＋１））は逆量子化手
段１０３により、逆量子化され、直交変換係数Ｓ（ｉ＋
１）に変換される。この、Ｓ（ｉ＋１）は、直交変換係
数選択手段１０５にて、「フレーム内」と判断され、画
像メモリ１０６にＳ（ｉ＋１）として記憶される。

【００７０】（ｉ＋２）から（ｉ＋ｎ）番目のフレーム
までについても、上記（ｉ＋１）番目のフレームと同様
の処理を繰り返すことで処理される。

【００７１】そして、上記（ｉ＋ｎ）フレームの処理が
終了した時点で、画像メモリ１０６には直交変換係数Ｓ
（ｉ＋ｎ）が記憶されており、画像メモリ１１０には直
交変換係数Ｓ（ｉ）が記憶されている。

【００７２】上記直交変換係数Ｓ（ｉ＋ｎ）はフレーム
内／フレーム間（ｉｎ）判断手段１１１で「フレーム
内」と判断され、Ｓ（ｉ＋ｎ）がそのまま出力される。
ここで、直交変換係数Ｓ（ｉ＋ｎ）を新たな（ｉ＋１）
番目のフレームとし、Ｓ（ｉ＋１）＝Ｓ（ｉ＋ｎ）とす
る。

【００７３】上記直交変換係数Ｓ（ｉ＋１）は、符号化
制御・フレーム内／フレーム間判断手段１１３にて、フ
レーム内／フレーム間（ｉｎ）を用いることにより、
「フレーム内」と判断され、選択される。フレームレー
ト変換中は、動き補償あり／なし（ｏｕｔ）は「なし」
に設定される。画像取込指示は量子化手段１１４にＳ
（ｉ＋１）が出力された後、出力される。

【００７４】Ｓ（ｉ＋１）は量子化手段１１４により量
子化されて、量子化された直交変換係数Ｑ（Ｓ（ｉ＋
１））に変換される。

【００７５】この量子化された直交変換係数Ｑ（Ｓ（ｉ
＋１））は、可変長符号化手段１１７により、可変長符
号化され、量子化され可変長符号化された直交変換係数
Ｖ（Ｑ（Ｓ（ｉ＋１）））として出力される。

【００７６】一方、フレームレート変換しない（ｉ＋ｎ
＋１）番目のフレームは、可変長復号化手段１０２，逆
量子化手段１０３，予測誤差直交変換データ加算手段１
０４，直交変換係数選択手段１０５，動き補償あり／な
し（ｉｎ）判断手段１０７，動きベクトル・直交変換係
数演算手段１０８を経由して画像メモリ１０６に直交変
換係数Ｓ（ｉ＋ｎ＋１）として記憶される。また、初期
画像取込選択手段１０９を経由して画像メモリ１１０に
も直交変換係数Ｓ（ｉ＋ｎ＋１）として記憶される。ま
た、可変長復号化手段１０２により可変長復号化されて
得られた、Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ（ｉ＋ｎ＋１））
はフレームレート変換制御手段１１５により選択され
て、Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ（ｉ＋２））となり、さ
らに可変長符号化手段１１７により可変長符号化され
て、Ｖ（Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ（ｉ＋２）））とし
て出力される。そして、（ｉ＋ｎ＋１）より後のフレー
ムについても上記（ｉ＋ｎ＋１）番目のフレームと同様
の処理が行われる。

【００７７】以上のようにして、フレームレート変換部
１２３で、フレームレートの高いハイブリッド符号化さ
れた画像データを、フレームレートの低いハイブリッド
符号化された画像データに変換する際に、通信回線の伝
送速度と端末の処理能力とを考慮し、最も律速となる処
理速度に合わせてフレームレートを変換するようにした
から、通信回線の使用効率が悪化することがなくなる。

【００７８】また、ハイブリッド符号化された画像デー
タの中の任意の開始フレーム、任意の合成フレーム枚数
を制御することにより、動き補償を伴うフレーム間予測
誤差に対して直交変換を行うハイブリッド符号化された
データ、及びフレーム内符号化されたデータに対して、
該データのみを選択的にフレームレート変換を行うこと
ができ、演算量が大幅に減少し、高速で負荷の少ないフ
レームレート変換を行うことができる。参考までに、勧
告Ｈ．２６１の復号器、および符号器において全ての演
算量を１００％とすると、逆直交変換：約１０％、直交
変換：約１０％、動き検出：約４５％の演算量が必要で
あるとの報告(Interface 96 年1 月号)もあり、本実施
の形態によれば演算量が大幅に減ることが期待できる。

【００７９】実施の形態２．以下、本発明の請求項２に
対応する実施の形態２．に係るフレームレート変換方式
について、図面を参照しながら説明する。

【００８０】図３は入力されたフレームレートの高い画
像データで、（ｉ＋１）から（ｉ＋ｎ）番目のフレーム
までが、動き補償を伴うフレーム間予測誤差に対して直
交変換を行うハイブリッド符号化されたデータである場
合の、（ｉ＋ｎ）番目のフレームの処理時のフレームレ
ート変換方式を示すものである。

【００８１】図３において、２０１は入力であり、フレ
ームレートの高い画像データが入力される。

【００８２】２０２は可変長復号化手段であり、ハイブ
リッド符号化データを可変長復号化することにより、量
子化された動き補償を伴う予測誤差直交変換データ，量
子化された動き補償を伴わない予測誤差直交変換デー
タ，量子化された直交変換係数に変換する。また、同時
に、入力側の端末の符号化装置で設定されたフレーム内
／フレーム間識別を検出して、フレーム内／フレーム間
（ｉｎ）を設定し、また、入力側端末の符号化装置で設
定された動き補償あり／なし識別を検出して、動き補償
あり／なし（ｉｎ）を設定し、また、入力側端末の符号
化装置で設定された量子化係数を検出して、量子化係数
（ｉｎ）を設定し、さらに、入力側端末の符号化装置で
設定された動きベクトルを検出して、動きベクトル（ｉ
ｎ）を設定する。

【００８３】２０３は逆量子化手段であり、上記設定さ
れた量子化係数（ｉｎ）により、量子化された動き補償
を伴う予測誤差直交変換データ，量子化された動き補償
を伴わない予測誤差直交変換データ，量子化された直交
変換係数を、動き補償を伴う予測誤差直交変換データ，
動き補償を伴わない予測誤差直交変換データ，直交変換
係数にそれぞれ変換する。

【００８４】２０４は予測誤差直交変換データ加算手段
であり、動きベクトル・直交変換係数演算手段２０８に
て動きベクトルを考慮して演算された直交変換係数、ま
たは画像メモリ２０６に記憶されている直交変換係数
と、動き補償を伴う予測誤差直交変換データ、または動
き補償を伴わない予測誤差直交変換データとを加算す
る。

【００８５】２０５は直交変換係数選択手段であり、上
記設定されたフレーム内／フレーム間（ｉｎ）により制
御される。すなわち、上記フレーム内／フレーム間（ｉ
ｎ）が「フレーム内」の時は、逆量子化手段２０３によ
り逆量子化された直交変換係数が選択され、上記フレー
ム内／フレーム間（ｉｎ）が「フレーム間」の時は予測
誤差直交変換データ加算手段２０４により算出された直
交変換係数が選択され出力される。

【００８６】２０６は画像メモリであり、上記直交変換
係数選択手段２０５により選択された直交変換係数を記
憶するためのものである。

【００８７】２０７は動き補償あり／なし（ｉｎ）判断
手段であり、動き補償が「あり」の時は画像メモリ２０
６に記憶されている直交変換係数を動きベクトル・直交
変換係数演算手段２０８に出力する。動き補償が「な
し」の時は画像メモリ２０６に記憶されている直交変換
係数を予測誤差直交変換データ加算手段２０４に出力す
る。

【００８８】２０８は動きベクトル・直交変換係数演算
手段であり、動きベクトル（ｉｎ）を用いて、動き補償
あり／なし（ｉｎ）判断手段２０７にて「あり」と判断
された画像メモリ２０６に記憶されていた直交変換係数
を、マトリクス演算することにより、動きベクトルを考
慮して演算された直交変換係数を算出する。マトリクス
演算については後述の方法を用いる。

【００８９】２０９は初期画像取込選択手段であり、後
述する符号化制御・フレーム内／フレーム間判断手段２
１３により設定された画像取込指示により、画像メモリ
２０６に記憶されている直交変換係数を取り込み、後述
する画像メモリ２１０に直交変換係数を出力する。

【００９０】２１０は画像メモリであり、初期画像取込
選択手段２０９により選択された直交変換係数を記憶す
るためのものである。

【００９１】２１１はフレーム内／フレーム間（ｉｎ）
判断手段であり、「フレーム内」の時は、画像メモリ２
０６の直交変換係数を後段の符号化制御・フレーム内／
フレーム間判断手段２１３へ出力し、「フレーム間」の
時は、画像メモリ２０６の直交変換係数を後述する直交
変換係数減算手段２１２へ出力する。

【００９２】２１２は直交変換係数減算手段であり、フ
レーム内／フレーム間（ｉｎ）判断手段２１１で、「フ
レーム間」と判断されたときに画像メモリ２０６に記憶
されていた直交変換係数から、画像メモリ２１０の直交
変換係数を減算する。

【００９３】２１３は符号化制御・フレーム内／フレー
ム間判断手段であり、フレームレート変換が行われてい
ない時には、動き補償あり／なし（ｉｎ）をそのまま動
き補償あり／なし（ｏｕｔ）として出力し、フレームレ
ート変換が行われている時には、動き補償あり／なし
（ｏｕｔ）は「なし」に設定して出力する。また、フレ
ームレート変換を行う１つ前のフレームを画像メモリ２
１０に記憶させるために、画像取込指示を出力する。ま
た、フレーム内／フレーム間（ｉｎ）を用いて、フレー
ム内／フレーム間（ｉｎ）判断手段２１１からの直交変
換係数と、直交変換係数減算手段２１２からの動き補償
を伴わない予測誤差直交変換データとの選択を行い、後
述する量子化手段２１４へ出力する。また、量子化係数
（ｉｎ）を再設定し、量子化係数（ｏｕｔ）として後述
する量子化手段２１４へ出力する。

【００９４】２１４は量子化手段であり、上記出力され
た量子化係数（ｏｕｔ）により、動き補償を伴わない予
測誤差直交変換データ，直交変換係数を、量子化された
動き補償を伴わない予測誤差直交変換データ，量子化さ
れた直交変換係数にそれぞれ変換する。

【００９５】２１５はフレームレート変換制御手段であ
り、フレームレート変換情報より、フレームレート変換
の継続／終了を判断する。そして、フレームレート変換
終了後、可変長符号化手段２１７に、量子化された動き
補償を伴わない予測誤差直交変換データ，量子化された
直交変換係数を出力し、フレームレート変換が行われな
い時は、可変長復号化手段２０２からの量子化された動
き補償を伴う予測誤差直交変換データ，量子化された動
き補償を伴わない予測誤差直交変換データ，量子化され
た直交変換係数をそのまま出力する。

【００９６】２１６は動きベクトル選択手段であり、上
記符号化制御・フレーム内／フレーム間判断手段２１３
から出力された動き補償あり／なし（ｏｕｔ）により、
動きベクトルの選択を行う。すなわち、動き補償あり／
なし（ｏｕｔ）が「あり」の時は、動きベクトル（ｉ
ｎ）を可変長符号化手段２１７にそのまま出力し、「な
し」の時には、可変長符号化手段２１７には動きベクト
ル（ｉｎ）を出力しない。

【００９７】２１７は可変長符号化手段であり、量子化
された動き補償を伴う予測誤差直交変換データ，量子化
された動き補償を伴わない予測誤差直交変換データ，量
子化された直交変換係数を可変長符号化することによ
り、ハイブリッド符号化データに変換する。また、同時
に、フレーム内／フレーム間（ｉｎ）により、出力側端
末の復号化装置に対して設定されたフレーム内／フレー
ム間識別を設定し、動き補償あり／なし（ｏｕｔ），動
きベクトル（ｉｎ）により、出力側端末の復号化装置に
対して、動き補償あり／なし識別，動きベクトルを設定
し、量子化係数（ｉｎ）により、出力側端末の復号化装
置に対して量子化係数を設定する。

【００９８】２１８は出力であり、ここからフレームレ
ートの低い画像データが出力される。

【００９９】以下、フレームレート変換処理の詳細につ
いて説明する。入力される画像データを、０からｉ番目
のフレームまではフレームレート変換なしとし、（ｉ＋
１）から（ｉ＋ｎ）番目のフレームまでを合成して、フ
レームレート変換を行い、（ｉ＋ｎ＋１）番目のフレー
ム以降のフレームは、フレームレート変換なしとして説
明する。

【０１００】フレームレート変換しない０〜ｉフレーム
までは、可変長復号化手段２０２，逆量子化手段２０
３，予測誤差直交変換データ加算手段２０４，直交変換
係数選択手段２０５，動き補償あり／なし（ｉｎ）判断
手段２０７，動きベクトル・直交変換係数演算手段２０
８を経由して画像メモリ２０６にＳ（ｉ）として記憶さ
れる。また、初期画像取込選択手段２０９を経由し、画
像メモリ２１０にもＳ（ｉ）として記憶される。また、
可変長復号化手段２０２により可変長復号化されたＱ
（Ｅｍｖ（０））からＱ（Ｅｍｖ（ｉ））は、フレーム
レート変換制御手段２１５により選択されて、可変長符
号化手段２１７により可変長符号化されて、Ｖ（Ｑ（Ｅ
ｍｖ（０）））からＶ（Ｑ（Ｅｍｖ（ｉ）））として出
力される。

【０１０１】一方、フレームレート変換を行う（ｉ＋
１）フレームは、可変長復号化手段２０２により可変長
復号化され、量子化された動き補償を伴う予測誤差直交
変換データＱ（Ｅｍｖ（ｉ＋１））に変換される。

【０１０２】そして、Ｑ（Ｅｍｖ（ｉ＋１））は逆量子
化手段２０３により、逆量子化され、動き補償を伴う予
測誤差直交変換データＥｍｖ（ｉ＋１）に変換される。

【０１０３】このＥｍｖ（ｉ＋１）は、予測誤差直交変
換データ加算手段２０４により、動き補償あり／なし
（ｉｎ）判断手段２０７で「あり」と判断される画像メ
モリ２０６に記憶されているＳ（ｉ）を、動きベクトル
・直交変換係数演算手段２０８で処理したＳ’（ｉ）と
加算され、直交変換係数選択手段２０５にて、「フレー
ム間」と判断され、画像メモリ２０６にＳ（ｉ＋１）と
して記憶される。

【０１０４】（ｉ＋２）から（ｉ＋ｎ）番目のフレーム
までについても、上記（ｉ＋１）番目のフレームと同様
の処理を繰り返すことで処理される。

【０１０５】そして、上記（ｉ＋ｎ）フレームの処理が
終了した時点で、画像メモリ２０６には直交変換係数Ｓ
（ｉ＋ｎ）が記憶されており、画像メモリ２１０には直
交変換係数Ｓ（ｉ）が記憶されている。

【０１０６】上記直交変換係数Ｓ（ｉ＋ｎ）は、フレー
ム内／フレーム間（ｉｎ）判断手段２１１で、「フレー
ム間」と判断され、直交変換係数減算手段２１２によ
り、Ｓ（ｉ＋ｎ）−Ｓ（ｉ）の処理が行われ、Ｓ（ｎ）
が算出される。ここで、Ｓ（ｎ）は、動き補償を伴わな
い予測誤差直交変換データであり、（ｉ＋１）番目のフ
レームのデータとすると、Ｅ（ｉ＋１）＝Ｓ（ｎ）とす
ることができる。

【０１０７】上記動き補償を伴わない予測誤差直交変換
データＥ（ｉ＋１）は符号化制御・フレーム内／フレー
ム間判断手段２１３にて、フレーム内／フレーム間（ｉ
ｎ）を用いることにより、「フレーム間」と判断され、
選択される。フレームレート変換中は、動き補償あり／
なし（ｏｕｔ）は「なし」に設定される。画像取込指示
は量子化手段２１４にＥ（ｉ＋１）が出力された後、出
力される。

【０１０８】Ｅ（ｉ＋１）は量子化手段２１４により量
子化されて、量子化された動き補償を伴わない予測誤差
直交変換データＱ（Ｅ（ｉ＋１））に変換される。

【０１０９】この量子化された動き補償を伴わない予測
誤差直交変換データＱ（Ｅ（ｉ＋１））は可変長符号化
手段２１７により、可変長符号化され、量子化され可変
長符号化された動き補償を伴わない予測誤差直交変換デ
ータＶ（Ｑ（Ｅ（ｉ＋１）））として出力される。

【０１１０】一方、フレームレート変換しない（ｉ＋ｎ
＋１）番目のフレームは、可変長復号化手段２０２，逆
量子化手段２０３，予測誤差直交変換データ加算手段２
０４，直交変換係数選択手段２０５，動き補償あり／な
し（ｉｎ）判断手段２０７，動きベクトル・直交変換係
数演算手段２０８を経由して、画像メモリ２０６に直交
変換係数Ｓ（ｉ＋ｎ＋１）として記憶される。また、初
期画像取込選択手段２０９を経由して画像メモリ２１０
にもＳ（ｉ＋ｎ＋１）として記憶される。また、可変長
復号化手段２０２により可変長復号化されて得られたＱ
（Ｅｍｖ（ｉ＋ｎ＋１））は、フレームレート変換制御
手段２１５により選択されて、Ｑ（Ｅｍｖ（ｉ＋２））
となり、さらに可変長符号化手段２１７により可変長符
号化されて、Ｖ（Ｑ（Ｅｍｖ（ｉ＋２）））として出力
される。そして、（ｉ＋ｎ＋１）より後のフレームにつ
いても上記（ｉ＋ｎ＋１）番目のフレームと同様の処理
が行われる。

【０１１１】以上のように、本実施の形態によれば、ハ
イブリッド符号化された画像データの中の任意の開始フ
レーム、任意の合成フレーム枚数を制御することによ
り、動き補償を伴うフレーム間予測誤差に対して、該デ
ータのみを選択的にフレームレート変換を行うことがで
き、演算量が大幅に減少し、高速で負荷の少ないフレー
ムレート変換を行うことができる。

【０１１２】実施の形態３．以下、本発明の請求項３に
対応する実施の形態３．に係るフレームレート変換方式
について、図面を参照しながら説明する。

【０１１３】図４は入力されたフレームレートの高い画
像データで、（ｉ＋１）から（ｉ＋ｎ）番目のフレーム
までが、動き補償を伴うフレーム間予測誤差に対して直
交変換を行うハイブリッド符号化されたデータと、動き
補償を伴わないフレーム間予測誤差に対して直交変換を
行うハイブリッド符号化されたデータとの両方のデータ
が含まれ、（ｉ＋１）、（ｉ＋ｎ）番目のフレームが、
動き補償を伴わないフレーム間予測誤差に対して直交変
換を行うハイブリッド符号化されたデータである場合の
（ｉ＋ｎ）番目のフレームの処理時のフレームレート変
換方式を示すものである。

【０１１４】図４において、３０１は入力であり、フレ
ームレートの高い画像データが入力される。

【０１１５】３０２は可変長復号化手段であり、ハイブ
リッド符号化データを可変長復号化することにより、量
子化された動き補償を伴う予測誤差直交変換データ，量
子化された動き補償を伴わない予測誤差直交変換デー
タ，量子化された直交変換係数に変換する。また、同時
に、入力側端末の符号化装置で設定されたフレーム内／
フレーム間識別を検出して、フレーム内／フレーム間
（ｉｎ）を設定し、また、入力側端末の符号化装置で設
定された動き補償あり／なし識別を検出して、動き補償
あり／なし（ｉｎ）を設定し、また、入力側端末の符号
化装置で設定された量子化係数を検出して、量子化係数
（ｉｎ）を設定し、さらに、入力側端末の符号化装置で
設定された動きベクトルを検出して、動きベクトル（ｉ
ｎ）を設定する。

【０１１６】３０３は逆量子化手段であり、上記設定さ
れた量子化係数（ｉｎ）により、量子化された動き補償
を伴う予測誤差直交変換データ，量子化された動き補償
を伴わない予測誤差直交変換データ，量子化された直交
変換係数を、動き補償を伴う予測誤差直交変換データ，
動き補償を伴わない予測誤差直交変換データ，直交変換
係数にそれぞれ変換する。

【０１１７】３０４は予測誤差直交変換データ加算手段
であり、動きベクトル・直交変換係数演算手段３０８に
て動きベクトルを考慮して演算された直交変換係数、ま
たは画像メモリ３０６に記憶されている直交変換係数
と、動き補償を伴う予測誤差直交変換データ、または動
き補償を伴わない予測誤差直交変換データとを加算す
る。

【０１１８】３０５は直交変換係数選択手段であり、上
記設定されたフレーム内／フレーム間（ｉｎ）により制
御される。すなわち、上記フレーム内／フレーム間（ｉ
ｎ）が「フレーム内」の時は、逆量子化手段３０３によ
り逆量子化された直交変換係数が選択され、上記フレー
ム内／フレーム間（ｉｎ）が「フレーム間」の時は、予
測誤差直交変換データ加算手段３０４により算出された
直交変換係数が選択され出力される。

【０１１９】３０６は画像メモリであり、上記直交変換
係数選択手段３０５により選択された直交変換係数を記
憶するためのものである。

【０１２０】３０７は動き補償あり／なし（ｉｎ）判断
手段であり、動き補償が「あり」の時は画像メモリ３０
６に記憶されている直交変換係数を動きベクトル・直交
変換係数演算手段３０８に出力する。動き補償が「な
し」の時は、画像メモリ３０６に記憶されている直交変
換係数を予測誤差直交変換データ加算手段３０４に出力
する。

【０１２１】３０８は動きベクトル・直交変換係数演算
手段であり、動きベクトル（ｉｎ）を用いて、動き補償
あり／なし（ｉｎ）判断手段３０７にて「あり」と判断
された画像メモリ３０６に記憶されていた直交変換係数
を、マトリクス演算することにより、動きベクトルを考
慮して演算された直交変換係数を算出する。マトリクス
演算については後述の方法を用いる。

【０１２２】３０９は初期画像取込選択手段であり、後
述する符号化制御・フレーム内／フレーム間判断手段３
１３により設定された画像取込指示により、画像メモリ
３０６に記憶されている直交変換係数を取り込み、後述
する画像メモリ３１０に直交変換係数を出力する。

【０１２３】３１０は画像メモリであり、初期画像取込
選択手段３０９により選択された直交変換係数を記憶す
るためのものである。

【０１２４】３１１はフレーム内／フレーム間（ｉｎ）
判断手段であり、「フレーム内」の時は、画像メモリ３
０６の直交変換係数を後段の符号化制御・フレーム内／
フレーム間判断手段３１３へ出力し、「フレーム間」の
時は、画像メモリ３０６の直交変換係数を後述する直交
変換係数減算手段３１２へ出力する。

【０１２５】３１２は直交変換係数減算手段であり、フ
レーム内／フレーム間（ｉｎ）判断手段３１１で、「フ
レーム間」と判断されたときに画像メモリ３０６に記憶
されていた直交変換係数から、画像メモリ３１０の直交
変換係数を減算する。

【０１２６】３１３は符号化制御・フレーム内／フレー
ム間判断手段であり、フレームレート変換が行われてい
ない時には、動き補償あり／なし（ｉｎ）をそのまま動
き補償あり／なし（ｏｕｔ）として出力し、フレームレ
ート変換が行われている時には、動き補償あり／なし
（ｏｕｔ）は「なし」に設定して出力する。また、フレ
ームレート変換を行う１つ前のフレームを画像メモリ３
１０に記憶させるために、画像取込指示を出力する。ま
た、フレーム内／フレーム間（ｉｎ）を用いて、フレー
ム内／フレーム間（ｉｎ）判断手段３１１からの直交変
換係数と、直交変換係数減算手段３１２からの動き補償
を伴わない予測誤差直交変換データとの選択を行い、後
述する量子化手段３１４へ出力する。また、量子化係数
（ｉｎ）を再設定し、量子化係数（ｏｕｔ）として後述
する量子化手段３１４へ出力する。

【０１２７】３１４は量子化手段であり、上記出力され
た量子化係数（ｏｕｔ）により、動き補償を伴わない予
測誤差直交変換データ，直交変換係数を、量子化された
動き補償を伴わない予測誤差直交変換データ，量子化さ
れた直交変換係数にそれぞれ変換する。

【０１２８】３１５はフレームレート変換制御手段であ
り、フレームレート変換情報よりフレームレート変換の
継続／終了を判断する。そして、フレームレート変換終
了後、可変長符号化手段３１７に、量子化された動き補
償を伴わない予測誤差直交変換データ，量子化された直
交変換係数を出力し、フレームレート変換が行われない
時は、可変長復号化手段３０２からの量子化された動き
補償を伴う予測誤差直交変換データ，量子化された動き
補償を伴わない予測誤差直交変換データ，量子化された
直交変換係数をそのまま出力する。

【０１２９】３１６は動きベクトル選択手段であり、上
記符号化制御・フレーム内／フレーム間判断手段３１３
から出力された動き補償あり／なし（ｏｕｔ）により、
動きベクトルの選択を行う。すなわち、動き補償あり／
なし（ｏｕｔ）が「あり」の時は、動きベクトル（ｉ
ｎ）を可変長符号化手段３１７にそのまま出力し、「な
し」の時には、可変長符号化手段３１７には動きベクト
ル（ｉｎ）を出力しない。

【０１３０】３１７は可変長符号化手段であり、量子化
された動き補償を伴う予測誤差直交変換データ，量子化
された動き補償を伴わない予測誤差直交変換データ，量
子化された直交変換係数を可変長符号化することによ
り、ハイブリッド符号化データに変換する。また、同時
に、フレーム内／フレーム間（ｉｎ）により、出力側端
末の復号化装置に対して設定されたフレーム内／フレー
ム間識別を設定し、動き補償あり／なし（ｏｕｔ），動
きベクトル（ｉｎ）により、出力側端末の復号化装置に
対して動き補償あり／なし識別，動きベクトルを設定
し、量子化係数（ｉｎ）により、出力側端末の復号化装
置に対して量子化係数を設定する。

【０１３１】３１８は出力であり、ここからフレームレ
ートの低い画像データが出力される。

【０１３２】以下、フレームレート変換処理の詳細につ
いて説明する。入力される画像データを０からｉ番目の
フレームまではフレームレート変換なしとし、（ｉ＋
１）から（ｉ＋ｎ）番目のフレームまでを合成して、フ
レームレート変換を行い、（ｉ＋ｎ＋１）番目のフレー
ム以降のフレームは、フレームレート変換なしとして説
明する。

【０１３３】フレームレート変換しない０〜ｉフレーム
までは、可変長復号化手段３０２，逆量子化手段３０
３，予測誤差直交変換データ加算手段３０４，直交変換
係数選択手段３０５，動き補償あり／なし（ｉｎ）判断
手段３０７，動きベクトル・直交変換係数演算手段３０
８を経由して画像メモリ３０６にＳ（ｉ）として記憶さ
れる。また、初期画像取込選択手段３０９を経由し、画
像メモリ３１０にもＳ（ｉ）として記憶される。また、
可変長復号化手段３０２により可変長復号化されたＱ
（Ｅｍｖ＿ｎｏｎｍｖ（０））からＱ（Ｅｍｖ＿ｎｏｎ
ｍｖ（ｉ））は、フレームレート変換制御手段３１５に
より選択されて、可変長符号化手段３１７により可変長
符号化されて、Ｖ（Ｑ（Ｅｍｖ＿ｎｏｎｍｖ（０）））
からＶ（Ｑ（Ｅｍｖ＿ｎｏｎｍｖ（ｉ）））として出力
される。

【０１３４】一方、フレームレート変換を行う（ｉ＋
１）フレームは、可変長復号化手段３０２により、可変
長復号化され、量子化された動き補償を伴わない予測誤
差直交変換データＱ（Ｅ（ｉ＋１））に変換される。

【０１３５】そして、Ｑ（Ｅ（ｉ＋１））は逆量子化手
段３０３により、逆量子化され、Ｅ（ｉ＋１）に変換さ
れる。

【０１３６】このＥ（ｉ＋１）は、予測誤差直交変換デ
ータ加算手段３０４により、動き補償あり／なし（ｉ
ｎ）判断手段３０７で「あり」と判断される画像メモリ
３０６に記憶されているＳ（ｉ）を、動きベクトル・直
交変換係数演算手段３０８で処理したＳ’（ｉ），また
は動き補償あり／なし（ｉｎ）判断手段３０７で「な
し」と判断される画像メモリ３０６に記憶されているＳ
（ｉ）と加算され、直交変換係数選択手段３０５にて、
「フレーム間」と判断され、画像メモリ３０６にＳ（ｉ
＋１）として記憶される。

【０１３７】（ｉ＋２）から（ｉ＋ｎ）番目のフレーム
までについては動き補償を伴わない場合は上記（ｉ＋
１）番目のフレーム、動き補償を伴う場合は上記実施の
形態２．と同様の処理を繰り返すことで処理される。

【０１３８】そして、上記（ｉ＋ｎ）フレームの処理が
終了した時点で、画像メモリ３０６には直交変換係数Ｓ
（ｉ＋ｎ）が記憶されており、画像メモリ３１０には直
交変換係数Ｓ（ｉ）が記憶されている。

【０１３９】上記直交変換係数Ｓ（ｉ＋ｎ）は、フレー
ム内／フレーム間（ｉｎ）判断手段３１１で「フレーム
間」と判断され、直交変換係数減算手段３１２により、
Ｓ（ｉ＋ｎ）−Ｓ（ｉ）の処理が行われ、Ｓ（ｎ）が算
出される。ここで、Ｓ（ｎ）は、動き補償を伴わない予
測誤差直交変換データであり、（ｉ＋１）番目のフレー
ムのデータとすると、Ｅ（ｉ＋１）＝Ｓ（ｎ）とするこ
とができる。

【０１４０】上記動き補償を伴わない予測誤差直交変換
データＥ（ｉ＋１）は符号化制御・フレーム内／フレー
ム間判断手段３１３にて、フレーム内／フレーム間（ｉ
ｎ）を用いることにより、「フレーム間」と判断され、
選択される。フレームレート変換中は、動き補償あり／
なし（ｏｕｔ）は「なし」に設定される。画像取込指示
は量子化手段３１４にＥ（ｉ＋１）が出力された後、出
力される。

【０１４１】Ｅ（ｉ＋１）は量子化手段３１４により、
量子化されて、量子化された動き補償を伴わない予測誤
差直交変換データＱ（Ｅ（ｉ＋１））に変換される。

【０１４２】この量子化された動き補償を伴わない予測
誤差直交変換データＱ（Ｅ（ｉ＋１））は可変長符号化
手段３１７により、可変長符号化され、量子化され可変
長符号化された動き補償を伴わない予測誤差直交変換デ
ータＶ（Ｑ（Ｅ（ｉ＋１）））として出力される。

【０１４３】一方、フレームレート変換しない（ｉ＋ｎ
＋１）番目のフレームは、可変長復号化手段３０２，逆
量子化手段３０３，予測誤差直交変換データ加算手段３
０４，直交変換係数選択手段３０５，動き補償あり／な
し（ｉｎ）判断手段３０７，動きベクトル・直交変換係
数演算手段３０８を経由して画像メモリ３０６に直交変
換係数Ｓ（ｉ＋ｎ＋１）として記憶される。また、初期
画像取込選択手段３０９を経由して画像メモリ３１０に
もＳ（ｉ＋ｎ＋１）として記憶される。また、可変長復
号化手段３０２により可変長復号化されて得られたＱ
（Ｅｍｖ＿ｎｏｎｍｖ（ｉ＋ｎ＋１））は、フレームレ
ート変換制御手段３１５により選択されて、Ｑ（Ｅｍｖ
＿ｎｏｎｍｖ（ｉ＋２））となり、さらに可変長符号化
手段３１７により可変長符号化されて、Ｖ（Ｑ（Ｅｍｖ
＿ｎｏｎｍｖ（ｉ＋２）））として出力される。そし
て、（ｉ＋ｎ＋１）より後のフレームについても上記
（ｉ＋ｎ＋１）番目のフレームと同様の処理が行われ
る。

【０１４４】以上のように、本実施の形態によれば、ハ
イブリッド符号化された画像データの中の任意の開始フ
レーム、任意の合成フレーム枚数を制御することによ
り、動き補償を伴うフレーム間予測誤差に対して直交変
換を行うハイブリッド符号化されたデータ、及び動き補
償を伴わないフレーム間予測誤差に対して直交変換を行
うハイブリッド符号化されたデータの両方のデータが含
まれるような場合においても、該データのみを選択的に
フレームレート変換を行うことができ、演算量が大幅に
減少し、高速で負荷の少ないフレームレート変換を行う
ことができる。

【０１４５】実施の形態４．以下、本発明の請求項４に
対応する実施の形態４．に係るフレームレート変換方式
について、図面を参照しながら説明する。

【０１４６】図５は入力されたフレームレートの高い画
像データで（ｉ＋１）から（ｉ＋ｎ）番目のフレームま
でが、動き補償を伴うフレーム間予測誤差に対して直交
変換を行うハイブリッド符号化されたデータと、フレー
ム内符号化されたデータとの両方のデータが含まれ、
（ｉ＋ｎ）番目のフレームがフレーム内符号化されたデ
ータである場合の（ｉ＋ｎ）番目のフレームの処理時の
フレームレート変換方式を示すものである。

【０１４７】図５において、４０１は入力であり、フレ
ームレートの高い画像データが入力される。

【０１４８】４０２は可変長復号化手段であり、ハイブ
リッド符号化データを可変長復号化することにより、量
子化された動き補償を伴う予測誤差直交変換データ，量
子化された動き補償を伴わない予測誤差直交変換デー
タ，量子化された直交変換係数に変換する。また、同時
に、入力側端末の符号化装置で設定されたフレーム内／
フレーム間識別を検出して、フレーム内／フレーム間
（ｉｎ）を設定し、また、入力側端末の符号化装置で設
定された動き補償あり／なし識別を検出して、動き補償
あり／なし（ｉｎ）を設定し、また、入力側端末の符号
化装置で設定された量子化係数を検出して、量子化係数
（ｉｎ）を設定し、さらに、入力側端末の符号化装置で
設定された動きベクトルを検出して、動きベクトル（ｉ
ｎ）を設定する。

【０１４９】４０３は逆量子化手段であり、上記設定さ
れた量子化係数（ｉｎ）により、量子化された動き補償
を伴う予測誤差直交変換データ，量子化された動き補償
を伴わない予測誤差直交変換データ，量子化された直交
変換係数を、動き補償を伴う予測誤差直交変換データ，
動き補償を伴わない予測誤差直交変換データ，直交変換
係数にそれぞれ変換する。

【０１５０】４０４は予測誤差直交変換データ加算手段
であり、動きベクトル・直交変換係数演算手段４０８に
て動きベクトルを考慮して演算された直交変換係数、ま
たは画像メモリ４０６に記憶されている直交変換係数
と、動き補償を伴う予測誤差直交変換データ、または動
き補償を伴わない予測誤差直交変換データとを加算す
る。

【０１５１】４０５は直交変換係数選択手段であり、上
記設定されたフレーム内／フレーム間（ｉｎ）により制
御される。すなわち、上記フレーム内／フレーム間（ｉ
ｎ）が「フレーム内」の時は、逆量子化手段４０３によ
り逆量子化された直交変換係数が選択され、上記フレー
ム内／フレーム間（ｉｎ）が「フレーム間」の時は、予
測誤差直交変換データ加算手段４０４により算出された
直交変換係数が選択され出力される。

【０１５２】４０６は画像メモリであり、上記直交変換
係数選択手段４０５により選択された直交変換係数を記
憶するためのものである。

【０１５３】４０７は動き補償あり／なし（ｉｎ）判断
手段であり、動き補償が「あり」の時は画像メモリ４０
６に記憶されている直交変換係数を動きベクトル・直交
変換係数演算手段４０８に出力する。動き補償が「な
し」の時は画像メモリ４０６に記憶されている直交変換
係数を予測誤差直交変換データ加算手段４０４に出力す
る。

【０１５４】４０８は動きベクトル・直交変換係数演算
手段であり、動きベクトル（ｉｎ）を用いて、動き補償
あり／なし（ｉｎ）判断手段４０７にて「あり」と判断
された画像メモリ４０６に記憶されていた直交変換係数
を、マトリクス演算することにより、動きベクトルを考
慮して演算された直交変換係数を算出する。マトリクス
演算については後述の方法を用いる。

【０１５５】４０９は初期画像取込選択手段であり、後
述する符号化制御・フレーム内／フレーム間判断手段４
１３により設定された画像取込指示により、画像メモリ
４０６に記憶されている直交変換係数を取り込み、後述
する画像メモリ４１０に直交変換係数を出力する。

【０１５６】４１０は画像メモリであり、初期画像取込
選択手段４０９により選択された直交変換係数を記憶す
るためのものである。

【０１５７】４１１はフレーム内／フレーム間（ｉｎ）
判断手段であり、「フレーム内」の時は、画像メモリ４
０６の直交変換係数を後段の符号化制御・フレーム内／
フレーム間判断手段４１３へ出力し、「フレーム間」の
時は、画像メモリ４０６の直交変換係数を後述する直交
変換係数減算手段４１２へ出力する。

【０１５８】４１２は直交変換係数減算手段であり、フ
レーム内／フレーム間（ｉｎ）判断手段４１１で、「フ
レーム間」と判断されたときに画像メモリ４０６に記憶
されていた直交変換係数から、画像メモリ４１０の直交
変換係数を減算する。

【０１５９】４１３は符号化制御・フレーム内／フレー
ム間判断手段であり、フレームレート変換が行われてい
ない時には、動き補償あり／なし（ｉｎ）をそのまま動
き補償あり／なし（ｏｕｔ）として出力し、フレームレ
ート変換が行われている時には、動き補償あり／なし
（ｏｕｔ）は「なし」に設定して出力する。また、フレ
ームレート変換を行う１つ前のフレームを画像メモリ４
１０に記憶させるために、画像取込指示を出力する。ま
た、フレーム内／フレーム間（ｉｎ）を用いて、フレー
ム内／フレーム間（ｉｎ）判断手段４１１からの直交変
換係数と、直交変換係数減算手段４１２からの動き補償
を伴わない予測誤差直交変換データとの選択を行い、量
子化手段４１４へ出力する。また、量子化係数（ｉｎ）
を再設定し、量子化係数（ｏｕｔ）として後述する量子
化手段４１４へ出力する。

【０１６０】４１４は量子化手段であり、上記出力され
た量子化係数（ｏｕｔ）により、動き補償を伴わない予
測誤差直交変換データ，直交変換係数を、量子化された
動き補償を伴わない予測誤差直交変換データ，量子化さ
れた直交変換係数にそれぞれ変換する。

【０１６１】４１５はフレームレート変換制御手段であ
り、フレームレート変換情報よりフレームレート変換の
継続／終了を判断する。そして、フレームレート変換終
了後、可変長符号化手段４１７に、量子化された動き補
償を伴わない予測誤差直交変換データ，量子化された直
交変換係数を出力し、フレームレート変換が行われない
時は、可変長復号化手段４０２からの量子化された動き
補償を伴う予測誤差直交変換データ，量子化された動き
補償を伴わない予測誤差直交変換データ，量子化された
直交変換係数をそのまま出力する。

【０１６２】４１６は動きベクトル選択手段であり、上
記符号化制御・フレーム内／フレーム間判断手段４１３
から出力された動き補償あり／なし（ｏｕｔ）により、
動きベクトルの選択を行う。すなわち、動き補償あり／
なし（ｏｕｔ）が「あり」の時は、動きベクトル（ｉ
ｎ）を可変長符号化手段４１７にそのまま出力し、「な
し」の時には、可変長符号化手段４１７には動きベクト
ル（ｉｎ）を出力しない。

【０１６３】４１７は可変長符号化手段であり、量子化
された動き補償を伴う予測誤差直交変換データ，量子化
された動き補償を伴わない予測誤差直交変換データ，量
子化された直交変換係数を可変長符号化することによ
り、ハイブリッド符号化データに変換する。また、同時
に、フレーム内／フレーム間（ｉｎ）により、出力側端
末の復号化装置に対して設定されたフレーム内／フレー
ム間識別を設定し、動き補償あり／なし（ｏｕｔ），動
きベクトル（ｉｎ）により、出力側端末の復号化装置に
対して動き補償あり／なし識別，動きベクトルを設定
し、量子化係数（ｉｎ）により、出力側端末の復号化装
置に対して量子化係数を設定する。

【０１６４】４１８は出力であり、ここからフレームレ
ートの低い画像データが出力される。

【０１６５】以下、フレームレート変換処理の詳細につ
いて説明する。入力される画像データを０からｉ番目の
フレームまではフレームレート変換なしとし、（ｉ＋
１）から（ｉ＋ｎ）番目のフレームまでを合成して、フ
レームレート変換を行い、（ｉ＋ｎ＋１）番目のフレー
ム以降のフレームは、フレームレート変換なしとして説
明する。

【０１６６】フレームレート変換しない０〜ｉフレーム
までは、可変長復号化手段４０２，逆量子化手段４０
３，予測誤差直交変換データ加算手段４０４，直交変換
係数選択手段４０５，動き補償あり／なし（ｉｎ）判断
手段４０７，動きベクトル・直交変換係数演算手段４０
８を経由して画像メモリ４０６にＳ（ｉ）として記憶さ
れる。また、初期画像取込選択手段４０９を経由し、画
像メモリ４１０にもＳ（ｉ）として記憶される。また、
可変長復号化手段４０２により可変長復号化されたＱ
（ＳＥｍｖ（０））からＱ（ＳＥｍｖ（ｉ））は、フレ
ームレート変換制御手段４１５により選択されて、可変
長符号化手段４１７により可変長符号化されて、Ｖ（Ｑ
（ＳＥｍｖ（０）））からＶ（Ｑ（ＳＥｍｖ（ｉ）））
として出力される。

【０１６７】一方、フレームレート変換を行う（ｉ＋
１）フレームは、可変長復号化手段４０２により、可変
長復号化され、量子化された直交変換係数Ｑ（Ｓ（ｉ＋
１））に変換される。

【０１６８】そして、Ｑ（Ｓ（ｉ＋１））は逆量子化手
段４０３により、逆量子化され、Ｓ（ｉ＋１）に変換さ
れる。

【０１６９】このＳ（ｉ＋１）は、直交変換係数選択手
段４０５にて、「フレーム内」と判断され、画像メモリ
４０６にＳ（ｉ＋１）として記憶される。

【０１７０】（ｉ＋２）から（ｉ＋ｎ）番目のフレーム
までについてはフレーム内の場合は上記（ｉ＋１）番目
のフレーム、動き補償を伴う場合は上記実施の形態２．
と同様の処理を繰り返すことで処理される。

【０１７１】そして、上記（ｉ＋ｎ）フレームの処理が
終了した時点で、画像メモリ４０６には直交変換係数Ｓ
（ｉ＋ｎ）が記憶されており、画像メモリ４１０には直
交変換係数Ｓ（ｉ）が記憶されている。

【０１７２】上記直交変換係数Ｓ（ｉ＋ｎ）は、フレー
ム内／フレーム間（ｉｎ）判断手段４１１で「フレーム
内」と判断され、Ｓ（ｉ＋ｎ）が出力される。ここで、
Ｓ（ｉ＋ｎ）を新たな（ｉ＋１）番目のフレームとし、
Ｓ（ｉ＋１）＝Ｓ（ｉ＋ｎ）とする。

【０１７３】上記直交変換係数Ｓ（ｉ＋１）は、符号化
制御・フレーム内／フレーム間判断手段４１３にて、フ
レーム内／フレーム間（ｉｎ）を用いることにより、
「フレーム内」と判断され、選択される。フレームレー
ト変換中は、動き補償あり／なし（ｏｕｔ）は「なし」
に設定される。画像取込指示は量子化手段４１４にＳ
（ｉ＋１）が出力された後、出力される。

【０１７４】Ｓ（ｉ＋１）は量子化手段４１４により、
量子化されて、量子化された直交変換係数Ｑ（Ｓ（ｉ＋
１））に変換される。

【０１７５】この量子化された上記直交変換係数Ｑ（Ｓ
（ｉ＋１））は可変長符号化手段４１７により、可変長
符号化され、Ｖ（Ｑ（Ｓ（ｉ＋１）））として出力され
る。

【０１７６】一方、フレームレート変換しない（ｉ＋ｎ
＋１）番目のフレームは、可変長復号化手段４０２，逆
量子化手段４０３，予測誤差直交変換データ加算手段４
０４，直交変換係数選択手段４０５，動き補償あり／な
し（ｉｎ）判断手段４０７，動きベクトル・直交変換係
数演算手段４０８を経由して画像メモリ４０６に直交変
換係数Ｓ（ｉ＋ｎ＋１）として記憶される。また、初期
画像取込選択手段４０９を経由して画像メモリ４１０に
もＳ（ｉ＋ｎ＋１）として記憶される。また、可変長復
号化手段４０２により可変長復号化されて得られたＱ
（ＳＥｍｖ（ｉ＋ｎ＋１））は、フレームレート変換制
御手段４１５により選択されて、Ｑ（ＳＥｍｖ（ｉ＋
２））となり、さらに可変長符号化手段４１７により可
変長符号化されて、Ｖ（Ｑ（ＳＥｍｖ（ｉ＋２）））と
して出力される。そして、（ｉ＋ｎ＋１）より後のフレ
ームについても上記（ｉ＋ｎ＋１）番目のフレームと同
様の処理が行われる。

【０１７７】以上のように、本実施の形態によれば、ハ
イブリッド符号化された画像データの中の任意の開始フ
レーム、任意の合成フレーム枚数を制御することによ
り、動き補償を伴うフレーム間予測誤差に対して直交変
換を行うハイブリッド符号化されたデータ、及びフレー
ム内符号化されたデータの両方のデータが含まれる場合
においても、該データのみを選択的にフレームレート変
換を行うことができ、演算量が大幅に減少し、高速で負
荷の少ないフレームレート変換を行うことができる。

【０１７８】実施の形態５．以下、本発明の請求項５に
対応する実施の形態５．に係るフレームレート変換方式
について、図面を参照しながら説明する。

【０１７９】図６は入力されたフレームレートの高い画
像データで（ｉ＋１）から（ｉ＋ｎ）番目のフレームま
でが、動き補償を伴うフレーム間予測誤差に対して直交
変換を行うハイブリッド符号化されたデータと、動き補
償を伴わないフレーム間予測誤差に対して直交変換を行
うハイブリッド符号化されたデータと、さらには、フレ
ーム内符号化されたデータの３種類のデータが含まれ、
（ｉ＋１）番目のフレームがフレーム内符号化されたデ
ータであり、（ｉ＋ｎ−１）番目のフレームが動き補償
を伴うフレーム間予測誤差に対して直交変換を行うハイ
ブリッド符号化されたデータフレーム内符号化されたデ
ータであり、（ｉ＋ｎ）番目のフレームが動き補償を伴
わないフレーム間予測誤差に対して直交変換を行うハイ
ブリッド符号化されたデータである場合の（ｉ＋ｎ）番
目のフレームの処理時のフレームレート変換方式を示す
ものである。

【０１８０】図６において、５０１は入力であり、フレ
ームレートの高い画像データが入力される。

【０１８１】５０２は可変長復号化手段であり、ハイブ
リッド符号化データを可変長復号化することにより、量
子化された動き補償を伴う予測誤差直交変換データ，量
子化された動き補償を伴わない予測誤差直交変換デー
タ，量子化された直交変換係数に変換する。また、同時
に、入力側端末の符号化装置で設定されたフレーム内／
フレーム間識別を検出して、フレーム内／フレーム間
（ｉｎ）を設定し、また、入力側端末の符号化装置で設
定された動き補償あり／なし識別を検出して、動き補償
あり／なし（ｉｎ）を設定し、また、入力側端末の符号
化装置で設定された量子化係数を検出して、量子化係数
（ｉｎ）を設定し、さらに、入力側端末の符号化装置で
設定された動きベクトルを検出して、動きベクトル（ｉ
ｎ）を設定する。

【０１８２】５０３は逆量子化手段であり、上記設定さ
れた量子化係数（ｉｎ）により、量子化された動き補償
を伴う予測誤差直交変換データ，量子化された動き補償
を伴わない予測誤差直交変換データ，量子化された直交
変換係数を、動き補償を伴う予測誤差直交変換データ，
動き補償を伴わない予測誤差直交変換データ，直交変換
係数にそれぞれ変換する。

【０１８３】５０４は予測誤差直交変換データ加算手段
であり、動きベクトル・直交変換係数演算手段５０８に
て動きベクトルを考慮して演算された直交変換係数、ま
たは画像メモリ５０６に記憶されている直交変換係数
と、動き補償を伴う予測誤差直交変換データ、または動
き補償を伴わない予測誤差直交変換データとを加算す
る。

【０１８４】５０５は直交変換係数選択手段であり、上
記設定されたフレーム内／フレーム間（ｉｎ）により制
御される。すなわち、上記フレーム内／フレーム間（ｉ
ｎ）が「フレーム内」の時は、逆量子化手段５０３によ
り逆量子化された直交変換係数が選択され、上記フレー
ム内／フレーム間（ｉｎ）が「フレーム間」の時は、予
測誤差直交変換データ加算手段５０４により算出された
直交変換係数が選択され出力される。

【０１８５】５０６は画像メモリであり、上記直交変換
係数選択手段５０５により選択された直交変換係数を記
憶するためのものである。

【０１８６】５０７は動き補償あり／なし（ｉｎ）判断
手段であり、動き補償が「あり」の時は画像メモリ５０
６に記憶されている直交変換係数を動きベクトル・直交
変換係数演算手段５０８に出力する。動き補償が「な
し」の時は画像メモリ５０６に記憶されている直交変換
係数を予測誤差直交変換データ加算手段５０４に出力す
る。

【０１８７】５０８は動きベクトル・直交変換係数演算
手段であり、動きベクトル（ｉｎ）を用いて、動き補償
あり／なし（ｉｎ）判断手段５０７にて「あり」と判断
された画像メモリ５０６に記憶されていた直交変換係数
を、マトリクス演算することにより、動きベクトルを考
慮して演算された直交変換係数を算出する。マトリクス
演算については後述の方法を用いる。

【０１８８】５０９は初期画像取込選択手段であり、後
述する符号化制御・フレーム内／フレーム間判断手段５
１３により設定された画像取込指示により、画像メモリ
５０６に記憶されている直交変換係数を取り込み、後述
する画像メモリ５１０に直交変換係数を出力する。

【０１８９】５１０は画像メモリであり、初期画像取込
選択手段５０９により選択された直交変換係数を記憶す
るためのものである。

【０１９０】５１１はフレーム内／フレーム間（ｉｎ）
判断手段であり、「フレーム内」の時は、画像メモリ５
０６の直交変換係数を後段の符号化制御・フレーム内／
フレーム間判断手段５１３へ出力し、「フレーム間」の
時は、画像メモリ５０６の直交変換係数を後述する直交
変換係数減算手段５１２へ出力する。

【０１９１】５１２は直交変換係数減算手段であり、フ
レーム内／フレーム間（ｉｎ）判断手段５１１で、「フ
レーム間」と判断されたときに画像メモリ５０６に記憶
されていた直交変換係数から、画像メモリ５１０の直交
変換係数を減算する。

【０１９２】５１３は符号化制御・フレーム内／フレー
ム間判断手段であり、フレームレート変換が行われてい
ない時には、動き補償あり／なし（ｉｎ）をそのまま動
き補償あり／なし（ｏｕｔ）として出力し、フレームレ
ート変換が行われている時には、動き補償あり／なし
（ｏｕｔ）は「なし」に設定して出力する。また、フレ
ームレート変換を行う１つ前のフレームを画像メモリ５
１０に記憶させるために、画像取込指示を出力する。ま
た、フレーム内／フレーム間（ｉｎ）を用いて、フレー
ム内／フレーム間（ｉｎ）判断手段５１１からの直交変
換係数と、直交変換係数減算手段５１２からの動き補償
を伴わない予測誤差直交変換データとの選択を行い、量
子化手段５１４へ出力する。また、量子化係数（ｉｎ）
を再設定し、量子化係数（ｏｕｔ）として後述する量子
化手段５１４へ出力する。

【０１９３】５１４は量子化手段であり、上記出力され
た量子化係数（ｏｕｔ）により、動き補償を伴わない予
測誤差直交変換データ，直交変換係数を、量子化された
動き補償を伴わない予測誤差直交変換データ，量子化さ
れた直交変換係数にそれぞれ変換する。

【０１９４】５１５はフレームレート変換制御手段であ
り、フレームレート変換情報よりフレームレート変換の
継続／終了を判断する。そして、フレームレート変換終
了後、可変長符号化手段５１７に、量子化された動き補
償を伴わない予測誤差直交変換データ，量子化された直
交変換係数を出力し、フレームレート変換が行われない
時は、可変長復号化手段５０２からの量子化された動き
補償を伴う予測誤差直交変換データ，量子化された動き
補償を伴わない予測誤差直交変換データ，量子化された
直交変換係数をそのまま出力する。

【０１９５】５１６は動きベクトル選択手段であり、上
記符号化制御・フレーム内／フレーム間判断手段５１３
から出力された動き補償あり／なし（ｏｕｔ）により、
動きベクトルの選択を行う。すなわち、動き補償あり／
なし（ｏｕｔ）が「あり」の時は、動きベクトル（ｉ
ｎ）を可変長符号化手段５１７にそのまま出力し、「な
し」の時には、可変長符号化手段５１７には動きベクト
ル（ｉｎ）を出力しない。

【０１９６】５１７は可変長符号化手段であり、量子化
された動き補償を伴う予測誤差直交変換データ，量子化
された動き補償を伴わない予測誤差直交変換データ，量
子化された直交変換係数を可変長符号化することによ
り、ハイブリッド符号化データに変換する。また、同時
に、フレーム内／フレーム間（ｉｎ）により、出力側端
末の復号化装置に対して設定されたフレーム内／フレー
ム間識別を設定し、動き補償あり／なし（ｏｕｔ）、動
きベクトル（ｉｎ）により、出力側端末の復号化装置に
対して動き補償あり／なし識別、動きベクトルを設定
し、量子化係数（ｉｎ）により、出力側端末の復号化装
置に対して量子化係数を設定する。

【０１９７】５１８は出力であり、ここからフレームレ
ートの低い画像データが出力される。

【０１９８】以下、フレームレート変換処理の詳細につ
いて説明する。入力される画像データを０からｉ番目の
フレームまではフレームレート変換なしとし、（ｉ＋
１）から（ｉ＋ｎ）番目のフレームまでを合成して、フ
レームレート変換を行い、（ｉ＋ｎ＋１）番目のフレー
ム以降のフレームは、フレームレート変換なしとして説
明する。

【０１９９】フレームレート変換しない０〜ｉフレーム
までは、可変長復号化手段５０２，逆量子化手段５０
３，予測誤差直交変換データ加算手段５０４，直交変換
係数選択手段５０５，動き補償あり／なし（ｉｎ）判断
手段５０７，動きベクトル・直交変換係数演算手段５０
８を経由して画像メモリ５０６にＳ（ｉ）として記憶さ
れる。また、初期画像取込選択手段５０９を経由し、画
像メモリ５１０にもＳ（ｉ）として記憶される。また、
可変長復号化手段５０２により可変長復号化されたＱ
（ＳＥｍｖ＿ｎｏｎｍｖ（０））からＱ（ＳＥｍｖ＿ｎ
ｏｎｍｖ（ｉ））は、フレームレート変換制御手段５１
５により選択されて、可変長符号化手段５１７により可
変長符号化されて、Ｖ（Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ
（０）））からＶ（Ｑ（ＳＥｍｖ＿ｎｏｎｍｖ
（ｉ）））として出力される。

【０２００】一方、フレームレート変換を行う（ｉ＋
１）フレームは、可変長復号化手段５０２により、可変
長復号化され、量子化された直交変換係数Ｑ（Ｓ（ｉ＋
１））に変換される。

【０２０１】そして、Ｑ（Ｓ（ｉ＋１））は逆量子化手
段５０３により、逆量子化され、Ｓ（ｉ＋１）に変換さ
れる。

【０２０２】このＳ（ｉ＋１）は、直交変換係数選択手
段５０５にて、「フレーム内」と判断され、画像メモリ
５０６にＳ（ｉ＋１）として記憶される。

【０２０３】（ｉ＋２）から（ｉ＋ｎ）番目のフレーム
までについてはフレーム内の場合は上記（ｉ＋１）番目
のフレーム、動き補償を伴う場合、または動き補償を伴
わない場合は上記実施の形態３．と同様の処理を繰り返
すことで処理される。

【０２０４】そして、上記（ｉ＋ｎ）フレームの処理が
終了した時点で、画像メモリ５０６には直交変換係数Ｓ
（ｉ＋ｎ）が記憶されており、画像メモリ５１０には直
交変換係数Ｓ（ｉ）が記憶されている。

【０２０５】上記直交変換係数Ｓ（ｉ＋ｎ）はフレーム
内／フレーム間（ｉｎ）判断手段５１１で「フレーム
間」と判断され、直交変換係数減算手段５１２により、
Ｓ（ｉ＋ｎ）−Ｓ（ｉ）の処理が行われ、Ｓ（ｎ）が算
出される。ここで、Ｓ（ｎ）は、動き補償を伴わない予
測誤差直交変換データであり、（ｉ＋１）番目のフレー
ムのデータとすると、Ｅ（ｉ＋１）＝Ｓ（ｎ）とするこ
とができる。

【０２０６】上記動き補償を伴わない予測誤差直交変換
データＥ（ｉ＋１）は符号化制御・フレーム内／フレー
ム間判断手段５１３にて、フレーム内／フレーム間（ｉ
ｎ）を用いることにより、「フレーム間」と判断され、
選択される。フレームレート変換中は、動き補償あり／
なし（ｏｕｔ）は「なし」に設定される。画像取込指示
は量子化手段５１４にＥ（ｉ＋１）が出力された後、出
力される。

【０２０７】Ｅ（ｉ＋１）は量子化手段５１４により、
量子化されて、量子化された動き補償を伴わない予測誤
差直交変換データＱ（Ｅ（ｉ＋１））に変換される。

【０２０８】この量子化された動き補償を伴わない予測
誤差直交変換データＱ（Ｅ（ｉ＋１））は可変長符号化
手段５１７により、可変長符号化され、Ｖ（Ｑ（Ｅ（ｉ
＋１）））として出力される。

【０２０９】一方、フレームレート変換しない（ｉ＋ｎ
＋１）番目のフレームは、可変長復号化手段５０２，逆
量子化手段５０３，予測誤差直交変換データ加算手段５
０４，直交変換係数選択手段５０５，動き補償あり／な
し（ｉｎ）判断手段５０７，動きベクトル・直交変換係
数演算手段５０８を経由して画像メモリ５０６に直交変
換係数Ｓ（ｉ＋ｎ＋１）として記憶される。また、初期
画像取込選択手段５０９を経由して、画像メモリ５１０
にもＳ（ｉ＋ｎ＋１）として記憶される。また、可変長
復号化手段５０２により可変長復号化されて得られたＱ
（ＳＥｍｖ＿ｎｏｎｍｖ（ｉ＋ｎ＋１））は、フレーム
レート変換制御手段５１５により選択されて、Ｑ（ＳＥ
ｍｖ＿ｎｏｎｍｖ（ｉ＋２））となり、さらに可変長符
号化手段５１７により可変長符号化されて、Ｖ（Ｑ（Ｓ
Ｅｍｖ＿ｎｏｎｍｖ（ｉ＋２）））として出力される。
そして、（ｉ＋ｎ＋１）より後のフレームについても上
記（ｉ＋ｎ＋１）番目のフレームと同様の処理が行われ
る。

【０２１０】以上のように、本実施の形態によれば、ハ
イブリッド符号化された画像データの中の任意の開始フ
レーム、任意の合成フレーム枚数を制御することによ
り、動き補償を伴うフレーム間予測誤差に対して直交変
換を行うハイブリッド符号化されたデータと、動き補償
を伴わないフレーム間予測誤差に対して直交変換を行う
ハイブリッド符号化されたデータと、フレーム内符号化
されたデータの３種類のデータが含まれる場合において
も、該データのみを選択的にフレームレート変換を行う
ことができ、演算量が大幅に減少し、高速で負荷の少な
いフレームレート変換を行うことができる。

【０２１１】実施の形態６．以下、本発明の請求項６に
対応する実施の形態６．に係るフレームレート変換方式
について、フレームレート変換方式の構成を図面を参照
しながら説明する。

【０２１２】図７の構成図は上記請求項１におけるフレ
ームレート変換方式の構成を示すものである。

【０２１３】図７において、６２１は端末であり、その
処理能力はｃ１とする。６２２は上記端末６２１の後段
に接続された通信回線であり、その伝送速度はｂ１とす
る。６２３は上記通信回線６２２の後段に接続されたフ
レームレート変換部であり、フレームレート変換情報が
端末６２５から入力され、通信回線６２２の伝送速度ｂ
１と、通信回線６２４の伝送速度ｂ２と端末６２５の処
理能力ｃ２とをそれぞれ考慮したフレームレート変換を
行うように構成されている。６２４は通信回線であり、
その伝送速度はｂ２とする。また、６２５は端末であ
り、その処理能力はｃ２とする。

【０２１４】以下、フレームレートの高い画像データを
端末６２１側から入力し、通信回線の伝送速度が、ｂ１
≧ｂ２となる関係で、かつ、端末の処理能力が、ｃ１＝
ｃ２の関係となるときのフレームレート変換方式につい
て図７を参照しながら説明する。

【０２１５】ここで、ｃ１＝ｃ２であるので、端末同士
の処理能力は等しく、これに合わせたフレームレートの
変換は考慮する必要はない。よって、通信回線間の伝送
速度ｂ１とｂ２の関係に着目することになる。

【０２１６】今、通信回線６２４の伝送速度ｂ２は通信
回線６２２の伝送速度ｂ１以下であるので、フレームレ
ート変換部６２３では通信回線６２４の伝送速度ｂ２で
伝送可能なフレームレートに変換すればよいことにな
る。よって、端末６２１側から入力されたフレームレー
トの高いハイブリッド符号化された画像データは、伝送
速度ｂ２の性能にあった、フレームレートの低いハイブ
リッド符号化された画像データにフレームレート変換さ
れて端末６２５側に出力される。端末６２５では、通信
回線６２４の伝送速度ｂ2 と等しいフレームレートの画
像データが送られて、端末６２５の処理能力範囲で完全
に再生されて表示されることになる。

【０２１７】次に、フレームレートの高い画像データを
端末６２１側から入力し、通信回線の伝送速度が、ｂ１
≧ｂ２となる関係で、かつ、端末の処理能力が、ｃ１＞
ｃ２の関係となるときのフレームレート変換方式につい
て図７を参照しながら説明する。

【０２１８】端末６２１，６２５の処理能力ｃ１とｃ２
の関係に着目すると、端末６２１の処理能力ｃ１よりも
端末６２５の処理能力ｃ２が低いので、端末６２５の処
理能力ｃ２で処理可能なフレームレートに変換すればよ
いことになる。また、通信回線６２２，６２４の伝送速
度ｂ１とｂ２の関係に着目すると、通信回線６２４の伝
送速度ｂ２は通信回線６２２の伝送速度ｂ１以下である
ので、通信回線６２４の伝送速度ｂ２で伝送可能なフレ
ームレートに変換すればよいことになる。

【０２１９】ここで、端末６２５の処理能力ｃ２で処理
可能なフレーム数よりも、通信回線６２４の伝送速度ｂ
２で伝送可能なフレーム数の方が多い場合、端末６２５
の処理能力ｃ２で処理可能なフレーム数を超えるフレー
ムを伝送しても端末６２５ではデコードできないので、
通信回線の使用効率が悪くなることになる。これを回避
するために、端末６２１側から入力されたフレームレー
トの高いハイブリッド符号化された画像データは、端末
６２５の処理能力ｃ２の性能にあった、フレームレート
の低いハイブリッド符号化された画像データにフレーム
レート変換されて端末６２５側に出力される。

【０２２０】また、端末６２５の処理能力ｃ２で処理可
能なフレーム数よりも、通信回線６２４の伝送速度ｂ２
で伝送可能なフレーム数の方が少ない場合、通信回線６
２４の伝送速度ｂ２で伝送可能なフレーム数しか伝送す
ることができないので、端末６２１側から入力されたフ
レームレートの高いハイブリッド符号化された画像デー
タは、通信回線６２４の伝送速度ｂ２の性能にあった、
フレームレートの低いハイブリッド符号化された画像デ
ータにフレームレート変換されて端末６２５側に出力さ
れる。

【０２２１】また、さらに、端末６２５の処理能力ｃ２
で処理可能なフレーム数と通信回線６２４の伝送速度ｂ
２で伝送可能なフレーム数が等しい場合、端末６２１側
から入力されたフレームレートの高いハイブリッド符号
化された画像データは、通信回線６２４の伝送速度ｂ
２、もしくは端末６２５の処理能力ｃ２の性能にあっ
た、フレームレートの低いハイブリッド符号化された画
像データにフレームレート変換されて端末６２５側に出
力される。

【０２２２】次に、フレームレートの高い画像データ
を、端末６２１側から入力し、通信回線の伝送速度がｂ
１＜ｂ２となる関係で、かつ、端末の処理能力が、ｃ１
＞ｃ２の関係となるときのフレームレート変換方式につ
いて図７を参照しながら説明する。

【０２２３】端末６２１，６２５の処理能力ｃ１とｃ２
の関係に着目すると、端末６２１の処理能力ｃ１よりも
端末６２５の処理能力ｃ２が低いので、端末６２５の処
理能力ｃ２で処理可能なフレームレートに変換すればよ
いことになる。また、通信回線６２２，６２４の伝送速
度ｂ１とｂ２の関係に着目すると、通信回線６２２の伝
送速度ｂ１は通信回線６２４の伝送速度ｂ２より遅いの
で、通信回線６２２の伝送速度ｂ１で伝送可能なフレー
ムレートに変換すればよいことになる。

【０２２４】ここで、端末６２５の処理能力ｃ２で処理
可能なフレーム数よりも、通信回線６２２の伝送速度ｂ
１で伝送可能なフレーム数の方が多い場合、端末６２５
の処理能力ｃ２で処理可能なフレーム数を超えるフレー
ムを伝送しても端末６２５ではデコードできないので、
通信回線の使用効率が悪くなることになる。これを回避
するために、端末６２１側から入力されたフレームレー
トの高いハイブリッド符号化された画像データは、端末
６２５の処理能力ｃ２の性能にあった、フレームレート
の低いハイブリッド符号化された画像データにフレーム
レート変換されて端末６２５側に出力される。

【０２２５】また、端末６２５の処理能力ｃ２で処理可
能なフレーム数よりも、通信回線６２２の伝送速度ｂ１
で伝送可能なフレーム数の方が少ない場合、通信回線６
２２の伝送速度ｂ１で伝送可能なフレーム数しか伝送す
ることができないので、端末６２１側から入力されたフ
レームレートの高いハイブリッド符号化された画像デー
タは、通信回線６２２の伝送速度ｂ１の性能にあった、
フレームレートの低いハイブリッド符号化された画像デ
ータにフレームレート変換されて端末６２５側に出力さ
れる。

【０２２６】また、さらに、端末６２５の処理能力ｃ２
で処理可能なフレーム数と通信回線６２２の伝送速度ｂ
１で伝送可能なフレーム数が等しい場合、端末６２１側
から入力されたフレームレートの高いハイブリッド符号
化された画像データは、通信回線６２２の伝送速度ｂ
１、もしくは端末６２５の処理能力ｃ２の性能にあっ
た、フレームレートの低いハイブリッド符号化された画
像データにフレームレート変換されて端末６２５側に出
力される。

【０２２７】次に、フレームレートの高い画像データを
端末６２１側から入力し、通信回線の伝送速度がｂ１＞
ｂ２となる関係で、かつ、端末の処理能力が、ｃ１＜ｃ
２の関係となるときのフレームレート変換方式について
図７を参照しながら説明する。

【０２２８】端末６２１，６２５の処理能力ｃ１とｃ２
の関係に着目すると、端末６２５の処理能力ｃ２よりも
端末６２１の処理能力ｃ１が低いので、端末６２１の処
理能力ｃ１で処理可能なフレームレートをそのまま使用
すればよいことになる。また、通信回線６２２，６２４
の伝送速度ｂ１とｂ２の関係に着目すると、通信回線６
２４の伝送速度ｂ２は通信回線６２２の伝送速度ｂ１よ
りも遅いので、通信回線６２４の伝送速度ｂ２で伝送可
能なフレームレートに変換すればよいことになる。

【０２２９】ここで、端末６２１の処理能力ｃ１で処理
可能なフレーム数よりも、通信回線６２４の伝送速度ｂ
２で伝送可能なフレーム数の方が多い場合、端末６２１
の処理能力ｃ１で処理可能なフレーム数を超えるフレー
ムは通信回線６２４の伝送速度ｂ２を利用しても伝送で
きない。よって、端末６２１側から入力されたハイブリ
ッド符号化された画像データは、フレームレート変換さ
れずに、そのまま端末６２５側に出力される。

【０２３０】また、端末６２１の処理能力ｃ１で処理可
能なフレーム数よりも、通信回線６２４の伝送速度ｂ２
で伝送可能なフレーム数の方が少ない場合、通信回線６
２４の伝送速度ｂ２で伝送可能なフレーム数しか伝送す
ることができないので、端末６２１側から入力されたフ
レームレートの高いハイブリッド符号化された画像デー
タは、通信回線６２４の伝送速度ｂ２の性能にあった、
フレームレートの低いハイブリッド符号化された画像デ
ータにフレームレート変換されて端末６２５側に出力さ
れる。

【０２３１】また、さらに、端末６２１の処理能力ｃ１
で処理可能なフレーム数と通信回線６２４の伝送速度ｂ
２で伝送可能なフレーム数とが等しい場合、端末６２１
側から入力されたハイブリッド符号化された画像データ
は、フレームレート変換されずに、そのまま端末６２５
側に出力される。

【０２３２】図８は図７に示したフレームレート変換部
の詳細な構成を示す図であり、上記実施の形態２から実
施の形態５において、入力されたフレームレートの高い
画像データで（ｉ＋１）から（ｉ＋ｎ）番目のフレーム
までが、動き補償を伴うフレーム間予測誤差に対して直
交変換を行うハイブリッド符号化されたデータである場
合の（ｉ＋ｎ）番目のフレームの処理時のフレームレー
ト変換方式を示すものである。

【０２３３】図８において、６０１は入力であり、フレ
ームレートの高い画像データが入力される。

【０２３４】６０２は可変長復号化手段であり、ハイブ
リッド符号化データを可変長復号化することにより、量
子化された動き補償を伴う予測誤差直交変換データ，量
子化された動き補償を伴わない予測誤差直交変換デー
タ，量子化された直交変換係数に変換する。また、同時
に、入力側端末の符号化装置で設定されたフレーム内／
フレーム間識別を検出して、フレーム内／フレーム間
（ｉｎ）を設定し、また、入力側端末の符号化装置で設
定された動き補償あり／なし識別を検出して、動き補償
あり／なし（ｉｎ）を設定し、また、入力側端末の符号
化装置で設定された量子化係数を検出して、量子化係数
（ｉｎ）を設定し、さらに、入力側端末の符号化装置で
設定された動きベクトルを検出して、動きベクトル（ｉ
ｎ）を設定する。

【０２３５】６０３は逆量子化手段であり、上記設定さ
れた量子化係数（ｉｎ）により、量子化された動き補償
を伴う予測誤差直交変換データ，量子化された動き補償
を伴わない予測誤差直交変換データ，量子化された直交
変換係数を、動き補償を伴う予測誤差直交変換データ，
動き補償を伴わない予測誤差直交変換データ，直交変換
係数に変換する。

【０２３６】６０４は予測誤差直交変換データ加算手段
であり、動きベクトル・直交変換係数演算手段６０８に
て動きベクトルを考慮して演算された直交変換係数、ま
たは画像メモリ６０６に記憶されている直交変換係数
と、動き補償を伴う予測誤差直交変換データ、または動
き補償を伴わない予測誤差直交変換データを加算する。

【０２３７】６０５は直交変換係数選択手段であり、上
記設定されたフレーム内／フレーム間（ｉｎ）により制
御される。すなわち、上記フレーム内／フレーム間（ｉ
ｎ）が「フレーム内」の時は、逆量子化手段６０３によ
り逆量子化された直交変換係数が選択され、上記フレー
ム内／フレーム間（ｉｎ）が「フレーム間」の時は、予
測誤差直交変換データ加算手段６０４により算出された
直交変換係数が選択され出力される。

【０２３８】６０６は画像メモリであり、上記直交変換
係数選択手段６０５により選択された直交変換係数を記
憶するためのものである。

【０２３９】６０７は動き補償あり／なし（ｉｎ）判断
手段であり、動き補償が「あり」の時は画像メモリ６０
６に記憶されている直交変換係数を動きベクトル・直交
変換係数演算手段６０８に出力する。動き補償が「な
し」の時は画像メモリ６０６に記憶されている直交変換
係数を予測誤差直交変換データ加算手段６０４に出力す
る。

【０２４０】６０８は動きベクトル・直交変換係数演算
手段であり、動きベクトル（ｉｎ）を用いて、動き補償
あり／なし（ｉｎ）判断手段６０７にて「あり」と判断
されたときの画像メモリ６０６に記憶されていた直交変
換係数を、マトリクス演算することにより、動きベクト
ルを考慮して演算された直交変換係数を算出する。マト
リクス演算については後述の方法を用いることとする。

【０２４１】６０９は初期画像取込選択手段であり、後
述する符号化制御・フレーム内／フレーム間判断手段６
１３により設定された画像取込指示により、画像メモリ
６０６に記憶されている直交変換係数を取り込み、後述
する画像メモリ６１０に直交変換係数を出力する。

【０２４２】６１０は画像メモリであり、初期画像取込
選択手段６０９により選択された直交変換係数を記憶す
るためのものである。

【０２４３】６１１はフレーム内／フレーム間（ｉｎ）
判断手段であり、「フレーム内」の時は、画像メモリ６
０６の直交変換係数を後段の符号化制御・フレーム内／
フレーム間判断手段６１３へ出力し、「フレーム間」の
時は、画像メモリ６０６の直交変換係数を後述する直交
変換係数減算手段６１２へ出力する。

【０２４４】６１２は直交変換係数減算手段であり、フ
レーム内／フレーム間（ｉｎ）判断手段６１１で、「フ
レーム間」と判断された画像メモリ６０６に記憶されて
いた直交変換係数から画像メモリ６１０の直交変換係数
を減算する。

【０２４５】６１３は符号化制御・フレーム内／フレー
ム間判断手段であり、フレームレート変換が行われてい
ない時には、動き補償あり／なし（ｉｎ）をそのまま動
き補償あり／なし（ｏｕｔ）として出力し、フレームレ
ート変換が行われている時には、動き補償あり／なし
（ｏｕｔ）は「なし」に設定して出力する。また、フレ
ームレート変換を行う１つ前のフレームを画像メモリ６
１０に記憶させるために、画像取込指示を出力する。ま
た、フレーム内／フレーム間（ｉｎ）を用いて、フレー
ム内／フレーム間（ｉｎ）判断手段６１１からの直交変
換係数と、直交変換係数減算手段６１２からの動き補償
を伴わない予測誤差直交変換データとの選択を行い、後
述する量子化手段６１４へ出力する。また、量子化係数
（ｉｎ）を再設定し、量子化係数（ｏｕｔ）として後述
する量子化手段６１４へ出力する。

【０２４６】６１４は量子化手段であり、上記出力され
た量子化係数（ｏｕｔ）により、動き補償を伴わない予
測誤差直交変換データ，直交変換係数を、量子化された
動き補償を伴わない予測誤差直交変換データ，量子化さ
れた直交変換係数にそれぞれ変換する。

【０２４７】６１５はフレームレート変換制御手段であ
り、フレームレート変換情報より、フレームレート変換
の継続／終了を判断する。そしてフレームレート変換終
了後、可変長符号化手段６１７に、量子化された動き補
償を伴わない予測誤差直交変換データ，量子化された直
交変換係数を出力し、フレームレート変換が行われない
時は、可変長復号化手段６０２からの量子化された動き
補償を伴う予測誤差直交変換データ，量子化された動き
補償を伴わない予測誤差直交変換データ，量子化された
直交変換係数をそのまま出力する。

【０２４８】６１６は動きベクトル選択手段であり、上
記符号化制御・フレーム内／フレーム間判断手段６１３
から出力された動き補償あり／なし（ｏｕｔ）により動
きベクトルの選択を行う。すなわち、動き補償あり／な
し（ｏｕｔ）が「あり」の時は、動きベクトル（ｉｎ）
を後述する可変長符号化手段６１７にそのまま出力し、
「なし」の時には可変長符号化手段６１７には動きベク
トル（ｉｎ）を出力しない。

【０２４９】６１７は可変長符号化手段であり、量子化
された動き補償を伴う予測誤差直交変換データ，量子化
された動き補償を伴わない予測誤差直交変換データ，量
子化された直交変換係数を可変長符号化することによ
り、ハイブリッド符号化データに変換する。また、同時
に、フレーム内／フレーム間（ｉｎ）により、出力側端
末の復号化装置に対して設定されたフレーム内／フレー
ム間識別を設定し、動き補償あり／なし（ｏｕｔ），動
きベクトル（ｉｎ）により、出力側端末の復号化装置に
対して動き補償あり／なし識別，動きベクトルを設定
し、量子化係数（ｉｎ）により、出力側端末の復号化装
置に対して量子化係数を設定する。

【０２５０】６１８は出力であり、ここからフレームレ
ートの低い画像データが出力される。

【０２５１】以下、フレームレート変換処理の詳細につ
いて説明する。入力される画像データを、０からｉ番目
のフレームまではフレームレート変換なしとし、（ｉ＋
１）から（ｉ＋ｎ）番目のフレームまでを合成して、フ
レームレート変換を行い、（ｉ＋ｎ＋１）番目のフレー
ム以降のフレームは、フレームレート変換なしとして説
明する。

【０２５２】フレームレート変換しない０〜ｉフレーム
までは、可変長復号化手段６０２，逆量子化手段６０
３，予測誤差直交変換データ加算手段６０４，直交変換
係数選択手段６０５，動き補償あり／なし（ｉｎ）判断
手段６０７，動きベクトル・直交変換係数演算手段６０
８を経由して画像メモリ６０６にＳ（ｉ）として記憶さ
れる。また、初期画像取込選択手段６０９を経由し、画
像メモリ６１０にもＳ（ｉ）として記憶される。また、
可変長復号化手段６０２により可変長復号化されたＱ
（Ｅｍｖ（０））からＱ（Ｅｍｖ（ｉ））は、フレーム
レート変換制御手段６１５により選択されて、可変長符
号化手段６１７により可変長符号化されて、Ｖ（Ｑ（Ｅ
ｍｖ（０）））からＶ（Ｑ（Ｅｍｖ（ｉ）））として出
力される。

【０２５３】一方、フレームレート変換を行う（ｉ＋
１）フレームは、可変長復号化手段６０２により、可変
長復号化され、量子化された動き補償を伴う予測誤差直
交変換データＱ（Ｅｍｖ（ｉ＋１））に変換される。

【０２５４】そして、Ｑ（Ｅｍｖ（ｉ＋１））は逆量子
化手段６０３により、逆量子化され、動き補償を伴う予
測誤差直交変換データＥｍｖ（ｉ＋１）に変換される。

【０２５５】このＥｍｖ（ｉ＋１）は、予測誤差直交変
換データ加算手段６０４により、動き補償あり／なし
（ｉｎ）判断手段６０７で「あり」と判断される画像メ
モリ６０６に記憶されているＳ（ｉ）を、動きベクトル
・直交変換係数演算手段６０８で処理したＳ’（ｉ）と
加算され、直交変換係数選択手段６０５にて「フレーム
間」と判断され、画像メモリ６０６にＳ（ｉ＋１）とし
て記憶される。

【０２５６】（ｉ＋２）から（ｉ＋ｎ）番目のフレーム
までについても、上記（ｉ＋１）番目のフレームと同様
の処理を繰り返すことで処理される。

【０２５７】そして、上記（ｉ＋ｎ）フレームの処理が
終了した時点で、画像メモリ６０６には、直交変換係数
Ｓ（ｉ＋ｎ）が記憶されており、画像メモリ６１０には
直交変換係数Ｓ（ｉ）が記憶されている。

【０２５８】上記直交変換係数Ｓ（ｉ＋ｎ）は、フレー
ム内／フレーム間（ｉｎ）判断手段６１１で、「フレー
ム間」と判断され、直交変換係数減算手段６１２によ
り、Ｓ（ｉ＋ｎ）−Ｓ（ｉ）の処理が行われ、Ｓ（ｎ）
が算出される。ここで、Ｓ（ｎ）は、動き補償を伴わな
い予測誤差直交変換データであり、（ｉ＋１）番目のフ
レームのデータとすると、Ｅ（ｉ＋１）＝Ｓ（ｎ）とす
ることができる。

【０２５９】上記動き補償を伴わない予測誤差直交変換
データＥ（ｉ＋１）は符号化制御・フレーム内／フレー
ム間判断手段６１３にて、フレーム内／フレーム間（ｉ
ｎ）を用いることにより、「フレーム間」と判断され、
選択される。フレームレート変換中は、動き補償あり／
なし（ｏｕｔ）は「なし」に設定される。画像取込指示
は量子化手段６１４にＥ（ｉ＋１）が出力された後、出
力される。

【０２６０】Ｅ（ｉ＋１）は量子化手段６１４により量
子化されて、量子化された動き補償を伴わない予測誤差
直交変換データＱ（Ｅ（ｉ＋１））に変換される。

【０２６１】この量子化された動き補償を伴わない予測
誤差直交変換データＱ（Ｅ（ｉ＋１））は可変長符号化
手段６１７により、可変長符号化され、量子化され可変
長符号化された動き補償を伴わない予測誤差直交変換デ
ータＶ（Ｑ（Ｅ（ｉ＋１）））として出力される。

【０２６２】一方、フレームレート変換しない（ｉ＋ｎ
＋１）番目のフレームは、可変長復号化手段６０２，逆
量子化手段６０３，予測誤差直交変換データ加算手段６
０４，直交変換係数選択手段６０５，動き補償あり／な
し（ｉｎ）判断手段６０７，動きベクトル・直交変換係
数演算手段６０８を経由して、画像メモリ６０６に、直
交変換係数Ｓ（ｉ＋ｎ＋１）として記憶される。また、
初期画像取込選択手段６０９を経由して、画像メモリ６
１０にもＳ（ｉ＋ｎ＋１）として記憶される。また、可
変長復号化手段６０２により可変長復号化されて得られ
たＱ（Ｅｍｖ（ｉ＋ｎ＋１））は、フレームレート変換
制御手段６１５により選択されて、Ｑ（Ｅｍｖ（ｉ＋
２））となり、さらに可変長符号化手段６１７により可
変長符号化されて、Ｖ（Ｑ（Ｅｍｖ（ｉ＋２）））とし
て出力される。そして、（ｉ＋ｎ＋１）より後のフレー
ムについても上記（ｉ＋ｎ＋１）番目のフレームと同様
の処理が行われる。

【０２６３】以上のように、本実施の形態によれば、フ
レームレート変換部６２３で、フレームレートの高いハ
イブリッド符号化された画像データを、フレームレート
の低いハイブリッド符号化された画像データに変換する
際に、通信回線の伝送速度と端末の処理能力を考慮し、
最も律速となる処理速度に合わせてフレームレートを変
換するようにしたから、通信回線の使用効率が悪化する
ことがなくなる。

【０２６４】また、ハイブリッド符号化された画像デー
タの中の任意の開始フレーム、任意の合成フレーム枚数
を制御することにより、動き補償を伴うフレーム間予測
誤差に対して直交変換を行うハイブリッド符号化された
データに対して、該データのみを選択的にフレームレー
ト変換を行うことができ、演算量が大幅に減少し、高速
で負荷の少ないフレームレート変換を行うことができ
る。

【０２６５】実施の形態７．以下、本発明の請求項７に
対応する実施の形態７．に係るフレームレート変換方式
を利用するフレームレート変換装置について、図面を参
照しながら説明する。

【０２６６】図９は上記実施の形態１から６におけるフ
レームレート変換方式を利用したフレームレート変換装
置を示すものである。

【０２６７】図９において、７０１は入力端子であり、
処理能力の高い端末からのフレームレートの高い画像デ
ータまたは、伝送速度の速い通信回線からのフレームレ
ートの高い画像データが入力される。

【０２６８】７０２は可変長復号化手段であり、ハイブ
リッド符号化データを可変長復号化することにより、量
子化された動き補償を伴う予測誤差直交変換データ，量
子化された動き補償を伴わない予測誤差直交変換デー
タ，量子化された直交変換係数に変換する。また、同時
に、入力側端末の符号化装置で設定されたフレーム内／
フレーム間識別を検出して、フレーム内／フレーム間
（ｉｎ）を設定し、また、入力側端末の符号化装置で設
定された動き補償あり／なし識別を検出して、動き補償
あり／なし（ｉｎ）を設定し、また、入力側端末の符号
化装置で設定された量子化係数を検出して、量子化係数
（ｉｎ）を設定し、さらに、入力側端末の符号化装置で
設定された動きベクトルを検出して、動きベクトル（ｉ
ｎ）を設定する。

【０２６９】７０３は逆量子化手段であり、上記設定さ
れた量子化係数（ｉｎ）により、量子化された動き補償
を伴う予測誤差直交変換データ，量子化された動き補償
を伴わない予測誤差直交変換データ，量子化された直交
変換係数を、動き補償を伴う予測誤差直交変換データ，
動き補償を伴わない予測誤差直交変換データ，直交変換
係数にそれぞれ変換する。

【０２７０】７０４は予測誤差直交変換データ加算手段
であり、動きベクトル・直交変換係数演算手段７０８に
て動きベクトルを考慮して演算された直交変換係数、ま
たは画像メモリ７０６に記憶されている直交変換係数
と、動き補償を伴う予測誤差直交変換データ、または動
き補償を伴わない予測誤差直交変換データとを加算す
る。

【０２７１】７０５は直交変換係数選択手段であり、上
記設定されたフレーム内／フレーム間（ｉｎ）により制
御される。すなわち、上記フレーム内／フレーム間（ｉ
ｎ）が「フレーム内」の時は、逆量子化手段７０３によ
り逆量子化された直交変換係数が選択され、上記フレー
ム内／フレーム間（ｉｎ）が「フレーム間」の時は、予
測誤差直交変換データ加算手段７０４により算出された
直交変換係数が選択され出力される。

【０２７２】７０６は画像メモリであり、上記直交変換
係数選択手段７０５により選択された直交変換係数を記
憶するためのものである。

【０２７３】７０７は動き補償あり／なし（ｉｎ）判断
手段であり、動き補償が「あり」の時は画像メモリ７０
６に記憶されている直交変換係数を動きベクトル・直交
変換係数演算手段７０８に出力する。動き補償が「な
し」の時は画像メモリ７０６に記憶されている直交変換
係数を予測誤差直交変換データ加算手段７０４に出力す
る。

【０２７４】７０８は動きベクトル・直交変換係数演算
手段であり、動きベクトル（ｉｎ）を用いて、動き補償
あり／なし（ｉｎ）判断手段７０７にて「あり」と判断
された画像メモリ７０６に記憶されていた直交変換係数
を、マトリクス演算することにより、動きベクトルを考
慮して演算された直交変換係数を算出する。マトリクス
演算については後述の方法を用いる。

【０２７５】７０９は初期画像取込選択手段であり、後
述する符号化制御・フレーム内／フレーム間判断手段７
１３により設定された画像取込指示により、画像メモリ
７０６に記憶されれているの直交変換係数を取り込み、
後述する画像メモリ７１０に直交変換係数を出力する。

【０２７６】７１０は画像メモリであり、初期画像取込
選択手段７０９により選択された直交変換係数を記憶す
るためのものである。

【０２７７】７１１はフレーム内／フレーム間（ｉｎ）
判断手段であり、「フレーム内」の時は、画像メモリ７
０６の直交変換係数を後段の符号化制御・フレーム内／
フレーム間判断手段７１３へ出力し、「フレーム間」の
時は、画像メモリ７０６の直交変換係数を後述する直交
変換係数減算手段７１２へ出力する。

【０２７８】７１２は直交変換係数減算手段であり、フ
レーム内／フレーム間（ｉｎ）判断手段７１１で、「フ
レーム間」と判断されたときに画像メモリ７０６に記憶
されていた直交変換係数から、画像メモリ７１０の直交
変換係数を減算する。

【０２７９】７１３は符号化制御・フレーム内／フレー
ム間判断手段であり、フレームレート変換が行われてい
ない時には、動き補償あり／なし（ｉｎ）をそのまま動
き補償あり／なし（ｏｕｔ）として出力し、フレームレ
ート変換が行われている時には、動き補償あり／なし
（ｏｕｔ）は「なし」に設定して出力する。また、フレ
ームレート変換を行う１つ前のフレームを画像メモリ７
１０に記憶させるために、画像取込指示を出力する。ま
た、フレーム内／フレーム間（ｉｎ）を用いて、フレー
ム内／フレーム間（ｉｎ）判断手段７１１からの直交変
換係数と、直交変換係数減算手段７１２からの動き補償
を伴わない予測誤差直交変換データとの選択を行い、量
子化手段７１４へ出力する。また、量子化係数（ｉｎ）
を再設定し、量子化係数（ｏｕｔ）として後述する量子
化手段７１４へ出力する。

【０２８０】７１４は量子化手段であり、上記出力され
た量子化係数（ｏｕｔ）により、動き補償を伴わない予
測誤差直交変換データ，直交変換係数を、量子化された
動き補償を伴わない予測誤差直交変換データ，量子化さ
れた直交変換係数にそれぞれ変換する。

【０２８１】７１５はフレームレート変換制御手段であ
り、フレームレート変換情報よりフレームレート変換の
継続／終了を判断する。そして、フレームレート変換終
了後、可変長符号化手段７１７に、量子化された動き補
償を伴わない予測誤差直交変換データ，量子化された直
交変換係数を出力し、フレームレート変換が行われない
時は、可変長復号化手段７０２からの量子化された動き
補償を伴う予測誤差直交変換データ，量子化された動き
補償を伴わない予測誤差直交変換データ，量子化された
直交変換係数をそのまま出力する。

【０２８２】７１６は動きベクトル選択手段であり、上
記符号化制御・フレーム内／フレーム間判断手段７１３
から出力された動き補償あり／なし（ｏｕｔ）により、
動きベクトルの選択を行う。すなわち、動き補償あり／
なし（ｏｕｔ）が「あり」の時は、動きベクトル（ｉ
ｎ）を可変長符号化手段７１７にそのまま出力し、「な
し」の時には、可変長符号化手段７１７には動きベクト
ル（ｉｎ）を出力しない。

【０２８３】７１７は可変長符号化手段であり、量子化
された動き補償を伴う予測誤差直交変換データ，量子化
された動き補償を伴わない予測誤差直交変換データ，量
子化された直交変換係数を可変長符号化することによ
り、ハイブリッド符号化データに変換する。また、同時
に、フレーム内／フレーム間（ｉｎ）により、出力側端
末の復号化装置に対して設定されたフレーム内／フレー
ム間識別を設定し、動き補償あり／なし（ｏｕｔ）、動
きベクトル（ｉｎ）により、出力側端末の復号化装置に
対して動き補償あり／なし識別、動きベクトルを設定
し、量子化係数（ｉｎ）により、出力側端末の復号化装
置に対して量子化係数を設定する。

【０２８４】７１８は出力であり、処理能力の低い端末
へのフレームレートの低い画像データまたは、伝送速度
の遅い通信回線へのフレームレートの低い画像データが
出力される。

【０２８５】以下に、上記実施の形態１〜７で用いられ
る動きベクトル・直交変換係数演算手段（１０８，２０
８，３０８，４０８，５０８，６０８，７０８）によ
り、動きベクトルを考慮して演算された直交変換係数を
算出するためのマトリクス演算について説明する。

【０２８６】図１１は、上記動きベクトル・直交変換係
数演算手段（１０８，２０８，３０８，４０８，５０
８，６０８，７０８）の詳細を説明するフローチャート
を示す図で、１００１はブロック探索手段、１００２は
直交変換係数演算手段、１００３は直交変換係数加算手
段を示す。

【０２８７】ここで、動きベクトル・直交変換係数演算
手段（１０８，２０８，３０８，４０８，５０８，６０
８，７０８）の詳細を説明するために、以下のことを定
義しておく。

【０２８８】動きベクトル・直交変換係数演算手段（１
０８，２０８，３０８，４０８，５０８，６０８，７０
８）は、動き補償ありの場合、画像メモリ（１０６，２
０６，３０６，４０６，５０６，６０６，７０６）に記
憶されていた直交変換係数と動きベクトル（ｉｎ）を取
り込む。

【０２８９】二次元直交変換の処理をＦ、二次元直交変
換を一次元直交変換に分解した時の変換行列をＴ、転置
行列をｔで表す。

【０２９０】入力された画像データで動き補償を伴うフ
レーム間予測誤差に対して直交変換を行うハイブリッド
符号化されたデータを逆直交変換した画像ブロックを
Ｍ、画像メモリ（１０６，２０６，３０６，４０６，５
０６，６０６，７０６）に記憶されていた直交変換係数
を逆直交変換した画像ブロックをＡとする。ＡはＭの参
照ブロックである。画像メモリ（１０６，２０６，３０
６，４０６，５０６，６０６，７０６）に記憶されてい
たデータは直交変換係数であるのでブロック境界で分割
されており、Ａは最大で４分割される場合がある。この
４分割された場合のブロックを左上ブロックをＡ１、右
上ブロックをＡ２、左下ブロックをＡ３、右下ブロック
をＡ４とする。Ａ１，Ａ２，Ａ３，Ａ４におけるＡとの
共通部分をＭに対応する位置に移動し、移動した部分以
外を０とした画像ブロックをそれぞれＢ１，Ｂ２，Ｂ
３，Ｂ４とする。図１２は、画像ブロックＭ、Ａ、Ａ
１，Ａ２，Ａ３，Ａ４、Ｂ１，Ｂ２，Ｂ３，Ｂ４を示す
ものである。図１２のＡ１，Ａ２，Ａ３，Ａ４とＢ１，
Ｂ２，Ｂ３，Ｂ４の同じ網掛け部分はそれぞれの値は等
しい。また、ＡとＭに使用されている記号は位置関係を
示しているだけであり、それぞれの値は異なる。

【０２９１】図１１の１００１はブロック探索手段であ
り、動きベクトル（ｉｎ）を用いることにより、Ａが探
索される。

【０２９２】図１１の１００２は直交変換係数演算手段
であり、上記探索されたＡから、Ｆ（Ａ１），Ｆ（Ａ
２），Ｆ（Ａ３），Ｆ（Ａ４）を求める。ここで、Ｆ
（Ａ１），Ｆ（Ａ２），Ｆ（Ａ３），Ｆ（Ａ４）は、画
像メモリ（１０６，２０６，３０６，４０６，５０６，
６０６，７０６）に記憶されていた直交変換係数の画像
ブロックと等しい。後述するマトリクス演算を利用し
て、Ｆ（Ｂ１），Ｆ（Ｂ２），Ｆ（Ｂ３），Ｆ（Ｂ４）
を求める。以下に、マトリクス演算の方法を示す。この
演算を行うために用いるマトリクスを図１３，図１４に
示す。このマトリクスをＳ行列とする。また、ここでは
ブロックの大きさが８×８である場合について説明す
る。図１５，図１６，図１７，１８は、Ｓ行列を掛けた
時の８×８のブロックの移動について示したものであ
る。ｍ＝１〜７とすると、Ｓｄｌｍを８×８のブロック
に対して左から掛けると図１５に示すように、８×８の
ブロックはｍ行分下に移動され、上からｍ行目まで全て
０に変換される。Ｓｄｌｍを８×８のブロックに対して
右から掛けると図１６に示すように、８×８のブロック
はｍ列分左に移動され、右からｍ列目まで全て０に変換
される。Ｓｕｒｍを８×８のブロックに対して左から掛
けると図１７に示すように、８×８のブロックはｍ行分
上に移動され、下からｍ行目まで全て０に変換される。
Ｓｕｒｍを８×８のブロックに対して右から掛けると図
１８に示すように、８×８のブロックはｍ列分右に移動
され、左からｍ列目まで全て０に変換される。

【０２９３】次にＦ（Ａ１）をＦ（Ｂ１）に変換する方
法については図面を参照しながら説明する。

【０２９４】図１９はＡ１をＢ１に変換する方法の説明
を示したものである。Ａ，Ａ１，Ｂ１が８×８のブロッ
クであり、Ａ１とＡの共通部分の大きさをａ行ｂ列とす
る。Ａ１を上に（８−ａ）行分、左に（８−ｂ）列分移
動し、右から８−ａ行目、下から８−ｂ列目まで０に変
換すればよいことになる。この変換は、Ａ１に対してＳ
ｕｒ（８−ａ）を左から掛け、この後、Ｓｄｌ（８−
ｂ）を右から掛けることにより行われる。これを式で表
すと、 Ｓｕｒ（８−ａ）×Ａ１×Ｓｄｌ（８−ｂ）＝Ｂ１ となる。Ｆ（Ｂ１）を求めるには Ｆ（Ｂ１） ＝Ｆ（Ｓｕｒ（８−ａ）×Ａ１×Ｓｄｌ（８−ｂ）） ＝ＴＳｕｒ（８−ａ）×Ａ１×Ｓｄｌ（８−ｂ）ｔＴ ＝ＴＳｕｒ（８−ａ）Ｔｔ×ＴＡ１Ｔｔ×ＴＳｄｌ（８−ｂ）ｔＴ ＝Ｆ（Ｓｕｒ（８−ａ））×Ｆ（Ａ１）×Ｆ（Ｓｄｌ（８−ｂ）） とすればよい。これにより、Ｓ行列自体は必要でないと
いうことが分かり、Ｆ（Ｓ行列）については予め計算
し、準備しておけば、Ｆ（Ａ１）からＦ（Ｂ１）を求め
ることが容易になる。Ｆ（Ｂ２）、Ｆ（Ｂ３）、Ｆ（Ｂ
４）も同様に求めることができる。

【０２９５】図１１の１００３は直交変換係数加算手段
であり、Ｆ（Ｂ１），Ｆ（Ｂ２），Ｆ（Ｂ３），Ｆ（Ｂ
４）を加算し、Ｆ（Ａ）を求める。この処理の詳細を示
すと、直交変換は線形の操作であるので、Ｆ（Ｂ１），
Ｆ（Ｂ２），Ｆ（Ｂ３），Ｆ（Ｂ４）を加算すると、 Ｆ（Ｂ１）＋Ｆ（Ｂ２）＋Ｆ（Ｂ３）＋Ｆ（Ｂ４）＝Ｆ
（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４） となり、ここで、Ｂ１〜Ｂ４の網掛け部分とＡ１〜Ａ４
の網掛け部分が等しいので Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４＝Ａ であるので、 Ｆ（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）＝Ｆ（Ａ） よって、 Ｆ（Ｂ１）＋Ｆ（Ｂ２）＋Ｆ（Ｂ３）＋Ｆ（Ｂ４）＝Ｆ
（Ａ） となる。

【０２９６】この操作により求まったＦ（Ａ）はフレー
ム単位でまとめられることにより、Ｓ’（ｉ）となる。

【０２９７】以上のように、本実施の形態によれば、逆
直交変換，動き検出，直交変換の処理を省略することに
より演算量を減らし、従来の技術に比べ大幅な負荷の軽
減と高速化を図り、通信回線の使用効率の向上をはかる
ことができ、また、端末の処理能力に対応したフレーム
レートの画像データを生成することができるという効果
がある。

【０２９８】

【発明の効果】以上のように、本発明の請求項１に係る
フレームレート変換方式によれば、端末間でハイブリッ
ド符号化された画像データを通信する場合において、通
信回線の伝送速度によってフレームレートを変換するだ
けではなく、端末の処理能力を考慮することにより、入
力されたフレームレートの高い画像データを、端末の処
理能力に応じたフレームレートに変換し、フレームレー
トの低い画像データとして出力するようにしたので、出
力において、通信回線で伝送可能なフレーム数よりも、
端末で処理できるフレーム数の方が少ない場合は、端末
の処理能力を考慮してフレームレートの変換が行われ、
端末で処理できないフレーム数のハイブリッド符号化さ
れた画像データが通信回線に出力されることがなくな
り、通信回線の使用効率を向上させることができる効果
がある。

【０２９９】また、本発明の請求項２に係るフレームレ
ート変換方式によれば、フレームレートの高い動き補償
を伴うフレーム間予測誤差に対して直交変換を行うハイ
ブリッド符号化された画像データを入力し、逆直交変
換，動き検出，直交変換の処理を省略することにより演
算量を減らし、従来の技術に比べ大幅な負荷の軽減と高
速化を図ることができ、また、フレームレートの低い動
き補償を伴わないフレーム間予測誤差に対して直交変換
を行うハイブリッド符号化された画像データを生成する
ことができるフレームレート変換方式を提供できるとい
う効果がある。

【０３００】また、本発明の請求項３に係るフレームレ
ート変換方式によれば、フレームレートの高い動き補償
を伴うフレーム間予測誤差に対して直交変換を行うハイ
ブリッド符号化された画像データと、動き補償を伴わな
いフレーム間予測誤差に対して直交変換を行うハイブリ
ッド符号化された画像データとの両方が含まれる画像デ
ータを入力し、逆直交変換，動き検出，直交変換の処理
を省略することにより演算量を減らし、従来の技術に比
べ大幅な負荷の軽減と高速化を図ることができ、また、
フレームレートの低い動き補償を伴わないフレーム間予
測誤差に対して直交変換を行うハイブリッド符号化され
た画像データを生成することができるフレームレート変
換方式を提供できるという効果がある。

【０３０１】また、本発明の請求項４に係るフレームレ
ート変換方式によれば、フレームレートの高い動き補償
を伴うフレーム間予測誤差に対して直交変換を行うハイ
ブリッド符号化された画像データと、フレーム内符号化
された画像データとの両方が含まれる画像データを入力
し、逆直交変換，動き検出，直交変換の処理を省略する
ことにより演算量を減らし、従来の技術に比べ大幅な負
荷の軽減と高速化を図ることができ、また、フレームレ
ートの低い動き補償を伴わないフレーム間予測誤差に対
して直交変換を行うハイブリッド符号化された画像デー
タと、フレーム内符号化された画像データとの両方が含
まれる画像データを生成することができるフレームレー
ト変換方式を提供できるという効果がある。

【０３０２】また、本発明の請求項５に係るフレームレ
ート変換方式によれば、フレームレートの高い動き補償
を伴うフレーム間予測誤差に対して直交変換を行うハイ
ブリッド符号化された画像データと、動き補償を伴わな
いフレーム間予測誤差に対して直交変換を行うハイブリ
ッド符号化された画像データと、フレーム内符号化され
た画像データとの３つが含まれる画像データを入力し、
逆直交変換，動き検出，直交変換の処理を省略すること
により演算量を減らし、従来の技術に比べ大幅な負荷の
軽減と高速化を図ることができ、また、フレームレート
の低い動き補償を伴わないフレーム間予測誤差に対して
直交変換を行うハイブリッド符号化された画像データ
と、フレーム内符号化された画像データとの両方が含ま
れる画像データを生成することができるフレームレート
変換方式を提供できるという効果がある。

【０３０３】また、本発明の請求項６に係るフレームレ
ート変換方式によれば、端末間でハイブリッド符号化さ
れた画像データを通信する場合において、通信回線の伝
送速度によってフレームレートを変換するだけではな
く、端末の処理能力を考慮することにより、入力された
フレームレートの高い画像データを、端末の処理能力に
応じたフレームレートに、上記請求項２ないし請求項５
のいずれかに記載のフレームレート変換方式を用いて変
換し、逆直交変換，動き検出，直交変換の処理を省略す
ることにより演算量を減らし、従来の技術に比べ大幅な
負荷の軽減と高速化を図ることができ、フレームレート
の低い画像データとして出力するようにしたので、出力
において、通信回線で伝送可能なフレーム数よりも、端
末で処理できるフレーム数の方が少ない場合は、端末の
処理能力を考慮してフレームレートの変換が行われ、端
末で処理できないフレーム数のハイブリッド符号化され
た画像データが通信回線に出力されることがなくなり、
通信回線の使用効率を向上させることができる効果があ
る。

【０３０４】また、本発明の請求項７に係るフレームレ
ート変換装置によれば、上記請求項１ないし請求項６の
いずれかに記載のフレームレート変換方式を利用して、
逆直交変換，動き検出，直交変換の処理を省略すること
により演算量を減らし、従来の技術に比べ大幅な負荷の
軽減と高速化を図り、通信回線の使用効率の向上をはか
ることができ、また、端末の処理能力に対応したフレー
ムレートの画像データを生成することができるという効
果がある。

【図面の簡単な説明】

【図１】本発明の請求項１に係るフレームレート変換方
式の構成を説明するための図である。

【図２】上記請求項１に係るフレームレート変換方式に
よるフレームレート変換処理を説明するためのフローチ
ャートを示す図である。

【図３】本発明の請求項２に係るフレームレート変換方
式を説明するためのフローチャートを示す図である。

【図４】本発明の請求項３に係るフレームレート変換方
式を説明するためのフローチャートを示す図である。

【図５】本発明の請求項４に係るフレームレート変換方
式を説明するためのフローチャートを示す図である。

【図６】本発明の請求項５に係るフレームレート変換方
式を説明するためのフローチャートを示す図である。

【図７】本発明の請求項６に係るフレームレート変換方
式の構成を説明するための図である。

【図８】上記請求項６に係るフレームレート変換方式に
よるフレームレート変換処理を説明するためのフローチ
ャートを示す図である。

【図９】本発明の請求項７に係るフレームレート変換装
置の構成を示す図である。

【図１０】従来のレート変換画像符号化装置の構成を示
す図である。

【図１１】動きベクトル・直交変換係数演算手段の詳細
を説明するフローチャートを示す図である。

【図１２】画像ブロックＭ、Ａ、Ａ１，Ａ２，Ａ３，Ａ
４、Ｂ１，Ｂ２，Ｂ３，Ｂ４を示す図である。

【図１３】動きベクトルを考慮して演算された直交変換
係数を算出するためのマトリクス演算方法にて用いられ
るマトリクスを示す図である。

【図１４】動きベクトルを考慮して演算された直交変換
係数を算出するためのマトリクス演算方法にて用いられ
るマトリクスを示す図である。

【図１５】Ｓｄｌｍ行列を左から掛けた時の８×８のブ
ロックの移動について示す図である。

【図１６】Ｓｄｌｍ行列を右から掛けた時の８×８のブ
ロックの移動について示す図である。

【図１７】Ｓｕｒｍ行列を左から掛けた時の８×８のブ
ロックの移動について示す図である。

【図１８】Ｓｕｒｍ行列を右から掛けた時の８×８のブ
ロックの移動について示す図である。

【図１９】Ａ１をＢ１に変換する方法の説明を示す図で
ある。

【図２０】従来のフレームレート変換方式の構成を示す
図である。

【符号の説明】 １０４ 予測誤差直交変換データ加算手段 １１２ 直交変換係数減算手段 ２０４ 予測誤差直交変換データ加算手段 ２１２ 直交変換係数減算手段 ３０４ 予測誤差直交変換データ加算手段 ３１２ 直交変換係数減算手段 ４０４ 予測誤差直交変換データ加算手段 ４１２ 直交変換係数減算手段 ５０４ 予測誤差直交変換データ加算手段 ５１２ 直交変換係数減算手段 ６０４ 予測誤差直交変換データ加算手段 ６１２ 直交変換係数減算手段 ７０４ 予測誤差直交変換データ加算手段 ７０５ 直交変換係数選択手段 ７０７ 動き補償あり／なし（ｉｎ）判断手段 ７０９ 初期画像取込選択手段 ７１１ フレーム内／フレーム間（ｉｎ）判断手段 ７１２ 直交変換係数減算手段 ７１５ フレームレート変換制御手段 ９１９ 加算手段 ９２１ スイッチ手段 ９２２ セレクタ ９２４ 加算手段 ９２７ セレクタ ９２８ 減算手段 ９３１ セレクタ ９３４ 加算手段 ９３７ セレクタ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 端末間でハイブリッド符号化された画像
   データを通信する場合において、一方の端末をａ１、他
   方の端末をａ２とし、端末ａ１が接続されている通信回
   線の伝送速度をｂ１、端末ａ２が接続されている通信回
   線の伝送速度をｂ２、さらに、端末ａ１の処理能力をｃ
   １、端末ａ２の処理能力をｃ２としたとき、 フレームレートの高い画像データを端末ａ１側から入力
   し、端末ａ２側に出力するフレーム数を、伝送速度がｂ
   １≧ｂ２で、かつ端末の処理能力がｃ１＝ｃ２のときに
   は、ｂ２で伝送できるフレーム数に設定し、伝送速度が
   ｂ１≧ｂ２で、かつ端末の処理能力がｃ１＞ｃ２のとき
   には、ｂ２で伝送できるフレーム数とｃ２で処理できる
   フレーム数のどちらか少ない方のフレーム数に設定し、
   伝送速度がｂ１＜ｂ２で、かつ端末の処理能力がｃ１＞
   ｃ２のときには、ｂ１で伝送できるフレーム数とｃ２で
   処理できるフレーム数のどちらか少ない方のフレーム数
   に設定し、伝送速度がｂ１＞ｂ２で、かつ端末の処理能
   力がｃ１＜ｃ２のときには、ｂ２で伝送できるフレーム
   数とｃ１で処理できるフレーム数のどちらか少ない方の
   フレーム数に設定し、上記端末ａ１から入力されたフレ
   ームレートの高い画像データのフレームレートを変換し
   て上記端末ａ２側にフレームレートの低い画像データと
   して出力することを特徴とするフレームレート変換方
   式。
2. 【請求項２】 フレームレートの高い動き補償を伴うフ
   レーム間予測誤差に対して直交変換を行うハイブリッド
   符号化された画像データを入力し、動き補償を伴うフレ
   ーム間予測誤差に対して直交変換を行うハイブリッド符
   号化された画像データのフレームを複数枚まとめて１枚
   の動き補償を伴わないフレーム間予測誤差に対して直交
   変換を行うハイブリッド符号化された画像データのフレ
   ームに合成することによりフレームレートを変換し、フ
   レームレートの低い動き補償を伴わないフレーム間予測
   誤差に対して直交変換を行うハイブリッド符号化された
   画像データとして出力することを特徴とするフレームレ
   ート変換方式。
3. 【請求項３】 フレームレートの高い動き補償を伴うフ
   レーム間予測誤差に対して直交変換を行うハイブリッド
   符号化された画像データと、動き補償を伴わないフレー
   ム間予測誤差に対して直交変換を行うハイブリッド符号
   化された画像データとの両方が含まれる画像データを入
   力し、動き補償を伴うフレーム間予測誤差に対して直交
   変換を行うハイブリッド符号化された画像データと、動
   き補償を伴わないフレーム間予測誤差に対して直交変換
   を行うハイブリッド符号化された画像データとの両方が
   含まれる画像データのフレームを複数枚まとめて１枚の
   動き補償を伴わないフレーム間予測誤差に対して直交変
   換を行うハイブリッド符号化された画像データのフレー
   ムに合成することによりフレームレートを変換し、フレ
   ームレートの低い動き補償を伴わないフレーム間予測誤
   差に対して直交変換を行うハイブリッド符号化された画
   像データとして出力することを特徴とするフレームレー
   ト変換方式。
4. 【請求項４】 フレームレートの高い動き補償を伴うフ
   レーム間予測誤差に対して直交変換を行うハイブリッド
   符号化された画像データと、フレーム内符号化された画
   像データとの両方が含まれる画像データを入力し、動き
   補償を伴うフレーム間予測誤差に対して直交変換を行う
   ハイブリッド符号化された画像データと、フレーム内符
   号化された画像データとの両方が含まれる画像データの
   フレームを複数枚まとめて１枚の動き補償を伴わないフ
   レーム間予測誤差に対して直交変換を行うハイブリッド
   符号化された画像データと、フレーム内符号化された画
   像データとの両方が含まれる画像データのフレームに合
   成することによりフレームレートを変換し、フレームレ
   ートの低い動き補償を伴わないフレーム間予測誤差に対
   して直交変換を行うハイブリッド符号化された画像デー
   タと、フレーム内符号化された画像データとの両方が含
   まれる画像データとして出力することを特徴とするフレ
   ームレート変換方式。
5. 【請求項５】 フレームレートの高い動き補償を伴うフ
   レーム間予測誤差に対して直交変換を行うハイブリッド
   符号化された画像データと、動き補償を伴わないフレー
   ム間予測誤差に対して直交変換を行うハイブリッド符号
   化された画像データと、フレーム内符号化された画像デ
   ータとの３つが含まれる画像データを入力し、動き補償
   を伴うフレーム間予測誤差に対して直交変換を行うハイ
   ブリッド符号化された画像データと、動き補償を伴わな
   いフレーム間予測誤差に対して直交変換を行うハイブリ
   ッド符号化された画像データと、フレーム内符号化され
   た画像データとの３つが含まれる画像データのフレーム
   を複数枚まとめて１枚の動き補償を伴わないフレーム間
   予測誤差に対して直交変換を行うハイブリッド符号化さ
   れた画像データと、フレーム内符号化された画像データ
   との両方が含まれる画像データのフレームに合成するこ
   とによりフレームレートを変換し、フレームレートの低
   い動き補償を伴わないフレーム間予測誤差に対して直交
   変換を行うハイブリッド符号化された画像データと、フ
   レーム内符号化された画像データとの両方が含まれる画
   像データとして出力することを特徴とするフレームレー
   ト変換方式。
6. 【請求項６】 請求項１記載のフレームレート変換方式
   において、 フレームレートの変換を行う際に、上記請求項２ないし
   請求項５のいずれかに記載のフレームレート変換方式を
   用いてフレームレート変換を行うことを特徴とするフレ
   ームレート変換方式。
7. 【請求項７】 上記請求項１ないし請求項６のいずれか
   に記載のフレームレート変換方式を用いてフレームレー
   トの変換を行うことを特徴とするフレームレート変換装
   置。