JP2004147104A - Moving image coding device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To secure a minimum picture quality even when the bit rate of a coded data stream to be output is changed. <P>SOLUTION: The real time distribution system 1 of a moving image is provided with: a frame rate conversion part 11 for controlling the frame rate of input moving image data; a coding part 12 for compress-coding moving image data whose frame rate is controlled by MPEG-4; a frame rate calculation part 16 for calculating the set value of the frame rate; and a transmission part 13 and a reception part 14 for transmitting and receiving data through a network. The reception part 14 detects the communication situation of the network and calculates a target bit rate based on the communication situation of the detected network. The coding part 12 controls the bit rate of an MPEG-data stream according to this target bit rate. The frame rate calculation part 16 estimates the picture quality based on the quantization scale value of the coding part 12. When the picture quality is deteriorated not less than a fixed degree, the calculation part 16 lowers the frame rate. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介してリアルタイム配信される動画像データストリームを生成する動画像符号化装置及び方法、並びに、当該動画像データストリームを送信する動画像送信装置に関する。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを利用して動画像データをリアルタイム配信するシステムが増えている。このようなリアルタイム配信システムでは、ネットワークの通信状態が時々刻々と変化することに対応するため、ネットワークの通信状態に応じて送信側で送出レートを適応的に変化させ、リアルタイム性を保障している（例えば、特許文献１参照。）。
【０００３】
一般に、インターネット等のＩＰネットワークを利用して動画像データのリアルタイム配信を行う場合には、ＲＦＣ１８８９／１８９０で標準化されているＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）及びＲＴＣＰ（Ｒｅａｒ−Ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）が適用される。ＲＴＰは、例えば動画像データ等の実時間データを送信装置側から受信装置側へ転送するためのデータ転送プロトコルである。ＲＴＣＰは、ＲＴＰに従って転送されるデータに対する制御情報を転送するデータ転送プロトコルである。
【０００４】
ＲＴＰ及びＲＴＣＰを用いたリアルタイム配信を行った場合、ネットワーク上で損失されたＲＴＰパケットの割合（パケット損失率）や受信装置側で受信したＲＴＰパケットの遅延時間（ジッタ）等が、ＲＴＣＰパケットに含められて受信装置側から送信装置側へ転送される。このため送信装置は、パケット損失率やジッタが大きくなればネットワークの転送効率が下がっていると判断し、データの送出レートを下げ、パケット損失率やジッタが小さくなればネットワークの転送効率が下がっていると判断し、データの送出レートを上げることができる。このようにＲＴＰ及びＲＴＣＰでは、ネットワークの状態に応じて送信側で送出レートを適応的に変化させ、データのリアルタイム性を保障しながら動画像データの配信をすることができる。
【０００５】
【特許文献１】
特開平１１−３０８２７１号公報
【特許文献２】
特開２００２−１９９３９８号公報
【０００６】
【発明が解決しようとする課題】
ところで、リアルタイム配信を行う場合の動画像データの符号化には、一般にＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１，２，４等が用いられる。ＭＰＥＧ−１，２，４等の動画像符号化方式の場合、出力するデータストリームのビットレートの制御が、量子化処理時における量子化スケールを可変することで行われる。具体的には、ＭＰＥＧ１，２，４では、量子化スケールを大きくすることによって、出力するデータストリームのビットレートを低くし、量子化スケールを小さくすることによって、出力するデータストリームのビットレートを高くしている。
【０００７】
従って、ＭＰＥＧ−１，２，４等の動画像符号化方式で生成されたデータストリームをネットワークを介してリアルタイム配信する場合、ネットワークの通信状態に応じて送信側で送出レートを適応的に変化させるには、符号化時における量子化スケールを制御すればよい。
【０００８】
しかしながら、量子化スケールを大きくすると、それに伴いフレームの画質も劣化してしまい、映像の内容によっては最低限の画質を保障することができない場合もある。
【０００９】
また、フレームレートを制御することによって画質を制御する動画像符号化装置も知られているが（例えば、特許文献２参照。）、このような動画像符号化装置では、符号化前の動画像の特徴を利用してフレームレートを制御しているので、ネットワークの状況に応じてフレームレートを制御してリアルタイム性を確保することはできない。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、出力する符号化データストリームのビットレートが変更されても最低限の画質を保障することが可能な、動画像符号化装置及び方法並びに動画像送信装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明にかかる動画像符号化装置は、時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段とを備え、上記符号化手段は、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御することを特徴とする。
【００１２】
上記動画像符号化装置では、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００１３】
本発明にかかる動画像符号化方法は、時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームを圧縮符号化することによって符号化データストリームを生成する画像符号化方法であって、設定された目標のビットレートに応じて出力する符号化データストリームのビットレートを制御しながら圧縮符号化を行うとともに、生成された上記符号化データストリームの画質を検出し、検出した画質に基づきフレームレートの設定値を算出し、上記動画像データストリームのフレームレートを制御することを特徴とする。
【００１４】
上記動画像符号化方法では、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００１５】
本発明に係る動画像送信装置は、時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段と、上記符号化手段により符号化された符号化データストリームをネットワークを介して受信装置に送信するとともに、当該受信装置との間で制御データの送受信を行う送受信手段とを備え、上記送受信手段は、受信装置から受信した制御データに基づきネットワークの状況を検出し、検出したネットワークの状況に基づき目標のビットレートを算出し、上記符号化手段は、上記送受信手段により算出された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御することを特徴とする。
【００１６】
上記動画像送信装置では、ネットワークの状況に応じて決定された目標のビットレートに応じて符号化データストリームのビットレートを制御し、ビットレートが制御された当該符号化データストリームをネットワーク上に送信するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明が適用された動画像データのリアルタイム配信システムについて説明する。
【００１８】
図１に、本発明の実施の形態の動画像データのリアルタイム配信システムの構成図を示す。
【００１９】
本発明の実施の形態の動画像データのリアルタイム配信システム１は、図１に示すように、送信装置３と、受信装置４と、ＩＰネットワーク５とから構成される。
【００２０】
リアルタイム配信システム１では、例えばカメラ装置２等から出力された動画像データを、送信装置３がＭＰＥＧ−４（ＩＳＯ／ＩＥＣ　１４４９６−２）規格方式で圧縮符号化し、ＭＰＥＧ−４データストリームを生成する。送信装置３は、ＭＰＥＧ−４データストリームをＲＴＰパケットに変換し、さらに、このＲＴＰパケットをＩＰヘッダが付加されたＵＤＰパケットに変換する。送信装置３によってＩＰパケットにパケット化された動画像データは、インターネットプロトコルが適用されたネットワークであるＩＰネットワーク５を介して、受信装置４に転送される。受信装置４は、送信装置３から転送されてきたＩＰパケットを受信して、そのＩＰパケットからＭＰＥＧ−４データを抽出して、動画像データを復号する。
【００２１】
さらに、リアルタイム配信システム１では、ＲＴＰパケットに対する制御情報がＲＴＣＰパケットにパケット化され、送信装置３と受信装置４との間でやり取りされる。ＲＴＣＰパケットは、ＩＰヘッダが付加されたＴＣＰパケットにパケット化されて、ＩＰネットワーク５上に配信される。
【００２２】
受信装置４は、動画像データが含まれているＲＴＰパケットのジッタやパケット損失率等を、ＩＰネットワーク５の状況を示すパラメータとして、ＲＴＣＰパケット内に含めて送信装置３に転送する。送信装置３は、受信装置４から受信したジッタやパケット損失率に基づき、現在のＩＰネットワーク５の通信状況を判断し、リアルタイム配信が保障されるように、ＭＰＥＧ−４データストリームのビットレートをコントロールしている。例えば、送信装置３は、ジッタやパケット損失率が大きくなりネットワーク５の通信状況が悪化したと判断する場合には、ＭＰＥＧ−４データストリームのビットレートを小さくして転送レートを下げ、ジッタやパケット損失率が小さくなりネットワーク５の通信状況が良好の場合には、ＭＰＥＧ−４データストリームのビットレートを大きくして転送レートを上げる、といったようにビットレートのコントロールをしている。
【００２３】
このため、リアルタイム配信システム１では、ＩＰネットワーク５の通信状況に変動があったとしても、例えばカメラ装置２等から出力される動画像データを、リアルタイムで受信装置４に転送することができる。
【００２４】
つぎに、送信装置３の構成について、さらに詳細に説明をする。
【００２５】
送信装置３は、カメラ装置２から送信された動画像データのフレームレートを変換するフレームレート変換部１１と、フレームレート変換部１１から出力された動画像データをＭＰＥＧ−４方式で圧縮符号化する動画像符号化部１２と、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームをパケット化するとともにその他の制御情報をパケット化してＩＰネットワーク５を介して受信装置４に送信する送信部１３と、受信装置４からＩＰネットワーク５を介して送信されてきたパケットを受信する受信部１４と、動画像符号化部１２により生成されるＭＰＥＧ−４データストリームの目標ビットレートを算出する目標ビットレート算出部１５と、フレームレート変換部１１により生成される動画像データの目標フレームレートを算出するフレームレート算出部１６とを備えている。
【００２６】
フレームレート変換部１１には、カメラ装置２からベースバンドの動画像データが入力される。カメラ装置２から出力されるベースバンドの動画像データは、図２Ａに示すように、所定の画像サイズの矩形上のフレームが、所定の時間間隔で時系列に並べられたデータ構成となっている。なお、一秒間に含まれるフレームの枚数のことを、フレームレートという。フレームレート変換部１１には、フレームレート算出部１６から目標フレームレート（Ｘｆｐｓ）が与えられる。フレームレート変換部１１は、入力されたベースバンドの動画像データに対してフレームの間引き処理を行い、図２Ｂに示すように、Ｘ（ｆｐｓ）のベースバンドの動画像データを生成する。フレームレート変換部１１により生成されたＸ（ｆｐｓ）のベースバンドの動画像データは、動画像符号化部１２に供給される。また、フレームレート変換部１１は、必要に応じて、ＭＰＥＧ−４の入力画像フォーマットに合致するように、出力するベースバンドの動画像データのフレームサイズの変換も行う。
【００２７】
動画像符号化部１２には、フレームレート変換部１１から出力されたＸ（ｆｐｓ）のベースバンドの動画像データが入力される。動画像符号化部１２は、入力されたベースバンドの動画像データをＭＰＥＧ−４方式で圧縮符号化して、ＭＰＥＧ−４データストリームを生成する。動画像符号化部１２により生成されたＭＰＥＧ−４データストリームは、送信部１３に供給される。また、動画像符号化部１２は、目標ビットレート算出部１５から目標ビットレート値ｂ´（ｂｉｔ　ｐｅｒ　ｓｅｃｏｎｄ）が入力される。動画像符号化部１２は、生成したＭＰＥＧ−４データストリームのビットレートが、上記の目標ビットレート値ｂ´となるように、量子化スケール（ｑ＿ｓｃａｌｅ）を制御しながら、圧縮符号化処理を行っている。なお、動画像符号化部１２の構成については詳細を後述する。
【００２８】
送信部１３には、動画像符号化部１２から出力されたＭＰＥＧ−４データストリームが入力される。送信部１３は、入力されたＭＰＥＧ−４データストリームをＲＴＰパケットにパケット化し、さらに、このＲＴＰパケットをＩＰヘッダが付加されたＵＤＰパケットにパケット化する。また、送信部１３は、ＲＴＰパケットの転送を制御するための制御情報をＲＴＣＰパケットにパケット化し、このＲＴＣＰパケットをＩＰヘッダが付加されたＴＣＰパケットにパケット化する。送信部１３は、このように生成したＩＰパケットを、ＩＰネットワーク５を介して受信装置４へ送信する。
【００２９】
受信部１４には、受信装置４からＩＰネットワーク５を介して転送されてきたＲＴＣＰパケットを受信する。受信部１４は、受信したＲＴＣＰパケット内に含まれている制御情報を抽出して、例えば図示しないコントローラ等に供給する。また、受信部１４は、受信装置４から転送されてきたＲＴＣＰパケットに含まれているＩＰネットワーク５の通信状況を示す各種のパラメータを抽出して、例えば、ジッタやパケット損失率を抽出して、目標ビットレート算出部１５に供給する。
【００３０】
目標ビットレート算出部１５には、受信部１４からＩＰネットワーク５の通信状況を示す各種のパラメータが入力される。例えば、ジッタやパケット損失率が入力される。目標ビットレート算出部１５は、入力された各種のパラメータに基づき現時点のＩＰネットワーク５の通信状況を推定し、動画像符号化部１２により生成されるＭＰＥＧ−４データストリームの現時点における最適なビットレートを算出する。つまり、目標ビットレート算出部１５は、ネットワーク５の通信状況が悪化した場合には、ＭＰＥＧ−４データストリームのビットレートを小さくして転送レートを低くし、ネットワーク５の通信状況が良好となった場合には、ＭＰＥＧ−４データストリームのビットレートを大きくして転送レートを高くする、といったように目標ビットレートをコントロールし、リアルタイム配信を保障する動作を行う。
【００３１】
例えば、目標ビットレート算出部１５は、パケット損失率をｒ、現時点のＭＰＥＧ−４データストリームのビットレートｂとしたとき、目標ビットレートｂ´を以下の式（１）のように算出する。
ｂ´＝ｂ×（１−ｒ）　　　…（１）
この式（１）は、受信装置５が受信できなかったパケットがある場合には、そのパケットの損失割合分だけビットレートを補正するということを意味している。なお、パケット損失率ｒが０の場合や、パケット損失率ｒがある一定値以下の場合には、転送できるデータレートに余裕があるとみなして、目標ビットレートｂ´を上昇させるようにしてもよい。
【００３２】
なお、目標ビットレートの算出方法は、ＩＰネットワーク５の通信状況に応じた最適なビットレートを算出することができれば、上記の式（１）で示す方法に限らずどのような方法であってもよい。
【００３３】
フレームレート算出部１６は、圧縮符号化を行うことによって生じる画質の劣化度を示すパラメータを、動画像符号化部１２から取得する。ここでは、画質の劣化度を示すパラメータとして、例えば、量子化処理時に用いられる量子化スケール（ｑ＿ｓｃａｌｅ）を、動画像符号化部１２から取得する。フレームレート算出部１６は、取得した画質の劣化度に基づき、フレームレート変換部１１に与える目標フレームレート値（Ｘ）を算出する。
【００３４】
具体的には、フレームレート算出部１６は、圧縮符号化後の画質の劣化度が第１のしきい値以上、つまり、量子化スケールが第１のしきい値以上となる場合には、目標フレームレートを下げ、動画像符号化部１２に供給する動画像データのフレームレートを下げる。このように画質の劣化度が第１のしきい値以上となる場合に、フレームレートを下げることによって、各フレームの画質が向上する。つまり、フレームレートを下げる前と下げた後とでビットレートが変わらないのであれば、１枚のフレームあたりに割り当てられるビット量が増加するため、フレームの画質が向上することとなる。また、フレームレート算出部１６は、圧縮符号化後の画質の劣化度が第２のしきい値以下、つまり、量子化スケールが第２のしきい値以下となる場合には、目標フレームレートを上げ、動画像符号化部１２に供給する動画像データのフレームレートを上げる。ここで、第２のしきい値は、第１のしきい値よりも小さい値である。このように画質の劣化度が第２のしきい値以下となる場合に、フレームレートを下げることによって、各フレームの画質は低下する。つまり、フレームレートを上げる前と上げた後とでビットレートが変わらないのであれば、１枚あたりに割り当てられるビットレート量が減少するため、フレームの画質が低下することとなる。しかしながら、第２のしきい値の設定を充分に小さい値とすることによって、ある一定以上の画質が確保することができる。従って、充分な画質を確保した状態でフレームレートを上げるので、画質の品質を保持しながら画像の連続性を向上させることができる。
【００３５】
なお、フレームレート算出部１６による目標フレームレートの具体的な算出処理については詳細を後述する。
【００３６】
つぎに、動画像符号化部１２について、図３を参照して詳細に説明をする。
【００３７】
動画像符号化部１２は、図３に示すように、入力バッファ２１と、動き予測回路２２と、第１の加算回路２３と、離散コサイン変換（ＤＣＴ）回路２４と、量子化回路２５と、逆量子化回路２６と、逆離散コサイン変換（ＩＤＣＴ）回路２７と、第２の加算回路２８と、フレームメモリ２９と、動き補償回路３０と、可変長符号化回路３１と、出力バッファ３２と、レート制御回路３３とを備えている。
【００３８】
入力バッファ２１には、フレームレート変換部１１から入力されたＸ（ｆｐｓ）の空間領域の動画像データが入力され、この動画像データを一時的に保存する。
【００３９】
動き予測回路２２は、入力バッファ２１に格納されている動画像データから時間方向の動き量を算出して、その動き量に基づき動きベクトルを生成する。動きベクトルは、１６×１６画素から構成されるマクロブロック毎に算出される。動き予測回路２２により算出された動きベクトルは、動き補償回路３０及び可変長符号化回路３１に供給される。
【００４０】
第１の加算回路２３には、入力バッファ２１から動画像データがフレーム単位で入力される。また、第１の加算回路２３には、符号化対象となる画像データに対して、フレーム間の相関を利用した符号化処理を行う場合には、つまり、Ｐピクチャ又はＢピクチャの符号化をする場合には、動き補償回路３０から予測画像データも入力される。第１の加算回路２３は、インターマクロブロックに対して処理を行う場合には、入力された画像データから予測画像データを減算する。第１の加算回路２３は、イントラマクロブロックに対して処理を行う場合には、入力された画像データをそのまま出力する。
【００４１】
ＤＣＴ回路２４は、第１の加算回路２３から出力された画像データに対して離散コサイン変換を行い、周波数領域の画像データであるＤＣＴ係数データを生成する。ＤＣＴ回路２４は、生成したＤＣＴ係数データを量子化回路２５に出力する。
【００４２】
量子化回路２５は、入力されたＤＣＴ係数データに対して、レート制御回路３３から与えられる量子化スケールを用いて、量子化処理を行い、量子化データを出力する。
【００４３】
逆量子化回路２６には、量子化回路２５から出力された量子化データのうち、参照画像データとなり得るフレームのデータ（Ｉピクチャ及びＰピクチャのＤＣＴ係数データ）が入力される。逆量子化回路２６は、入力された量子化データに対して、その量子化データを量子化した際に用いられた量子化スケールにより、逆量子化処理を行う。
【００４４】
ＩＤＣＴ回路２７は、逆量子化回路２６から出力されたＤＣＴ係数データに対して、逆離散コサイン変換を行い、空間領域の画像データを生成する。
【００４５】
第２の加算回路２８には、ＩＤＣＴ回路２７から出力された画像データが入力される。また、第２の加算回路２８には、入力された画像データがＰピクチャである場合には、その画像データの予測画像データが動き補償回路３０から入力される。第２の加算回路２８は、インターマクロブロックに対して処理を行う場合には、入力された画像データに対して予測画像データを加算する。第２の加算回路２８は、イントラマクロブロックに対して処理を行う場合には、入力された画像データをそのまま出力する。第２の加算回路２８は、出力した画像データを参照画像データとしてフレーム単位でフレームメモリ２９に格納する。
【００４６】
フレームメモリ２９は、第２の加算回路２８から出力される参照画像データを格納する。
【００４７】
動き補償回路３０は、フレームメモリ２９に格納された参照画像データに対して動きベクトルを参照して動き補償を行い、予測画像データを生成する。予測画像データは、第１の加算回路２３に供給される。予測画像データのうち、参照画像となる画像データ（Ｐピクチャの予測画像データ）は、第２の加算回路２８にも供給される。
【００４８】
可変長符号化回路３１は、量子化回路２５から出力された量子化データ、動き予測回路２２から出力された動きベクトル、並びに、図示しないコントローラ等から供給される各種の制御データ等に対して可変長符号化又は固定長符号化を行い、ＭＰＥＧ−４の規格に準拠した符号化ストリーム（ＭＰＥＧ−４データストリーム）を生成する。可変長符号化回路３１は、生成したＭＰＥＧ−４データストリームを出力バッファ３２に格納する。
【００４９】
出力バッファ３２は、ＭＰＥＧ−４データストリームを一時的に格納し、後段の送信部１３からの読み出し命令に従い、必要量のデータずつ当該送信部１３へ転送する。
【００５０】
レート制御回路３３には、目標ビットレート算出部１５から目標ビットレート値ｂ´が入力される。レート制御回路３３は、出力バッファ３２を参照して、現時点におけるＭＰＥＧ−４データストリームのビットレート値ｂを求める。レート制御回路３３は、目標ビットレート値ｂ´と現在のビットレート値ｂとの差を検出し、出力されるＭＰＥＧ−４データストリームのビットレートが、目標ビットレート値ｂ´に一致するように、量子化スケール（ｑ＿ｓｃａｌｅ）を可変制御する。つまり、レート制御回路３３は、目標ビットレート値ｂ´よりも現在のビットレート値ｂが大きければ、量子化スケールを小さくするように制御し、目標ビットレート値ｂ´よりも現在のビットレート値ｂが小さければ、量子化スケールを大きくするように制御する。
【００５１】
以上のように動画像符号化部１２では、入力された動画像データをＭＰＥＧ−４方式で圧縮符号化して、ＭＰＥＧ−４データストリームを生成することができる。さらに、この動画像符号化部１２では、ＩＰネットワーク５の通信状況に応じて変化する目標ビットレート値ｂ´に追従させて、出力するＭＰＥＧ−４データストリームのビットレートを変化させることができる。
【００５２】
また、さらに、この動画像符号化部１２では、レート制御回路３３から出力される量子化スケール（ｑ＿ｓｃａｌｅ）を、画質劣化度として、フレームレート算出部１６へ供給している。
【００５３】
つぎに、フレームレート算出部１６によるフレームレートの具体的な算出処理について説明する。
【００５４】
なお、ここでは、カメラ装置２から出力される動画像データのフレームレートが、３０（ｆｐｓ）であるものとする。また、動画像符号化部１２は、ＭＰＥＧ−４のシンプルプロファイル、レベル３に対応したエンコーダであるものとし、これに合わせてフレームレート変換部１１から出力される動画像データの最大フレームレートは、１５（ｆｐｓ）であるものとする。
【００５５】
また、フレームレート算出部１６は、図４に示すように、フレームレート変換部１１に対して設定する目標フレームレートＸの値の集合が記述されたテーブルを保持している。例えば、このテーブルには、１５（ｆｐｓ）、１０（ｆｐｓ）、７．５（ｆｐｓ）、５（ｆｐｓ）、３（ｆｐｓ）、２（ｆｐｓ）、１（ｆｐｓ）、０．５（ｆｐｓ）・・・といった目標フレームレートが記述されている。さらに、テーブル内の各目標フレームレートには、それぞれユニークなインデックスｉが付けられている。インデックスｉは、テーブル内の目標フレームレートを降順に並べたときに、“１”から１ずつインクリメントされていくように付けられている。例えば、本例であれば、１５（ｆｐｓ）にはインデックス“１”が付けられ、１０（ｆｐｓ）にはインデックス“２”が付けられ、７．５（ｆｐｓ）にはインデックス“３”が付けられている。また、上記テーブルに保持している目標フレームレートの集合は、カメラ装置２から出力される動画像データのフレームを２枚に１回抽出して新たな動画像データを生成した場合（１５ｆｐｓ）、３枚に１回抽出した場合（１０ｆｐｓ）、４枚に１回抽出した場合（７．５ｆｐｓ）といったように、元の動画像データのフレームから規則的に１枚のフレームを抽出することにより、変換後の動画像データを生成することが前提として作成されている。しかしながら、フレームレートの変換の方法は、どのような方法であってもよく、例えば、規則的にフレームを抽出するのではなく、特徴があるフレームを抽出するようにしてもよい。その場合、テーブルに保持するフレームレートの集合は、その抽出方法に特化した値となる。
【００５６】
また、上記テーブルには、５枚に１回抽出した場合の目標フレームレート（６ｆｐｓ）が存在しないが、これは、６枚に１回抽出した場合の目標フレームレート（７．５ｆｐｓ）と近い値なので、メモリの効率利用を図るためや変化量を一定化させるためである。
【００５７】
図５に、フレームレート算出部１６によるフレームレートの算出フローを示し、この算出フローを参照してフレームレートの算出処理について説明する。
【００５８】
まず、フレームレート算出部１６は、インデックスｉを適当な値に初期化する（ステップＳ１）。続いて、フレームレート算出部１６は、インデックスｉに対応した目標フレームレートＸを、図４に示したテーブルを参照して取得し、取得した目標フレームレートをフレームレート変換部１１に転送する。フレームレート変換部１１は、転送されてきた目標フレームレートＸを取得して内部に設定し、カメラ装置２から入力された動画像データのフレームレートを、転送されてきた目標フレームレートＸに変換する。
【００５９】
続いて、フレームレート算出部１６は、１フレーム分の符号化処理が完了するまで処理を待機する（ステップＳ３）。続いて、フレームレート算出部１６は、動画像符号化部１２から量子化スケールを読み込む（ステップＳ４）。なお、量子化スケールは、マクロブロック毎に異なっている。そのため、動画像符号化部１２から読み込む量子化スケールは、１フレーム内の平均の量子化スケールであることが望ましい。しかしながら、演算量を減少させるために、フレームの最初のマクロブロックの量子化スケールであるｖｏｐ＿ｑｕａｎｔを読み込むようにしてもよい。
【００６０】
続いて、フレームレート算出部１６は、読み込んだ量子化スケールと、第１のしきい値（Ｔｈ１）との大小比較を行う（ステップＳ５）。第１のしきい値（Ｔｈ１）は、画質の劣化度の上限の基準値を示す値である。つまり、量子化スケールが大きくなれば大きくなるほど画質は劣化するが、第１のしきい値は、これ以上の値の量子化スケール（ｑ＿ｓｃａｌｅ）での量子化を制限し、画質の劣化度の上限を設定している。ＭＰＥＧ−４の場合、量子化スケールは、１から３１までの値をとるが、第１のしきい値（Ｔｈ１）は、例えば、“２０”といった値に設定される。
【００６１】
フレームレート算出部１６は、読み込んだ量子化スケールが第１のしきい値（Ｔｈ１）以上である場合には、つまり、一定の基準値以上、画質が劣化している場合には、インデックスｉを１つインクリメントする（ステップＳ６）。すなわち、目標フレームレートを１ステップ分、減少させる。このように目標フレームレートを減少させると、もしビットレートに変更がなければ、１フレームに割り当てられるビット量が増加する。そのため、画質が向上することとなる。
【００６２】
フレームレート算出部１６は、第１のしきい値（Ｔｈ１）よりも読み込んだ量子化スケール（ｑ＿ｓｃａｌｅ）の方が小さい場合には、つまり、一定の基準値より、画質が劣化していない場合には、読み込んだ量子化スケールと、第２のしきい値（Ｔｈ２）との大小比較を行う（ステップＳ７）。第２のしきい値（Ｔｈ２）は、第１のしきい値（Ｔｈ１）よりも、低い値に設定されている。第２のしきい値（Ｔｈ２）は、画質の劣化度の下限の基準値を示す値である。つまり、充分に良い画質であると判断し、画質よりは画像の連続性を良くするための基準値である。ＭＰＥＧ−４の場合、量子化スケールは、１から３１までの値をとるが、第２のしきい値（Ｔｈ２）は、例えば、“１０”といった値に設定される。
【００６３】
フレームレート算出部１６は、読み込んだ量子化スケールが第２のしきい値（Ｔｈ２）以下である場合には、つまり、一定の基準値よりも画質が良好である場合には、インデックスｉを１つデクリメントする（ステップＳ６）。すなわち、フレームレートを１ステップ分、増加させる。このようにフレームレートを増加させると、もしビットレートに変更がなければ、１フレームに割り当てられるビット量が減少する。そのため、画質が劣化することになるが、画像の連続性は向上する。
【００６４】
ステップＳ６及びステップＳ７で、インデックスｉを更新すると、続いて、フレームレート算出部１６は、インデックスｉに対応した目標フレームレート値Ｘを、図４に示したテーブルを参照して取得し、取得した目標フレームレート値Ｘをフレームレート変換部１１に転送し、フレームレート変換部１１に設定されているフレームレートを更新する（ステップＳ９）。フレームレート変換部１１は、カメラ装置２から入力された動画像データのフレームレートを、転送されてきた目標フレームレート値Ｘに変換する。
【００６５】
フレームレート算出部１６は、ステップＳ７での判断の結果、第２のしきい値（Ｔｈ２）よりも読み込んだ量子化スケール（ｑ＿ｓｃａｌｅ）の方が大きい場合、並びに、ステップＳ９でのフレームレートの転送を終了すると、ステップＳ３に戻り、ステップＳ３から１フレーム毎に処理を繰り返して行う。
【００６６】
以上のようなフレームレートの制御処理を行った場合の送信装置３の具体的な処理動作例を図６に示す。
【００６７】
図６Ａは、送信装置３に入力される動画像データを示している。図６Ｂは、目標ビットレート算出部１５により設定される目標ビットレート値ｂ´を示している。図６Ｃは、フレームレート算出部１６が検出する量子化スケールを示している。図６Ｄは、フレームレート算出部１６から出力される目標フレームレートＸを示している。図６Ｅは、フレームレート変換部１１によりフレームレートが変換された後の動画像データを示している。
【００６８】
図６に示すように、例えば、ある任意の時刻ｔ１までは、ＩＰネットワーク５の通信状態が良好であり、ある任意の目標ビットレートｂ１でＭＰＥＧ−４データストリームが生成されており、フレームレートは、１５ｆｐｓであった。
【００６９】
ここで、任意の時刻ｔ１でＩＰネットワーク５の通信状態が悪化したと判断されたとする。すると、目標ビットレート算出部１５は、目標ビットレートを低下させ、ｂ２（ｂ２＜ｂ１）とする。目標ビットレートが下げられたことにともない、時刻ｔ１の直後に符号化されるフレームの量子化スケールは増加する。このとき、量子化スケールが、第１のしきい値Ｔｈ１以上となると、フレームレート算出部１６が、次のフレームからフレームレートの変更指示を行う。この結果、フレームレートが１ステップ分減少され、１０ｆｐｓとされる。
【００７０】
以上のように本発明の実施の形態の動画像データのリアルタイム配信システムでは、ＩＰネットワーク５の状況に応じて決定された目標のビットレートに応じてＭＰＥＧ−４データストリームのビットレートを制御し、ビットレートが制御されたＭＰＥＧ−４データストリームをＩＰネットワーク５に送信している。
【００７１】
それとともに、本発明の実施の形態の動画像データのリアルタイム配信システムでは、ＭＰＥＧ−４データストリームで符号化された動画像データの画質の劣化度に応じて、圧縮符号化する動画像データのフレームレートに変更している。具体的には、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームの画質の劣化度が第１のしきい値（Ｔｈ１）より大きくなった場合には、フレームレートの設定値を、現在の値よりも低い値に変更する。このことにより、ＩＰネットワーク５の通信状態が悪化したとしても、一定以上画質を劣化させずに、動画像データをリアルタイム配信することができる。また、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームの画質の劣化度が第２のしきい値（Ｔｈ２）より小さくなった場合には、フレームレートの設定値を、現在の値よりも高いに変更する。このことにより、ＩＰネットワーク５の通信状態が良好となり、充分な画質が得られる場合には、画像の連続性を向上させた動画像データのリアルタイム配信をすることができる。
【００７２】
ところで、以上の例では、ＭＰＥＧ−４のデータストリームの画質の劣化度を判断するパラメータとして量子化スケールを検出していたが、画質の劣化度として、例えば、ＭＰＥＧ−４データストリームに符号化された後の動画像データのＳ／Ｎ比（シグナル／ノイズ比）を用いてもよい。
【００７３】
つまり、符号化を行った後のフレームのＳ／Ｎ比が設定された第１のしきい値以下になれば、画質の劣化が基準を超えたと判断してフレームレートを下げ、逆に別に設定された第２のしきい値（第１のしきい値よりも高い値）以上になれば画質は十分良いと判断しフレームレートを上げる。ただし、Ｓ／Ｎ比と主観的な画質との関係は、入力される画像の特徴などにより必ずしも一致するとは限らないので、画像特徴を表すパラメータ、例えばアクティビティなどを用いてＳ／Ｎ比を補正するのが望ましい。すなわち、主観的に同じような画質劣化の画像であっても、アクティビティの低い（平坦な部分の多い）画像では、Ｓ／Ｎ比が高く、逆にアクティビティの高い（複雑な部分の多い）画像ではＳ／Ｎ比が低くなる傾向にある。従って、アクティビティの低い画像では得られたＳ／Ｎ比を低く、アクティビティの高い画像では得られたＳ／Ｎ比を高く補正するのが望ましい。
【００７４】
また、画質の劣化度をＳ／Ｎ比により判断をする場合、例えば、図７に示すように、動画像符号化部１２に、Ｓ／Ｎ比算出回路４０を設ければよい。
【００７５】
Ｓ／Ｎ比算出回路４０は、次のようにＳ／Ｎ比を求める。
【００７６】
まず、Ｓ／Ｎ比算出回路４０は、入力バッファ２１に格納されている入力画像の画素値（ｆ（ｉ，ｊ））と、フレームメモリ２９に格納されている符号化された後の復号画像の画素値（ｇ（ｉ，ｊ））とに基づき、下記式（２）に示すように誤差ｄを求める。なお、ｉはフレーム内における水平方向の画素位置であり、ｊはフレーム内における垂直方向の画素位置である。
【００７７】
【数１】

【００７８】
続いて、Ｓ／Ｎ比算出回路４０は、得られた誤差ｄから、Ｓ／Ｎ比は次の式（３）のように求められる。
【００７９】
【数２】

【００８０】
また、誤差ｄの算出方法は、式（２）で示すような２乗和の他に、次の式（４）に示すような絶対値和を用いることもできる。
【００８１】
【数３】

【００８２】
絶対値和を用いた場合、Ｓ／Ｎ比は、次の式（５）のように求められる。
【００８３】
【数４】

【００８４】
なお、誤差ｄからＳ／Ｎ比を算出するには、対数計算が必要になり、演算量が増加してしまう。誤差ｄに対してＳ／Ｎ比は単純減少する関数であるので、Ｓ／Ｎ比を出力するのではなく、誤差ｄを出力するようにしてもよい。
【００８５】
【発明の効果】
本発明にかかる動画像符号化装置及び方法では、外部から設定された目標のビットレートに応じて符号化データストリームのビットレートを制御しながら符号化データストリームを出力するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００８６】
このことにより、本発明にかかる動画像符号化装置及び方法では、出力する符号化データストリームのビットレートが変更されても、最低限の画質を保障した動画像の符号化を行うことができる。
【００８７】
本発明にかかる動画像送信装置では、ネットワークの状況に応じて決定された目標のビットレートに応じて符号化データストリームのビットレートを制御し、ビットレートが制御された当該符号化データストリームをネットワーク上に送信するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００８８】
このことにより、本発明にかかる動画像送信装置では、出力する符号化データストリームのビットレートが変更されても、最低限の画質を保障した動画像の符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の動画像データのリアルタイム配信システムの構成図である。
【図２】ベースバンドの動画像データのデータ構成、並びに、フレームレートが変換された後の動画像データのデータ構成を示す図である。
【図３】送信装置内の動画像符号化部のブロック図である。
【図４】目標フレームレートが記述されたテーブルを示す図である。
【図５】フレームレートを算出する処理の流れを示したフローチャートである。
【図６】フレームレートの制御処理を行った場合の送信装置の具体的な処理動作例を示す図である。
【図７】Ｓ／Ｎ比算出回路が設けられた動画像符号化部のブロック図である。
【符号の説明】
１　リアルタイム配信システム、２　カメラ装置、３　送信装置、４　受信装置、５　ＩＰネットワーク、１１　フレームレート変換部、１２　動画像符号化部、１３　送信部
１４　受信部、１５　ビットレート算出部、１６　フレームレート算出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving picture encoding apparatus and method for generating a moving picture data stream distributed in real time via a network, and a moving picture transmitting apparatus for transmitting the moving picture data stream.
[0002]
[Prior art]
In recent years, systems for real-time distribution of moving image data using a network such as the Internet have increased. In such a real-time distribution system, the transmission rate is adaptively changed on the transmission side in accordance with the network communication state in order to cope with the ever-changing network communication state, and real-time performance is guaranteed. (For example, refer to Patent Document 1).
[0003]
Generally, when real-time distribution of moving image data is performed using an IP network such as the Internet, RTP (Real-Time Transport Protocol) and RTCP (Real-Time Transport Control Protocol) standardized by RFC1889 / 1890 are used. Applied. RTP is a data transfer protocol for transferring real-time data such as moving image data from the transmitting device to the receiving device. RTCP is a data transfer protocol for transferring control information for data transferred according to RTP.
[0004]
When real-time distribution using RTP and RTCP is performed, the rate of RTP packets lost on the network (packet loss rate) and the delay time (jitter) of RTP packets received on the receiving device side are included in the RTCP packets. The data is transferred from the receiving device to the transmitting device. For this reason, the transmitting device determines that the network transfer efficiency is reduced if the packet loss rate or jitter increases, and reduces the data transmission rate, and if the packet loss rate or jitter decreases, the network transfer efficiency decreases. It is possible to increase the data transmission rate. As described above, in RTP and RTCP, the transmission rate is adaptively changed on the transmission side according to the state of the network, so that the moving image data can be distributed while real-time data is guaranteed.
[0005]
[Patent Document 1]
JP-A-11-308271
[Patent Document 2]
JP 2002-199398 A
[0006]
[Problems to be solved by the invention]
By the way, MPEG (Moving Picture Coding Experts Group) -1, 2, 4, etc. is generally used for encoding of moving image data in the case of performing real-time distribution. In the case of a moving picture coding method such as MPEG-1, 2, 4, or the like, the bit rate of the output data stream is controlled by changing the quantization scale at the time of the quantization processing. Specifically, in MPEG 1, 2, and 4, the bit rate of the output data stream is reduced by increasing the quantization scale, and the bit rate of the output data stream is increased by reducing the quantization scale. are doing.
[0007]
Therefore, when a data stream generated by a moving picture coding system such as MPEG-1, 2, 4, or the like is distributed in real time via a network, the transmission side adaptively changes the transmission rate according to the communication state of the network. , The quantization scale at the time of encoding may be controlled.
[0008]
However, when the quantization scale is increased, the image quality of the frame is also deteriorated in accordance with the increase of the quantization scale, and the minimum image quality may not be guaranteed depending on the content of the image.
[0009]
Also, a moving image encoding device that controls image quality by controlling a frame rate is known (for example, refer to Patent Literature 2). Since the frame rate is controlled using the feature of (1), it is not possible to control the frame rate according to the situation of the network to secure the real-time property.
[0010]
The present invention has been proposed in view of such a conventional situation, and is capable of guaranteeing a minimum image quality even if the bit rate of an output encoded data stream is changed. It is an object to provide an apparatus and a method, and a moving image transmitting apparatus.
[0011]
[Means for Solving the Problems]
The video encoding apparatus according to the present invention is configured such that a video data stream composed of frames arranged in time series is input, and a frame rate control unit that controls a frame rate of the input video data stream; Frame rate calculating means for calculating a set value of a frame rate of a moving image data stream, and encoded data generated by compression-encoding the moving image data stream output from the frame rate controlling means and compression-encoding Encoding means for outputting a stream, wherein the encoding means controls a bit rate of the encoded data stream according to a target bit rate set from the outside, and wherein the frame rate calculating means comprises: Frame rate based on the image quality of the encoded data stream output from the encoding means. Calculating the door settings, the frame rate control means, the frame rate of the moving picture data stream and controlling the set value calculated by the frame rate calculating means.
[0012]
The moving picture coding apparatus controls the bit rate of the coded data stream according to a target bit rate set from the outside, and calculates the frame rate of the moving picture data stream based on the image quality of the coded data stream. To the specified frame rate.
[0013]
In the moving picture coding method according to the present invention, a moving picture data stream composed of frames arranged in time series is input, and a coded data stream is generated by compression coding the inputted moving picture data stream. An image encoding method that performs compression encoding while controlling the bit rate of an encoded data stream to be output according to a set target bit rate, and reduces the image quality of the generated encoded data stream. It is characterized by detecting, calculating a frame rate set value based on the detected image quality, and controlling the frame rate of the moving image data stream.
[0014]
In the moving picture coding method, the bit rate of the coded data stream is controlled according to a target bit rate set from the outside, and the frame rate of the moving picture data stream is calculated based on the image quality of the coded data stream. To the specified frame rate.
[0015]
A moving image transmitting apparatus according to the present invention is configured such that a moving image data stream composed of frames arranged in time series is input, and a frame rate control unit that controls a frame rate of the input moving image data stream; Frame rate calculating means for calculating a set value of a frame rate of the image data stream; and an encoded data stream generated by compression-encoding the moving image data stream output from the frame rate control means and compression-encoding. And transmitting and receiving means for transmitting the encoded data stream encoded by the encoding means to the receiving device via a network, and transmitting and receiving control data to and from the receiving device. The transmitting and receiving means includes a network based on the control data received from the receiving device. And a target bit rate calculated on the basis of the detected network condition. The encoding means determines a bit rate of the encoded data stream according to the target bit rate calculated by the transmission / reception means. Controlling the frame rate, the frame rate calculation means calculates a frame rate setting value based on the image quality of the encoded data stream output from the encoding means, and the frame rate control means The frame rate is controlled to the set value calculated by the frame rate calculation means.
[0016]
In the moving image transmitting apparatus, the bit rate of the coded data stream is controlled according to a target bit rate determined according to a network condition, and the coded data stream having the controlled bit rate is transmitted over the network. At the same time, the frame rate of the moving image data stream is changed to a frame rate calculated based on the image quality of the encoded data stream.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a real-time distribution system of moving image data to which the present invention is applied will be described as an embodiment of the present invention.
[0018]
FIG. 1 shows a configuration diagram of a moving image data real-time distribution system according to an embodiment of the present invention.
[0019]
As shown in FIG. 1, a moving image data real-time distribution system 1 according to an embodiment of the present invention includes a transmitting device 3, a receiving device 4, and an IP network 5.
[0020]
In the real-time distribution system 1, for example, the transmission device 3 compresses and encodes the moving image data output from the camera device 2 or the like in accordance with the MPEG-4 (ISO / IEC 14496-2) standard method to generate an MPEG-4 data stream. . The transmitting device 3 converts the MPEG-4 data stream into an RTP packet, and further converts the RTP packet into a UDP packet with an IP header added. The moving image data packetized into IP packets by the transmission device 3 is transferred to the reception device 4 via the IP network 5 which is a network to which the Internet protocol is applied. The receiving device 4 receives the IP packet transferred from the transmitting device 3, extracts MPEG-4 data from the IP packet, and decodes the moving image data.
[0021]
Further, in the real-time distribution system 1, the control information for the RTP packet is packetized into an RTCP packet, and is exchanged between the transmitting device 3 and the receiving device 4. The RTCP packet is packetized into a TCP packet to which an IP header is added, and is distributed on the IP network 5.
[0022]
The receiving device 4 transfers the jitter and the packet loss rate of the RTP packet including the moving image data to the transmitting device 3 as parameters indicating the status of the IP network 5 in the RTCP packet. The transmitting device 3 determines the current communication status of the IP network 5 based on the jitter and the packet loss rate received from the receiving device 4 and controls the bit rate of the MPEG-4 data stream so that real-time distribution is guaranteed. are doing. For example, when the transmitting device 3 determines that the communication condition of the network 5 is deteriorated due to the increase of the jitter or the packet loss rate, the transmitting device 3 reduces the bit rate of the MPEG-4 data stream to lower the transfer rate, and When the loss rate is small and the communication status of the network 5 is good, the bit rate is controlled such that the bit rate of the MPEG-4 data stream is increased to increase the transfer rate.
[0023]
For this reason, in the real-time distribution system 1, for example, even if the communication state of the IP network 5 fluctuates, the moving image data output from the camera device 2 or the like can be transferred to the receiving device 4 in real time.
[0024]
Next, the configuration of the transmission device 3 will be described in more detail.
[0025]
The transmitting device 3 converts the frame rate of the moving image data transmitted from the camera device 2 to a frame rate, and compresses and encodes the moving image data output from the frame rate converting unit 11 by the MPEG-4 method. A video encoding unit 12 and a transmission unit that packetizes the MPEG-4 data stream generated by the video encoding unit 12 and packetizes other control information and transmits the packetized control information to the reception device 4 via the IP network 5. 13, a receiving unit 14 for receiving a packet transmitted from the receiving device 4 via the IP network 5, and a target bit for calculating a target bit rate of the MPEG-4 data stream generated by the moving picture coding unit 12. A rate calculator 15 and a target frame rate of the moving image data generated by the frame rate converter 11. And a frame rate calculating unit 16 for calculating a.
[0026]
Baseband moving image data is input from the camera device 2 to the frame rate conversion unit 11. As shown in FIG. 2A, the baseband moving image data output from the camera device 2 has a data configuration in which rectangular frames having a predetermined image size are arranged in time series at predetermined time intervals. . The number of frames included in one second is called a frame rate. The target frame rate (Xfps) is given to the frame rate conversion unit 11 from the frame rate calculation unit 16. The frame rate conversion unit 11 performs frame thinning processing on the input baseband moving image data, and generates X (fps) baseband moving image data as illustrated in FIG. 2B. The moving image data of X (fps) baseband generated by the frame rate conversion unit 11 is supplied to the moving image encoding unit 12. Further, the frame rate conversion unit 11 also converts the frame size of the baseband moving image data to be output, if necessary, so as to match the input image format of MPEG-4.
[0027]
The moving image encoding unit 12 receives X (fps) baseband moving image data output from the frame rate conversion unit 11. The moving image encoding unit 12 compresses and encodes the input baseband moving image data according to the MPEG-4 method to generate an MPEG-4 data stream. The MPEG-4 data stream generated by the video encoding unit 12 is supplied to the transmission unit 13. In addition, the video encoding unit 12 receives the target bit rate value b ′ (bit per second) from the target bit rate calculation unit 15. The moving image encoding unit 12 performs the compression encoding process while controlling the quantization scale (q_scale) such that the bit rate of the generated MPEG-4 data stream becomes the target bit rate value b ′. ing. The configuration of the video encoding unit 12 will be described later in detail.
[0028]
The MPEG-4 data stream output from the video encoding unit 12 is input to the transmission unit 13. The transmission unit 13 packetizes the input MPEG-4 data stream into an RTP packet, and further converts the RTP packet into a UDP packet with an IP header added. Further, the transmission unit 13 packetizes control information for controlling the transfer of the RTP packet into an RTCP packet, and packetizes the RTCP packet into a TCP packet to which an IP header is added. The transmitting unit 13 transmits the generated IP packet to the receiving device 4 via the IP network 5.
[0029]
The receiving unit 14 receives the RTCP packet transferred from the receiving device 4 via the IP network 5. The receiving unit 14 extracts the control information included in the received RTCP packet and supplies the control information to, for example, a controller (not shown). Further, the receiving unit 14 extracts various parameters indicating the communication status of the IP network 5 included in the RTCP packet transferred from the receiving device 4, and extracts, for example, jitter and a packet loss rate. It is supplied to the target bit rate calculation unit 15.
[0030]
Various parameters indicating the communication status of the IP network 5 are input from the reception unit 14 to the target bit rate calculation unit 15. For example, a jitter and a packet loss rate are input. The target bit rate calculation unit 15 estimates the current communication state of the IP network 5 based on the various input parameters, and determines the current optimal bit rate of the MPEG-4 data stream generated by the video encoding unit 12. Is calculated. That is, when the communication status of the network 5 is deteriorated, the target bit rate calculation unit 15 reduces the bit rate of the MPEG-4 data stream to lower the transfer rate, and the communication status of the network 5 is improved. In such a case, the target bit rate is controlled such that the bit rate of the MPEG-4 data stream is increased to increase the transfer rate, and an operation for ensuring real-time distribution is performed.
[0031]
For example, the target bit rate calculation unit 15 calculates the target bit rate b 'as in the following equation (1), where r is the packet loss rate and bit rate b of the current MPEG-4 data stream.
b ′ = b × (1-r) (1)
This equation (1) means that, when there is a packet that cannot be received by the receiving device 5, the bit rate is corrected by the loss rate of the packet. Note that when the packet loss rate r is 0 or when the packet loss rate r is equal to or less than a certain value, it is considered that there is a margin in the data rate that can be transferred, and the target bit rate b ′ may be increased. Good.
[0032]
The method of calculating the target bit rate is not limited to the method represented by the above equation (1) as long as the optimum bit rate according to the communication state of the IP network 5 can be calculated. Good.
[0033]
The frame rate calculation unit 16 acquires from the video encoding unit 12 a parameter indicating the degree of image quality degradation caused by performing compression encoding. Here, for example, a quantization scale (q_scale) used in the quantization process is acquired from the video encoding unit 12 as a parameter indicating the degree of image quality deterioration. The frame rate calculation section 16 calculates a target frame rate value (X) to be given to the frame rate conversion section 11 based on the acquired image quality deterioration degree.
[0034]
Specifically, the frame rate calculation unit 16 determines that the target image quality is higher than the first threshold value when the degree of image quality degradation after compression encoding is equal to or greater than the first threshold value. The frame rate is reduced, and the frame rate of the moving image data supplied to the moving image encoding unit 12 is reduced. As described above, when the deterioration degree of the image quality is equal to or more than the first threshold value, the image quality of each frame is improved by reducing the frame rate. In other words, if the bit rate does not change before and after the frame rate is reduced, the amount of bits allocated per frame increases, thereby improving the image quality of the frame. Further, when the degree of deterioration of the image quality after compression encoding is equal to or less than the second threshold, that is, when the quantization scale is equal to or less than the second threshold, the frame rate calculation unit 16 sets the target frame rate to The frame rate of the moving image data supplied to the moving image encoding unit 12 is increased. Here, the second threshold is a value smaller than the first threshold. As described above, when the deterioration degree of the image quality is equal to or less than the second threshold value, the image quality of each frame is reduced by reducing the frame rate. In other words, if the bit rate does not change before and after the frame rate is increased, the amount of bit rate assigned to one frame is reduced, and the image quality of the frame is reduced. However, by setting the setting of the second threshold value to a sufficiently small value, it is possible to ensure image quality of a certain level or more. Therefore, since the frame rate is increased while ensuring a sufficient image quality, the continuity of the image can be improved while maintaining the image quality.
[0035]
The specific calculation processing of the target frame rate by the frame rate calculation unit 16 will be described later in detail.
[0036]
Next, the video encoding unit 12 will be described in detail with reference to FIG.
[0037]
As shown in FIG. 3, the video encoding unit 12 includes an input buffer 21, a motion prediction circuit 22, a first addition circuit 23, a discrete cosine transform (DCT) circuit 24, a quantization circuit 25, An inverse quantization circuit 26, an inverse discrete cosine transform (IDCT) circuit 27, a second addition circuit 28, a frame memory 29, a motion compensation circuit 30, a variable length encoding circuit 31, an output buffer 32, And a rate control circuit 33.
[0038]
The input buffer 21 receives the moving image data in the X (fps) space area input from the frame rate conversion unit 11 and temporarily stores the moving image data.
[0039]
The motion prediction circuit 22 calculates the amount of motion in the time direction from the moving image data stored in the input buffer 21, and generates a motion vector based on the amount of motion. The motion vector is calculated for each macro block composed of 16 × 16 pixels. The motion vector calculated by the motion prediction circuit 22 is supplied to the motion compensation circuit 30 and the variable length coding circuit 31.
[0040]
Moving image data is input to the first adder circuit 23 from the input buffer 21 in frame units. In addition, the first adder circuit 23 encodes P-pictures or B-pictures when performing encoding processing on the image data to be encoded using the correlation between frames. In this case, predicted image data is also input from the motion compensation circuit 30. When performing processing on an inter macroblock, the first adding circuit 23 subtracts predicted image data from input image data. When performing processing on an intra macroblock, the first adding circuit 23 outputs the input image data as it is.
[0041]
The DCT circuit 24 performs a discrete cosine transform on the image data output from the first addition circuit 23, and generates DCT coefficient data that is frequency-domain image data. The DCT circuit 24 outputs the generated DCT coefficient data to the quantization circuit 25.
[0042]
The quantization circuit 25 performs a quantization process on the input DCT coefficient data by using a quantization scale given from the rate control circuit 33, and outputs quantized data.
[0043]
To the inverse quantization circuit 26, among the quantized data output from the quantization circuit 25, data of a frame that can be reference image data (DCT coefficient data of an I picture and a P picture) is input. The inverse quantization circuit 26 performs an inverse quantization process on the input quantized data by using a quantization scale used when quantizing the quantized data.
[0044]
The IDCT circuit 27 performs an inverse discrete cosine transform on the DCT coefficient data output from the inverse quantization circuit 26 to generate spatial domain image data.
[0045]
The image data output from the IDCT circuit 27 is input to the second addition circuit 28. Further, when the input image data is a P picture, predicted image data of the image data is input to the second addition circuit 28 from the motion compensation circuit 30. When performing processing on an inter macroblock, the second adding circuit 28 adds predicted image data to input image data. When performing processing on an intra macroblock, the second adding circuit 28 outputs the input image data as it is. The second adding circuit 28 stores the output image data as reference image data in the frame memory 29 in frame units.
[0046]
The frame memory 29 stores the reference image data output from the second adding circuit 28.
[0047]
The motion compensation circuit 30 performs motion compensation on the reference image data stored in the frame memory 29 with reference to a motion vector, and generates predicted image data. The predicted image data is supplied to the first adding circuit 23. Of the predicted image data, image data serving as a reference image (predicted image data of a P picture) is also supplied to the second addition circuit 28.
[0048]
The variable-length encoding circuit 31 changes the quantized data output from the quantization circuit 25, the motion vector output from the motion prediction circuit 22, and various control data supplied from a controller (not shown). Long encoding or fixed-length encoding is performed to generate an encoded stream (MPEG-4 data stream) compliant with the MPEG-4 standard. The variable length encoding circuit 31 stores the generated MPEG-4 data stream in the output buffer 32.
[0049]
The output buffer 32 temporarily stores the MPEG-4 data stream, and transfers the required amount of data to the transmission unit 13 in accordance with a read command from the transmission unit 13 at the subsequent stage.
[0050]
The target bit rate value b ′ is input from the target bit rate calculator 15 to the rate control circuit 33. The rate control circuit 33 refers to the output buffer 32 to determine the current bit rate value b of the MPEG-4 data stream. The rate control circuit 33 detects a difference between the target bit rate value b 'and the current bit rate value b, and adjusts the bit rate of the output MPEG-4 data stream to match the target bit rate value b'. , The quantization scale (q_scale) is variably controlled. That is, if the current bit rate value b is larger than the target bit rate value b ', the rate control circuit 33 controls the quantization scale to be smaller, and the current bit rate value is smaller than the target bit rate value b'. If b is small, control is performed to increase the quantization scale.
[0051]
As described above, the moving image encoding unit 12 can compress and encode the input moving image data according to the MPEG-4 method to generate an MPEG-4 data stream. Further, the moving picture encoding unit 12 can change the bit rate of the output MPEG-4 data stream by following the target bit rate value b ′ that changes according to the communication status of the IP network 5.
[0052]
Further, in the moving image encoding unit 12, the quantization scale (q_scale) output from the rate control circuit 33 is supplied to the frame rate calculation unit 16 as the image quality deterioration degree.
[0053]
Next, a specific process of calculating the frame rate by the frame rate calculation unit 16 will be described.
[0054]
Here, it is assumed that the frame rate of the moving image data output from the camera device 2 is 30 (fps). The moving image encoding unit 12 is an encoder that supports the MPEG-4 simple profile, level 3, and the maximum frame rate of the moving image data output from the frame rate conversion unit 11 is 15 (fps).
[0055]
Further, as shown in FIG. 4, the frame rate calculation section 16 holds a table in which a set of values of the target frame rate X set for the frame rate conversion section 11 is described. For example, this table contains 15 (fps), 10 (fps), 7.5 (fps), 5 (fps), 3 (fps), 2 (fps), 1 (fps), and 0.5 (fps). .. Are described. Further, each target frame rate in the table has a unique index i. The index i is assigned such that when the target frame rates in the table are arranged in descending order, they are incremented by one from "1". For example, in this example, an index “1” is assigned to 15 (fps), an index “2” is assigned to 10 (fps), and an index “3” is assigned to 7.5 (fps). Have been. The set of target frame rates held in the above table is such that when moving image data output from the camera device 2 is extracted once for every two frames to generate new moving image data (15 fps), By extracting one frame regularly from the frames of the original moving image data, such as when extracting once every three images (10 fps) and once every four images (7.5 fps), It is created on the assumption that moving image data after conversion is generated. However, the method of converting the frame rate may be any method. For example, instead of extracting frames regularly, characteristic frames may be extracted. In that case, the set of frame rates held in the table is a value specialized for the extraction method.
[0056]
In the above table, there is no target frame rate (6 fps) when the image is extracted once every five images, but this value is close to the target frame rate when the image is extracted once every six images (7.5 fps). Therefore, this is to make efficient use of the memory and to make the amount of change constant.
[0057]
FIG. 5 shows a flow of calculating the frame rate by the frame rate calculation unit 16, and the calculation processing of the frame rate will be described with reference to this calculation flow.
[0058]
First, the frame rate calculation unit 16 initializes the index i to an appropriate value (Step S1). Subsequently, the frame rate calculation unit 16 acquires the target frame rate X corresponding to the index i with reference to the table shown in FIG. 4, and transfers the acquired target frame rate to the frame rate conversion unit 11. The frame rate conversion unit 11 acquires the transferred target frame rate X and sets it internally, and converts the frame rate of the moving image data input from the camera device 2 into the transferred target frame rate X. .
[0059]
Subsequently, the frame rate calculation unit 16 waits for the processing until the encoding processing for one frame is completed (step S3). Subsequently, the frame rate calculation unit 16 reads the quantization scale from the video encoding unit 12 (Step S4). Note that the quantization scale is different for each macroblock. Therefore, it is desirable that the quantization scale read from the video encoding unit 12 be the average quantization scale in one frame. However, in order to reduce the amount of calculation, vop_quant, which is the quantization scale of the first macroblock of the frame, may be read.
[0060]
Subsequently, the frame rate calculation unit 16 compares the read quantization scale with the first threshold value (Th1) (Step S5). The first threshold value (Th1) is a value indicating a reference value of an upper limit of the degree of image quality deterioration. In other words, although the image quality deteriorates as the quantization scale increases, the first threshold value limits the quantization on the quantization scale (q_scale) having a larger value, and the upper limit of the image quality deterioration degree Is set. In the case of MPEG-4, the quantization scale takes a value from 1 to 31, but the first threshold (Th1) is set to a value such as “20”.
[0061]
When the read quantization scale is equal to or more than the first threshold value (Th1), that is, when the image quality is degraded beyond a certain reference value, the frame rate calculation unit 16 determines the index i. It is incremented by one (step S6). That is, the target frame rate is reduced by one step. When the target frame rate is reduced in this way, if the bit rate is not changed, the amount of bits allocated to one frame increases. Therefore, the image quality is improved.
[0062]
The frame rate calculation unit 16 determines whether the read quantization scale (q_scale) is smaller than the first threshold value (Th1), that is, if the image quality has not deteriorated from a certain reference value. Performs a magnitude comparison between the read quantization scale and the second threshold value (Th2) (step S7). The second threshold value (Th2) is set to a value lower than the first threshold value (Th1). The second threshold value (Th2) is a value indicating a lower limit reference value of the degree of image quality deterioration. That is, this is a reference value for judging that the image quality is sufficiently good and improving the continuity of the image rather than the image quality. In the case of MPEG-4, the quantization scale takes a value from 1 to 31, but the second threshold (Th2) is set to a value such as "10".
[0063]
When the read quantization scale is equal to or smaller than the second threshold value (Th2), that is, when the image quality is better than a certain reference value, the frame rate calculation unit 16 sets the index i to 1 Is decremented by one (step S6). That is, the frame rate is increased by one step. When the frame rate is increased in this manner, the bit amount allocated to one frame decreases unless the bit rate is changed. Therefore, the image quality is deteriorated, but the continuity of the image is improved.
[0064]
After updating the index i in steps S6 and S7, subsequently, the frame rate calculation unit 16 acquires the target frame rate value X corresponding to the index i by referring to the table shown in FIG. The target frame rate value X is transferred to the frame rate converter 11, and the frame rate set in the frame rate converter 11 is updated (step S9). The frame rate converter 11 converts the frame rate of the moving image data input from the camera device 2 into the transferred target frame rate value X.
[0065]
As a result of the determination in step S7, the frame rate calculation unit 16 determines that the read quantization scale (q_scale) is larger than the second threshold value (Th2), and also transfers the frame rate in step S9. Is completed, the process returns to step S3, and the process is repeated for each frame from step S3.
[0066]
FIG. 6 shows a specific processing operation example of the transmission device 3 when the above-described frame rate control processing is performed.
[0067]
FIG. 6A shows moving image data input to the transmission device 3. FIG. 6B shows a target bit rate value b ′ set by the target bit rate calculator 15. FIG. 6C shows the quantization scale detected by the frame rate calculation unit 16. FIG. 6D shows the target frame rate X output from the frame rate calculation unit 16. FIG. 6E shows moving image data after the frame rate has been converted by the frame rate conversion unit 11.
[0068]
As shown in FIG. 6, for example, until a certain time t1, the communication state of the IP network 5 is good, an MPEG-4 data stream is generated at a certain target bit rate b1, and the frame rate is , 15 fps.
[0069]
Here, it is assumed that it is determined that the communication state of the IP network 5 has deteriorated at an arbitrary time t1. Then, the target bit rate calculator 15 reduces the target bit rate to b2 (b2 <b1). As the target bit rate is reduced, the quantization scale of the frame encoded immediately after time t1 increases. At this time, when the quantization scale is equal to or greater than the first threshold Th1, the frame rate calculation unit 16 issues a frame rate change instruction from the next frame. As a result, the frame rate is reduced by one step to 10 fps.
[0070]
As described above, in the moving image data real-time distribution system according to the embodiment of the present invention, the bit rate of the MPEG-4 data stream is controlled according to the target bit rate determined according to the status of the IP network 5, The MPEG-4 data stream whose bit rate is controlled is transmitted to the IP network 5.
[0071]
In addition, in the moving image data real-time distribution system according to the embodiment of the present invention, the frame of the moving image data to be compression-encoded according to the deterioration degree of the image quality of the moving image data encoded by the MPEG-4 data stream. The rate has changed. Specifically, when the degree of deterioration of the image quality of the MPEG-4 data stream generated by the moving image encoding unit 12 becomes larger than the first threshold (Th1), the set value of the frame rate is changed to Change to a lower value than the current value. As a result, even if the communication state of the IP network 5 deteriorates, the moving image data can be distributed in real time without deteriorating the image quality by a certain amount or more. If the degree of deterioration of the image quality of the MPEG-4 data stream generated by the moving image encoding unit 12 becomes smaller than the second threshold (Th2), the frame rate setting value is changed to the current value. Change to higher than. As a result, when the communication state of the IP network 5 is improved and sufficient image quality is obtained, real-time distribution of moving image data with improved image continuity can be performed.
[0072]
By the way, in the above example, the quantization scale is detected as a parameter for determining the degree of deterioration of the image quality of the MPEG-4 data stream. The S / N ratio (signal / noise ratio) of the moving image data may be used.
[0073]
That is, if the S / N ratio of the frame after the encoding becomes equal to or less than the set first threshold value, it is determined that the image quality has exceeded the standard, and the frame rate is lowered. If the value exceeds the second threshold value (a value higher than the first threshold value), the image quality is determined to be sufficiently good, and the frame rate is increased. However, since the relationship between the S / N ratio and the subjective image quality does not always match due to the characteristics of the input image, the S / N ratio is corrected using a parameter representing the image characteristics, for example, activity. It is desirable to do. That is, even if the images are subjectively similar in image quality, an image with low activity (many flat portions) has a high S / N ratio and an image with high activity (many complex portions). In this case, the S / N ratio tends to decrease. Therefore, it is desirable to correct the obtained S / N ratio for an image with low activity and to increase the obtained S / N ratio for an image with high activity.
[0074]
When the degree of image quality deterioration is determined based on the S / N ratio, for example, as shown in FIG. 7, the S / N ratio calculation circuit 40 may be provided in the video encoding unit 12.
[0075]
The S / N ratio calculation circuit 40 calculates the S / N ratio as follows.
[0076]
First, the S / N ratio calculation circuit 40 calculates the pixel value (f (i, j)) of the input image stored in the input buffer 21 and the decoded image after being stored in the frame memory 29. The error d is obtained as shown in the following equation (2) based on the pixel value (g (i, j)) of Note that i is a horizontal pixel position in the frame, and j is a vertical pixel position in the frame.
[0077]
(Equation 1)

[0078]
Subsequently, the S / N ratio calculation circuit 40 calculates the S / N ratio from the obtained error d as in the following equation (3).
[0079]
(Equation 2)

[0080]
As a method of calculating the error d, a sum of absolute values as shown in the following equation (4) can be used in addition to the sum of squares as shown in equation (2).
[0081]
[Equation 3]

[0082]
When the sum of absolute values is used, the S / N ratio is obtained as in the following equation (5).
[0083]
(Equation 4)

[0084]
Note that calculating the S / N ratio from the error d requires logarithmic calculation, which increases the amount of calculation. Since the S / N ratio is a function that simply decreases with respect to the error d, the error d may be output instead of outputting the S / N ratio.
[0085]
【The invention's effect】
In the moving picture coding apparatus and method according to the present invention, the coded data stream is output while controlling the bit rate of the coded data stream according to a target bit rate set from the outside, and the moving picture data stream is The frame rate is changed to a frame rate calculated based on the image quality of the encoded data stream.
[0086]
Thus, the moving picture coding apparatus and method according to the present invention can perform coding of a moving picture with minimum image quality guaranteed even if the bit rate of the output coded data stream is changed.
[0087]
In the moving picture transmitting apparatus according to the present invention, the bit rate of the coded data stream is controlled according to a target bit rate determined according to a network condition, and the coded data stream having the controlled bit rate is transmitted to the network. In addition to the above transmission, the frame rate of the moving image data stream is changed to the frame rate calculated based on the image quality of the encoded data stream.
[0088]
As a result, the moving picture transmitting apparatus according to the present invention can perform moving picture coding with guaranteed minimum image quality even if the bit rate of the output coded data stream is changed.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a moving image data real-time distribution system according to an embodiment of the present invention.
FIG. 2 is a diagram showing a data structure of moving image data of a base band and a data structure of moving image data after a frame rate is converted.
FIG. 3 is a block diagram of a moving image encoding unit in the transmission device.
FIG. 4 is a diagram showing a table in which a target frame rate is described.
FIG. 5 is a flowchart illustrating a flow of a process of calculating a frame rate.
FIG. 6 is a diagram illustrating a specific processing operation example of a transmission device when a control process of a frame rate is performed.
FIG. 7 is a block diagram of a video encoding unit provided with an S / N ratio calculation circuit.
[Explanation of symbols]
REFERENCE SIGNS LIST 1 real-time distribution system, 2 camera device, 3 transmission device, 4 reception device, 5 IP network, 11 frame rate conversion unit, 12 video encoding unit, 13 transmission unit
14 receiver, 15 bit rate calculator, 16 frame rate calculator

Claims (9)

時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、
上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、
上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段とを備え、
上記符号化手段は、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、
上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、
上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御すること
を特徴とする動画像符号化装置。A moving image data stream composed of frames arranged in time series is input, and frame rate control means for controlling a frame rate of the input moving image data stream,
Frame rate calculating means for calculating a set value of a frame rate of the moving image data stream,
Encoding means for compression-encoding the moving image data stream output from the frame rate control means, and outputting an encoded data stream generated by compression-encoding,
The encoding means controls a bit rate of the encoded data stream according to a target bit rate set from outside,
The frame rate calculation unit calculates a frame rate set value based on the image quality of the encoded data stream output from the encoding unit,
The moving picture coding apparatus, wherein the frame rate control means controls a frame rate of the moving picture data stream to a set value calculated by the frame rate calculating means. 上記フレームレート算出手段は、上記符号化手段により符号化された符号化データストリームの画質の劣化度が所定の値以上となった場合には、フレームレートの設定値を、現在の値よりも低い値に変更すること
を特徴とする請求項１記載の動画像符号化装置。The frame rate calculation unit, when the degree of deterioration of the image quality of the encoded data stream encoded by the encoding unit is equal to or more than a predetermined value, the frame rate set value is lower than the current value 2. The moving picture coding apparatus according to claim 1, wherein the moving picture coding value is changed to a value. 上記フレームレート算出手段は、上記符号化手段により符号化された符号化データストリームの画質の劣化度が所定の値以下となった場合には、フレームレートの設定値を、現在の値よりも高い値に変更すること
を特徴とする請求項１記載の動画像符号化装置。The frame rate calculation unit sets the frame rate set value to be higher than the current value when the degree of image quality deterioration of the encoded data stream encoded by the encoding unit is equal to or less than a predetermined value. 2. The moving picture coding apparatus according to claim 1, wherein the moving picture coding value is changed to a value. 上記フレームレート算出手段は、上記符号化手段により符号化された符号化データストリームの画質の劣化度が第１のしきい値以上となった場合には、フレームレートの設定値を現在の値よりも低い値に変更し、上記画質の劣化度が第１のしきい値よりも低い第２のしきい値以下となった場合には、フレームレートの設定値を現在の値よりも高い値に変更すること
を特徴とする請求項１記載の動画像符号化装置。The frame rate calculating means, when the degree of image quality deterioration of the coded data stream coded by the coding means is equal to or greater than a first threshold value, sets the frame rate set value to a current value. Is changed to a lower value, and when the degree of deterioration of the image quality falls below a second threshold value lower than the first threshold value, the set value of the frame rate is set to a value higher than the current value. 2. The moving picture coding apparatus according to claim 1, wherein the moving picture coding is changed. 上記符号化手段は、量子化スケール値に基づきデータを量子化することによって、上記動画像データストリームに対して圧縮符号化を行い、
上記フレームレート算出手段は、上記符号化手段から出力される符号化データストリームの画質を、上記量子化スケール値に基づき判断すること
を特徴とする請求項１記載の動画像符号化装置。The encoding means performs compression encoding on the moving image data stream by quantizing data based on a quantization scale value,
2. The moving picture coding apparatus according to claim 1, wherein said frame rate calculating means determines the image quality of the coded data stream output from said coding means based on said quantization scale value. 符号化前の動画像データストリームの画素値と、符号化データストリームを復号した後の動画像データストリームの画素値とに基づき、符号化データストリームのＳ／Ｎ（シグナル／ノイズ）比を求めるＳ／Ｎ比算出手段を備え、
上記フレームレート算出手段は、上記符号化手段から出力される符号化データストリームの画質を、上記Ｓ／Ｎ比に基づき判断すること
を特徴とする請求項１記載の動画像符号化装置。An S / N (signal / noise) ratio of the encoded data stream is calculated based on the pixel values of the moving image data stream before encoding and the pixel values of the moving image data stream after decoding the encoded data stream. / N ratio calculation means,
2. The moving picture coding apparatus according to claim 1, wherein said frame rate calculating means determines the image quality of the coded data stream output from said coding means based on said S / N ratio. 空間領域の画素データから構成される動画像データストリームを圧縮符号化することによって、符号化データストリームを生成する動画像符号化装置において、
上記動画像データストリームの画素データを所定の画素ブロック単位で直交変換して、周波数領域の画素データから構成される動画像データストリームを生成する直交変換手段と、
上記直交変換手段から出力された周波数領域の画素データから構成される動画像データストリームを、上記所定の画素ブロック毎に設定した量子化スケールに基づき量子化する量子化手段と、
上記量子化手段により量子化された動画像データストリームを所定の符号化方式に対応した符号化データストリームに変換し、当該符号化データストリームを出力する符号化手段と、
上記量子化手段により量子化された動画像データストリームを、量子化時に用いられた量子化スケールに基づき逆量子化する逆量子化手段と、
上記逆量子化手段により逆量子化された動画像データストリームを、所定の画素ブロック単位で逆直交変換を行い、空間領域の画素データから構成される動画像データストリームを生成する逆直交変換手段と、
上記直交変換手段に入力される元の動画像データストリームの画素データと、逆直交変換手段から出力された符号化後の動画像データストリームの画素データとに基づき、上記符号化データストリームのＳ／Ｎ（シグナル／ノイズ）比を求めるＳ／Ｎ比算出手段とを備えること
を特徴とする動画像符号化装置。In a moving image encoding device that generates an encoded data stream by compressing and encoding a moving image data stream composed of pixel data in a spatial domain,
Orthogonal transformation means for orthogonally transforming the pixel data of the moving image data stream in a predetermined pixel block unit to generate a moving image data stream composed of pixel data in a frequency domain;
Quantizing means for quantizing a moving image data stream composed of pixel data in the frequency domain output from the orthogonal transform means, based on a quantization scale set for each of the predetermined pixel blocks,
Encoding means for converting the moving image data stream quantized by the quantization means into an encoded data stream corresponding to a predetermined encoding scheme, and outputting the encoded data stream;
Inverse quantization means for inversely quantizing the moving image data stream quantized by the quantization means based on a quantization scale used at the time of quantization;
An inverse orthogonal transform unit that performs an inverse orthogonal transform on the moving image data stream inversely quantized by the inverse quantization unit on a predetermined pixel block basis and generates a moving image data stream composed of pixel data in a spatial domain; ,
Based on the pixel data of the original moving image data stream input to the orthogonal transform means and the pixel data of the encoded moving image data stream output from the inverse orthogonal transform means, the S / S An S / N ratio calculating means for obtaining an N (signal / noise) ratio. 時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームを圧縮符号化することによって符号化データストリームを生成する画像符号化方法において、
設定された目標のビットレートに応じて出力する符号化データストリームのビットレートを制御しながら圧縮符号化を行うとともに、
生成された上記符号化データストリームの画質を検出し、検出した画質に基づきフレームレートの設定値を算出し、上記動画像データストリームのフレームレートを制御すること
を特徴とする動画像符号化方法。A moving image data stream composed of frames arranged in time series is input, and in an image encoding method of generating an encoded data stream by compressing and encoding the input moving image data stream,
While performing compression encoding while controlling the bit rate of the encoded data stream to be output according to the set target bit rate,
A moving picture coding method comprising: detecting a picture quality of a generated coded data stream; calculating a frame rate set value based on the detected picture quality; and controlling a frame rate of the moving picture data stream. 時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、
上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、
上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段と、
上記符号化手段により符号化された符号化データストリームをネットワークを介して受信装置に送信するとともに、当該受信装置との間で制御データの送受信を行う送受信手段とを備え、
上記送受信手段は、受信装置から受信した制御データに基づきネットワークの状況を検出し、検出したネットワークの状況に基づき目標のビットレートを算出し、
上記符号化手段は、上記送受信手段により算出された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、
上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、
上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御すること
を特徴とする動画像送信装置。A moving image data stream composed of frames arranged in time series is input, and frame rate control means for controlling a frame rate of the input moving image data stream,
Frame rate calculating means for calculating a set value of a frame rate of the moving image data stream,
Encoding means for compression-encoding the moving image data stream output from the frame rate control means, and outputting an encoded data stream generated by compression-encoding;
Transmitting the encoded data stream encoded by the encoding means to a receiving device via a network, and including transmitting and receiving means for transmitting and receiving control data to and from the receiving device,
The transmitting and receiving means detects a network condition based on the control data received from the receiving device, calculates a target bit rate based on the detected network condition,
The encoding means controls a bit rate of the encoded data stream according to a target bit rate calculated by the transmission / reception means,
The frame rate calculation unit calculates a frame rate set value based on the image quality of the encoded data stream output from the encoding unit,
The moving image transmitting apparatus, wherein the frame rate control means controls a frame rate of the moving image data stream to a set value calculated by the frame rate calculating means.

Images