JP6708882B2 - 符号化装置、及び、符号化方法 - Google Patents

Description

本発明は、符号化装置、及び、符号化方法に関する。

ネットワークを通じて動画像コンテンツを転送する際に、ネットワークにおける通信量を削減する圧縮技術が使用される。圧縮技術では、送信装置がコンテンツを構成するフレームを圧縮符号化してネットワークに送信し、圧縮符号化されたデータを受信装置が受信して復号することでコンテンツを復元する。

圧縮技術における圧縮率を向上させる差分符号化方式がある。差分符号化方式では、コンテンツに含まれるフレームの一部をキーフレームとしてフレーム内符号化する。また、コンテンツに含まれるフレームの上記一部を除く残部を差分フレームとして、上記キーフレームからの差分を符号化、つまり、フレーム間符号化する。

特許文献１は、圧縮符号化技術において、キーフレームの符号化処理量の急激な上昇を抑制するとともに、フレーム内符号化されたフレームと、フレーム間符号化されたフレームとの再生中に現れる差異をより小さくする技術を開示する。

特開２００２−１７１５２７号公報

特許文献１が開示する技術は、キーフレームの他にキーＧＯＢ（ブロック領域）という概念を導入したことで、符号化処理量の変化を抑制する効果が期待される一方、符号化されたデータのデータサイズには無頓着である。例えば、映像内の動きがない（又は、ほぼない）場合でも、激しく映像が動いている場合でも、符号化対象フレームの直前のキーフレームからの差分に相当するデータ量を有するフレーム間符号化フレームが生成され、ネットワークに送信される。

そのため、送信されたフレームが、ネットワークにおいて行われている他の通信の通信量を圧迫したり、ネットワークにおいて生じ得る通信ロスにより他の通信に悪影響を及ぼしたりするという問題がある。

本発明は、上記問題を解決するためになされたものであり、ネットワークに送信される符号化データのデータ量を削減する符号化装置等を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る符号化装置は、一連のフレームに含まれるフレームを、フレーム内符号化又はフレーム間符号化する符号化部と、前記符号化部が符号化したフレームを出力するか否かを制御する制御部とを備え、前記制御部は、前記一連のフレームのうちの第一フレームと、前記第一フレームの次のフレームである第二フレームとの両方を前記符号化部がフレーム間符号化した場合に、（ａ）符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズを含む所定範囲に属さないときに、符号化された前記第二フレームを出力するよう制御し、（ｂ）符号化された前記第二フレームのデータサイズが、前記所定範囲に属するときに、符号化された前記第二フレームを出力しないよう制御する。

これによれば、符号化装置は、一連のフレームの中で連続する、同一又は実質的に同一の画像である２つのフレームがフレーム間符号化された場合に、上記２つのフレームのうちの２番目のフレームが符号化された符号化データを、ネットワークに送信しなくなる。これら２つのフレームは、同一又は実質的に同一の画像を有するので、上記２番目のフレームの符号化データが送信されなくても、再生されるコンテンツへの影響が比較的小さい。これにより、符号化装置は、ネットワークに送信される符号化データのデータ量を削減することができる。

また、前記制御部は、前記（ａ）において、符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズと異なるときに、符号化された前記第二フレームを出力するよう制御し、前記（ｂ）において、符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズに一致するときに、符号化された前記第二フレームを出力しないよう制御する。

これによれば、符号化装置は、一連のフレームの中で連続する同一の画像である２つのフレームがフレーム間符号化された場合に、上記２つのフレームのうちの上記２番目のフレームが符号化された符号化データをネットワークに送信しなくなる。これにより、符号化装置は、ネットワークに送信される符号化データのデータ量を削減することができる。

また、前記制御部は、前記一連のフレームのうちの第三フレームを前記符号化部がフレーム内符号化した場合には、前記一連のフレームのうち前記第三フレームの次のフレームである第四フレームをフレーム間符号化するよう制御する。

これによれば、符号化装置は、フレーム内符号化したフレームの後のフレームをフレーム間符号化することで符号化データのサイズを削減することができる。

また、前記制御部は、前記一連のフレームのうちの連続した所定数個のフレーム間符号化されたフレームのデータサイズが閾値以下であるときには、前記所定数個のフレームの次のフレームをフレーム内符号化するよう制御する。

これによれば、符号化装置は、フレーム間符号化されたフレームの送信を禁止する制御を連続的に行う場合であっても、所定値の個数のフレームごとにフレーム内符号化されたフレームを含む符号化データを出力する。これにより、たとえ符号化データがネットワークでの通信中に失われた場合であっても、その次に送信されるフレーム内符号化されたフレームにより、再生装置によるコンテンツの再生を継続することができる。

また、前記制御部は、前記第二フレームを出力しないよう制御する際には、フレームに変化がないことを示す制御情報を出力するよう制御する。

これによれば、符号化装置が送信する符号化データを受信する復号装置が一定時間符号化データを受信しない場合、再生装置によるコンテンツの再生の中止を回避することができる。再生装置は、一定時間符号化データを受信しない場合、送信装置又はネットワークに問題が生じてコンテンツの再生を継続できないと判断し、再生を中止することがあるからである。

また、本発明の一態様に係る符号化方法は、一連のフレームに含まれるフレームを、フレーム内符号化又はフレーム間符号化する符号化ステップと、前記符号化ステップで符号化したフレームを出力するか否かを制御する制御ステップとを含み、前記制御ステップで
は、前記一連のフレームのうちの第一フレームと、前記第一フレームの次のフレームである第二フレームとの両方を前記符号化ステップでフレーム間符号化した場合に、（ａ）符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズを含む所定範囲に属さないときに、符号化された前記第二フレームを出力するよう制御し、（ｂ）符号化された前記第二フレームのデータサイズが、前記所定範囲に属するときに、符号化された前記第二フレームを出力しないよう制御する。

これにより、上記符号化装置と同様の効果を奏する。

本発明にかかる符号化装置等は、ネットワークに送信される符号化データのデータ量を削減することができる。

図１は、実施の形態に係るコンテンツ再生システムの構成を示す構成図である。 図２は、実施の形態に係る符号化装置のハードウェア構成を示すブロック図である。 図３は、関連技術に係る符号化装置の構成を示すブロック図である。 図４は、関連技術に係る符号化装置の処理を示すフロー図である。 図５は、関連技術に係る復号装置の構成を示すブロック図である。 図６は、関連技術に係る復号装置の処理を示すフロー図である。 図７は、実施の形態に係る符号化装置の構成を示すブロック図である。 図８は、静止画を含むスライドショーのコンテンツの一例の説明図である。 図９は、実施の形態に係る符号化装置の処理を示すフロー図である。 図１０は、実施の形態に係る符号化装置の符号化処理を示すフロー図である。 図１１は、実施の形態に係る符号化装置の符号化制御処理を示すフロー図である。 図１２は、実施の形態に係る符号化装置による静止画検出の効果を説明する第一の説明図である。 図１３は、実施の形態に係る符号化装置による静止画検出の効果を説明する第二の説明図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。

以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。

（実施の形態）
本実施の形態において、ネットワークに送信される符号化データのデータ量を削減する符号化装置等について説明する。

図１は、本実施の形態に係るコンテンツ再生システムＳの構成を示す構成図である。

図１に示されるように、コンテンツ再生システムＳは、送信装置１と再生装置２とを備える。送信装置１と再生装置２とは、ネットワーク３により通信可能に接続されている。

コンテンツ再生システムＳは、送信装置１が保有している動画像コンテンツ（以降、単にコンテンツともいう）を、１以上の再生装置２により再生するコンテンツ再生システムである。

送信装置１は、コンテンツを保有しており、コンテンツをネットワーク３を通じて再生装置２に送信する送信装置である。送信装置１は、コンテンツを圧縮符号化（以降、単に符号化ともいう）する符号化装置１０を備える。符号化装置１０は、符号化によりコンテンツのデータ量を削減した符号化データを生成し、生成した符号化データをネットワーク３に送信する。

再生装置２は、ネットワーク３を通じて送信装置１からコンテンツを受信し、受信したコンテンツを再生する再生装置である。再生装置２は、送信装置１が保有しているコンテンツをもとに符号化装置１０が生成した符号化データを、ネットワーク３を通じて受信する。再生装置２は、符号化データを復号する復号装置２０を備える。復号装置２０は、ネットワーク３から受信した符号化データを復号することでコンテンツを復元し、復元したコンテンツを再生装置２により再生する。

ネットワーク３は、送信装置１と再生装置２とを通信可能に接続するネットワークである。ネットワーク３は、具体的には、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格等に適合する無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、ＩＥＥＥ８０２．３規格等に適合する有線ＬＡＮである。

なお、コンテンツ再生システムＳは、２以上の再生装置２を備えていてもよい。その場合、２以上の再生装置２それぞれがネットワーク３に接続し、送信装置１が送信する符号化データを受信することができることを要する。送信装置１は、再生装置２が２以上存在する場合には、２以上の再生装置２それぞれに対してユニキャスト送信してもよいし、２以上の再生装置２が受信できるようにブロードキャスト送信してもよい。

図２は、本実施の形態に係る符号化装置１０のハードウェア構成を示すブロック図である。なお、復号装置２０も、符号化装置１０と同じハードウェア構成を有する。

図２に示されるように、符号化装置１０は、ＣＰＵ１１と、メインメモリ１２と、ストレージ１３とを備える。

ＣＰＵ１１は、メインメモリ１２又はストレージ１３に格納された制御プログラムを実行するプロセッサである。符号化装置１０が実行する処理は、ＣＰＵ１１が制御プログラムを実行することで実現され得る。

メインメモリ１２は、ＣＰＵ１１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。

ストレージ１３は、コンテンツを構成するフレームのデータを記憶している不揮発性の記憶装置である。なお、ストレージ１３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、符号化装置１０に内蔵されたものであってもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格等により外付けされるものであってもよい。

以降において、本実施の形態に係る符号化装置及び復号装置の構成について説明する。なお、符号化装置については、最初に関連技術に係る符号化装置を説明した後で、本実施の形態に係る符号化装置を説明する。ここで、関連技術とは、ネットワークにおいて行われている他の通信の通信量を圧迫したり、ネットワークにおいて生じ得る通信ロスにより他の通信に悪影響を及ぼしたりすることがある従来技術の一例である。復号装置については、関連技術に係る復号装置と、本実施の形態の復号装置とに差異はない。

図３は、関連技術に係る符号化装置５０の構成を示すブロック図である。符号化装置５０は、本実施の形態における符号化装置１０の位置に配置される。

図３に示されるように、符号化装置５０は、フレーム保持部１００と、取得部１０１と、ブロッキングフィルタ１０２と、変換部１０３と、差分部１０４と、量子化部１０５と、符号化部１０６と、逆量子化部１０７と、参照用保持部１０８とを備える。

フレーム保持部１００は、符号化対象のコンテンツを構成するフレームのデータを保持している記憶部である。フレーム保持部１００は、例えばメインメモリ１２等により実現される。

取得部１０１は、符号化対象フレームを取得する処理部である。取得部１０１は、フレーム保持部１００に格納されているコンテンツに含まれるフレームのうちの符号化対象フレームを読み出すことで取得する。符号化対象フレームは、例えば、コンテンツを構成する複数のフレームのうち、符号化装置５０が管理している現在時刻情報に対応付けられるフレームが順次割り当てられる。

ブロッキングフィルタ１０２は、取得部１０１が取得した符号化対象フレームに含まれる処理単位であるブロック境界に対してブロッキングフィルタ処理を施す処理部である。ブロッキングフィルタ処理は、変換処理（後述）の処理単位であるブロックの境界で生じ得る不連続性を抑制するために、変換処理の前に施すべき処理である。

変換部１０３は、ブロッキングフィルタ１０２がブロッキングフィルタ処理を施した後のフレームに対してブロックごとに変換処理を施す処理部である。変換処理の一例は、周波数変換処理である。周波数変換は、符号化対象フレームを、基底となる複数の三角関数の足し合わせとして表現する場合の係数（周波数係数）に変換する。なお、変換処理は、次数変換（例えば、アダマール変換）処理等を採用することもできる。

差分部１０４は、変換部１０３が変換処理を施した後の符号化対象フレーム（周波数係数）と、参照用保持部１０８が保持している参照用フレームとの差分を算出することで、差分フレームを生成する処理部である。差分部１０４は、上記差分を算出する前に、参照用保持部１０８から参照用フレームを読み出す。差分部１０４は、符号化対象フレームがキーフレームでない場合に上記差分を算出し、キーフレームである場合には上記差分を算出しない。なお、符号化対象フレームがキーフレームであるか、又は、キーフレームでないかは、差分部１０４が変換部１０３から符号化対象フレームを取得した時点までに決定されていてもよいし、何らかの制御に基づいて差分部１０４が決定してもよい。この制御には、例えば、後述する制御部１１１による制御がある。

差分部１０４が参照用フレームを読み出すタイミングは、取得部１０１がフレーム保持部１００から符号化対象フレームを読み出すタイミングより後になる。なぜなら、取得部１０１がフレーム保持部１００から符号化対象フレームを読み出した後に、ブロッキングフィルタ１０２及び変換部１０３の処理が実行され、その後に、差分部１０４が参照用フレームを読み出すからである。言い換えれば、ブロッキングフィルタ１０２及び変換部１０３が、取得部１０１による符号化対象フレームの読み出しに対して、差分部１０４による参照用フレームの読み出しを遅延させる遅延部として機能するとも言える。

量子化部１０５は、変換部１０３が変換処理を施した後の符号化対象フレーム、又は、差分部１０４が生成した差分フレームを量子化する（つまり、上記フレームを量子化係数に変換する）処理部である。

符号化部１０６は、量子化部１０５が量子化したフレームを符号化することで符号化データを生成する処理部である。符号化部１０６が生成した符号化データが、送信装置１が送信するコンテンツデータに相当する。

逆量子化部１０７は、量子化部１０５による量子化後のフレームを逆量子化する処理部である。逆量子化部１０７は、量子化部１０５による量子化後のフレームがキーフレームである場合に逆量子化を行う。逆量子化部１０７は、逆量子化したフレームを参照用フレームとして参照用保持部１０８に格納する。

参照用保持部１０８は、逆量子化部１０７が逆量子化した後のキーフレームを参照用フレームとして保持する記憶部である。参照用保持部１０８が保持するキーフレームは、差分部１０４に参照され、差分を算出する処理に用いられる。参照用保持部１０８は、例えばメインメモリ１２により実現される。

以上のように構成された符号化装置５０の処理について説明する。

図４は、関連技術に係る符号化装置５０の処理を示すフロー図である。

ステップＳ１０１において、取得部１０１は、符号化対象フレームをフレーム保持部１００から読み出すことで取得する。

ステップＳ１０２において、ブロッキングフィルタ１０２は、取得部１０１が取得した符号化対象フレームにおけるブロック境界に対してブロッキングフィルタ処理を施す。

ステップＳ１０３において、変換部１０３は、ブロッキングフィルタ１０２によるブロッキングフィルタ処理後のフレームに対してブロックごとに変換処理を施す。

ステップＳ１０４において、符号化装置５０は、符号化対象フレームがキーフレームであるか否かに応じて処理を分岐する。符号化対象フレームがキーフレームである場合（ステップＳ１０４でＹｅｓ）にはステップＳ１０５に進み、そうでない場合（ステップＳ１０４でＮｏ）には、ステップＳ１１１に進む。

ステップＳ１０５において、量子化部１０５は、変換部１０３が変換処理を施した後の符号化対象フレームに量子化処理を施す。

ステップＳ１０６において、逆量子化部１０７は、量子化部１０５による量子化後のキーフレームに逆量子化処理を施す。

ステップＳ１０７において、逆量子化部１０７は、ステップＳ１０６で逆量子化したフレームを参照用保持部１０８に格納する。

ステップＳ１１１において、差分部１０４は、変換部１０３が変換処理を施した後の符号化対象フレームと、参照用保持部１０８から読み出した参照用フレームとの差分を、差分フレームとして生成する。

ステップＳ１１２において、量子化部１０５は、差分部１０４が変換処理を施した後の差分フレームを量子化する。

ステップＳ１０８において、符号化部１０６は、量子化部１０５が量子化したキーフレームを符号化して符号化データを生成する。生成された符号化データは、送信装置１により再生装置２に送信される。

図５は、本実施の形態に係る復号装置２０の構成を示すブロック図である。

図５に示されるように、復号装置２０は、復号部２０１と、加算部２０２と、逆量子化部２０３と、参照用保持部２０４と、逆変換部２０５と、デブロッキングフィルタ２０６と、生成部２０７とを備える。

復号部２０１は、送信装置１が送信したコンテンツデータである符号化データを復号対象フレームとして受信して復号する処理部である。復号部２０１が復号により生成するフレームは、符号化部１０６による符号化の対象となった元データである符号化対象フレーム（量子化係数）である。

加算部２０２は、復号部２０１が復号した復号対象フレームと、参照用保持部２０４が保持している参照用フレームとを加算することで、加算フレーム（量子化係数）を生成する処理部である。加算部２０２は、上記の加算処理をする前に、参照用保持部２０４から参照用フレームを読み出す。加算部２０２が生成した加算フレームは、変換部１０３が符号化対象フレームに基づいて生成した周波数係数である。

逆量子化部２０３は、加算部２０２が加算処理により生成した加算フレームを逆量子化することで、復号対象フレーム（周波数係数）を算出する処理部である。逆量子化部２０３の処理は、符号化装置５０の逆量子化部１０７と同じである。

参照用保持部２０４は、逆量子化部２０３が生成した復号対象フレームのうちのキーフレームを、参照用フレームとして保持する記憶部である。参照用保持部２０４が保持するキーフレームは、加算部２０２に参照され、加算処理に用いられる。参照用保持部２０４は、例えばメインメモリ１２等により実現される。

逆変換部２０５は、逆量子化部２０３が逆量子化により生成した復号対象フレーム（周波数係数）に対して、逆変換処理を施す処理部である。逆変換処理は、符号化装置５０の変換部１０３による変換とは逆の変換を行う。具体的には、逆変換処理は、変換部１０３が周波数変換を行う場合には逆周波数変換処理であり、変換部１０３が次数変換を行う場合には逆次数変換処理である。

デブロッキングフィルタ２０６は、逆変換部２０５が逆変換処理を施した後の復号対象フレームにおけるブロック境界に対してデブロッキングフィルタ処理を施す処理部である。

生成部２０７は、デブロッキングフィルタ２０６によるデブロッキングフィルタ処理が施された加算フレームを取得し、取得した加算フレームに属性情報等を付加することでフレームを生成し、後段の処理に渡す処理部である。

以上のように構成された復号装置２０の処理について説明する。

図６は、関連技術に係る復号装置２０の処理を示すフロー図である。

ステップＳ２０１において、復号部２０１は、符号化データを受信して復号することで復号対象フレームを取得する。

ステップＳ２０２において、復号装置２０は、復号対象フレームがキーフレームであるか否かに応じて処理を分岐する。復号対象フレームがキーフレームである場合（ステップＳ２０２でＹｅｓ）にはステップＳ２０３に進み、そうでない場合（ステップＳ２０２でＮｏ）には、ステップＳ２１１に進む。

ステップＳ２０３において、逆量子化部２０３は、復号対象フレームであるキーフレームを逆量子化する。

ステップＳ２０４において、逆量子化部２０３は、ステップＳ２０３で逆量子化したキーフレームを参照用保持部２０４に格納する。

ステップＳ２０５において、逆変換部２０５は、逆量子化部２０３が逆量子化した加算フレームに対して、逆変換処理を施す。

ステップＳ２０６において、デブロッキングフィルタ２０６は、逆変換部２０５が逆変換処理を施した後の加算フレームにおけるブロック境界に対してデブロッキングフィルタ処理を施す。

ステップＳ２０７において、生成部２０７は、フレームを生成し、後段の処理に渡す。

ステップＳ２１１において、加算部２０２は、復号部２０１が復号により生成したフレームと、参照用保持部２０４から読み込んだ参照用フレームとを加算することで、加算フレームを生成する。

ステップＳ２１２において、逆量子化部２０３は、加算部２０２が加算処理により生成した加算フレームを逆量子化する。

以上の関連技術に係る符号化装置では、映像内の動きがない場合でも、激しく映像が動いている場合でも、符号化対象フレームの直前のキーフレームからの差分に相当するデータ量を有するフレーム間符号化フレームが生成され、ネットワークに送信される。そのため、ネットワークにおいて行われている他の通信の通信量を圧迫したり、ネットワークにおいて生じ得る通信ロスにより他の通信に悪影響を及ぼしたりすることがある。

以降において、本実施の形態に係る符号化装置において、符号化データのサイズを削減する技術についてより詳細に説明する。より具体的には、本実施の形態に係る符号化装置は、符号化処理結果に応じて、符号化されたフレームを出力するか否かを制御することで、ネットワークに送信される符号化データのデータ量を削減する。

図７は、本実施の形態に係る符号化装置の構成を示すブロック図である。図８は、静止画を含むスライドショーのコンテンツの一例の説明図である。

図７に示されるように、符号化装置１０は、フレーム保持部１００と、取得部１０１と、ブロッキングフィルタ１０２と、変換部１０３と、差分部１０４Ａと、量子化部１０５と、符号化部１０６と、逆量子化部１０７と、参照用保持部１０８と、制御部１１１と、切替部１１２とを備える。

ここで、フレーム保持部１００と、取得部１０１と、ブロッキングフィルタ１０２と、変換部１０３と、量子化部１０５と、符号化部１０６と、逆量子化部１０７と、参照用保持部１０８とについては、上記符号化装置５０の同名の構成要素と同じ機能を有するので、詳細な説明を省略する。

差分部１０４Ａは、上記符号化装置５０における差分部１０４と同様、変換部１０３が変換処理を施した後の符号化対象フレームと、参照用保持部１０８が保持している参照用フレームとの差分を、差分フレームとして生成する処理部である。差分部１０４Ａが変換部１０３からフレームを取得する時点では、このフレームがキーフレームであるか又は差分フレームであるかは決定されておらず、後段の制御部１１１により切替部１１２の状態が制御されることで、このフレームがキーフレームになるか、差分フレームになるかが決定される。差分部１０４Ａに入力されたフレームがフレーム間符号化される（差分フレームになる）場合には、後段の切替部１１２を通じて量子化部１０５に提供される。一方、差分部１０４Ａに入力されたフレームがフレーム内符号化される（キーフレームになる）場合には、差分部１０４Ａに入力されたフレームが量子化部１０５に提供され、差分部１０４Ａが生成した差分フレームは後段の処理に使われない。

制御部１１１は、符号化部１０６が符号化により生成した符号化データに基づく判定を行い、判定結果に応じて、上記符号化データを出力するか否かを制御するとともに、新たな符号化対象フレームの符号化を制御する処理部である。

具体的には、制御部１１１は、コンテンツに含まれる一連のフレームのうちの第一フレームと、第一フレームの次の第二フレームとの両方を符号化部１０６がフレーム間符号化した場合に、（ａ）符号化された第二フレームのフレームサイズが、符号化された第一フレームのフレームサイズを含む所定範囲に属さないときに、符号化された第二フレームを出力するよう制御し、（ｂ）符号化された第二フレームのフレームサイズが、符号化された第一フレームのフレームサイズを含む所定範囲に属するときに、符号化された第二フレームを出力しないよう制御する。ここで所定範囲は、第一フレーム及び第二フレームが実質的に同一とみなされる範囲として定められる範囲であり、例えば、符号化された直前のキーフレームのデータサイズの１／１００又は１／１０００程度とすることができる。なお、「フレームのフレームサイズ」という場合、「フレームのデータサイズ」を意味する。以降でも同様とする。

制御部１１１は、符号化部１０６が符号化により生成した符号化データを取得して、符号化データに含まれるフレームがキーフレームであるか否かを示す情報と、符号化データのデータサイズとを得る。そして、制御部１１１は、上記情報と上記データサイズとに基づく判定を行い、判定の結果に応じて、符号化装置１０が次に符号化する新たな符号化対象フレームを、フレーム内符号化するか、又は、フレーム間符号化するか（言い換えれば、どのフレームをキーフレームにし、どのフレームを差分フレームにするか）を決定する。また、制御部１１１は、上記判定の結果に応じて、符号化部１０６が生成した符号化データを出力するか否か、つまり、上記符号化データを送信装置１から再生装置２へ送信するか否かを決定する。そして、制御部１１１は、決定結果に応じて、切替部１１２の状態を制御し、また、符号化部１０６が生成した符号化データを出力するかしないかを制御する。

制御部１１１による判定は、主としてフレームに対する静止画検出に基づいてなされる。ここで、静止画検出とは、コンテンツに含まれる複数の連続したフレームが、同一、又は、実質的に同一の静止画であることを検出する処理をいう。複数の連続したフレームが同一の静止画になるのは、例えば、連続した複数のフレームそれぞれが、コンピュータグラフィックスにより写真、文字又は図形などが配置された画像である場合であり、例えば、コンピュータのプレゼンテーション用アプリケーションで生成された、静止画が数秒〜数分間ごとに切り替わるスライドショーのコンテンツである。スライドショーコンテンツの一例を図８に示す。図８に示されるコンテンツは、順次切り替えられる３つの静止画を含む。３つの静止画のうち１つ目の静止画がフレーム１〜６に含まれ、２つ目の静止画がフレーム７〜１０に含まれ、３つ目の静止画がフレーム１１〜１６に含まれている。

また、複数の連続したフレームが同一ではなく実質的に同一の静止画になるのは、例えば、連続した複数のフレームそれぞれが、動きが極めて少ない風景を動画カメラにより撮影した動画を構成するフレームである場合である。この場合、風景に含まれる極めて少ない動き、又は、撮影時に撮像素子が取得するセンサ値に含まれるノイズ等の影響により、複数の連続したフレームが厳密に同一にはならない可能性がある。なお、どの程度の大きさの静止画の動きを実質的に同一とみなすかを、上記の所定範囲を増減させることで調整することができる。

なお、制御部１１１は、上記（ａ）において、符号化された第二フレームのフレームサイズが、符号化された第一フレームのフレームサイズと異なるときに、符号化された第二フレームを出力するよう制御し、上記（ｂ）において、符号化された第二フレームのフレームサイズが、符号化された第一フレームのフレームサイズに一致するときに、符号化された第二フレームを出力しないよう制御してもよい。これは、上記所定範囲の大きさをゼロとした場合に相当する。つまり、符号化された２つのフレームのデータサイズが厳密に同一である場合に相当する。以降の説明では、この場合を例として説明する。

なお、制御部１１１は、一連のフレームのうちの第三フレームを符号化部１０６がフレーム内符号化した場合には、一連のフレームのうち第三フレームの次の第四フレームをフレーム間符号化するよう制御してもよい。これにより、符号化装置１０は、フレーム内符号化した後のフレームをフレーム間符号化することで符号化データのサイズを削減することができる。

また、制御部１１１は、第三フレームを符号化部１０６がフレーム内符号化した場合には、一連のフレームのうちの第四フレーム以降のフレームを、再生順に順次にフレーム間符号化するよう制御し、第四フレーム以降のフレームのうちの第五フレームをフレーム間符号化した時点において、フレーム間符号化された第五フレームのデータサイズが閾値以上であるときには、一連のフレームのうち第五フレームの次の第六フレームをフレーム内符号化するよう制御してもよい。これにより、符号化装置１０は、フレーム間符号化されたフレームのデータサイズが比較的大きい場合に、新たなフレームをフレーム内符号化する。フレーム間符号化されたフレームとキーフレームとの差分が比較的大きい場合に、新たなフレームを新たなキーフレームとしてフレーム内符号化することで、それ以降のフレームと新たなキーフレームとの差分を比較的小さくする効果がある。

切替部１１２は、後段の量子化部１０５に提供されるフレームを、変換部１０３が変換処理を施した後のフレームとするか、又は、差分部１０４Ａが差分処理により生成した差分フレームとするかを切り替える切替部である。切替部１１２が、変換部１０３が変換処理を施した後のフレームを量子化部１０５に提供する状態、つまり、図７において端子ａと端子ｃとが接続される状態を状態Ａという。また、切替部１１２が、差分部１０４Ａが差分処理により生成した差分フレームを量子化部１０５に提供する状態、つまり、図７において端子ｂと端子ｃとが接続される状態を状態Ｂという。切替部１１２が状態Ａをとるか、状態Ｂをとるかは、制御部１１１により制御される。

なお、上記の差分部１０４Ａ及び切替部１１２の動作は、上記符号化装置５０の差分部１０４による、符号化対象フレームがキーフレームでない場合に上記差分を算出し、キーフレームである場合には上記差分を算出しないという動作と同様である。つまり、差分部１０４Ａ及び切替部１１２は、上記符号化装置５０の差分部１０４を、２つの構成要素に分けてより具体的に記載したものである。

以上のように構成された符号化装置１０の処理についてフロー図を用いて説明する。

図９は、本実施の形態に係る符号化装置１０の処理を示すフロー図である。

図９に示されるように、符号化装置１０は、符号化処理Ｓ３０１を実行し、実行した符号化処理Ｓ３０１の結果に応じて符号化制御処理Ｓ３０２を実行する。そして、符号化処理Ｓ３０１により生成され、符号化制御処理Ｓ３０２により生成された符号化データについての出力制御処理Ｓ３０３を行う。出力制御処理Ｓ３０３では、符号化制御処理Ｓ３０２における制御、より具体的には、符号化制御処理Ｓ３０２で記憶する情報（後述）に基づいて、符号化処理Ｓ３０１で符号化により生成された符号化データを出力するか、又は、出力しない（つまり廃棄する）。なお、符号化データを出力しない場合に、符号化データを出力しないことを示す情報、又は、直前のフレームが連続していることを示す情報を出力してもよい。再生装置２（復号装置２０）が一定時間符号化データを受信しない場合、送信装置１又はネットワーク３に問題が生じてコンテンツの再生を継続できないと判断し、再生を中止することを回避するためである。

符号化処理Ｓ３０１及び符号化制御処理Ｓ３０２について、以下で詳しく説明する。

図１０は、本実施の形態に係る符号化装置１０の符号化処理Ｓ３０１を示すフロー図である。

図１０におけるステップＳ１０１からＳ１０８の処理については、図４に示されるステップＳ１０１からＳ１０８の処理と実質的に同じである。ここで、ステップＳ１０４Ａは、ステップＳ１０４の処理の内容をより具体的にしたものである。

ステップＳ１０４Ａにおいて、制御部１１１は、符号化対象フレームをフレーム内符号化するか又はフレーム間符号化するかを、切替部１１２の状態に応じて切り替える。すなわち、切替部１１２が状態Ａである場合（ステップＳ１０４Ａで「フレーム内符号化」）には、符号化対象フレームをフレーム内符号化する一連の処理（ステップＳ１０５〜Ｓ１０７）を行う。一方、切替部１１２が状態Ｂである場合（ステップＳ１０４Ａで「フレーム間符号化」）には、符号化対象フレームをフレーム間符号化する一連の処理（ステップＳ１１１〜Ｓ１１２）を行う。

図１１は、本実施の形態に係る符号化装置１０の符号化制御処理Ｓ３０２を示すフロー図である。

図１１に示されるように、ステップＳ４０１において、制御部１１１は、符号化部１０６により符号化されたフレームがキーフレームであるか否か、言い換えれば、符号化部１０６がフレームをフレーム内符号化したか、又は、フレーム間符号化したかを判定する。符号化部１０６により符号化されたフレームがキーフレームであると判定した場合（ステップＳ４０１でＹｅｓ）には、ステップＳ４０２に進み、そうでない場合（ステップＳ４０１でＮｏ）には、ステップＳ４１１に進む。

ステップＳ４０２において、制御部１１１は、カウンタをリセットする。このカウンタは、フレーム間符号化されたフレームのデータサイズが、その直前にフレーム間符号化されたフレームのデータサイズと同一であることが、何フレーム連続して生じているかを計数するためのカウンタであり、後述するステップＳ４２３等で用いられる。符号化されたフレームがキーフレームである場合、上記の連続性が途絶えるので上記カウンタをリセットする。

ステップＳ４０３において、制御部１１１は、本符号化制御処理Ｓ３０２の後に行う出力制御処理Ｓ３０３において、ステップＳ４０１の判定の対象となった符号化されたフレームの出力をするよう制御する。具体的には、制御部１１１は、上記フレームを出力することを示す情報（例えばフラグ情報）を記憶しておく。

ステップＳ４０４において、制御部１１１は、一連のフレームのうちの次のフレームをフレーム間符号化するよう制御する。具体的には、制御部１１１は、切替部１１２を状態Ｂに変更する。ステップＳ４０４の処理を終えたら、本フロー図に示される一連の処理を終了する。

ステップＳ４１１において、制御部１１１は、符号化部１０６が符号化により生成した符号化データのデータサイズが閾値より大きいか否かを判定する。符号化データのデータサイズが閾値より大きいと判定した場合（ステップＳ４１１でＹｅｓ）にはステップＳ４１２に進み、そうでない場合（ステップＳ４１１でＮｏ）には、ステップＳ４２１に進む。なお、閾値は、例えば、当該フレームの直前にフレーム内符号化されたキーフレームのデータサイズの４／５とする。フレーム間符号化されたフレームのデータサイズが比較的大きい場合に、新たなフレームをフレーム内符号化することで、以降のフレーム間符号化されたフレームのデータサイズを小さくするためである。

ステップＳ４１２において、制御部１１１は、本符号化制御処理Ｓ３０２の後に行う出力制御処理Ｓ３０３において、ステップＳ４０１の判定の対象となった符号化されたフレームの出力をするよう制御する。

ステップＳ４１３において、制御部１１１は、一連のフレームのうちの次のフレームをフレーム内符号化するよう制御する。具体的には、制御部１１１は、切替部１１２を状態Ａに変更する。ステップＳ４１３の処理を終えたら、本フロー図に示される一連の処理を終了する。

ステップＳ４２１において、制御部１１１は、符号化部１０６がフレーム間符号化により生成した符号化データのデータサイズが、前回フレーム間符号化により生成した符号化データのデータサイズと一致するか否かを判定する。一致すると判定した場合（ステップＳ４２１でＹｅｓ）には、ステップＳ４２２へ進み、一致しないと判定した場合（ステップＳ４２１でＮｏ）には、ステップＳ４３１に進む。なお、前回の符号化がフレーム内符号化である場合は、上記「一致しないと判定した場合」に含むとする。

ステップＳ４２２において、制御部１１１は、本符号化制御処理Ｓ３０２の後に行う出力制御処理Ｓ３０３において、ステップＳ４０１の判定の対象となった符号化されたフレームの出力を禁止するよう制御する。

ステップＳ４３１において、制御部１１１は、本符号化制御処理Ｓ３０２の後に行う出力制御処理Ｓ３０３において、ステップＳ４０１の判定の対象となった符号化されたフレームの出力をするよう制御する。

ステップＳ４２３において、制御部１１１は、カウンタをインクリメントする。このカウンタは、フレーム間符号化されたフレームのデータサイズが、その直前にフレーム間符号化されたフレームのデータサイズと同一である連続フレーム数を計数するためのカウンタである。

ステップＳ４２４において、制御部１１１は、カウンタが所定値より大きいか否か、つまり、カウンタが所定値を超えたか否かを判定する。カウンタが所定値より大きいと判定した場合（ステップＳ４２４でＹｅｓ）には、ステップＳ４２５に進み、そうでない場合（ステップＳ４２４でＮｏ）には、ステップＳ４３６に進む。所定値は、フレーム間符号化されたフレームのデータサイズが、その直前にフレーム間符号化されたフレームのデータサイズと同一であることが何フレーム連続して生じると、その次のフレームをフレーム内符号化するかを示す値であり、例えば、３０又は１５０程度とすることができ、また、１秒又は５秒程度に含まれるフレーム数というように再生時間により定めてられてもよい。再生時間により定められる場合には、フレームレート（ｆｐｓ）を用いてフレーム数に換算される。

ステップＳ４２５において、制御部１１１は、一連のフレームのうちの次のフレームをフレーム内符号化するよう制御する。具体的には、制御部１１１は、切替部１１２を状態Ａに変更する。ステップＳ４２５の処理を終えたら、本フロー図に示される一連の処理を終了する。本ステップの処理により、制御部１１１は、一連のフレームのうちの連続した所定値の個数のフレーム間符号化されたフレームのデータサイズが閾値以下であるときには、所定値の個数のフレームの次のフレームをフレーム内符号化するよう制御する。これにより、フレーム間符号化されたフレームの送信を禁止する制御（ステップＳ４２２）を連続的に行う場合であっても、所定値の個数のフレームごとにフレーム内符号化されたフレームを含む符号化データを再生装置２に受信させることができる。これにより、たとえネットワーク３で符号化データが失われた場合であっても、その次に送信されるフレーム内符号化されたフレームにより、再生装置２によるコンテンツの再生を継続することができる利点がある。

ステップＳ４３６において、制御部１１１は、一連のフレームのうちの次のフレームをフレーム間符号化するよう制御する。具体的には、制御部１１１は、切替部１１２を状態Ｂに変更する。ステップＳ４３６の処理を終えたら、本フロー図に示される一連の処理を終了する。

以上の一連の処理により、符号化装置１０は、静止画検出に基づいて、符号化データのサイズを削減することができる。

以降では、符号化装置１０が行う静止画検出に基づく符号化データのデータサイズの削減効果についてのシミュレーション評価を、静止画検出に関わる処理とともに説明する。なお、以降の説明におけるグラフでは、一連のフレームを再生順に並べた場合のフレーム（フレームナンバ）を横軸に示し、フレームそれぞれが符号化されて生成されるフレームサイズを縦軸に示す。また、グラフ上のデータサイズ等に対応するシンボルを結ぶ直線は、同種のシンボルの推移を分かりやすく示すための説明用の直線である。データサイズ等は、横軸の整数値に対応する各シンボルだけが意味をもち、直線のうち、隣接する整数値の間の部分は意味をもたないものとする。

図１２及び図１３は、本実施の形態に係る符号化装置１０による静止画検出の効果を説明する説明図である。

まず、図１２を参照しながら、符号化装置１０の動作と比較されるイントラモードとインターモードとについて説明する。イントラモードとは、コンテンツに含まれるフレームそれぞれをフレーム内符号化するモードである。また、インターモードとは、コンテンツに含まれるフレームを、一定間隔のフレームごとにフレーム内符号化し、それ以外のフレームをフレーム間符号化するモードである。

図１２は、３つの静止画が順次切り替わるスライドショーのコンテンツ（図８参照）を符号化する場合の、イントラモード及びインターモードのそれぞれの場合における、符号化データのデータサイズを示している。

イントラモードの場合、符号化されたフレーム１〜６それぞれのデータサイズが約３００バイトである。フレーム１〜６それぞれは、同一の静止画を含むので、符号化されたフレーム１〜６それぞれのデータサイズが一致している。同様に、符号化されたフレーム７〜１０それぞれのデータサイズが約５００バイトで一致しており、また、符号化されたフレーム１１〜１６それぞれのデータサイズが約２００バイトで一致している。

インターモードの場合、最初のフレームであるフレーム１はフレーム内符号化され、符号化されたフレーム１のデータサイズは約３００バイトである。フレーム２以降のフレームそれぞれは、当該フレームの直前にフレーム内符号化されたフレームであるフレーム１からの差分を用いてフレーム間符号化される。その結果、符号化されたフレーム２〜６それぞれのデータサイズが約５０バイトになる。フレーム２〜６それぞれは、同一の静止画を含むので、符号化されたフレーム２〜６それぞれのデータサイズが一致している。ここで、フレーム２〜６それぞれは、同一の静止画を含むフレームにもかかわらず、フレームのデータサイズがゼロでなく、５０バイト生じている。なぜなら、インターモードでは、最初にフレーム１がフレーム内符号化され、その後、フレーム２以降のフレームが再生順に順次に、直前にフレーム内符号化されたフレームであるフレーム１からの差分を用いてフレーム間符号化されるので、フレーム２〜６それぞれが同量の差分データを有するからである。

また、上記と同様に、符号化されたフレーム７〜１０それぞれのデータサイズが約２００バイトで一致しており、また、符号化されたフレーム１１〜１６それぞれのデータサイズが約１００バイトで一致している。

イントラモードの場合よりもインターモードの場合の方が、符号化されたフレームのデータサイズを抑制することができていると言える。しかしながら、イントラモードにおいて、同一の静止画を連続的に再生する部分において同一データサイズのデータを送信する必要がある。このデータの通信により、ネットワーク３において行われている他の通信の通信量を圧迫したり、ネットワーク３において生じ得る通信ロスにより他の通信に悪影響を及ぼしたりするという問題がある。

図１３には、図１２で示したイントラモード及びインターモードに加えて、静止画判定モードで出力されるフレームのデータサイズと、各フレームについての閾値とが示されている。閾値は、当該フレームの直前にフレーム内符号化されたキーフレームのデータサイズの４／５としている。

静止画判定モードでは、符号化装置１０は、フレーム１をフレーム内符号化する。フレーム内符号化されたフレーム１は、出力制御処理Ｓ３０３で出力するよう制御される（ステップＳ４０３）。また、符号化装置１０は、次のフレーム２をフレーム間符号化するよう制御する（ステップＳ４０４）。

次に、符号化装置１０は、フレーム２をフレーム間符号化する。フレーム間符号化されたフレーム２のデータサイズは閾値以下であり（ステップＳ４１１でＮｏ）、また、前回フレーム間符号化されたフレームが存在しない（ステップＳ４２１でＮｏ）ので、出力制御処理Ｓ３０３で出力するよう制御される（ステップＳ４３１）。また、符号化装置１０は、次のフレーム３をフレーム間符号化するよう制御する（ステップＳ４３６）。なお、フレーム１が第三フレームに相当し、フレーム２が第四フレームに相当する。

次に、符号化装置１０は、フレーム３をフレーム間符号化する。フレーム間符号化されたフレーム３のデータサイズは閾値以下であり（ステップＳ４１１でＮｏ）、また、符号化されたフレーム３のデータサイズが前回フレーム間符号化されたフレーム２のデータサイズと一致する（ステップＳ４２１でＹｅｓ）ので、符号化装置１０は、出力制御処理Ｓ３０３で出力を禁止するよう制御する（ステップＳ４２２）。その後、符号化装置１０は、フレーム４〜６それぞれについて、フレーム３と同様の処理をし、符号化されたフレーム４〜６それぞれの出力を禁止するよう制御する。ここで、フレーム２が第一フレームに相当し、フレーム３が第二フレームに相当する。

次に、符号化装置１０は、フレーム７をフレーム間符号化する。フレーム間符号化されたフレーム７のデータサイズは閾値以下であり（ステップＳ４１１でＮｏ）、また、符号化されたフレーム７のデータサイズが前回フレーム間符号化されたフレーム６のデータサイズと異なる（ステップＳ４２１でＮｏ）ので、出力制御処理Ｓ３０３で出力するよう制御される（ステップＳ４３１）。その後、符号化装置１０は、フレーム８〜１０それぞれについて、フレーム３と同様の処理をし、符号化されたフレーム８〜１０それぞれの出力を禁止するよう制御する。フレーム１１以降については、フレーム７〜１０と同様である。

このように、静止画判定モードでは、フレーム間符号化された各フレームについて、前回フレーム間符号化されたフレームと同一のデータサイズになる場合に出力を禁止する。このようにして、同一の静止画についての同一の差分データを含むデータ、より具体的には、図１３におけるフレーム３〜６、８〜１０及び１２〜１６がネットワーク３に送信されることを回避し、ネットワーク３に送信されるデータ量を削減することができる。

以上のように本実施の形態に係る符号化装置は、一連のフレームの中で連続する、同一又は実質的に同一の画像である２つのフレームがフレーム間符号化された場合に、上記２つのフレームのうちの２番目のフレームが符号化された符号化データを、ネットワークに送信しなくなる。これら２つのフレームは、同一又は実質的に同一の画像を有するので、上記２番目のフレームの符号化データが送信されなくても、再生されるコンテンツへの影響が比較的小さい。これにより、符号化装置は、ネットワークに送信される符号化データのデータ量を削減することができる。

また、符号化装置は、一連のフレームの中で連続する同一の画像である２つのフレームがフレーム間符号化された場合に、上記２つのフレームのうちの上記２番目のフレームが符号化された符号化データをネットワークに送信しなくなる。これにより、符号化装置は、ネットワークに送信される符号化データのデータ量を削減することができる。

また、符号化装置は、フレーム内符号化したフレームの後のフレームをフレーム間符号化することで符号化データのサイズを削減することができる。

また、符号化装置は、フレーム間符号化されたフレームの送信を禁止する制御を連続的に行う場合であっても、所定値の個数のフレームごとにフレーム内符号化されたフレームを含む符号化データを出力する。これにより、たとえ符号化データがネットワークでの通信中に失われた場合であっても、その次に送信されるフレーム内符号化されたフレームにより、再生装置によるコンテンツの再生を継続することができる。

また、符号化装置が送信する符号化データを受信する復号装置が一定時間符号化データを受信しない場合、再生装置によるコンテンツの再生の中止を回避することができる。再生装置は、一定時間符号化データを受信しない場合、送信装置又はネットワークに問題が生じてコンテンツの再生を継続できないと判断し、再生を中止することがあるからである。

以上、本発明の符号化装置、及び、コンテンツ再生システム等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、ネットワークに送信される符号化データのデータ量を削減する符号化装置及びコンテンツ再生システム等に利用可能である。具体的には、公共スペース又は商業施設などにおいて複数設置され、画像等を再生する再生装置、及び、再生装置にコンテンツを提供する送信装置などに利用可能である。

１ 送信装置
２ 再生装置
３ ネットワーク
１０、５０ 符号化装置
１１ ＣＰＵ
１２ メインメモリ
１３ ストレージ
２０ 復号装置
１００ フレーム保持部
１０１ 取得部
１０２ ブロッキングフィルタ
１０３ 変換部
１０４、１０４Ａ 差分部
１０５ 量子化部
１０６ 符号化部
１０７、２０３ 逆量子化部
１０８、２０４ 参照用保持部
１１１ 制御部
１１２ 切替部
２０１ 復号部
２０２ 加算部
２０５ 逆変換部
２０６ デブロッキングフィルタ
２０７ 生成部
Ｓ コンテンツ再生システム

Claims (6)

1. 一連のフレームに含まれるフレームを、フレーム内符号化又はフレーム間符号化する符号化部と、
   前記符号化部が符号化したフレームを出力するか否かを制御する制御部とを備え、
   前記制御部は、
   前記一連のフレームのうちの第一フレームと、前記第一フレームの次のフレームである第二フレームとの両方を、前記符号化部が、同一のフレーム内符号化されたキーフレームからの差分を用いてフレーム間符号化した場合に、
   （ａ）符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズを含む所定範囲に属さないときに、符号化された前記第二フレームを出力するよう制御し、
   （ｂ）符号化された前記第二フレームのデータサイズが、前記所定範囲に属するときに、符号化された前記第二フレームを出力しないよう制御する
   符号化装置。
2. 前記制御部は、
   前記（ａ）において、符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズと異なるときに、符号化された前記第二フレームを出力するよう制御し、
   前記（ｂ）において、符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズに一致するときに、符号化された前記第二フレームを出力しないよう制御する
   請求項１に記載の符号化装置。
3. 前記制御部は、
   前記一連のフレームのうちの第三フレームを前記符号化部がフレーム内符号化した場合には、前記一連のフレームのうち前記第三フレームの次のフレームである第四フレームをフレーム間符号化するよう制御する
   請求項１又は２に記載の符号化装置。
4. 前記制御部は、
   前記一連のフレームのうちの連続した所定数個のフレーム間符号化されたフレームのデータサイズが閾値以下であるときには、前記所定数個のフレームの次のフレームをフレーム内符号化するよう制御する
   請求項１〜３のいずれか１項に記載の符号化装置。
5. 前記制御部は、
   前記第二フレームを出力しないよう制御する際には、フレームに変化がないことを示す制御情報を出力するよう制御する
   請求項１〜４のいずれか１項に記載の符号化装置。
6. 一連のフレームに含まれるフレームを、フレーム内符号化又はフレーム間符号化する符号化ステップと、
   前記符号化ステップで符号化したフレームを出力するか否かを制御する制御ステップとを含み、
   前記制御ステップでは、
   前記一連のフレームのうちの第一フレームと、前記第一フレームの次のフレームである第二フレームとの両方を、前記符号化ステップで、同一のフレーム内符号化されたキーフレームからの差分を用いてフレーム間符号化した場合に、
   （ａ）符号化された前記第二フレームのデータサイズが、符号化された前記第一フレームのデータサイズを含む所定範囲に属さないときに、符号化された前記第二フレームを出力するよう制御し、
   （ｂ）符号化された前記第二フレームのデータサイズが、前記所定範囲に属するときに、符号化された前記第二フレームを出力しないよう制御する
   符号化方法。

Images