JP2014017554A - 画像符号化装置 - Google Patents

Abstract

【課題】外部からのフレーム内符号化の要求を受けた場合に、フレーム内符号化の実行を制限して、いたずらに符号化データが増加することを防止する符号化装置を提供すること。
【解決手段】動画像データを所定のフレーム間隔でフレーム内符号化し、他のフレームをフレーム間符号化する符号化手段と、フレーム内符号化の要求を前記符号化手段の外部から受信して、該要求に応じて前記符号化手段にフレーム内符号化を実行させる制御手段と、を備え、前記制御手段は、前記要求の一部を、前記符号化手段にフレーム内符号化を実行させることなく破棄することを特徴とする構成とした。

【選択図】図２

Description

本発明は、動画像の符号化装置及び方法に関し、特にフレーム内符号化のタイミング制御に関する。

近年、撮像した動画像データを、ネットワークを介して表示装置や蓄積装置に転送する、ネットワークカメラが知られている。動画像を転送する際、未圧縮で転送するとデータ量が大きいため、データ量を小さくするために、通常は符号化を行い圧縮して転送する。このような動画像符号化方式として、例えば、H.264がある。H.264では、動画像を時間順に並んだ複数枚の画像（フレーム）に分割し、基準となるフレームの画像に対して内符号化（フレーム内符号化）を行って基準画像を生成する。また、基準となるフレーム以外の画像と、この基準画像との差分画像を生成する（フレーム間符号化）。この基準画像をIフレーム、差分画像をP、Bフレームと称する。Iフレームはフレーム単体で圧縮されているため、P、Bフレームに比べてデータ量が大きい。カメラは、P、Bフレームの基準となるIフレームを、適当な間隔で送信する必要があり、これにしたがったタイミングでフレーム内符号化を行う必要がある。

特許文献１には、フレーム内符号化のタイミングを周期的および非周期的に制御する設定値を、カメラ内部の情報を用いて設定し、両設定値を調整する技術が記載されている。特許文献１には、この非周期的なタイミングとして、カメラの各撮影画角での撮影開始時とすることが記載されている。

特開２０１１-１７２００３号公報

特許文献１では、カメラ内部のフレーム内符号化の要求が考慮されているが、カメラ外部からのフレーム内符号化の要求は考慮されていない。ここで、外部からのフレーム内符号化の要求とは、動画像配信の開始に合わせた要求や、クライアントから別途に受ける要求といったものがある。外部からの要求を考慮した場合、フレーム内符号化がより多く行われるため、結果としてデータ量が大きくなるという課題が存在する。

本発明は、上記課題に鑑みてなされたものであり、外部からのフレーム内符号化の要求を受けた場合に、フレーム内符号化の実行を制限して、いたずらに符号化データが増加することを防止することを目的とする。

上記目的を達成するために、本発明の一態様による画像符号化装置は以下の構成を有する。すなわち、動画像データを所定のフレーム間隔でフレーム内符号化し、他のフレームをフレーム間符号化する符号化手段と、フレーム内符号化の要求を前記符号化手段の外部から受信して、該要求に応じて前記符号化手段にフレーム内符号化を実行させる制御手段と、を備え、前記制御手段は、前記要求の一部を、前記符号化手段にフレーム内符号化を実行させることなく破棄することを特徴とする。

本発明によれば、転送する動画像データが大きくなるのを防ぐことができる。

本発明による画像符号化装置とクライアントの構成図。 第１実施形態による制御タイミングを示すフローチャート。 第２実施形態による制御タイミングを示すフローチャート。 フレーム内符号化の遅延を示すタイミング図。 一定間隔のフレーム内符号化の制御タイミングを示すタイミング図。 第１実施形態による制御タイミングを示すタイミング図。

以下、本発明の好適な実施形態について、添付の図面に基づいて詳細に説明する。

［第１実施形態]
以下、図１〜２、６を参照して、本発明の第１の実施形態による画像符号化装置について説明する。

図１には、画像符号化装置１０と、画像符号化装置１０から送信された動画像データを受信するクライアント１４の構成が示されている。画像符号化装置１０において、撮像部１１は、センサー（不図示）から動画像データを取得し、符号化部１２に送る。符号化部１２は、動画像データをH.264の形式に圧縮して通信部１３に送る。通信部１３は、圧縮された動画像データをパケットの単位に分割し、ネットワークを介してクライアント１４へ配信する。配信処理部１５は、クライアント１４からの配信要求に応じて、通信部１３を制御して動画像の配信や停止の処理を行う。また、配信処理部１５は、クライアント１４に対してユーザー認証なども行う。

符号化部１２は、所定の一定のフレーム間隔でフレーム内符号化を行い、他のフレームについてはフレーム間符号化を行い、それぞれIフレームおよびP、Bフレームを生成する。制御部１６は、符号化部１２に対して基準となるタイミングを設定し、符号化部１２は、この基準タイミングからフレーム内符号化を開始して、その後一定間隔のタイミングでフレーム内符号化を行う。また、符号化部１２は、一定間隔でのフレーム内符号化を行うことに加えて、制御部１６からの要求に応じたタイミングでフレーム内符号化を行う。制御部１６は、カメラ外部からの要求を受けると、これを符号化部１２へ送る。

カメラ外部からの要求のタイミングとしては、以下の二つの場合がある。一つ目は、クライアント１４から動画像配信の要求を受けて、配信を開始するタイミングである。H.264では、圧縮されたデータの再生を開始する際、フレーム内符号化した基準画像を必要とする。したがって、配信処理部１５は、ユーザー認証など配信開始の準備が完了後、フレーム内符号化を行うよう制御部１６を介して符号化部１２に要求を送る。符号化部１２は、要求に応じたタイミングでフレーム内符号化を行い、続いてフレーム間符号化も開始する。符号化されたデータは通信部１３に送られ、クライアント１４への動画像の配信が開始される。なお、符号化部１２は、解像度や画質が同じ動画像に対して、一種類の符号化しか行うことができない。したがって、複数のクライアントから同じ解像度等の動画像を要求された場合、通信部１３は、複製した同じデータを全クライアントに送る。つまり、フレーム内符号化が行われた場合は、全クライアントに同じ動画像データが配信される。

二つ目は、クライアント１４から要求される任意のタイミングである。配信処理部１５は、動画像配信の制御とは別に、クライアント１４から任意のフレーム内符号化の要求を受け付ける。配信処理部１５はこの要求を制御部１６へ送り、制御部１６は、フレーム内符号化を行うよう符号化部１２に要求を送る。符号化部１２は、要求に応じたタイミングでフレーム内符号化を行う。

したがって、フレーム内符号化が行われるタイミングは、３種類となる。すなわち、従来の符号化部で行う一定間隔のタイミングと、クライアント１４への動画像配信の開始時と、クライアント１４からの任意のタイミングである。

続いて、本実施形態によるフレーム内符号化を行うタイミングについて、図２のフローチャートを用いて説明する。

ステップ２１では、配信処理部１５はクライアント１４から動画像配信の要求を受けて、ユーザー認証などを行い、クライアント１４への動画像の配信が開始可能であるかどうかを判定する。配信を可能と判定した場合（ステップ２１のYES）、配信処理部１５は制御部１６を介して符号化部１２に要求を送り、ステップ２５へ進む。ステップ２５では、符号化部１２は、要求に応じたタイミングでフレーム内符号化を行う。符号化されたデータは通信部１３を介してクライアント１４へ配信される。これにより、クライアント１４は、動画像配信の受信が可能になると直ちに基準画像を受信して、直ちに動画像を再生することができる。ステップ２１で配信の開始が可能になったクライアントがない場合（ステップ２１のNO）は、ステップ２２へ進む。ステップ２２では、配信処理部１５はクライアント１４からフレーム内符号化の要求を受けているか否かを判定する。要求を受けていない場合（ステップ２２のNO）はステップ２１へ戻る。要求を受けていた場合（ステップ２２のYES）はステップ２３へ進む。

ステップ２３では、制御部１６は、前回にクライアントから要求を受けて最後にフレーム内符号化を行った時からの経過時間と、予め設定された特定の期間を比較する。この経過時間が特定の期間を経過していれば（ステップ２３のYES）、ステップ２５へ進む。また、制御部１６が初めてフレーム内符号化の要求を受けた場合もステップ２５へ進む。この経過時間が特定の期間を経過していなければ（ステップ２３のNO）、ステップ２４に進む。ステップ２４では、制御部１６は、前回にクライアントから要求を受けて符号化部１２がフレーム内符号化を行った時からの要求の受信回数の累積値を保持しておき、この累積値と特定の回数を比較する。この累積値が特定の回数以下だと（ステップ２４のNO）ステップ２１に戻る。この累積値が特定の回数を超えると（ステップ２４のYES）、制御部１６は符号化部１２に要求を送り、ステップ２５に進む。ステップ２５では、符号化部１２は、要求に応じたタイミングでフレーム内符号化を行い、その後ステップ２６に進む。ステップ２６では、制御部１６は、ステップ２３で求めた時間と、ステップ２４で求めた回数をリセットする。以上の処理は、クライアントが複数存在しており、各々がフレーム内符号化の要求を送る場合においても同様である。

図６は、図２によるフローチャートにしたがったフレーム内符号化のタイミング図である。図６には、外部（クライアント）からの要求を全て受けて符号化部１２がフレーム内符号化を行う場合（図６左）と、本実施形態による要求を一部のみ受けてフレーム内符号化を行う場合（図６右）が示されている。符号化部１２は一定間隔のタイミング６０１〜６０４でフレーム内符号化を行っている。また、これらとは別に、クライアント１４から要求を受けて、符号化部１２はフレーム内符号化を行っている。外部（クライアント１４）からの要求を全て受ける場合、制御部１６は要求６０５〜６０７を符号化部１２に送り、符号化部１２はそれぞれタイミング６０８〜６１０でフレーム内符号化を行う。一方、本実施形態では、制御部１６は要求６１１〜６１３のうち、最初の要求６１１のみを符号化部１２に送り、その後の一定期間中に受信した要求６１２および６１３を破棄する。符号化部１２は最初の要求６１１のみを受けて、タイミング６１４でフレーム内符号化を行う。

このように、制御部１６がクライアントからのフレーム内符号化の要求を一部間引く（破棄する）ことで、フレーム内符号化が不必要に多くなることを防ぎ、結果として符号化データがいたずらに増加するのを防止することができる。したがって、画像符号化装置自体や、ネットワーク、蓄積装置に過大な負荷が発生しない画像符号化装置を提供することができる。なお、図２に示した実施形態に限らず、図２において、ステップ２３とステップ２４を逆にしても良く、またステップ２３とステップ２４のいずれか一方の条件のみを用いても良い。

［第２実施形態］
以下、図３〜５を参照して、本発明の第２実施形態による画像符号化装置について説明する。なお、本実施形態による画像符号化装置の構成は、第１実施形態と同様であり、図１のように示される。続いて、本実施形態によるフレーム内符号化を行うタイミングについて、図３のフローチャートを用いて説明する。

ステップ３１では、配信処理部１５はクライアント１４から動画像配信の要求を受けて、ユーザー認証などを行い、クライアント１４への動画像の配信が開始可能であるかどうかを判定する。配信の開始が可能と判定した場合（ステップ３１のYES）、配信処理部１５は制御部１６を介して符号化部１２に要求を送り、ステップ３４へ進む。ステップ３４では、符号化部１２はフレーム内符号化を行う。符号化されたデータは通信部１３を介してクライアント１４へ配信される。これにより、クライアント１４は基準画像を受信して、直ちに動画像を再生することができる。ステップ３１で配信の開始が可能になったクライアントがない場合（ステップ３１のNO）は、ステップ３２へ進む。ステップ３２では、配信処理部１５はクライアント１４からフレーム内符号化の要求を受けているか否かを判定する。要求を受けていない場合（ステップ３２のNO）はステップ３１に進む。要求を受けていた場合（ステップ３２のYES）はステップ３３へ進む。

ステップ３３では、制御部１６は、前回にクライアントから要求を受けてフレーム内符号化を行った後に最初に要求を受けた時からの経過時間、もしくは、クライアントから初めて要求を受けた時からの経過時間と予め設定された特定の期間を比較する。この経過時間が特定の期間を経過していなければ（ステップ３３のNO）、ステップ３１へ戻る。一方、この経過時間が特定の期間を経過していれば（ステップ３３のYES）任意の時間が経過後、再度ステップ３３の判断を行う。制御部１６は符号化部１２に要求を送り、ステップ３４に進む。ステップ３４では、符号化部１２はフレーム内符号化を行い、その後ステップ３５に進む。ステップ３５では、制御部１６は、ステップ３３で求めた時間をリセットする。

このように、制御部１６は、最初にクライアントからの要求を受信してから一定時間の間に受信した要求は破棄する。そして、制御部１６は、最初に受信した要求を遅延させて、符号化部１２に送り、符号化部１２は、この遅延された要求を受けてフレーム内符号化を行う。このような処理により、フレーム内符号化が不必要に多くなることを防ぎ、結果として符号化データがいたずらに増加するのを防止することができる。以上の処理は、クライアントが複数存在しており、各々がフレーム内符号化の要求を送る場合においても同様である。

なお、図３では、フレーム内符号化のタイミングを制御する方法として、要求を遅延させる方法について説明したが、この方法に限らない。例えば、制御部１６が符号化部１２と連携して、従来の一定間隔のフレーム内符号化のタイミングを制御しても良い。図４と図５を用いてその方法を示す。

図４と図５は、図３によるフローチャートにしたがったフレーム内符号化のタイミング図である。図４には、制御部１６がクライアント１４からの要求を遅延させている間に、符号化部１２が一定間隔のタイミング４０１〜４０４でフレーム内符号化を行う場合の制御が示されている。まず、要求を遅延させている間に一定間隔でのフレーム内符号化が行われない場合の処理について説明する（図４左）。制御部１６は、図３で示したフローチャートに従い、要求４０５を受信しても直ちにこの要求を符号化部１２に送らず、遅延させる。そして、制御部１６は、その後、一定期間中に受信した要求４０６を破棄する。制御部１６は、最初の要求４０５を受信した後に一定期間が経過した後、要求を符号化部１２に送り、符号化部１２はタイミング４０７でフレーム内符号化を行う。

次に、要求を遅延させている間に一定間隔でのフレーム内符号化が行われる場合の処理について説明する（図４右）。制御部１６は、要求４０８を遅延させ、要求４０９を破棄しており、ここで、要求４０８を遅延させている間に一定間隔のフレーム内符号化がタイミング４０３で行われている。この場合、制御部１６は、タイミング４０３でフレーム内符号化が行われたことにより、要求４０８と４０９によるフレーム内符号化は不必要と判断し、一定期間の経過後に行う予定だったタイミング４１０でのフレーム内符号化をキャンセルする。すなわち、制御部１６は、受信した外部からの要求を符号化部１２に送らない。

また、図５には、一定間隔のフレーム内符号化のタイミングを調整する場合の制御が示されている。符号化部１２は一定間隔のタイミング５１でフレーム内符号化を行い、その後タイミング５２〜５４でフレーム内符号化を行うことを予定している。制御部１６は、図３で示したフローチャートに従い、要求４０５を受信しても直ちにこの要求を符号化部１２に送らず、遅延させる。そして、制御部１６は、その後、一定期間中に受信した要求５６を破棄する。制御部１６は最初の要求５５を受信した後に一定期間が経過した後、要求を符号化部１２に送り、符号化部１２はタイミング５２でフレーム内符号化を行う。ここで、符号化部１２は、本来、タイミング５２で、一定間隔のフレーム内符号化を行う予定だったものを、制御部１６の制御によりタイミング５７でフレーム内符号化を行う。すなわち、クライアントからの要求による符号化と一定間隔のタイミングによる符号化を併せて、一度だけ符号化を行う。また、制御部１６は、以降に予定されていた一定間隔のフレーム内符号化のタイミング５３〜５４について、タイミング５７に対して一定間隔となるように、タイミング５７を基準タイミングとして符号化部１２に設定する。

図４を用いて遅延させているフレーム内符号化をキャンセルする方法、図５を用いて一定間隔でフレーム内符号化を行うタイミングを調整する方法について示したが、これらは両方を組み合わせても良い。また、一定間隔でフレーム内符号化を行うタイミングを調整する方法は、第１実施形態で示したフレーム内符号化を行った後に、クライアントからのフレーム内符号化の要求を適度に間引く場合にも適用可能である。

このように、本実施形態で示したように、外部（クライアント）からのフレーム内符号化の要求を遅延させ、この遅延させた要求以外の要求を破棄することで、符号化データがいたずらに増加するのを防止することができる。これにより、画像符号化装置自体や、ネットワーク、蓄積装置に過大な負荷が発生しない画像符号化装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 動画像データを所定のフレーム間隔でフレーム内符号化し、他のフレームをフレーム間符号化する符号化手段と、
   フレーム内符号化の要求を前記符号化手段の外部から受信して、該要求に応じて前記符号化手段にフレーム内符号化を実行させる制御手段と、を備え、
   前記制御手段は、前記要求の一部を、前記符号化手段にフレーム内符号化を実行させることなく破棄することを特徴とする画像符号化装置。
2. 前記制御手段は、受信した前記要求に応じて前記符号化手段にフレーム内符号化を最後に実行させた時からの経過時間もしくは前記要求の受信回数の少なくとも一方に基づいて、前記要求を破棄することを特徴とする請求項１記載の画像符号化装置。
3. 前記制御手段は、前記要求を受信してから所定の一定期間の経過後に前記符号化手段にフレーム内符号化を実行させ、当該要求を受信してから前記一定期間中に受信した他の要求を破棄することを特徴とする請求項１に記載の画像符号化装置。
4. 前記制御手段は、前記要求を、ネットワークを介した当該画像符号化装置の外部の装置から受信することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記符号化手段で符号化したデータをネットワークを介して配信するための制御を行う配信処理手段を更に備え、
   前記制御手段は、前記配信処理手段によりデータの配信が開始可能であると判断された場合に、前記符号化手段にフレーム内符号化を実行させることを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
6. 前記制御手段は、前記要求を受信してから前記一定期間中に前記所定のフレーム間隔でのフレーム内符号化が行われた場合、当該要求を破棄することを特徴とする請求項３に記載の画像符号化装置。
7. 前記制御手段は、前記要求を受信してから前記一定期間の経過後のタイミングを、前記所定のフレーム間隔でのフレーム内符号化における基準となるタイミングとして前記符号化手段に設定することを特徴とする請求項３に記載の画像符号化装置。
8. 画像符号化方法であって、
   動画像データを所定のフレーム間隔でフレーム内符号化し、他のフレームをフレーム間符号化する符号化工程と、
   フレーム内符号化の要求を前記符号化工程の外部から受信して、該要求に応じて前記符号化工程にフレーム内符号化を実行させる制御工程と、を備え、
   前記制御工程は、前記要求の一部を、前記符号化工程にフレーム内符号化を実行させることなく破棄することを特徴とする画像符号化方法。
9. 請求項８に記載された符号化方法の各工程をコンピュータに実行させるためのプログラム。

Images