JP2004135081A - Picture distribution system, picture distribution apparatus and method used for picture distribution system, and record reproducing apparatus and method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique which enables both of real-time distribution of moving video and moving video recording with high quality. <P>SOLUTION: A digital camera 100 stores moving video imaged with an imaging means 150 in a storage means 120. In order to realize real-time moving video distribution, a transmission frame selecting means 130 gives priority to the newest frame out of frames stored in the storage means 120 and transmits it to a recording and reproducing apparatus 200, and, when there is a time, transmits frames which were skipped, in accordance with distribution condition. When the recording and reproducing apparatus 200 receives the newest frame from the digital camera 100, the apparatus 200 reproduces the newest frame by real-time by displaying it on a display means 230, and on the other hand, stores the newest frame in a file of a prescribed format in order by a moving video synthesizing means 210 while image data are temporarily stored in a first storage part 252 suitably. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は画像配信技術に関し、とくに動画をリアルタイムに配信し、その動画を記録再生する技術に関する。
【０００２】
【従来の技術】
デジタルビデオカメラなどの撮影装置が広く普及し、誰もが手軽に動画を撮影し、その動画を記録媒体に記録して保存したり、ネットワークを介して配信したりすることができるようになっている。とくに、動画撮影機能と通信機能の双方を有する装置の登場により、撮影した動画をその場で配信することが可能となった。このような装置によれば、撮影者の周囲の画像を、遠隔にいる第三者に対してほぼリアルタイムに配信することができ、また、受信側では、その動画を再生し、さらに記録媒体に記録しておくこともできる。
【０００３】
リアルタイム性を重視して動画を配信する方法として、ネットワークトラフィックの状況を考慮し、画質やフレームレートを落としてデータ量を削減して動画データを配信する技術が提案されている（たとえば、特許文献１参照）。
【０００４】
また、画質を重視して動画を配信する方法として、配信側は撮影した動画データを、画質を落とさずに配信し、受信側はその動画データを一旦メモリに蓄積し、所定量のデータが蓄積された後に再生を開始する技術が提案されている（たとえば、特許文献２参照）。
【０００５】
【特許文献１】
特開平８−３１７３８４号公報　（全文）
【特許文献２】
特開平１０−３０８９２５号公報　（全文）
【０００６】
【発明が解決しようとする課題】
しかしながら、動画配信において、リアルタイム性と画質はトレードオフの関係にあり、リアルタイム性を重視するならば、特許文献１に提案されている通り、ある程度画質を落としてデータ量を削減する必要があり、画質を重視するならば、特許文献２に提案されている通り、ネットワークの状況に応じて多少の遅延が生じるのは止むを得ない。
【０００７】
本発明は、そうした課題に鑑みてなされたものであり、その目的は、動画のリアルタイム配信と、高品質な動画記録の両立を可能とする技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様は画像配信システムに関する。この画像配信システムは、ネットワークを介して動画を配信する画像配信装置と、前記動画を記録再生する記録再生装置と、を含み、前記画像配信装置は、配信すべき動画を構成するフレームを取得する取得手段と、前記取得手段により取得されたフレームを格納する記憶手段と、前記記憶手段から次に送信するフレームを選択する選択手段と、前記選択手段により選択されたフレームを送信する通信手段と、を含み、前記記録再生装置は、前記画像配信装置から受信したフレームを一時的に保持する第一記憶部と、受信したフレームを表示するか否かを判定する出力判定手段と、前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、前記動画ファイルを格納する第二記憶部と、を含み、前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択する。
【０００９】
ここで、「フレーム」は、動画を構成する画像の単位であり、ＭＰＥＧにおけるピクチャ、フレームに準ずる「フィールド」等の概念を含む。「新しい」フレームとは、動画において、あるフレームよりも時間的に後に記録または再生されるフレームを指す。取得手段が、記録順または再生順にフレームを取得する場合は、あるフレームよりも後に取得されたフレームと同義である。新しいフレームを優先して送信することにより、取得した動画をリアルタイムに配信することが可能となる。逆に、あるフレームよりも時間的に前に記録または再生されるフレームを、「古い」フレームと呼ぶ。
【００１０】
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが複数前記記憶手段に格納されているとき、それらのうち最新のフレームを選択してもよい。最新のフレームを優先して送ることにより、記録再生装置側の遅延時間を最小限に抑えることができる。
【００１１】
前記動画は、他のフレームを参照せずに符号化された第１フレームと、そのフレームよりも前のフレームを参照して符号化された第２フレームと、そのフレームの前後のフレームを参照して符号化された第３フレームにより構成され、各フレームに表示順を示すフレーム番号を付し、前記第１フレームおよび前記第２フレームの周期をＭ、既に送信した第１フレームまたは第２フレームのフレーム番号のうち最大のフレーム番号をＸとするとき、前記選択手段は、前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されているときは、それらの第１フレームのうち最も大きいフレーム番号の第１フレームを選択し、前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されておらず、Ｘより大きいフレーム番号の第２フレームが格納されているときは、それらの第２フレームのうち最も小さいフレーム番号の第２フレームを選択し、前記記憶手段にＸより大きいフレーム番号の第１フレームおよび第２フレームが格納されておらず、Ｘ−Ｍより大きくＸより小さいフレーム番号の第３フレームが格納されているときは、それらの第３フレームのうち最も小さいフレーム番号の第３フレームを選択してもよい。第１フレーム、第２フレーム、第３フレームは、それぞれ、ＭＰＥＧにおけるＩピクチャ、Ｐピクチャ、Ｂピクチャであってもよい。
【００１２】
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されていないとき、前記記憶手段に格納されたフレームのうち最古のフレームを選択してもよい。時間的に余裕のあるときに、送信せずにスキップしていたフレームを送ることで、全てのフレームを記録再生装置に送信する。このとき、古いものから順に送ることにより、記録再生装置側の記録処理を円滑に進めることができる。
【００１３】
前記出力判定手段は、受信したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定してもよい。これにより、動画のリアルタイムな再生が可能となる。受信したフレームが、表示中のフレームよりも古いフレームであったときは、そのフレームは表示しない。
【００１４】
前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを受信するまで、受信したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを受信したときに、受信したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録してもよい。これにより、全てのフレームを順に動画ファイルに記録することができるので、欠落フレームのない高品質な動画の記録が可能となる。
【００１５】
本発明の別の態様は、画像配信装置に関する。この画像配信装置は、ネットワークを介して動画を配信する画像配信装置であって、配信すべき動画を構成するフレームを取得する取得手段と、前記取得手段により取得されたフレームを格納する記憶手段と、前記記憶手段から次に送信するフレームを選択する選択手段と、前記選択手段により選択されたフレームを送信する通信手段と、を含み、前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択する。
【００１６】
本発明のさらに別の態様は、記録再生装置に関する。動画を取得して記録再生する記録再生装置であって、動画を構成するフレームを取得する取得手段と、取得したフレームを一時的に保持する第一記憶部と、取得したフレームを表示するか否かを判定する出力判定手段と、前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、前記動画ファイルを格納する第二記憶部と、を含み、前記出力判定手段は、取得したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定する。
【００１７】
前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録してもよい。
【００１８】
本発明のさらに別の態様は、画像配信方法に関する。この方法は、ネットワークを介して動画を配信する方法であって、配信すべき動画を構成するフレームを取得する工程と、取得されたフレームを記憶手段に格納する工程と、前記記憶手段から次に送信するフレームを選択する工程と、選択されたフレームを送信する工程と、を含み、前記選択する工程は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択する。
【００１９】
本発明のさらに別の態様は、記録再生方法に関する。この方法は、動画を取得して記録再生する方法であって、動画を構成するフレームを取得する工程と、取得したフレームを一時的に記憶手段に保持する工程と、取得したフレームを表示するか否かを判定する工程と、表示すると判定されたフレームを表示する工程と、前記記憶手段に保持されたフレームから所定の形式の動画ファイルを生成する工程と、を含み、前記判定する工程は、取得したフレームが、前記表示する工程により表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定する。
【００２０】
前記生成する工程は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記記憶手段に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記記憶手段に格納されていれば、そのフレームも前記動画ファイルに記録してもよい。
【００２１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
【００２２】
【発明の実施の形態】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像配信システム１０の全体構成を示す。画像配信システム１０は、画像配信装置の一例としてのデジタルカメラ１００と、デジタルカメラ１００により撮影された動画を記録再生する記録再生装置２００とを備える。デジタルカメラ１００および記録再生装置２００は、ネットワークの一例としてのインターネット２０により接続されており、インターネット２０を介して画像が配信される。
【００２３】
本実施の形態のデジタルカメラ１００は、撮影した動画をリアルタイムに記録再生装置２００へ配信するために、配信状況に応じて、配信するフレームを適宜選択して送信する。すなわち、動画を構成するフレームを単に撮影順に送信するのではなく、あるフレームの送信中に複数のフレームが撮影されてバッファに蓄えられていた場合は、それらのうち最新のフレームを優先して送る。単に撮影順にフレームを送信する場合、記録再生装置２００により再生される動画の再生速度は、フレームの転送速度に依存することとなり、１つのフレームの送信に要する時間がフレームの撮影間隔よりも長いときは、記録再生装置２００側における遅延時間が次第に大きくなっていき、リアルタイム性が破綻する。したがって、本実施の形態では、あるフレームの送信に要する時間が撮影間隔よりも長かったとき、配信するフレームを適宜間引くことにより撮影の進行に追随させ、リアルタイムな動画の配信を実現する。スキップされたフレームは、１フレームの送信時間が撮影間隔よりも短かった場合など、時間的余裕が生じたときに適宜挿入して配信することで、全てのフレームを記録再生装置２００に配信する。
【００２４】
記録再生装置２００は、再生に関しては、受信したフレームが最新のフレームであるとき、そのフレームを表示することにより、動画をリアルタイムに再生する。また、記録に関しては、受信するフレームが撮影順に並んでいないとき、すなわち、スキップされたフレームがあるときは、スキップされたフレーム以降のフレームを適宜バッファに蓄えつつ、撮影順に並び替えて記録する。これにより、動画のリアルタイム表示と、欠落フレームのない高品質な動画記録の両立を可能とする。
【００２５】
デジタルカメラ１００は、主に、制御手段１１０、記憶手段１２０、送信フレーム選択手段１３０、通信手段１４０、取得手段の一例としての撮影手段１５０、およびそれらを電気的に接続するバス１０２を備える。通信手段１４０は、インターネット２０を介して動画を記録再生装置２００へ送信するためのモデム、ネットワークモジュールなどの構成を含む。撮影手段１５０は、動画を撮影するためのＣＣＤなどの撮像素子、音声を取得するためのマイク、画像および音声信号を処理するためのＡ／Ｄコンバータ、符号化器などの構成を含む。動画を構成する各フレームの画像データおよび音声データは、撮影された後、記憶手段１２０に保持される。記憶手段１２０は、デジタルカメラ１００を制御するためのプログラムのプログラムエリアまたはワークエリアとしても使用される。
【００２６】
制御手段１１０は、デジタルカメラ１００を統括的に制御する。送信フレーム選択手段１３０は、記憶手段１２０に蓄積されているフレームの中から記録再生装置２００へ送信すべきフレームを選択する。これらの構成は、ハードウェア的にはコンピュータのＣＰＵやメモリなどの構成で実現でき、ソフトウェア的にはプログラムなどによって実現できるが、本図ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろな形で実現できる。動画配信時の制御手段１１０および送信フレーム選択手段１３０の動作の詳細については、図面を参照しつつ後述する。
【００２７】
記録再生装置２００は、主に、動画合成手段２１０、取得手段の一例としての通信手段２２０、表示手段２３０、制御手段２４０、記憶手段２５０、出力判定手段２６０、およびそれらを電気的に接続するバス２０２を備える。通信手段２２０は、インターネット２０を介して動画をデジタルカメラ１００から受信するためのモデム、ネットワークモジュールなどの構成を含む。表示手段２３０は、動画を再生表示するための液晶モニタなどの表示装置、音声を出力するためのスピーカ、画像および音声信号を処理するためのＤ／Ａコンバータ、復号器などの構成を含む。記憶手段２５０は、ＲＡＭなどの記憶素子からなる第一記憶部２５２と、ハードディスクなどの記録媒体からなる第二記憶部２５４を含む。動画を構成する各フレームの画像データおよび音声データは、受信した後、第一記憶部２５２に一時的に保持される。第二記憶部２５４は、動画合成手段２１０により所定のファイルフォーマットに変換された動画ファイルを格納する。第一記憶部２５２は、記録再生装置２００を制御するためのプログラムのプログラムエリアまたはワークエリアとしても使用される。
【００２８】
制御手段２４０は、記録再生装置２００を統括的に制御する。動画合成手段２１０は、第一記憶部２５２に一時的に格納されているフレームを順に取り出し、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧなどのファイルフォーマットに符号化して第二記憶部２５４に格納する。出力判定手段２６０は、受信したフレームを表示手段２３０に表示するか否かを判定する。これらの構成も、ハードウェア、ソフトウェアの組合せによっていろいろな形で実現できる。記録再生時の制御手段２４０、動画合成手段２１０、および出力判定手段２６０の動作の詳細については、図面を参照しつつ後述する。
【００２９】
図２は、動画を構成する各フレームのデータ構造を示す。フレーム４００は、ヘッダ４１０と画像データ４２０を含む。ヘッダ４１０は、撮影順を示すフレーム番号を格納するフレーム番号欄４０２、フレームタイプを格納するフレームタイプ欄４０４、フレームの総バイト数を格納するデータサイズ欄４０６、およびデータの破損確認用のチェックサム欄４０８を含む。フレームタイプ欄４０４は、たとえばＭＰＥＧの場合、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどの符号化タイプを格納する。
【００３０】
図３は、本実施の形態の画像配信方法の手順を示すフローチャートである。本実施の形態では、動画をＭｏｔｉｏｎＪＰＥＧ形式で配信する。デジタルカメラ１００は、まず、動画ファイルのヘッダ情報を送信し（Ｓ１００）、送信済み最大フレーム番号を示す制御変数Ｘに０をセットする（Ｓ１０２）。つづいて、記憶手段１２０に格納されたフレームのうち、最新のフレームの番号を制御変数Ｙにセットする（Ｓ１０４）。ＸがＹよりも小さければ（Ｓ１０６のＹ）、送信済みのフレームよりも後に撮影されたフレームが記憶手段１２０に格納されているので、リアルタイム性を保証するために、最新のフレームである、フレーム番号がＹのフレームを記録再生装置２００に送信し（Ｓ１０８）、送信済み最大フレーム番号ＸをＹに変更する（Ｓ１１０）。このとき、フレーム番号がＸより大きくＹより小さいフレームはスキップされる。ここで、記憶手段１２０に格納されたフレームを全て送信し、かつ撮影が終了している場合は（Ｓ１１４のＹ）、画像の配信を終了する。記憶手段１２０にフレームが格納されているか、または撮影が続行されている場合は（Ｓ１１４のＮ）、Ｓ１０４に戻り、動画の配信を続ける。
【００３１】
Ｓ１０６において、ＸがＹ以上であれば（Ｓ１０６のＮ）、既に最新のフレームの送信が終了しているので、スキップされていたフレームを送信すべく、記憶手段１２０に格納されているフレームのうちフレーム番号が最小のフレームを記録再生装置２００に送信する（Ｓ１１２）。このとき、記憶手段１２０に残っているいずれのフレームを送信してもよいが、本実施の形態では、記録再生装置２００における記録処理を円滑に進めるため、フレーム番号が小さいものから順に送信することにする。
【００３２】
デジタルカメラ１００は、フレームを記録再生装置２００に送信したとき、そのフレームをいったん送信待ち行列から削除し、記録再生装置２００からの受信確認応答を待つ。受信確認応答の最大待ち時間を、たとえば１５００ミリ秒などと設定し、その時間を過ぎても記録再生装置２００から受信確認応答を受信しなかった場合は、そのフレームを再び送信待ち行列に登録して、時間的余裕のあるときに再送する。これにより、送信エラーによるフレームの欠落を防ぐことができる。
【００３３】
図４は、本実施の形態の記録再生方法の手順を示すフローチャートである。記録再生装置２００は、動画の受信を開始すると、ＭｏｔｉｏｎＪＰＥＧ形式の動画ファイルを生成し、受信したヘッダ情報を書き込む（Ｓ２００）。つづいて、受信済み最大フレーム番号を示す制御変数Ｌに０をセットし、書き込み済み最終フレーム番号を示す制御変数Ｍに０をセットする（Ｓ２０２）。デジタルカメラ１００からフレームを受信すると、受信確認応答をデジタルカメラ１００に送信し、制御変数Ｎにそのフレームの番号をセットする（Ｓ２０４）。ここで、出力判定手段２６０は、ＬとＮの値を比較し、受信したフレームを表示手段２３０に出力するか否かを判定する（Ｓ２０６）。ＬがＮよりも小さければ（Ｓ２０６のＹ）、受信したフレームは最新のフレームであるから、そのフレームを表示手段２３０に表示し（Ｓ２０８）、受信済み最大フレーム番号ＬをＮに更新する（Ｓ２１０）。ＬがＮ以上であれば（Ｓ２０６のＮ）、受信したフレームは最新のフレームではなく、スキップされていたフレームであるから、Ｓ２０８およびＳ２１０をスキップし、このフレームは表示せず、受信済み最大フレーム番号Ｌも更新しない。
【００３４】
つづいて、受信したフレームのフレーム番号Ｎが、書き込み済み最終フレーム番号Ｍの次の番号であるか否かを判断する（Ｓ２１２）。Ｎ＝Ｍ＋１でなければ（Ｓ２１２のＮ）、ＭとＮの間の番号のフレームがスキップされているので、スキップされたフレームを受信するまで、フレーム番号Ｎの画像データを第一記憶部２５２に一時的に退避し（Ｓ２２２）、Ｓ２０４に戻り、次のフレームの処理に移る。Ｎ＝Ｍ＋１であれば（Ｓ２１２のＹ）、動画合成手段２１０は、受信したフレームの画像データをファイルに追記し（Ｓ２１４）、さらに、第一記憶部２５２にＮに続くフレーム番号の画像データが退避されていれば、それをファイルに追記する（Ｓ２１６）。そして、書き込んだ最終フレーム番号をＭに代入する（Ｓ２１８）。ここで、第一記憶部２５２に格納されたフレームを全てファイルに記録し、かつ全フレームの受信が終了している場合は（Ｓ２２０のＹ）、ファイルをクローズして（Ｓ２２４）、処理を終了する。第一記憶部２５２にフレームが退避されているか、またはフレームの受信が続行されている場合は（Ｓ２２０のＮ）、Ｓ２０４に戻り、処理を続ける。
【００３５】
図５は、デジタルカメラ１００から動画が配信され、記録再生装置２００により記録再生される様子を模式的に示す。まず、動画の配信手順について説明する。時刻ｔ１に、撮影手段１５０により第１フレームが撮像され、記憶手段１２０に格納される。送信フレーム選択手段１３０は、最新のフレームである第１フレームを選択し、通信手段１４０を介して記録再生装置２００へ送信する。第１フレームの送信中、時刻ｔ２に、第２フレームが撮影され、記憶手段１２０に格納される。第１フレームの送信が完了すると、送信フレーム選択手段１３０は、送信済み最大フレーム番号Ｘを「１」に更新し、記憶手段１２０に格納されたフレームのうち最大フレーム番号のフレームである第２フレームを選択して送信する。
【００３６】
第２フレームの送信中、時刻ｔ３に第３フレームが、時刻ｔ４に第４フレームが撮影され、それぞれ記憶手段１２０に格納される。第２フレームの送信が完了すると、送信フレーム選択手段１３０は、送信済み最大フレーム番号Ｘを「２」に更新し、つづいて最新のフレームである第４フレームを選択して送信する。このとき、第３フレームはスキップされる。
【００３７】
第４フレームの送信中、時刻ｔ５に第５フレームが撮影され記憶手段１２０に格納される。第４フレームの送信が完了すると、Ｘが「４」に更新され、つづいて第５フレームが送信される。第５フレームの送信中、時刻ｔ６に第６フレームが撮影され格納される。ここで、通信エラーなどにより、記録再生装置２００が第５フレームを受信できなかったとする。このとき、受信確認応答が戻ってこないので、Ｘは再び「４」に戻される。
【００３８】
第５フレームの送信に失敗したが、直ちに再送するのではなく、既に第６フレームが撮影されているので、リアルタイム性を保証するために、先に最新のフレームである第６フレームを送信する。第６フレームの送信が完了すると、Ｘが「６」に更新される。このとき、まだ第７フレームの撮影は完了していないので、最新のフレームを送ることはできない。したがって、第７フレームの撮影が完了するまでの時間を利用して、送信していなかったフレームを送信する。ここでは、記憶手段１２０に格納されているフレームのうち、最小のフレーム番号である第３フレームが送信される。
【００３９】
第３フレームの送信中、時刻ｔ７に第７フレームが撮影され格納される。第３フレームの送信が完了すると、つづいて最新のフレームである第７フレームが送信される。このとき、Ｘは更新されず、「６」のままである。第７フレームの送信が完了すると、Ｘが「７」に更新される。第８フレームの撮影は完了していないので、記憶手段１２０中の最小フレーム番号である第５フレームが送信される。第５フレームの送信が完了すると、送信中に撮影が完了していた第８フレームが送信される。
【００４０】
次に、動画の記録再生手順について説明する。記録再生装置２００は、第１フレームを受信すると、出力判定手段２６０がそのフレームを表示手段２３０に表示するとともに、動画合成手段２１０が画像データをファイルに格納する。このとき、受信済み最大フレーム番号Ｘは「１」に更新され、書き込み済み最終フレーム番号Ｙも「１」に更新される。つづいて、第２フレームを受信すると、出力判定手段２６０は、受信したフレーム番号Ｎの値「２」と、Ｌの値「１」を比較し、ＮがＬよりも大きいので、最新フレームであると判断し、表示手段２３０に出力するとともに、Ｌを「２」に更新する。動画合成手段２１０は、Ｎの値「２」がＭの値「１」の次の番号であるから、第２フレームをファイルに追記し、Ｍを「２」に更新する。
【００４１】
つづいて、第４フレームを受信すると、そのフレームは最新のフレームであるから、表示手段２３０に出力され、Ｌは「４」に更新される。しかし、受信したフレーム番号「４」は、書き込み済み最終フレーム番号「２」の次の番号ではないから、第４フレームはファイルには追記されず、スキップされた第３フレームを受信するまでの間、第一記憶部２５２に退避される。
【００４２】
つづいて、第６フレームを受信すると、そのフレームは最新のフレームであるから、表示手段２３０に出力され、Ｌは「６」に更新される。しかし、受信したフレーム番号「６」は、書き込み済み最終フレーム番号「２」の次の番号ではないから、第６フレームはファイルには追記されず、スキップされている第３および第５フレームを受信するまでの間、第一記憶部２５２に退避される。
【００４３】
つづいて、第３フレームを受信すると、そのフレームは最新のフレームではないので、表示手段２３０に出力されず、引き続き第６フレームが表示される。受信したフレーム番号「３」は、書き込み済み最終フレーム番号「２」の次の番号であるから、第３フレームがファイルに追記され、さらに、第一記憶部２５２に退避されていた第４フレームがファイルに追記される。このとき、書き込み済み最終フレーム番号Ｍが「４」に更新される。
【００４４】
つづいて、第７フレームを受信すると、そのフレームは最新のフレームであるから、表示手段２３０に出力され、Ｌは「７」に更新される。しかし、受信したフレーム番号「７」は、書き込み済み最終フレーム番号「４」の次の番号ではないから、第７フレームはファイルには追記されず、スキップされている第５フレームを受信するまでの間、第一記憶部２５２に退避される。
【００４５】
つづいて、第５フレームを受信すると、そのフレームは最新のフレームではないので、表示手段２３０に出力されず、引き続き第７フレームが表示される。受信したフレーム番号「５」は、書き込み済み最終フレーム番号「４」の次の番号であるから、第５フレームがファイルに追記され、さらに、第一記憶部２５２に退避されていた第６および第７フレームがファイルに追記される。このとき、書き込み済み最終フレーム番号Ｍが「７」に更新される。
【００４６】
以上、説明したように、本実施の形態の画像配信システム１０によれば、動画のリアルタイム配信を実現するために、配信状況に応じて適宜フレームをスキップして配信しつつ、最終的には全てのフレームを配信することで、欠落フレームのない高品質な動画記録が可能となる。
【００４７】
（第２の実施の形態）
第１の実施の形態では、動画をＭｏｔｉｏｎＪＰＥＧ形式で配信したが、本実施の形態では、動画をＭＰＥＧ形式で配信する。本実施の形態の画像配信システム１０の全体構成は、図１に示した第１の実施の形態の画像配信システム１０の全体構成と同様である。以下、本実施の形態の画像配信方法および記録再生方法の手順について説明する。
【００４８】
図６は、本実施の形態の画像配信方法の手順を示すフローチャートである。図８に、この例の説明に用いるＭＰＥＧファイルのピクチャ構成を示す。デジタルカメラ１００は、まず、動画ファイルのヘッダ情報を送信し（Ｓ３００）、送信済みＩまたはＰピクチャの最大フレーム番号を示す制御変数Ｘに０をセットするとともに、Ｉ、Ｐピクチャの周期Ｍを設定する（Ｓ３０２）。本実施の形態では、図８に示すように、Ｍ＝３である。つづいて、送信フレーム選択手段１３０は、記憶手段１２０に格納されたピクチャの中に、Ｘよりも大きい番号のＩピクチャがあるか否かを判定する（Ｓ３０４）。Ｘより大きい番号のＩピクチャがあるときは（Ｓ３０４のＹ）、対象となるＩピクチャのうち最もフレーム番号が大きい、すなわち最新のＩピクチャを選択して記録再生装置２００へ送信し（Ｓ３０６）、Ｘにそのフレーム番号を代入する（Ｓ３０８）。
【００４９】
Ｓ３０４において、Ｘより大きい番号のＩピクチャがなかったときは（Ｓ３０４のＮ）、次に、記憶手段１２０の中にＸより大きい番号のＰピクチャがあるか否かを判定する（Ｓ３１０）。Ｘより大きい番号のＰピクチャがあるときは（Ｓ３１０のＹ）、対象となるＰピクチャのうち最もフレーム番号が小さいＰピクチャを選択して送信し（Ｓ３１２）、Ｘにそのフレーム番号を代入する（Ｓ３１４）。
【００５０】
Ｓ３１０において、Ｘより大きい番号のＰピクチャがなかったときは（Ｓ３１０のＮ）、次に、記憶手段１２０の中にＸ−Ｍより大きくＸよりも小さい番号のＢピクチャがあるか否かを判定する（Ｓ３１６）。Ｘ−Ｍより大きくＸより小さい番号のＢピクチャがあるときは（Ｓ３１６のＹ）、対象となるＢピクチャのうち最もフレーム番号が小さいＢピクチャを選択して送信する（Ｓ３１８）。このとき、Ｘは更新されない。
【００５１】
Ｓ３１６において、Ｘ−Ｍより大きくＸよりも小さい番号のＢピクチャがなかったときは、最新のピクチャはないので、スキップされていたピクチャを送信すべく、記憶手段１２０に格納されたピクチャのうち最も小さいフレーム番号のピクチャを選択して送信する（Ｓ３２０）。Ｓ３０６、Ｓ３１２、Ｓ３１８、またはＳ３２０において、ピクチャを送信したとき、記憶手段１２０に格納されたピクチャを全て送信し、かつ撮影が終了している場合は（Ｓ３２２のＹ）、画像の配信を終了する。記憶手段１２０にピクチャが格納されているか、または撮影が続行されている場合は（Ｓ３２２のＮ）、Ｓ３０４に戻り、動画の配信を続ける。
【００５２】
最新のピクチャを優先して送信し、余裕のあるときにスキップしていたピクチャを送信するのは、第１の実施の形態と同様であるが、本実施の形態では、ＭＰＥＧのピクチャの種類により、送信する順が異なる。すなわち、Ｉピクチャは他のピクチャを参照せずに復号することができるから、単純に最新のピクチャを送信すればよいが、ＰおよびＢピクチャについては、復号に際して過去のピクチャを参照する必要があるため、一つのＧＯＰ内ではスキップせずに古いピクチャから順に送信しなければならない。そのため、Ｓ３１２およびＳ３１８では、対象となるＰまたはＢピクチャのうち、フレーム番号が最も小さいものを選択して送信している。Ｓ３０６において、対象となるＩピクチャが複数あったとき、古い方のＩピクチャはスキップされることになるが、一つのＧＯＰに一つのＩピクチャが存在するピクチャ構成の場合、これは、そのＩピクチャが属するＧＯＰの全てのピクチャをスキップすることを意味する。
【００５３】
図７は、本実施の形態の記録再生方法の手順を示すフローチャートである。記録再生装置２００は、動画の受信を開始すると、ＭＰＥＧ形式の動画ファイルを生成し、受信したヘッダ情報を書き込む（Ｓ４００）。つづいて、受信済みＩ、Ｐピクチャの最大フレーム番号を示す制御変数Ｆｒ、書き込み済みピクチャの最終フレーム番号を示す制御変数Ｆｗ、および表示済みピクチャの最終フレーム番号を示す制御変数Ｆｄに０をセットする（Ｓ４０２）。
【００５４】
デジタルカメラ１００からピクチャを受信すると、受信確認応答をデジタルカメラ１００に送信し、ピクチャタイプＴにそのピクチャのピクチャタイプを、フレーム番号Ｆにそのピクチャのフレーム番号をセットする（Ｓ４０４）。出力判定手段２６０は、ＦとＦｄの値を比較し、受信したピクチャを表示手段２３０に出力するか否かを判定する（Ｓ４０６）。ＦがＦｄよりも小さければ（Ｓ４０６のＮ）、受信したピクチャは表示中のピクチャよりも過去のピクチャであるから、表示処理をスキップして、Ｓ４１６に進む。ＦがＦｄよりも大きければ（Ｓ４０６のＹ）、受信したピクチャは表示中のピクチャよりも新しいピクチャである。ここで、ピクチャタイプがＩまたはＰで、かつＦがＦｒよりも大きければ（Ｓ４０８のＹ）、受信済みＩ、Ｐピクチャの最大フレーム番号ＦｒをＦに更新し（Ｓ４１０）、受信したピクチャをデコードして表示待ちバッファに展開する（Ｓ４１２）。直ちに表示せずに、いったん表示待ちバッファに退避するのは、そのＩまたはＰピクチャよりも先に表示すべきＢピクチャが、この後に送信される可能性があるからである。
【００５５】
Ｓ４０８において、ピクチャタイプがＩまたはＰピクチャでないか、またはＦがＦｒ以下であるとき（Ｓ４０８のＮ）、ピクチャタイプがＢピクチャで、かつその前後のＩ、Ｐピクチャが受信されて第一記憶部２５２に格納されている場合は（Ｓ４１４のＹ）、そのＢピクチャをデコードして表示待ちバッファに展開する（Ｓ４１２）。Ｓ４０８とＳ４１４のいずれの条件にも該当しない場合は（Ｓ４１４のＮ）、受信したピクチャは表示されず、Ｓ４１６に進む。
【００５６】
つづいて、受信したピクチャのフレーム番号Ｆが、書き込み済みピクチャの最終フレーム番号Ｆｗの次の番号であるか否かを判断する（Ｓ４１６）。Ｆ＝Ｆｗ＋１でなければ（Ｓ４１６のＮ）、ＦとＦｗの間のフレーム番号のピクチャがスキップされているので、スキップされたピクチャを受信するまで、フレーム番号Ｆの画像データを第一記憶部２５２に一時的に退避し（Ｓ４１８）、Ｓ４０４に戻り、次のピクチャの処理に移る。Ｆ＝Ｆｗ＋１であれば（Ｓ４１６のＹ）、動画合成手段２１０は、受信したピクチャの画像データをファイルに追記し（Ｓ４２０）、さらに、第一記憶部２５２にＦに続くフレーム番号の画像データが退避されていれば、それをファイルに追記する（Ｓ４２２）。そして、書き込んだ最終フレーム番号をＦｗに代入する（Ｓ４２４）。ここで、第一記憶部２５２に格納されたフレームを全てファイルに記録し、かつ全フレームの受信が終了している場合は（Ｓ４２６のＹ）、ファイルをクローズして（Ｓ４２８）、処理を終了する。第一記憶部２５２にフレームが退避されているか、またはフレームの受信が続行されている場合は（Ｓ４２６のＮ）、Ｓ４０４に戻り、処理を続ける。
【００５７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を述べる。
【００５８】
実施の形態では、ＭｏｔｉｏｎＪＰＥＧおよびＭＰＥＧ方式により動画を配信する例について説明したが、本発明の技術は、その他の方式による動画配信にも適用可能である。その場合、その方式に応じて、フレームの配信順および表示順を設定すればよい。
【００５９】
実施の形態では、画像配信装置の一例として、デジタルカメラについて説明したが、その他の動画撮影機能を有する装置であってもよい。また、自身が撮影機能を有さず、動画を構成するフレームを取得して配信する装置にも、本発明の技術を適用可能である。
【００６０】
【発明の効果】
本発明によれば、動画のリアルタイム配信と、高品質な動画記録の両立を実現することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る画像配信システムの全体構成を示す図である。
【図２】動画を構成する各フレームのデータ構造を示す図である。
【図３】第１の実施の形態に係る画像配信方法の手順を示すフローチャートである。
【図４】第１の実施の形態に係る記録再生方法の手順を示すフローチャートである。
【図５】デジタルカメラから動画が配信され、記録再生装置により記録再生される様子を模式的に示す図である。
【図６】第２の実施の形態に係る画像配信方法の手順を示すフローチャートである。
【図７】第２の実施の形態に係る記録再生方法の手順を示すフローチャートである。
【図８】第２の実施の形態に係る画像配信システムにおいて配信されるＭＰＥＧファイルのピクチャ構成を示す図である。
【符号の説明】
１０　画像配信システム、　１００　デジタルカメラ、　１１０　制御手段、１２０　記憶手段、　１３０　送信フレーム選択手段、　１４０　通信手段、１５０　撮影手段、　２００　記録再生装置、　２１０　動画合成手段、　２２０　通信手段、　２３０　表示手段、　２４０　制御手段、　２５０　記憶手段、　２５２　第一記憶部、　２５４　第二記憶部、　２６０　出力判定手段。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image distribution technique, and more particularly to a technique for distributing a moving image in real time and recording and reproducing the moving image.
[0002]
[Prior art]
With the widespread use of shooting devices such as digital video cameras, anyone can easily shoot moving images, record and store the moving images on a recording medium, or distribute them via a network. I have. In particular, with the advent of a device having both a moving image photographing function and a communication function, it has become possible to distribute photographed moving images on the spot. According to such an apparatus, an image around the photographer can be distributed almost in real time to a remote third party, and the receiving side reproduces the moving image and further stores the moving image on a recording medium. You can also keep a record.
[0003]
As a method of distributing moving images with emphasis on real-time characteristics, a technique of distributing moving image data by reducing the amount of data by reducing image quality and frame rate in consideration of network traffic conditions has been proposed (for example, Patent Document 1). 1).
[0004]
As a method of distributing video with emphasis on image quality, the distribution side distributes captured video data without deteriorating the image quality, and the receiving side temporarily stores the video data in memory, and a predetermined amount of data is stored. There has been proposed a technique of starting reproduction after the reproduction (for example, see Patent Document 2).
[0005]
[Patent Document 1]
JP-A-8-317384 (full text)
[Patent Document 2]
JP-A-10-308925 (full text)
[0006]
[Problems to be solved by the invention]
However, in video distribution, real-time performance and image quality are in a trade-off relationship, and if real-time performance is emphasized, it is necessary to reduce image quality to some extent and reduce the amount of data as proposed in Patent Document 1, If image quality is emphasized, it is inevitable that some delay will occur depending on network conditions, as proposed in Patent Document 2.
[0007]
The present invention has been made in view of such a problem, and an object of the present invention is to provide a technology that enables both real-time distribution of a moving image and recording of a high-quality moving image.
[0008]
[Means for Solving the Problems]
One embodiment of the present invention relates to an image distribution system. This image distribution system includes an image distribution device that distributes a moving image via a network, and a recording / reproducing device that records and reproduces the moving image, and the image distribution device acquires a frame constituting the moving image to be distributed. Acquisition means, storage means for storing the frame acquired by the acquisition means, selection means for selecting a frame to be transmitted next from the storage means, communication means for transmitting the frame selected by the selection means, Wherein the recording / reproducing device includes a first storage unit for temporarily holding a frame received from the image distribution device, an output determining unit for determining whether to display the received frame, and the output determining unit. Display means for displaying a frame determined to be displayed by the method, and a moving image file of a predetermined format is generated from the frame held in the first storage unit An image synthesizing unit, and a second storage unit that stores the moving image file, wherein the selecting unit gives priority to a frame that is newer than all transmitted frames when the newer frame is stored in the storing unit. And select.
[0009]
Here, the “frame” is a unit of an image constituting a moving image, and includes the concept of a “field” which is similar to a picture or a frame in MPEG. A “new” frame refers to a frame that is recorded or played back after a certain frame in a moving image. When the acquisition unit acquires frames in the order of recording or reproduction, it has the same meaning as a frame acquired after a certain frame. By transmitting a new frame with priority, the acquired moving image can be distributed in real time. Conversely, a frame that is recorded or played back earlier than a certain frame is called an "old" frame.
[0010]
When a plurality of frames that are newer than all the already transmitted frames are stored in the storage unit, the selection unit may select the latest frame among them. By giving priority to the latest frame, the delay time on the recording / reproducing apparatus side can be minimized.
[0011]
The moving image refers to a first frame encoded without referring to another frame, a second frame encoded with reference to a frame earlier than the frame, and frames before and after the frame. Each frame is provided with a frame number indicating the display order, the period of the first frame and the second frame is M, and the period of the first frame or the second frame already transmitted is When the largest frame number among the frame numbers is X, the selecting means, when the first frame having a frame number larger than X is stored in the storage means, is the largest frame among the first frames. A first frame having a frame number larger than X is not stored in the storage means, and a second frame having a frame number larger than X is selected. When frames are stored, the second frame having the smallest frame number is selected from the second frames, and the first frame and the second frame having the frame numbers larger than X are stored in the storage means. If a third frame having a frame number larger than X-M and smaller than X is stored, the third frame having the smallest frame number may be selected from the third frames. The first frame, the second frame, and the third frame may be an I picture, a P picture, and a B picture in MPEG, respectively.
[0012]
The selecting unit may select the oldest frame from the frames stored in the storage unit when a frame newer than all frames already transmitted is not stored in the storage unit. When there is enough time, all frames are transmitted to the recording / reproducing apparatus by transmitting the skipped frame without transmitting. At this time, the recording process on the recording / reproducing device side can be smoothly performed by sending the data in order from the oldest one.
[0013]
When the received frame is a frame to be displayed after the frame being displayed on the display unit, the output determination unit may determine that the frame is to be displayed. Thereby, real-time reproduction of a moving image becomes possible. If the received frame is older than the frame being displayed, the frame is not displayed.
[0014]
The moving image synthesizing unit temporarily saves the received frame in the first storage unit until a frame following the last frame recorded in the moving image file is received, and receives a frame following the last frame. The received frame may be recorded in the moving image file, and if a frame following the frame is stored in the first storage unit, the frame may be recorded in the moving image file. As a result, all frames can be sequentially recorded in the moving image file, so that high-quality moving images without missing frames can be recorded.
[0015]
Another embodiment of the present invention relates to an image distribution device. The image distribution device is an image distribution device that distributes a moving image via a network, and an acquisition unit that acquires a frame that constitutes a moving image to be distributed, and a storage unit that stores the frame acquired by the acquisition unit. And selecting means for selecting a frame to be transmitted next from the storage means, and communication means for transmitting the frame selected by the selecting means, wherein the selecting means includes a newer frame than all the frames already transmitted. Is stored in the storage means, the frame is preferentially selected.
[0016]
Still another preferred embodiment according to the present invention relates to a recording / reproducing apparatus. A recording / reproducing apparatus for acquiring and recording / reproducing a moving image, comprising: acquiring means for acquiring a frame constituting the moving image, a first storage unit for temporarily holding the acquired frame, and whether to display the acquired frame. Output judging means for judging whether the frame is judged to be displayed by the output judging means, display means for displaying a frame judged to be displayed, and moving picture synthesizing means for generating a moving picture file of a predetermined format from the frames held in the first storage section And a second storage unit for storing the moving image file, wherein the output determination unit determines that when the acquired frame is a frame to be displayed after the frame being displayed on the display unit, the frame Is determined to be displayed.
[0017]
The moving image synthesizing unit temporarily saves the obtained frame in the first storage unit until a frame following the last frame recorded in the moving image file is obtained, and obtains a frame following the last frame. The acquired frame may be recorded in the moving image file, and if a frame following the frame is stored in the first storage unit, the frame may be recorded in the moving image file.
[0018]
Still another preferred embodiment according to the present invention relates to an image delivery method. This method is a method of distributing a moving image via a network, including a step of acquiring a frame constituting a moving image to be distributed, a step of storing the acquired frame in a storage unit, and a step of: Selecting a frame to be transmitted, and transmitting the selected frame, wherein the selecting step includes, when a frame newer than all frames already transmitted is stored in the storage means, Select frames with priority.
[0019]
Still another preferred embodiment according to the present invention relates to a recording / reproducing method. This method is a method of acquiring and recording and reproducing a moving image, and includes a step of acquiring a frame constituting the moving image, a step of temporarily storing the acquired frame in a storage unit, and a step of displaying the acquired frame. Determining the presence or absence, displaying the frame determined to be displayed, and generating a moving image file of a predetermined format from the frame held in the storage means, the determining step, If the acquired frame is a frame to be displayed after the frame being displayed in the displaying step, it is determined that the frame is to be displayed.
[0020]
In the generating step, the acquired frame is temporarily saved in the storage unit until the frame following the last frame recorded in the moving image file is acquired, and the acquired frame is acquired when the frame following the final frame is acquired. A frame may be recorded in the moving image file, and if a frame following the frame is stored in the storage unit, the frame may be recorded in the moving image file.
[0021]
It is to be noted that any combination of the above-described components and any conversion of the expression of the present invention between a method, an apparatus, a system, and the like are also effective as embodiments of the present invention.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
(First Embodiment)
FIG. 1 shows the overall configuration of an image distribution system 10 according to the first embodiment of the present invention. The image distribution system 10 includes a digital camera 100 as an example of an image distribution device, and a recording and reproducing device 200 that records and reproduces a moving image captured by the digital camera 100. The digital camera 100 and the recording / reproducing device 200 are connected via the Internet 20 as an example of a network, and images are distributed via the Internet 20.
[0023]
The digital camera 100 according to the present embodiment appropriately selects and transmits a frame to be distributed according to a distribution situation in order to distribute a captured moving image to the recording and reproducing apparatus 200 in real time. In other words, instead of simply transmitting frames constituting a moving image in the order of shooting, if a plurality of frames are shot and stored in a buffer during transmission of a certain frame, the latest frame among them is sent with priority. . When frames are simply transmitted in the shooting order, the playback speed of the moving image played back by the recording and playback device 200 depends on the frame transfer speed, and the time required for transmission of one frame is longer than the shooting interval of the frame. In this case, the delay time on the recording / reproducing apparatus 200 side gradually increases, and the real-time property is broken. Therefore, in the present embodiment, when the time required to transmit a certain frame is longer than the shooting interval, the frames to be distributed are appropriately thinned to follow the progress of the shooting, thereby realizing the real-time distribution of the moving image. The skipped frames are distributed by appropriately inserting and distributing the skipped frames when there is enough time, such as when the transmission time of one frame is shorter than the shooting interval, to distribute all the frames to the recording / reproducing apparatus 200.
[0024]
Regarding reproduction, when the received frame is the latest frame, the recording / reproduction device 200 reproduces the moving image in real time by displaying the latest frame. Also, regarding recording, when the frames to be received are not arranged in the shooting order, that is, when there are skipped frames, the frames after the skipped frames are stored in a buffer as appropriate, and are rearranged in the shooting order and recorded. This enables both real-time display of a moving image and high-quality moving image recording with no missing frames.
[0025]
The digital camera 100 mainly includes a control unit 110, a storage unit 120, a transmission frame selection unit 130, a communication unit 140, an imaging unit 150 as an example of an acquisition unit, and a bus 102 for electrically connecting them. The communication means 140 includes a configuration such as a modem and a network module for transmitting a moving image to the recording / reproducing apparatus 200 via the Internet 20. The photographing unit 150 includes an imaging device such as a CCD for photographing a moving image, a microphone for acquiring sound, an A / D converter for processing images and sound signals, and an encoder. The image data and the audio data of each frame constituting the moving image are stored in the storage unit 120 after being photographed. The storage unit 120 is also used as a program area or a work area for a program for controlling the digital camera 100.
[0026]
The control unit 110 controls the digital camera 100 as a whole. The transmission frame selection unit 130 selects a frame to be transmitted to the recording / reproducing apparatus 200 from the frames stored in the storage unit 120. These structures can be realized by hardware such as a computer CPU and a memory, and can be realized by software by a program. However, FIG. 2 illustrates functional blocks realized by their cooperation. Therefore, these functional blocks can be realized in various forms by a combination of hardware and software. Details of the operations of the control unit 110 and the transmission frame selection unit 130 at the time of video distribution will be described later with reference to the drawings.
[0027]
The recording / reproducing apparatus 200 mainly includes a moving image synthesizing unit 210, a communication unit 220 as an example of an acquisition unit, a display unit 230, a control unit 240, a storage unit 250, an output determination unit 260, and a bus for electrically connecting them. 202. The communication means 220 includes a configuration such as a modem and a network module for receiving a moving image from the digital camera 100 via the Internet 20. The display means 230 includes a display device such as a liquid crystal monitor for reproducing and displaying a moving image, a speaker for outputting audio, a D / A converter for processing image and audio signals, and a decoder. The storage unit 250 includes a first storage unit 252 including a storage element such as a RAM, and a second storage unit 254 including a storage medium such as a hard disk. After receiving the image data and the audio data of each frame constituting the moving image, the first storage unit 252 temporarily stores the image data and the audio data. The second storage unit 254 stores the moving image file converted into a predetermined file format by the moving image synthesizing unit 210. The first storage unit 252 is also used as a program area or a work area of a program for controlling the recording / reproducing device 200.
[0028]
The control unit 240 controls the recording / reproducing device 200 in a centralized manner. The moving image synthesizing unit 210 sequentially retrieves the frames temporarily stored in the first storage unit 252, encodes the frames into a file format such as Motion JPEG or MPEG, and stores the frames in the second storage unit 254. The output determination unit 260 determines whether to display the received frame on the display unit 230. These configurations can be realized in various forms by a combination of hardware and software. The details of the operations of the control unit 240, the moving image synthesizing unit 210, and the output determining unit 260 during recording and reproduction will be described later with reference to the drawings.
[0029]
FIG. 2 shows a data structure of each frame constituting the moving image. The frame 400 includes a header 410 and image data 420. The header 410 includes a frame number column 402 for storing a frame number indicating a shooting order, a frame type column 404 for storing a frame type, a data size column 406 for storing the total number of bytes of a frame, and a checksum for confirming data corruption. Column 408 is included. The frame type column 404 stores, for example, in the case of MPEG, an encoding type such as an I picture, a P picture, or a B picture.
[0030]
FIG. 3 is a flowchart illustrating a procedure of the image distribution method according to the present embodiment. In the present embodiment, a moving image is distributed in the Motion JPEG format. First, the digital camera 100 transmits the header information of the moving image file (S100), and sets 0 to a control variable X indicating the transmitted maximum frame number (S102). Subsequently, the number of the latest frame among the frames stored in the storage means 120 is set in the control variable Y (S104). If X is smaller than Y (Y in S106), since the frame captured after the transmitted frame is stored in the storage unit 120, the frame which is the latest frame to guarantee real-time performance is selected. The frame whose number is Y is transmitted to the recording / reproducing device 200 (S108), and the transmitted maximum frame number X is changed to Y (S110). At this time, frames whose frame numbers are larger than X and smaller than Y are skipped. Here, if all the frames stored in the storage unit 120 have been transmitted and the shooting has ended (Y in S114), the distribution of the image ends. If the frame is stored in the storage unit 120 or the shooting is continued (N in S114), the process returns to S104, and the distribution of the moving image is continued.
[0031]
If X is greater than or equal to Y in S106 (N in S106), the transmission of the latest frame has already been completed, so that the frame stored in the storage unit 120 is transmitted to transmit the skipped frame. The frame having the smallest frame number is transmitted to the recording / reproducing device 200 (S112). At this time, any frame remaining in the storage unit 120 may be transmitted. However, in the present embodiment, in order to smoothly perform the recording process in the recording / reproducing apparatus 200, it is necessary to transmit the frames in ascending frame number. To
[0032]
When transmitting a frame to the recording / reproducing apparatus 200, the digital camera 100 temporarily deletes the frame from the transmission queue and waits for a reception confirmation response from the recording / reproducing apparatus 200. The maximum wait time of the reception acknowledgment is set to, for example, 1500 milliseconds. If the reception acknowledgment has not been received from the recording / reproducing apparatus 200 even after that time, the frame is registered in the transmission queue again. And resend when there is enough time. As a result, frame loss due to a transmission error can be prevented.
[0033]
FIG. 4 is a flowchart showing a procedure of the recording / reproducing method according to the present embodiment. When the recording / reproducing apparatus 200 starts receiving a moving image, it generates a Motion JPEG format moving image file and writes the received header information (S200). Subsequently, 0 is set to the control variable L indicating the received maximum frame number, and 0 is set to the control variable M indicating the last written frame number (S202). When a frame is received from the digital camera 100, a reception acknowledgment is transmitted to the digital camera 100, and the frame number is set to the control variable N (S204). Here, the output determination unit 260 compares the values of L and N, and determines whether to output the received frame to the display unit 230 (S206). If L is smaller than N (Y in S206), the received frame is the latest frame, so that frame is displayed on the display means 230 (S208), and the received maximum frame number L is updated to N (S210). ). If L is equal to or greater than N (N in S206), the received frame is not the latest frame but a skipped frame, so S208 and S210 are skipped, this frame is not displayed, and the maximum received frame is received. The number L is not updated.
[0034]
Subsequently, it is determined whether or not the frame number N of the received frame is the next number after the written final frame number M (S212). Unless N = M + 1 (N in S212), since the frames with the numbers between M and N are skipped, the image data of the frame number N is stored in the first storage unit 252 until the skipped frame is received. The evacuation is temporarily performed (S222), and the process returns to S204 to move to the processing of the next frame. If N = M + 1 (Y in S212), the moving image composing means 210 adds the received frame image data to the file (S214), and further stores the image data of the frame number following N in the first storage unit 252. If it has been saved, it is added to the file (S216). Then, the written last frame number is substituted for M (S218). Here, if all the frames stored in the first storage unit 252 are recorded in the file and the reception of all the frames has been completed (Y in S220), the file is closed (S224), and the processing is terminated. I do. If the frame has been saved in the first storage unit 252 or the reception of the frame has been continued (N in S220), the process returns to S204 and the process is continued.
[0035]
FIG. 5 schematically shows a state in which a moving image is distributed from the digital camera 100 and recorded and reproduced by the recording and reproducing device 200. First, a procedure for distributing a moving image will be described. At time t1, the first frame is imaged by the imaging unit 150 and stored in the storage unit 120. The transmission frame selecting unit 130 selects the first frame, which is the latest frame, and transmits the first frame to the recording / reproducing apparatus 200 via the communication unit 140. During transmission of the first frame, at time t2, the second frame is photographed and stored in the storage unit 120. When the transmission of the first frame is completed, the transmission frame selection unit 130 updates the maximum transmitted frame number X to “1”, and the second frame that is the frame with the maximum frame number among the frames stored in the storage unit 120 Select and send.
[0036]
During the transmission of the second frame, the third frame is photographed at time t3 and the fourth frame is photographed at time t4, and these are stored in the storage means 120, respectively. When the transmission of the second frame is completed, the transmission frame selecting unit 130 updates the maximum transmitted frame number X to “2”, and subsequently selects and transmits the fourth frame, which is the latest frame. At this time, the third frame is skipped.
[0037]
During transmission of the fourth frame, the fifth frame is photographed at time t5 and stored in the storage unit 120. When the transmission of the fourth frame is completed, X is updated to “4”, and then the fifth frame is transmitted. During transmission of the fifth frame, the sixth frame is photographed and stored at time t6. Here, it is assumed that the recording / reproducing apparatus 200 cannot receive the fifth frame due to a communication error or the like. At this time, since the reception acknowledgment does not return, X is returned to “4” again.
[0038]
Although the transmission of the fifth frame has failed, the sixth frame, which is the latest frame, is transmitted first in order to guarantee real-time performance since the sixth frame has already been photographed without immediately retransmitting it. When the transmission of the sixth frame is completed, X is updated to “6”. At this time, since the shooting of the seventh frame has not been completed, the latest frame cannot be sent. Therefore, the frame that has not been transmitted is transmitted using the time until the imaging of the seventh frame is completed. Here, the third frame having the smallest frame number among the frames stored in the storage unit 120 is transmitted.
[0039]
During transmission of the third frame, the seventh frame is photographed and stored at time t7. When the transmission of the third frame is completed, the seventh frame, which is the latest frame, is transmitted. At this time, X is not updated and remains at “6”. When the transmission of the seventh frame is completed, X is updated to “7”. Since the imaging of the eighth frame has not been completed, the fifth frame which is the minimum frame number in the storage unit 120 is transmitted. When the transmission of the fifth frame is completed, the eighth frame whose shooting has been completed during the transmission is transmitted.
[0040]
Next, a procedure for recording and reproducing a moving image will be described. When the recording / reproducing apparatus 200 receives the first frame, the output determining means 260 displays the frame on the display means 230, and the moving picture synthesizing means 210 stores the image data in a file. At this time, the received maximum frame number X is updated to “1”, and the written final frame number Y is also updated to “1”. Subsequently, when the second frame is received, the output determination unit 260 compares the received frame number N value “2” with L value “1”, and since N is larger than L, it is the latest frame. Is output to the display means 230, and L is updated to "2". Since the value “2” of N is the next number after the value “1” of M, the moving image synthesizing unit 210 adds the second frame to the file and updates M to “2”.
[0041]
Subsequently, when the fourth frame is received, since the frame is the latest frame, it is output to the display means 230, and L is updated to "4". However, since the received frame number “4” is not the next number after the written last frame number “2”, the fourth frame is not added to the file, and the time until the skipped third frame is received. Are saved to the first storage unit 252.
[0042]
Subsequently, when the sixth frame is received, since the frame is the latest frame, it is output to the display means 230 and L is updated to "6". However, since the received frame number “6” is not the next number after the written last frame number “2”, the sixth frame is not added to the file, and the skipped third and fifth frames are received. Until that time, it is saved to the first storage unit 252.
[0043]
Subsequently, when the third frame is received, that frame is not the latest frame, and is not output to the display means 230, and the sixth frame is displayed continuously. Since the received frame number “3” is the next number after the written last frame number “2”, the third frame is added to the file, and the fourth frame saved in the first storage unit 252 is added. Appended to the file. At this time, the written last frame number M is updated to “4”.
[0044]
Subsequently, when the seventh frame is received, the frame is the latest frame, so that it is output to the display means 230 and L is updated to "7". However, since the received frame number “7” is not the next number after the written final frame number “4”, the seventh frame is not added to the file, and the reception of the skipped fifth frame is not performed. During this time, it is saved in the first storage unit 252.
[0045]
Subsequently, when the fifth frame is received, since the frame is not the latest frame, it is not output to the display means 230, and the seventh frame is displayed continuously. Since the received frame number “5” is the next number after the written last frame number “4”, the fifth frame is added to the file, and the sixth and the fifth frames saved in the first storage unit 252 are further added. Seven frames are added to the file. At this time, the written last frame number M is updated to “7”.
[0046]
As described above, according to the image distribution system 10 of the present embodiment, in order to realize the real-time distribution of the moving image, the frames are appropriately skipped according to the distribution state, and finally, By distributing the frames, high-quality moving image recording without missing frames can be performed.
[0047]
(Second embodiment)
In the first embodiment, the moving image is distributed in the Motion JPEG format. In the present embodiment, the moving image is distributed in the MPEG format. The overall configuration of the image distribution system 10 of the present embodiment is the same as the overall configuration of the image distribution system 10 of the first embodiment shown in FIG. Hereinafter, procedures of the image distribution method and the recording / reproducing method of the present embodiment will be described.
[0048]
FIG. 6 is a flowchart illustrating a procedure of the image distribution method according to the present embodiment. FIG. 8 shows a picture configuration of an MPEG file used for explaining this example. The digital camera 100 first transmits the header information of the moving image file (S300), sets 0 to the control variable X indicating the maximum frame number of the transmitted I or P picture, and sets the cycle M of the I and P pictures. (S302). In the present embodiment, as shown in FIG. 8, M = 3. Subsequently, the transmission frame selection unit 130 determines whether or not there is an I picture with a number larger than X in the pictures stored in the storage unit 120 (S304). When there is an I picture with a number larger than X (Y in S304), the frame number is the largest among the target I pictures, that is, the latest I picture is selected and transmitted to the recording / reproducing apparatus 200 (S306). The frame number is substituted for X (S308).
[0049]
If there is no I picture with a number greater than X in S304 (N in S304), then it is determined whether there is a P picture with a number greater than X in the storage means 120 (S310). When there is a P picture with a number larger than X (Y in S310), a P picture having the smallest frame number is selected from the target P pictures and transmitted (S312), and the frame number is substituted for X (S312). S314).
[0050]
If there is no P picture with a number greater than X in S310 (N in S310), it is next determined whether or not there is a B picture with a number greater than XM and less than X in the storage means 120. (S316). If there is a B picture having a number larger than X-M and smaller than X (Y in S316), a B picture having the smallest frame number among the target B pictures is selected and transmitted (S318). At this time, X is not updated.
[0051]
In step S316, if there is no B picture with a number greater than X-M and less than X, there is no newest picture, and the most recent picture among the pictures stored in the storage means 120 is transmitted to transmit the skipped picture. A picture with a small frame number is selected and transmitted (S320). In S306, S312, S318, or S320, when transmitting the picture, if all the pictures stored in the storage unit 120 have been transmitted and the shooting has been completed (Y in S322), the distribution of the image ends. . If a picture is stored in the storage unit 120 or shooting is continued (N in S322), the process returns to S304, and distribution of the moving image is continued.
[0052]
Transmitting the latest picture with priority and transmitting the skipped picture when there is room is the same as in the first embodiment. However, in this embodiment, depending on the type of MPEG picture, , The transmission order is different. That is, since the I picture can be decoded without referring to other pictures, the latest picture may be simply transmitted, but for P and B pictures, it is necessary to refer to past pictures when decoding. Therefore, it is necessary to transmit the pictures in order from the oldest picture without skipping in one GOP. Therefore, in S312 and S318, the P or B picture having the smallest frame number is selected and transmitted from the target P or B picture. In S306, when there are a plurality of target I pictures, the older I picture is skipped. In the case of a picture configuration in which one I picture exists in one GOP, Means to skip all pictures of the GOP to which.
[0053]
FIG. 7 is a flowchart showing a procedure of the recording / reproducing method according to the present embodiment. When the recording / reproducing apparatus 200 starts receiving a moving image, it generates an MPEG moving image file and writes the received header information (S400). Subsequently, 0 is set to a control variable Fr indicating the maximum frame number of the received I and P pictures, a control variable Fw indicating the last frame number of the written picture, and a control variable Fd indicating the last frame number of the displayed picture. (S402).
[0054]
When a picture is received from the digital camera 100, a reception acknowledgment is transmitted to the digital camera 100, and the picture type of the picture is set to the picture type T and the frame number of the picture is set to the frame number F (S404). The output determination unit 260 compares the values of F and Fd, and determines whether to output the received picture to the display unit 230 (S406). If F is smaller than Fd (N in S406), the received picture is a past picture than the currently displayed picture, and the display process is skipped, and the process proceeds to S416. If F is greater than Fd (Y in S406), the received picture is a newer picture than the picture being displayed. If the picture type is I or P and F is larger than Fr (Y in S408), the maximum frame number Fr of the received I and P pictures is updated to F (S410), and the received picture is decoded. Then, the data is developed in the display waiting buffer (S412). The reason why the image is temporarily saved in the display waiting buffer without being displayed immediately is that a B picture to be displayed earlier than the I or P picture may be transmitted later.
[0055]
In S408, when the picture type is not an I or P picture or F is equal to or less than Fr (N in S408), the picture type is a B picture, and I and P pictures before and after it are received, and the first storage unit is received. If the B picture is stored in the buffer 252 (Y in S414), the B picture is decoded and expanded in the display waiting buffer (S412). If neither of the conditions of S408 and S414 is satisfied (N of S414), the received picture is not displayed and the process proceeds to S416.
[0056]
Subsequently, it is determined whether or not the frame number F of the received picture is a number next to the last frame number Fw of the written picture (S416). Unless F = Fw + 1 (N in S416), since the picture of the frame number between F and Fw is skipped, the image data of the frame number F is stored in the first storage unit 252 until the skipped picture is received. (S418), and returns to S404 to move to the processing of the next picture. If F = Fw + 1 (Y in S416), the moving image compositing means 210 adds the image data of the received picture to the file (S420), and further stores the image data of the frame number following F in the first storage unit 252. If it has been saved, it is added to the file (S422). Then, the written last frame number is substituted for Fw (S424). Here, if all the frames stored in the first storage unit 252 are recorded in a file and the reception of all the frames has been completed (Y in S426), the file is closed (S428), and the process ends. I do. If the frame has been saved in the first storage unit 252 or the reception of the frame has been continued (N in S426), the process returns to S404 and continues.
[0057]
The present invention has been described based on the embodiments. This embodiment is an exemplification, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and that such modifications are also within the scope of the present invention. . Hereinafter, such an example will be described.
[0058]
In the embodiment, an example has been described in which a moving image is distributed by the Motion JPEG and the MPEG method. However, the technology of the present invention can be applied to moving image distribution by other methods. In that case, the distribution order and display order of the frames may be set according to the method.
[0059]
In the embodiment, the digital camera has been described as an example of the image distribution device, but may be another device having a moving image photographing function. Further, the technology of the present invention can be applied to an apparatus that does not have a shooting function and acquires and distributes a frame constituting a moving image.
[0060]
【The invention's effect】
According to the present invention, it is possible to achieve both real-time distribution of moving images and high-quality moving image recording.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an overall configuration of an image distribution system according to a first embodiment.
FIG. 2 is a diagram showing a data structure of each frame constituting a moving image.
FIG. 3 is a flowchart illustrating a procedure of an image distribution method according to the first embodiment.
FIG. 4 is a flowchart showing a procedure of a recording / reproducing method according to the first embodiment.
FIG. 5 is a diagram schematically showing how a moving image is distributed from a digital camera and recorded and reproduced by a recording and reproducing device.
FIG. 6 is a flowchart illustrating a procedure of an image distribution method according to a second embodiment.
FIG. 7 is a flowchart showing a procedure of a recording / reproducing method according to a second embodiment.
FIG. 8 is a diagram showing a picture configuration of an MPEG file distributed in the image distribution system according to the second embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Image distribution system, 100 digital camera, 110 control means, 120 storage means, 130 transmission frame selection means, 140 communication means, 150 photography means, 200 recording / reproducing apparatus, 210 moving image synthesizing means, 220 communication means, 230 display means, 240 Control means, 250 storage means, 252 first storage section, 254 second storage section, 260 output determination means.

Claims (12)

ネットワークを介して動画を配信する画像配信装置と、
前記動画を記録再生する記録再生装置と、を含み、
前記画像配信装置は、
配信すべき動画を構成するフレームを取得する取得手段と、
前記取得手段により取得されたフレームを格納する記憶手段と、
前記記憶手段から次に送信するフレームを選択する選択手段と、
前記選択手段により選択されたフレームを送信する通信手段と、を含み、
前記記録再生装置は、
前記画像配信装置から受信したフレームを一時的に保持する第一記憶部と、
受信したフレームを表示するか否かを判定する出力判定手段と、
前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、
前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、
前記動画ファイルを格納する第二記憶部と、を含み、
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択することを特徴とする画像配信システム。An image distribution device that distributes a moving image via a network,
A recording and reproducing device for recording and reproducing the moving image,
The image distribution device,
Acquisition means for acquiring a frame constituting a video to be distributed;
Storage means for storing the frame obtained by the obtaining means,
Selecting means for selecting a frame to be transmitted next from the storage means;
Communication means for transmitting the frame selected by the selection means,
The recording and playback device,
A first storage unit for temporarily holding a frame received from the image distribution device,
Output determination means for determining whether to display the received frame,
Display means for displaying a frame determined to be displayed by the output determination means,
Moving image synthesizing means for generating a moving image file of a predetermined format from the frames held in the first storage unit,
A second storage unit that stores the video file,
The image distribution system, wherein, when a frame newer than all frames already transmitted is stored in the storage unit, the selection unit preferentially selects the frame. 前記選択手段は、既に送信した全てのフレームよりも新しいフレームが複数前記記憶手段に格納されているとき、それらのうち最新のフレームを選択することを特徴とする請求項１に記載の画像配信システム。2. The image distribution system according to claim 1, wherein, when a plurality of frames that are newer than all the already transmitted frames are stored in the storage unit, the selection unit selects the latest frame among the plurality of frames. . 前記動画は、他のフレームを参照せずに符号化された第１フレームと、そのフレームよりも前のフレームを参照して符号化された第２フレームと、そのフレームの前後のフレームを参照して符号化された第３フレームにより構成され、各フレームに表示順を示すフレーム番号を付し、前記第１フレームおよび前記第２フレームの周期をＭ、既に送信した第１フレームまたは第２フレームのフレーム番号のうち最大のフレーム番号をＸとするとき、
前記選択手段は、前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されているときは、それらの第１フレームのうち最も大きいフレーム番号の第１フレームを選択し、
前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されておらず、Ｘより大きいフレーム番号の第２フレームが格納されているときは、それらの第２フレームのうち最も小さいフレーム番号の第２フレームを選択し、
前記記憶手段にＸより大きいフレーム番号の第１フレームおよび第２フレームが格納されておらず、Ｘ−Ｍより大きくＸより小さいフレーム番号の第３フレームが格納されているときは、それらの第３フレームのうち最も小さいフレーム番号の第３フレームを選択する
ことを特徴とする請求項１に記載の画像配信システム。The moving image refers to a first frame encoded without referring to another frame, a second frame encoded with reference to a frame earlier than the frame, and frames before and after the frame. Each frame is provided with a frame number indicating the display order, the period of the first frame and the second frame is M, and the period of the first frame or the second frame already transmitted is When the largest frame number among the frame numbers is X,
When the first frame having a frame number larger than X is stored in the storage unit, the selecting unit selects the first frame having the largest frame number among the first frames,
When the first frame having the frame number larger than X is not stored in the storage means and the second frame having the frame number larger than X is stored, the first frame having the smallest frame number among the second frames is stored. Select two frames,
If the storage means does not store the first frame and the second frame having a frame number larger than X and stores the third frame having a frame number larger than X-M and smaller than X, the third frame is stored. The image distribution system according to claim 1, wherein a third frame having the smallest frame number is selected from the frames. 前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されていないとき、前記記憶手段に格納されたフレームのうち最古のフレームを選択することを特徴とする請求項１から３のいずれかに記載の画像配信システム。The method according to claim 1, wherein the selecting unit selects the oldest frame among the frames stored in the storage unit when a frame newer than all the frames already transmitted is not stored in the storage unit. The image distribution system according to any one of 1 to 3. 前記出力判定手段は、受信したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定することを特徴とする請求項１から４のいずれかに記載の画像配信システム。5. The output determination unit according to claim 1, wherein when the received frame is a frame to be displayed after the frame being displayed on the display unit, the output determination unit determines to display the frame. An image distribution system according to Crab. 前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを受信するまで、受信したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを受信したときに、受信したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録することを特徴とする請求項１から５に記載の画像配信システム。The moving image synthesizing unit temporarily saves the received frame in the first storage unit until a frame following the last frame recorded in the moving image file is received, and receives a frame following the last frame. The received frame is recorded in the moving image file, and if a frame subsequent to the frame is stored in the first storage unit, the frame is also recorded in the moving image file. Image distribution system as described. ネットワークを介して動画を配信する画像配信装置であって、
配信すべき動画を構成するフレームを取得する取得手段と、
前記取得手段により取得されたフレームを格納する記憶手段と、
前記記憶手段から次に送信するフレームを選択する選択手段と、
前記選択手段により選択されたフレームを送信する通信手段と、を含み、
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択することを特徴とする画像配信装置。An image distribution device that distributes a moving image via a network,
Acquisition means for acquiring a frame constituting a video to be distributed;
Storage means for storing the frame obtained by the obtaining means,
Selecting means for selecting a frame to be transmitted next from the storage means;
Communication means for transmitting the frame selected by the selection means,
The image delivery device, wherein, when a frame newer than all frames already transmitted is stored in the storage unit, the selection unit preferentially selects the frame. 動画を取得して記録再生する記録再生装置であって、
動画を構成するフレームを取得する取得手段と、
取得したフレームを一時的に保持する第一記憶部と、
取得したフレームを表示するか否かを判定する出力判定手段と、
前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、
前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、
前記動画ファイルを格納する第二記憶部と、を含み、
前記出力判定手段は、取得したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定することを特徴とする記録再生装置。A recording / reproducing device for acquiring and recording / reproducing a movie,
Acquiring means for acquiring a frame constituting the video,
A first storage unit for temporarily holding the acquired frame,
Output determination means for determining whether to display the acquired frame,
Display means for displaying a frame determined to be displayed by the output determination means,
Moving image synthesizing means for generating a moving image file of a predetermined format from the frames held in the first storage unit,
A second storage unit that stores the video file,
The recording / reproducing apparatus according to claim 1, wherein the output determination means determines that the frame is to be displayed when the acquired frame is a frame to be displayed after the frame being displayed on the display means. 前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録することを特徴とする請求項８に記載の記録再生装置。The moving image synthesizing unit temporarily saves the obtained frame in the first storage unit until a frame following the last frame recorded in the moving image file is obtained, and obtains a frame following the last frame. The acquired frame is recorded in the moving image file, and if a frame subsequent to the frame is stored in the first storage unit, the frame is also recorded in the moving image file. Recording and playback device. ネットワークを介して動画を配信する方法であって、
配信すべき動画を構成するフレームを取得する工程と、
取得されたフレームを記憶手段に格納する工程と、
前記記憶手段から次に送信するフレームを選択する工程と、
選択されたフレームを送信する工程と、を含み、
前記選択する工程は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択することを特徴とする方法。A method of delivering videos over a network,
Obtaining a frame that constitutes a video to be distributed;
Storing the obtained frame in storage means;
Selecting a frame to be transmitted next from the storage means;
Transmitting the selected frame;
The method wherein the selecting step preferentially selects a frame that is stored in the storage means when a newer frame than all the frames already transmitted is stored in the storage means. 動画を取得して記録再生する方法であって、
動画を構成するフレームを取得する工程と、
取得したフレームを一時的に記憶手段に保持する工程と、
取得したフレームを表示するか否かを判定する工程と、
表示すると判定されたフレームを表示する工程と、
前記記憶手段に保持されたフレームから所定の形式の動画ファイルを生成する工程と、を含み、
前記判定する工程は、取得したフレームが、前記表示する工程により表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定することを特徴とする方法。A method of acquiring a video and recording and reproducing the video,
A step of acquiring a frame constituting the video,
Temporarily storing the acquired frame in storage means;
Determining whether to display the acquired frame,
Displaying a frame determined to be displayed;
Generating a moving image file of a predetermined format from the frames held in the storage means,
The method according to claim 1, wherein the determining step determines that the frame is to be displayed when the acquired frame is a frame to be displayed after the frame being displayed in the displaying step. 前記生成する工程は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記記憶手段に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記記憶手段に格納されていれば、そのフレームも前記動画ファイルに記録することを特徴とする請求項１１に記載の方法。In the generating step, the acquired frame is temporarily saved in the storage unit until the frame following the last frame recorded in the moving image file is acquired, and the acquired frame is acquired when the frame following the final frame is acquired. The method according to claim 11, wherein a frame is recorded in the moving image file, and if a frame following the frame is stored in the storage means, the frame is also recorded in the moving image file.

Images