JP2007049542A

JP2007049542A - 再生装置及び再生方法

Info

Publication number: JP2007049542A
Application number: JP2005233339A
Authority: JP
Inventors: Yoshiki Matsuda; 新樹松田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-08-11
Filing date: 2005-08-11
Publication date: 2007-02-22

Abstract

【課題】動画像データの転送速度を低下させることなく転送中の動画像データの内容を確認できる技術の実現。
【解決手段】動画像データから静止画像データを抽出して再生する装置であって、送信側装置から動画像データを受信する受信手段と、前記受信手段により受信中の動画像データから静止画像データを生成する画像生成手段と、前記受信手段による受信中に前記画像生成手段により生成された静止画像データを表示する表示手段と、を具備する。
【選択図】図１

Description

本発明は、動画像データから静止画像データを抽出して再生する技術に関するものである。

デジタルカメラやデジタルビデオカメラ、さらにはPCや動画撮影機能付き携帯電話の普及にともなって、一般家庭や業務において動画像データを扱う機会が増加している。このような装置では一般に、撮像した動画像データをファイルという単位で管理しており、装置間での動画像データのやり取りもファイル単位で行われることが多い。

近年の撮像装置の高性能化に伴い、個人が扱うこれら動画像ファイルの容量と数は増大する傾向にあり、より効率的に内容を把握したいという要請が出てきている。ファイル単位で受信が完了しなければ受信側で再生できないような従来の転送方式では、上記の要請に合致できなくなっている。

上記要請に鑑みた動画像転送方式としてストリーミング方式がある。ストリーミング方式は、受信側で動画像データを受信しながらリアルタイムに動画像データを再生する技術であり、送信側と同期を取りながら再生を行うことができるため動画像の再生に関して動画像データ全体を受信する必要はない。しかしながら、上記ストリーミング方式では通信経路の状況によっては動画像データ自体が欠落することがあるため、完全な動画像データをファイルとして保存することができないという問題がある。

この問題を解決するために、動画像データを転送すると同時に受信側でダイジェスト動画像を再生することで内容の確認を簡易に行う技術が提案されている。例えば、特許文献１には、送信側において動画像データから一定間隔毎に代表静止画像を抽出し、これを動画像データと合わせて送信することにより受信側で動画像データの取得と代表静止画像による内容の確認とを同時に行う技術が開示されている。

図１１は従来例による動画像データの転送開始までの送信側での動作を示したフローチャートである。

図１１において、S1101は転送要求を受けたかどうかの確認を行う。S1101において動画像データ又は静止画像データが選択されたと判断された場合にはS1102に進む。S1102では、選択された動画ファイルに付随している音声部分が切り出され、音声ファイルが作成される。さらにS1103では動画像ファイル全体のフレーム数が検出され、動画像ファイルから複数の代表静止画像を抽出する工程に移行する。S1104では先頭のフレームを代表静止画像として取り出し、S1105からS1110までにおいて抽出条件に合致した代表静止画像の抽出を行う。引き続いてS1111で代表静止画像を圧縮し、S1112にて代表静止画像を転送する。
特開2003-299087公報

上記特許文献１及び図１１では、送信側で代表静止画像を作成するので転送に先立って代表静止画像を作成する時間が必要であるという問題が生じる。また、送信側に代表静止画像を作成する機能を付加する必要があること、代表静止画像の分だけ転送量が増加するという問題が生じる。

本発明は、上記課題に鑑みてなされ、転送中の動画像データの内容を確認するための静止画像データを受信側で作成することにより、転送速度を低下させることなく転送中の動画像データの内容を確認できる技術の実現を目的とする。

上記課題を解決し、目的を達成するために、本発明は、動画像データから静止画像データを抽出して再生する装置であって、送信側装置から動画像データを受信する受信手段と、前記受信手段により受信中の動画像データから静止画像データを生成する画像生成手段と、前記受信手段による受信中に前記画像生成手段により生成された静止画像データを表示する表示手段と、を具備する。

また、本発明は、動画像データから静止画像データを抽出して再生する方法であって、送信側装置から動画像データを受信する受信工程と、前記受信工程により受信中の動画像データから静止画像データを生成する画像生成工程と、前記受信工程による受信中に前記画像生成工程により生成された静止画像データを表示する表示工程と、を具備する。

本発明によれば、転送中の動画像データの内容を確認するための静止画像データを受信側で作成することにより、送信側に静止画像データを作成する機能を付与する必要がなくなる。

また、予め静止画像データを作成しておくのではなく、転送速度や受信側の処理能力に応じて動画像データの転送中に静止画像データを生成する。このため、例えば、受信側のシステム環境に応じた最適な条件で静止画像データの表示と動画像データの転送とを同時に行うことができる。

その結果、動画像データの転送速度を低下させることなく、且つ動画像データの転送中にその内容の確認を行うことができる。

以下、本発明に係る一実施形態について図面を参照して詳細に説明する。

なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

［第１の実施形態］
本実施形態では、動画像データを転送する送信側にデジタルカメラ、送信側から転送される動画像データを受信する受信側にパーソナルコンピュータ（PC）を用いて実現している。なお、転送される動画像データの形式はフレーム間に相関のないMotionJPEGとする。

図１は本発明に係る実施形態の受信側となるPCの構成を示すブロック図である。

図１において、101はPCの動作を統括して制御する演算処理装置(CPU)である。102は実行プログラムや符号化された動画像データや静止画像データ、これらに付随する画像情報等のデジタルデータが読み取り可能な形式で記録されたハードディスクドライブ（HDD）である。103はメモリデバイスであり、HDD102に記録されたプログラムコードや上記デジタルデータがロードされ、CPU101が実行する構成となっている。

104はキーボードやマウスなどからなる操作部で、ユーザが動画像データの転送開始を入力する入力部となる。操作部104からの操作入力をCPU101が検知し、メモリデバイス103にロードされたプログラムに通達されて処理が行われる。105はCRTディスプレイや液晶パネルなどの表示部（ディスプレイ）であり、データ転送の進捗及び復号化された動画像データが表示される。

106はCD-ROMやDVD-ROMなどの外部記憶媒体を読み出すための外部記憶媒体ドライブである。本実施形態では、HDD102に記録されたプログラム及び画像データを使用するが、プログラムや画像データが外部記憶媒体に記録されている場合は外部記憶媒体ドライブ106を介して実行する形態でもよい。また同様に、ネットワークを介してプログラム及び上記デジタルデータをロードする形態においても本発明は適用される。

図２は、本発明に係る実施形態の送信側装置と受信側装置とを接続したシステム構成図である。

図２において、デジタルカメラ等の送信側装置201とパーソナルコンピュータ（PC）等の受信側装置202とは通信ケーブル203で接続される。また、送信側装置202内の記憶領域又は装填されたメモリーカードに記録された動画像データがUSB等の通信ケーブル203を通じて受信側装置201に転送され、通信ケーブル203を介して相互に各種データの授受が可能に構成される。

次に図３〜図７を用いて、本発明に係る実施形態において静止画像データの表示と動画像データの転送とを同時に行うシステムについて説明する。本発明は、本実施形態における受信側であるPC上で動作する転送処理部、解析処理部、及び表示処理部により実現される。

図３は、転送処理部301、解析処理部302、表示処理部303が並列に動作してデータのやり取りを行う流れを表している。

図３において、転送処理部301は、送信側から転送される分割された動画像データを順次受信する機能を担う。解析処理部302は、転送処理部301によって受信された動画像データを順次解析してフレームを抽出する機能を担う。表示処理部303は、フレームを表示する機能を担う。これら各処理部は起動している限りそれぞれが並列に動作する。

図３では簡単のために転送処理部301から解析処理部302に解析データがセットされるたびに１枚のフレームが検出される動作を示しているが、解析処理を行ってもデータ不足のためにフレームを検出できない場合もある。また逆に、１回で転送されたデータの中に複数のフレームが検出される場合もある。解析処理部302は3101から3105までの５枚のフレームを検出し、表示処理部303に表示画像としてセットする。しかしながら、実際には後述する第１の間引き処理によって表示画像3102及び3103は間引かれ、第２の間引き処理によって表示画像3104も間引かれるため、3101のフレームを描画した後に続いて描画されるのは3105のフレームとなる。

図４〜図６は、本発明を実現する転送処理部、解析処理部、表示処理部の各動作フローを示している。

先ず図４を用いて転送処理部301の処理について説明する。

転送処理部301では、S401で転送要求があったことを検知すると、S402で表示処理部303を起動し、S403で解析処理部302を起動する。各処理部が起動して転送の準備が整うと、S404で送信側から動画像データの受信を開始する。受信側から分割して転送される動画像データは、S405で受信側装置のメモリデバイス103にキャッシュされ、続いてS406にて解析処理部302にセットされる。ここで、転送された動画像データを受信側装置に保存する場合は、HDD102に保存してもよい。S407では、これまでに転送中止要求があったかを検出する。転送中止要求があった場合には処理をS409に進め、そうでない場合は処理をS408に進める。S408では転送対象の動画像データが受信し終わったかを検出し、終了していれば処理をS409に進める。受信が完了していない場合は処理をS405に戻して引き続き受信を行う。S409及びS410は終了処理であり、S403及びS402で起動した各処理部に対して終了要求を出す。双方の処理部が終了した後に転送処理部も終了する。

次に図５を用いて解析処理部302の処理について説明する。

解析処理部302は転送処理部301によって起動及び終了が制御されるが、起動後は転送処理部301と並列に動作する。解析処理部302は、転送処理部301に対する処理負荷が増加しないように、S406でキャッシュされた受信データがセットされるまでS501にて待機している。S406でキャッシュされた受信データが解析処理部302にセットされると、解析処理部302は処理をS502に進める。S502では受信データを解析対象として追加するが、既に解析データが存在する場合にはその末尾に新規データとして追加する。S503では解析データからフレームを検出し、ここまでに蓄積されている解析データを逐次解析して解析データ内の最初のフレームを検出する。S503でフレームが検出されたかどうかはS504で判定される。S503でフレームが検出されていればS505に進み、検出されていなければフレームとしてのデータが不足していたと判断して処理をS501に戻す。S505では検出されたフレームを表示処理部303にセットする。この際、表示処理部303にセットした前回のフレームデータを処理できていなければ、今回のフレームデータで上書きすることで最新のフレームデータのみを表示処理部303が参照できるようにする。これは、転送の進捗と表示内容を同期させるための第１の間引き処理に相当する。

この第１の間引き処理によって、フレーム検出速度と表示処理部303での処理速度が同程度でない場合でも転送の進捗に合わせた適切なフレームのみを表示処理部303で表示することができる。これは、送信側の転送能力や受信側の処理能力に合わせた間引き率が動的に決定されるということであり、実際のシステム環境に拠らず転送と表示の同期を実現することができる。

続くS506では、解析データから該当フレームに対応する部分までのデータを全て削除する。この削除した結果残る残データは、検出されたフレームより後ろのフレームデータに関するものなので解析データとして残したままとする。S507では転送処理部301から終了要求があったかどうかを検出し、終了要求があった場合は処理を終了し、そうでない場合には処理をS503に戻して残りの解析データに対して引き続き解析処理を行う。

以上の解析処理によって、解析処理部302は転送処理部301によってセットされたデータ全てのフレームを検出することができ、かつ表示処理部303の遅延によって発生するデータ転送の進捗と表示内容の進捗を同期させることができる。

次に図６を用いて表示処理部303の処理について説明する。

表示処理部303も、解析処理部302と同様に転送処理部301と並列に動作する。表示処理部303は、解析処理部302から表示すべきフレームデータがセットされるまでS601にて待機している。解析処理部302によって検出されたフレームデータがセットされると処理をS602に進める。S602では表示処理部303で管理する表示処理待機時間の値を調べ、値が0であれば処理をS605に進める。そうでない場合は、処理をS603に進める。なお、表示処理部303が起動した時点では、表示処理待機時間の初期値は0であり、S602からS605に処理が進むことになる。S605からS608まではフレームデータを画面に表示する処理であり、ここでの処理に要した時間を測定する。測定された時間はS609にて表示処理待機時間として設定され、次回の表示処理が可能になった時点からS603での表示処理を待機させる時間となる。この待機処理はS602からS604であり、表示処理の実行を一定の時間（所定の間引き率で）待機させることで受信側の処理負荷を低減させることができる。これは第２の間引き処理に相当し、受信側の処理負荷によって転送処理自体が遅延してしまうことを防ぐことができる。

なお、上記第２の間引き処理においては、フレームデータの複号化に要する時間に応じて上記所定の間引き率（割合）を決定を決定してもよい。更に、表示処理に要する時間に応じて間引き回数を決定し、この間引き回数で間引き処理を実行してもよい。また、本実施形態では、表示処理待機時間を前回の表示処理に要した時間として受信側の能力によって表示画像を適切に間引くこととしたが、表示処理待機時間を一定の時間に固定しても本発明は実現できる。

図７は、動画像データ受信中に受信側で表示されるユーザインタフェース画面を示している。

転送処理の進捗状況が画像702で表され、この進捗状況に合わせたダイジェスト動画像（代表静止画像）701が表示される。また、転送対象となった動画像データにサムネイルが付随されている場合には、転送開始からダイジェスト動画像の再生が始まるまでの間はこのサムネイルをダイジェスト動画像701の代わりに表示する。703はキャンセルボタンであり、これを操作することにより転送を中断又は中止することができる。

以上の処理によって転送と表示の同期を実現され、転送速度を低下させることなく転送の進捗に合致した内容を画面に表示することができる。

［第２の実施形態］
次に、第２の実施形態として、転送される動画像データがフレーム間相関を持つMPEG形式の場合について説明する。

本実施形態では、解析処理部の処理内容と受信側での表示内容についても第１の実施形態とは異なっている。本実施形態における送信側であるデジタルカメラと受信側であるPCの構成は、上記第１の実施形態と同一である。また、受信側の転送処理部301の動作についても同一である。

以下では、第１の実施形態と異なる解析処理302部及び表示処理部303での動作及び表示内容について図８〜図１０を用いて説明する。

本実施形態では、解析処理部がMPEG形式のデータを解析し、それに含まれるI/P/Bピクチャのうち他のピクチャとの独立性の高いIピクチャのみを表示対象として表示処理部にセットする。

図８を用いて解析処理部の動作について説明する。

解析処理部は、転送処理部301に対する処理負荷が増加しないように、S406でキャッシュされた受信データがセットされるまでS801にて待機している。S406でキャッシュされた受信データがが解析処理部302にセットされると、解析処理部302は処理をS802に進める。S802では受信データを解析対象として追加するが、既に解析データが存在する場合にはその末尾に新規データとして追加する。S803では解析データから先頭のI/P/Bピクチャを検出するための解析処理を行い、そこまでに蓄積されている解析データを逐次解析して解析データ内の先頭にあるI/P/Bいずれかのピクチャを検出する。S803でピクチャが検出されたかどうかはS804で判定される。S804でピクチャが検出されていればS805に進み、検出されていなければピクチャとしてのデータが不足していたと判断して処理をS801に戻す。S805ではS804で検出されたピクチャのデータを解析データから抽出して解析データから該当ピクチャに対応する部分までのデータを全て削除する。この削除した結果残る残データは、検出されたピクチャより後ろのピクチャのデータに関するものなので解析データとして残したままとする。S805で抽出したピクチャは、S806でI/P/Bのいずれであるかを判定し、Iピクチャであった場合にはS807に進み、そうでない場合は処理をS801に戻す。S807ではS806で検出されたIピクチャを表示処理部303にセットする。この際、表示処理部303にセットした前回のピクチャデータを処理できていなければ、今回のピクチャデータで上書きすることで最新のピクチャデータのみを表示処理部が参照できるようにする。これは、転送の進捗と表示内容を同期させるための第１の間引き処理に相当する。

続くS808では、転送処理部301から終了要求があったかどうかを検出し、終了要求があった場合は処理を終了し、そうでない場合には処理をS803に戻して残りの解析データに対して引き続き解析を行う。

以上の処理によって、解析処理部302は転送処理部301によってセットされたデータ全てのピクチャを検出することができ、かつ表示処理部303の遅延によって発生する転送状況の進捗と表示処理の進捗を同期させることができる。

図９及び図１０は、動画像データ受信中に受信側で表示されるユーザインタフェース画面を示している。

転送処理の進捗状況が画像903で表され、この進捗状況に合わせたダイジェスト動画像（代表静止画像）901が表示される。また、転送対象となった動画像データにサムネイルが付随されている場合には、転送開始からダイジェスト動画像の再生が始まるまでの間はこのサムネイルをダイジェスト動画像901の代わりに表示する。902は、ダイジェスト動画像901の表示処理の進捗を表わしており、903と合わせて転送と表示内容の進捗を個別に同時に表示することができる。また、転送状況と表示内容とにずれが生じているかどうかを902と903の進捗状況を比較することで確認することができる。904はキャンセルボタンであり、これを操作することにより転送を中断又は中止することができる。905は表示モードを変更するためのボタンであり、押下することにより表示内容を図１０のように変更することができる。

図１０において、1003は図９の903と同じく転送の進捗を示したもので、1004はキャンセルボタンである。1005は表示モードを変更するためのボタンであり、押下することにより表示内容を図９に変更することができる。また、転送開始直後の表示内容を受信側に設定することで図９及び図１０に示した画面のどちらか一方を選択することができる。

［他の実施形態］
以上、本発明に係る実施形態について具体例を用いて詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、図示の機能ブロック及び動作において、いずれの部分をハードウェア回路により実現し、或いはコンピュータを用いたソフトウェア処理によって実現しても達成されることは言うまでもない。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該プログラムコードを読み出して実行することになる。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行うことによっても実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のCPU等が実際の処理の一部又は全部を行うことによっても実現される。

本発明に係る実施形態の受信側となるPCの構成を示すブロック図である。本発明に係る実施形態の送信側装置と受信側装置とを接続したシステム構成図である。転送処理部301、解析処理部302、表示処理部303が並列に動作してデータのやり取りを行う流れを示す図である。第１の実施形態の転送処理を示すフローチャートである。第１の実施形態の解析処理を示すフローチャートである。第１の実施形態の表示処理を示すフローチャートである。第１の実施形態の動画像データ受信中に受信側で表示されるユーザインタフェース画面を示す図である。第２の実施形態の解析処理を示すフローチャートである。第２の実施形態の動画像データ受信中に受信側で表示されるユーザインタフェース画面を示す図である。第２の実施形態の動画像データ受信中に受信側で表示されるユーザインタフェース画面を示す図である。従来例による動画像データの転送開始までの送信側での動作を示したフローチャートである。

符号の説明

101 CPU
102 HDD
103 メモリデバイス
104 操作部
105 ディスプレイ
106 外部記憶媒体ドライブ
107 内部バス
201 PC
202 デジタルカメラ
203 通信ケーブル

Claims

動画像データから静止画像データを抽出して再生する装置であって、
送信側装置から動画像データを受信する受信手段と、
前記受信手段により受信中の動画像データから静止画像データを生成する画像生成手段と、
前記受信手段による受信中に前記画像生成手段により生成された静止画像データを表示する表示手段と、を具備することを特徴とする装置。
前記画像生成手段は、
前記受信手段により受信した符号化された動画像データから、前記表示手段により表示可能な最小単位の画像フレームを検出する解析手段と、
前記解析手段により検出された最小単位の画像フレームを、前記受信手段による受信処理と前記表示手段による表示処理の各負荷状態に応じて間引く第１の間引き手段と、
前記間引き手段により間引かれなかった画像フレームを復号化し、前記表示手段に表示させる復号化手段と、を備えることを特徴とする請求項１に記載の装置。
前記受信手段により受信した符号化された動画像データを順次保存する保存手段を更に備えることを特徴とする請求項１に記載の装置。
前記動画像データに縮小画像が付加されている場合、前記画像生成手段により生成された静止画像データに代えて前記表示手段に前記縮小画像が表示されることを特徴とする請求項１に記載の装置。
前記第１の間引き手段による間引き後の画像フレームを所定の割合で更に間引く第２の間引き手段を有することを特徴とする請求項２に記載の装置。
前記第２の間引き手段は、前記復号化手段による複号化に要する時間に応じて前記所定の割合を決定することを特徴とする請求項５に記載の装置。
前記第２の間引き手段は、前記表示手段による表示処理に要する時間に応じて間引き回数を決定することを特徴とする請求項５に記載の装置。
動画像データから静止画像データを抽出して再生する方法であって、
送信側装置から動画像データを受信する受信工程と、
前記受信工程により受信中の動画像データから静止画像データを生成する画像生成工程と、
前記受信工程による受信中に前記画像生成工程により生成された静止画像データを表示する表示工程と、を具備することを特徴とする方法。
請求項８に記載の方法をコンピュータに実行させるためのプログラム。
請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。