JP2008270908A - Information processor, and control method, program and storage medium thereof - Google Patents

Information processor, and control method, program and storage medium thereof Download PDF

Info

Publication number
JP2008270908A
JP2008270908A JP2007107356A JP2007107356A JP2008270908A JP 2008270908 A JP2008270908 A JP 2008270908A JP 2007107356 A JP2007107356 A JP 2007107356A JP 2007107356 A JP2007107356 A JP 2007107356A JP 2008270908 A JP2008270908 A JP 2008270908A
Authority
JP
Japan
Prior art keywords
frame data
frame
moving image
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007107356A
Other languages
Japanese (ja)
Inventor
Takashi Aizawa
隆志 相沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007107356A priority Critical patent/JP2008270908A/en
Publication of JP2008270908A publication Critical patent/JP2008270908A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video system capable of reproducing an image file by an information processor such as a PC while transferring the image file to the information processor from an image processor such as a digital camera, which is not adaptive to streaming. <P>SOLUTION: The information processor receives index data in which frame data included in a motion image file are described from the image processor, and requests frame data from the image processor in order. At this time, the frame data which are requested are determined based upon an elapsed time from reproduction and a time needed to transfer the frame data. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、例えば、パーソナルコンピュータなどの情報処理装置と画像処理装置とを接続し、動画を転送するシステムに関する。   The present invention relates to a system that connects an information processing apparatus such as a personal computer and an image processing apparatus and transfers a moving image.

デジタルカメラとパーソナルコンピュータ(以下、PCという)等の情報処理装置とをケーブル等の通信回線で接続し、デジタルカメラ側に記録された画像データ等の情報をPCに転送するシステムがある。   There is a system in which a digital camera and an information processing apparatus such as a personal computer (hereinafter referred to as a PC) are connected by a communication line such as a cable, and information such as image data recorded on the digital camera side is transferred to the PC.

デジタルカメラは、静止画の他に動画も撮影可能なものが多く、動画データはデジタルカメラ内では1つのファイルとして記録される。その記録方式は種々の方式があるが、その1つに、AVIファイルフォーマットにモーションJPEGというエンコード形式で記録する方式がある。   Many digital cameras can shoot moving images in addition to still images, and moving image data is recorded as one file in the digital camera. There are various recording methods, and one of them is a method of recording in the AVI file format in an encoding format called motion JPEG.

この方式では、動画のフレーム間での相関はパラメータとして用いないため、ファイルサイズ自体は大きくなる傾向にある。しかし、1つ1つのフレームデータは静止画で利用されているJPEGフォーマットと同等の画質を有し、画質優れている。   In this method, since the correlation between frames of a moving image is not used as a parameter, the file size itself tends to increase. However, each frame data has an image quality equivalent to that of the JPEG format used for still images and is excellent in image quality.

デジタルカメラで撮影された静止画ファイルおよび動画ファイルは、一般にはPC等に転送されて、PC内の記録媒体に記録される。PCとデジタルカメラとの間でのデータ転送には、USB(ユニバーサルシリアルバス)等の有線ケーブルで両者を接続し通信を行うのが一般的である。   A still image file and a moving image file shot by a digital camera are generally transferred to a PC or the like and recorded on a recording medium in the PC. For data transfer between a PC and a digital camera, communication is generally performed by connecting both with a wired cable such as a USB (Universal Serial Bus).

PCとデジタルカメラとのデータ交換するためのプロトコルは複数存在する。例えば、USBのStill Imaging Device Classで規定されているPTP(Picture Transfer Protocol)がある。また、Massストレージデバイスクラスで定義されているプロトコルもある。   There are a plurality of protocols for exchanging data between a PC and a digital camera. For example, there is PTP (Picture Transfer Protocol) defined by USB Still Imaging Device Class. There is also a protocol defined in the Mass storage device class.

PTPはオブジェクトベースのプロトコルであり、デジタルカメラ内に存在するデータの塊を1つのオブジェクトと呼ばれる単位で管理する。例えば、静止画ファイルは1つのオブジェクトであり、動画ファイルも1つのオブジェクトである。そして、そのオブジェクト単位でデータの転送を行う。   PTP is an object-based protocol that manages data chunks existing in a digital camera in units called objects. For example, a still image file is one object, and a moving image file is also one object. Then, data is transferred in units of objects.

一方で、動画等のコンテンツはインターネットを介して配布されたり配信されたりしており、その場合には、所謂ストリーミング配信等が多く用いられている。ストリーミング配信は、サーバなどから転送された大きな動画データを、クライアント端末側が順次受信しながら、受信が完了したデータから再生(ストリーミング再生)する仕組みである。   On the other hand, contents such as moving images are distributed or distributed via the Internet, and in that case, so-called streaming distribution or the like is often used. Streaming distribution is a mechanism in which large moving image data transferred from a server or the like is reproduced (streaming reproduction) from data that has been received while the client terminal side sequentially receives the data.

従って、ストリーミング配信・再生は転送データが大きくなることが多い動画データの転送方法として有益である。しかしながら、ストリーミング配信を実現するためには、データやサーバ、クライアント端末がストリーミング配信システムに対応するための特別な仕組みを備えることが必要になる。   Therefore, streaming distribution / playback is useful as a moving image data transfer method in which transfer data often increases. However, in order to realize streaming distribution, it is necessary that the data, server, and client terminal have a special mechanism for supporting the streaming distribution system.

上記のような特別な仕組みを備えずにストリーミング配信システムを実現する手段として、ストリーミング配信に対応していないサーバをストリーミング配信に対応したサーバとしてシミュレートする技術が提案されている(特許文献1)。   As a means for realizing a streaming distribution system without providing a special mechanism as described above, a technique for simulating a server that does not support streaming distribution as a server that supports streaming distribution has been proposed (Patent Document 1). .

この提案では、動画データなどを複数のセグメントに分割して別々のURLに配置し、各URLのリストをヘッダーから取得する。ヘッダーには、ストリーミング再生するか、手動でインタラクションするかを示す情報があり、この情報を参照して動作を変える。URLの移動タイミングはブラウザで計って実行することにより、ストリーミング配信をシミュレートする。
特開平11−328073号公報
In this proposal, moving image data or the like is divided into a plurality of segments and arranged in separate URLs, and a list of each URL is obtained from the header. The header includes information indicating whether to perform streaming reproduction or manual interaction, and the operation is changed with reference to this information. Streaming delivery is simulated by measuring and executing the URL movement timing by a browser.
JP 11-328073 A

現在、デジタルカメラ等の小型の撮像装置においては、モーションJPEGのAVIファイルに対応している場合が多い。AVIファイルの動画データはPCでは汎用的に利用されている上に、画質の面で優れている。   Currently, small imaging devices such as digital cameras often support motion JPEG AVI files. The moving image data of the AVI file is widely used on a PC and is excellent in image quality.

しかし、現在のデジタルカメラには、ROM(Read Only Memory)等のリソースの制約もあり、前述したストリーミング配信に対応した仕組みは実装されていない。   However, current digital cameras are also limited by resources such as ROM (Read Only Memory), and the above-described mechanism corresponding to streaming delivery is not implemented.

そのため、AVIファイルをデジタルカメラからPCに転送して表示する場合、まず、1つのファイルとしてすべての動画データをPCに転送する。そして、すべての動画データが転送された後、PCが動画ファイルを再生する。この方法は、単純で簡素であるが、動画のデータサイズが大きく、1つの動画ファイルを転送し終わるまで再生できない。したがって、再生が開始されるまでユーザはかなり待たされることになる。   For this reason, when an AVI file is transferred from a digital camera to a PC for display, first, all moving image data is transferred to the PC as one file. After all the moving image data is transferred, the PC reproduces the moving image file. This method is simple and simple, but the data size of the moving image is large and cannot be reproduced until one moving image file has been transferred. Therefore, the user waits for a long time until reproduction is started.

例えば、USB2.0のバスを利用した場合、デジタルカメラ内の内部メモリの読み出し速度等も影響し、実行転送速度は5MB/s程度である。その一方で、動画ファイルは、数分間の動画であってもそのサイズは500MB程度となる場合もある。そうすると、すべての動画データの転送が完了し再生が開始されるまで約2分待たされることになる。動画がHD(High Definition)になれば、さらにデータサイズは増大し、この傾向は大きくなる。   For example, when a USB 2.0 bus is used, the execution transfer speed is about 5 MB / s due to the influence of the reading speed of the internal memory in the digital camera. On the other hand, a moving image file may be about 500 MB in size even if it is a moving image of several minutes. Then, about 2 minutes are waited until the transfer of all the moving image data is completed and the reproduction is started. If the moving image becomes HD (High Definition), the data size further increases, and this tendency increases.

そこで本発明は、撮像装置などの画像処理装置からPCなどの情報処理装置に送信された動画ファイルを受信しながら、その受信データを再生することができる情報処理装置を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide an information processing apparatus capable of reproducing received data while receiving a moving image file transmitted from an image processing apparatus such as an imaging apparatus to an information processing apparatus such as a PC. .

上記目的を達成するために、本発明の情報処理装置は、画像処理装置に通信回線を介して接続され、前記画像処理装置に記録された動画ファイルを前記通信回線を介して受信して再生する情報処理装置であって、前記画像処理装置に記録された動画ファイルに含まれるフレームデータのインディクス情報を受信するインディクス受信手段と、前記画像処理装置から前記フレームデータが転送される速度を計測する計測手段と、前記転送の速度とフレームデータの再生開始からの経過時間と前記インディクス情報とに基づき、次に取得するフレームデータを決定する決定手段と、前記決定手段により決定されたフレームデータの取得要求を前記画像処理装置に送信するフレーム要求手段とを備えることを特徴とする。   To achieve the above object, an information processing apparatus of the present invention is connected to an image processing apparatus via a communication line, and receives and reproduces a moving image file recorded on the image processing apparatus via the communication line. An information processing apparatus, an index receiving means for receiving index information of frame data included in a moving image file recorded in the image processing apparatus, and a rate at which the frame data is transferred from the image processing apparatus Measuring means for determining, frame data determined by the determining means, determining means for determining next frame data to be acquired based on the transfer speed, the elapsed time from the start of frame data reproduction, and the index information Frame request means for transmitting the acquisition request to the image processing apparatus.

本発明の情報処理装置の制御方法は、画像処理装置に通信回線を介して接続され、前記画像処理装置に記録された動画ファイルを前記通信回線を介して受信して再生する情報処理装置の制御方法であって、前記画像処理装置に記録された動画ファイルに含まれるフレームデータのインディクス情報を受信するインディクス受信ステップと、前記画像処理装置から前記フレームデータが転送される速度を計測する計測ステップと、前記転送の速度とフレームデータの再生開始からの経過時間と前記インディクス情報とに基づき、次に取得するフレームデータを決定する決定ステップと、前記決定ステップにより決定されたフレームデータの取得要求を前記画像処理装置に送信するフレーム要求ステップと、を備えることを特徴とする。   The method for controlling an information processing apparatus according to the present invention controls an information processing apparatus that is connected to an image processing apparatus via a communication line and receives and reproduces a moving image file recorded on the image processing apparatus via the communication line. An index receiving step for receiving index information of frame data included in a moving image file recorded in the image processing apparatus, and a measurement for measuring a speed at which the frame data is transferred from the image processing apparatus A determination step for determining next frame data to be acquired based on the transfer speed, an elapsed time from the start of frame data reproduction, and the index information; and acquisition of the frame data determined by the determination step A frame requesting step of transmitting a request to the image processing apparatus.

本発明によれば、撮像装置などの画像処理装置からPCなどの情報処理装置に送信された動画ファイルを受信しながら、その受信データを再生することができる。したがって、情報処理装置のユーザは動画ファイルの転送が完了することを待つことなく、動画ファイルを閲覧することができる。   According to the present invention, received data can be reproduced while receiving a moving image file transmitted from an image processing apparatus such as an imaging apparatus to an information processing apparatus such as a PC. Therefore, the user of the information processing apparatus can view the moving image file without waiting for the transfer of the moving image file to be completed.

以下、本発明の実施の形態の一例を図を参照して説明する。   Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.

図1は、本発明の実施の形態の一例である映像システムを説明するためのブロック図である。図1に示すように、この映像システムは、画像処理装置、特に撮像装置の一種であるデジタルカメラ100と、情報処理装置の一種であるPC101とが通信回線112を介して接続されている。通信回線はUSBケーブルなどを用いることができるが、有線の回線に限らず、例えば無線LANなどの無線の回線を用いることも可能である。   FIG. 1 is a block diagram for explaining a video system which is an example of an embodiment of the present invention. As shown in FIG. 1, in this video system, an image processing apparatus, in particular, a digital camera 100 that is a kind of imaging apparatus and a PC 101 that is a kind of information processing apparatus are connected via a communication line 112. The communication line can be a USB cable or the like, but is not limited to a wired line, and a wireless line such as a wireless LAN can also be used.

PC101は、図示は省略するが、演算処理装置(CPU)といった制御部、1次記憶装置(RAM)、2次記憶装置(ハードディスク)といった記憶部、操作部(キーボード、マウス)、および表示部(ディスプレイ)等を備える。   Although not shown, the PC 101 includes a control unit such as an arithmetic processing unit (CPU), a primary storage device (RAM), a storage unit such as a secondary storage device (hard disk), an operation unit (keyboard and mouse), and a display unit ( Display) and the like.

デジタルカメラ100は、レンズ、CCD、駆動回路等を含む光学ユニット105、画像データ等を処理する信号処理装置104、CPU等の演算装置103を備える。さらに、DRAM等の1次記憶装置106、内蔵フラッシュROM等の2次記憶装置107といった記憶部を備える。   The digital camera 100 includes an optical unit 105 including a lens, a CCD, a drive circuit, a signal processing device 104 that processes image data, and an arithmetic device 103 such as a CPU. Further, a storage unit such as a primary storage device 106 such as a DRAM and a secondary storage device 107 such as a built-in flash ROM is provided.

また、デジタルカメラ100は、操作部材108、LCD等の表示部109、プログラム格納等に使用されるROM等の読み出し専用メモリ110、CFカード等の着脱可能な記録媒体111、およびPC101の接続を管理する通信制御装置102を備える。   In addition, the digital camera 100 manages the connection of the operation member 108, a display unit 109 such as an LCD, a read-only memory 110 such as a ROM used for storing programs, a removable recording medium 111 such as a CF card, and the PC 101. The communication control apparatus 102 is provided.

通信制御装置102は、USB等の有線接続、ワイヤレスLAN等の無線接続の通信形態に対応できる。USBの場合には、USBデバイスコントローラ等が通信制御装置102に内蔵され、ワイヤレスLANの場合には、無線通信モジュールなどが通信制御装置102に包含される。なお、デジタルカメラの種類によっては、記録媒体111および2次記憶装置107のいずれか一方を備えていてもよい。   The communication control apparatus 102 can correspond to a communication form of wired connection such as USB or wireless connection such as wireless LAN. In the case of USB, a USB device controller or the like is built in the communication control apparatus 102, and in the case of a wireless LAN, the communication control apparatus 102 includes a wireless communication module or the like. Depending on the type of digital camera, either the recording medium 111 or the secondary storage device 107 may be provided.

次に、図2を参照して、映像システムの動作モデルについて説明する。   Next, an operation model of the video system will be described with reference to FIG.

PC101で動作するアプリケーションには、再生画像を表示する表示領域202、再生開始ボタン204、逆再生開始ボタン203、再生停止ボタン205、再生一時停止ボタン206、コマ戻しボタン207、コマ送りボタン208が配置されている。   The application running on the PC 101 includes a display area 202 for displaying a playback image, a playback start button 204, a reverse playback start button 203, a playback stop button 205, a playback pause button 206, a frame return button 207, and a frame advance button 208. Has been.

PC101に接続されたデジタルカメラ100には、表示領域210、光学ファインダ211、逆再生開始ボタン212、再生開始ボタン213、一時停止ボタン214、こま戻しボタン215、コマ送りボタン217、停止ボタン216等が配置されている。   The digital camera 100 connected to the PC 101 includes a display area 210, an optical viewfinder 211, a reverse playback start button 212, a playback start button 213, a pause button 214, a frame return button 215, a frame advance button 217, a stop button 216, and the like. Has been placed.

なお、各ボタンは機器を操作するための操作部として機能するが、物理的な操作部材を用いてもよいし、表示領域202や表示領域210に表示させたアイコンなどをポインティングデバイスで操作するようにしてもよい。   Each button functions as an operation unit for operating the device. However, a physical operation member may be used, and icons displayed on the display area 202 and the display area 210 may be operated with a pointing device. It may be.

本実施形態では、デジタルカメラ100内に記憶された動画ファイルをPC101に送信する場合について考える。PC101上はこのとき、アプリケーションを用いて、デジタルカメラ100から送信された動画ファイルを受信しながら、表示領域202に受信した画像を表示する。さらに表示を行いながらPC101側のHDD(ハードディスク装置)等に受信した画像を記憶する。   In the present embodiment, a case where a moving image file stored in the digital camera 100 is transmitted to the PC 101 will be considered. At this time, the PC 101 displays the received image in the display area 202 while receiving the moving image file transmitted from the digital camera 100 using the application. Further, the received image is stored in an HDD (hard disk device) or the like on the PC 101 side while being displayed.

なお、ユーザが動画の再生や停止などを指示する操作を行う場合、デジタルカメラ100に設置されている各種ボタン類を操作する。また、ユーザはPC101側に表示されているコントロール(ボタン)類を操作してもよい。   Note that when the user performs an operation for instructing playback or stop of a moving image, various buttons and the like installed on the digital camera 100 are operated. The user may operate controls (buttons) displayed on the PC 101 side.

ここで、図4を参照して、本実施形態におけるPC101側の表示領域202、デジタルカメラ100側の表示領域210の画面遷移の概要を説明する。   Here, with reference to FIG. 4, the outline of the screen transition of the display area 202 on the PC 101 side and the display area 210 on the digital camera 100 side in this embodiment will be described.

まず、状態401は静止状態である。この状態では動画は停止している。この静止状態のときは、PC101の表示領域202側にもデジタルカメラ100側の表示領域210にも、同一のフレーム画像が表示されている。静止状態401において、ユーザから動画の再生指示があると動画再生状態402に移行する。動画再生状態402では、PC101側の表示領域202で動画が再生される。動画再生状態402では、PC101側の表示領域202のみで動画再生を行う。デジタルカメラ100側の表示領域210には、PC101側で動画が再生中であることをユーザに認識させるため、予め定められた文字列やアイコンの表示を行う。   First, the state 401 is a stationary state. In this state, the movie is stopped. In this stationary state, the same frame image is displayed on both the display area 202 side of the PC 101 and the display area 210 on the digital camera 100 side. In the still state 401, when the user gives an instruction to play a moving image, the state shifts to the moving image playing state 402. In the moving image reproduction state 402, a moving image is reproduced in the display area 202 on the PC 101 side. In the movie playback state 402, movie playback is performed only in the display area 202 on the PC 101 side. In the display area 210 on the digital camera 100 side, a predetermined character string or icon is displayed in order to make the user recognize that a moving image is being reproduced on the PC 101 side.

動画再生状態402でもデジタルカメラ100側の表示領域210で動画を再生することは可能である。しかし、表示領域202と表示領域210との動画を同期して再生することは非常に困難である。したがって、2つの動画の画像及び音声が少しずれて再生されることとなり、好ましくない。そこで、表示領域202では動画を表示していない。   Even in the moving image reproduction state 402, it is possible to reproduce a moving image in the display area 210 on the digital camera 100 side. However, it is very difficult to reproduce the moving images in the display area 202 and the display area 210 in synchronization. Therefore, the images and sounds of the two moving images are reproduced with a slight shift, which is not preferable. Therefore, no moving image is displayed in the display area 202.

動画再生状態402において、ユーザがデジタルカメラ100かPC101を操作して、動画再生を一時停止もしくは停止させる指示が行われた場合には、一時停止状態403に移行する。一時停止状態403では、PC101側の表示領域202 に表示されているフレームと同じフレーム画像がデジタルカメラ100の表示領域210にも表示される。これにより、動画再生を止めたときのフレームについては、PC101側とデジタルカメラ100側とで同期がとれるようになっている。   When the user operates the digital camera 100 or the PC 101 in the moving image playback state 402 and gives an instruction to pause or stop the moving image playback, the process proceeds to the pause state 403. In the paused state 403, the same frame image as the frame displayed in the display area 202 on the PC 101 side is also displayed in the display area 210 of the digital camera 100. As a result, the frame when the moving image reproduction is stopped can be synchronized between the PC 101 side and the digital camera 100 side.

この状態から、ユーザがデジタルカメラ100かPC101を操作して、動画のコマ送りをが指示された場合には、コマ送り状態404に移行する。コマ送り状態404では、フレームコマ数を合わせる制御がなされPC101、デジタルカメラ100双方でコマ送りが行われる。したがって、コマ送り操作中は表示領域202及び表示領域210には同じ画面が静止画として表示される。   From this state, when the user operates the digital camera 100 or the PC 101 and is instructed to move the frame of the moving image, the frame transition state 404 is entered. In the frame advance state 404, control is performed to match the number of frame frames, and frame advance is performed by both the PC 101 and the digital camera 100. Therefore, the same screen is displayed as a still image in the display area 202 and the display area 210 during the frame advance operation.

次に、図3を参照して、PC101側の動画転送に関するモジュール構成を説明する。   Next, referring to FIG. 3, a module configuration relating to moving image transfer on the PC 101 side will be described.

なお、本実施形態ではPCのHDDなどに記憶されたプログラムや入力信号にしたがい、CPUなどのハードウエアが各部を制御することにより、各モジュールに定められた機能を果たすことになる。   In this embodiment, according to a program or an input signal stored in the HDD of the PC, hardware such as a CPU controls each unit, thereby performing a function defined for each module.

フレーム転送モジュール301は、動画のフレームを転送するために動作するものである。デジタルカメラ100とデータをやり取りするため、PC101に搭載されているUSBコントローラなどに接続されている。通信制御モジュール302は、動画フレームデータ以外のコマンドやデータの交換をデジタルカメラ100と行うため、PC101に搭載されているUSBコントローラなどに接続されている。表示モジュール304は動画および静止画を表示するためモジュールである。保存モジュール305は転送された動画フレームデータをPC101上のHDDに記録するためのモジュールである。   The frame transfer module 301 operates to transfer a moving image frame. In order to exchange data with the digital camera 100, the digital camera 100 is connected to a USB controller or the like mounted on the PC 101. The communication control module 302 is connected to a USB controller or the like mounted on the PC 101 in order to exchange commands and data other than moving image frame data with the digital camera 100. A display module 304 is a module for displaying moving images and still images. The storage module 305 is a module for recording the transferred moving image frame data in the HDD on the PC 101.

そして、これらのモジュール群を制御するのが転送フレーム管理モジュール303である。このモジュールが、後述する取得フレームの計算やコマ落ちフレームの管理、バックグラウンド転送などを行う。   The transfer frame management module 303 controls these module groups. This module performs later-described calculation of acquired frames, management of dropped frames, background transfer, and the like.

次に、図5を参照して、動画ファイルの形式であるAVIファイルの形態について説明する。   Next, with reference to FIG. 5, the form of the AVI file, which is a moving image file format, will be described.

AVIファイルは、ビデオ情報を含むビデオストリームヘッダー502とオーディオ情報を含むオーディオストリームヘッダー503とを包含するメインヘッダー501がファイル先頭に配置されている。そして、ファイルの最後尾に各ビデオ、オーディオデータへのオフセット値を持たせたインディクステーブル508を含むインディクスチャンク505が配置されている。   In the AVI file, a main header 501 including a video stream header 502 including video information and an audio stream header 503 including audio information is arranged at the head of the file. An index chunk 505 including an index table 508 having offset values for each video and audio data is arranged at the end of the file.

メインヘッダー501とインディクスチャンク505との間には、インディクステーブル508に格納されたオフセットどおりに各本体データが格納されて、1つのファイルとして構成されている。このインディクステーブル508を参照することで、デジタルカメラ100やPC101は、特定のフレーム番号のデータをランダムに読み出すことが可能となる。なお、本実施の形態では、AVIファイルを例に説明したが、特定のフレームデータをランダムに読み出せるフォーマットであればAVIファイルに限定されない。   Each main body data is stored between the main header 501 and the index chunk 505 according to the offset stored in the index table 508, and is configured as one file. By referring to the index table 508, the digital camera 100 and the PC 101 can read out data of a specific frame number at random. In the present embodiment, an AVI file has been described as an example. However, the format is not limited to an AVI file as long as specific frame data can be read at random.

次に、図7を参照して、図3で説明した各モジュール間の動作例を説明する。前述したようにユーザはデジタルカメラ100を操作することでも、PC101を操作することでも動画の再生・停止などを指示できるが、ここではデジタルカメラ100を操作するものとする。   Next, an operation example between the modules described in FIG. 3 will be described with reference to FIG. As described above, the user can instruct playback / stopping of a moving image by operating the digital camera 100 or operating the PC 101, but it is assumed here that the digital camera 100 is operated.

まず、デジタルカメラ100のユーザの操作に応じて、デジタルカメラ100は動画再生スタートの要求をPC101に送信する。この際、再生する動画を特定する情報、例えばファイル名やファイルのID(UUID)を送信する。PC101が動画再生スタートの要求を受信すると、通信制御モジュール302にイベントとして通知される(T701)。   First, in response to a user operation of the digital camera 100, the digital camera 100 transmits a moving image playback start request to the PC 101. At this time, information specifying a moving image to be reproduced, for example, a file name or a file ID (UUID) is transmitted. When the PC 101 receives the moving image playback start request, it is notified as an event to the communication control module 302 (T701).

通知を受けると、通信制御モジュール302はデジタルカメラ100に対し、動画ファイルのヘッダー部分の取得要求を送信する(T702)。   Upon receiving the notification, the communication control module 302 transmits an acquisition request for the header portion of the moving image file to the digital camera 100 (T702).

デジタルカメラ100からヘッダー情報を受信すると(T703)、通信制御モジュール302は、受信したヘッダー情報を参照してフレームレートやトータルフレーム数などの情報を取得する。通信制御モジュール302は、取得した情報を転送フレーム管理モジュール303に渡す(T704)。   When the header information is received from the digital camera 100 (T703), the communication control module 302 refers to the received header information and acquires information such as the frame rate and the total number of frames. The communication control module 302 passes the acquired information to the transfer frame management module 303 (T704).

その後、通信制御モジュール302はデジタルカメラ100に対して動画ファイルのインディクスチャンクの取得要求を送信する(T705)。そしてデジタルカメラ100から送信されたインディクステーブルのデータ(インディクス情報)を受信し(T706)(インディクス受信手段)、転送フレーム管理モジュール303へと渡す(T707)。   After that, the communication control module 302 transmits a moving image file index chunk acquisition request to the digital camera 100 (T705). Then, the index table data (index information) transmitted from the digital camera 100 is received (T706) (index receiving means) and transferred to the transfer frame management module 303 (T707).

ここで、転送フレーム管理モジュール303は、再生データ情報及びインディクステーブルに基づき、図6で示すようなフレーム・表示時間管理テーブルを作成する。   Here, the transfer frame management module 303 creates a frame / display time management table as shown in FIG. 6 based on the reproduction data information and the index table.

フレーム・表示時間管理テーブルのうち、601は表示開始からの時間を示すタイムスケールである。602はタイムスケール601の時点でのフレーム番号である。603はインディクステーブルから導き出したデータへのオフセットアドレスである。604は転送が完了したかどうかを示す読み込みフラグである。PC101は、再生データ情報及びインディクステーブルを参照することで、再生するために取得すべきフレームと読み込みの有無を知ることができる。   In the frame / display time management table, reference numeral 601 denotes a time scale indicating the time from the start of display. Reference numeral 602 denotes a frame number at the time scale 601. Reference numeral 603 denotes an offset address to the data derived from the index table. Reference numeral 604 denotes a read flag indicating whether or not the transfer is completed. By referring to the reproduction data information and the index table, the PC 101 can know the frame to be acquired for reproduction and the presence or absence of reading.

また、転送フレーム管理モジュール303は、再生データ情報及びインディクステーブルを保存モジュール305に渡す(T741)。保存モジュール305は、再生データ情報及びインディクステーブルをRAMまたはHDDに記憶する。   The transfer frame management module 303 passes the reproduction data information and the index table to the storage module 305 (T741). The storage module 305 stores the reproduction data information and the index table in the RAM or HDD.

引き続き、図7を用いて説明にする。通信制御モジュール302は、転送フレーム管理モジュール303に対して再生スタートの命令を発行する(T708)。再生スタートの命令の命令を受けた転送フレーム管理モジュール303は、まず、最初のフレームを読み取るようにフレーム転送モジュール301に指示する(T709)。   The description will be continued with reference to FIG. The communication control module 302 issues a playback start command to the transfer frame management module 303 (T708). Upon receiving the playback start command, the transfer frame management module 303 first instructs the frame transfer module 301 to read the first frame (T709).

フレーム転送モジュール301は、第一フレームの取得をデジタルカメラ100に対して行う(T710)。この際、フレーム転送モジュール301は転送データの転送における転送速度を計測する(T712)。   The frame transfer module 301 acquires the first frame from the digital camera 100 (T710). At this time, the frame transfer module 301 measures the transfer rate for transferring the transfer data (T712).

フレーム転送モジュール301は、第一フレームのデータを受信する(T711)。そして受信した第一フレームのデータを転送フレーム管理モジュール303に渡す(T714)と共に、計測した転送速度を転送フレーム管理モジュール303に通知する(T713)。転送フレーム管理モジュール303は、第一フレームデータを表示モジュール304に渡して(T717)、表示用タイマーをスタートさせる(T715)。   The frame transfer module 301 receives the first frame data (T711). The received first frame data is transferred to the transfer frame management module 303 (T714), and the measured transfer rate is notified to the transfer frame management module 303 (T713). The transfer frame management module 303 passes the first frame data to the display module 304 (T717) and starts a display timer (T715).

また、転送フレーム管理モジュール303は、第一フレームのデータを保存モジュール305にも渡す(T718)。保存モジュール305は、渡されたデータを後述する分割一次ファイルとしてRAMまたはHDDに記憶する。   Also, the transfer frame management module 303 passes the first frame data to the storage module 305 (T718). The storage module 305 stores the transferred data in the RAM or HDD as a divided primary file described later.

ここで、転送フレーム管理モジュール303は、取得フレーム算出処理を行い、次にどのフレームデータをデジタルカメラ100から取得するかを決定する(T716)(フレーム要求手段)。   Here, the transfer frame management module 303 performs an acquisition frame calculation process and determines which frame data to acquire from the digital camera 100 next (T716) (frame request means).

ここで取得フレーム算出処理における、取得フレームの算出方法について説明する。図8に、取得フレーム算出処理のフローを示す。   Here, an acquisition frame calculation method in the acquisition frame calculation process will be described. FIG. 8 shows a flow of acquisition frame calculation processing.

まず、ステップS801で、転送フレーム管理モジュール303は、T715でスタートさせた表示用タイマーの値を参照し、再生スタートからの経過時間を読み出す。   First, in step S801, the transfer frame management module 303 refers to the value of the display timer started in T715 and reads the elapsed time from the start of reproduction.

次にステップS802で、転送フレーム管理モジュール303は、あらかじめ記憶されている各処理にかかわるオーバーヘッドの時間をステップS801で読み出した経過時間に加算する。   In step S802, the transfer frame management module 303 adds the overhead time related to each process stored in advance to the elapsed time read in step S801.

次にステップS803で、転送フレーム管理モジュール303は、T712で計測された転送速度とフレームデータのサイズとから、転送にかかる時間を算出し、ステップS802で求めた時間に加算する。この転送時間を加算することで、次に再生できるタイムスケールがわかる。   Next, in step S803, the transfer frame management module 303 calculates the transfer time from the transfer rate measured in T712 and the size of the frame data, and adds it to the time obtained in step S802. By adding this transfer time, the time scale that can be reproduced next is known.

次にステップS804では、転送フレーム管理モジュール303は、図6のフレーム・表示時間管理テーブルを参照し、ステップS803で求めたタイムスケールから割り出されたフレーム番号(仮に第nフレームとする)のデータをオフセットアドレスに変換する。   Next, in step S804, the transfer frame management module 303 refers to the frame / display time management table in FIG. 6, and data of the frame number (assumed to be the nth frame) calculated from the time scale obtained in step S803. Is converted to an offset address.

このように、次に取得するアドレスは、再生開始からの時間と、各処理のオーバーヘッドの時間と、フレームデータの転送に要する時間に基づき求められる。つまり、PC101は単純にインディクスの先頭から順にフレームデータを要求せず、表示までの遅延時間を算出し、遅延した分のフレームの取得をスキップして、さらに先のフレームを要求する。   As described above, the address to be acquired next is obtained based on the time from the start of reproduction, the overhead time of each process, and the time required to transfer the frame data. That is, the PC 101 simply does not request frame data in order from the head of the index, calculates a delay time until display, skips acquisition of the delayed frame, and requests a further frame.

以上が取得フレーム算出処理である。以下、図7を用いた説明に戻る。   The above is the acquisition frame calculation process. Hereinafter, the description returns to FIG.

転送フレーム管理モジュール303は、オフセットアドレスを基にフレーム転送モジュール301に転送要求を出す(T719)。また、それと並行して転送フレーム管理モジュール303は、別スレッドで未転送管理スレッドを立ててフレーム・表示時間管理テーブルの読み込みフラグ604の監視を開始する。   The transfer frame management module 303 issues a transfer request to the frame transfer module 301 based on the offset address (T719). In parallel with this, the transfer frame management module 303 sets up an untransfer management thread in another thread and starts monitoring the read flag 604 of the frame / display time management table.

フレーム転送モジュール301は、第nフレームの取得要求をデジタルカメラ100に送信する(T720)。そしてデジタルカメラ100から送信された第nフレームのデータを受信すると(T721)、転送フレーム管理モジュール303に渡す(T722)。
転送フレーム管理モジュール303は第nフレームのデータを表示モジュール304に渡し(T723)、表示モジュール304は第nフレームのデータを表示する。また、転送フレーム管理モジュール303は第nフレームのデータを保存モジュール305に渡し(T724)、保存モジュールは第nフレームのデータをRAMまたはHDDに記憶する。この時点で転送フレーム管理モジュール303は別スレッドで動作している未転送管理スレッドの処理を行う。すなわち、フレーム・表示時間管理テーブルのうち、第nフレームの読み込みフラグ604をONにする。
The frame transfer module 301 transmits an acquisition request for the nth frame to the digital camera 100 (T720). When the nth frame data transmitted from the digital camera 100 is received (T721), the data is transferred to the transfer frame management module 303 (T722).
The transfer frame management module 303 passes the nth frame data to the display module 304 (T723), and the display module 304 displays the nth frame data. The transfer frame management module 303 passes the nth frame data to the storage module 305 (T724), and the storage module stores the nth frame data in the RAM or HDD. At this time, the transfer frame management module 303 performs processing of an untransferred management thread operating in another thread. That is, the reading flag 604 of the nth frame in the frame / display time management table is turned ON.

動画再生の停止などのイベントが発生しなければ、以上のシーケンスを繰り返し(T725〜T731)、受信したフレームを順次表示することで動画ファイルが再生される。   If no event such as the stop of moving image reproduction occurs, the above sequence is repeated (T725 to T731), and the received frame is sequentially displayed to reproduce the moving image file.

以下、途中で動画再生の停止要求または一時停止要求が発生した場合について説明する。ここでは一例として、停止要求が発生した場合について説明する。デジタルカメラ100のユーザの操作により動画の停止が指示されると、デジタルカメラ100は動画の停止要求をPC101に送信する。停止要求は通信制御モジュール302に通知される(T732)。通信制御モジュール302は転送フレーム管理モジュール303に動画を停止することを通知する(T733)。それを受けて転送フレーム管理モジュール303は、停止した時点で再生していたフレーム番号を通信制御モジュール302に返信する(T734)。本実施形態における、停止した時点で再生していたフレーム番号とは、停止の直前に転送フレーム管理モジュール303が表示モジュール304に渡したフレームデータの番号である。通信制御モジュール302は、デジタルカメラ100に対して停止したフレーム番号を送信する(T735)。   Hereinafter, a case where a moving image reproduction stop request or a pause request is generated in the middle will be described. Here, a case where a stop request is generated will be described as an example. When the stop of the moving image is instructed by a user operation of the digital camera 100, the digital camera 100 transmits a moving image stop request to the PC 101. The stop request is notified to the communication control module 302 (T732). The communication control module 302 notifies the transfer frame management module 303 that the moving image is to be stopped (T733). In response to this, the transfer frame management module 303 returns the frame number reproduced at the time of stopping to the communication control module 302 (T734). In the present embodiment, the frame number reproduced at the time of stopping is the number of frame data that is transferred to the display module 304 by the transfer frame management module 303 immediately before the stop. The communication control module 302 transmits the stopped frame number to the digital camera 100 (T735).

T735にてPC101から送信されたフレーム番号をデジタルカメラ100が受信すると、デジタルカメラ100は受信したフレーム番号に対応するフレームデータをデジタルカメラ100の表示領域210に表示する。これの処理により、PC101側の表示領域202に表示される静止画面と、デジタルカメラ100側の表示領域210に表示される静止画面とが同期して同じ画像となる。   When the digital camera 100 receives the frame number transmitted from the PC 101 at T735, the digital camera 100 displays frame data corresponding to the received frame number in the display area 210 of the digital camera 100. By this process, the still screen displayed in the display area 202 on the PC 101 side and the still screen displayed in the display area 210 on the digital camera 100 side are synchronized to form the same image.

動画の再生が停止または一時停止すると、デジタルカメラ100からPC101へのフレームデータの転送が止まる。このとき、転送フレーム管理モジュール303は立ち上げている未転送管理スレッドにて、未転送のフレームデータを取得する処理を行う。   When the reproduction of the moving image is stopped or paused, the transfer of frame data from the digital camera 100 to the PC 101 is stopped. At this time, the transfer frame management module 303 performs a process of acquiring untransferred frame data in the activated non-transfer management thread.

転送フレーム管理モジュール303、フレーム・表示時間管理テーブルの読み込みフラグ604を参照し、未転送のフレームデータ、すなわちフラグがOffになっているフレームのフレーム番号(ここではn+1番目とする)を読み出す(T742)。   With reference to the transfer frame management module 303 and the frame / display time management table read flag 604, the frame number of the untransferred frame data, that is, the frame whose flag is OFF (here, n + 1) is read (T742). ).

そして、読み出したフレーム番号をデジタルカメラ100から読み出すようフレーム転送モジュール301に要求する(T736)。もしn番目のフレームまですべてのフラグがOnであれば、転送フレーム管理モジュール303は順次n+1番目のフレーム、n+2番目のフレーム・・・と残りのフレームを順番に要求する。しかし、取得をスキップしたフレームがある場合には、スキップしたフレームも要求する。フレーム転送モジュール301は、デジタルカメラ100に対してn+1番目のフレームデータの取得要求を送信する(T737)。そして、デジタルカメラ100から送信されたフレームデータを受信する(T738)。そして、フレーム転送モジュール301は、受信したフレームデータを転送フレーム管理モジュール303に渡す(T739)。転送フレーム管理モジュール303は、保存モジュール305にフレームデータを渡す(T740)。保存モジュール305は、フレームデータを後述する分割一次ファイル(分割ファイル)としてRAMまたはHDDに記憶する。   Then, the frame transfer module 301 is requested to read the read frame number from the digital camera 100 (T736). If all the flags up to the nth frame are On, the transfer frame management module 303 sequentially requests the (n + 1) th frame, the (n + 2) th frame, and the remaining frames in order. However, if there is a frame for which acquisition has been skipped, the skipped frame is also requested. The frame transfer module 301 transmits an acquisition request for the (n + 1) th frame data to the digital camera 100 (T737). Then, the frame data transmitted from the digital camera 100 is received (T738). Then, the frame transfer module 301 passes the received frame data to the transfer frame management module 303 (T739). The transfer frame management module 303 passes the frame data to the storage module 305 (T740). The storage module 305 stores the frame data in the RAM or HDD as a divided primary file (divided file) described later.

この処理を該当する動画ファイルの全てのフレームが転送完了するまで繰り返す。この処理により、動画の表示を停止している間に、未転送のフレームデータを受信することができる。したがって、動画の再生を再開した場合に、データの転送を効率よく行うことが可能となる。このとき、動画の停止中にデータ転送が行われていることをユーザに知らせるための表示を行ってもよい。   This process is repeated until all frames of the corresponding moving image file have been transferred. By this process, untransferred frame data can be received while the display of the moving image is stopped. Therefore, when the reproduction of the moving image is resumed, the data can be transferred efficiently. At this time, a display for notifying the user that data transfer is being performed while the moving image is stopped may be performed.

図11に、動画の停止中にデータ転送が行われていることをユーザに知らせるための表示の一例を示す。   FIG. 11 shows an example of a display for notifying the user that data transfer is being performed while the moving image is stopped.

図11は一時停止状態のPC101側の表示画面を示している。図2と同様のボタン及び表示領域に加えて、プログレスバー1109が表示される。プログレスバー1109は、動画ファイル全体のうち、どのくらいの割合のデータがPC101に転送されたかを示すものである。動画の再生を開始する指示を受けると、データの転送が開始され、プログレスバー1109も動き出し、データ転送の進捗を表示する。そして途中で再生を停止した場合であっても、前述したように未転送フレームの転送処理を行うため、プログレスバー1109は動き続ける。そして、動画ファイルの転動が完全に終わるまで、すなわちすべてのフレームが転送された時点でプログレスバー1109は止まる。   FIG. 11 shows a display screen on the PC 101 side in a paused state. In addition to the same buttons and display area as in FIG. 2, a progress bar 1109 is displayed. A progress bar 1109 indicates how much of the entire moving image file has been transferred to the PC 101. When an instruction to start playback of a moving image is received, data transfer is started, and a progress bar 1109 also starts to display the progress of data transfer. Even when playback is stopped halfway, the progress bar 1109 continues to move because the transfer process of untransferred frames is performed as described above. The progress bar 1109 stops until the moving of the moving image file is completed, that is, when all the frames are transferred.

このような表示を行うことで、ユーザは動画の再生を停止した後でもデータの転送が行われていることを容易に把握することができる。したがって、動画の再生を停止したユーザが、未転送フレームが残った状態でデジタルカメラ100とPC101の接続を切断してしまう事態を防ぐことができる。   By performing such display, the user can easily grasp that data is being transferred even after the reproduction of the moving image is stopped. Therefore, it is possible to prevent a user who has stopped playing a moving image from disconnecting the connection between the digital camera 100 and the PC 101 with an untransferred frame remaining.

次に、保存モジュール305の動作について説明する。本実施形態におけるPC101は、フレームデータをフレーム番号通りに受信しない。したがって、受信したフレームデータを正しいフレームの順序に直し、動画ファイルを復元する処理を行う必要がある。以下、受信したフレームデータから動画ファイルを復元する処理について説明する。   Next, the operation of the storage module 305 will be described. The PC 101 in this embodiment does not receive frame data according to the frame number. Therefore, it is necessary to restore the received frame data to the correct frame order and restore the moving image file. Hereinafter, processing for restoring a moving image file from received frame data will be described.

前述したように、保存モジュール305は、T740で転送フレーム管理モジュール303から渡されるフレームデータを分割一次ファイルとして保存する。   As described above, the storage module 305 stores the frame data delivered from the transfer frame management module 303 at T740 as a divided primary file.

保存モジュール305は、分割一次ファイルのファイル名を、元の動画ファイルを特定できる識別情報(以下、「UUID」)とフレーム番号とから生成する。デジタルカメラ100で撮影された動画ファイルにはUUIDが付されていることが多いため、このUUIDを用いることができる。例えば、UUIDが仮に011、フレーム番号が128番だとすると、分割一次ファイルのファイル名は011-128となる。このようにファイル名を付与することにより、ファイル名からそのファイルがどの動画ファイルの一部、何フレーム目のデータであるかが特定できる。   The storage module 305 generates a file name of the divided primary file from identification information (hereinafter referred to as “UUID”) that can identify the original moving image file and a frame number. Since a UUID is often attached to a moving image file shot by the digital camera 100, this UUID can be used. For example, if the UUID is 011 and the frame number is 128, the file name of the divided primary file is 011-128. By assigning the file name in this way, it is possible to specify from the file name which part of which moving image file the file is and what frame data.

そして、デジタルカメラ100からPC101に、すべてのフレームデータが読み込まれたとき、分割一次ファイルは元の1つの動画ファイルとして保存モジュール305により復元される。その概要を図9に示す。   When all the frame data is read from the digital camera 100 to the PC 101, the divided primary file is restored by the storage module 305 as one original moving image file. The outline is shown in FIG.

デジタルカメラ100には、複数のフレームデータがまとめられた1つの動画ファイル901が記憶されている。PC101はこのデータを図7に示す処理により1フレームづつ受信する。保存モジュール305は、受信したフレームデータをフレームごとに分割一次ファイル902〜906として記憶する。そして保存モジュール305は、これら分割一次ファイル902〜906のうち、特定の動画ファイルの一部であったフレームを抽出し、さらに、フレーム番号順にソートする。これは前述した分割一次ファイルのファイル名を参照することにより可能である。そして記憶した再生データ情報、インディクステーブル、ソートした分割一次ファイルに基づき、動画ファイル907を復元する。   The digital camera 100 stores one moving image file 901 in which a plurality of frame data is collected. The PC 101 receives this data frame by frame by the process shown in FIG. The storage module 305 stores the received frame data as divided primary files 902 to 906 for each frame. Then, the storage module 305 extracts frames that were part of the specific moving image file from these divided primary files 902 to 906, and further sorts them in the order of frame numbers. This can be done by referring to the file name of the divided primary file described above. Then, the moving image file 907 is restored based on the stored reproduction data information, the index table, and the sorted divided primary file.

また、他の例として、PC101は分割一次ファイルを1フレームごとではなく、連続して読み込んだフレーム単位で分割して記憶してもよい。通信速度が動画のフレーム転送に対して比較的高速な場合には、連続して表示しながらフレームを連続して受信できる場合がある。この場合には、図10に示すように、連続したフレーム分を1つのファイル1002、1003とする。こうすることで、オーバーヘッドのファイル数を軽減できる。   As another example, the PC 101 may divide and store the divided primary file in units of continuously read frames instead of every frame. When the communication speed is relatively high with respect to moving image frame transfer, frames may be continuously received while being continuously displayed. In this case, as shown in FIG. 10, continuous frames are set as one file 1002, 1003. By doing this, the number of overhead files can be reduced.

また、この場合にも分割一次ファイルのファイル名は上述した方法で生成するが、フレーム番号の部分は連続する最初のフレーム番号とする。フレーム番号は不連続になるが、ソートの際には番号の大きい順または小さい順にソートをすることで復元が可能となる。   Also in this case, the file name of the divided primary file is generated by the method described above, but the frame number portion is the first consecutive frame number. Although the frame numbers are discontinuous, the sorting can be performed by sorting in ascending order of numbers.

以上が復元処理である。なお、復元処理とは、デジタルカメラ100と同様の動画を再生するための動画ファイルを情報処理装置101側で再生成する処理であり、必ずしもデジタルカメラ100に記憶されていた動画ファイルと完全に同一である必要はない。   The above is the restoration process. The restoration process is a process of regenerating a moving image file for reproducing a moving image similar to that of the digital camera 100 on the information processing apparatus 101 side, and is completely the same as the moving image file stored in the digital camera 100. Need not be.

次に、ユーザ操作などが原因で動画ファイルの転送を途中が中止されてしまい、動画ファイルのフレームデータが最後まで転送されなかった場合について説明する。   Next, a case where transfer of a moving image file is interrupted due to a user operation or the like and frame data of the moving image file is not transferred to the end will be described.

この場合、すべてのフレームデータが転送されていないため、保存モジュール305はファイルの復元を行うことができず、分割一次ファイルのみが記憶された状態となる。このような場合、同一の動画であっても、既にPC101に転送されたフレームとデジタルカメラ100にしか記憶されていないフレームが混在することになる。このような状態において、デジタルカメラ100とPC101とが接続された場合について説明する。   In this case, since all the frame data has not been transferred, the storage module 305 cannot restore the file, and only the divided primary file is stored. In such a case, even for the same moving image, a frame that has already been transferred to the PC 101 and a frame that is stored only in the digital camera 100 are mixed. A case where the digital camera 100 and the PC 101 are connected in such a state will be described.

PC101が未転送のフレームを管理するためのテーブルを図13に示す。   FIG. 13 shows a table for managing untransferred frames by the PC 101.

この管理テーブルは、図6で説明したフレーム・表示時間管理テーブルを元の動画ファイルのUUIDごとに関連付けたものである。   This management table is obtained by associating the frame / display time management table described with reference to FIG. 6 for each UUID of the original moving image file.

デジタルカメラ100とPC101とが再度接続され、再度同一の動画ファイルの再生要求がきたとする。この場合、まずデジタルカメラ100からUUIDが送信される。PC101は受信したUUIDと図13のテーブルのUUID部1301と照合し、参照するフレーム・表示時間管理テーブル1302を決定する。   Assume that the digital camera 100 and the PC 101 are connected again and a request to reproduce the same moving image file is received again. In this case, first, the UUID is transmitted from the digital camera 100. The PC 101 collates the received UUID with the UUID portion 1301 of the table of FIG. 13 and determines the frame / display time management table 1302 to be referred to.

再生時の基本的なシーケンスは図7で説明したものと同じであるが、PC101は、図8のフローに従い取得フレームを算出した後、図12のフローに従った処理を実行する。   The basic sequence at the time of reproduction is the same as that described with reference to FIG. 7, but the PC 101 calculates an acquisition frame according to the flow of FIG. 8, and then executes processing according to the flow of FIG.

以下、図12の処理について説明する。ステップS1201で、転送フレーム管理モジュール303は、図13の管理テーブルを参照して、ステップS804で算出したフレームがすでにPC101に転送されているかどうかを判断する。転送済みか否かは、読み込みフラグ604がOnかOffかを判断する。もし転送済みであれば、保存モジュール305に対し、算出したフレーム番号に対応する分割一次ファイルを読み出すよう要求する(ステップS1203)。転送フレーム管理モジュール303は、保存モジュールか305から読み出された分割一次ファイルから得られたフレームデータを表示モジュール304に渡し、表示させる。ステップS1201で未転送であると判断された場合は、デジタルカメラ100から取得する通常のシーケンスで転送処理が実行される(ステップS1202)。   Hereinafter, the process of FIG. 12 will be described. In step S1201, the transfer frame management module 303 refers to the management table in FIG. 13 and determines whether the frame calculated in step S804 has already been transferred to the PC 101. Whether or not the transfer has been completed is determined whether the read flag 604 is On or Off. If it has been transferred, the storage module 305 is requested to read the divided primary file corresponding to the calculated frame number (step S1203). The transfer frame management module 303 passes the frame data obtained from the divided primary file read from the storage module 305 to the display module 304 for display. If it is determined in step S1201 that transfer has not been performed, transfer processing is executed in a normal sequence acquired from the digital camera 100 (step S1202).

以上説明したように、この実施の形態では、ストリーミング対応していないデジタルカメラ100から通常利用されている動画ファイルであるAVIファイルをPC101に転送しながらユーザを待たせることなく動画再生と保存を同時に実行することができる。   As described above, in this embodiment, video playback and storage are simultaneously performed without causing the user to wait while transferring an AVI file, which is a video file normally used from a digital camera 100 that does not support streaming, to the PC 101. Can be executed.

また、ユーザが動画再生を途中で停止、又は終了した場合にもそれまでに転送されたデータはその後継続されて転送されるため有効に利用することができる。その結果、ユーザは動画ファイルの転送を気にすることなく、動画ファイルをPC101で再生しているか、もしくは再生を停止していても、大きなファイルを効率的にPC101に保存することが可能となる。   In addition, even when the user stops or ends the reproduction of the moving image, the data transferred so far can be used effectively because it is continuously transferred thereafter. As a result, the user can efficiently save a large file on the PC 101 even if the video file is being played on the PC 101 or stopped, without worrying about transferring the video file. .

さらに、PC101上での動画再生停止画像とデジタルカメラ100の表示画面上での動画停止画像とをフレーム単位で合わせることができる。その結果、デジタルカメラ100の操作でPC101の動画再生を制御するような場合に、ユーザにわかりやすい操作を提供できるようになる。   Furthermore, the moving image reproduction stop image on the PC 101 and the moving image stop image on the display screen of the digital camera 100 can be matched in units of frames. As a result, when the moving image reproduction of the PC 101 is controlled by the operation of the digital camera 100, it becomes possible to provide a user-friendly operation.

さらに、PC101での動画再生が停止もしくは終了してもバックグラウンドで転送が進行していることをユーザに知らせることができるので、転送が完了するまで接続を維持することが可能になる。   Further, even if the moving image playback on the PC 101 is stopped or ended, the user can be notified that the transfer is in progress in the background, so that the connection can be maintained until the transfer is completed.

さらに、途中でPC101での動画再生を停止し、全データがPC101に転送される前に通信が切断されたとしても、次回再生時にはすでに転送済みのデータは有効に利用され、さらに継続して転送が行われるため効率的な動画ファイルの保存が可能になる。   Furthermore, even if video playback on the PC 101 is stopped halfway and communication is cut off before all data is transferred to the PC 101, the data already transferred will be used effectively at the next playback, and transferred continuously. This makes it possible to save movie files efficiently.

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。   The object of the present invention is achieved by executing the following processing. That is, a storage medium that records a program code of software that realizes the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU, MPU, etc.) of the system or apparatus is stored in the storage medium. This is the process of reading the code.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。   In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code and the storage medium storing the program code constitute the present invention.

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。   Moreover, the following can be used as a storage medium for supplying the program code. For example, floppy (registered trademark) disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD + RW, magnetic tape, nonvolatile memory card, ROM or the like. Alternatively, the program code may be downloaded via a network.

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。   Further, the present invention includes a case where the function of the above-described embodiment is realized by executing the program code read by the computer. In addition, an OS (operating system) running on the computer performs part or all of the actual processing based on an instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Is also included.

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。   Furthermore, a case where the functions of the above-described embodiment are realized by the following processing is also included in the present invention. That is, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

本発明の実施の形態の一例である映像システムを説明するためのブロック図である。It is a block diagram for demonstrating the video system which is an example of embodiment of this invention. 本発明の実施の形態の一例である映像システムを説明するための概念図である。It is a conceptual diagram for demonstrating the video system which is an example of embodiment of this invention. PC側の動画転送サブシステムを説明するためのブロック図である。It is a block diagram for demonstrating the moving image transfer subsystem by the side of PC. PC側、デジタルカメラ側の画面遷移を説明するための説明図である。It is explanatory drawing for demonstrating the screen transition on the PC side and the digital camera side. 動画ファイルの形態を説明するための図である。It is a figure for demonstrating the form of a moving image file. 未転送管理テーブルを説明するための図である。It is a figure for demonstrating an untransferred management table. 本発明の実施の形態の一例である映像システムの動作例を説明するためのシーケンス図である。It is a sequence diagram for demonstrating the operation example of the video system which is an example of embodiment of this invention. 取得フレーム算出方法を説明するためのフローチャート図である。It is a flowchart for demonstrating the acquisition frame calculation method. 動画ファイルの分割保存を説明するための概念図である。It is a conceptual diagram for demonstrating the division | segmentation preservation | save of a moving image file. 動画ファイルの分割保存の他の例を説明するための概念図である。It is a conceptual diagram for demonstrating the other example of the division | segmentation preservation | save of a moving image file. バックグラウンドでの転送表示例を説明するための図である。It is a figure for demonstrating the example of a transfer display in a background. 動画再読み込み時の動作例を説明するためのフローチャート図である。It is a flowchart for demonstrating the operation example at the time of the moving image reloading. 保存モジュールの利用するファイル別未転送管理テーブルの一例を示す図である。It is a figure which shows an example of the untransfer management table according to file which a preservation | save module uses.

符号の説明Explanation of symbols

100 デジタルカメラ
101 PC
102 通信制御装置
103 演算装置
104 信号処理装置
105 光学ユニット
106 1次記憶装置
107 2次記憶装置
108 操作部
109 表示部
110 読み出し専用メモリ
111 着脱可能記録媒体
301 フレーム転送モジュール
302 通信制御モジュール
303 転送フレーム管理モジュール
304 表示モジュール
305 保存モジュール
100 Digital camera 101 PC
102 Communication Control Device 103 Arithmetic Device 104 Signal Processing Device 105 Optical Unit 106 Primary Storage Device 107 Secondary Storage Device 108 Operation Unit 109 Display Unit 110 Read-Only Memory 111 Removable Recording Medium 301 Frame Transfer Module 302 Communication Control Module 303 Transfer Frame Management module 304 Display module 305 Storage module

Claims (10)

画像処理装置に通信回線を介して接続され、前記画像処理装置に記録された動画ファイルを前記通信回線を介して受信して再生する情報処理装置であって、
前記画像処理装置に記録された動画ファイルに含まれるフレームデータのインディクス情報を受信するインディクス受信手段と、
前記画像処理装置から前記フレームデータが転送される速度を計測する計測手段と、
前記転送の速度とフレームデータの再生開始からの経過時間と前記インディクス情報とに基づき、次に取得するフレームデータを決定する決定手段と、
前記決定手段により決定されたフレームデータの取得要求を前記画像処理装置に送信するフレーム要求手段とを備えることを特徴とする情報処理装置。
An information processing apparatus which is connected to an image processing apparatus via a communication line and receives and reproduces a moving image file recorded on the image processing apparatus via the communication line,
Index receiving means for receiving index information of frame data included in a moving image file recorded in the image processing device;
Measuring means for measuring a rate at which the frame data is transferred from the image processing device;
Determining means for determining the next frame data to be acquired based on the transfer speed, the elapsed time from the start of frame data reproduction, and the index information;
An information processing apparatus comprising: frame request means for transmitting a frame data acquisition request determined by the determination means to the image processing apparatus.
前記画像処理装置から受信した前記フレームデータを表示部に順次表示させることで動画を再生する再生手段と、
前記フレームデータを記憶部に記憶する記憶手段とを備えることを特徴とする請求項1に記載の情報処理装置。
Playback means for playing back a moving image by sequentially displaying the frame data received from the image processing device on a display unit;
The information processing apparatus according to claim 1, further comprising a storage unit that stores the frame data in a storage unit.
前記動画ファイルのフレームデータを前記画像処理装置から受信したか否かを、フレームデータごとに管理するフレーム管理手段を備えることを特徴とする請求項1又は2に記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising: a frame management unit that manages, for each frame data, whether the frame data of the moving image file has been received from the image processing apparatus. 前記動画の再生の停止または一時停止の指示を受けた場合に、前記フレーム要求手段は、前記フレーム管理手段により管理されたフレームデータのうち、まだ受信していないフレームデータを前記画像処理装置に対して要求することを特徴とする請求項3に記載の情報処理装置。   When receiving an instruction to stop or pause the reproduction of the moving image, the frame requesting unit sends frame data that has not yet been received to the image processing device among the frame data managed by the frame managing unit. The information processing apparatus according to claim 3, wherein the information processing apparatus requests the information processing apparatus. 前記記憶手段は、前記画像処理装置から受信したフレームデータを、1フレームごとまたは連続したフレームデータごとに分割ファイルとして記憶し、
前記情報処理装置は、前記動画ファイルに含まれるすべてのフレームデータの転送が完了した場合に、前記分割ファイルから1つの動画ファイルを生成する生成手段を備えることを特徴とする請求項2乃至4に記載の情報処理装置。
The storage means stores the frame data received from the image processing apparatus as a divided file for each frame or each continuous frame data,
5. The information processing apparatus according to claim 2, further comprising a generation unit configured to generate one moving image file from the divided file when transfer of all frame data included in the moving image file is completed. The information processing apparatus described.
前記動画の停止または一時停止の指示を受けた場合に、前記画像処理装置に対して前記表示部に表示されているフレームデータの番号を通知する通知手段を備えることを特徴とする請求項2乃至5に記載の情報処理装置。   3. A notification unit configured to notify the image processing apparatus of a frame data number displayed on the display unit when an instruction to stop or pause the moving image is received. 5. The information processing apparatus according to 5. 前記動画を一時停止した後で該動画の再生を再開した場合に、前記動画の再生に必要なフレームデータが既に前記記憶部により記憶されているか否かを判断する判断手段を備え、
前記動画の再生に必要なフレームデータが前記記憶部に記憶されている場合と判断された場合には、前記再生手段は、前記記憶部から読み出したフレームデータを前記表示部に表示することを特徴とする請求項2乃至7に記載の情報処理装置。
A determination means for determining whether or not frame data necessary for reproduction of the moving image is already stored in the storage unit when the reproduction of the moving image is resumed after pausing the moving image;
When it is determined that the frame data necessary for reproducing the moving image is stored in the storage unit, the reproduction unit displays the frame data read from the storage unit on the display unit. The information processing apparatus according to claim 2.
画像処理装置に通信回線を介して接続され、前記画像処理装置に記録された動画ファイルを前記通信回線を介して受信して再生する情報処理装置の制御方法であって、
前記画像処理装置に記録された動画ファイルに含まれるフレームデータのインディクス情報を受信するインディクス受信ステップと、
前記画像処理装置から前記フレームデータが転送される速度を計測する計測ステップと、
前記転送の速度とフレームデータの再生開始からの経過時間と前記インディクス情報とに基づき、次に取得するフレームデータを決定する決定ステップと、
前記決定ステップにより決定されたフレームデータの取得要求を前記画像処理装置に送信するフレーム要求ステップと、を備えることを特徴とする情報処理装置の制御方法。
A control method for an information processing apparatus that is connected to an image processing apparatus via a communication line and receives and reproduces a moving image file recorded on the image processing apparatus via the communication line,
An index receiving step for receiving index information of frame data included in the moving image file recorded in the image processing device;
A measuring step of measuring a rate at which the frame data is transferred from the image processing device;
A determination step of determining next frame data to be acquired based on the transfer speed, the elapsed time from the start of frame data reproduction, and the index information;
A frame requesting step of transmitting a frame data acquisition request determined in the determining step to the image processing apparatus.
画像処理装置に通信回線を介して接続され、前記画像処理装置に記録された動画ファイルを前記通信回線を介して受信して再生する情報処理装置に実行させるプログラムであって、
前記画像処理装置に記録された動画ファイルに含まれるフレームデータのインディクス情報を受信するインディクス受信ステップと、
前記画像処理装置から前記フレームデータが転送される速度を計測する計測ステップと、
前記転送の速度とフレームデータの再生開始からの経過時間と前記インディクス情報とに基づき、次に取得するフレームデータを決定する決定ステップと、
前記決定ステップにより決定されたフレームデータの取得要求を前記画像処理装置に送信するフレーム要求ステップと、を前記情報処理装置に実行させることを特徴とするプログラム。
A program that is connected to an image processing device via a communication line and that is executed by an information processing device that receives and reproduces a moving image file recorded on the image processing device via the communication line,
An index receiving step for receiving index information of frame data included in the moving image file recorded in the image processing device;
A measuring step of measuring a rate at which the frame data is transferred from the image processing device;
A determination step of determining next frame data to be acquired based on the transfer speed, the elapsed time from the start of frame data reproduction, and the index information;
A program that causes the information processing apparatus to execute a frame requesting step of transmitting a frame data acquisition request determined in the determining step to the image processing apparatus.
請求項9に記載のプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 9.
JP2007107356A 2007-04-16 2007-04-16 Information processor, and control method, program and storage medium thereof Pending JP2008270908A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007107356A JP2008270908A (en) 2007-04-16 2007-04-16 Information processor, and control method, program and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007107356A JP2008270908A (en) 2007-04-16 2007-04-16 Information processor, and control method, program and storage medium thereof

Publications (1)

Publication Number Publication Date
JP2008270908A true JP2008270908A (en) 2008-11-06

Family

ID=40049882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007107356A Pending JP2008270908A (en) 2007-04-16 2007-04-16 Information processor, and control method, program and storage medium thereof

Country Status (1)

Country Link
JP (1) JP2008270908A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135321A (en) * 2009-12-24 2011-07-07 Canon Inc Image processing system
JP2011147025A (en) * 2010-01-15 2011-07-28 Fujitsu Ltd Distribution apparatus, distribution program and distribution method
US9544529B2 (en) 2012-12-10 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, image capturing apparatus, and control methods for the same
JP2017158154A (en) * 2016-03-04 2017-09-07 日本電気株式会社 Information processing system
CN115278307A (en) * 2022-07-27 2022-11-01 天翼云科技有限公司 Video playing method, device, equipment and medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135321A (en) * 2009-12-24 2011-07-07 Canon Inc Image processing system
JP2011147025A (en) * 2010-01-15 2011-07-28 Fujitsu Ltd Distribution apparatus, distribution program and distribution method
US9544529B2 (en) 2012-12-10 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, image capturing apparatus, and control methods for the same
JP2017158154A (en) * 2016-03-04 2017-09-07 日本電気株式会社 Information processing system
US10491937B2 (en) 2016-03-04 2019-11-26 Nec Corporation Information processing system
US10911817B2 (en) 2016-03-04 2021-02-02 Nec Corporation Information processing system
US10911816B2 (en) 2016-03-04 2021-02-02 Nec Corporation Information processing system
CN115278307A (en) * 2022-07-27 2022-11-01 天翼云科技有限公司 Video playing method, device, equipment and medium
CN115278307B (en) * 2022-07-27 2023-08-04 天翼云科技有限公司 Video playing method, device, equipment and medium

Similar Documents

Publication Publication Date Title
JP4944484B2 (en) Playback apparatus, playback method, and program
JP2006174309A (en) Animation reproducing apparatus, program, and record medium
JP6486628B2 (en) An interconnected multimedia system for synchronized playback of media streams
JP2008243367A (en) Method and device for recording broadcast data
CN104349221B (en) Carry out communication equipment, message processing device and its control method of stream distribution
KR101742419B1 (en) Video playback control program, video playback control method, video delivery server, transmission program and transmission apparatus
JPWO2008029640A1 (en) Method and apparatus for reproducing high bit rate format video data with a player suitable for low bit rate format video data reproduction
JP2008270908A (en) Information processor, and control method, program and storage medium thereof
US20130138736A1 (en) Multimedia file sharing method and system thereof
JP2007274142A (en) Device and method for transmitting video
JP2007334526A (en) Content metadata registration method, system, and program
US9264746B2 (en) Content distribution system, content distribution server, content distribution method, software program, and storage medium
JP6869135B2 (en) Reproduction device, control method of reproduction device, and program
JP2022042997A (en) Method, server, and computer-readable recording medium for minimizing delay in real time live streaming
KR101742420B1 (en) Video data file generation program, video data file generation method and video data file generation apparatus
JPWO2014065165A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP2008048091A (en) Motion picture tagging program, motion picture tag system, and motion picture distributing method
JP7356018B2 (en) Information processing program, information processing method, and information processing device
JP4213697B2 (en) Image reproduction apparatus and method for moving picture stream
JP2012156808A (en) Image transmission system and image reproducing device
JP5264526B2 (en) Image transmitting apparatus, image transmitting method and program
JP2007049634A (en) Reproducing apparatus and reproducing method
JP2021090118A5 (en)
JP2007166553A (en) Moving image processing apparatus and moving image processing method
JP2006201477A (en) Server, client, and communication system