JP3884797B2

JP3884797B2 - Image / audio transmission apparatus and image / audio transmission method

Info

Publication number: JP3884797B2
Application number: JP20465496A
Authority: JP
Inventors: 慎二大西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-08-02
Filing date: 1996-08-02
Publication date: 2007-02-21
Anticipated expiration: 2016-08-02
Also published as: JPH1051747A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データおよび音声データを送信する画像音声送信装置および画像音声送信方法に関するものである。
【０００２】
【従来の技術】
現在、パーソナルコンピュータ等で音声付きのデジタル動画像データを再生する技術が開発されている。現在の技術では、音声付きデジタル動画像ファイルからデータを読み込んで所定の処理を行い、画像データの表示および音声データの再生を行っている。この動画像ファイルの形式は、一般的には図３のように、１フレーム分の画像データと１フレーム期間分の音声データとがインターリーブされた形となっている。
【０００３】
また、デジタルデータ伝送の規格としてＩＥＥＥ１３９４等の同期伝送方法が存在する。この同期伝送方法を用いて動画像伝送を行うと、フレーム周期に同期したタイミングで動画像伝送を行うことができる。この場合一般的には、図４に示すように、１フレーム分のデータを複数パケット（複数の画像パケットと１つの音声パケットとから成る）に分割して１フレーム期間内にデータ伝送を行う。例えばデータ送出側が秒間３０フレームのデータを処理する能力がある場合、上記１フレーム期間は１／３０秒となる。
【０００４】
【発明が解決しようとする課題】
しかしながら、データ受信側の能力が低く、例えば秒間１０フレームのデータしか処理できないような場合は、図５に示すように、(1) のフレームデータを受信した後、(2),(3) のフレームデータが送信されている間に(1) のフレームデータを処理しなければならず、(2),(3) のフレームデータを受信できない状態になる。このため、受信できない期間の音声データが欠落し、受信側では音声の再生が途切れてしまうという問題が生じていた。
【０００５】
本発明は、このような問題を解決するためになされたものであり、受信側の処理能力が送信側の処理能力よりも低い場合であっても、受信側で再生される音声が途切れてしまうことを低減することができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る画像音声送信装置は、１フレーム分の画像データを動画像ファイルから取り出す画像取り出し手段と、前記画像取り出し手段によって取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出し手段と、前記画像取り出し手段によって取り出された１フレーム分の画像データと、前記音声取り出し手段によって取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信手段とを有し、前記音声取り出し手段は、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする。
【０００７】
本発明に係る画像音声送信方法は、１フレーム分の画像データを動画像ファイルから取り出す画像取り出しステップと、前記画像取り出しステップにおいて取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出しステップと、前記画像取り出しステップにおいて取り出された１フレーム分の画像データと、前記音声取り出しステップにおいて取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信ステップとを有し、前記音声取り出しステップは、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の一実施形態における画像・音声データ伝送方法と、それを実現する伝送装置およびシステムとを図面に基づいて説明する。
図１は、本実施形態における画像・音声データ伝送方法を説明するための図であり、図２は、そのような画像・音声データ伝送方法を実現するための装置およびシステムの構成を示す図である。なお、説明のために、送信側の処理能力は毎秒３０フレームであり、受信側の処理能力は毎秒１０フレームとする。
【００１２】
図２（ａ）に示すように、本実施形態の画像・音声データ伝送装置（送信側）は、動画像ファイル１、画像読み出し手段２、音声読み出し手段３、および同期伝送手段４から成り、伝送媒体５にデジタル画像・音声データを伝送する。
また、図２（ｂ）に示すように、受信側装置は、データ受信手段６、画像表示手段７、および音声再生手段８から成り、伝送媒体５より受信したデジタル画像・音声データを表示・再生する。
【００１３】
データ送信側では、図３に示したように１フレーム分の画像データと１フレーム期間分の音声データとがインターリーブされて成る動画像ファイル１から、各フレーム周期毎に１フレーム分の画像データと４フレーム期間分の音声データとを読み込み、同期伝送を用いて伝送を行う。この場合、１／３０秒毎にデータ読み込みおよびデータ送出を行う。
【００１４】
例えば、図２の画像読み出し手段２が図１に示した(1) のフレーム画像を読み込むフレーム周期では、音声読み出し手段３が (1)〜(4) のフレーム音声ａ〜ｄを読み込んで、それらの読み込んだ１フレーム分の画像データと４フレーム分の音声データとを同期伝送手段４が１フレーム期間内に伝送媒体５に送出する。(2),(3) のフレーム画像を読み込むフレーム周期でも同様に、例えば (1)〜(4) のフレーム音声を読み込んで、それらの読み込んだ１フレーム分の画像データと４フレーム分の音声データとを１フレーム期間内に伝送媒体５に送出する。
【００１５】
次に、画像読み出し手段２が (4)〜(6) のフレーム画像を読み込む各フレーム周期では、音声読み出し手段３が (4)〜(7) のフレーム音声ａ〜ｄを各フレーム周期毎に読み込んで、それらの読み込んだ１フレーム分の画像データと４フレーム分の音声データとを同期伝送手段４が各フレーム期間内に伝送媒体５に送出する。以上のような処理を以下同様にして繰り返し、データ伝送を行う。
【００１６】
一方、データ受信側では、図１に示したＡの時刻にデータ受信手段６で(1) のフレームデータの受信を開始し、Ｂの時刻に受信を終了する。受信を終了すると受信データの処理を開始し、画像表示手段７ではＢの時刻から(1) のフレームデータによる画像の表示を始め、Ｅの時刻にデータ処理を終了する。このデータ処理を行っている間は、データ受信手段６でデータを受信することが不能となる、あるいは受信できても処理できなくなるため、(2),(3) のフレームデータは受信できない。
【００１７】
上述のように、(1) のフレームデータの処理はＥの時刻に終了するため、図１のＥ〜Ｆの期間はデータ受信可能な状態となる。しかし、この時点ではパケットが伝送されていないので、データ受信側は待機状態となる。そして、(4) のフレームデータが到着するＦの時刻からデータ受信手段６でデータの受信を再び開始し、Ｇの時刻に受信を終了して、受信データの処理を開始する。(4) のフレームデータを受信しているＦ〜Ｇの間は、(1) のフレーム画像を表示し続けることになり、受信が終了したＧの時刻から(4) のフレーム画像を表示し始める。
【００１８】
音声データについては、図２の音声再生手段８により、(1) のフレームデータの受信が終了したＢの時刻に(1)-ａの音声データの再生を開始する。この(1)-ａの音声データは、データ送信側の１フレーム期間分の音声データであり、(1) の画像データのフレームに同期している。Ｂの時刻に再生を開始した(1)-ａの音声データは、丁度１フレーム期間が経過したＣの時刻で再生を終了する。
【００１９】
この時点では(1) のフレーム画像データの処理中であり、(2) のフレームデータは受信できていないが、Ａ〜Ｂの期間中に(1)-ｂの音声データを既に受信しているので、Ｃの時刻から(1)-ｂの音声データの再生を開始する。この(1)-ｂの音声データは、再生側の(2) の画像データのフレームと同期している音声データであり、Ｃから丁度１フレーム期間が経過したＤの時刻で再生を終了する。
【００２０】
この(1)-ｂの音声データの再生が終了した時点でも(1) のフレーム画像データの処理中であり、(3) のフレームデータは受信できていないが、Ａ〜Ｂの期間中に(1)-ｃの音声データを既に受信しているので、Ｄの時刻から(1)-ｃの音声データの再生を開始する。この(1)-ｃの音声データは、再生側の(3) の画像データのフレームと同期している音声データであり、Ｄから丁度１フレーム期間が経過したＧの時刻で再生を終了する。
【００２１】
Ｇの時刻においては、(4) のフレームデータの受信ができているため、ここでは(4)-ａの音声データの再生を開始する。この(4)-ａの音声データは、再生側の(4) の画像データのフレームと同期している音声データであり、Ｇから丁度１フレーム期間が経過したＨの時刻で再生を終了する。以下同様にして、(4)-ｂ、(4)-ｃの音声データを再生する。
【００２２】
以上詳しく述べたように、本実施形態のデジタル画像・音声データ伝送方法等によれば、データ受信側の内部処理によって(2),(3) のフレームデータを受信できない場合でも、それぞれのフレームに対応した音声データを連続して再生することができる。(5),(6),(8),(9),……のフレームに対応した音声データについても同様に、それらのフレームデータを受信できなくても連続して再生することができる。
【００２３】
【発明の効果】
本発明によれば、受信側の処理能力が送信側の処理能力よりも低い場合であっても、受信側で再生される音声が途切れてしまうことを低減することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるデジタル画像・音声データ伝送方法を説明するための図である。
【図２】図１に示したデジタル画像・音声データ伝送方法を実現するための装置およびシステムの構成を示す図である。
【図３】一般的な音声付き動画像ファイルの構造を示す図である。
【図４】同期伝送方法を用いた従来の音声付き動画像データ送信の様子を説明するための図である。
【図５】同期伝送方法を用いた従来の音声付き動画像データ受信の様子を説明するための図である。
【符号の説明】
１動画像ファイル
２画像読み出し手段
３音声読み出し手段
４同期伝送手段
５伝送媒体
６データ受信手段
７画像表示手段
８音声再生手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image / audio transmission apparatus and an image / audio transmission method for transmitting image data and audio data.
[0002]
[Prior art]
Currently, a technique for reproducing digital moving image data with sound on a personal computer or the like has been developed. In the current technology, data is read from a digital moving image file with sound, predetermined processing is performed, image data is displayed, and sound data is reproduced. The format of this moving image file is generally such that image data for one frame and audio data for one frame period are interleaved as shown in FIG.
[0003]
As a standard for digital data transmission, there is a synchronous transmission method such as IEEE1394. When moving picture transmission is performed using this synchronous transmission method, moving picture transmission can be performed at a timing synchronized with the frame period. In this case, generally, as shown in FIG. 4, data for one frame is divided into a plurality of packets (consisting of a plurality of image packets and one audio packet), and data transmission is performed within one frame period. For example, when the data transmission side has the ability to process 30 frames of data per second, the one frame period is 1/30 seconds.
[0004]
[Problems to be solved by the invention]
However, if the data receiving side has a low capability, for example, only 10 frames of data can be processed per second, as shown in FIG. 5, after receiving the frame data (1), (2), (3) While the frame data is being transmitted, the frame data (1) must be processed, and the frame data (2) and (3) cannot be received. For this reason, there is a problem that audio data in a period during which reception is not possible is lost, and audio reproduction is interrupted on the receiving side.
[0005]
The present invention has been made to solve such a problem, also the receiving side processing capacity even if lower than the sender of the processing power, audio reproduced on the receiving side is interrupted An object is to be able to reduce this.
[0006]
[Means for Solving the Problems]
Image audio transmitting apparatus according to the present invention, the image data of one frame and the image retrieval means retrieves from the moving image file, the image data for a plurality of frames including one frame of image data retrieved by the image retrieval means Audio extraction means for extracting audio data corresponding to a plurality of frames from the moving image file , image data for one frame extracted by the image extraction means, and audio data for a plurality of frames extracted by the audio extraction means have a transmission means for transmitting bets within the period of one frame, the speech retrieval means comprises a plurality audio data of each frame is to be sent a plurality of times, which is taken out from the moving image file The audio data for the frame is selected .
[0007]
Image and audio transmission method according to the present invention, the image data of one frame and the image pickup step removed from the moving image file, the image data for a plurality of frames including one frame of image data extracted in said image pickup step Audio extraction step for extracting corresponding audio data for a plurality of frames from the moving image file , image data for one frame extracted in the image extraction step, and audio data for a plurality of frames extracted in the audio extraction step In a period of one frame, and the audio extracting step includes a plurality of audio data extracted from the moving image file so that audio data for each frame is repeatedly transmitted a plurality of times. Selecting audio data for the frame It is characterized by.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image / audio data transmission method according to an embodiment of the present invention and a transmission apparatus and system for realizing the method will be described with reference to the drawings.
FIG. 1 is a diagram for explaining an image / audio data transmission method according to the present embodiment , and FIG. 2 is a diagram showing a configuration of an apparatus and a system for realizing such an image / audio data transmission method. is there. For the sake of explanation, the processing capacity on the transmission side is 30 frames per second, and the processing capacity on the reception side is 10 frames per second.
[0012]
As shown in FIG. 2 (a), the image / audio data transmission apparatus (transmission side) of this embodiment includes a moving image file 1, an image reading means 2, an audio reading means 3, and a synchronous transmission means 4. Digital image / audio data is transmitted to the medium 5.
As shown in FIG. 2 (b), the receiving side apparatus comprises data receiving means 6, image display means 7, and audio reproduction means 8, and displays / reproduces digital image / audio data received from the transmission medium 5. To do.
[0013]
On the data transmission side, as shown in FIG. 3, from the moving image file 1 in which one frame of image data and one frame period of audio data are interleaved, one frame of image data and Audio data for four frame periods is read and transmitted using synchronous transmission. In this case, data reading and data transmission are performed every 1/30 seconds.
[0014]
For example, in the frame period in which the image reading means 2 in FIG. 2 reads the frame image (1) shown in FIG. 1, the audio reading means 3 reads the frame sounds a to d (1) to (4) The synchronous transmission means 4 sends the image data for one frame read and the audio data for four frames to the transmission medium 5 within one frame period. Similarly, in the frame period for reading frame images of (2) and (3), for example, the frame audio of (1) to (4) is read, and the read image data for one frame and the audio data for four frames are read. Are sent to the transmission medium 5 within one frame period.
[0015]
Next, in each frame period in which the image reading means 2 reads the frame images (4) to (6), the audio reading means 3 reads the frame sounds a to d in (4) to (7) for each frame period. Thus, the synchronous transmission means 4 sends the read image data for one frame and the audio data for four frames to the transmission medium 5 within each frame period. The above processing is repeated in the same manner to perform data transmission.
[0016]
On the other hand, on the data receiving side, reception of the frame data (1) is started by the data receiving means 6 at time A shown in FIG. When the reception is completed, the processing of the received data is started, and the image display means 7 starts displaying the image with the frame data (1) from the time B, and ends the data processing at the time E. While this data processing is being performed, the data receiving means 6 cannot receive the data, or even if it can be received, it cannot be processed, so the frame data (2) and (3) cannot be received.
[0017]
As described above, since the processing of frame data (1) ends at time E, data can be received during the period from E to F in FIG. However, since no packet is transmitted at this time, the data receiving side enters a standby state. Then, the reception of data is started again by the data receiving means 6 from the time F when the frame data (4) arrives, and the reception ends at the time G, and the processing of the received data is started. During the period from F to G in which the frame data of (4) is received, the frame image of (1) continues to be displayed, and the frame image of (4) starts to be displayed from the G time when reception is completed. .
[0018]
For the audio data, the audio reproduction means 8 in FIG. 2 starts reproducing the audio data (1) -a at time B when reception of the frame data (1) is completed. The audio data (1) -a is audio data for one frame period on the data transmission side, and is synchronized with the frame of the image data (1). The audio data of (1) -a that started to be reproduced at time B ends reproduction at the time C at which one frame period has elapsed.
[0019]
At this time, the frame image data (1) is being processed and the frame data (2) has not been received, but the audio data (1) -b has already been received during the period A to B. Therefore, reproduction of the audio data (1) -b is started from time C. The audio data (1) -b is audio data synchronized with the frame of the image data (2) on the reproduction side, and the reproduction ends at the time D, which is exactly one frame period elapsed from C.
[0020]
Even when the reproduction of the audio data (1) -b is completed, the frame image data (1) is still being processed and the frame data (3) has not been received, but during the period from A to B ( Since the audio data 1) -c has already been received, reproduction of the audio data (1) -c is started from time D. The audio data of (1) -c is audio data synchronized with the frame of the image data of (3) on the reproduction side, and the reproduction ends at the time G, which is exactly one frame period from D.
[0021]
Since the frame data (4) has been received at the time G, reproduction of the audio data (4) -a is started here. The audio data (4) -a is audio data synchronized with the frame of the image data (4) on the reproduction side, and the reproduction ends at the time of H when exactly one frame period has elapsed from G. Similarly, the audio data (4) -b and (4) -c are reproduced.
[0022]
As described in detail above, according to the digital image / audio data transmission method of the present embodiment, even when the frame data (2) and (3) cannot be received by the internal processing on the data receiving side, Corresponding audio data can be played continuously. Similarly, audio data corresponding to the frames (5), (6), (8), (9),... Can be continuously reproduced even if the frame data cannot be received.
[0023]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, even if it is a case where the processing capacity of a receiving side is lower than the processing capacity of a transmission side, it can reduce that the audio | voice reproduced | regenerated on the receiving side is interrupted.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a digital image / audio data transmission method according to an embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of an apparatus and a system for realizing the digital image / audio data transmission method shown in FIG. 1;
FIG. 3 is a diagram showing a structure of a general moving image file with sound.
FIG. 4 is a diagram for explaining a state of conventional moving image data transmission with sound using a synchronous transmission method;
FIG. 5 is a diagram for explaining a conventional state of receiving moving image data with sound using a synchronous transmission method;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Moving image file 2 Image reading means 3 Audio | voice reading means 4 Synchronous transmission means 5 Transmission medium 6 Data receiving means 7 Image display means 8 Audio reproduction means

Claims

１フレーム分の画像データを動画像ファイルから取り出す画像取り出し手段と、
前記画像取り出し手段によって取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出し手段と、
前記画像取り出し手段によって取り出された１フレーム分の画像データと、前記音声取り出し手段によって取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信手段とを有し、
前記音声取り出し手段は、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする画像音声送信装置。 Image extracting means for extracting image data for one frame from a moving image file;
Audio extraction means for extracting audio data for a plurality of frames corresponding to image data for a plurality of frames including image data for one frame extracted by the image extraction means from the moving image file;
Have a transmission means for transmitting said one frame of image data retrieved by the image retrieval means, and a voice data for a plurality of frames fetched by the speech retrieval means within a period of 1 frame,
The audio / sound transmitting device selects the audio data for a plurality of frames extracted from the moving image file so that the audio data for each frame is repeatedly transmitted a plurality of times. .

１フレーム分の画像データを動画像ファイルから取り出す画像取り出しステップと、
前記画像取り出しステップにおいて取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出しステップと、
前記画像取り出しステップにおいて取り出された１フレーム分の画像データと、前記音声取り出しステップにおいて取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信ステップとを有し、
前記音声取り出しステップは、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする画像音声送信方法。 An image extracting step for extracting image data for one frame from the moving image file;
An audio extraction step of extracting audio data for a plurality of frames corresponding to image data for a plurality of frames including the image data for one frame extracted in the image extraction step;
A transmission step of transmitting the image data for one frame extracted in the image extraction step and the audio data for a plurality of frames extracted in the audio extraction step within a period of one frame ;
The audio extraction step includes selecting audio data for a plurality of frames extracted from the moving image file so that the audio data for each frame is repeatedly transmitted a plurality of times. .