JP2003259287A - Multimedia communication equipment - Google Patents
Multimedia communication equipmentInfo
- Publication number
- JP2003259287A JP2003259287A JP2002053855A JP2002053855A JP2003259287A JP 2003259287 A JP2003259287 A JP 2003259287A JP 2002053855 A JP2002053855 A JP 2002053855A JP 2002053855 A JP2002053855 A JP 2002053855A JP 2003259287 A JP2003259287 A JP 2003259287A
- Authority
- JP
- Japan
- Prior art keywords
- information
- recording
- frame
- coded
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、音声や動画像など
の複数種別のマルチメディア情報を各種別毎に符号化し
て相手端末と送受するマルチメディア情報通信機能と、
自端末で生成された符号化情報または相手端末から受信
した符号化情報を多重化して記録する記録処理機能と、
記録された符号化情報を再生する再生処理機能とを有す
るマルチメディア通信装置に係わり、詳しくは、符号化
処理を実行しながら記録の一時停止を行なうことや、記
録した符号化情報の編集を行なうことが可能なマルチメ
ディア通信装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia information communication function for transmitting and receiving a plurality of types of multimedia information such as voices and moving images to and from a partner terminal by encoding each type.
A recording processing function of multiplexing and recording the encoded information generated by the own terminal or the encoded information received from the partner terminal,
The present invention relates to a multimedia communication device having a reproduction processing function for reproducing recorded encoded information, and more specifically, temporarily suspends recording while executing encoding processing and edits recorded encoded information. It relates to a multimedia communication device capable.
【0002】[0002]
【従来の技術】現在、音声や動画像などの複数種別のマ
ルチメディア情報を、途中に通信路が存在する環境で送
受信するマルチメディア通信が実現されている。2. Description of the Related Art At present, multimedia communication has been realized in which a plurality of types of multimedia information such as voices and moving images are transmitted and received in an environment in which a communication path exists in the middle.
【0003】この通信においては、音声信号や動画像情
報を各種別毎に符号処理した符号化情報を送受信するこ
とによりマルチメディア通信を行なっている。In this communication, multimedia communication is carried out by transmitting / receiving coded information obtained by code-processing voice signals and moving image information for each type.
【0004】マルチメディア情報では、情報種別によっ
て符号処理された符号化情報の特性が異なるが、これら
特性の異なる複数の情報を通信路上に多重して送信し、
また通信路から受信して分離することにより相手端末で
発生した音声や動画像といったマルチメディア情報を相
手端末で視聴することができる。In the multimedia information, the characteristics of the coded information that has been code-processed differ depending on the information type, but a plurality of pieces of information having different characteristics are multiplexed and transmitted on a communication path.
Further, by receiving the information from the communication path and separating it, the multimedia information such as voice and moving image generated in the partner terminal can be viewed in the partner terminal.
【0005】例えば動画像情報を符号化処理する場合に
は、ある動画像フレームの情報量の大きさと、動画像フ
レームの時間的に見た変化の度合いになどによって一定
時間内に発生する符号化情報量が変動する。For example, when the moving image information is coded, the coding that occurs within a certain time depends on the amount of information of a certain moving image frame and the degree of temporal change of the moving image frame. The amount of information varies.
【0006】また、MPEG4などの符号化方式では、
通常はある画像フレームを符号化する場合、以前の画像
フレームの情報を基にその差分情報のみを符号化するフ
レーム間予測符号化処理を行なってフレーム間予測符号
化情報を生成することで符号化情報量の低減を図ってい
るが、システムからの要求などにより、時間的な差分情
報を用いずに1つの画像フレームの情報のみを用いて符
号化するフレーム内符号化処理を行なってフレーム内予
測符号化情報(Iフレーム)を生成して挿入する場合が
あり、この場合には符号化情報量が大きくなる。[0006] Further, in the encoding system such as MPEG4,
Normally, when a certain image frame is encoded, it is encoded by generating inter-frame predictive encoded information by performing inter-frame predictive encoding processing that encodes only the difference information based on the information of the previous image frame. Although the amount of information is reduced, intra-frame prediction is performed by performing an intra-frame encoding process that encodes using only one image frame information without using temporal difference information due to a request from the system. Coded information (I frame) may be generated and inserted, and in this case, the amount of coded information becomes large.
【0007】このような符号化情報量の変動を制御する
方法として、蓄積型レート制御と低遅延型レート制御が
用いられている。[0007] As a method for controlling such fluctuations in the amount of coded information, storage type rate control and low delay type rate control are used.
【0008】低遅延型レート制御では、符号化情報が固
定の帯域を持つ回線を介して送受されることを想定し、
一定時間に発生する符号化情報量の変動を小さくするよ
うな制御を行なう。In the low-delay type rate control, it is assumed that encoded information is transmitted and received via a line having a fixed band,
Control is performed so as to reduce fluctuations in the amount of encoded information that occur during a fixed time.
【0009】つまり、符号化処理する画像が一瞬で大き
く変化し、動画像フレームの時間的な変動が大きくなっ
た場合にはその時点の符号化情報量が大きくなるため、
その後しばらくの間コマ落ちさせたり、画質を落とすこ
とで符号化情報量を減らし、平均的な符号化情報量を一
定にするような制御を行なう。That is, when the image to be coded changes greatly in an instant and the temporal fluctuation of the moving image frame becomes large, the amount of coded information at that point becomes large.
After that, the amount of encoded information is reduced by dropping frames or the image quality for a while, and control is performed so that the average amount of encoded information remains constant.
【0010】一方、蓄積型レート制御では、低遅延型レ
ート制御と比較して符号化情報量の変動を許容すること
で、画質の劣化を小さく抑えるような制御を行なう。On the other hand, in the accumulation type rate control, the variation in the coded information amount is allowed as compared with the low delay type rate control, so that the deterioration of the image quality is suppressed.
【0011】通常、固定の帯域の通信路を利用してマル
チメディア情報の送受信を行なうシステムでは、情報の
遅延変動を小さく抑え、さらに音声と動画像など特性の
異なる情報が受信端末で時間的にずれて復号化されるこ
とを防ぐために、符号化時に低遅延型レート制御を用い
るのが一般的である。Generally, in a system for transmitting and receiving multimedia information by using a communication path of a fixed band, delay variation of information is suppressed to a small level, and information having different characteristics such as voice and moving image is temporally received at a receiving terminal. It is common to use a low-delay type rate control at the time of encoding in order to prevent the data from being decoded with a shift.
【0012】また、受信端末で送信端末から送られてき
た符号化情報を復号する場合には、送信端末で符号化を
行ない通信路を通って受信端末に符号化情報が届くまで
の時間は常にほぼ一定であるとみなし、受信した符号化
情報を即座に復号する。When the receiving terminal decodes the encoded information sent from the transmitting terminal, the transmitting terminal always encodes the encoded information and the time until the encoded information reaches the receiving terminal through the communication path is always constant. The received encoded information is immediately decoded, assuming that it is almost constant.
【0013】また、上記のような低遅延型レート制御を
用いたマルチメディア通信システムに用いられるマルチ
メディア通信端末の中には、相手端末から受信したマル
チメディア情報または自端末で符号化したマルチメディ
ア情報を記録する機能を有するものがある。Further, among the multimedia communication terminals used in the multimedia communication system using the low-delay type rate control as described above, the multimedia information received from the partner terminal or the multimedia coded by the own terminal is included. Some have a function of recording information.
【0014】このようなマルチメディア通信端末では、
相手端末から受信したマルチメディア情報を記録する場
合には、帯域の大きさに応じた符号化情報量で相手端末
から受信した情報を記録する一方、自端末で符号化した
マルチメディア情報を記録する場合には、記録した情報
を通信路に送出することを想定して、帯域の大きさに応
じた速度で情報を記録する。In such a multimedia communication terminal,
When recording the multimedia information received from the partner terminal, the information received from the partner terminal is recorded with the amount of encoded information according to the size of the band, while the multimedia information encoded by the own terminal is recorded. In this case, the information is recorded at a speed according to the size of the band on the assumption that the recorded information is sent to the communication path.
【0015】この場合、記録対象のマルチメディア情報
のうちの動画像情報は、以前の画像フレームを元にその
差分のみを符号化処理したもの(フレーム間予測符号化
情報)である。In this case, the moving image information of the multimedia information to be recorded is information obtained by encoding only the difference between the previous image frames (inter-frame predictive encoding information).
【0016】このような画像処理を経て動画像情報の記
録を行なう従来のマルチメディア通信端末では、記録さ
れた情報の中の動画像情報は以前の画像フレームの差分
の情報から成るため、この記録した情報を用いて切り貼
りするなどの編集を行なうことができなかった。In a conventional multimedia communication terminal which records moving image information through such image processing, since the moving image information in the recorded information consists of information on the difference between the previous image frames, this recording is performed. It was not possible to edit such as cutting and pasting using the information.
【0017】また、この種の通信端末では、マルチメデ
ィア通信の実行中、例えば相手端末から送られてくる動
画像を見ながら、記録する意味が無いような動画像につ
いては、当該区間だけ記録を一時的に停止したいという
要求もある。Further, in this type of communication terminal, during execution of multimedia communication, for example, while watching a moving image sent from a partner terminal, for a moving image that does not make sense to record, only the relevant section is recorded. There is also a demand for temporary suspension.
【0018】こうした要求に対して、符号化処理を続け
たままで記録を一時停止し、その後、一時停止を解除し
て記録を再開させた場合を考えてみる。この場合の記録
動作に係わる動画像情報の記録処理イメージは図8に示
す如くとなる。In response to such a request, consider the case where recording is temporarily stopped while the encoding process is continued, and then the temporary stop is released and recording is restarted. A recording processing image of moving image information related to the recording operation in this case is as shown in FIG.
【0019】すなわち、この場合、記録対象の動画像符
号化情報(入力情報)としては、図8(a)に示す如
く、最初に入力する画像フレームを除いては以前の画像
フレームの差分の情報が連続に入力されてくる。That is, in this case, as the moving image coding information (input information) to be recorded, as shown in FIG. 8A, except for the image frame to be input first, information on the difference between the previous image frames is provided. Are input continuously.
【0020】この動画像符号化情報を対象に、例えば、
時間T1で記録を一時停止し、時間T2で記録の一時停
止を解除するような記録処理を行なうと、この場合に記
録される情報は、図8(b)に示すような形態となる。For this moving picture coded information, for example,
When recording processing is performed such that recording is temporarily stopped at time T1 and recording is temporarily stopped at time T2, the information recorded in this case has a form as shown in FIG. 8B.
【0021】すなわち、この場合に記憶される動画像符
号化情報〔図8(b)参照〕は、記録一時停止期間(時
間T1〜T2)分の動画像符号化情報が失われ、しかも
記録一時停止解除時点(同、時間T2)の動画像符号化
情報も上述したように時間的なフレームの差分情報から
始まることになる。That is, in the moving picture coded information stored in this case [see FIG. 8 (b)], the moving picture coded information for the recording pause period (time T1 to T2) is lost, and the recording is temporarily stopped. The moving image coding information at the time of releasing the stop (the same time T2) also starts from the temporal frame difference information as described above.
【0022】かかる形態で記録された情報を再生させた
場合、上記記録一時停止区間(時間たT1からT2)を
挟んで前後の動画像符号化情報の時間的なつながりが把
握できず、しかも記録再開後に最初に入力される動画像
符号化情報は単独では再生し得ない差分情報から成るた
め、記録一時停止時点以降の動画像の再生は行なえなか
った。When the information recorded in such a form is reproduced, it is not possible to grasp the temporal connection of the moving image coded information before and after the recording pause section (time T1 to T2), and moreover, the information is recorded. Since the moving image coding information that is first input after the restart is composed of the difference information that cannot be reproduced by itself, the moving image cannot be reproduced after the recording suspension time.
【0023】結果として、この種の従来の通信装置で
は、ユーザからの要求に応じて符号化処理を停止させる
こと無く記録の一時停止を行なうことができなかった。As a result, in the conventional communication device of this type, the recording cannot be temporarily stopped without stopping the encoding process in response to the request from the user.
【0024】[0024]
【発明が解決しようとする課題】このように、上記従来
のマルチメディア通信端末では、動画像情報については
時間的なフレームの差分情報のみを符号化したフレーム
間予測符号化情報を記録しているため、この記録した情
報を切り貼りするなどの編集を行うことができず、また
ユーザからの要求に応じて符号化処理を停止させること
なく記録の一時停止を行なうこともできないという問題
点があった。As described above, in the above-mentioned conventional multimedia communication terminal, as for the moving image information, the interframe predictive coding information in which only the temporal frame difference information is coded is recorded. Therefore, there is a problem in that the recorded information cannot be edited such as cut and pasted, and the recording cannot be temporarily stopped without stopping the encoding process in response to a request from the user. .
【0025】本発明は上記問題点を除去し、記録した情
報を切り貼りするなどの編集を行うことができると共
に、符号化処理を行ないながら記録の一時停止を行なう
ことができるマルチメディア通信装置を提供することを
目的とする。The present invention eliminates the above-mentioned problems and provides a multimedia communication apparatus capable of performing editing such as cutting and pasting recorded information, and also capable of temporarily stopping recording while performing encoding processing. The purpose is to do.
【0026】[0026]
【課題を解決するための手段】上記目的を達成するため
に、請求項1記載の発明は、複数種別のマルチメディア
情報を各種別毎の符号化処理部で符号化して符号化情報
を生成し、該符号化情報を多重化して相手端末に送信す
ると共に、相手端末から受信された多重化情報を各種別
毎の符号化情報に分離して再生するマルチメディア情報
通信機能と、自端末で生成された符号化情報または相手
端末から受信した符号化情報を多重化して記録すると共
に、該記録の一時停止及び再開が可能な記録処理機能
と、記録された符号化情報を再生する再生処理機能とを
有するマルチメディア通信装置であって、前記符号化情
報の記録開始時からの経過時間を示すタイムスタンプ情
報、及び記録の一時停止がなされた後該記録が再開され
たことを示すフラグが設定可能な属性情報を含む記録フ
ォーマットフレームを生成するフレーム生成手段と、前
記符号化情報の再生時、再生用タイマを前記記録フォー
マットフレーム中のタイムスタンプ値に合わせて該フレ
ーム中の符号化情報を再生すると共に、再生対象の記録
フォーマットフレーム中に前記フラグが設定されている
場合、前記再生用タイマを該フラグが設定されている記
録フォーマットフレームのタイムスタンプ値に合わせて
符号化情報の再生を続行させる再生制御手段とを具備す
ることを特徴とする。In order to achieve the above object, the invention according to claim 1 encodes multimedia information of a plurality of types by an encoding processing unit for each type to generate encoded information. , A multimedia information communication function of multiplexing the coded information and transmitting the coded information to the partner terminal, separating the multiplexed information received from the partner terminal into coded information for each type, and reproducing the same. A recording processing function capable of multiplexing and recording the encoded information received or the encoded information received from the partner terminal, and temporarily stopping and resuming the recording, and a reproduction processing function of reproducing the recorded encoded information. A multimedia communication device including: time stamp information indicating an elapsed time from the start of recording the encoded information, and a flag indicating that the recording is restarted after the recording is temporarily stopped. A frame generating means for generating a recording format frame including settable attribute information; and a reproducing timer which, when reproducing the encoded information, matches the encoded information in the frame with the time stamp value in the recording format frame. When the flag is set in the recording format frame to be reproduced, the reproduction timer is continued to reproduce the encoded information in accordance with the time stamp value of the recording format frame in which the flag is set. And a reproduction control means for controlling the reproduction.
【0027】請求項2記載の発明は、複数種別のマルチ
メディア情報を各種別毎の符号化処理部で符号化して符
号化情報を生成し、該符号化情報を多重化して相手端末
に送信すると共に、相手端末から受信された多重化情報
を各種別毎の符号化情報に分離して再生するマルチメデ
ィア情報通信機能と、自端末で生成された符号化情報ま
たは相手端末から受信した符号化情報を多重化して記録
すると共に、該記録の一時停止及び再開が可能な記録処
理機能と、記録された符号化情報を再生する再生処理機
能とを有するマルチメディア通信装置であって、前記符
号化情報の記録開始時からの経過時間を示すタイムスタ
ンプ情報、記録の一時停止がなされたことを示す記録一
時停止フラグ及び記録が再開されたことを示す記録再開
フラグが設定可能な属性情報を含む記録フォーマットフ
レームを生成するフレーム生成手段と、生成された記録
フォーマットフレームのうち、前記記録一時停止フラグ
が設定された位置から前記記録再開フラグが設定された
位置までの記録フォーマットフレームを削除し、記録フ
ォーマットフレームに記録されているタイムスタンプ値
が連続するように調整するフレーム加工手段と、前記符
号化情報の再生時、再生用タイマを前記記録フォーマッ
トフレーム中のタイムスタンプ値に合わせて符号化情報
を順次再生させる再生制御手段とを具備することを特徴
とする。According to a second aspect of the present invention, a plurality of types of multimedia information are coded by each type of coding processing unit to generate coded information, and the coded information is multiplexed and transmitted to a partner terminal. Along with, a multimedia information communication function that separates and reproduces the multiplexed information received from the partner terminal into the coded information for each type, and the coded information generated by the own terminal or the coded information received from the partner terminal A multimedia communication device having a recording processing function capable of multiplexing and recording and recording and temporarily stopping and resuming the recording, and a reproduction processing function of reproducing the recorded encoded information, wherein the encoded information The time stamp information indicating the elapsed time from the start of recording, the recording pause flag indicating that recording was paused, and the recording restart flag indicating that recording was restarted can be set. Frame generating means for generating a recording format frame including attribute information; and a recording format frame from the position where the recording pause flag is set to the position where the recording restart flag is set among the generated recording format frames. Frame processing means for deleting and adjusting the time stamp value recorded in the recording format frame to be continuous, and a reproduction timer at the time of reproducing the encoded information, in accordance with the time stamp value in the recording format frame. And a reproduction control means for sequentially reproducing the encoded information.
【0028】請求項3記載の発明は、複数種別のマルチ
メディア情報を各種別毎の符号化処理部で符号化して符
号化情報を生成し、該符号化情報を多重化して相手端末
に送信すると共に、相手端末から受信された多重化情報
を各種別毎の符号化情報に分離して再生するマルチメデ
ィア情報通信機能と、自端末で生成された符号化情報ま
たは相手端末から受信した符号化情報を多重化して記録
すると共に、該記録の一時停止及び再開が可能な記録処
理機能と、記録された符号化情報を再生する再生処理機
能とを有するマルチメディア通信装置であって、前記符
号化情報の記録開始時からの経過時間を示すタイムスタ
ンプ情報、及び記録再開がなされたことを示す記録再開
フラグが設定可能な属性情報を含む記録フォーマットフ
レームを生成するフレーム生成手段と、記録再開の指令
が入力されることにより、記録対象の符号化情報の送出
元である自端末の符号化処理部または相手端末の符号化
処理部に対してフレーム内予測符号化情報の挿入を行な
うことを指示する指示手段と、前記指示後に前記フレー
ム内予測符号化情報が到着した時点で記録を再開し、当
該フレーム内予測符号化情報から順に前記記録フォーマ
ットフレームの生成処理を続行させる記録制御手段とを
具備することを特徴とする。According to a third aspect of the present invention, a plurality of types of multimedia information are encoded by each type of encoding processing unit to generate encoded information, and the encoded information is multiplexed and transmitted to the partner terminal. Along with, a multimedia information communication function that separates and reproduces the multiplexed information received from the partner terminal into the coded information for each type, and the coded information generated by the own terminal or the coded information received from the partner terminal A multimedia communication device having a recording processing function capable of multiplexing and recording and recording and temporarily stopping and resuming the recording, and a reproduction processing function of reproducing the recorded encoded information, wherein the encoded information Generates a recording format frame including time stamp information indicating the elapsed time from the start of recording and attribute information for which a recording restart flag indicating that recording has been restarted can be set. Intra-frame predictive coding is performed on the coding processing unit of the own terminal or the coding processing unit of the partner terminal, which is the transmission source of the coding information to be recorded, by inputting the frame generation means and the recording restart command. Instructing means for instructing insertion of information, recording is restarted at the time when the intraframe predictive coding information arrives after the instruction, and generation processing of the recording format frame is sequentially performed from the intraframe predictive coding information. The recording control means for continuing the operation is provided.
【0029】請求項4記載の発明は、上記請求項3記載
の発明において、前記フレーム内予測符号化情報の記録
フォーマットフレームを生成する際、該記録フォーマッ
トフレーム中に、フレーム内予測符号化情報であること
を示すフラグを設定することを特徴とする。According to a fourth aspect of the present invention, in the above-mentioned third aspect, when the recording format frame of the intraframe predictive coding information is generated, the intraframe predictive coding information is included in the recording format frame. It is characterized by setting a flag indicating that there is.
【0030】請求項5記載の発明は、複数種別のマルチ
メディア情報を各種別毎の符号化処理部で符号化して符
号化情報を生成し、該符号化情報を多重化して相手端末
に送信すると共に、相手端末から受信された多重化情報
を各種別毎の符号化情報に分離して再生するマルチメデ
ィア情報通信機能と、自端末で生成された符号化情報ま
たは相手端末から受信した符号化情報を多重化して記録
する記録処理機能と、記録された符号化情報を再生する
再生処理機能とを有するマルチメディア通信装置であっ
て、前記符号化情報の記録開始時からの経過時間を示す
タイムスタンプ情報、及び記録対象の符号化情報の属性
を示す属性情報を含む記録フォーマットフレームを生成
するフレーム生成手段と、前記符号化情報の記録時、該
記録対象の符号化情報の送出元である自端末の符号化処
理部または相手端末の符号化処理部に対してフレーム内
予測符号化情報の挿入を行なうことを指示する指示手段
と、前記指示後に前記フレーム内予測符号化情報が到着
した時点で該フレーム内予測符号化情報から順に前記記
録フォーマットフレームの生成処理を続行させる記録制
御手段とを具備することを特徴とする。According to a fifth aspect of the present invention, a plurality of types of multimedia information are encoded by each type of encoding processing unit to generate encoded information, and the encoded information is multiplexed and transmitted to the partner terminal. Along with, a multimedia information communication function that separates and reproduces the multiplexed information received from the partner terminal into the coded information for each type, and the coded information generated by the own terminal or the coded information received from the partner terminal A multimedia communication device having a recording processing function of multiplexing and recording the encoded information and a reproduction processing function of reproducing the recorded encoded information, the timestamp showing the elapsed time from the start of recording the encoded information. Frame generating means for generating a recording format frame including information and attribute information indicating the attribute of the encoding information to be recorded, and encoding the recording object when recording the encoding information Instructing means for instructing the encoding processing unit of the own terminal or the encoding processing unit of the partner terminal, which is the sender of the information, to insert the intraframe prediction encoding information, and the intraframe prediction code after the instruction. Recording control means for continuing the generation processing of the recording format frame in order from the intraframe predictive coding information when the encoded information arrives.
【0031】請求項6記載の発明は、上記請求項5記載
の発明において、計時手段を有し、前記指示手段は、前
記計時手段の計時に基づき定期的に前記フレーム内予測
符号化情報の挿入を行うことを指示することを特徴とす
る。According to a sixth aspect of the present invention, in the above-mentioned fifth aspect of the present invention, there is provided clocking means, and the instructing means periodically inserts the intraframe prediction coded information based on the timing of the clocking means. It is characterized by instructing to do.
【0032】請求項7記載の発明は、上記請求項5記載
の発明において、前記符号化情報の記録時、1つ以上の
種別の符号化情報が変動したことを認識する変動認識手
段を備え、前記指示手段は、前記変動認識手段により前
記変動が認識された場合に前記フレーム内予測符号化情
報の挿入を行なうことを指示することを特徴とする。According to a seventh aspect of the invention, in the above-mentioned fifth aspect of the invention, there is provided a variation recognizing means for recognizing that one or more types of encoded information have changed when the encoded information is recorded, The instructing means may instruct to insert the intra-frame predictive coding information when the variation is recognized by the variation recognizing means.
【0033】請求項8記載の発明は、上記請求項7記載
の発明において、前記変動認識手段は、動画像情報の変
動が予め設定した大きさより大きくなったことを認識す
る動画像情報変動認識手段から成ることを特徴とする。The invention according to claim 8 is the invention according to claim 7, wherein the fluctuation recognizing means recognizes that the fluctuation of the moving picture information is larger than a preset magnitude. It is characterized by consisting of.
【0034】請求項9記載の発明は、上記請求項7記載
の発明において、前記変動認識手段は、音声信号が無音
の状態から有音の状態に変化したことを認識する音声情
報変動認識手段から成ることを特徴とする。According to a ninth aspect of the present invention, in the above seventh aspect of the invention, the variation recognition means recognizes that the voice signal has changed from a silent state to a voiced state. It is characterized by being formed.
【0035】請求項10記載の発明は、上記請求項5記
載の発明において、前記フレーム内予測符号化情報を挿
入する指令を入力する入力手段を備え、前記指示手段
は、前記入力手段から入力される前記指令に基づき前記
フレーム内予測符号化情報の挿入を行うことを指示する
ことを特徴とする。According to a tenth aspect of the present invention, in the above-mentioned fifth aspect of the invention, there is provided input means for inputting a command for inserting the intraframe prediction coded information, and the instruction means is input from the input means. It is instructed to insert the intra-frame prediction coded information based on the command.
【0036】[0036]
【発明の実施の形態】以下、本発明の実施の形態につい
て添付図面を参照して詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the accompanying drawings.
【0037】図1は、本発明に係わるマルチメディア通
信端末100の全体構成を示すブロック図である。FIG. 1 is a block diagram showing the overall configuration of a multimedia communication terminal 100 according to the present invention.
【0038】この通信端末100は、通信路とのインタ
フェースを司る通信インタフェース(I/F)部11、
複数種別のマルチメディア情報の符号化情報を多重化す
る多重部121と多重化された符号化情報を分離する分
離部122から成る多重/分離処理部12、マルチメデ
ィア情報の1つである動画像情報を符号化する動画像符
号化部131と符号化された動画像情報を復号化する動
画像復号化部132から成る動画像符号/復号処理部1
3、もう1つのマルチメディア情報である音声信号を符
号化する音声符号化部141と符号化された音声信号を
復号化する音声復号化部142から成る音声符号/復号
処理部14、多重/分離処理部12,動画像符号/復号
処理部13,音声符号/復号処理部14,後述する記録
処理部16および再生処理部17間の情報経路を選択す
るスイッチを有する経路選択部15、自端末で生成され
た符号化情報または相手端末から受信した符号化情報を
多重化して記録する処理を行なう記録処理部16、記録
された情報を再生する処理を行なう再生処理部17、記
録する情報を一時的に蓄積するバッファ18、通信端末
内各部とシステム制御部20とのインタフェースを司る
ホストインタフェース(I/F)部19、通信端末全体
の制御を行なうシステム制御部20、バッファ18に蓄
積された情報を記録する記録媒体21、テンキーや各種
機能キーを用いて記録及び再生動作等に係わる各種指令
を入力する入力/操作部22、音声を音声信号に変換し
て入力するマイク部23、音声信号を再生出力するスピ
ーカ部24、被写体を撮像して動画像情報を入力するカ
メラ部25、動画像等の各種情報を表示する表示部26
を具備して構成される。The communication terminal 100 includes a communication interface (I / F) unit 11 which controls an interface with a communication path.
Multiplexing / separating processing unit 12 including a multiplexing unit 121 that multiplexes coded information of multiple types of multimedia information and a separation unit 122 that separates multiplexed coded information, and a moving image that is one of multimedia information Moving picture coding / decoding processing section 1 including moving picture coding section 131 for coding information and moving picture decoding section 132 for decoding coded moving picture information.
3. Speech code / decoding processing section 14 including speech coding section 141 for coding speech signal which is another multimedia information and speech decoding section 142 for decoding encoded speech signal, multiplexing / demultiplexing The processing unit 12, the moving image coding / decoding processing unit 13, the audio coding / decoding processing unit 14, the route selecting unit 15 having a switch for selecting an information route between the recording processing unit 16 and the reproduction processing unit 17, which will be described later, and its own terminal. The recording processing unit 16 that performs a process of multiplexing and recording the generated encoded information or the encoded information received from the partner terminal, the reproduction processing unit 17 that reproduces the recorded information, and the information to be recorded temporarily. A buffer 18 for storing data in the communication terminal, a host interface (I / F) section 19 for controlling the interface between each section in the communication terminal and the system control section 20, and a system for controlling the entire communication terminal. System control unit 20, recording medium 21 for recording information accumulated in buffer 18, input / operation unit 22 for inputting various commands related to recording and reproducing operations using ten keys and various function keys, and voice as audio signals. A microphone unit 23 for converting and inputting, a speaker unit 24 for reproducing and outputting an audio signal, a camera unit 25 for imaging a subject and inputting moving image information, and a display unit 26 for displaying various information such as moving images.
It is configured to include.
【0039】図2は、図1の通信端末100における各
部の接続形態を示す図である。FIG. 2 is a diagram showing a connection form of each unit in the communication terminal 100 of FIG.
【0040】図2において、スイッチ(SW)151、
152、153は、図1における経路選択部15の構成
要素であり、システム制御部20の切換え指示により符
号化情報の経路選択を行なう。In FIG. 2, the switch (SW) 151,
Reference numerals 152 and 153 are components of the route selection unit 15 in FIG. 1, and perform route selection of encoded information according to a switching instruction from the system control unit 20.
【0041】具体的に、スイッチ151は、動画像符号
化部(V Enc)131,音声符号化部(A Enc)141か
ら多重部(MUX)121への情報経路、及び再生処理部
(PLAY)17から多重部121への情報経路の選択を行
なう。Specifically, the switch 151 includes an information path from the moving picture coding unit (V Enc) 131, the audio coding unit (A Enc) 141 to the multiplexing unit (MUX) 121, and a reproduction processing unit (PLAY). The information path from 17 to the multiplexer 121 is selected.
【0042】スイッチ152は、動画像符号化部13
1,音声符号化部141から記録処理部(REC)16へ
の情報経路、及び分離部(DMX)122から記録処理部
16への情報経路の選択を行なう。The switch 152 is used for the moving picture coding unit 13.
1. The information path from the audio encoding unit 141 to the recording processing unit (REC) 16 and the information path from the separating unit (DMX) 122 to the recording processing unit 16 are selected.
【0043】スイッチ153は、分離部122から動画
像復号化部(V Dec)132,音声復号化部(A Dec)1
42への情報経路、及び再生処理部17から動画像復号
化部132,音声復号化部142への情報経路の選択を
行なう。The switch 153 includes a moving image decoding unit (V Dec) 132, a voice decoding unit (A Dec) 1 from the separation unit 122.
An information path to the information path 42 and an information path from the reproduction processing unit 17 to the moving image decoding unit 132 and the audio decoding unit 142 are selected.
【0044】また、A/D変換部(A/D)133及びD
/A(D/A)変換部134は、それぞれ、動画像符号化
部131,動画像復号化部132に対応して動画像符号
/復号処理部13に設けられるものであり、A/D変換
部(A/D)143およびD/A(D/A)変換部144は、
それぞれ、音声符号化部141,音声復号化部142に
対応して音声符号/復号処理部14に設けられるもので
ある。Further, the A / D converter (A / D) 133 and D
The A / A (D / A) conversion unit 134 is provided in the moving image coding / decoding processing unit 13 in correspondence with the moving image coding unit 131 and the moving image decoding unit 132, respectively, and performs A / D conversion. The section (A / D) 143 and the D / A (D / A) conversion section 144
The speech coding / decoding processing unit 14 is provided corresponding to the speech coding unit 141 and the speech decoding unit 142, respectively.
【0045】本発明に係わる通信端末100の概略動作
について、図2を参照して説明する。The general operation of the communication terminal 100 according to the present invention will be described with reference to FIG.
【0046】まず、通信端末100から通信路を介して
相手端末にマルチメディア情報を送信する場合、カメラ
部25から入力された動画像情報は、A/D変換部13
3によりアナログ信号からデジタル信号に変換された
後、動画像符号化部131により符号化され動画像符号
化情報となってスイッチ151および152に入力され
る。First, when the multimedia information is transmitted from the communication terminal 100 to the partner terminal via the communication path, the moving image information input from the camera unit 25 is converted into the A / D conversion unit 13.
After being converted from an analog signal to a digital signal by 3, the moving picture coding unit 131 codes the moving picture coding information and inputs it to the switches 151 and 152.
【0047】また、マイク部23から入力された音声信
号は、A/D変換部143によりアナログ信号からデジ
タル信号に変換された後、音声符号化部141により符
号化され音声符号化情報となってスイッチ151および
152に入力される。The voice signal input from the microphone unit 23 is converted from an analog signal to a digital signal by the A / D conversion unit 143 and then encoded by the voice encoding unit 141 to be voice encoded information. It is input to the switches 151 and 152.
【0048】この時、システム制御部20は、上記動画
像符号化情報及び音声符号化情報がスイッチ151を通
って多重部121に入力するように当該スイッチ151
に切換え指示を与えている。At this time, the system control unit 20 causes the switch 151 so that the moving image coding information and the audio coding information are input to the multiplexing unit 121 through the switch 151.
Is given a switching instruction.
【0049】多重部121は、スイッチ151を通じて
入力される上記動画像符号化情報と音声符号化情報の両
方またはいずれかを通信路に送出できる形に多重化す
る。The multiplexing section 121 multiplexes the moving picture coded information and / or the voice coded information inputted through the switch 151 into a form capable of being sent to the communication path.
【0050】多重部121で多重化された符号化情報
は、通信I/F部11を介して通信路に送出され、相手
端末に伝送される。The coded information multiplexed by the multiplexing unit 121 is sent to the communication path via the communication I / F unit 11 and transmitted to the partner terminal.
【0051】また、相手端末から通信路を介して送られ
てくるマルチメディア情報(多重化された符号化情報)
を受信する場合、通信端末100ではまず該マルチメデ
ィア情報を通信I/F部11を通じて受信し、分離部1
22に入力する。Also, multimedia information (multiplexed coded information) sent from the partner terminal via the communication path.
When receiving the information, the communication terminal 100 first receives the multimedia information through the communication I / F unit 11, and then the separating unit 1 receives the multimedia information.
Enter in 22.
【0052】分離部122は、通信I/F部11から入
力されるマルチメディア情報から動画像符号化情報,音
声符号化情報を情報種別毎に分離し、スイッチ152お
よび153に転送する。The separating unit 122 separates the moving image coding information and the audio coding information from the multimedia information input from the communication I / F unit 11 for each information type and transfers them to the switches 152 and 153.
【0053】この時、システム制御部20は、分離部1
22で分離された上記動画像符号化情報及び音声符号化
情報がスイッチ153を通ってそれぞれの情報種別に対
応する動画像復号化部132,音声復号化部142に入
力されるように当該スイッチ153に経路選択指示を与
えている。At this time, the system control unit 20 has the separation unit 1
The switch 153 so that the moving picture coding information and the sound coding information separated in 22 are input to the moving picture decoding unit 132 and the sound decoding unit 142 corresponding to the respective information types through the switch 153. Is given a route selection instruction.
【0054】動画像復号化部132は、スイッチ153
から入力される動画像符号化情報を復号化して出力す
る。動画像復号化部132で復号化された動画像情報
は、D/A変換部134によりデジタル信号からアナロ
グ信号に変換された後、表示部26に出力され、動画像
として表示される。The moving picture decoding unit 132 has a switch 153.
It decodes and outputs the moving image coded information input from. The moving image information decoded by the moving image decoding unit 132 is converted from a digital signal to an analog signal by the D / A conversion unit 134, and then output to the display unit 26 and displayed as a moving image.
【0055】また、音声復号化部142は、スイッチ1
53から入力される音声符号化情報を復号化して出力す
る。音声復号化部142で復号化された音声信号は、D
/A変換部144によりデジタル信号からアナログ信号
に変換された後、スピーカ部24に出力され、音声とし
て再生される。Further, the voice decoding unit 142 is provided with the switch 1
The audio encoded information input from 53 is decoded and output. The audio signal decoded by the audio decoding unit 142 is D
After being converted from a digital signal to an analog signal by the / A converter 144, the analog signal is output to the speaker 24 and reproduced as voice.
【0056】この通信端末100では、自端末で生成し
たマルチメディア情報を相手端末に送信する場合に、該
マルチメディア情報を自端末にて記録することもでき
る。In this communication terminal 100, when the multimedia information generated by the terminal itself is transmitted to the partner terminal, the multimedia information can be recorded by the terminal itself.
【0057】この場合、システム制御部20は、上述し
たスイッチ151の切換え指示に加えて、動画像符号化
部131により符号化された動画像符号化情報と、音声
符号化部141により符号化され音声符号化情報がスイ
ッチ152を通って記録処理16に入力するように当該
スイッチ152に切換え指示を与える。In this case, in addition to the switching instruction of the switch 151 described above, the system control unit 20 encodes the moving image coding information coded by the moving image coding unit 131 and the speech coding unit 141. A switch instruction is given to the switch 152 so that the audio coded information is input to the recording process 16 through the switch 152.
【0058】記録処理部16では、スイッチ152から
入力する上記動画像符号化情報および音声符号化情報を
多重化し、バッファ18を介してシステム制御部20に
送出する。The recording processing unit 16 multiplexes the moving image coding information and the audio coding information input from the switch 152 and sends them to the system control unit 20 via the buffer 18.
【0059】システム制御部20は、バッファ18に一
時的に蓄積された情報を記録媒体21に記録する。The system controller 20 records the information temporarily accumulated in the buffer 18 on the recording medium 21.
【0060】具体的に、記録処理部16では、スイッチ
152から入力する動画像符号化情報および音声符号化
情報の両方またはいずれか一方の符号化情報を予め決め
られた記録フォーマット情報(後述する記録フォーマッ
トフレームに相当)に変換した後、バッファ18を介し
てシステム制御部20に送出し、システム制御部20で
は、上記記録フォーマット情報を記録媒体21に記録す
る。More specifically, in the recording processing section 16, the encoding information of the moving image encoding information and / or the audio encoding information inputted from the switch 152, or either one of them is determined in advance as recording format information (recording described later). After being converted to a format frame), it is sent to the system control unit 20 via the buffer 18, and the system control unit 20 records the recording format information on the recording medium 21.
【0061】また、この通信端末100では、相手端末
から受信したマルチメディア情報を再生する場合に、該
マルチメディア情報を自端末にて記録することもでき
る。Further, in this communication terminal 100, when reproducing the multimedia information received from the partner terminal, the multimedia information can be recorded in the own terminal.
【0062】この場合、システム制御部20では、上述
したスイッチ153の切換え指示に加えて、多重部12
2で分離された動画像符号化情報及び音声符号化情報が
スイッチ152を通って記録処理部16に入力するよう
に当該スイッチ152に切換え指示を与える。In this case, in addition to the switching instruction of the switch 153 described above, the system control unit 20 adds the multiplexing unit 12
A switching instruction is given to the switch 152 so that the moving image coding information and the audio coding information separated in 2 are input to the recording processing unit 16 through the switch 152.
【0063】記録処理部16では、先に述べた自端末で
生成した符号化情報の記録時と同様、スイッチ152か
ら入力する動画像符号化情報および音声符号化情報の両
方またはいずれか一方の符号化情報を予め決められた記
録フォーマット情報に変換した後、バッファ18を介し
てシステム制御部20に送出する。システム制御部20
では、上記記録フォーマット情報を記録媒体21に記録
する。In the recording processing section 16, as in the case of recording the coded information generated by the own terminal described above, either or both of the moving picture coded information and the audio coded information inputted from the switch 152 are coded. The converted information is converted into predetermined recording format information and then sent to the system control unit 20 via the buffer 18. System control unit 20
Then, the recording format information is recorded on the recording medium 21.
【0064】また、この通信端末100では、予め記録
媒体21に記憶しておいた記録情報を自端末で再生する
こともできる。Further, in this communication terminal 100, it is also possible to reproduce the record information previously stored in the recording medium 21 in the own terminal.
【0065】この場合、システム制御部20は、ユーザ
操作により入力/操作部22から入力する再生開始指令
に基づき記録媒体21から記録情報(記録フォーマット
情報)を読み出し、バッファ18を介して再生処理部1
7に渡す。In this case, the system control unit 20 reads the recording information (recording format information) from the recording medium 21 based on the reproduction start command input from the input / operation unit 22 by the user operation, and the reproduction processing unit via the buffer 18. 1
Pass to 7.
【0066】再生処理部17は、システム制御部20か
ら渡された上記記録フォーマット情報から動画像符号化
情報と音声符号化情報を情報種別毎に分離し、スイッチ
151及びスイッチ153に転送する。The reproduction processing section 17 separates the moving picture coding information and the audio coding information from the recording format information passed from the system control section 20 for each information type and transfers them to the switch 151 and the switch 153.
【0067】この時、システム制御部20は、再生処理
部17で分離された上記動画像符号化情報及び音声符号
化情報がスイッチ153を通ってそれぞれの情報種別に
対応する動画像復号化部132,音声復号化部142に
入力されるように当該スイッチ153に切換え指示を与
えている。At this time, the system control unit 20 causes the moving picture decoding unit 132 in which the moving picture coding information and the sound coding information separated by the reproduction processing unit 17 correspond to respective information types through the switch 153. The switch instruction is given to the switch 153 so as to be input to the voice decoding unit 142.
【0068】これにより、上記スイッチ153を通じて
動画像復号化部132に入力される動画像符号化情報
は、該動画像復号化部132により復号化され、次い
で、D/A変換部134によりデジタル信号からアナロ
グ信号に変換された後、表示部26に出力され、動画像
として表示される。As a result, the moving image coding information input to the moving image decoding unit 132 through the switch 153 is decoded by the moving image decoding unit 132, and then the D / A conversion unit 134 outputs a digital signal. Is converted into an analog signal and then output to the display unit 26 and displayed as a moving image.
【0069】また、上記スイッチ153を通じて音声復
号化部142に入力される音声符号化情報は、該音声復
号化部142により復号化され、次いで、D/A変換部
144によりデジタル信号からアナログ信号に変換され
た後、スピーカ部24に出力され、音声として再生され
る。The speech coded information input to the speech decoding unit 142 through the switch 153 is decoded by the speech decoding unit 142, and then the D / A conversion unit 144 converts the digital signal into an analog signal. After the conversion, it is output to the speaker unit 24 and reproduced as a sound.
【0070】更に、この通信端末100では、予め記録
媒体21に記憶しておいた記録情報を自端末の再生処理
部17で再生すると同時に、該再生情報を相手端末に送
信することもできる。Further, in this communication terminal 100, the recorded information stored in the recording medium 21 in advance can be reproduced by the reproduction processing section 17 of the own terminal, and at the same time, the reproduced information can be transmitted to the partner terminal.
【0071】この場合、システム制御部20は、再生処
理部17で分離された上記動画像符号化情報及び音声符
号化情報がスイッチ153を通じて各情報種別毎の復号
化部(132,142)に入力されるように当該スイッ
チ153に切換え指示を与えながら、更に、これら動画
像符号化情報及び音声符号化情報がスイッチ151を通
って多重部121に入力されるように当該スイッチ15
1に切換え指示を与える。In this case, the system control unit 20 inputs the moving picture coding information and the sound coding information separated by the reproduction processing unit 17 to the decoding unit (132, 142) for each information type through the switch 153. As described above, while giving a switching instruction to the switch 153, the moving image coding information and the audio coding information are further input so as to be input to the multiplexing unit 121 through the switch 151.
A switching instruction is given to 1.
【0072】これにより、上記スイッチ151を通じて
多重部121に入力される動画像符号化情報及び音声符
号化情報は、該多重部121により通信路に送出できる
形に多重化され、更に、通信I/F部11を介して相手
端末に伝送される。As a result, the moving image coding information and the audio coding information input to the multiplexing unit 121 through the switch 151 are multiplexed by the multiplexing unit 121 so that they can be transmitted to the communication path, and the communication I / It is transmitted to the partner terminal via the F unit 11.
【0073】上述した如く、この通信端末100では、
多重部121の入力部、記録処理部16の入力部、及び
分離部122の出力部にそれぞれスイッチ151、15
2、153が接続され、これらスイッチ151、15
2、153はシステム制御部20からの切換え指示によ
り情報経路の選択を行なっている。As described above, in this communication terminal 100,
Switches 151 and 15 are provided in the input unit of the multiplexing unit 121, the input unit of the recording processing unit 16, and the output unit of the separating unit 122, respectively.
2, 153 are connected to these switches 151, 15
Reference numerals 2 and 153 select an information path according to a switching instruction from the system control unit 20.
【0074】具体的には、多重部121の入力部に接続
されるスイッチ151は、自端末で生成された符号化情
報、再生処理部16で再生された符号化情報のいずれを
通信路へ送出するかを選択する。Specifically, the switch 151 connected to the input section of the multiplexing section 121 sends to the communication path either the coded information generated by the terminal itself or the coded information reproduced by the reproduction processing section 16. Select whether to do.
【0075】記録処理部16の入力部に接続されるスイ
ッチ152は、自端末で生成された符号化情報、相手端
末から受信して分離部122で各情報種別毎に分離され
た符号化情報のいずれを自端末で記録するかを選択す
る。The switch 152 connected to the input unit of the recording processing unit 16 stores the encoded information generated by the terminal itself and the encoded information received from the partner terminal and separated by the separating unit 122 for each information type. Select which one to record at your terminal.
【0076】分離部122の出力部に設けられるスイッ
チ153は、相手端末から受信して分離部122で各情
報種別毎に分離された符号化情報、再生処理部16から
送られてくる符号化情報のいずれを自端末で再生するか
を選択する。The switch 153 provided in the output unit of the separation unit 122 receives the encoding information received from the partner terminal and separated by the separation unit 122 for each information type, and the encoding information sent from the reproduction processing unit 16. Select which of these to play back on your terminal.
【0077】一方、この通信端末100のシステム制御
部20は、上述した情報経路選択のための各スイッチ1
51,152,153への切換え指示発行の他、記録フ
ォーマット情報をバッファ18から読み出して記録媒体
21に書き込む処理、再生する情報を記録媒体21から
読み出してバッファ18を介して再生処理部17に渡す
処理、ユーザからの要求によりそれぞれの処理部が扱う
情報の種別を各処理部に設定する処理等を行なう。On the other hand, the system control unit 20 of this communication terminal 100 uses the switches 1 for selecting the above-mentioned information paths.
In addition to issuing a switching instruction to 51, 152, 153, processing for reading the recording format information from the buffer 18 and writing it in the recording medium 21, reading information to be reproduced from the recording medium 21 and passing it to the reproduction processing unit 17 via the buffer 18. Processing, processing for setting the type of information handled by each processing unit in each processing unit in response to a request from the user, and the like are performed.
【0078】本発明に係わる通信端末100では、上述
した構成及び制御により、例えば同一種別の符号化情報
を通信路を介して相手端末に送信しながら自端末で記録
を同時に行なったり、相手端末から受信した符号化情報
を再生しながら自端末で同時に記録するといったことも
可能である。In the communication terminal 100 according to the present invention, by the above-described configuration and control, for example, while transmitting the coded information of the same type to the partner terminal through the communication path, the self terminal simultaneously records or the partner terminal records. It is also possible to record the received encoded information at the same time while reproducing the received encoded information.
【0079】次に、本発明に係わる通信端末100にお
いて符号化情報を記録する場合の動作及び記録した情報
を再生する場合の動作について各実施例を挙げながら更
に詳しく説明していく。Next, the operation for recording the coded information and the operation for reproducing the recorded information in the communication terminal 100 according to the present invention will be described in more detail with reference to each embodiment.
【0080】第1の実施例:第1の実施例に係わる通信
端末100は、図1及び図2に示す構成から成り、先の
概略動作の説明で述べたように、複数種別のマルチメデ
ィア情報を各種別毎の符号化処理部(動画像符号化部1
31、音声符号化部141)で符号化して符号化情報を
生成し、該符号化情報を多重化して相手端末に送信する
と共に、相手端末から受信された多重化情報を各種別毎
の符号化情報に分離して再生するマルチメディア情報通
信機能と、自端末で生成された符号化情報または相手端
末から受信した符号化情報を多重化して記録する記録処
理機能と、記録された符号化情報を再生する再生処理機
能とを有している。First Embodiment: The communication terminal 100 according to the first embodiment has the configuration shown in FIGS. 1 and 2, and as described in the description of the outline operation above, plural kinds of multimedia information. The encoding processing unit for each type (the moving image encoding unit 1
31, the voice coding unit 141) generates coded information, multiplexes the coded information and transmits the coded information to the partner terminal, and codes the multiplexed information received from the partner terminal for each type. A multimedia information communication function that separates and reproduces information, a recording processing function that multiplexes and records the encoded information generated by the terminal itself or the encoded information received from the partner terminal, and the recorded encoding information It has a reproduction processing function of reproducing.
【0081】特に、記録処理機能については、記録の一
時停止及び一時停止解除が可能な構成となっている。Particularly, regarding the recording processing function, the recording can be temporarily stopped and released.
【0082】本実施例の通信端末100において、例え
ば、自端末で生成された符号化情報を記録する場合、動
画像符号化部131および音声符号化処理部141で符
号化された符号化情報は、上述した情報経路選択制御に
よりスイッチ152を通じて記録処理部16に渡され
る。In the communication terminal 100 of this embodiment, for example, when recording the coding information generated by the terminal itself, the coding information coded by the moving picture coding unit 131 and the voice coding processing unit 141 is Is passed to the recording processing unit 16 through the switch 152 by the above-described information path selection control.
【0083】記録処理部16は、予め決められた周期毎
に、通信路の容量を考慮した大きさの符号化情報を取り
込み、該符号化情報を予め設定した記録情報の書式に従
って記録フォーマットフレーム(情報種別毎に)を生成
する。The recording processing section 16 fetches the coded information of a size in consideration of the capacity of the communication path for each predetermined cycle, and records the coded information in the recording format frame (according to the format of the preset record information. (For each information type) is generated.
【0084】生成した記録フォーマットフレームはバッ
ファ18に書き込み、記録情報が発生したことをシステ
ム制御部20に通知する。The generated recording format frame is written in the buffer 18 and the system controller 20 is notified that recording information has been generated.
【0085】図3は、本発明に係わる記録フォーマット
フレームの構成例を示す図である。FIG. 3 is a diagram showing an example of the structure of a recording format frame according to the present invention.
【0086】この記録フォーマットフレームは、タイム
スタンプ、記録対象の符号化情報の属性情報,長さ情報
及び情報部から構成される。This recording format frame is composed of a time stamp, attribute information of encoded information to be recorded, length information and an information part.
【0087】ここで、タイムスタンプは、符号化情報の
記録を開始した時点からの時間を示す。記録処理部16
では、符号化情報の記録処理を開始した時点から内部タ
イマを動作させ、記録フォーマットフレームを生成した
時点の内部タイマの値をタイムスタンプとして当該記録
フォーマットフレームに書き込む。Here, the time stamp indicates the time from the start of recording the encoded information. Recording processing unit 16
Then, the internal timer is operated from the time when the recording process of the encoded information is started, and the value of the internal timer at the time when the recording format frame is generated is written in the recording format frame as a time stamp.
【0088】また、属性情報は、記録フォーマットフレ
ームの情報部(記録対象の符号化情報の内容)に格納さ
れた情報の種別を示す情報種別、動画像情報の1画面の
切れ目を表す画面切れ目フラグ、各種情報のパケットの
切れ目を表すパケット切れ目フラグ、記録の一時停止が
開始された最初の記録フォーマットフレームであること
を表す記録一時停止フラグ(後述するfg1に相当)、
記録の一時停止が解除された(記録が再開された)最初
の記録フォーマットフレームであることを表す記録再開
フラグ(同、fg2に相当)、動画像情報のIフレーム
であることを表すIフレームフラグ(同、fg3)など
から構成される。The attribute information is an information type indicating the type of information stored in the information section of the recording format frame (contents of the encoding information to be recorded), and a screen break flag indicating a break in one screen of moving image information. , A packet break flag indicating a break of a packet of various information, a recording pause flag indicating a first recording format frame in which recording pause is started (corresponding to fg1 described later),
A recording resumption flag (corresponding to fg2) indicating that it is the first recording format frame in which the recording suspension is released (recording is restarted), and an I frame flag indicating that it is an I frame of moving image information. (Same as fg3).
【0089】次に、本実施例の通信端末100におい
て、記録の一時停止、再開を行なう場合の記録処理につ
いて説明する。Next, description will be made on the recording process when the recording is temporarily stopped and restarted in the communication terminal 100 of this embodiment.
【0090】上述した通り、本実施例に係わる通信端末
100では、同一種別の符号化情報を通信路を介して相
手端末へ送出しながら自端末での記録を同時に行うとい
ったことも想定しなければならないため、音声および動
画像用の符号化処理部を動作させながら記録処理のみを
一時停止することが必要となる。As described above, in the communication terminal 100 according to the present embodiment, it is necessary to assume that the self-terminal simultaneously records the encoded information of the same type to the other terminal through the communication path. Therefore, it is necessary to suspend only the recording process while operating the encoding unit for audio and moving images.
【0091】本実施例に係わる通信端末100におい
て、通常の記録処理を行っている最中に、記録処理を一
時停止する場合、あるいは記録一時停止を解除する場
合、ユーザは、入力/操作部22にてそれぞれ記録一時
停止操作、あるいは記録一時停止解除操作を行なう。In the communication terminal 100 according to the present embodiment, when the recording process is temporarily stopped or the recording suspension is released during the normal recording process, the user operates the input / operation unit 22. The recording pause operation or the recording pause release operation is performed respectively.
【0092】システム制御部20は、上記記録一時停止
操作により入力/操作部22から記録一時停止指令が入
力されると、記録処理部16に対して記録一時停止の指
示を送出する。When the recording suspension command is input from the input / operation unit 22 by the recording suspension operation, the system control unit 20 sends a recording suspension instruction to the recording processing unit 16.
【0093】記録処理部16は、上記記録一時停止の指
示を受けると、動画像符号化部131、音声符号化部1
41から送られてくる符号化情報の区切りを見つけるま
で上述した方法で通常通りの記録処理を行なう。When the recording processing section 16 receives the above-mentioned instruction to pause recording, the moving picture coding section 131 and the audio coding section 1
The normal recording process is performed by the above-described method until the division of the coded information sent from 41 is found.
【0094】そして、上記記録一時停止の指示を受けた
後、情報の区切りを見つけるまでの間に到着した符号化
情報の記録フォーマットフレームを生成する際には、当
該記録フォーマットフレームの属性情報領域内に記録一
時停止フラグfg1を設定する。Then, when the recording format frame of the coded information that arrives after the recording pause instruction is received and before the information delimiter is found, in the attribute information area of the recording format frame, The recording suspension flag fg1 is set to.
【0095】なお、符号化情報の区切りは、一例とし
て、音声情報の場合は音声符号化部141が生成する情
報単位であるフレームの区切りとし、動画像情報の場合
は、1画面の生成単位であるVOPフレームの区切りと
する。The delimiter of the coded information is, for example, a frame delimiter which is an information unit generated by the voice encoding unit 141 in the case of voice information, and a frame delimiter in the case of moving image information. It is used as a delimiter for a certain VOP frame.
【0096】記録処理部16は、上記記録一時停止の指
示を受けた後、上述した情報の区切りが見つかったら、
その種別の情報については記録を行なわないように制御
する。When the recording processing section 16 receives the above-mentioned recording suspension instruction and then finds the above-mentioned information break,
The information of that type is controlled not to be recorded.
【0097】その後、上記記録一時停止解除操作により
入力/操作部22からシステム制御部20に記録一時停
止解除指令が入力されると、該システム制御部20は記
録処理部16に対して記録再開の指示を送出する。After that, when a recording pause cancel command is input from the input / operation unit 22 to the system control unit 20 by the recording pause cancel operation, the system control unit 20 instructs the recording processing unit 16 to restart recording. Send an instruction.
【0098】記録処理部16は、上記記録再開の指示を
受けた後、動画像符号化部131、音声符号化部141
から送られてくる符号化情報の区切りを見つけた時点か
ら記録を再開する。After receiving the instruction to restart recording, the recording processing unit 16 receives the moving image coding unit 131 and the audio coding unit 141.
Recording is restarted from the time when the break of the encoded information sent from is found.
【0099】この時の符号化情報の区切りは、音声情報
の場合は音声符号化部141が生成する情報単位である
フレームの区切りとし、動画像情報の場合は、記録の一
時停止と同じくVOPフレームの区切りとする。At this time, the delimiter of the coded information is a frame delimiter which is an information unit generated by the audio coding unit 141 in the case of voice information, and is the VOP frame in the case of moving image information as in the case of temporary stop of recording. It's a break.
【0100】記録処理部16は、上述した符号化情報の
区切りを認識すると、この区切りにあたる符号化情報か
ら順に記録処理を再開する。また、記録処理を再開した
時点で、記録フォーマットフレーム中の属性情報領域に
記録再開フラグfg2を設定する。When the recording processing section 16 recognizes the above-mentioned division of the encoded information, the recording processing is restarted in order from the encoded information corresponding to this division. When the recording process is restarted, the recording restart flag fg2 is set in the attribute information area in the recording format frame.
【0101】図4は、第1の実施例の通信端末100に
おける記録及び再生動作に係わる動画像情報処理の流れ
を説明するための図である。FIG. 4 is a diagram for explaining the flow of moving image information processing relating to recording and reproducing operations in the communication terminal 100 of the first embodiment.
【0102】ここで、図4(a)は、記録処理部16へ
の入力情報(記録対象の動画像符号化情報)の時間的遷
移を概念的に示したものである。Here, FIG. 4A conceptually shows the temporal transition of the input information (moving image coded information of the recording target) to the recording processing unit 16.
【0103】この入力情報は、例えば、自装置の動画像
符号化部131で生成された動画像符号化情報、または
相手端末から受信され分離部122で分離された動画像
符号化情報のいずれであっても良い。This input information is, for example, either the moving picture coding information generated by the moving picture coding unit 131 of its own apparatus or the moving picture coding information received from the partner terminal and separated by the separating unit 122. It may be.
【0104】図4(b)は、上記入力情報を記録する時
に記録処理部16により生成される記録フォーマットフ
レームの時間的遷移を概念的に示したものである。FIG. 4B conceptually shows the temporal transition of the recording format frame generated by the recording processing unit 16 when recording the input information.
【0105】記録処理部16は、図4(a)に示す順番
で入力する符号化情報を元にタイムスタンプ値tn、属
性情報及び情報部等で構成される記録フォーマットフレ
ームを生成し、バッファ18に送り込む。The recording processing section 16 generates a recording format frame composed of the time stamp value tn, attribute information and information section based on the encoding information input in the order shown in FIG. Send to.
【0106】ここで、最初に入力する符号化情報に対応
するタイムスタンプ値としてはt11を付加し、それ以
降に入力する符号化情報に対応するタイムスタンプ値と
しては順にt12,t13,t14,…を付加する。Here, t11 is added as the time stamp value corresponding to the first input coded information, and t12, t13, t14, ... Are sequentially added as the time stamp values corresponding to the subsequent coded information. Is added.
【0107】また、最初に入力する符号化情報は、時間
的な差分情報を用いずに1つの画像フレームの情報のみ
を用いて符号化して得られたIフレーム(フレーム内予
測符号化情報)であり、該Iフレーム以降に入力する符
号化情報は、以前の画像フレームの情報を基にその差分
情報のみを符号化して得られたフレーム間予測符号化情
報であるため、ここでは、最初に入力する符号化に対応
する属性情報領域内にのみIフレームフラグfg3を設
定する。Further, the coding information input first is an I frame (intra-frame predictive coding information) obtained by coding using only the information of one image frame without using temporal difference information. Since the coding information input after the I frame is inter-frame prediction coding information obtained by coding only the difference information based on the information of the previous image frame, here, the coding information is input first. The I frame flag fg3 is set only in the attribute information area corresponding to the encoding.
【0108】この記録処理動作中、入力/操作部22で
のユーザ操作に基づき、時間T1で記録の一時停止の指
令が入力され、時間T2で記録一時提示解除の指令が入
力されたものとする。During this recording processing operation, it is assumed that an instruction to temporarily stop recording is input at time T1 and an instruction to cancel temporary recording presentation is input at time T2 based on a user operation on the input / operation unit 22. .
【0109】この場合、記録処理部16では、時間T1
〜時間T2までの記録停止期間中も含めて、入力する符
号化情報に対して記録フォーマットフレームの生成を続
ける。In this case, in the recording processing section 16, the time T1
The generation of the recording format frame is continued for the encoded information to be input, including during the recording stop period up to time T2.
【0110】但し、この場合、記録処理部16は、記録
一時停止指令後(時間T1後)に最初に入力する符号化
情報に対応する記録フォーマットフレーム(タイムスタ
ンプ値t14のもの)の属性情報領域内には記録一時停
止フラグfg1を設定する。However, in this case, the recording processing section 16 has the attribute information area of the recording format frame (with the time stamp value t14) corresponding to the coded information that is input first after the recording pause command (after the time T1). A recording pause flag fg1 is set in the field.
【0111】また、記録処理部16では、上記記録一時
停止解除指令後(時間T2後)に最初に入力する符号化
情報に対応する記録フォーマットフレーム(タイムスタ
ンプ値t19のもの)の属性情報領域内には記録再開フ
ラグfg2を設定する。Further, in the recording processing unit 16, within the attribute information area of the recording format frame (with the time stamp value t19) corresponding to the coded information which is input first after the recording temporary stop cancellation command (after the time T2). Is set to the recording restart flag fg2.
【0112】これにより、バッファ18には、図4
(b)に示すような記録フォーマットフレーム列が蓄積
され、その後、このバッファ18に蓄積された記録フォ
ーマット列はシステム制御部20により記録媒体21に
記憶される。As a result, the buffer 18 shown in FIG.
The recording format frame sequence as shown in (b) is accumulated, and then the recording format sequence accumulated in the buffer 18 is stored in the recording medium 21 by the system control unit 20.
【0113】図4(c)は、図4(b)の記録処理を経
て記録された情報を再生する際にシステム制御部20に
より記録媒体21から読み出されてバッファ18を介し
て再生処理部17に渡される記録フォーマットフレーム
の時間的遷移を概念的に示したものである。FIG. 4C is a reproduction processing unit read from the recording medium 21 by the system control unit 20 when reproducing the information recorded through the recording process of FIG. 17 conceptually shows the temporal transition of the recording format frame passed to the recording medium 17.
【0114】この場合、再生処理部17は、システム制
御部20から上記配列に従って渡される記録フォーマッ
トフレームのタイムスタンプ値を参照しながら、該フレ
ームからのその情報部を抜き出して該当する情報種別の
復号化部(132,142)に渡し、再生処理を行な
う。In this case, the reproduction processing section 17 refers to the time stamp value of the recording format frame passed from the system control section 20 in accordance with the above array, extracts the information section from the frame, and decodes the corresponding information type. The data is passed to the digitizing unit (132, 142) and the reproducing process is performed.
【0115】タイムスタンプ値は、記録時に付与された
ものであるので、再生時に再生処理部17が保持する内
部タイマ(再生用タイマ)とこのタイムスタンプ値を比
較しながらその順番に再生処理を行なうことで、記録時
と等速で、かつ情報種別間の同期を保ちながら再生を行
なうことができる。Since the time stamp value is given at the time of recording, the reproduction processing is performed in that order while comparing this time stamp value with the internal timer (reproduction timer) held by the reproduction processing section 17 at the time of reproduction. As a result, reproduction can be performed at the same speed as during recording and while maintaining synchronization between information types.
【0116】この間、タイムスタンプ値t14の記録フ
ォーマットフレームを受取り、記録一時停止フラグfg
1が設定されていることを検出すると、再生処理部17
は、以降の記録フォーマットフレームのタイムスタンプ
値を順にサーチしていき、タイムスタンプ値t19の記
録フォーマットフレームの属性情報領域内に記録再開フ
ラグfg2が設定されていることを検出した場合、内部
タイマをこの記録再開時のタイムスタンプ値t19に合
わせたうえで、当該タイムスタンプ値t19以降の記録
フォーマットフレームの情報部の再生処理を続行させ
る。During this period, the recording format frame having the time stamp value t14 is received, and the recording pause flag fg is received.
When it is detected that 1 is set, the reproduction processing unit 17
Sequentially searches the time stamp values of the subsequent recording format frames, and when it detects that the recording restart flag fg2 is set in the attribute information area of the recording format frame of the time stamp value t19, the internal timer is turned on. The reproduction processing of the information portion of the recording format frame after the time stamp value t19 is continued after adjusting to the time stamp value t19 at the time of resuming the recording.
【0117】以上は、自端末で生成した符号化情報の記
録一時停止制御であるが、通信路を介した相手端末から
通信路を介して受信・分離した符号化情報の記録を行な
っている場合にも同様の処理により、当該符号化情報の
一時停止制御を実現できる。The above is the control for temporarily stopping the recording of the encoded information generated by the own terminal. However, when the encoded information received / separated from the partner terminal via the communication path is recorded. Also, the same processing can realize the temporary stop control of the encoded information.
【0118】このように、第1の実施例の通信端末10
0では、符号化情報の記録時、記録開始時からの経過時
間を示すタイムスタンプ情報と、少なくとも記録の一時
停止が開始されたことを示す記録一時停止フラグ及び記
録の一時停止が解除されたこと(記録がさいかいされた
こと)を示す記録再開フラグが設定可能な属性情報と、
記録対象の符号化情報の情報内容部とから成る記録フォ
ーマットフレームを生成すると共に、符号化情報の再生
時、再生用タイマを記録フォーマットフレーム中のタイ
ムスタンプ値に合わせて当該フレーム中の符号化情報を
順次再生すると共に、再生対象の記録フォーマットフレ
ーム中に記録再開フラグが設定されている場合、再生用
タイマを該記録再開フラグが設定されている記録フォー
マットフレームのタイムスタンプ値に合わせて当該フレ
ーム中の符号化情報から順次再生を続行させるようにし
ている。As described above, the communication terminal 10 of the first embodiment.
At 0, at the time of recording the encoded information, the time stamp information indicating the elapsed time from the start of recording, at least the recording suspension flag indicating that the recording suspension has started, and the suspension of recording have been released. Attribute information that can set a recording restart flag indicating (recording has been cut off),
A recording format frame composed of the information content part of the encoded information to be recorded is generated, and at the time of reproducing the encoded information, the reproduction timer is adjusted to the time stamp value in the recording format frame and the encoded information in the frame is adjusted. And the recording restart frame is set in the recording format frame to be played back, the playback timer is set to match the time stamp value of the recording format frame in which the recording restart flag is set. The reproduction is continued from the encoded information of 1.
【0119】かかる構成によれば、符号化処理部(動画
像符号化部131、音声符号化部141)を動作させな
がら符号化情報の記録の一時停止と再生が行なえる。According to this structure, the recording and the reproduction of the coded information can be paused while the coding processing section (the moving picture coding section 131 and the audio coding section 141) is operated.
【0120】第2の実施例:第2の実施例に係わるマル
チメディア通信端末100は、その主要部の構成が第1
の実施例に係わるものと同様であり、図1及び図2に示
すような構成要素を備えて構成される。Second Embodiment: The multimedia communication terminal 100 according to the second embodiment has the first major component structure.
It is similar to that of the first embodiment, and is configured by including the components as shown in FIGS.
【0121】すなわち、第2の実施例の通信端末100
も、複数種別のマルチメディア情報を各種別毎の符号化
処理部(動画像符号化部131、音声符号化部141)
で符号化して符号化情報を生成し、該符号化情報を多重
化して相手端末に送信すると共に、相手端末から受信さ
れた多重化情報を各種別毎の符号化情報に分離して再生
するマルチメディア情報通信機能と、自端末で生成され
た符号化情報または相手端末から受信した符号化情報を
多重化して記録すると共に、該記録の一時停止及び一時
停止解除が可能な記録処理機能と、記録された符号化情
報を再生する再生処理機能とを有している。That is, the communication terminal 100 of the second embodiment.
Also, a plurality of types of multimedia information are encoded for each type (a moving image encoding unit 131, a voice encoding unit 141).
To generate encoded information by multiplexing the encoded information, transmit the multiplexed information to the partner terminal, and separate the multiplexed information received from the partner terminal into encoded information for each type to reproduce. A media information communication function, a recording processing function capable of multiplexing and recording the encoded information generated by the terminal itself or the encoded information received from the partner terminal, and temporarily stopping and releasing the recording, and recording. It has a reproduction processing function of reproducing the encoded information.
【0122】そして、記録処理機能に関しては、第1の
実施例のものと同様、マルチメディア符号化情報の記録
時、タイムスタンプ情報と、少なくとも記録一時停止フ
ラグ及び記録再開フラグが設定可能な属性情報と、記録
対象の符号化情報の情報内容部とから成る記録フォーマ
ットフレームを生成するフレーム生成機能を備えてい
る。Regarding the recording processing function, as in the case of the first embodiment, at the time of recording the multimedia encoded information, the time stamp information and at least the attribute information for which the recording pause flag and the recording restart flag can be set. And a frame generation function for generating a recording format frame composed of the information content part of the encoded information to be recorded.
【0123】但し、第2の実施例の通信端末100で
は、記録フォーマットフレーム生成後に該フレームを記
録情報として記録するまでの処理が第1の実施例のもの
と異なり、これに伴ない記録情報の再生処理も第1の実
施例のものと相違している。However, the communication terminal 100 of the second embodiment differs from that of the first embodiment in the processing until the recording format frame is recorded as recording information after the generation of the recording format frame. The reproduction process is also different from that of the first embodiment.
【0124】図5は、第2の実施例の通信端末100に
おける記録動作に係わる動画像情報処理の流れを説明す
るための図である。FIG. 5 is a diagram for explaining the flow of moving image information processing relating to the recording operation in the communication terminal 100 of the second embodiment.
【0125】ここで、図5(a)は、記録処理部16へ
の入力情報(記録対象の動画像符号化情報)の時間的遷
移を概念的に示したものである。この入力情報は、第1
の実施例で述べたもの〔図4(a)参照〕と同様のもの
である。Here, FIG. 5A conceptually shows the temporal transition of the input information (moving image coded information to be recorded) to the recording processing section 16. This input information is
This is the same as the one described in the embodiment (see FIG. 4A).
【0126】図5(b)は、上記入力情報を記録する時
に記録処理部16により生成される記録フォーマットフ
レームの時間的遷移を概念的に示したものである。FIG. 5B conceptually shows the temporal transition of the recording format frame generated by the recording processing unit 16 when recording the input information.
【0127】この記録フォーマットフレームの生成処理
も第1の実施例で述べた記録フォーマットフレーム生成
処理〔図4(b)参照〕と同様になされる。The recording format frame generation processing is also similar to the recording format frame generation processing described in the first embodiment [see FIG. 4 (b)].
【0128】すなわち、この場合も、最初に入力する符
号化情報に対応する記録フォーマットフレームのタイム
スタンプ値としてはt11が付加され、それ以降に入力
する符号化情報に対応する記録フォーマットフレームの
タイムスタンプ値としては順にt12,t13,t1
4,…が付加される。That is, also in this case, t11 is added as the time stamp value of the recording format frame corresponding to the first input coded information, and the time stamp of the recording format frame corresponding to the subsequent input coded information is added. The values are t12, t13, t1 in order.
4, ... Are added.
【0129】また、最初に入力する符号化情報はIフレ
ームから成るため、当該符号化情報に対応する属性情報
領域内にはIフレームフラグfg3が設定される。Since the first input coded information consists of I frames, the I frame flag fg3 is set in the attribute information area corresponding to the coded information.
【0130】また、記録処理中、時間T1で記録の一時
停止の指令が入力され、時間T2で記録一時提示解除の
指令が入力されるのに合わせて、記録一時停止指令後
(時間T1後)に最初に入力する符号化情報に対応する
記録フォーマットフレーム(タイムスタンプ値t14の
もの)の属性情報領域内には記録一時停止フラグfg1
が設定され、記録一時停止解除指令後(時間T2後)に
最初に入力する符号化情報に対応する記録フォーマット
フレーム(タイムスタンプ値t19のもの)の属性情報
領域内には記録再開フラグfg2が設定される。Further, during the recording process, in response to the input of the recording temporary stop command at the time T1 and the input of the recording temporary presentation cancellation at the time T2, after the recording temporary stop command (after the time T1). In the attribute information area of the recording format frame (with the time stamp value t14) corresponding to the encoded information first input to the recording pause flag fg1
Is set, and the recording restart flag fg2 is set in the attribute information area of the recording format frame (with the time stamp value t19) corresponding to the encoded information that is input first after the recording suspension cancellation command (after time T2). To be done.
【0131】更に、第2の実施例に係わる通信端末10
0では、図5(b)の処理により記録フォーマットフレ
ームを生成してバッファ18に蓄積した後、この記録フ
ォーマットフレームを加工してシステム制御部20に渡
し、記録媒体21に記憶する。Furthermore, the communication terminal 10 according to the second embodiment.
In 0, the recording format frame is generated by the processing of FIG. 5B and accumulated in the buffer 18, and then the recording format frame is processed and passed to the system control unit 20 and stored in the recording medium 21.
【0132】図5(c)は、図5(b)の処理によりバ
ッファ18に蓄積された記録フォーマットフレームを加
工して得られる実際の記録情報の時間的遷移を概念的に
示したものである。FIG. 5 (c) conceptually shows the temporal transition of the actual recording information obtained by processing the recording format frame accumulated in the buffer 18 by the processing of FIG. 5 (b). .
【0133】すなわち、本実施例の通信端末100にお
いて、記録処理部16は、図5(b)の処理により生成
された記録フォーマットフレームのうち、記録一時停止
フラグfg1が設定された位置から記録再開フラグfg
2が設定された位置までの記録フォーマットフレームを
削除し、残された記録フォーマットフレームに記録され
ているタイムスタンプ値が連続するように調整する。That is, in the communication terminal 100 of the present embodiment, the recording processing section 16 restarts recording from the position where the recording pause flag fg1 is set in the recording format frame generated by the processing of FIG. 5B. Flag fg
The recording format frames up to the position where 2 is set are deleted, and the time stamp values recorded in the remaining recording format frames are adjusted so as to be continuous.
【0134】具体的に、本実施例では、図5(b)に示
すt15のタイムスタンプ値を持つ記録フォーマットフ
レームからt18のタイムスタンプ値を持つ記録フォー
マットフレームまでを削除すると共に、t14のタイム
スタンプ値を持つ記録フォーマットフレームの後にt1
9のタイムスタンプ値を持つ記録フォーマットフレーム
をつなげ、更に、t19のタイムスタンプ値を持つ記録
フォーマットフレーム以降の記録フォーマットフレーム
が持つタイムスタンプ値t19,t20,t21,…を
それぞれ、記録一時停止開始後最初に生成された記録フ
ォーマットフレームが持つタイムスタンプ値t14以降
の連続番号となるよう、タイムスタンプ値t15,t1
6,t17,…に付け替える。Specifically, in this embodiment, the recording format frame having the time stamp value of t15 to the recording format frame having the time stamp value of t18 shown in FIG. 5B is deleted and the time stamp of t14 is deleted. T1 after recording format frame with value
After connecting the recording format frames having the time stamp value of 9, the recording format frames after the recording format frame having the time stamp value of t19 have time stamp values t19, t20, t21, ... The time stamp values t15 and t1 are set so that the serial numbers after the time stamp value t14 of the first recording format frame are generated.
6, t17, ...
【0135】次に、この記録情報を再生する場合、再生
処理部17は、システム制御部20から図5(b)に示
す配列に従って渡される記録フォーマットフレームのタ
イムスタンプ値を参照しながら、該フレームからのその
情報部を抜き出して該当する情報種別の復号化部(13
2,142)に渡し、再生処理を行なう。Next, when reproducing this recording information, the reproduction processing section 17 refers to the time stamp value of the recording format frame passed from the system control section 20 according to the array shown in FIG. The information part of the corresponding information type is extracted from the decoding part (13
2, 142) to perform a reproduction process.
【0136】この場合、記録一時停止の位置から記録一
時停止解除の位置に遷移する間のタイムスタンプ値が連
続する値となっているため、再生処理部17では、第1
の実施例のもののように、記録一時停止時点のタイムス
タンプ値から記録一時停止解除時点のタイムスタンプ値
をサーチする処理は不要となり、再生処理を単純化でき
る。In this case, since the time stamp value during the transition from the recording pause position to the recording pause release position is a continuous value, the reproduction processing section 17 determines that the first
The process of searching the time stamp value at the time of releasing the recording pause from the time stamp value at the time of temporarily stopping the recording as in the case of the above embodiment is unnecessary, and the reproducing process can be simplified.
【0137】このように、第2の実施例の通信端末10
0では、符号化情報の記録時、記録開始時からの経過時
間を示すタイムスタンプ情報と、少なくとも記録の一時
停止が開始されたことを示す記録一時停止フラグ及び記
録の一時停止解除がなされたことを示す記録再開フラグ
が設定可能な属性情報と、記録対象の符号化情報の情報
内容部とから成る記録フォーマットフレームを生成する
と共に、生成された記録フォーマットフレームのうち、
記録一時停止フラグが設定された位置から記録再開フラ
グが設定された位置までの記録フォーマットフレームを
削除し、残された記録フォーマットフレームに記録され
ているタイムスタンプ値が連続するように調整するよう
にしている。As described above, the communication terminal 10 of the second embodiment.
At 0, at the time of recording the encoded information, the time stamp information indicating the elapsed time from the start of recording, at least the recording pause flag indicating that the recording pause is started, and the fact that the recording pause is released A recording format frame composed of attribute information that can set a recording restart flag and an information content part of the encoding information of the recording target is generated, and among the generated recording format frames,
The recording format frames from the position where the recording pause flag is set to the position where the recording restart flag is set are deleted, and the time stamp values recorded in the remaining recording format frames are adjusted so that they are continuous. ing.
【0138】かかる構成によれば、符号化情報の再生
時、再生用タイマを記録フォーマットフレーム中のタイ
ムスタンプ値に合わせて当該フレーム中の符号化情報を
順次再生させるだけ、符号化処理部(動画像符号化部1
31、音声符号化部141)を動かしながら符号化情報
の記録の一時停止と再生が行なえる。According to this structure, when the coded information is reproduced, the reproduction timer is made to sequentially reproduce the coded information in the recording format frame in accordance with the time stamp value in the recording format frame. Image coding unit 1
31. It is possible to temporarily stop the recording of the encoded information and reproduce it while moving the audio encoding unit 141).
【0139】第3の実施例:第3の実施例に係わるマル
チメディア通信端末100も、その主要部の構成が第1
及び第2の各実施例に係わるものと同様であり、図1及
び図2に示すような構成要素を備えて構成される。Third Embodiment: In the multimedia communication terminal 100 according to the third embodiment, the structure of the main part is the first.
The second embodiment is similar to that of the second embodiment, and is configured by including the constituent elements as shown in FIGS.
【0140】すなわち、第3の実施例の通信端末100
も、複数種別のマルチメディア情報を各種別毎の符号化
処理部(動画像符号化部131、音声符号化部141)
で符号化して符号化情報を生成し、該符号化情報を多重
化して相手端末に送信すると共に、相手端末から受信さ
れた多重化情報を各種別毎の符号化情報に分離して再生
するマルチメディア情報通信機能と、自端末で生成され
た符号化情報または相手端末から受信した符号化情報を
多重化して記録すると共に、該記録の一時停止及び一時
停止解除が可能な記録処理機能と、記録された符号化情
報を再生する再生処理機能とを有している。That is, the communication terminal 100 of the third embodiment.
Also, a plurality of types of multimedia information are encoded for each type (a moving image encoding unit 131, a voice encoding unit 141).
To generate encoded information by multiplexing the encoded information, transmit the multiplexed information to the partner terminal, and separate the multiplexed information received from the partner terminal into encoded information for each type to reproduce. A media information communication function, a recording processing function capable of multiplexing and recording the encoded information generated by the terminal itself or the encoded information received from the partner terminal, and temporarily stopping and releasing the recording, and recording. It has a reproduction processing function of reproducing the encoded information.
【0141】そして、記録処理機能に関しては、上記各
実施例のものと同様、マルチメディア符号化情報の記録
時、タイムスタンプ情報と、少なくとも記録一時停止フ
ラグ及び記録再開フラグが設定可能な属性情報と、記録
対象の符号化情報の情報内容部とから成る記録フォーマ
ットフレームを生成するフレーム生成機能を備えてい
る。Regarding the recording processing function, as in the above-mentioned respective embodiments, at the time of recording the multimedia encoded information, the time stamp information and at least the attribute information for which the recording pause flag and the recording restart flag can be set. , And a frame generation function for generating a recording format frame composed of an information content part of encoded information to be recorded.
【0142】但し、第3の実施例の通信端末100で
は、記録フォーマットフレームの生成機能が上記各実施
例のものと異なっている。However, in the communication terminal 100 of the third embodiment, the recording format frame generation function is different from that of each of the above embodiments.
【0143】上述したように、上記各実施例のもので
は、記録再開(記録一時停止解除)の指示を受けた記録
処理部16では、符号化処理部(動画像符号化部13
1、音声符号化部141)から送られてくる符号化情報
の区切りを見つけた時点から記録を再開する。As described above, in each of the above-described embodiments, the recording processing unit 16 that receives the instruction to restart recording (cancels recording pause) has the encoding processing unit (moving image encoding unit 13).
1. The recording is restarted from the time when the boundary of the encoded information sent from the audio encoding unit 141) is found.
【0144】ここで、情報の区切りは、音声情報の場合
は音声符号化部141が生成する情報単位であるフレー
ムの区切りとし、動画像情報の場合は、記録の一時停止
と同じくVOPフレームの区切りとしている。Here, the information delimiter is a frame delimiter, which is an information unit generated by the speech encoding unit 141 in the case of voice information, and a VOP frame delimiter in the case of moving image information, which is the same as the pause of recording. I am trying.
【0145】ところが、動画像情報の場合は、記録の一
時停止と同じくVOPフレームの区切りとしてしまう
と、この記録された情報を再生する場合に不都合が生じ
る。However, in the case of moving picture information, if the VOP frame is separated as in the case of the temporary stop of recording, a problem occurs when reproducing the recorded information.
【0146】つまり、通常のVOPフレームはフレーム
間の時間的な差分情報を元に符号化しているため、記録
一時停止期間の情報が失われることで正常に再生が行な
われなくなる可能性がある。That is, since the normal VOP frame is encoded based on the temporal difference information between the frames, there is a possibility that the normal reproduction cannot be performed due to the loss of the information of the recording pause period.
【0147】第3の実施例は、この点に鑑みてなされた
ものであり、時間的な差分情報を用いずに符号化を行な
うIフレームから記録を再開するようにしたものであ
る。The third embodiment is made in view of this point, and the recording is restarted from the I frame to be encoded without using the temporal difference information.
【0148】これを実現すべく、第3の実施例の通信端
末100では、記録一時停止の状態でユーザから記録再
開が指示された場合、システム制御部20は、自端末で
生成した符号化情報を記録している場合には、自端末の
符号化処理部に対して、また、相手端末から受信した符
号化情報をしている場合には、相手端末の符号化処理部
に対してIフレームの挿入を行なうための指示を出す。In order to realize this, in the communication terminal 100 of the third embodiment, when the recording restart is instructed by the user in the recording suspended state, the system control unit 20 causes the encoded information generated in the own terminal. Is recorded, the I-frame is transmitted to the encoding processing unit of the own terminal, and to the encoding processing unit of the other terminal when encoding information received from the other terminal is recorded. Give instructions to insert.
【0149】この指示により、指示先の符号化処理部は
その時点の動画像の符号化情報のIフレームを生成して
出力する。According to this instruction, the encoding processing unit of the instruction destination generates and outputs the I frame of the encoding information of the moving image at that time.
【0150】記録処理部16では、上記指示後に該当す
るIフレームが到着した時点を区切りとして認識し、当
該時点から記録処理を再開する。また、記録処理を再開
した時点で、記録対象の動画像情報に対応する記録フォ
ーマットフレーム中の属性情報領域に記録再開フラグf
g2を設定する。The recording processing section 16 recognizes the time when the corresponding I frame arrives after the above instruction as a delimiter, and restarts the recording processing from that time. When the recording process is restarted, the recording restart flag f is added to the attribute information area in the recording format frame corresponding to the moving image information to be recorded.
Set g2.
【0151】図6は、第3の実施例の通信端末100に
おける記録動作に係わる動画像情報処理の流れを説明す
るための図である。FIG. 6 is a diagram for explaining the flow of moving image information processing relating to the recording operation in the communication terminal 100 of the third embodiment.
【0152】ここで、図6(a)は、記録処理部16へ
の入力情報(記録対象の動画像符号化情報)の時間的遷
移を概念的に示したものである。Here, FIG. 6A conceptually shows the temporal transition of the input information (moving image coded information of the recording object) to the recording processing section 16.
【0153】この入力情報は、例えば、自装置の動画像
符号化部131で生成された動画像符号化情報、若しく
は相手端末から受信された分離部122で分離された動
画像符号化情報のいずれであっても良い。This input information is, for example, the moving picture coding information generated by the moving picture coding unit 131 of the own device or the moving picture coding information separated by the separating unit 122 received from the partner terminal. May be
【0154】図6(b)は、上記入力情報を記録する時
に記録処理部16により生成される記録フォーマットフ
レームの時間的遷移を概念的に示したものである。FIG. 6B conceptually shows the temporal transition of the recording format frame generated by the recording processing unit 16 when recording the input information.
【0155】本実施例の通信端末100において、記録
処理部16は、図6(a)に示す順番で入力する符号化
情報を元にタイムスタンプ値tn、属性情報及び情報部
等で構成される記録フォーマットフレームを生成し、バ
ッファ18に送り込む。In the communication terminal 100 of this embodiment, the recording processing section 16 is composed of a time stamp value tn, attribute information, an information section, etc. based on the encoded information input in the order shown in FIG. 6 (a). A recording format frame is generated and sent to the buffer 18.
【0156】ここで、最初に入力する符号化情報に対応
するタイムスタンプ値としてはt11を付加し、それ以
降に入力する符号化情報に対応するタイムスタンプ値と
しては順にt12,t13,t14,…を付加する。ま
た、最初に入力する符号化情報はIフレームから成るた
め、当該符号化情報に対応する属性情報領域内にはIフ
レームフラグfg3を設定する。Here, t11 is added as the time stamp value corresponding to the first input coded information, and t12, t13, t14, ... Are sequentially added as the time stamp values corresponding to the subsequent coded information. Is added. Further, since the first input coded information is composed of an I frame, the I frame flag fg3 is set in the attribute information area corresponding to the coded information.
【0157】この記録処理動作中、入力/操作部22で
のユーザ操作に基づき、時間T1で記録の一時停止の指
令が入力され、時間T2で記録一時提示解除の指令が入
力されたものとする。During this recording processing operation, it is assumed that a recording suspension command is input at time T1 and a recording temporary presentation cancellation command is input at time T2 based on a user operation on the input / operation unit 22. .
【0158】この場合、記録処理部16では、時間T1
〜時間T2までの記録停止期間中に入力する符号化情報
に対して記録フォーマットフレームの生成を停止する。In this case, in the recording processing unit 16, the time T1
The generation of the recording format frame is stopped for the encoded information input during the recording stop period up to time T2.
【0159】その際、記録処理部16は、記録一時停止
指令後(時間T1後)に最初に入力する符号化情報に対
応する記録フォーマットフレーム(タイムスタンプ値t
14のもの)の属性情報領域内には記録一時停止フラグ
fg1を設定する。At this time, the recording processing section 16 causes the recording format frame (time stamp value t) corresponding to the coded information first input after the recording pause command (after time T1).
The recording suspension flag fg1 is set in the attribute information area of the No. 14).
【0160】その後、時間T2の時に入力/操作部22
で記録一時停止解除操作がなされると、該入力/操作部
22よりシステム制御部20に記録一時停止解除指令が
入力される。Thereafter, at time T2, the input / operation unit 22
When the recording temporary stop canceling operation is performed, a recording temporary stop canceling command is input from the input / operation section 22 to the system control section 20.
【0161】上記記録一時停止解除指令が入力される
と、システム制御部20は、この時の記録対象の符号化
情報の送出元である自端末の符号化処理部(動画像符号
化部131)または相手端末の符号化処理部に対してI
フレームの挿入を行なうことを指示する。When the recording pause cancel command is input, the system control unit 20 causes the encoding processing unit (moving image encoding unit 131) of the own terminal which is the transmission source of the encoding information to be recorded at this time. Alternatively, I
Instruct to insert a frame.
【0162】一方、記録処理部16では、上記Iフレー
ム挿入指示後に送出元の符号化処理部から該当するIフ
レームが到着した時点で記録の一時停止を解除して記録
を再開し、到着した当該Iフレームから順に記録フォー
マットフレームの生成処理を続行する。On the other hand, in the recording processing section 16, when the relevant I frame arrives from the encoding processing section of the transmission source after the above I frame insertion instruction, the temporary stop of the recording is canceled and the recording is restarted, and the arrival concerned. The generation process of the recording format frame is continued from the I frame.
【0163】この時、記録処理部16は、上記記録一時
停止解除指令後(時間T2後)に最初に入力する符号化
情報(Iフレーム)に対応する記録フォーマットフレー
ム(タイムスタンプ値t15のもの)の属性情報領域内
には記録再開フラグfg2を設定する。また、この最初
に入力する符号化情報がIフレームであることを認識し
て、当該記録フォーマットフレームの属性情報領域内に
はIフレームfg3も併せ設定する。At this time, the recording processing unit 16 records the recording format frame (with the time stamp value t15) corresponding to the encoded information (I frame) that is input first after the recording temporary stop cancellation command (after the time T2). A recording restart flag fg2 is set in the attribute information area of. Also, the first input coded information is recognized as an I frame, and the I frame fg3 is also set in the attribute information area of the recording format frame.
【0164】これにより、バッファ18には、図6
(b)に示すような記録フォーマットフレーム列が蓄積
され、その後、このバッファ18に蓄積された記録フォ
ーマット列はシステム制御部20により記録媒体21に
記憶される。As a result, the buffer 18 shown in FIG.
The recording format frame sequence as shown in (b) is accumulated, and then the recording format sequence accumulated in the buffer 18 is stored in the recording medium 21 by the system control unit 20.
【0165】この記録媒体に記録された情報を再生する
場合、再生処理部17は、システム制御部20から図6
(b)に示す配列に従って渡される各記録フォーマット
フレームのタイムスタンプ値を参照しながら、該各フレ
ームからのその情報部を抜き出して該当する情報種別の
復号化部(132,142)に渡し、再生処理を行な
う。When reproducing the information recorded on this recording medium, the reproduction processing section 17 is controlled by the system control section 20 shown in FIG.
While referring to the time stamp value of each recording format frame passed according to the array shown in (b), the information part from each frame is extracted and passed to the decoding part (132, 142) of the corresponding information type for reproduction. Perform processing.
【0166】この間、タイムスタンプ値t14の記録フ
ォーマットフレームを受取り、記録一時停止フラグfg
1が設定されていることを検出すると、再生処理部17
は、Iフレームを再生する準備を整え、次いで入力され
るタイムスタンプ値t15の記録フォーマットフレーム
の属性情報領域内に記録再開フラグfg2及びIフレー
ムフラグfg3が設定されていることを検出することに
より、当該Iフレームの再生処理を行ない、その後、通
常の差分情報を再生する状態に戻し、以降の記録フォー
マットフレーム内の符号化情報(情報部)をそのタイム
スタンプ値(t16,t17,…)の順に再生させる処
理を続行する。During this period, the recording format frame having the time stamp value t14 is received, and the recording pause flag fg is received.
When it is detected that 1 is set, the reproduction processing unit 17
Prepares to reproduce the I frame, and then detects that the recording restart flag fg2 and the I frame flag fg3 are set in the attribute information area of the recording format frame of the time stamp value t15 to be input, The I frame is reproduced, and then the normal difference information is reproduced, and the encoded information (information portion) in the subsequent recording format frame is arranged in the order of the time stamp value (t16, t17, ...). Continue the process of reproducing.
【0167】このように、第3の実施例の通信端末10
0では、符号化情報の記録時、記録開始時からの経過時
間を示すタイムスタンプ情報と、少なくとも記録の一時
停止解除がなされたことを示す記録再開フラグが設定可
能な属性情報と、記録対象の符号化情報の情報内容部と
から成る記録フォーマットフレームを生成すると共に、
記録の一時停止解除の指令が与えられることにより、該
記録対象の符号化情報の送出元である自端末の符号化処
理部または相手端末の符号化処理部に対してIフレーム
の挿入を行なうことを指示し、この指示後にIフレーム
が到着した時点で記録の一時停止を解除し、到着した当
該Iフレームから順に前記記録フォーマットフレームの
生成処理を続行させるようしている。In this way, the communication terminal 10 of the third embodiment
At 0, at the time of recording the encoded information, time stamp information indicating the elapsed time from the start of recording, attribute information for which at least the recording restart flag indicating that the temporary stop of recording has been released, and the recording target While generating a recording format frame consisting of the information content part of the encoded information,
Inserting an I frame into the encoding processing unit of the own terminal or the encoding processing unit of the other terminal, which is the transmission source of the encoding information of the recording target, by giving a command to cancel the pause of recording When the I frame arrives after this instruction, the temporary stop of the recording is released, and the generation process of the recording format frame is continued in order from the arrived I frame.
【0168】かかる構成によれば、記録一時停止を解除
し、記録を再開した時には、記録フォーマットフレーム
内に必ずIフレーム(差分情報を用いずに1つの画像フ
レームの情報のみを用いて符号化されたもの)が挿入さ
れるため、記録の一時停止を行ない、記録情報が途中で
途切れた記録情報を再生する場合にも、動画像が乱れる
ことを抑えることができる。According to this structure, when the recording pause is released and the recording is resumed, the I frame (encoded by using only the information of one image frame without using the difference information) is always included in the recording format frame. Since the recording information is inserted, it is possible to suppress the disturbance of the moving image even when the recording information is paused and the recorded information is interrupted in the middle.
【0169】第4の実施例:第4の実施例に係わるマル
チメディア通信端末100も、その主要部の構成が第1
から第3の各実施例に係わるものと同様であり、図1及
び図2に示すような構成要素を備えて構成される。Fourth Embodiment: In the multimedia communication terminal 100 according to the fourth embodiment, the structure of the main part is the first.
The third embodiment is similar to the third embodiment, and is configured by including the components shown in FIGS. 1 and 2.
【0170】すなわち、第4の実施例の通信端末100
も、複数種別のマルチメディア情報を各種別毎の符号化
処理部(動画像符号化部131、音声符号化部141)
で符号化して符号化情報を生成し、該符号化情報を多重
化して相手端末に送信すると共に、相手端末から受信さ
れた多重化情報を各種別毎の符号化情報に分離して再生
するマルチメディア情報通信機能と、自端末で生成され
た符号化情報または相手端末から受信した符号化情報を
多重化して記録する記録処理機能と、記録された符号化
情報を再生する再生処理機能とを有したものである。That is, the communication terminal 100 of the fourth embodiment.
Also, a plurality of types of multimedia information are encoded for each type (a moving image encoding unit 131, a voice encoding unit 141).
To generate coded information, multiplex the coded information and transmit the coded information to the partner terminal, and separate the multiplexed information received from the partner terminal into coded information for each type to reproduce. It has a media information communication function, a recording processing function for multiplexing and recording the encoded information generated by the terminal itself or the encoded information received from the partner terminal, and a reproduction processing function for reproducing the recorded encoded information. It was done.
【0171】但し、第4の実施例の通信端末100で
は、記録処理機能については、記録を一時停止し、その
後に記録一時停止を解除する機能を持たないものを前提
としている。However, the communication terminal 100 of the fourth embodiment is based on the premise that the recording processing function does not have a function of temporarily stopping recording and then canceling the temporary recording stop.
【0172】また、第4の実施例の通信端末100で
は、符号化情報の記録時における記録フォーマットフレ
ーム生成機能が上記各実施例のものと異なっている。Further, in the communication terminal 100 of the fourth embodiment, the recording format frame generating function at the time of recording the encoded information is different from that of each of the above embodiments.
【0173】図7は、第4の実施例の通信端末100に
おける記録動作に係わる動画像情報処理の流れを説明す
るための図である。FIG. 7 is a diagram for explaining the flow of moving image information processing relating to the recording operation in the communication terminal 100 of the fourth embodiment.
【0174】ここで、図7(a)は、記録処理部16へ
の入力情報(記録対象の動画像符号化情報)の時間的遷
移を概念的に示したものである。Here, FIG. 7A conceptually shows the temporal transition of the input information to the recording processing unit 16 (moving image coded information to be recorded).
【0175】この入力情報は、例えば、自装置の動画像
符号化部131で生成された動画像符号化情報、または
相手端末から受信され分離部122で分離された動画像
符号化情報のいずれであっても良い。This input information is, for example, either the moving picture coding information generated by the moving picture coding unit 131 of its own apparatus or the moving picture coding information received from the partner terminal and separated by the separating unit 122. It may be.
【0176】第4の実施例の通信端末100の記録処理
部16では、符号化情報の記録時、記録対象の符号化情
報の送出元である自端末の符号化処理部(動画像符号化
部131)または相手端末の符号化処理部に対してIフ
レームの挿入を行なうことを指示し、該指示後に該当す
るIフレームが到着した時点で該Iフレームから順に記
録フォーマットフレームの生成処理を続行させる。In the recording processing unit 16 of the communication terminal 100 of the fourth embodiment, at the time of recording the encoded information, the encoding processing unit (moving image encoding unit) of the own terminal which is the transmission source of the encoded information to be recorded. 131) or instructing the encoding processing unit of the partner terminal to insert an I frame, and when the corresponding I frame arrives after the instruction, the generation process of the recording format frame is continued from the I frame in order. .
【0177】上記Iフレームを挿入することを指示する
タイミングとしては、例えば、自装置のタイマ(図示せ
ず)による計時に基づき定期的に行なうことが考えられ
る。As the timing for instructing the insertion of the I frame, for example, it can be considered to be periodically performed based on the time counting by the timer (not shown) of the own device.
【0178】この場合、システム制御部20は、上記タ
イマにより一定時間t0が計時される毎に、この時の記
録対象の符号化情報の送出元である自端末の符号化処理
部(動画像符号化部131)または相手端末の符号化処
理部に対してIフレームの挿入を行なうことを指示する
〔図7(a)参照〕。In this case, the system control unit 20 causes the encoding processing unit (moving image code) of its own terminal, which is the transmission source of the encoding information to be recorded at this time, every time the above-mentioned timer measures the constant time t0. The encoding unit 131) or the encoding processing unit of the partner terminal is instructed to insert the I frame [see FIG. 7 (a)].
【0179】一方、記録処理部16では、上記Iフレー
ム挿入指示後に送出元の符号化処理部から該当するIフ
レームが到着した時点でこの到着したIフレームから順
に記録フォーマットフレームの生成処理を続行する。On the other hand, the recording processing unit 16 continues the generation processing of the recording format frame in order from the arrived I frame when the corresponding I frame arrives from the transmission source encoding processing unit after the above I frame insertion instruction. .
【0180】図7(b)は、上記入力情報を記録する時
に記録処理部16により生成される記録フォーマットフ
レームの時間的遷移を概念的に示したものである。FIG. 7B conceptually shows the temporal transition of the recording format frame generated by the recording processing unit 16 when recording the input information.
【0181】すなわち、記録処理部16は、図7(a)
に示す順番で入力する符号化情報を元にタイムスタンプ
値tn、属性情報及び情報部等で構成される記録フォー
マットフレームを生成し、バッファ18に送り込む。That is, the recording processing section 16 is shown in FIG.
A recording format frame composed of a time stamp value tn, attribute information, an information section and the like is generated based on the encoded information input in the order shown in (1) and sent to the buffer 18.
【0182】ここで、最初に入力する符号化情報に対応
するタイムスタンプ値としてはt11を付加し、それ以
降に入力する符号化情報に対応するタイムスタンプ値と
しては順にt12,t13,t14,…を付加する。Here, t11 is added as the time stamp value corresponding to the first input coded information, and t12, t13, t14, ... Are sequentially added as the time stamp values corresponding to the subsequent coded information. Is added.
【0183】また、最初に入力する符号化情報はIフレ
ームから成るため、当該符号化情報に対応する属性情報
領域内にはIフレームフラグfg3を設定する。Since the first input coded information consists of I frames, the I frame flag fg3 is set in the attribute information area corresponding to the coded information.
【0184】更に、本実施例の通信端末100では、図
7(a)に示した処理により、定期的にIフレームで構
成される符号化情報が入力されるのを受けて、これらI
フレームに対応する記録フォーマットフレーム(タイム
スタンプ値t14,t17,t20,…のもの)の属性
情報領域内にも、それぞれ、Iフレームフラグfg3を
設定する。Further, in the communication terminal 100 of the present embodiment, the I / O frame coding information is periodically input by the processing shown in FIG.
The I frame flag fg3 is also set in each of the attribute information areas of the recording format frames (time stamp values t14, t17, t20, ...) Corresponding to the frame.
【0185】これにより、バッファ18には、図7
(b)に示すような記録フォーマットフレーム列が蓄積
され、その後、このバッファ18に蓄積された記録フォ
ーマット列はシステム制御部20により記録媒体21に
記憶される。As a result, the buffer 18 shown in FIG.
The recording format frame sequence as shown in (b) is accumulated, and then the recording format sequence accumulated in the buffer 18 is stored in the recording medium 21 by the system control unit 20.
【0186】この場合、記録媒体21に記録された情報
は、定期的にIフレームが挿入された記録フォーマット
フレーム列となる。In this case, the information recorded on the recording medium 21 is a recording format frame sequence in which I frames are periodically inserted.
【0187】かかる態様で記録媒体21に記録された記
録情報を再生する場合、再生処理部17は、システム制
御部20から図7(b)に示す配列に従って渡される各
記録フォーマットフレームのタイムスタンプ値を参照し
ながら、該各フレームからのその情報部を抜き出して該
当する情報種別の復号化部(132,142)に渡し、
再生処理を行なう。When reproducing the record information recorded on the recording medium 21 in this manner, the reproduction processing section 17 causes the system control section 20 to pass the time stamp value of each recording format frame passed in accordance with the arrangement shown in FIG. 7B. Referring to, extracting the information part from each frame and passing it to the decoding part (132, 142) of the corresponding information type,
Perform playback processing.
【0188】この場合、システム制御部20から渡され
る記録フォーマットフレーム列は、定期的にIフレーム
が挿入されたものとなっている〔図7(b)参照〕。In this case, the recording format frame sequence delivered from the system control unit 20 is such that I frames are periodically inserted [see FIG. 7 (b)].
【0189】先にも述べたように、Iフレームは時間的
な差分情報を用いずに1つの画像フレームの情報のみを
用いて符号化することにより生成されるものであり、切
り貼り等の編集に耐え得るものである。As described above, the I frame is generated by encoding using only the information of one image frame without using the temporal difference information, and is suitable for editing such as cutting and pasting. It can bear.
【0190】従って、このようなIフレームが記録情報
中に定期的に挿入されている第4の実施例の通信端末1
00では、当該Iフレームが挿入された任意の位置で記
録情報の編集を行なうことができる。Therefore, the communication terminal 1 of the fourth embodiment in which such an I frame is periodically inserted in the recorded information.
At 00, the record information can be edited at an arbitrary position where the I frame is inserted.
【0191】なお、上記の説明では、タイマでの計時に
基づき定期的にIフレームの挿入を行なうことを指示す
る例を挙げているが、他の例としては、例えば、入力/
操作部22からIフレームを挿入する指令を入力させ、
この指令が入力されたことを認識したシステム制御部2
0を介して記録処理部16からIフレームの挿入を行う
ことを指示する構成としても良い。In the above description, an example of instructing to periodically insert an I frame based on the timing of the timer is given, but another example is input / input.
Input a command to insert an I frame from the operation unit 22,
System control unit 2 recognizing that this command has been input
The configuration may be such that the recording processing unit 16 instructs to insert an I frame via 0.
【0192】また、符号化情報の記録時、1つ以上の種
別の符号化情報が変動したことを認識する変動認識手段
を設け、この変動動認識手段により変動が認識された場
合に、システム制御部20を介して記録処理部16から
Iフレームの挿入を行なうことを指示する構成としても
良い。Further, when recording the encoded information, a variation recognition means for recognizing that one or more types of encoded information has changed is provided, and when the variation is recognized by this variation recognition means, the system control is performed. The recording processing unit 16 may instruct the insertion of the I frame via the unit 20.
【0193】この場合の変動認識手段としては、例え
ば、シーンチェンジなどにより動画像情報の変動が予め
設定した大きさより大きくなったことを認識する動画像
情報変動認識手段が考えられる。As the fluctuation recognizing means in this case, for example, a moving picture information fluctuation recognizing means for recognizing that the fluctuation of the moving picture information becomes larger than a preset size due to a scene change or the like can be considered.
【0194】また、別の例の変動認識手段としては、音
声信号が無音の状態から有音の状態に変化したことを認
識する音声情報変動認識手段が考えられる。As another example of the fluctuation recognizing means, a voice information fluctuation recognizing means for recognizing that the voice signal has changed from the silent state to the voiced state can be considered.
【0195】この場合、上記変動認識手段を通じて、シ
ーンチェンジがあった個所や、無音から有音になるなど
の特徴のある個所にIフレームを挿入でき、これによ
り、これら特徴のある個所で記録画像の編集を行なうこ
とができる。In this case, the I-frame can be inserted into a portion where there is a scene change or a characteristic portion such as a change from silence to a sound through the variation recognition means, whereby the recorded image is recorded at these characteristic portions. Can be edited.
【0196】このように、第4の実施例に係わる通信装
置100では、符号化情報の記録時、記録開始時からの
経過時間を示すタイムスタンプ情報と、記録対象の符号
化情報の属性を示す属性情報と、該符号化情報の情報内
容部とから成る記録フォーマットフレームを生成すると
共に、符号化情報の記録中に記録対象の符号化情報の送
出元である自端末の符号化処理部または相手端末の符号
化処理部に対してIフレームの挿入を行なうことを指示
し、この指示後にIフレームが到着した時点で該Iフレ
ームから順に記録フォーマットフレームの生成処理を続
行させるようにしたものである。As described above, in the communication device 100 according to the fourth embodiment, at the time of recording the encoded information, the time stamp information indicating the elapsed time from the start of recording and the attribute of the encoded information to be recorded are shown. A recording format frame composed of attribute information and an information content part of the encoded information is generated, and the encoding processing part of the own terminal which is the transmission source of the encoded information to be recorded or the other party while recording the encoded information. The encoding processing unit of the terminal is instructed to insert an I frame, and when the I frame arrives after the instruction, the generation processing of the recording format frame is continued from the I frame. .
【0197】かかる構成によれば、例えば、Iフレーム
の挿入を行なうことを定期的に指示することにより、I
フレームが定期的に挿入された記録情報を得ることがで
き、この記録情報中のIフレームが挿入された任意の位
置で画像の編集が行なえるようになる。According to this structure, for example, by periodically instructing to insert an I frame,
It is possible to obtain recorded information in which frames are periodically inserted, and an image can be edited at an arbitrary position where an I frame in this recorded information is inserted.
【0198】また、第4の実施例によれば、ユーザから
指令が入力された時点、あるいはシーンチェンジ等によ
り動画像情報の変動が大きくなったり、音声が無音から
有音になるなどの変動を認識した時点でそれぞれIフレ
ームの挿入を行うことを指示するようにしても良く、こ
の場合には、ユーザからの指令、シーンチェンジがあっ
たところ、あるいは無音から有音になったところなどの
特徴のある個所にIフレームが挿入された記録画像を得
ることができ、この記録画像中のIフレームが挿入され
た上記各個所で画像の編集が可能になる。Further, according to the fourth embodiment, the fluctuation of the moving image information becomes large at the time when the command is input by the user, the scene change, or the like, or the sound changes from silence to sound. At the time of recognition, it may be instructed to insert each I frame, and in this case, there is a feature such as a command from the user, a scene change, or a change from silence to voice. It is possible to obtain a recorded image in which an I frame is inserted at a certain position, and it is possible to edit the image at each of the above positions in the recorded image where the I frame is inserted.
【0199】なお、本発明は、上記し、且つ図面に示す
実施例に限定することなく、その要旨を変更しない範囲
内で適宜変形して実施できるものである。The present invention is not limited to the embodiments described above and shown in the drawings, but can be appropriately modified and carried out within the scope of the invention.
【0200】例えば、上記第3及び第4の各実施例の変
形例としては、Iフレームの挿入を指示する時に、CI
情報を挿入することも指示し、これら指示に基づき該当
するIフレーム及びCI情報が到着した時点で当該Iフ
レーム及びCI情報が挿入された記録フォーマットフレ
ームを生成するようにしても良い。For example, as a modification of each of the third and fourth embodiments described above, when the insertion of the I frame is instructed, the CI
It is also possible to instruct to insert information and generate a recording format frame in which the relevant I frame and CI information are inserted when the corresponding I frame and CI information arrive based on these instructions.
【0201】また、第4の実施例に係わるIフレームや
CI情報を定期的に挿入する技術を第3の実施例に適用
する等、各実施例を組合せた構成としても良い。Further, it is also possible to combine the respective embodiments, such as applying the technique for periodically inserting the I frame and CI information according to the fourth embodiment to the third embodiment.
【0202】更に、図1においては、有線によって成る
通信路によりマルチメディア情報を送受する通信端末1
00を例に挙げているが、本発明は、無線によりマルチ
メディア情報を送受する携帯型通信端末にも適用可能で
ある。Further, in FIG. 1, a communication terminal 1 for transmitting / receiving multimedia information via a wired communication path.
However, the present invention can also be applied to a portable communication terminal that wirelessly transmits and receives multimedia information.
【0203】[0203]
【発明の効果】以上説明したように、第1の発明によれ
ば、符号化情報の記録時、タイムスタンプ情報、及び記
録の一時停止がなされた後該記録が再開されたことを示
すフラグを含む記録フォーマットフレームを生成すると
共に、符号化情報の再生時、再生用タイマを記録フォー
マットフレーム中のタイムスタンプ値に合わせて当該フ
レーム中の符号化情報を再生すると共に、再生対象の記
録フォーマットフレーム中に上記フラグが設定されてい
る場合、再生用タイマを該フラグが設定されている記録
フォーマットフレームのタイムスタンプ値に合わせて符
号化情報の再生を続行させるようにしたため、符号化処
理部を動作させながら符号化情報の記録の一時停止と再
生が行なえる。As described above, according to the first aspect of the present invention, when the encoded information is recorded, the time stamp information and the flag indicating that the recording is restarted after the recording is temporarily stopped are set. In addition to generating the recording format frame including the encoded information, when reproducing the encoded information, the reproduction timer adjusts the encoded information in the frame according to the time stamp value in the recording format frame, and in the recording format frame to be reproduced. If the above flag is set in, the reproduction timer is made to continue the reproduction of the encoded information in accordance with the time stamp value of the recording format frame in which the flag is set. On the other hand, the recording of the encoded information can be paused and reproduced.
【0204】また、第2の発明では、符号化情報の記録
時、タイムスタンプ情報、記録一時停止フラグ及び記録
再開フラグが設定可能な属性情報を含む記録フォーマッ
トフレームを生成すると共に、生成された記録フォーマ
ットフレームのうち、記録一時停止フラグが設定された
位置から記録再開フラグが設定された位置までの記録フ
ォーマットフレームを削除し、記録フォーマットフレー
ムに記録されているタイムスタンプ値が連続するように
調整するようにしたため、符号化情報の再生時、再生用
タイマを記録フォーマットフレーム中のタイムスタンプ
値に合わせて当該フレーム中の符号化情報を再生させる
だけで、符号化処理部を動作させながら符号化情報の記
録の一時停止と再生が行なえる。Further, in the second invention, at the time of recording the encoded information, the recording format frame including the time stamp information, the attribute information which can set the recording pause flag and the recording restart flag is generated, and the generated recording is performed. Of the format frames, delete the recording format frame from the position where the recording pause flag is set to the position where the recording restart flag is set, and adjust so that the time stamp values recorded in the recording format frame are continuous. Therefore, at the time of reproducing the encoded information, the reproduction timer is simply made to reproduce the encoded information in the frame according to the time stamp value in the recording format frame, and the encoded information is operated while the encoding processing unit is operating. You can pause recording and playback.
【0205】また、第3の発明によれば、符号化情報の
記録時、タイムスタンプ情報、及び記録再開フラグが設
定可能な属性情報を含む記録フォーマットフレームを生
成すると共に、記録再開の指令が与えられることによ
り、該記録対象の符号化情報の送出元である自端末の符
号化処理部または相手端末の符号化処理部に対してフレ
ーム内予測符号化情報(Iフレーム)の挿入を行なうこ
とを指示し、この指示後にIフレームが到着した時点で
該Iフレームから順に記録フォーマットフレームの生成
処理を続行させるようにしたため、記録再開後に最初に
記録される動画像情報は常にIフレームから始まること
になり、記録の一時停止を行ない、記録情報が途中で途
切れた情報を再生する場合にも、動画像が乱れることを
抑えることができる。Further, according to the third invention, at the time of recording the encoded information, the recording format frame including the time stamp information and the attribute information for which the recording restart flag can be set is generated, and the recording restart command is given. By doing so, it is possible to insert the intraframe predictive coding information (I frame) into the coding processing unit of the own terminal or the coding processing unit of the partner terminal which is the transmission source of the coding information to be recorded. Since the generation of the recording format frame is continued from the I frame when the I frame arrives after the instruction, the moving image information recorded first after the recording is restarted always starts from the I frame. Therefore, it is possible to suppress the disturbance of the moving image even when the recording is paused and the recorded information is interrupted in the middle.
【0206】また、第4の発明によれば、符号化情報の
記録時、タイムスタンプ情報、及び記録対象の符号化情
報の属性を示す属性情報を含む記録フォーマットフレー
ムを生成する処理を行ないながら、該記録対象の符号化
情報の送出元である自端末の符号化処理部または相手端
末の符号化処理部に対してIフレームの挿入を行なうこ
とを指示し、この指示後にIフレームが到着した時点で
該Iフレームから順に記録フォーマットフレームの生成
処理を続行させるようにしたため、例えば、Iフレーム
の挿入を行なうことを定期的に指示することにより、I
フレームが定期的に挿入された記録情報を得ることがで
き、この記録情報中のIフレームが挿入された任意の位
置で画像の編集が行なえるようになる。Further, according to the fourth invention, at the time of recording the encoded information, while performing the processing of generating the recording format frame including the time stamp information and the attribute information indicating the attribute of the encoded information to be recorded, A time point at which an I frame arrives after the instruction is given to the encoding processing unit of the own terminal or the encoding processing unit of the partner terminal that is the transmission source of the encoding information to be recorded Since the generation process of the recording format frame is continued from the I frame in sequence, for example, by periodically instructing to insert the I frame,
It is possible to obtain recorded information in which frames are periodically inserted, and an image can be edited at an arbitrary position where an I frame in this recorded information is inserted.
【0207】また、第4の発明よれば、ユーザから指令
が入力された時点、あるいはシーンチェンジ等により動
画像情報の変動が大きくなったり、音声が無音から有音
になるなどの変動を認識した時点でそれぞれIフレーム
の挿入を行うことを指示するようにしても良く、この場
合には、ユーザからの指令、シーンチェンジがあったと
ころ、あるいは無音から有音になったところなどの特徴
のある個所にIフレームが挿入された記録画像を得るこ
とができ、この記録画像中のIフレームが挿入された上
記各個所で画像の編集が可能になる。Further, according to the fourth aspect of the invention, the fluctuation of the moving image information becomes large when the command is input by the user, the scene change, or the like, or the sound changes from silence to voice. It may be instructed to insert an I frame at each point in time, and in this case, there is a feature such as a command from the user, a scene change, or a silence to a voice. A recorded image in which an I frame is inserted can be obtained, and the image can be edited at each of the above positions in the recorded image where an I frame is inserted.
【図面の簡単な説明】[Brief description of drawings]
【図1】本発明に係わるマルチメディア通信端末の全体
構成を示すブロック図。FIG. 1 is a block diagram showing the overall configuration of a multimedia communication terminal according to the present invention.
【図2】図1の通信端末における各部の接続形態を示す
図。FIG. 2 is a diagram showing a connection form of each unit in the communication terminal of FIG.
【図3】本発明に係わる記録フォーマットフレームの構
成例を示す図。FIG. 3 is a diagram showing a configuration example of a recording format frame according to the present invention.
【図4】第1の実施例の通信端末における記録及び再生
動作に係わる動画像情報処理の流れを説明するための
図。FIG. 4 is a diagram for explaining the flow of moving image information processing relating to recording and reproducing operations in the communication terminal of the first embodiment.
【図5】第2の実施例の通信端末における記録動作に係
わる動画像情報処理の流れを説明するための図。FIG. 5 is a diagram for explaining the flow of moving image information processing relating to a recording operation in the communication terminal of the second embodiment.
【図6】第3の実施例の通信端末における記録動作に係
わる動画像情報処理の流れを説明するための図。FIG. 6 is a diagram for explaining the flow of moving image information processing relating to a recording operation in the communication terminal of the third embodiment.
【図7】第4の実施例の通信端末における記録動作に係
わる動画像情報処理の流れを説明するための図。FIG. 7 is a diagram for explaining the flow of moving image information processing relating to a recording operation in the communication terminal of the fourth embodiment.
【図8】従来装置での記録動作に係わる動画像情報処理
の流れを説明するための図。FIG. 8 is a diagram for explaining the flow of moving image information processing relating to the recording operation in the conventional apparatus.
100 マルチメディア通信端末 11 通信インタフェース(I/F)部 12 多重/分離処理部 121 多重部(MUX) 122 分離部(DMX) 13 動画像符号/復号処理部 131 動画像符号化部(V Enc) 132 動画像復号化部(V Dec) 14 音声符号/復号処理部 141 音声符号化部(A Enc) 142 音声復号化部(A Dec) 133,143 A/D変換部(A/D) 134,144 D/A変換部(D/A) 15 経路選択部 151,152,153 スイッチ(SW) 16 記録処理部(REC) 17 再生処理部(PLAY) 18 バッファ 19 ホストインタフェース(I/F)部 20 システム制御部 21 記憶媒体 22 入力/操作部 23 マイク部 24 スピーカ部 25 カメラ部 26 表示部 100 multimedia communication terminals 11 Communication interface (I / F) section 12 Multiplexing / demultiplexing processing unit 121 Multiplexer (MUX) 122 Separator (DMX) 13 Video coding / decoding processing unit 131 Video Coding Unit (V Enc) 132 Video Decoding Unit (V Dec) 14 Voice Encoding / Decoding Processing Unit 141 Speech Encoding Unit (A Enc) 142 Speech Decoding Unit (A Dec) 133,143 A / D converter (A / D) 134, 144 D / A converter (D / A) 15 Route selector 151,152,153 switch (SW) 16 Recording processing unit (REC) 17 Playback processing unit (PLAY) 18 buffers 19 Host interface (I / F) section 20 System control unit 21 storage medium 22 Input / operation section 23 Microphone 24 speaker 25 Camera section 26 Display
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA12 FA14 GB04 GB06 GB11 GB37 HA26 HA33 JA07 JA22 JA23 KA08 LA05 LA06 LA11 LA15 5C059 KK36 KK40 PP05 PP06 PP07 RC04 RC26 RF14 SS06 SS16 TA25 TA74 TC21 TC41 TC42 TC43 5K028 CC02 DD06 EE07 KK01 KK03 KK12 LL12 MM05 MM08 RR02 SS05 SS15 ─────────────────────────────────────────────────── ─── Continued front page F-term (reference) 5C053 FA12 FA14 GB04 GB06 GB11 GB37 HA26 HA33 JA07 JA22 JA23 KA08 LA05 LA06 LA11 LA15 5C059 KK36 KK40 PP05 PP06 PP07 RC04 RC26 RF14 SS06 SS16 TA25 TA74 TC21 TC41 TC42 TC43 5K028 CC02 DD06 EE07 KK01 KK03 KK12 LL12 MM05 MM08 RR02 SS05 SS15
Claims (10)
毎の符号化処理部で符号化して符号化情報を生成し、該
符号化情報を多重化して相手端末に送信すると共に、相
手端末から受信された多重化情報を各種別毎の符号化情
報に分離して再生するマルチメディア情報通信機能と、
自端末で生成された符号化情報または相手端末から受信
した符号化情報を多重化して記録すると共に、該記録の
一時停止及び再開が可能な記録処理機能と、記録された
符号化情報を再生する再生処理機能とを有するマルチメ
ディア通信装置であって、 前記符号化情報の記録開始時からの経過時間を示すタイ
ムスタンプ情報、及び記録の一時停止がなされた後該記
録が再開されたことを示すフラグが設定可能な属性情報
を含む記録フォーマットフレームを生成するフレーム生
成手段と、 前記符号化情報の再生時、再生用タイマを前記記録フォ
ーマットフレーム中のタイムスタンプ値に合わせて該フ
レーム中の符号化情報を再生すると共に、再生対象の記
録フォーマットフレーム中に前記フラグが設定されてい
る場合、前記再生用タイマを該フラグが設定されている
記録フォーマットフレームのタイムスタンプ値に合わせ
て符号化情報の再生を続行させる再生制御手段とを具備
することを特徴とするマルチメディア通信装置。1. A plurality of types of multimedia information are coded by a coding processing unit for each type to generate coded information, the coded information is multiplexed and transmitted to a partner terminal, and received from the partner terminal. A multimedia information communication function for separating the reproduced multiplexed information into encoded information for each type and reproducing the encoded information,
The coded information generated by the terminal itself or the coded information received from the partner terminal is multiplexed and recorded, and a recording processing function capable of pausing and resuming the recording and reproducing the recorded coded information. A multimedia communication device having a reproduction processing function, the time stamp information indicating an elapsed time from the start of recording the encoded information, and indicating that the recording is restarted after the recording is temporarily stopped. Frame generating means for generating a recording format frame including attribute information for which a flag can be set; and, when reproducing the encoding information, a reproduction timer that encodes the recording format frame according to a time stamp value in the recording format frame. When the information is reproduced and the flag is set in the recording format frame to be reproduced, the reproduction timer is set to the flag. Multimedia communication apparatus characterized by comprising a reproduction control means for continuing the reproduction of the coded information in accordance with the time-stamp value of the recording format frame grayed is set.
毎の符号化処理部で符号化して符号化情報を生成し、該
符号化情報を多重化して相手端末に送信すると共に、相
手端末から受信された多重化情報を各種別毎の符号化情
報に分離して再生するマルチメディア情報通信機能と、
自端末で生成された符号化情報または相手端末から受信
した符号化情報を多重化して記録すると共に、該記録の
一時停止及び再開が可能な記録処理機能と、記録された
符号化情報を再生する再生処理機能とを有するマルチメ
ディア通信装置であって、 前記符号化情報の記録開始時からの経過時間を示すタイ
ムスタンプ情報、記録の一時停止がなされたことを示す
記録一時停止フラグ及び記録が再開されたことを示す記
録再開フラグが設定可能な属性情報を含む記録フォーマ
ットフレームを生成するフレーム生成手段と、 生成された記録フォーマットフレームのうち、前記記録
一時停止フラグが設定された位置から前記記録再開フラ
グが設定された位置までの記録フォーマットフレームを
削除し、記録フォーマットフレームに記録されているタ
イムスタンプ値が連続するように調整するフレーム加工
手段と、 前記符号化情報の再生時、再生用タイマを前記記録フォ
ーマットフレーム中のタイムスタンプ値に合わせて符号
化情報を順次再生させる再生制御手段とを具備すること
を特徴とするマルチメディア通信装置。2. A plurality of types of multimedia information are encoded by each type of encoding processing unit to generate encoded information, and the encoded information is multiplexed and transmitted to a partner terminal and received from the partner terminal. A multimedia information communication function for separating the reproduced multiplexed information into encoded information for each type and reproducing the encoded information,
The coded information generated by the terminal itself or the coded information received from the partner terminal is multiplexed and recorded, and a recording processing function capable of pausing and resuming the recording and reproducing the recorded coded information. A multimedia communication device having a reproduction processing function, comprising: time stamp information indicating an elapsed time from the start of recording the encoded information, a recording pause flag indicating that recording has been paused, and recording restarted. A frame generation means for generating a recording format frame including attribute information capable of setting a recording restart flag indicating that the recording is restarted, and the recording restart from the position where the recording pause flag is set in the generated recording format frame. The recording format frame up to the position where the flag is set is deleted and recorded in the recording format frame Frame processing means for adjusting the time stamp value so that the time stamp values are continuous; and reproduction control means for sequentially reproducing the coded information in accordance with the time stamp value in the recording format frame when reproducing the coded information. A multimedia communication device comprising:
毎の符号化処理部で符号化して符号化情報を生成し、該
符号化情報を多重化して相手端末に送信すると共に、相
手端末から受信された多重化情報を各種別毎の符号化情
報に分離して再生するマルチメディア情報通信機能と、
自端末で生成された符号化情報または相手端末から受信
した符号化情報を多重化して記録すると共に、該記録の
一時停止及び再開が可能な記録処理機能と、記録された
符号化情報を再生する再生処理機能とを有するマルチメ
ディア通信装置であって、 前記符号化情報の記録開始時からの経過時間を示すタイ
ムスタンプ情報、及び記録再開がなされたことを示す記
録再開フラグが設定可能な属性情報を含む記録フォーマ
ットフレームを生成するフレーム生成手段と、 記録再開の指令が入力されることにより、記録対象の符
号化情報の送出元である自端末の符号化処理部または相
手端末の符号化処理部に対してフレーム内予測符号化情
報の挿入を行なうことを指示する指示手段と、 前記指示後に前記フレーム内予測符号化情報が到着した
時点で記録を再開し、当該フレーム内予測符号化情報か
ら順に前記記録フォーマットフレームの生成処理を続行
させる記録制御手段とを具備することを特徴とするマル
チメディア通信装置。3. A plurality of types of multimedia information are coded by a coding processing unit for each type to generate coded information, the coded information is multiplexed and transmitted to a partner terminal, and received from the partner terminal. A multimedia information communication function for separating the reproduced multiplexed information into encoded information for each type and reproducing the encoded information,
The coded information generated by the terminal itself or the coded information received from the partner terminal is multiplexed and recorded, and a recording processing function capable of pausing and resuming the recording and reproducing the recorded coded information. A multimedia communication device having a reproduction processing function, wherein time stamp information indicating an elapsed time from the start of recording the encoded information, and attribute information capable of setting a recording restart flag indicating that recording has been restarted A frame generation means for generating a recording format frame including a frame and a recording restart command are input, so that the encoding processing unit of the own terminal or the encoding processing unit of the partner terminal which is the transmission source of the encoding information of the recording target And an instruction means for instructing to insert the intraframe predictive coding information, and at the time when the intraframe predictive coding information arrives after the instruction. Resume recording, multimedia communication apparatus characterized by comprising a recording control means for continuing the process of generating the recording format frames from the intra-frame prediction coding information in order.
ォーマットフレームを生成する際、該記録フォーマット
フレーム中に、フレーム内予測符号化情報であることを
示すフラグを設定することを特徴とする請求項3記載の
マルチメディア通信装置。4. When generating a recording format frame of the intraframe predictive coding information, a flag indicating that it is intraframe predictive coding information is set in the recording format frame. 3. The multimedia communication device described in 3.
毎の符号化処理部で符号化して符号化情報を生成し、該
符号化情報を多重化して相手端末に送信すると共に、相
手端末から受信された多重化情報を各種別毎の符号化情
報に分離して再生するマルチメディア情報通信機能と、
自端末で生成された符号化情報または相手端末から受信
した符号化情報を多重化して記録する記録処理機能と、
記録された符号化情報を再生する再生処理機能とを有す
るマルチメディア通信装置であって、 前記符号化情報の記録開始時からの経過時間を示すタイ
ムスタンプ情報、及び記録対象の符号化情報の属性を示
す属性情報を含む記録フォーマットフレームを生成する
フレーム生成手段と、 前記符号化情報の記録時、該記録対象の符号化情報の送
出元である自端末の符号化処理部または相手端末の符号
化処理部に対してフレーム内予測符号化情報の挿入を行
なうことを指示する指示手段と、 前記指示後に前記フレーム内予測符号化情報が到着した
時点で該フレーム内予測符号化情報から順に前記記録フ
ォーマットフレームの生成処理を続行させる記録制御手
段とを具備することを特徴とするマルチメディア通信装
置。5. A plurality of types of multimedia information are coded by a coding processing unit for each type to generate coded information, the coded information is multiplexed and transmitted to a partner terminal, and received from the partner terminal. A multimedia information communication function for separating the reproduced multiplexed information into encoded information for each type and reproducing the encoded information,
A recording processing function of multiplexing and recording the encoded information generated by the own terminal or the encoded information received from the partner terminal,
A multimedia communication device having a reproduction processing function for reproducing recorded encoded information, wherein time stamp information indicating an elapsed time from the start of recording the encoded information and an attribute of the encoded information to be recorded Frame generating means for generating a recording format frame including attribute information indicating the encoding information, and an encoding processing unit of the own terminal which is the transmission source of the encoding information of the recording target or an encoding of the partner terminal when recording the encoding information. Instructing means for instructing the processing unit to insert the intraframe predictive coding information, and the recording format in order from the intraframe predictive coding information when the intraframe predictive coding information arrives after the instruction. A multimedia communication device, comprising: a recording control unit for continuing a frame generation process.
計時手段の計時に基づき定期的に前記フレーム内予測符
号化情報の挿入を行うことを指示することを特徴とする
請求項5記載のマルチメディア通信装置。6. The method according to claim 5, further comprising a clocking unit, wherein the instructing unit instructs to regularly insert the intraframe prediction coded information based on the clocking of the clocking unit. Multimedia communication device.
別の符号化情報が変動したことを認識する変動認識手段
を備え、 前記指示手段は、前記変動認識手段により前記変動が認
識された場合に前記フレーム内予測符号化情報の挿入を
行なうことを指示することを特徴とする請求項5記載の
マルチメディア通信装置。7. When recording the coded information, a fluctuation recognition means is provided for recognizing that one or more kinds of coded information has changed, and the instruction means recognizes the fluctuation by the fluctuation recognition means. The multimedia communication device according to claim 5, wherein the multimedia communication device is instructed to insert the intraframe prediction coded information.
が予め設定した大きさより大きくなったことを認識する
動画像情報変動認識手段から成ることを特徴とする請求
項7記載のマルチメディア通信装置。8. The multimedia communication according to claim 7, wherein the fluctuation recognizing unit comprises a moving image information fluctuation recognizing unit that recognizes that the fluctuation of the moving image information is larger than a preset size. apparatus.
状態から有音の状態に変化したことを認識する音声情報
変動認識手段から成ることを特徴とする請求項7記載の
マルチメディア通信装置。9. The multimedia communication device according to claim 7, wherein the fluctuation recognizing means comprises a voice information fluctuation recognizing means for recognizing that the voice signal has changed from a silent state to a voiced state. .
する指令を入力する入力手段を備え、前記指示手段は、
前記入力手段から入力される前記指令に基づき前記フレ
ーム内予測符号化情報の挿入を行うことを指示すること
を特徴とする請求項5記載のマルチメディア通信装置。10. An input unit for inputting a command to insert the intraframe predictive coding information, wherein the instructing unit includes:
The multimedia communication device according to claim 5, wherein the multimedia communication device is instructed to insert the intraframe prediction coded information based on the command input from the input means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002053855A JP2003259287A (en) | 2002-02-28 | 2002-02-28 | Multimedia communication equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002053855A JP2003259287A (en) | 2002-02-28 | 2002-02-28 | Multimedia communication equipment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003259287A true JP2003259287A (en) | 2003-09-12 |
Family
ID=28665170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002053855A Pending JP2003259287A (en) | 2002-02-28 | 2002-02-28 | Multimedia communication equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003259287A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006121415A (en) * | 2004-10-21 | 2006-05-11 | Olympus Corp | Moving image encoding device |
JP2009223927A (en) * | 2008-03-13 | 2009-10-01 | Sanyo Electric Co Ltd | Digital data reproducing device |
-
2002
- 2002-02-28 JP JP2002053855A patent/JP2003259287A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006121415A (en) * | 2004-10-21 | 2006-05-11 | Olympus Corp | Moving image encoding device |
JP2009223927A (en) * | 2008-03-13 | 2009-10-01 | Sanyo Electric Co Ltd | Digital data reproducing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3491365B2 (en) | Encoded data decoding method and decoding device | |
KR100619087B1 (en) | A reproducing apparatus and a reproducing method | |
JP2001359072A (en) | Data converter and method, data distributor and method, data distribution system | |
WO2001033832A1 (en) | Image reproducing apparatus and image recording/reproducing apparatus | |
JP3594409B2 (en) | MPEG audio playback device and MPEG playback device | |
JP2008206189A (en) | Communication terminal device allowing content reception and voice speech | |
US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
JP2004104728A (en) | Video camera capable of editing data, data editing and recording program, data recording apparatus, and recording medium | |
JP4541517B2 (en) | Recording device | |
JP2004180290A (en) | Apparatus and method of transmission, apparatus and method of reproduction, program and recording medium | |
JP2004153791A (en) | Moving image/sound recording apparatus and moving image/sound recording method | |
JPH10294927A (en) | Communicating method for moving image data, recording and reproducing method for moving image data and storage medium | |
JP4368125B2 (en) | Communication terminal device capable of content reception and voice call | |
JP2003259287A (en) | Multimedia communication equipment | |
JP2001160968A (en) | Coding recorder | |
US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
JP3986147B2 (en) | Acoustic signal processing apparatus and audio high-speed playback method | |
JP2004297229A (en) | Image processor, image processing method, image processing system using it, and program | |
US7382972B2 (en) | Recording apparatus and method | |
JP2004153793A (en) | Motion picture/sound recording apparatus and motion picture/sound reproducing apparatus | |
JP4055089B2 (en) | Signal recording / reproducing apparatus and signal recording / reproducing method | |
JP2644132B2 (en) | Moving image storage / playback processing method | |
KR0129805B1 (en) | Digital signal processing system with the function of the digest | |
JP4626629B2 (en) | Data processing apparatus, data processing method, program, and recording medium | |
JP2008072718A (en) | Coding recorder |