JP5843631B2 - Frame rate control method, frame rate control device, and frame rate control program - Google Patents

Frame rate control method, frame rate control device, and frame rate control program Download PDF

Info

Publication number
JP5843631B2
JP5843631B2 JP2012013773A JP2012013773A JP5843631B2 JP 5843631 B2 JP5843631 B2 JP 5843631B2 JP 2012013773 A JP2012013773 A JP 2012013773A JP 2012013773 A JP2012013773 A JP 2012013773A JP 5843631 B2 JP5843631 B2 JP 5843631B2
Authority
JP
Japan
Prior art keywords
frame rate
picture
input
encoder
determination target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012013773A
Other languages
Japanese (ja)
Other versions
JP2013153366A (en
Inventor
尚紀 小野
尚紀 小野
清水　淳
淳 清水
中村　健
健 中村
正樹 北原
正樹 北原
清介 京地
清介 京地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012013773A priority Critical patent/JP5843631B2/en
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to CA2859631A priority patent/CA2859631A1/en
Priority to PCT/JP2013/051072 priority patent/WO2013111701A1/en
Priority to US14/365,892 priority patent/US9712827B2/en
Priority to RU2014129008A priority patent/RU2014129008A/en
Priority to EP13740874.6A priority patent/EP2779645A4/en
Priority to BR112014017565A priority patent/BR112014017565A8/en
Priority to KR1020147017401A priority patent/KR101659514B1/en
Priority to CN201380005516.9A priority patent/CN104471936B/en
Priority to TW102102597A priority patent/TWI536846B/en
Publication of JP2013153366A publication Critical patent/JP2013153366A/en
Application granted granted Critical
Publication of JP5843631B2 publication Critical patent/JP5843631B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Description

本発明は，映像符号化におけるフレームレート制御，特にエンコーダにおける演算量および情報量を抑制するためのフレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラムに関するものである。   The present invention relates to a frame rate control in video coding, and more particularly to a frame rate control method, a frame rate control device, and a frame rate control program for suppressing the amount of calculation and information in an encoder.

従来，符号化可能なフレームレートと撮像機器等からエンコーダへの入力映像のフレームレートが異なる場合に，入力映像の間引き処理を行って符号化可能なフレームレートに変換する技術が用いられている（特許文献１参照）。   Conventionally, when the frame rate that can be encoded is different from the frame rate of the input video from the imaging device or the like to the encoder, a technique has been used in which the input video is thinned and converted into a frame rate that can be encoded ( Patent Document 1).

図５に従来技術の構成図，図６に従来技術におけるピクチャ間引き判定部のフローチャートを示す。   FIG. 5 is a block diagram of the prior art, and FIG. 6 is a flowchart of the picture thinning determination unit in the prior art.

図５において，エンコーダ２００は，例えばＨ．２６４等の符号化方式に従って入力映像を符号化し，符号化映像ストリームを出力する装置である。エンコーダ２００は，フレームを分割したブロックごとに動き検出を行う動き検出部２０３と，検出された動きベクトルによって予測を行う予測部２０４と，入力信号と予測信号との残差信号をＤＣＴ等により直交変換する直交変換部２０５と，変換係数を量子化する量子化部２０６と，量子化結果を逆量子化する逆量子化部２０７と，変換係数を逆直交変換する逆直交変換部２０８と，その出力に予測信号を加算して得られたたローカルデコード画像を記憶するローカルデコード画像記憶部２０９と，量子化部２０６の出力を可変長符号化する可変長符号化部２１０と，符号化情報を多重化する多重化部２１１と，符号化情報を記憶し，符号化映像ストリームとして出力するバッファ部２１２と，発生符号量等により量子化部２０６その他の符号化制御を行う制御部２１３とを備える。   In FIG. It is a device that encodes an input video according to an encoding method such as H.264 and outputs an encoded video stream. The encoder 200 includes a motion detection unit 203 that performs motion detection for each block into which a frame is divided, a prediction unit 204 that performs prediction based on the detected motion vector, and a residual signal between the input signal and the prediction signal that is orthogonalized by DCT or the like. An orthogonal transform unit 205 for transforming, a quantization unit 206 for quantizing transform coefficients, an inverse quantization unit 207 for dequantizing the quantization result, an inverse orthogonal transform unit 208 for performing inverse orthogonal transform on the transform coefficients, A local decoded image storage unit 209 for storing a local decoded image obtained by adding the prediction signal to the output; a variable length encoding unit 210 for variable length encoding the output of the quantization unit 206; A multiplexing unit 211 for multiplexing, a buffer unit 212 for storing encoded information and outputting it as an encoded video stream, a quantizing unit 206 depending on the amount of generated codes, etc. And a control unit 213 for encoding control.

ピクチャ間引き判定部２０１は，エンコーダ２００が符号化可能なフレームレートと，フレームレート測定部２０２が測定した撮像機器等からエンコーダ２００への入力映像のフレームレートが異なる場合に，入力映像の間引き処理を行って符号化可能なフレームレートに変換する。フレームレート測定部２０２は，入力映像のフレームレートを測定し，ピクチャ間引き判定部２０１に通知する。   The picture thinning determination unit 201 performs thinning processing of the input video when the frame rate that can be encoded by the encoder 200 and the frame rate of the input video from the imaging device or the like measured by the frame rate measurement unit 202 to the encoder 200 are different. And convert to a frame rate that can be encoded. The frame rate measurement unit 202 measures the frame rate of the input video and notifies the picture thinning determination unit 201 of the frame rate.

ピクチャ間引き判定部２０１は，図６に示す処理を実行する。まず，エンコーダ２００が入力可能なフレームレートＴＡを設定し（ステップＳ２００），入力映像のフレームレートをＣＡとすると（ステップＳ２０１），ＣＡから間引きフレームインターバル値ｎ＝ＣＡ／（ＣＡ−ＴＡ）を算出する（ステップＳ２０２）。次に，ピクチャ番号ｉを１に，ピクチャ間引き数ｄを０に初期設定し（ステップＳ２０３），以下の処理を行う。   The picture thinning determination unit 201 executes the process shown in FIG. First, the frame rate TA that can be input by the encoder 200 is set (step S200), and the frame rate of the input video is CA (step S201), and the thinned frame interval value n = CA / (CA-TA) is calculated from CA. (Step S202). Next, the picture number i is initialized to 1 and the picture thinning-out number d is initialized to 0 (step S203), and the following processing is performed.

判定対象であるピクチャのピクチャ番号ｉが，ｎにそれまでの間引きピクチャ枚数ｄを乗じた値を超えているかどうかで，間引くかどうかを決定する。すなわち，ｉ≧ｎ×（ｄ＋１）かどうかを判定し，ｉがｎ×（ｄ＋１）以上であれば，ステップＳ２０５，Ｓ２０６を実行する。ステップＳ２０５では，ｄに１を加算し，ステップＳ２０６では，ピクチャｉを間引く。ｉがｎ×（ｄ＋１）より小さければ，ピクチャｉは間引かない。全映像の処理が完了するまで（ステップＳ２０７），ｉに１を加算しながら（ステップＳ２０８），以上のステップＳ２０４〜Ｓ２０７を繰り返す。   Whether to perform thinning is determined based on whether or not the picture number i of the picture to be judged exceeds the value obtained by multiplying n by the number d of thinned pictures so far. That is, it is determined whether i ≧ n × (d + 1). If i is n × (d + 1) or more, steps S205 and S206 are executed. In step S205, 1 is added to d, and in step S206, picture i is thinned out. If i is smaller than n × (d + 1), picture i is not thinned out. Until the processing of all the images is completed (step S207), the above steps S204 to S207 are repeated while adding 1 to i (step S208).

以上のように，従来技術では，エンコーダへの入力フレームレートと符号化可能なフレームレートの比率から，映像が何枚入力されたならば１枚間引けばよいかを計算し，それに従って入力映像の間引き処理を行う。   As described above, in the prior art, the ratio of the input frame rate to the encoder and the frame rate that can be encoded is used to calculate how many images are to be thinned out. Perform decimation processing.

本技術を適用するためには，エンコーダへの入力フレームレートＣＡが既知である必要がある。そのため，エンコーダへの入力映像のフレームレートＣＡを，例えば図５に示すフレームレート測定部２０２によって測定する必要があるが，入力映像の入力タイミングが揺らいでいる場合などには，測定時のフレームレートが常に保持されるとは限らない。このため，不必要に多く間引いてしまうという状態，あるいは間引き数が足りないという状態が発生する。   In order to apply this technique, the input frame rate CA to the encoder needs to be known. Therefore, it is necessary to measure the frame rate CA of the input video to the encoder by, for example, the frame rate measuring unit 202 shown in FIG. 5, but when the input timing of the input video fluctuates, the frame rate at the time of measurement is measured. Is not always retained. For this reason, a state in which a lot is thinned unnecessarily or a state in which the number of thinnings is insufficient occurs.

特開２００５−３２８４８７号公報JP 2005-328487 A

テレビ電話のような映像通信用アプリケーションにおいては，ＰＣに接続されたＷｅｂカメラ等で映像を入力してソフトウェアエンコーダで符号化し，符号化した映像ストリームを受信側に伝送することが想定される。その際，ＣＰＵ資源の不足等の理由で，カメラで撮影した映像がエンコーダに入力されるタイミングが一定でなく揺らぐ場合がある。このような場合，局所的に単位時間あたりの入力フレームレートが高くなることがあり得る。   In a video communication application such as a video phone, it is assumed that video is input by a Web camera or the like connected to a PC, encoded by a software encoder, and the encoded video stream is transmitted to the receiving side. At this time, the timing at which the video captured by the camera is input to the encoder may fluctuate because of lack of CPU resources. In such a case, the input frame rate per unit time may locally increase.

図７に，映像の入力タイミングが揺らぐ例を示す。カメラによる撮影は一定のタイミングの固定フレームレートで実行されているが，ピクチャ２が入力された直後にＣＰＵ資源が不足し，エンコーダ前段の処理が遅延することでピクチャ３以降が順次遅れてエンコーダに入力される。その後，ＣＰＵ資源の不足が解消し，エンコーダ前段に溜まっていた映像が一気にエンコーダへ入力される。   FIG. 7 shows an example in which the video input timing fluctuates. Shooting by the camera is executed at a fixed frame rate at a fixed timing. However, immediately after picture 2 is input, CPU resources are insufficient, and the processing before the encoder is delayed so that pictures 3 and later are sequentially delayed. Entered. Thereafter, the shortage of CPU resources is resolved, and the video accumulated in the previous stage of the encoder is input to the encoder all at once.

リアルタイム処理を前提とするエンコーダでは，単位時間当たりに符号化するピクチャ枚数が増えることにより，局所的に符号量と演算量が増加する。図７に示すように，一定時間で区間に区切ってみると，区間１〜４はピクチャ枚数が１枚であるのに対し，区間５では３枚となっており，他の区間と比較して約３倍の符号量と演算量が必要となっている。このようなエンコーダに入力される映像のタイミングの揺らぎは，符号化された映像ストリームを伝送する伝送路の容量を超過することによる遅延の発生，また，最悪の場合にはパケットロスが発生することで，受信側での映像品質劣化につながる。   In an encoder that presupposes real-time processing, the amount of code and the amount of calculation increase locally as the number of pictures to be encoded per unit time increases. As shown in FIG. 7, when divided into sections at a fixed time, sections 1 to 4 have one picture, whereas section 5 has three pictures, compared to other sections. Approximately three times as much code amount and calculation amount are required. Such fluctuations in the timing of the video input to the encoder may cause delay due to exceeding the capacity of the transmission path for transmitting the encoded video stream, and in the worst case, packet loss may occur. This leads to video quality degradation on the receiving side.

特許文献１に記載の技術のように，エンコーダへの入力フレームレートと符号化可能なフレームレートの比率から，映像が何枚入力されたならば１枚間引けばよいかを計算し，それに従って間引き処理を行う場合，エンコーダへの入力フレームレートが既知である必要がある。   As in the technique described in Patent Document 1, from the ratio between the input frame rate to the encoder and the frame rate that can be encoded, the number of images that are input is calculated, and one frame is thinned out accordingly. When performing decimation processing, the input frame rate to the encoder needs to be known.

そのため，エンコーダへの入力フレームレートを測定しても，次のような問題がある。図７の例のように，エンコーダで符号化可能なフレーム数が１つの区間に対して１枚の場合，区間１〜４についてはエンコーダに入力されるフレーム数は１枚である。区間１〜４の測定結果に基づけば，符号化可能なフレーム数と等しいため，フレームを間引く必要はない。しかし，区間５については入力されるフレーム数は３枚となっている。区間１〜４の測定結果に基づいて，区間５の入力映像に対して間引きを実施しない場合，符号化可能な枚数を超える映像がエンコーダに入力されてしまうこととなる。   Therefore, even if the input frame rate to the encoder is measured, there are the following problems. As in the example of FIG. 7, when the number of frames that can be encoded by the encoder is one for one section, the number of frames input to the encoder is one for sections 1 to 4. Based on the measurement results of the sections 1 to 4, it is equal to the number of frames that can be encoded, so there is no need to thin out the frames. However, for section 5, the number of input frames is three. If thinning is not performed on the input video in the section 5 based on the measurement results in the sections 1 to 4, the video exceeding the number that can be encoded is input to the encoder.

本発明は，上記課題の解決を図り，入力映像の入力タイミングが一定でなく揺らいでる場合でも，エンコーダの演算量，情報量を一定の範囲内に抑制できるようにすることを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to solve the above-described problems and to suppress the calculation amount and information amount of an encoder within a certain range even when the input timing of an input video is not constant and fluctuates.

本発明は，上記課題を解決するため，符号化を行う映像フレームが瞬間的に増加することのないように，入力された映像フレームを間引くかどうかの判定を行う。判定は，判定対象ピクチャが入力された時刻から単位時間過去の間に入力されたフレーム枚数が所定の閾値を超えているかどうかで行い，入力映像の入力タイミングで決定されるエンコーダへの入力フレームレートは使用しない。閾値を超えている場合には該当フレームを間引き，そうでない場合には符号化を行う。   In order to solve the above problem, the present invention determines whether or not to thin out an input video frame so that video frames to be encoded do not increase instantaneously. The determination is made based on whether or not the number of frames input during the unit time in the past from the input of the determination target picture exceeds a predetermined threshold, and the input frame rate to the encoder determined at the input timing of the input video Is not used. If the threshold is exceeded, the corresponding frame is thinned out, otherwise encoding is performed.

本発明の作用は，以下のとおりである。ピクチャ間引き判定にはエンコーダへの入力フレームレートは使用しない。そのため，入力映像の入力タイミングが揺らいでいて，フレームレートが常に保持されるとは限らない場合にも良好な判定結果を得て，適切なピクチャ間引きを行うことが可能である。したがって，入力映像の入力タイミングが揺らいでいる場合でも，ピクチャ間引き処理により，符号化を行う映像フレームが瞬間的に増加することを抑えることが可能である。すなわち，エンコーダの演算量の瞬間的な増加および映像ビットストリームの情報量の瞬間的な増加を抑えることが可能である。   The operation of the present invention is as follows. The input frame rate to the encoder is not used for the picture thinning determination. Therefore, even when the input timing of the input video fluctuates and the frame rate is not always maintained, it is possible to obtain a good determination result and perform appropriate picture thinning. Therefore, even when the input timing of the input video fluctuates, it is possible to suppress an instantaneous increase in video frames to be encoded by the picture thinning process. That is, it is possible to suppress an instantaneous increase in the calculation amount of the encoder and an instantaneous increase in the information amount of the video bitstream.

また，判定対象ピクチャが入力された時刻から単位時間過去の間に入力されたピクチャ枚数が，設定フレームレートから計算される閾値を超えているかどうかという，対象ピクチャが入力された時点で既知の情報のみを使用して判定を行うため，遅延が生じない。   Also, information that is known at the time the target picture is input, such as whether the number of pictures input in the past unit time from the time when the target picture is input exceeds a threshold calculated from the set frame rate. No delay occurs because judgment is performed using only

なお，本技術は符号化時の情報も利用しないことから，エンコーダとは独立に構成でき，従来のエンコーダをそのまま利用することが可能である。   In addition, since this technique does not use the information at the time of encoding, it can be configured independently from the encoder, and the conventional encoder can be used as it is.

本発明は，入力映像の入力タイミングが一定でなく揺らいでいる場合でも，以下の効果がある。
（１）遅延を増やさずに，エンコーダの演算量の瞬間的な増加を抑えることができる。
（２）遅延を増やさずに，符号化後の映像ビットストリームの情報量の瞬間的な増加を抑えることができる。 The present invention has the following effects even when the input timing of the input video is not constant and fluctuates.
(1) An instantaneous increase in the amount of calculation of the encoder can be suppressed without increasing the delay.
(2) An instantaneous increase in the information amount of the encoded video bitstream can be suppressed without increasing the delay.

本発明の実施例によるピクチャ間引き処理の例を示す図である。It is a figure which shows the example of the picture thinning-out process by the Example of this invention. 本発明の実施形態に係る装置構成図である。It is a device block diagram concerning the embodiment of the present invention. 本発明の実施形態に係るピクチャ間引き判定部のフローチャートである。It is a flowchart of the picture thinning-out determination part which concerns on embodiment of this invention. 本実施形態の装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。It is a figure which shows the structural example of the system in the case of implement | achieving the apparatus of this embodiment using a computer and a software program. 従来技術の構成図である。It is a block diagram of a prior art. 従来技術におけるピクチャ間引き判定部のフローチャートである。It is a flowchart of the picture thinning-out determination part in a prior art. 映像の入力タイミングが揺らぐ例を示す図である。It is a figure which shows the example which the input timing of an image fluctuates.

以下，図面を用いて，本発明の実施形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

エンコーダの処理性能等に基づいて，エンコーダに入力可能なフレームレートＦr と基準となるフレームレート測定間隔Ｔi を設定する。基準フレームレート測定間隔Ｔi に基づき，測定間隔に入力可能な映像ピクチャ枚数ｎを下記に示す式により，あらかじめ計算しておく。 Based on the processing performance of the encoder, the frame rate F r that can be input to the encoder and the reference frame rate measurement interval T i are set. Based on the reference frame rate measurement interval T i , the number of video pictures n that can be input in the measurement interval is calculated in advance by the following formula.

ｎ＝Ｆr ×Ｔi
エンコード開始直後に入力された１〜ｎ枚目の入力映像については間引き対象とせず，間引き処理はｎ枚目より未来の入力映像について行う。 n = F r × T i
The 1st to nth input images input immediately after the start of encoding are not targeted for thinning, and the thinning process is performed for future input images from the nth image.

本発明の実施例によるピクチャ間引き処理の例を，図１に示す。図１の例では，フレームレートＦr および基準フレームレート測定間隔Ｔi は，以下のとおりである。 An example of picture thinning-out processing according to an embodiment of the present invention is shown in FIG. In the example of FIG. 1, the frame rate F r and the reference frame rate measurement interval T i are as follows.

Ｆr ＝０．００６（フレーム／ｍ秒）
Ｔi ＝５００（ｍ秒）
測定間隔Ｔi に入力可能な映像ピクチャ枚数ｎは，ｎ＝０．００６×５００＝３（枚）である。 F r = 0.006 (frame / msec)
T i = 500 (msec)
The number n of video pictures that can be input at the measurement interval T i is n = 0.006 × 500 = 3 (sheets).

以下，各ピクチャが本処理に入力された時刻，すなわちカメラ等のエンコーダ前段から出力された時刻を各ピクチャのタイムスタンプとして打刻し，判定に使用する。ｎ＝３であるので，ピクチャ１〜３は非間引き対象となり，エンコーダへ無条件に入力される。ピクチャ４が入力された時点で，ｎ（＝３）フレーム過去のフレームであるピクチャ１のタイムスタンプが，ピクチャ４が入力された時刻からＴi （＝５００）だけ過去の時刻よりもさらに過去である場合，言い換えると，ピクチャ１のタイムスタンプをｔ１，ピクチャ４のタイムスタンプをｔ４とした場合，下式が成り立つかどうかを判定し，下式が成り立つときにはピクチャ４は間引かない。 Hereinafter, the time when each picture is input to this processing, that is, the time output from the previous stage of the encoder such as a camera, is imprinted as a time stamp of each picture and used for determination. Since n = 3, pictures 1 to 3 are not subject to decimation and are input unconditionally to the encoder. At the time when picture 4 is input, the time stamp of picture 1, which is a frame past n (= 3) frames, is T i (= 500) from the time when picture 4 is input and is past the previous time. In other words, in other words, when the time stamp of picture 1 is t1 and the time stamp of picture 4 is t4, it is determined whether or not the following expression holds, and when the following expression holds, picture 4 is not thinned out.

（ｔ４−ｔ１）＞Ｔi
図１の例の場合，（ｔ４−ｔ１）＞５００であり，これに当てはまる。なお，この判定は，ピクチャ４のタイムスタンプを基点として，単位時間であるフレームレート測定間隔Ｔi だけ過去の時刻との間に入力されたピクチャ枚数が，入力可能な映像ピクチャ枚数ｎを超えているかどうかの判定と等価である。 (T4-t1)> T i
In the case of the example of FIG. 1, (t4-t1)> 500, which is the case. This determination is, as a base point time stamp of the picture 4, the number of pictures which are inputted between the frame rate measurement interval T i only past time is a unit time is greater than the possible video picture number n Equivalent to the determination of whether or not.

ピクチャ５について同様の比較をピクチャ２との間で実施し，Ｔi （＝５００）以内の過去にピクチャ２が存在しないかどうかを判定する。すなわち，下式の判定を行う。 A similar comparison is performed for picture 5 with picture 2 to determine whether picture 2 does not exist in the past within T i (= 500). That is, the following formula is determined.

（ｔ５−ｔ２）＞Ｔi
この例では，（ｔ５−ｔ２）≦５００であるため，ピクチャ５は間引かれる。 (T5-t2)> T i
In this example, since (t5−t2) ≦ 500, picture 5 is thinned out.

次に，ピクチャ６について同様の比較を行うが，比較対象のピクチャを探索する際には間引かれたピクチャをカウントしない。ピクチャ５が間引かれているため，ピクチャ６の比較対象はピクチャ２となる。この例では，（ｔ６−ｔ２）は，５００（ｍ秒）より大きい。このため，ピクチャ６は間引かれない。   Next, the same comparison is performed for the picture 6, but when the picture to be compared is searched, the thinned pictures are not counted. Since the picture 5 is thinned out, the comparison target of the picture 6 is the picture 2. In this example, (t6-t2) is greater than 500 (msec). For this reason, the picture 6 is not thinned out.

図２は，本発明の実施形態に係る装置構成図，図３は，本発明の実施形態に係るピクチャ間引き判定部のフローチャートである。   FIG. 2 is a configuration diagram of an apparatus according to the embodiment of the present invention, and FIG. 3 is a flowchart of a picture thinning determination unit according to the embodiment of the present invention.

図２において，エンコーダ１００は，例えばＨ．２６４等の符号化方式に従って入力映像を符号化し，符号化映像ストリームを出力する装置である。フレームレート制御部１０１は，エンコーダ１００への入力映像のフレームレートを，エンコーダ１００が符号化可能なフレームレートに合うようにピクチャの間引きによって調整する。なお，エンコーダ１００の中に，フレームレート制御部１０１が組み込まれていてもよい。エンコーダ１００の符号化方式は，Ｈ．２６４に限らず，ＭＰＥＧ−２などの他の符号化方式を用いるものでもよい。   In FIG. It is a device that encodes an input video according to an encoding method such as H.264 and outputs an encoded video stream. The frame rate control unit 101 adjusts the frame rate of the input video to the encoder 100 by thinning out pictures so as to match the frame rate that can be encoded by the encoder 100. The frame rate control unit 101 may be incorporated in the encoder 100. The encoding method of the encoder 100 is H.264. Not only H.264 but also other encoding methods such as MPEG-2 may be used.

入力映像のフレームは，まずフレームレート制御部１０１に入力される。タイムスタンプ打刻部１０２は，時刻測定部１０３が測定した時刻に従って，入力フレームにタイムスタンプｔi を打刻する。ピクチャ間引き判定部１０４は，エンコーダ１００が符号化可能なフレームレートＦr と基準となるフレームレート測定間隔Ｔi とから，入力フレームのピクチャを間引くかどうかを判定し，必要ならば入力フレームのピクチャを間引いて，その結果をエンコーダ１００に入力させる。 An input video frame is first input to the frame rate control unit 101. The time stamp stamping unit 102 stamps the time stamp t i on the input frame according to the time measured by the time measuring unit 103. The picture decimation determining unit 104 determines whether to decimate the picture of the input frame from the frame rate F r that can be encoded by the encoder 100 and the reference frame rate measurement interval T i, and if necessary, the picture of the input frame And the result is input to the encoder 100.

エンコーダ１００に入力されたフレームは，ブロックに分割され，動き検出部１０５によって動き検出が行われる。予測部１０６は，検出された動きベクトルによって予測を行う。直交変換部１０７は，入力信号と予測信号との残差信号をＤＣＴ等により直交変換する。量子化部１０８は，変換係数を量子化し，結果を逆量子化部１０９と可変長符号化部１１２へ出力する。逆量子化部１０９は，量子化結果を逆量子化する。逆直交変換部１１０は，変換係数を逆直交変換する。ローカルデコード画像記憶部１１１には，逆直交変換部１１０の出力である残差復号信号と予測部１０６の出力である予測信号とを加算して得られたローカルデコード画像が格納される。このローカルデコード画像は，後の予測符号化における参照画像として用いられる。   The frame input to the encoder 100 is divided into blocks, and motion detection is performed by the motion detection unit 105. The prediction unit 106 performs prediction based on the detected motion vector. The orthogonal transform unit 107 orthogonally transforms the residual signal between the input signal and the prediction signal using DCT or the like. The quantization unit 108 quantizes the transform coefficient, and outputs the result to the inverse quantization unit 109 and the variable length coding unit 112. The inverse quantization unit 109 inversely quantizes the quantization result. The inverse orthogonal transform unit 110 performs inverse orthogonal transform on the transform coefficient. The local decoded image storage unit 111 stores a local decoded image obtained by adding the residual decoded signal output from the inverse orthogonal transform unit 110 and the prediction signal output from the prediction unit 106. This local decoded image is used as a reference image in later predictive coding.

可変長符号化部１１２は，量子化部１０８の出力を可変長符号化する。多重化部１１３は，可変長符号化部１１２の出力や動きベクトル等の符号化情報を多重化し，バッファ部１１４に出力する。バッファ部１１４に格納されたデータは，符号化映像ストリームとして出力される。制御部１１５は，発生符号量等により量子化部１０８その他の符号化制御を行う。以上のエンコーダ１００の構成や動作は，図５で説明した従来のエンコーダ２００と同様である。このエンコーダ１００への入力フレームの間引き調整を行うフレームレート制御部１０１が従来技術と異なる。   The variable length coding unit 112 performs variable length coding on the output of the quantization unit 108. The multiplexing unit 113 multiplexes the encoding information such as the output of the variable length encoding unit 112 and the motion vector, and outputs the multiplexed information to the buffer unit 114. The data stored in the buffer unit 114 is output as an encoded video stream. The control unit 115 performs encoding control of the quantization unit 108 and others according to the generated code amount and the like. The configuration and operation of the encoder 100 described above are the same as those of the conventional encoder 200 described with reference to FIG. A frame rate control unit 101 that performs decimation adjustment of an input frame to the encoder 100 is different from the conventional technique.

本実施形態に係るピクチャ間引き判定部１０４の処理の流れを，図３に従って説明する。   A processing flow of the picture thinning determination unit 104 according to the present embodiment will be described with reference to FIG.

ピクチャ間引き判定部１０４は，まず，エンコーダ１００が符号化可能なフレームレート（入力可能フレームレート）Ｆr と基準となるフレームレート測定間隔Ｔi とを設定し（ステップＳ１００），入力ピクチャｉのタイムスタンプをｔi とする（ステップＳ１０１）。次に，入力可能な映像ピクチャ枚数ｎを，ｎ＝Ｆr ×Ｔｉから算出し，ピクチャ番号ｉを１に設定し，ピクチャ間引き数ｄを０に設定する（ステップＳ１０２）。以後，各ピクチャごとに以下の処理を繰り返す。 The picture decimation determining unit 104 first sets a frame rate (inputtable frame rate) F r that can be encoded by the encoder 100 and a reference frame rate measurement interval T i (step S100), and sets the time of the input picture i. Let the stamp be t i (step S101). Next, the number n of video pictures that can be input is calculated from n = F r × Ti, the picture number i is set to 1, and the picture decimation number d is set to 0 (step S102). Thereafter, the following processing is repeated for each picture.

ピクチャ番号ｉが入力可能な映像ピクチャ枚数ｎ以下であれば，ピクチャ間引き処理を行わないで，ピクチャをエンコーダ１００に入力させる（ステップＳ１０３，Ｓ１０７）。ピクチャ番号ｉが入力可能な映像ピクチャ枚数ｎより大きくなったならば，判定対象ピクチャｉのタイムスタンプｔi と，入力可能な映像ピクチャ枚数ｎおよびピクチャ間引き数ｄから決定される（ｎ＋ｄ）だけ過去のピクチャにおけるタイムスタンプｔ(i-n-d) との差分値が，基準となるフレームレート測定間隔Ｔi を超えているかどうかを判定する（ステップＳ１０４）。この判定方法は，ピクチャ番号ｉのピクチャ（ピクチャｉ）のタイムスタンプｔi を基点として，単位時間であるフレームレート測定間隔Ｔi だけ過去の時刻との間に，入力されたピクチャ枚数が入力可能な映像ピクチャ枚数ｎを超えているかどうかの判定と等価である。 If the picture number i is less than or equal to the number of video pictures that can be input n, the picture is input to the encoder 100 without performing the picture thinning process (steps S103 and S107). If the picture number i is larger than the number of video pictures n that can be input, the past is determined by (n + d) determined from the time stamp t i of the picture i to be judged, the number of video pictures n that can be input, and the picture thinning-out number d. It is determined whether or not the difference value from the time stamp t (ind) in the picture exceeds the reference frame rate measurement interval T i (step S104). This determination method, as a base point time stamp t i of the picture number i of the picture (picture i), between the frame rate measurement interval T i only past time is a unit time, the entered number of pictures can be input This is equivalent to determining whether or not the number of video pictures n is exceeded.

タイムスタンプの差分値ｔi −ｔ(i-n-d) が，フレームレート測定間隔Ｔi 以下であれば，間引きピクチャ数ｄに１を加算した後（ステップＳ１０５），そのピクチャｉを間引いて廃棄する（ステップＳ１０６）。一方，タイムスタンプの差分値ｔi −ｔ(i-n-d) が，フレームレート測定間隔Ｔi より大きければ，エンコーダ１００でそのピクチャｉを符号化可能であるので，ピクチャｉをエンコーダ１００に入力させる。 If the difference value t i −t (ind) of the time stamp is equal to or less than the frame rate measurement interval T i , 1 is added to the number d of thinned pictures (step S105), and then the picture i is thinned and discarded (step S105). S106). On the other hand, if the difference value t i −t (ind) of the time stamp is larger than the frame rate measurement interval T i , the picture i can be encoded by the encoder 100, so that the picture i is input to the encoder 100.

全映像の処理が完了するまで（ステップＳ１０８），ｉに１を加算しながら（ステップＳ１０９），以上のステップＳ１０３〜Ｓ１０９を繰り返す。   Until the processing of all the images is completed (step S108), the above steps S103 to S109 are repeated while adding 1 to i (step S109).

以上説明したフレームレート制御およびエンコーダによる符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。   The frame rate control described above and the encoding process by the encoder can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network. It is.

図４に，図２に示す装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，カメラ等からの符号化対象の映像信号を入力する映像信号入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と，映像符号化プログラム５３１およびフレームレート制御プログラム５３２を記憶するプログラム記憶装置５３と，符号化映像ストリーム出力部５４（ディスク装置等による符号化映像ストリームを記憶する記憶部でもよい）とが，バスで接続された構成になっている。   FIG. 4 shows an example of a hardware configuration when the apparatus shown in FIG. 2 is configured by a computer and a software program. This system includes a CPU 50 that executes a program, a memory 51 such as a RAM that stores programs and data accessed by the CPU 50, and a video signal input unit 52 that inputs a video signal to be encoded from a camera or the like (disk device). A program storage device 53 for storing a video encoding program 531 and a frame rate control program 532, and an encoded video stream output unit 54 (an encoded video stream by a disk device or the like). May be a storage unit that stores the data).

ＣＰＵ５０は，プログラム記憶装置５３からメモリ５１にロードされた映像符号化プログラム５３１およびフレームレート制御プログラム５３２を実行することにより，映像信号入力部５２により入力された入力映像信号を符号化し，符号化結果の符号化映像ストリームを，符号化映像ストリーム出力部５４を介してネットワーク等に出力する。映像符号化プログラム５３１は，図２のエンコーダ１００の機能を実現するプログラムであり，フレームレート制御プログラム５３２は，図２のフレームレート制御部１０１の機能を実現するプログラムである。なお，フレームレート制御プログラム５３２を，映像符号化プログラム５３１の一部として映像符号化プログラム５３１内に組み込んでもよい。   The CPU 50 executes the video encoding program 531 and the frame rate control program 532 loaded from the program storage device 53 to the memory 51, thereby encoding the input video signal input by the video signal input unit 52 and encoding results. The encoded video stream is output to a network or the like via the encoded video stream output unit 54. The video encoding program 531 is a program that realizes the function of the encoder 100 in FIG. 2, and the frame rate control program 532 is a program that realizes the function of the frame rate control unit 101 in FIG. The frame rate control program 532 may be incorporated in the video encoding program 531 as part of the video encoding program 531.

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。   The embodiments of the present invention have been described above with reference to the drawings. However, the above embodiments are merely examples of the present invention, and it is obvious that the present invention is not limited to the above embodiments. is there. Accordingly, additions, omissions, substitutions, and other modifications of the components may be made without departing from the spirit and technical scope of the present invention.

１００ エンコーダ
１０１ フレームレート制御部
１０２ タイムスタンプ打刻部
１０３ 時刻測定部
１０４ ピクチャ間引き判定部
１０５ 動き検出部
１０６ 予測部
１０７ 直交変換部
１０８ 量子化部
１０９ 逆量子化部
１１０ 逆直交変換部
１１１ ローカルデコード画像記憶部
１１２ 可変長符号化部
１１３ 多重化部
１１４ バッファ部
１１５ 制御部 DESCRIPTION OF SYMBOLS 100 Encoder 101 Frame rate control part 102 Time stamp stamping part 103 Time measurement part 104 Picture thinning determination part 105 Motion detection part 106 Prediction part 107 Orthogonal transformation part 108 Quantization part 109 Inverse quantization part 110 Inverse orthogonal transformation part 111 Local decoding Image storage unit 112 Variable length encoding unit 113 Multiplexing unit 114 Buffer unit 115 Control unit

Claims (3)

入力映像のフレームレートをエンコーダが符号化可能なフレームレートに調整するフレームレート制御方法であって，
基準となるフレームレート測定間隔Ｔ i を設定する過程と，
間引きの判定対象ピクチャが入力された時刻から所定の時間だけ過去の間に入力されたピクチャ枚数が所定の閾値を超えているかどうかを判定する過程であって，前記判定対象ピクチャのタイムスタンプｔi と，前記所定の時間である前記フレームレート測定間隔Ｔi 内に前記エンコーダで符号化可能なピクチャ枚数ｎおよびピクチャ間引き数ｄから決定される（ｎ＋ｄ）だけ過去のピクチャにおけるタイムスタンプｔ(i-n-d) との差分値が，前記フレームレート測定間隔Ｔi を超えているかどうかにより，前記入力されたピクチャ枚数が前記所定の閾値を超えているかどうかを判定する過程と，
前記判定対象ピクチャが１〜ｎ枚目の入力映像ピクチャではなく且つ前記ピクチャ枚数が前記閾値を超えている場合には前記判定対象ピクチャを廃棄し，前記判定対象ピクチャが前記１〜ｎ枚目の入力映像ピクチャであるか又は前記ピクチャ枚数が前記閾値を超えていない場合には前記判定対象ピクチャを符号化対象とする過程と
を有するフレームレート制御方法。 A frame rate control method for adjusting a frame rate of an input video to a frame rate that can be encoded by an encoder,
A process of setting a reference frame rate measurement interval T i ;
A process of determining whether or not the number of pictures that have been input in the past for a predetermined time from the input time of the thinning determination target picture exceeds a predetermined threshold value, the time stamp t i of the determination target picture When the determined from a predetermined time at which the frame rate measurement interval T i encodable picture number n and the picture decimation number in the encoder in the d (n + d) only time in a past picture stamp t (ind) a process determining difference values, depending on whether it exceeds the frame rate measurement interval T i, whether the inputted picture number exceeds the predetermined threshold and,
If the determination target picture is not the first to nth input video pictures and the number of pictures exceeds the threshold value, the determination target picture is discarded, and the determination target picture is the first to nth image frame rate control method that have a the steps of the determination target picture and coded if or the picture number is an input video picture does not exceed the threshold value. 入力映像のフレームレートをエンコーダが符号化可能なフレームレートに調整するフレームレート制御装置であって，
基準となるフレームレート測定間隔Ｔ i を設定する設定部と，
間引きの判定対象ピクチャが入力された時刻から所定の時間だけ過去の間に入力されたピクチャ枚数が所定の閾値を超えているかどうかを判定する判定部であって，前記判定対象ピクチャのタイムスタンプｔ i と，前記所定の時間である前記フレームレート測定間隔Ｔ i 内に前記エンコーダで符号化可能なピクチャ枚数ｎおよびピクチャ間引き数ｄから決定される（ｎ＋ｄ）だけ過去のピクチャにおけるタイムスタンプｔ (i-n-d) との差分値が，前記フレームレート測定間隔Ｔ i を超えているかどうかにより，前記入力されたピクチャ枚数が前記所定の閾値を超えているかどうかを判定する判定部と，
前記判定対象ピクチャが１〜ｎ枚目の入力映像ピクチャではなく且つ前記ピクチャ枚数が前記閾値を超えている場合には前記判定対象ピクチャを廃棄し，前記判定対象ピクチャが前記１〜ｎ枚目の入力映像ピクチャであるか又は前記ピクチャ枚数が前記閾値を超えていない場合には前記判定対象ピクチャを符号化対象とする間引き部と
を備えるフレームレート制御装置。 A frame rate control device for adjusting a frame rate of an input video to a frame rate that can be encoded by an encoder,
A setting unit for setting a reference frame rate measurement interval T i ;
A determination unit that determines whether or not the number of pictures that have been input in the past for a predetermined time from a time when the determination target picture is input exceeds a predetermined threshold value, the time stamp t of the determination target picture i and a time stamp t (ind ) of the past picture determined by (n + d), which is determined from the number n of pictures that can be encoded by the encoder and the picture thinning number d within the frame rate measurement interval T i that is the predetermined time. A determination unit that determines whether or not the number of input pictures exceeds the predetermined threshold depending on whether or not a difference value from the frame rate measurement interval T i exceeds
If the determination target picture is not the first to nth input video pictures and the number of pictures exceeds the threshold value, the determination target picture is discarded, and the determination target picture is the first to nth image the determination target picture frame rate controller Ru and a thinning unit to be encoded and if or the picture number is an input video picture does not exceed the threshold value. 請求項１記載のフレームレート制御方法を，コンピュータに実行させるためのフレームレート制御プログラム。 A frame rate control program for causing a computer to execute the frame rate control method according to claim 1 .
JP2012013773A 2012-01-26 2012-01-26 Frame rate control method, frame rate control device, and frame rate control program Active JP5843631B2 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2012013773A JP5843631B2 (en) 2012-01-26 2012-01-26 Frame rate control method, frame rate control device, and frame rate control program
CN201380005516.9A CN104471936B (en) 2012-01-26 2013-01-21 Frame rate control method and frame per second control device
US14/365,892 US9712827B2 (en) 2012-01-26 2013-01-21 Frame rate control method and apparatus for encoding image based on threshold value
RU2014129008A RU2014129008A (en) 2012-01-26 2013-01-21 FRAME MANAGEMENT METHOD, FRAME MANAGEMENT DEVICE AND FRAME MANAGEMENT PROGRAM
EP13740874.6A EP2779645A4 (en) 2012-01-26 2013-01-21 Frame rate control method, frame rate control device, and frame rate control program
BR112014017565A BR112014017565A8 (en) 2012-01-26 2013-01-21 frame rate control method, frame rate control apparatus, and frame rate control program
CA2859631A CA2859631A1 (en) 2012-01-26 2013-01-21 Frame rate control method, frame rate control apparatus, and frame rate control program
PCT/JP2013/051072 WO2013111701A1 (en) 2012-01-26 2013-01-21 Frame rate control method, frame rate control device, and frame rate control program
KR1020147017401A KR101659514B1 (en) 2012-01-26 2013-01-21 Frame rate control method, frame rate control device, and frame rate control program
TW102102597A TWI536846B (en) 2012-01-26 2013-01-24 Frame rate control method, frame rate control apparatus, and frame rate control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012013773A JP5843631B2 (en) 2012-01-26 2012-01-26 Frame rate control method, frame rate control device, and frame rate control program

Publications (2)

Publication Number Publication Date
JP2013153366A JP2013153366A (en) 2013-08-08
JP5843631B2 true JP5843631B2 (en) 2016-01-13

Family

ID=48873421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012013773A Active JP5843631B2 (en) 2012-01-26 2012-01-26 Frame rate control method, frame rate control device, and frame rate control program

Country Status (10)

Country Link
US (1) US9712827B2 (en)
EP (1) EP2779645A4 (en)
JP (1) JP5843631B2 (en)
KR (1) KR101659514B1 (en)
CN (1) CN104471936B (en)
BR (1) BR112014017565A8 (en)
CA (1) CA2859631A1 (en)
RU (1) RU2014129008A (en)
TW (1) TWI536846B (en)
WO (1) WO2013111701A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425615B2 (en) 2017-05-10 2019-09-24 Mediatek Inc. Apparatuses and methods for dynamic frame rate adjustment
JP7208531B2 (en) * 2019-05-31 2023-01-19 日本電信電話株式会社 Synchronization control device, synchronization control method and synchronization control program
CN111741305B (en) * 2020-08-27 2020-11-24 科大讯飞(苏州)科技有限公司 Video coding method and device, electronic equipment and readable storage medium
CN112423072A (en) * 2020-09-02 2021-02-26 上海幻电信息科技有限公司 Video pushing method and system in live scene
CN114040247A (en) * 2021-11-09 2022-02-11 新智认知数据服务有限公司 Network video stream processing method, electronic equipment and computer readable storage medium

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603931B2 (en) * 1987-02-04 1997-04-23 株式会社東芝 Image transmission device
EP0720383B1 (en) * 1994-12-30 2000-09-13 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
US6212232B1 (en) * 1998-06-18 2001-04-03 Compaq Computer Corporation Rate control and bit allocation for low bit rate video communication applications
JP4069524B2 (en) * 1998-11-10 2008-04-02 ソニー株式会社 Transmission method and apparatus
JP3324556B2 (en) * 1999-04-13 2002-09-17 日本電気株式会社 Video recording method
JP2001346216A (en) * 2000-06-06 2001-12-14 Toshiba Corp Moving picture compression method and information processor
KR100341063B1 (en) * 2000-06-28 2002-06-20 송문섭 Rate control apparatus and method for real-time video communication
JP2002125226A (en) * 2000-10-17 2002-04-26 Matsushita Electric Ind Co Ltd Frame rate control method and image transmitter
JP3823044B2 (en) * 2001-10-31 2006-09-20 パナソニック モバイルコミュニケーションズ株式会社 Time stamp value controller
KR100468726B1 (en) * 2002-04-18 2005-01-29 삼성전자주식회사 Apparatus and method for performing variable bit rate control in real time
KR100484148B1 (en) * 2002-07-27 2005-04-18 삼성전자주식회사 Advanced method for rate control and apparatus thereof
US7133448B2 (en) * 2002-11-07 2006-11-07 Silicon Integrated Systems Corp. Method and apparatus for rate control in moving picture video compression
US8054880B2 (en) * 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
WO2005011255A2 (en) * 2003-06-26 2005-02-03 Thomson Licensing S.A. Multipass video rate control to match sliding window channel constraints
KR100505699B1 (en) * 2003-08-12 2005-08-03 삼성전자주식회사 Encoding rate controller of video encoder providing for qualitative display using real time variable bit-rate control, video data transmission system having it and method thereof
KR100594056B1 (en) * 2003-09-01 2006-07-03 삼성전자주식회사 H.263/MPEG Video Encoder for Effective Bits Rate Control and Its Control Method
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
JP3846490B2 (en) * 2004-05-17 2006-11-15 セイコーエプソン株式会社 Image data compression apparatus, electronic device, and image data compression method
CN101189882B (en) 2004-07-20 2012-08-01 高通股份有限公司 Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
JP4040052B2 (en) 2005-05-24 2008-01-30 株式会社日立国際電気 Image data compression device
JP2006352529A (en) * 2005-06-16 2006-12-28 Olympus Corp Imaging apparatus
JP4623650B2 (en) * 2005-09-06 2011-02-02 パナソニック株式会社 Moving picture coding apparatus and moving picture coding method
US20080151998A1 (en) * 2006-12-21 2008-06-26 General Instrument Corporation Method and Apparatus for Providing Rate Control for Panel-Based Real Time Video Encoder
US8396118B2 (en) * 2007-03-19 2013-03-12 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
WO2008129648A1 (en) 2007-04-13 2008-10-30 Mitsubishi Electric Corporation Frame rate converting apparatus, frame rate converting method and moving image encoding apparatus
CN101072339B (en) 2007-06-12 2010-06-09 北京中星微电子有限公司 Method and system for controlling play frame rate synchronization
US8295344B2 (en) * 2007-10-22 2012-10-23 Broadcom Corporation Adaptive rate control for encoding of variable frame rate video sources
CN100589570C (en) 2008-01-08 2010-02-10 北京中星微电子有限公司 A frame rate control method and device
CN102138327B (en) * 2009-06-23 2014-09-24 松下电器产业株式会社 Moving image encoding method, moving image encoding device, and integrated circuit
US8902995B2 (en) * 2009-07-02 2014-12-02 Qualcomm Incorporated Transmitter quieting and reduced rate encoding
JP2012242821A (en) * 2011-05-16 2012-12-10 Sony Mobile Communications Inc Display image generation method

Also Published As

Publication number Publication date
RU2014129008A (en) 2016-03-20
JP2013153366A (en) 2013-08-08
CA2859631A1 (en) 2013-08-01
KR20140098197A (en) 2014-08-07
US9712827B2 (en) 2017-07-18
CN104471936A (en) 2015-03-25
BR112014017565A2 (en) 2017-06-13
BR112014017565A8 (en) 2017-07-04
TWI536846B (en) 2016-06-01
KR101659514B1 (en) 2016-09-23
WO2013111701A1 (en) 2013-08-01
TW201338546A (en) 2013-09-16
EP2779645A1 (en) 2014-09-17
US20140341279A1 (en) 2014-11-20
CN104471936B (en) 2018-01-09
EP2779645A4 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
JP5843631B2 (en) Frame rate control method, frame rate control device, and frame rate control program
JP5218784B2 (en) Image quality evaluation system, apparatus, method and program used therefor
JP2004215257A (en) Advanced dct-based video encoding method and apparatus
JP2009530892A (en) Method and apparatus for adapting temporal frequency of video image sequences
US7956898B2 (en) Digital image stabilization method
KR20050012782A (en) A method and system for optimizing image sharpness during coding
JP2004215275A (en) Motion compensation based improved noise prediction method and apparatus, and moving image encoding method and apparatus using the same
US8111753B2 (en) Video encoding method and video encoder for improving performance
KR100797396B1 (en) Method and device for controlling transcoding bit-rate using complexity of macroblock
KR101035746B1 (en) Method of distributed motion estimation for video encoder and video decoder
JP2008283401A (en) Image processing device and method thereof
WO2007145137A1 (en) Image coding device and image coding method
KR20130032807A (en) Method and apparatus for encoding a moving picture
JP5741073B2 (en) Image encoding apparatus, image encoding method, and image encoding program
JP2009206737A (en) Data processor and control method thereof
JP2008182408A (en) Dynamic image encoder and dynamic image encoding method
US7065139B2 (en) Video encoding method and video encoder for improving performance
US20170064337A1 (en) Image processing device, recording medium, and image processing method
EP3016389A1 (en) Video coding device, video decoding device, video system, video coding method, video decoding method, and program
WO2010035378A1 (en) Image encoding device, image encoding method, and imaging system
JP2018011188A (en) Image processing device and image processing method
KR20070056229A (en) Video encoder and region of interest detecting method thereof
JP2007158804A (en) Code amount controller, code amount control method and code amount control program
JP2007329787A (en) Image encoding apparatus
JP5482474B2 (en) Encoding device and encoding program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151117

R150 Certificate of patent or registration of utility model

Ref document number: 5843631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150