JP2022070859A - Video compression method - Google Patents
Video compression method Download PDFInfo
- Publication number
- JP2022070859A JP2022070859A JP2022006852A JP2022006852A JP2022070859A JP 2022070859 A JP2022070859 A JP 2022070859A JP 2022006852 A JP2022006852 A JP 2022006852A JP 2022006852 A JP2022006852 A JP 2022006852A JP 2022070859 A JP2022070859 A JP 2022070859A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- compressed
- frames
- moving image
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006835 compression Effects 0.000 title claims abstract description 35
- 238000007906 compression Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003068 static effect Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、動画圧縮方法に関する。 The present invention relates to a moving image compression method.
複数の被圧縮フレーム(静止画)を含む被圧縮動画の情報量を圧縮する動画圧縮方法が知られている。 A moving image compression method for compressing the amount of information of a compressed moving image including a plurality of compressed frames (still images) is known.
例えば、図13に例示する通り、情報量が圧縮されていない動画は、複数のIフレーム(Intra-Picture)を含む。Iフレームは、動画中の1フレームを独立して再現可能なフレームであり、動画中のフレームの画像情報を全て含んでいる。 For example, as illustrated in FIG. 13, a moving image in which the amount of information is not compressed includes a plurality of I frames (Intra-Picture). The I frame is a frame that can independently reproduce one frame in the moving image, and includes all the image information of the frames in the moving image.
図14に例示する通り、従来の動画圧縮方法によって圧縮された動画は、一定の間隔で配置された複数のIフレーム及びこれらIフレームの間にそれぞれ配置された複数のPフレーム(Predictive-Picture)を含む。Pフレームは、直前のIフレームを参照して動画中の1フレームを再現可能なフレームであり、被圧縮フレームと、この被圧縮フレームに対応する予測フレームとの差分の画像情報を含んでいる。Pフレームは、この様な差分の画像情報のみを含むため、Iフレームよりも情報量が少ない。従って、図14に例示された動画は、図13に例示された動画よりも情報量が少ない。 As illustrated in FIG. 14, a moving image compressed by a conventional moving image compression method has a plurality of I frames arranged at regular intervals and a plurality of P frames (Predictive-Picture) arranged between these I frames. including. The P frame is a frame that can reproduce one frame in the moving image with reference to the immediately preceding I frame, and includes image information of the difference between the compressed frame and the predicted frame corresponding to the compressed frame. Since the P frame contains only the image information of such a difference, the amount of information is smaller than that of the I frame. Therefore, the moving image illustrated in FIG. 14 has a smaller amount of information than the moving image illustrated in FIG.
図15に例示する通り、従来の動画圧縮方法によって更に圧縮された動画は、GOP(Group Of Pictures)と呼ばれる複数のフレーム群に分割されており、一つのGOPに、一のIフレーム、一定の間隔で配置された複数のPフレーム、及び、これらIフレーム及びPフレームの間に配置された複数のBフレーム(Bi-directionally Predictive-Picture)を含む。Bフレームは、このBフレームの前後に位置するIフレーム及びPフレームを参照して動画中の1フレームを再現可能なフレームであり、動画中のフレームと予測フレームとの差分の画像情報を含んでいる。Bフレームの生成に際しては、直前のIフレームだけでなく、Bフレームの前後に位置するPフレームをも参照して予測画像が生成される。従って、Pフレームの生成に際して行われる予測よりも予測の精度が高くなり、予測フレームと被圧縮フレームとの差分はPフレームよりも少なくなる。このため、この差分に基づいて生成されるBフレームは、Pフレームよりも情報量が少ない。従って、図15に例示されたGOPは、図14に例示されたフレーム群よりも更に情報量が少ない。 As illustrated in FIG. 15, the moving image further compressed by the conventional moving image compression method is divided into a plurality of frame groups called GOP (Group Of Pictures), and one GOP has one I frame and a constant value. It includes a plurality of P frames arranged at intervals, and a plurality of B frames (Bi-directionally Predictive-Picture) arranged between these I frames and P frames. The B frame is a frame that can reproduce one frame in the moving image by referring to the I frame and the P frame located before and after the B frame, and includes the image information of the difference between the frame in the moving image and the predicted frame. There is. When generating the B frame, the predicted image is generated by referring not only to the immediately preceding I frame but also to the P frames located before and after the B frame. Therefore, the accuracy of the prediction is higher than the prediction performed when the P frame is generated, and the difference between the predicted frame and the compressed frame is smaller than that of the P frame. Therefore, the B frame generated based on this difference has a smaller amount of information than the P frame. Therefore, the GOP exemplified in FIG. 15 has a smaller amount of information than the frame group exemplified in FIG.
しかしながら、近年の動画における高画質化等に伴うデータ量の増大や、インターネット上で流通するデータ量の増大等に伴い、情報量の更なる圧縮が求められている。 However, with the increase in the amount of data due to the improvement in image quality in moving images in recent years and the increase in the amount of data distributed on the Internet, further reduction in the amount of information is required.
そこで、本発明は、この様な課題に鑑み、情報量を効率良く圧縮可能な動画圧縮方法を提供することを目的とする。 Therefore, in view of such a problem, it is an object of the present invention to provide a moving image compression method capable of efficiently compressing an amount of information.
以上の目的を達成するため、本発明に係る動画圧縮方法は、複数の被圧縮フレームを含む被圧縮動画の情報量を圧縮する。また、この動画圧縮方法は、被圧縮動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、複数の被圧縮フレームからIフレームを抽出し、動的オブジェクトの画像の変化量が閾値以上となる被圧縮フレームを検出し、この被圧縮フレームに基づいてPフレームを生成し、IフレームとPフレームの間の1以上の被圧縮フレームそれぞれに基づいて1以上のBフレームを生成する。 In order to achieve the above object, the moving image compression method according to the present invention compresses the amount of information of the compressed moving image including a plurality of compressed frames. In addition, this video compression method separates each of a plurality of objects in the compressed video into a static object and a dynamic object, extracts an I frame from the multiple compressed frames, and changes the image of the dynamic object. A compressed frame that exceeds the threshold is detected, a P frame is generated based on this compressed frame, and one or more B frames are generated based on each one or more compressed frames between the I frame and the P frame. ..
この様な方法においては、一定の間隔でPフレームを配置するのではなく、被圧縮動画中の動的オブジェクトの画像の変化量が閾値以上となるフレームを検出することにより、Pフレームが必要なフレームにのみ適切にPフレームが配置される。また、IフレームとPフレームの間の1以上の被圧縮フレームそれぞれに基づいて1以上のBフレームを生成することにより、従来はPフレームが配置されていたようなフレームにもBフレームが配置され、Pフレームの数が削減される。ここで上述の通り、Bフレームは、Pフレームよりも情報量が少ない。従って、本発明に係る画像圧縮方法によれば、従来の画像圧縮方法よりも更に情報量が圧縮される。 In such a method, P-frames are required by detecting frames in which the amount of change in the image of the dynamic object in the compressed moving image is equal to or more than the threshold value, instead of arranging P-frames at regular intervals. The P frame is properly arranged only in the frame. Further, by generating one or more B frames based on each of one or more compressed frames between the I frame and the P frame, the B frame is arranged in the frame in which the P frame was conventionally arranged. , The number of P frames is reduced. Here, as described above, the B frame has a smaller amount of information than the P frame. Therefore, according to the image compression method according to the present invention, the amount of information is further compressed as compared with the conventional image compression method.
以上の様に、本発明によれば、情報量を効率良く圧縮可能な動画圧縮方法を提供することが出来る。 As described above, according to the present invention, it is possible to provide a moving image compression method capable of efficiently compressing the amount of information.
次に、図面を参照し、本発明の実施形態について説明する。尚、以下の説明は例示的なものであり、詳細については適宜変更可能である。 Next, an embodiment of the present invention will be described with reference to the drawings. The following description is an example, and the details can be changed as appropriate.
まず、図1を参照して、本実施形態に係る動画圧縮装置100について説明する。動画圧縮装置100は、被圧縮動画200の情報量を圧縮して圧縮動画300を生成するものであり、被圧縮動画200に分割処理を行って複数の被圧縮フレーム(静止画)からなる被圧縮フレーム群を複数出力する分割処理装置110と、この被圧縮フレーム群に圧縮処理を施してGOPを複数出力する並列分散圧縮処理装置120と、この複数のGOPを統合して圧縮動画を生成する統合処理装置130と、を備える。尚、ここで言う被圧縮動画200は、図13に例示した様な非圧縮動画でも良く、図14や図15に例示した様な、圧縮済みの動画であっても良い。また、動画圧縮装置100中の各構成は、装置や電子回路等によって実現されても良いし、CPUやGPU及びソフトウェア等によって実現されても良い。
First, the moving
尚、並列分散圧縮処理装置120は、後述の通り、被圧縮フレーム群毎にオブジェクトの動きを検出し、時間軸方向にも圧縮処理を行う。
As will be described later, the parallel distributed
次に、図2~図11を参照して、本発明の実施形態に係る動画圧縮方法について説明する。 Next, the moving image compression method according to the embodiment of the present invention will be described with reference to FIGS. 2 to 11.
分割処理装置110は、被圧縮動画200を読み込む(ステップS101)。図3に示す通り、被圧縮動画200は、複数の被圧縮フレーム210を含む。
The
次に、分割処理装置110は、被圧縮動画200のシーンの切り換え等を検出し、被圧縮動画200をシーンごとに分割して、複数の被圧縮フレーム群を生成する(ステップS102)。シーンの切り換えの検出は、例えば、背景や登場人物等のオブジェクトの切り換え等、画面が大きく変化する瞬間を検出することによって行われる。また、分割処理装置110は、被圧縮フレーム群毎に複数の被圧縮フレーム210を出力する。
Next, the
次に、並列分散圧縮処理装置120は、被圧縮フレーム群毎に静的オブジェクト及び動的オブジェクトの分離を行う(ステップS103)。例えば図4に例示する被圧縮フレームには、飛行機320と、背景330とが表示されている。以下、飛行機320の様に背景に対して相対的に動くものを「動的オブジェクト」と、ビル、道路、地面及び空等の用に背景330に対して固定されたものを「静的オブジェクト」と呼ぶ。静的オブジェクト及び動的オブジェクトの分離に際しては、例えば、被圧縮フレーム群にモーション・トラッキング等の処理を行い、被圧縮フレーム群中のオブジェクトのうち、所定の閾値よりも動きの少ないものを静的オブジェクトと、この所定の閾値よりも動きの大きいものを動的オブジェクトとして、フレーム群から分離する。例えば、図4に例示した様な、動的オブジェクトの移動前の被圧縮フレーム210と、図5に例示した様な、動的オブジェクトの移動後の被圧縮フレーム210とを比較して、飛行機320を動的オブジェクトと、それ以外の背景330を静的オブジェクトとして分離する。図6は、動的オブジェクトとして分離された飛行機320の画像を例示する。
Next, the parallel distributed
次に、並列分散圧縮処理装置120は、Iフレーム(Intra-Picture)の抽出を行う(ステップS104)。Iフレームは、動画中の1フレームを独立して再現可能なフレームであり、図4に例示する通り、動画中のフレームの画像情報を全て含んでいる。例えば、図7に示す通り、被圧縮フレーム群の先頭に位置する被圧縮フレーム210はIフレームとして抽出され、出力される。
Next, the parallel distributed
次に、並列分散圧縮処理装置120は、Pフレーム(Predictive-Picture)を生成する(ステップS105)。Pフレームは、直前のIフレームを参照して動画中の1フレームを再現可能なフレームであり、図8に例示する通り、動画中のフレームと予測フレームとの差分の画像情報を含んでいる。Pフレームの生成に際しては、例えばまず、ステップS103において分離した動的オブジェクトの画像の変化量が閾値以上となる被圧縮フレームを検出する(図7参照)。次に、例えばこの検出された被圧縮フレームの、この直前に位置するIフレームからの動きベクトルを算出し、Iフレーム及び動きベクトルから予測フレームを生成する。次に、検出された被圧縮フレームと生成された予測フレームとの差分の画像情報を生成し、これをPフレームとして出力する。尚、動的オブジェクトの画像の変化量は、種々の態様で定義されうる。例えば、動的オブジェクトの移動量、移動方向、傾き、変形、出現や消滅等が考えられる。また、この様な変化量に対する閾値も、種々の態様で定義され得る。
Next, the parallel distributed
次に、並列分散圧縮処理装置120は、Bフレーム(Bi-directionally Predictive-Picture)を生成する(ステップS106)。Bフレームは、このBフレームの前後に位置するIフレーム及びPフレームを参照して動画中の1フレームを再現可能なフレームであり、図9に例示する通り、動画中のフレームと予測フレームとの差分の画像情報を含んでいる。Bフレームの生成に際しては、例えばまず、IフレームとPフレームの間の被圧縮フレームを選択する(図7参照)。次に、この選択された被圧縮フレームの前後に位置するIフレーム及びPフレームの変化に応じて、選択された被圧縮フレームの動きベクトルを算出する。次に、これらIフレーム、Pフレーム及び動きベクトルから予測フレームを生成する。次に、選択された被圧縮フレームと生成された予測フレームとの差分の画像情報を生成し、これをBフレームとして出力する。
Next, the parallel distributed
次に、統合処理装置130は、出力されたIフレーム、Bフレーム及びPフレームをGOPとして統合し(図10参照)、更に複数のGOPを統合して圧縮動画300を生成して(図11参照)、出力する。尚、図11の例において、Pフレームは一定の間隔には並んでいない。
Next, the
この様な方法においては、一定の間隔でPフレームを配置するのではなく、被圧縮動画中の動的オブジェクトの画像の変化量が閾値以上となるフレームを検出することにより、Pフレームが必要なフレームにのみ適切にPフレームが配置される。また、IフレームとPフレームの間の1以上の被圧縮フレームそれぞれに基づいて1以上のBフレームを生成することにより、従来はPフレームが配置されていたようなフレームにもBフレームが配置され、Pフレームの数が削減される。ここで上述の通り、Bフレームは、Pフレームよりも情報量が少ない。従って、本実施形態に係る画像圧縮方法によれば、従来の画像圧縮方法よりも更に情報量が圧縮される。 In such a method, P-frames are required by detecting frames in which the amount of change in the image of the dynamic object in the compressed moving image is equal to or more than the threshold value, instead of arranging P-frames at regular intervals. The P frame is properly arranged only in the frame. Further, by generating one or more B frames based on each of one or more compressed frames between the I frame and the P frame, the B frame is arranged in the frame in which the P frame was conventionally arranged. , The number of P frames is reduced. Here, as described above, the B frame has a smaller amount of information than the P frame. Therefore, according to the image compression method according to the present embodiment, the amount of information is further compressed as compared with the conventional image compression method.
100…動画圧縮装置、110…分割処理装置、120…並列分散圧縮処理装置、130…統合処理装置、200…圧縮動画、310…フレーム、320…飛行機、330…背景。 100 ... video compression device, 110 ... division processing device, 120 ... parallel distributed compression processing device, 130 ... integrated processing device, 200 ... compressed video, 310 ... frame, 320 ... airplane, 330 ... background.
Claims (1)
前記被圧縮動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
前記複数の被圧縮フレームからIフレームを抽出し、
前記動的オブジェクトの画像の変化量が閾値以上となる前記被圧縮フレームを検出し、この被圧縮フレームに基づいてPフレームを生成し、
前記Iフレームと前記Pフレームの間の1以上の前記被圧縮フレームそれぞれに基づいて1以上のBフレームを生成する
ことを特徴とする動画圧縮方法。
A video compression method that compresses the amount of information in a compressed video that includes multiple compressed frames.
Each of the plurality of objects in the compressed video is separated into a static object and a dynamic object.
I-frames are extracted from the plurality of compressed frames.
The compressed frame in which the amount of change in the image of the dynamic object is equal to or greater than the threshold value is detected, and a P frame is generated based on the compressed frame.
A moving image compression method comprising generating one or more B frames based on each of the one or more compressed frames between the I frame and the P frame.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022006852A JP2022070859A (en) | 2017-07-31 | 2022-01-20 | Video compression method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148553A JP7017223B2 (en) | 2017-07-31 | 2017-07-31 | Video compression method |
JP2022006852A JP2022070859A (en) | 2017-07-31 | 2022-01-20 | Video compression method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017148553A Division JP7017223B2 (en) | 2017-07-31 | 2017-07-31 | Video compression method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022070859A true JP2022070859A (en) | 2022-05-13 |
Family
ID=65476763
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017148553A Active JP7017223B2 (en) | 2017-07-31 | 2017-07-31 | Video compression method |
JP2022006852A Pending JP2022070859A (en) | 2017-07-31 | 2022-01-20 | Video compression method |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017148553A Active JP7017223B2 (en) | 2017-07-31 | 2017-07-31 | Video compression method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7017223B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07135657A (en) * | 1993-11-09 | 1995-05-23 | Matsushita Electric Ind Co Ltd | Method and device for coding |
JPH0951538A (en) * | 1995-08-07 | 1997-02-18 | Hitachi Ltd | Encoding method for image signal |
JPH10304374A (en) * | 1997-04-25 | 1998-11-13 | Sharp Corp | Moving image encoding device |
JP2002010270A (en) * | 2000-06-27 | 2002-01-11 | Mitsubishi Electric Corp | Device and method for coding images |
US20050147167A1 (en) * | 2003-12-24 | 2005-07-07 | Adriana Dumitras | Method and system for video encoding using a variable number of B frames |
US20110069757A1 (en) * | 2008-05-22 | 2011-03-24 | Satya Ghosh Ammu | Content adaptive video encoder and coding method |
JP2011514120A (en) * | 2008-03-10 | 2011-04-28 | トムソン ライセンシング | Predictive frame selection method and apparatus supporting improved efficiency and subjective quality |
JP2011239255A (en) * | 2010-05-12 | 2011-11-24 | Nippon Telegr & Teleph Corp <Ntt> | Video encoding method, video encoder, and video encoding program |
US20150208072A1 (en) * | 2014-01-22 | 2015-07-23 | Nvidia Corporation | Adaptive video compression based on motion |
-
2017
- 2017-07-31 JP JP2017148553A patent/JP7017223B2/en active Active
-
2022
- 2022-01-20 JP JP2022006852A patent/JP2022070859A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07135657A (en) * | 1993-11-09 | 1995-05-23 | Matsushita Electric Ind Co Ltd | Method and device for coding |
JPH0951538A (en) * | 1995-08-07 | 1997-02-18 | Hitachi Ltd | Encoding method for image signal |
JPH10304374A (en) * | 1997-04-25 | 1998-11-13 | Sharp Corp | Moving image encoding device |
JP2002010270A (en) * | 2000-06-27 | 2002-01-11 | Mitsubishi Electric Corp | Device and method for coding images |
US20050147167A1 (en) * | 2003-12-24 | 2005-07-07 | Adriana Dumitras | Method and system for video encoding using a variable number of B frames |
JP2011514120A (en) * | 2008-03-10 | 2011-04-28 | トムソン ライセンシング | Predictive frame selection method and apparatus supporting improved efficiency and subjective quality |
US20110069757A1 (en) * | 2008-05-22 | 2011-03-24 | Satya Ghosh Ammu | Content adaptive video encoder and coding method |
JP2011239255A (en) * | 2010-05-12 | 2011-11-24 | Nippon Telegr & Teleph Corp <Ntt> | Video encoding method, video encoder, and video encoding program |
US20150208072A1 (en) * | 2014-01-22 | 2015-07-23 | Nvidia Corporation | Adaptive video compression based on motion |
Also Published As
Publication number | Publication date |
---|---|
JP2019029870A (en) | 2019-02-21 |
JP7017223B2 (en) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7606462B2 (en) | Video processing device and method for producing digest video data | |
US9167260B2 (en) | Apparatus and method for video processing | |
KR101603791B1 (en) | Method for fabricating a panorama | |
US9854167B2 (en) | Signal processing device and moving image capturing device | |
US8681239B2 (en) | Image capturing device, image capturing method, program, and integrated circuit | |
CN105190688A (en) | Method and apparatus for viewing images | |
KR102069269B1 (en) | Apparatus and method for stabilizing image | |
WO2010004711A1 (en) | Image processing apparatus and image pickup apparatus using the image processing apparatus | |
Hu et al. | The case for offload shaping | |
US20130121588A1 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
CN113660410A (en) | Video compression stream | |
JP2018535572A (en) | Camera preview | |
JP2008160733A (en) | Imaging apparatus, imaging signal processing method, and program | |
JP7017223B2 (en) | Video compression method | |
JP2007158855A (en) | Motion vector detector and motion vector detecting method | |
JP5812808B2 (en) | Image processing apparatus and image processing method | |
US7747130B2 (en) | Apparatus and method for extracting representative still images from MPEG video | |
Wei et al. | A multi-operator retargeting scheme for compressed videos | |
JP2009044456A (en) | Image encoding device, and image encoding method | |
JP2009266169A (en) | Information processor and method, and program | |
JP2009065619A (en) | Camera-shake correcting device and imaging apparatus | |
KR101826463B1 (en) | Method and apparatus for synchronizing time line of videos | |
KR101831138B1 (en) | Method and apparatus for manufacturing animation sticker using video | |
JP2825863B2 (en) | Moving object detection device | |
US20130135524A1 (en) | Method for searching small moving object in dynamic image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230704 |