JP7017223B2

JP7017223B2 - 動画圧縮方法

Info

Publication number: JP7017223B2
Application number: JP2017148553A
Authority: JP
Inventors: 直人横内
Original assignee: 株式会社Free-D
Priority date: 2017-07-31
Filing date: 2017-07-31
Publication date: 2022-02-08
Anticipated expiration: 2037-07-31
Also published as: JP2022070859A; JP2019029870A

Description

本発明は、動画圧縮方法に関する。

複数の被圧縮フレーム（静止画）を含む被圧縮動画の情報量を圧縮する動画圧縮方法が知られている。

例えば、図１３に例示する通り、情報量が圧縮されていない動画は、複数のＩフレーム（Intra-Picture）を含む。Ｉフレームは、動画中の１フレームを独立して再現可能なフレームであり、動画中のフレームの画像情報を全て含んでいる。

図１４に例示する通り、従来の動画圧縮方法によって圧縮された動画は、一定の間隔で配置された複数のＩフレーム及びこれらＩフレームの間にそれぞれ配置された複数のＰフレーム（Predictive-Picture）を含む。Ｐフレームは、直前のＩフレームを参照して動画中の１フレームを再現可能なフレームであり、被圧縮フレームと、この被圧縮フレームに対応する予測フレームとの差分の画像情報を含んでいる。Ｐフレームは、この様な差分の画像情報のみを含むため、Ｉフレームよりも情報量が少ない。従って、図１４に例示された動画は、図１３に例示された動画よりも情報量が少ない。

図１５に例示する通り、従来の動画圧縮方法によって更に圧縮された動画は、ＧＯＰ（Group Of Pictures）と呼ばれる複数のフレーム群に分割されており、一つのＧＯＰに、一のＩフレーム、一定の間隔で配置された複数のＰフレーム、及び、これらＩフレーム及びＰフレームの間に配置された複数のＢフレーム（Bi-directionally Predictive-Picture）を含む。Ｂフレームは、このＢフレームの前後に位置するＩフレーム及びＰフレームを参照して動画中の１フレームを再現可能なフレームであり、動画中のフレームと予測フレームとの差分の画像情報を含んでいる。Ｂフレームの生成に際しては、直前のＩフレームだけでなく、Ｂフレームの前後に位置するＰフレームをも参照して予測画像が生成される。従って、Ｐフレームの生成に際して行われる予測よりも予測の精度が高くなり、予測フレームと被圧縮フレームとの差分はＰフレームよりも少なくなる。このため、この差分に基づいて生成されるＢフレームは、Ｐフレームよりも情報量が少ない。従って、図１５に例示されたＧＯＰは、図１４に例示されたフレーム群よりも更に情報量が少ない。

特開平７－２３６１４１号公報

しかしながら、近年の動画における高画質化等に伴うデータ量の増大や、インターネット上で流通するデータ量の増大等に伴い、情報量の更なる圧縮が求められている。

そこで、本発明は、この様な課題に鑑み、情報量を効率良く圧縮可能な動画圧縮方法を提供することを目的とする。

以上の目的を達成するため、本発明に係る動画圧縮方法は、複数の被圧縮フレームを含む被圧縮動画の情報量を圧縮する。また、この動画圧縮方法は、被圧縮動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、複数の被圧縮フレームからＩフレームを抽出し、動的オブジェクトの画像の変化量が閾値以上となる被圧縮フレームを検出し、この被圧縮フレームに基づいてＰフレームを生成し、ＩフレームとＰフレームの間の１以上の被圧縮フレームそれぞれに基づいて１以上のＢフレームを生成する。

この様な方法においては、一定の間隔でＰフレームを配置するのではなく、被圧縮動画中の動的オブジェクトの画像の変化量が閾値以上となるフレームを検出することにより、Ｐフレームが必要なフレームにのみ適切にＰフレームが配置される。また、ＩフレームとＰフレームの間の１以上の被圧縮フレームそれぞれに基づいて１以上のＢフレームを生成することにより、従来はＰフレームが配置されていたようなフレームにもＢフレームが配置され、Ｐフレームの数が削減される。ここで上述の通り、Ｂフレームは、Ｐフレームよりも情報量が少ない。従って、本発明に係る画像圧縮方法によれば、従来の画像圧縮方法よりも更に情報量が圧縮される。

以上の様に、本発明によれば、情報量を効率良く圧縮可能な動画圧縮方法を提供することが出来る。

本発明の実施形態に係る動画圧縮装置１００の構成を示す機能ブロック図である。本発明の実施形態に係る動画圧縮方法を示すフローチャートである。被圧縮動画２００について説明するための模式的な図である。動的オブジェクトの変化前の画像を示す図である。動的オブジェクトの変化後の画像を示す図である。抽出された動的オブジェクトの画像を示す図である。被圧縮動画２００について説明するための模式的な図である。Ｐフレームを示す図である。Ｂフレームを示す図である。圧縮動画３００について説明するための模式的な図である。圧縮動画３００について説明するための模式的な図である。本発明の実施形態に係る動画圧縮方法によって生成された圧縮動画の情報量を示すグラフである。非圧縮動画の情報量を示すグラフである。従来の動画圧縮方法によって生成された圧縮動画の情報量を示すグラフである。従来の動画圧縮方法によって生成された圧縮動画の情報量を示すグラフである。

次に、図面を参照し、本発明の実施形態について説明する。尚、以下の説明は例示的なものであり、詳細については適宜変更可能である。

まず、図１を参照して、本実施形態に係る動画圧縮装置１００について説明する。動画圧縮装置１００は、被圧縮動画２００の情報量を圧縮して圧縮動画３００を生成するものであり、被圧縮動画２００に分割処理を行って複数の被圧縮フレーム（静止画）からなる被圧縮フレーム群を複数出力する分割処理装置１１０と、この被圧縮フレーム群に圧縮処理を施してＧＯＰを複数出力する並列分散圧縮処理装置１２０と、この複数のＧＯＰを統合して圧縮動画を生成する統合処理装置１３０と、を備える。尚、ここで言う被圧縮動画２００は、図１３に例示した様な非圧縮動画でも良く、図１４や図１５に例示した様な、圧縮済みの動画であっても良い。また、動画圧縮装置１００中の各構成は、装置や電子回路等によって実現されても良いし、ＣＰＵやＧＰＵ及びソフトウェア等によって実現されても良い。

尚、並列分散圧縮処理装置１２０は、後述の通り、被圧縮フレーム群毎にオブジェクトの動きを検出し、時間軸方向にも圧縮処理を行う。

次に、図２～図１１を参照して、本発明の実施形態に係る動画圧縮方法について説明する。

分割処理装置１１０は、被圧縮動画２００を読み込む（ステップＳ１０１）。図３に示す通り、被圧縮動画２００は、複数の被圧縮フレーム２１０を含む。

次に、分割処理装置１１０は、被圧縮動画２００のシーンの切り換え等を検出し、被圧縮動画２００をシーンごとに分割して、複数の被圧縮フレーム群を生成する（ステップＳ１０２）。シーンの切り換えの検出は、例えば、背景や登場人物等のオブジェクトの切り換え等、画面が大きく変化する瞬間を検出することによって行われる。また、分割処理装置１１０は、被圧縮フレーム群毎に複数の被圧縮フレーム２１０を出力する。

次に、並列分散圧縮処理装置１２０は、被圧縮フレーム群毎に静的オブジェクト及び動的オブジェクトの分離を行う（ステップＳ１０３）。例えば図４に例示する被圧縮フレームには、飛行機３２０と、背景３３０とが表示されている。以下、飛行機３２０の様に背景に対して相対的に動くものを「動的オブジェクト」と、ビル、道路、地面及び空等の用に背景３３０に対して固定されたものを「静的オブジェクト」と呼ぶ。静的オブジェクト及び動的オブジェクトの分離に際しては、例えば、被圧縮フレーム群にモーション・トラッキング等の処理を行い、被圧縮フレーム群中のオブジェクトのうち、所定の閾値よりも動きの少ないものを静的オブジェクトと、この所定の閾値よりも動きの大きいものを動的オブジェクトとして、フレーム群から分離する。例えば、図４に例示した様な、動的オブジェクトの移動前の被圧縮フレーム２１０と、図５に例示した様な、動的オブジェクトの移動後の被圧縮フレーム２１０とを比較して、飛行機３２０を動的オブジェクトと、それ以外の背景３３０を静的オブジェクトとして分離する。図６は、動的オブジェクトとして分離された飛行機３２０の画像を例示する。

次に、並列分散圧縮処理装置１２０は、Ｉフレーム（Intra-Picture）の抽出を行う（ステップＳ１０４）。Ｉフレームは、動画中の１フレームを独立して再現可能なフレームであり、図４に例示する通り、動画中のフレームの画像情報を全て含んでいる。例えば、図７に示す通り、被圧縮フレーム群の先頭に位置する被圧縮フレーム２１０はＩフレームとして抽出され、出力される。

次に、並列分散圧縮処理装置１２０は、Ｐフレーム（Predictive-Picture）を生成する（ステップＳ１０５）。Ｐフレームは、直前のＩフレームを参照して動画中の１フレームを再現可能なフレームであり、図８に例示する通り、動画中のフレームと予測フレームとの差分の画像情報を含んでいる。Ｐフレームの生成に際しては、例えばまず、ステップＳ１０３において分離した動的オブジェクトの画像の変化量が閾値以上となる被圧縮フレームを検出する（図７参照）。次に、例えばこの検出された被圧縮フレームの、この直前に位置するＩフレームからの動きベクトルを算出し、Ｉフレーム及び動きベクトルから予測フレームを生成する。次に、検出された被圧縮フレームと生成された予測フレームとの差分の画像情報を生成し、これをＰフレームとして出力する。尚、動的オブジェクトの画像の変化量は、種々の態様で定義されうる。例えば、動的オブジェクトの移動量、移動方向、傾き、変形、出現や消滅等が考えられる。また、この様な変化量に対する閾値も、種々の態様で定義され得る。

次に、並列分散圧縮処理装置１２０は、Ｂフレーム（Bi-directionally Predictive-Picture）を生成する（ステップＳ１０６）。Ｂフレームは、このＢフレームの前後に位置するＩフレーム及びＰフレームを参照して動画中の１フレームを再現可能なフレームであり、図９に例示する通り、動画中のフレームと予測フレームとの差分の画像情報を含んでいる。Ｂフレームの生成に際しては、例えばまず、ＩフレームとＰフレームの間の被圧縮フレームを選択する（図７参照）。次に、この選択された被圧縮フレームの前後に位置するＩフレーム及びＰフレームの変化に応じて、選択された被圧縮フレームの動きベクトルを算出する。次に、これらＩフレーム、Ｐフレーム及び動きベクトルから予測フレームを生成する。次に、選択された被圧縮フレームと生成された予測フレームとの差分の画像情報を生成し、これをＢフレームとして出力する。

次に、統合処理装置１３０は、出力されたＩフレーム、Ｂフレーム及びＰフレームをＧＯＰとして統合し（図１０参照）、更に複数のＧＯＰを統合して圧縮動画３００を生成して（図１１参照）、出力する。尚、図１１の例において、Ｐフレームは一定の間隔には並んでいない。

この様な方法においては、一定の間隔でＰフレームを配置するのではなく、被圧縮動画中の動的オブジェクトの画像の変化量が閾値以上となるフレームを検出することにより、Ｐフレームが必要なフレームにのみ適切にＰフレームが配置される。また、ＩフレームとＰフレームの間の１以上の被圧縮フレームそれぞれに基づいて１以上のＢフレームを生成することにより、従来はＰフレームが配置されていたようなフレームにもＢフレームが配置され、Ｐフレームの数が削減される。ここで上述の通り、Ｂフレームは、Ｐフレームよりも情報量が少ない。従って、本実施形態に係る画像圧縮方法によれば、従来の画像圧縮方法よりも更に情報量が圧縮される。

１００…動画圧縮装置、１１０…分割処理装置、１２０…並列分散圧縮処理装置、１３０…統合処理装置、２００…圧縮動画、３１０…フレーム、３２０…飛行機、３３０…背景。

Claims

複数の被圧縮フレームを含む被圧縮動画の情報量を圧縮する動画圧縮方法であって、
前記被圧縮動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
被圧縮フレーム群の先頭フレームが、必ずシーンの切り換えの直後のフレームとなるように、前記被圧縮動画のシーンの切り換えを検出して、前記被圧縮動画をシーン毎に分割して、複数の被圧縮フレーム群を生成し、
前記被圧縮フレーム群の先頭に位置する被圧縮フレームをＩフレームとして抽出し、
前記動的オブジェクトの画像の変化量が閾値以上となる前記被圧縮フレームを検出し、この被圧縮フレームに基づいてＰフレームを生成し、
前記Ｉフレームと前記Ｐフレームの間の１以上の前記被圧縮フレームそれぞれに基づいて１以上のＢフレームを生成する
ことを特徴とする動画圧縮方法。