JP2013541271A

JP2013541271A - オーバーラップする境界に基づくマルチメディアのスライストランスコーディング方法およびシステム、記録媒体

Info

Publication number: JP2013541271A
Application number: JP2013527454A
Authority: JP
Inventors: 定局朱
Original assignee: 中国科学院深▲しん▼先進技術研究院
Priority date: 2010-09-07
Filing date: 2011-07-19
Publication date: 2013-11-07
Anticipated expiration: 2031-07-19
Also published as: WO2012031506A1; JP5546082B2; US9031135B2; CN101951504A; US20130163675A1; CN101951504B

Abstract

【課題】分割境界の境界ファジー領域を除去できる、オーバーラップする境界に基づくマルチメディアのスライストランスコーディング方法を提供する。
【解決手段】スライストランスコーディング方法は、所定単位でマルチメディアを分割して、複数のスライスを取得するステップＳ１０と、前記スライスにおけるファジー領域の長さを取得するステップＳ２０と、それぞれの前記スライスの両端において、前記ファジー領域の長さの分前記スライスの長さを冗長させるステップＳ３０と、前記冗長させた後のスライスをトランスコーディングするステップＳ４０と、前記トランスコーディングした後のスライスの両端において、前記冗長させたファジー領域の長さの分両端のスライスを除去するステップＳ５０と、前記ファジー領域の長さの分を除去されたスライスを結合するステップＳ６０と、を含む。
【選択図】図１

Description

本発明は、マルチメディアのトランスコーディング技術分野に関し、特にオーバーラップする境界に基づくマルチメディアのスライストランスコーディング方法およびシステム、コンピュータ読み取り可能な記録媒体に関する。

マルチメディアのトランスコーディングには、動画のトランスコーディング、音声のトランスコーディングおよび画像のトランスコーディングなどが含まれる。動画のトランスコーディングとは、異なるネットワークの帯域幅、端末処理能力およびユーザのニーズに応えるように、圧縮された動画ストリームを別の動画ストリームに変換することをいう。従来の動画のトランスコーディングは、一つの動画に対してスライスせずに直接トランスコーディングすることや、先に動画をスライスしてからトランスコーディングすることで行われる。スライスとは、時間軸および空間軸において動画を分割することをいい、たとえば、複数のフレームを単位として動画を複数の部分に分割することや、ある一つのフレーム画像を空間軸において複数の部分に分割することをいう。スライスされた動画には、通常、分割境界が生成される。分割して得られた複数のスライスに対しては、並列にトランスコーディングすることができ、トランスコーディングした後のそれぞれのスライスを再結合して一つの動画にすることができる。音声トランスコーディングの場合には、時間軸において音声を分割した後にトランスコーディングし、画像トランスコーディングの場合には、空間軸において画像を分割した後にトランスコーディングすることができる。

しかしながら、上記従来のマルチメディアのスライストランスコーディング方式には、トランスコーディングした後のスライスを結合する際、分割境界の位置がひずむか曖昧になってしまう現象がよく現れ、マルチメディアの視聴効果が劣ってしまう問題がある。このため、分割境界の境界ファジー（曖昧な）領域を除去できるマルチメディアのスライストランスコーディング方法の提供に対する要請がある。

本発明は、上記要請に応えるためになされたものであり、分割境界の境界ファジー領域を除去できる、オーバーラップする境界に基づくマルチメディアのスライストランスコーディング方法およびシステム、記録媒体を提供することを目的とする。

上記の目的を達成するための本発明に係るマルチメディアのスライストランスコーディング方法は、所定単位でマルチメディアを分割して、複数のスライスを取得するステップと、前記スライスにおけるファジー領域の長さを取得するステップと、それぞれの前記スライスの両端において、前記ファジー領域の長さ分前記スライスの長さを冗長させるステップと、前記冗長させた後のスライスをトランスコーディングするステップと、前記トランスコーディングした後のスライスの両端において、前記冗長させたファジー領域の長さ分両端のスライスを除去するステップと、前記ファジー領域の長さ分を除去されたスライスを結合するステップと、を含む。

好ましくは、前記スライスにおけるファジー領域の長さを取得するステップは、連続する少なくとも二つの前記スライスを選出するステップと、前記選出されたスライスをトランスコーディングするステップと、前記スライスの境界ファジー領域を検出するステップと、を含み、前記境界ファジー領域の長さを前記ファジー領域の長さとして取得する。

好ましくは、前記スライスの境界ファジー領域を検出するステップは、前記スライスの境界から中央に向かってスキャンするステップと、前記トランスコーディング前後のスライスを照合するステップと、前記トランスコーディング前後のスライスにおける一致率が所定値より小さいスライス部分を取得するステップと、を含み、前記取得したスライス部分を前記スライスの境界ファジー領域と設定する。

好ましくは、前記マルチメディアは、動画、画像または音声である。

上記の目的を達成するための本発明に係るマルチメディアのスライストランスコーディングシステムは、所定単位でマルチメディアを分割して、複数のスライスを取得する分割モジュールと、前記スライスにおけるファジー領域の長さを取得するファジー領域長さ取得モジュールと、それぞれの前記スライスの両端において、前記ファジー領域の長さ分前記スライスの長さを冗長させる冗長モジュールと、前記冗長させた後のスライスをトランスコーディングするトランスコーディングモジュールと、前記トランスコーディングした後のスライスの両端において、前記冗長させたファジー領域の長さ分両端のスライスを除去する除去モジュールと、前記ファジー領域の長さ分を除去されたスライスを結合する結合モジュールと、を含む。

好ましくは、前記ファジー領域長さ取得モジュールは、連続する少なくとも二つの前記スライスを選出する選出モジュールと、前記選出されたスライスをトランスコーディングした後のスライスの境界ファジー領域を検出する検出モジュールと、を含み、前記境界ファジー領域の長さを前記ファジー領域の長さをとして取得する。

好ましくは、前記検出モジュールは、前記スライスの境界から中央に向かってスキャンするスキャンモジュールと、前記トランスコーディング前後のスライスを照合する照合モジュールと、を含み、前記トランスコーディング前後のスライスにおける一致率が所定値より小さいスライス部分を取得し、当該取得したスライス部分を前記スライスの境界のファジー領域と設定する。

上記の目的を達成するための本発明に係るマルチメディアのスライストランスコーディング方法が記録されているコンピュータ読み取り可能な記録媒体において、前記方法は、所定単位でマルチメディアを分割して、複数のスライスを取得するステップと、前記スライスにおけるファジー領域の長さを取得するステップと、それぞれの前記スライスの両端において、前記ファジー領域の長さ分前記スライスの長さを冗長させるステップと、前記冗長させた後のスライスをトランスコーディングするステップと、前記トランスコーディングした後のスライスの両端において、前記冗長させたファジー領域の長さ分両端のスライスを除去するステップと、前記ファジー領域の長さ分を除去されたスライスを結合するステップと、を含む。

本発明に係るマルチメディアスライスのトランスコーディング方法およびシステム、コンピュータ読み取り可能な記録媒体によれば、それぞれのスライスの両端において、ファジー領域の長さ分スライスの長さを冗長させる。また、トランスコーディングした後のスライスを結合する際、冗長させたファジー領域の長さ分両端のスライスを除去する。これにより、結合したスライスにはファジー領域が存在しないため、境界ファジー領域を除去する効果が達成できる。

したがって、結合後のマルチメディアの視聴効果は、より優れ、より自然で、流れもよりスムーズである。

マルチメディアのスライストランスコーディング方法を示すフローチャートである。図１のファジー領域の長さを取得する処理の詳細を示すフローチャートである。図２のスライスの境界ファジー領域を検出する処理の詳細を示すフローチャートである。マルチメディアのスライストランスコーディングシステムの構成の一例を示すブロック図である。マルチメディアのスライストランスコーディングシステムの構成の他の一例を示すブロック図である。図５の検出モジュールの構成を示すブロック図である。マルチメディアのスライストランスコーディングの原理を説明するために供する図である。

以下、添付した図面を参照して、本発明の実施形態を詳細に説明する。

図１は、マルチメディアのスライストランスコーディング方法を示すフローチャートである。図に示すように、マルチメディアのスライストランスコーディング方法は、次のようなステップを含む。

＜ステップＳ１０＞
所定単位でマルチメディアを分割して、複数のスライスを取得する。マルチメディアは、動画、画像または音声であってよい。時間軸または空間軸において動画を分割、空間軸において画像を分割、または時間軸において音声を分割できる。分割後のマルチメディアは、同様の長さまたはサイズを有する部分に分けられ、これらの部分をスライスとも称する。

＜ステップＳ２０＞
スライスにおけるファジー領域の長さを取得する。図２は、ファジー領域の長さを取得する処理の詳細を示すフローチャートである。

＜ステップＳ２１０＞
連続する少なくとも二つのスライスを選出する。本実施形態においては、二つの連続するスライスを選択して処理できる。たとえば、１００フレームを有する一つの動画ファイルにおいて、二フレーム単位で分割して得られた５０個のスライスから、最初の二つのスライスを選出できる。

＜ステップＳ２２０＞
選出されたスライスをトランスコーディングする。

＜ステップＳ２３０＞
スライスの境界ファジー領域を検出して、ファジー領域の長さを取得する。図３は、スライスの境界ファジー領域を検出する処理の詳細を示すフローチャートである。

＜ステップＳ２３１＞
スライスの境界から中央に向かってスキャンする。具体的には、トランスコーディング前後のスライスの両方に対してスキャンする。動画および画像に対しては画素をスキャンし、音声に対しては音声ストリームをスキャンする。

＜ステップＳ２３２＞
トランスコーディング前後のスライスを照合する。動画および画像に対しては、トランスコーディング前後のスライスの画像の画素を直接照合する。音声に対しては、音声ストリームが同じであるか否かを照合する。

＜ステップＳ２３３＞
トランスコーディング前後のスライスにおける一致率が所定値より小さいスライス部分を取得する。動画および画像の場合、トランスコーディング前後のスライスの画素の一致率が所定値より小さいスライス部分があれば、当該部分をファジー領域（またはひずみ領域）と認定する。音声の場合、音声の一致率が所定値より小さいスライス部分があれば、同様に、当該部分をファジー領域と認定する。

＜ステップＳ２３４＞
ファジー領域と認定した部分をスライスの境界ファジー領域と設定する。スライスの境界から中央に向かってスキャンするため、境界に近ければ近いほど、通常、一致率は高くない。一方、境界から離れれば離れるほど一致率は高い。したがって、最終的に確定するファジー領域の部分はスライスの境界に位置する。スライスの境界ファジー領域を取得すると、直接的にファジー領域の長さも取得できる。

＜ステップＳ３０＞
それぞれのスライスの両端において、ファジー領域の長さの分スライスの長さを冗長させる。すなわち、それぞれのスライスの両端において、スライスの長さを別々に伸ばし、伸ばす長さはファジー領域の長さである。

＜ステップＳ４０＞
冗長させた後のスライスをトランスコーディングする。

＜ステップＳ５０＞
トランスコーディングした後のスライスの両端において、冗長させたファジー領域の長さの分両端のスライスを除去する。ファジー領域の長さの分冗長させたスライス部分には、マルチメディアの内容が実際に含まれていないため、直接除去されてもマルチメディアの視聴効果にほぼ影響を及ぼさない。

＜ステップＳ６０＞
ファジー領域の長さの分を除去されたスライスを結合する。トランスコーディングした後のファジー領域の長さのスライス部分はすでに除去され、かつ、当該スライス部分の長さは冗長させたスライス部分の長さであるため、マルチメディアの内容が含まれていない。このように結合したスライスにはファジー領域が存在しないため、境界ファジー領域を除去した効果が達成できる。したがって、結合後のマルチメディアの視聴効果は、より優れ、より自然で、流れもよりスムーズである。

本発明は、さらに、一または複数のコンピュータ読み取り可能な記録媒体を提供する。記録媒体には、コンピュータにより実行可能な命令が記録されている。これらの命令は、上述したマルチメディアのスライストランスコーディング方法を実行するための命令である。

図４は、マルチメディアのスライストランスコーディングシステムの構成の一例を示すブロック図である。図に示すように、マルチメディアのスライストランスコーディングシステムは、分割モジュール１０、ファジー領域長さ取得モジュール２０、冗長モジュール３０、トランスコーディングモジュール４０、除去モジュール５０および結合モジュール６０を含む。

分割モジュール１０は、所定単位でマルチメディアを分割して、複数のスライスを取得する。ファジー領域長さ取得モジュール２０は、スライスにおけるファジー領域の長さを取得する。冗長モジュール３０は、それぞれのスライスの両端において、ファジー領域の長さの分スライスの長さを冗長させる。トランスコーディングモジュール４０は、冗長させた後のスライスをトランスコーディングする。除去モジュール５０は、トランスコーディングした後のスライスの両端において、冗長させたファジー領域の長さ分両端のスライスを除去する。結合モジュール６０は、ファジー領域の長さ分を除去されたスライスを結合する。

マルチメディアは、動画、画像または音声であってよい。動画に対しては時間軸または空間軸において分割、画像に対しては空間軸において分割、音声に対しては時間軸において分割できる。分割後のマルチメディアは、同様の長さまたは同じサイズを有する部分に分けられ、これらの部分がスライスである。

図５は、マルチメディアのスライストランスコーディングシステムの構成の他の一例を示すブロック図である。

図に示すように、ファジー領域長さ取得モジュール２０は、選出モジュール２１０および検出モジュール２２０を含む。

選出モジュール２１０は、連続する少なくとも二つのスライスを選出する。本実施形態においては、二つの連続するスライスを選択して処理できる。たとえば、１００フレームを有する一つの動画ファイルにおいて、二フレーム単位で分割して得られた５０個のスライスから、最初の二つのスライスを選出できる。トランスコーディングモジュール４０は、選出モジュール２１０により選出された少なくとも二つのスライスをトランスコーディングする。

検出モジュール２２０は、トランスコーディングした後のスライスの境界ファジー領域を検出して、ファジー領域の長さを取得する。

図６は、検出モジュールの構成を示すブロック図である。図に示すように、検出モジュール２２０は、スキャンモジュール２２１０および照合モジュール２２２０を含む。

スキャンモジュール２２１０は、スライスの境界から中央に向かってスキャンする。スキャンモジュール２２１０は、トランスコーディング前後のスライスの両方に対してスキャンする。動画および画像に対しては画素をスキャンし、音声に対しては音声ストリームをスキャンする。

照合モジュール２２２０は、トランスコーディング前後のスライスを照合し、両者の一致率が所定値より小さいスライス部分を取得し、当該部分をスライスの境界ファジー領域と設定する。動画および画像に対しては、トランスコーディング前後のスライスの画像の画素を直接照合する。トランスコーディング前後のスライスの画素の一致率が所定値（予め設けられた閾値）より小さいスライス部分があれば、当該部分をファジー領域（またはひずみ領域）と認定する。音声に対しては、音声ストリームが同じであるか否かを照合する。音声の一致率が所定値より小さいスライス部分があれば、同様に、当該部分をファジー領域と認定する。スライスの境界から中央に向かってスキャンするため、境界に近ければ近いほど、通常、一致率は高くない。一方、境界から離れれば離れるほど一致率は高い。したがって、最終的に確定するファジー領域の部分はスライスの境界に位置する。スライスの境界ファジー領域を取得すると、直接的にファジー領域の長さも取得できる。

以下、動画を例にして上述したマルチメディアスライスのトランスコーディング方法およびシステムの原理を詳細に説明する。画像および音声のトランスコーディングは、動画のトランスコーディングと原理が同じであるため、詳細な説明は省略する。

図７は、マルチメディアのスライストランスコーディングの原理を説明するために供する図である。

（１）分割される前、動画の長さは２ｈである。二つに分割されたそれぞれのスライスの長さはｈである。

（２）取得したスライスのファジー領域の長さはｋである。したがって、スライスの両端において、ｋの長さ分スライスの長さを別々に冗長させる。

（３）トランスコーディングした後、冗長させたｋの長さのスライス部分には実際にマルチメディアの内容が含まれていないため、それぞれのスライスにおいて、冗長させたｋの長さ部分のスライスを直接除去する（図７の網かけ部分）。

（４）冗長させたｋの長さのスライス部分を除去したスライスを結合すると、長さが依然として２ｈの動画が得られる。

ファジー領域の長さがｋの部分のスライスが既に除去され、ファジー領域部分が存在しないため、結合後の動画は、視聴効果がより優れている。

本実施形態においては、動画を二つのスライスの分割することについて説明したが、動画を二つ以上のスライスに分割した場合においても、同方法を適用できることは言うまでもない。

以上、本発明の好適な実施形態を説明したが、本発明は、上記実施形態にのみ限定されない。本発明は、その要旨を逸脱しない範囲で、上記実施形態とは異なる種々の態様で実施することができる。

１０分割モジュール、
２０ファジー領域長さ取得モジュール、
２１０抽出モジュール、
２２０検出モジュール、
２２１０スキャンモジュール、
２２２０照合モジュール、
３０冗長モジュール、
４０トランスコーディングモジュール、
５０除去モジュール、
６０結合モジュール。

Claims

所定単位でマルチメディアを分割して、複数のスライスを取得するステップと、
前記スライスにおけるファジー領域の長さを取得するステップと、
それぞれの前記スライスの両端において、前記ファジー領域の長さ分前記スライスの長さを冗長させるステップと、
前記冗長させた後のスライスをトランスコーディングするステップと、
前記トランスコーディングした後のスライスの両端において、前記冗長させたファジー領域の長さ分両端のスライスを除去するステップと、
前記ファジー領域の長さ分を除去されたスライスを結合するステップと、
を含むことを特徴とするマルチメディアのスライストランスコーディング方法。
前記スライスにおけるファジー領域の長さを取得するステップは、
連続する少なくとも二つの前記スライスを選出するステップと、
前記選出されたスライスをトランスコーディングするステップと、
前記スライスの境界ファジー領域を検出するステップと、
を含み、
前記境界ファジー領域の長さを前記ファジー領域の長さとして取得する、
ことを特徴とする請求項１に記載のマルチメディアのスライストランスコーディング方法。
前記スライスの境界ファジー領域を検出するステップは、
前記スライスの境界から中央に向かってスキャンするステップと、
前記トランスコーディング前後のスライスを照合するステップと、
前記トランスコーディング前後のスライスにおける一致率が所定値より小さいスライス部分を取得するステップと、
を含み、
前記取得したスライス部分を前記スライスの境界ファジー領域と設定する、
ことを特徴とする請求項２に記載のマルチメディアのスライストランスコーディング方法。
前記マルチメディアは、動画、画像または音声である、
ことを特徴とする請求項１〜３のいずれか一項に記載のマルチメディアのスライストランスコーディング方法。
所定単位でマルチメディアを分割して、複数のスライスを取得する分割モジュールと、
前記スライスにおけるファジー領域の長さを取得するファジー領域長さ取得モジュールと、
それぞれの前記スライスの両端において、前記ファジー領域の長さ分前記スライスの長さを冗長させる冗長モジュールと、
前記冗長させた後のスライスをトランスコーディングするトランスコーディングモジュールと、
前記トランスコーディングした後のスライスの両端において、前記冗長させたファジー領域の長さ分両端のスライスを除去する除去モジュールと、
前記ファジー領域の長さ分を除去されたスライスを結合する結合モジュールと、
を含むことを特徴とするマルチメディアのスライストランスコーディングシステム。
前記ファジー領域長さ取得モジュールは、
連続する少なくとも二つの前記スライスを選出する選出モジュールと、
前記選出されたスライスをトランスコーディングした後のスライスの境界ファジー領域を検出する検出モジュールと、
を含み、
前記境界ファジー領域の長さを前記ファジー領域の長さをとして取得する、
ことを特徴とする請求項５に記載のマルチメディアのスライストランスコーディングシステム。
前記検出モジュールは、
前記スライスの境界から中央に向かってスキャンするスキャンモジュールと、
前記トランスコーディング前後のスライスを照合する照合モジュールと、
を含み、
前記トランスコーディング前後のスライスにおける一致率が所定値より小さいスライス部分を取得し、当該取得したスライス部分を前記スライスの境界のファジー領域と設定する、
ことを特徴とする請求項６に記載のマルチメディアのスライストランスコーディングシステム。
前記マルチメディアは、動画、画像または音声である、
ことを特徴とする請求項５〜７のいずれか一項に記載のマルチメディアのスライストランスコーディングシステム。
一または複数のコンピュータにより実行可能な命令が記憶されている記録媒体であって、前記命令は、マルチメディアのスライストランスコーディング方法を実行するための命令であり、前記方法は、
所定単位でマルチメディアを分割して、複数のスライスを取得するステップと、
前記スライスにおけるファジー領域の長さを取得するステップと、
それぞれの前記スライスの両端において、前記ファジー領域の長さ分前記スライスの長さを冗長させるステップと、
前記冗長させた後のスライスをトランスコーディングするステップと、
前記トランスコーディングした後のスライスの両端において、前記冗長させたファジー領域の長さ分両端のスライスを除去するステップと、
前記ファジー領域の長さ分を除去されたスライスを結合するステップと、
を含むことを特徴とするコンピュータ読み取り可能な記録媒体。
前記スライスにおけるファジー領域の長さを取得するステップは、
連続する少なくとも二つの前記スライスを選出するステップと、
前記選出されたスライスをトランスコーディングするステップと、
前記スライスの境界ファジー領域を検出するステップと、
を含み、
前記境界ファジー領域の長さを前記ファジー領域の長さとして取得する、
ことを特徴とする請求項９に記載のコンピュータ読み取り可能な記録媒体。
前記スライスの境界ファジー領域を検出するステップは、
前記スライスの境界から中央に向かってスキャンするステップと、
前記トランスコーディング前後のスライスを照合するステップと、
前記トランスコーディング前後のスライスにおける一致率が所定値より小さいスライス部分を取得するステップと、
を含み、
前記取得したスライス部分を前記スライスの境界ファジー領域と設定する、
ことを特徴とする請求項１０に記載のむコンピュータ読み取り可能な記録媒体。
前記マルチメディアは、動画、画像または音声である、
ことを特徴とする請求項９〜１１のいずれか一項に記載のコンピュータ読み取り可能な記録媒体。