JP5346338B2 - ビデオを索引化する方法及びビデオを索引化する装置 - Google Patents

Description

本発明は、ビデオを索引化する方法及びビデオを索引化する装置に関する。

いくつかのピクチャ処理アプリケーションは、ピクチャ品質を向上させるために関心領域（ＲＯＩ）の検出を使用する。例えば、符号化アプリケーションは多くの場合、関心領域を復号化し、前述の領域を符号化するために、より多くの資源を活用する。

種々の方法が、ピクチャにおける関心領域の検出を可能にする。特に、視覚パラメータを考慮に入れ、ピクチャ又はビデオを視る際に人間の眼が永く残る領域の画定を可能にするピクチャ又はビデオの顕著性マップの確立に基づく手法が知られている。

関心領域の検出は現在、主に、（例えば、前述の領域の量子化ステップを削減することにより、）より多くの帯域幅を与えることにより、符号化中に関心領域を特権化するように、符号化前に使用される。

移動端末（携帯電話機、ＰＤＡ、ゲーム・コンソール、ポータブルＤＶＤプレイヤなど）の出現、ディスプレイ及び画面の手法の進展、及び新規サービスの台頭が全て組み合わさって、表示容量が低い端末上でビデオを表示することが必要になっている。例えば、携帯電話機上でテレビを受信することができることにより、寸法が小さな画面上に高密度のピクチャを表示するうえで問題が生じている。

本発明は、主に、関心領域の検出でなく、種々のアプリケーションについて考慮に入れ、移動端末であってもなくても、低い表示容量を備えた端末上でのピクチャ表示の問題を少なくとも解決することが可能な、装置又はアプリケーションへの前述の関心領域の伝送に関する。

この目的で、本発明は、符号化ビデオ・データ・ストリームを索引化する方法を提案している。本発明によれば、ビデオ・データ・ストリームは、各ピクチャの関心領域の位置に関する情報を含み、方法は、
符号化ビデオ・ストリームを受信する工程と、
記録サポート上に符号化ビデオ・ストリームする工程と、
関心領域の位置情報を復号化する工程と、
ピクチャ毎に関心領域を選択する工程と、
ビデオ・データを復号化する工程と、
ピクチャ毎に選択された関心領域からビデオ・データ・ストリームの所定数の関心領域を選択する工程と、
選択された関心領域を記録する工程と
を含む。

好ましい実施例では、記録する工程中に、
選択され、復号化されるにつれ、選択された関心領域が一時メモリに記録され、
選択された関心領域が全て、一時メモリに記録されると、選択された関心領域が永続的メモリ・サポート（５０３）に転送される。

好ましくは、記録される前に、関心領域は、選択された関心領域全てに均一のサイズを得るためにフォーマッティングされる。

好ましくは、方法は、暗号化鍵により、関心領域の位置を暗号化する工程を含む。

好ましくは、方法は、ユーザによる支払いにより、復号鍵を得る工程を含む。

好ましくは、ビデオ・データ・ストリームは符号化標準Ｈ．２６４／ＡＶＣに応じて符号化され、位置情報は付加拡張情報（ＳＥＩ）タイプ・メッセージに含まれる。

好ましい実施例によれば、ＳＥＩメッセージは、リアルタイム・プロトコル・パケット（ＲＴＰ）にカプセル化され、ＲＴＰパケットは暗号化される。

好ましくは、関心領域位置情報に関する付加拡張情報タイプ・メッセージは、参照する各ピクチャの前後の符号化データに挿入される。

好ましい実施例によれば、位置情報は、
各ピクチャにおける関心領域の数と、
ピクチャの寸法毎の関心領域毎の座標と、
関心領域毎の表面と、
ピクチャの他の関心領域に対する関心領域の重要度に対する重みと、
関心領域毎のコンテンツに関する情報と、
前述の情報の何れかの組合せ
から選ばれる情報を含む。

好ましくは、ピクチャ毎の関心領域の選択工程は、関心領域の重要度に対する重みに応じて関心領域を選択する。

好ましくは、ビデオ符号化標準は、柔軟なマクロブロック配列を使用し、関心領域は他のピクチャ・データとは無関係に、スライス群に符号化され、関心領域の位置情報は、関心領域が符号化されるスライス群番号を含む。

好ましくは、付加拡張情報メッセージは、一関心領域に関係しているかを、スライス群毎に示す識別子を含む。

好ましくは、方法はＳＥＩメッセージを読み出す更なる工程を含み、ビデオ・データの復号化の工程は関心領域を含むスライス群のみを復号化する。

本発明は、符号化ビデオ・データ・ストリームを索引化する装置にも関する。本発明によれば、ビデオ・データ・ストリームは、各ピクチャの関心領域の位置に関する情報を含み、装置は、
符号化ビデオ・ストリームを受信する手段と、
記録サポート上に符号化ビデオ・ストリームを記録する手段と、
関心領域の位置情報を復号化する手段と、
ビデオ・データを復号化する手段と、
ピクチャ毎に関心領域を選択する手段と、
ピクチャ毎に選択された関心領域からビデオ・データ・ストリームの所定数の関心領域を選択する手段と、
選択された関心領域を記録する手段
とを備える。

ピクチャの関心領域の検出は一般に、符号化前に行われる。このデータは次いで、符号化を容易にするために使用される。関心領域の位置が、ピクチャの復号化中に、特に、表示容量が制限された装置上の表示中に、関心のあるということを本願の発明者は認識している。実際に、受信端末は、関心領域のみの表示を選び、完全なピクチャの表示に対して前述の領域のより良好な可視性を有することを可能にすることができる。

本発明の好ましい実施例による符号化装置を示す図である。 本発明の好ましい実施例による符号化方法を示す図である。 本発明の好ましい実施例による復号化装置を示す図である。 本発明の別の実施例による復号化方法を示す図である。 本発明の別の実施例による個人向記録タイプの装置を示す図である。 本発明の実施例を実現する個人向記録タイプの装置における索引化方法を示す図である。

本発明は、限定列挙でないが、添付図面を参照して実施例及び実現形態により、更に深く理解し、例証されよう。

図１は、本発明の好ましい実施例を実現するＨ．２６４／ＡＶＣ符号化標準による符号化装置を示す。前述の好ましい実施例では、ビデオ・ストリームが符号化される。

現在のフレームＦ_ｎが、符号化器によって符号化されるために符号化器の入力に供給される。前述のフレームは、スライスの形式で符号化される、すなわち、前述のフレームは、１６×１６画素群に対応する特定数のマクロブロックをそれぞれが含むサブユニットに分割される。各マクロブロックはイントラ・モード又はインター・モードで符号化される。イントラ・モードであってもインター・モードであっても、マクロブロックは、再構成されたフレームに基づいて符号化される。モジュール１０９は、ピクチャのコンテンツに応じて、現在のピクチャの符号化モードをイントラ・モードに決定する。イントラ・モードでは、Ｐ（図２に示す）は、先行して符号化され、復号化され、再構成された（図２中のｕＦ’ｎ、ｕはフィルタリングされていない）現在のフレームＦｎのサンプルを含む。インター・モードでは、Ｐは、１つ又は複数のＦ’_ｎ−１フレームに基づいた動き推定から生じる。

動き推定モジュール１０１は、現在のフレームＦｎと少なくとも１つの先行フレームＦ’ｎ−１との間の動きの推定を確立する。この動き推定から、動き補償モジュール１０２は、現在のピクチャＦｎがインター・モードで符号化しなければならない場合、フレームＰを生成する。

減算器１０３は、信号Ｄｎ（すなわち、符号化する対象のピクチャＦｎと、ピクチャＰとの間の差）を生成する。次いで、このピクチャは、モジュール１０４においてＤＣＴ変換によって変換される。変換されたピクチャが次いで、量子化モジュール１０５によって量子化される。次いで、ピクチャがモジュール１１１によって再編成される。ＣＡＢＡＣ（コンテキストベースの適応的二進算術符号化）型エントロピ符号化モジュール１１２は次いで、各ピクチャを符号化する。

モジュール１０６及び１０７（それぞれ、量子化モジュール及び逆変換モジュール）は、変換及び量子化に続く逆量子化及び逆変換の後、差Ｄ’ｎが再構成されることを可能にする。

ピクチャが、モジュール１０９により、イントラ・モードで符号化されると、イントラ予測モジュール１０８はピクチャを符号化する。ｕＦ’ｎピクチャ、並びにＤ’ｎ信号及びＰ信号の和が、加算器の出力１１４で得られる。このモジュール１０８は、再構成されたフィルタリングされていないＦ’ｎのピクチャを入力で受け取る。

フィルタ・モジュール１１０は、ｕＦ’ｎピクチャから再構成され、フィルタリングされたＦ’ｎピクチャを得ることが可能である。

エントロピ復号化モジュール１１２は、ＮＡＬタイプのユニットでカプセル化された符号化スライスを送信する。ＮＡＬは、例えば、ヘッダに関する情報、及びスライスを含む。ＮＡＬタイプ・ユニットはモジュール１１３に送信される。

モジュール１１６は、関心領域が求められることを可能にする。現在、いくつかの手法により、関心領域がピクチャ内で位置特定されることを可能にする。顕著性マップの確立に基づいた手法が特に知られている。例えば、トムソン・ライセンシング（Ｔｈｏｍｐｓｏｎ Ｌｉｃｅｎｓｉｎｇ）社により、西暦２００６年7月13日付けで出願された特許出願の国際公開２００６／０７２６３号パンフレット（西暦２００６年7月13日付け公開
）には、顕著性マップを作成する効果的な方法が開示されている。

手段１１６は次いで、ビデオのピクチャ毎に顕著性マップを確立する。前述の顕著性マップを確立するために、ユーザによって入力されるパラメータも考慮に入れ得る。例えば、ビデオが関係するイベントに応じて、撮影されたシーンの特定の重要な対象を規定し、特に、スポーツ・イベントの場合、それがサッカーの試合に関係している旨を規定することが可能である。効果的には、これにより、イベントに応じて顕著性ゾーンを重み付ける顕著性マップを得ることが可能になる。サッカーの試合では、スタンドではなくボールに焦点を当てることが好ましい。

関心領域モジュールはしたがって、１つ又は複数の顕著性ゾーン（関心領域としても表される）が抽出されることを可能にする。前述の関心領域は次いで、ピクチャ上で地理的に位置特定される。

前述の関心領域は、ピクチャの高さ及び幅に応じて座標によって識別される。前述のサイズは、関心領域毎に抽出することも可能である。意味情報の要素と関連付けることも可能である。実際に、サッカーの試合の場合、ユーザが、表示する対象のいくつかの関心領域の選択肢から、表示する対象の関心領域を選択することが可能な場合、関心領域に関する情報を必要とし得る。

モジュール１１５は、ＳＥＩ（「付加拡張情報」）タイプ・メッセージにコード化するために関心領域に関する情報を受け取る。

ＳＥＩメッセージは、以下の表に示すように符号化される。

ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８：復号化器にメッセージ・タイプを示すための１２８ビットの単一のワード。

ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ：ＳＥＩメッセージの一部を含む８ビット
通常、この場合、
ｐａｙｌｏａｄＳｉｚｅ＝１７（バイト）、よって、ＵＵＩＤは１６であり、固有データは１である。

ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ：

ｎｕｍｂｅｒ＿ｏｆ＿ＲＯＩ：ピクチャ（又は後続ピクチャ）内に存在している関心領域の数
ｒｏｉ＿ｘ＿１６：１６個の画素の倍数での、関心領域のピクチャにおけるＸの位置
ｒｏｉ＿ｙ＿１６：１６個の画素の倍数で、関心領域のピクチャにおけるＹの位置
ｒｏｉ＿ｗ＿１６：関心領域のピクチャ内の幅（１６画素の倍数）
ｒｏｉ＿ｈ＿１６：関心領域のピクチャ内の高さ（１６画素の倍数）
ｓｅｍａｎｔｉｃ＿ｉｎｆｏｒｍａｔｉｏｎ：関心領域を特徴付ける題名
相対的重み：基本的に最も関心の高い関心領域が分かるようにピクチャの関心領域毎の重みを表す。

Ｍａｃｒｏｂｌｏｃｋ＿ａｌｉｇｎｍｅｎｔ：関心領域が存在する開始マクロブロックの数、マクロブロック数、幅、及び高さでの、関心領域のサイズを表す。

関心領域が、顕著性マップを使用して検出されると、顕著性レートが、関心領域毎に得られ、顕著性マップを得る手法によって予め求められた特定の閾値よりも顕著性が高い場合、領域は顕著であるとして分類される。よって、ＳＥＩメッセージでは、関心領域は、固定閾値よりも顕著性が高い領域全ての顕著性の昇順で分類される。
モジュール１１３は、ＳＥＩメッセージをデータ・ストリームに挿入し、そうして符号化されたビデオ・ストリームを伝送ネットワークに送出する。

ＳＥＩメッセージは、参照するピクチャそれぞれよりも前に伝送される。

他の実施例では、２つ以上のピクチャ間で少なくとも１つの関心領域の位置が変動した場合にのみ、ＳＥＩメッセージを伝送することも可能である。よって、復号化中、復号化器は、復号化する対象のピクチャの直前であっても、前述のＳＥＩメッセージに現在のピクチャが先行しない場合に先行して受信されたピクチャに関する場合でも、直近に受信されたＳＥＩメッセージを考慮に入れる。

図２は、本発明の好ましい実施例を実現するＨ．２６４／ＡＶＣ符号化標準による符号化方法を示す。

工程Ｅ１中、放送する対象のビデオに関連付けられた顕著性マップが求められる。関心領域を示す前述の顕著性マップを求めるために、ビデオ・コンテンツに関する情報は、顕著性マップの確立中にこの情報を考慮に入れるために受け取ることも可能である。特に、スポーツ・イベントの間、ボールの位置は、ユーザの関心領域に対応し、この場合、ボールが位置しているピクチャのゾーンを特権化する。ビデオが、テレビ中継レポートの放送に対応する場合、例えば、既知のピクチャ処理手法を使用して顔を検出することにより、司会者を含むゾーンを特権化することにより、関心領域を求めるものとし得る。

Ｅ１工程の終了時に、ビデオ・コンテンツに関する１つ又は複数の関心領域がよって、得られる。

工程Ｅ２中に、ピクチャ内の関心領域の座標が求められる。関心領域のサイズは、画素においても求めることが可能であり、コンテンツ上の意味情報を各関心領域と関連付けることが可能である。

並列に、工程Ｅ３中に、ビデオ・ストリームは、Ｈ．２６４符号化標準に応じて符号化される。符号化中、関心領域として検出されたゾーンが特権化される。符号化レベルにおける関心領域を特権化するために、より低い量子化ステップが施される。

工程Ｅ２に続いて、工程Ｅ４中、ＳＥＩメッセージが、関心領域に関連付けられた意味情報及び位置から作成される。そうして作成されたＳＥＩメッセージは、表１及び表２において上述されたＳＥＩメッセージによる。

工程Ｅ５中、ストリームは、Ｈ．２６４標準による符号化ストリームを得るためにストリームにＳＥＩメッセージを挿入することによって構成される。

そうして符号化されたビデオ・ストリームは、工程Ｅ６中に、リアルタイムで、又は遅らせて復号化装置に送信され、復号化装置は局所又は遠隔であり得る。

図３は、Ｈ．２６４／ＡＶＣ符号化標準により、本発明による復号化装置の好ましい実施例を表す。

モジュール２０９は、入力においてＳＥＩメッセージを受信する。モジュール２０９は、別々のＳＥＩメッセージを抽出する。有用データのＮＡＬはエントロピ復号化モジュール２０１に送信される。

ＳＥＩメッセージはモジュール２１０によって解析される。このモジュールは、関心領域を表すＳＥＩメッセージのコンテンツの復号化を可能にする。各ピクチャの関心領域はよって、単純なやり方で、かつ、ｍａｃｒｏｂｌｏｃｋ＿ａｌｉｇｎｍｅｎｔというフィールドに含まれる情報を使用して各ピクチャの復号化前に復号化装置のレベルで識別される。

マクロブロックは、係数の組を得るために再配列モジュール２０２に送信される。前述の係数は、モジュール２０３における逆量子化、及びモジュール２０４における逆ＤＣＴ変換を経る。モジュール２０４の出力では、Ｄ’ｎのマクロブロックが得られ、Ｄ’ｎはＤｎの変形されたバージョンである。予測ブロックＰを加算器２０５により、Ｄ’ｎに加算してマクロブロックｕＦ’ｎを再構成する。ブロックＰは、インター・モードにおける符号化中に、先行する復号化フレームの、モジュール２０８によって行われる動き補償後に、又は、イントラ・モードにおける符号化の場合、モジュール２０７による、マクロブロックｕＦ’ｎのイントラ予測後に得られる。フィルタ２０６は、歪みの影響を削減するために信号ｕＦ’ｎに施され、再構成されたフレームＦ’ｎが一連のマクロブロックから生成される。

ＳＥＩメッセージに含まれる関心領域に関する情報を使用して、関心領域を表すブロックがストリームにおいて、表示前に検出され、前述のブロックが識別され、ユーザの選択に応じてクロッピングし、ＰＤＡや携帯電話機などの装置に、表示するために送信することが可能である。

例えば、意味情報を入力することにより、表示したいマクロブロックを選ぶためにユーザに選択を任せることも可能である。例えば、「ボール」を入力し、この場合、ボールを含む関心領域が表示される。この意味情報に関連付けられた関心領域が存在しない場合、関心領域全てを表示することが可能である。種々の関心領域を画面上にモザイクの形式で表示することが可能である。単一の関心領域が表示されると、前述の関心領域は、全画面を占めるように画面上にズームで表示される。

復号化装置はよって、ユーザに対する関心情報を含んでいる可能性が高いマクロブロックのみを復号化する。このようにして、復号化は、より高速になり、復号化装置のレベルで、かつ、したがって、受信側で必要とする資源が少なくなる。受信装置が、処理容量が限定的な移動端末である場合、このことは特に効果的である。

図４は、本発明の好ましい実施例を実現するＨ．２６４／ＡＶＣ符号化標準による復号化方法を示す。

前述の方法は、表示容量が限定的な移動端末において実現することが可能である。

工程Ｓ１中、必要な表示のタイプが選択される。選択は、移動端末上に存在しているユーザ・インタフェースによって行われる。完全ピクチャ・モードで機能することにされる場合、送信器によって送信されるにつれ、ビデオ・ストリーム全体が表示される。あるいは、ピクチャの関心領域のみを表示することにされる。この特定のモードは、本発明の特徴を構成する。関心領域を表示することにした場合、工程Ｓ２に移り、さもなければ、工程Ｓ８に移る。各種ＳＥＩメッセージを、他のアプリケーションのビデオ・ストリームに挿入することが可能であり、この場合、工程Ｓ８前、又は工程Ｓ８中、ＳＥＩメッセージ解析の工程が存在し得る。

工程Ｓ２中、ユーザは、関心領域の使用法を選択する。特に、ユーザは、
表示したい関心領域の最大数、
画面上に種々の関心領域を表示したい態様（例えば、モザイクの形式）、
関心領域に対して望まれるズームの度合いを選択することが可能であり、
キーワードを使用して、「意味情報」フィールドがキーワードを含む関心領域
を選択することが可能である。この場合、ピクチャ毎に、キーワードを含むピクチャ毎に単一の関心領域（この場合、顕著度が最大の関心領域）を表示することが必要であるか、又はキーワードを含むいくつかの関心領域を表示することが必要であるかを規定することも可能である。

工程Ｓ３中、ストリームに存在しているＳＥＩメッセージは、受信されるにつれて解析される。ＳＥＩメッセージは、ピクチャ符号化前に検出されたピクチャの関心領域の位置を符号化するために使用される。よって、ピクチャ毎に、ピクチャの視覚特性により、若しくはピクチャ・コンテンツにより、又は両方により、１つ又は複数の関心領域が存在し得る。ＳＥＩメッセージは、前述した表１及び表２によって符号化される。ＳＥＩメッセージに関する情報は、時間上、対応するピクチャの表示まで記録される。

工程Ｓ４中、ピクチャは全て、復号化標準に従って復号化される。

工程Ｓ５中、復号化された関心領域は、Ｓ２工程中にユーザが選択したものによって処理される。ユーザが、ピクチャの主関心領域のズームを選択した場合、工程Ｓ６中、最大表示サイズに達するようにゾーンが拡大される。ユーザが、関心領域のモザイクを選択した場合、ピクチャは関心領域で再構成され、それぞれの関心領域は、表示に選択された関心領域の数及び画面サイズによって拡大される。ユーザがキーワードを規定した場合、キーワードを含む関心領域が表示され、ズームされる。

工程Ｓ７中、関心領域が、ユーザの望みに応じて、移動端末の画面上に表示される。

工程Ｓ８中、ユーザによる、関心領域のみを表示する旨の非選択に続いて、ビデオ・ストリーム全体が、表示のために復号化される。

図５は、本発明のビデオ索引化アプリケーションを示す。

図５は、パーソナル・レコーダ（ＰＶＲ）タイプの装置５００を部分的に示す。ＰＶＲ５００は、その入力で圧縮ビデオ・ストリームを受信する。上述の実施例によれば、このビデオ・データ・ストリームは、Ｈ．２６４符号化標準に従っている。圧縮ビデオ・ストリームは、特に、表１及び表２で上述したようなＳＥＩメッセージを含む。

このビデオ・データ・ストリームは、記録サポート５０３に部分的に送信される。記録サポートは、ハード・ディスク、ホログラフィック・サポート、メモリ・カード、又は「ブルー・レイ」ディスクとみなし得る。この記録サポートは他の実施例では遠隔であり得る。

ビデオ・データ・ストリームは、（例えば、テレビ受像機上に表示されるために）リアルタイムで復号化するために復号化器５０１に別の部分において送信される。既知の装置では、ストリームは、ユーザがリアルタイムで視たい場合、復号化器５０１に送信される。否定の場合、記録が要求された場合、復号化されないが、単純に記録される。

本発明は、この局面によれば、リアルタイムでの視聴が要求されない場合でも、ビデオ・データ・ストリームの部分の復号化を提供する。ビデオ・ストリームの部分の場合、特に、関心領域又は特定の関心領域である。

復号化器５０１が、記録が要求されたビデオ・ストリームを受信すると、データは、記録サポート５０３に送信される。記録サポート５０３は、受信されるにつれ、データを記録する。同時に、復号化器５０１は、ビデオ・データ・ストリームを受信し、ＳＥＩメッセージを漸次、復号化する。復号化された関心領域は、記録サポート５０３に送信する前に、一時的に記録する役割を果たすビデオ索引化モジュール５０２に送信される。

図６は、復号化器５０１及び索引化モジュール５０２によって実現される方法を示す。

工程Ｔ１中、ビデオ・データ・ストリームは復号化器５０１によって受信される。工程Ｔ２中、復号化器５０１は、ビデオ・データ・ストリームに存在しているＳＥＩメッセージを復号化する。復号化されたＳＥＩメッセージは、表１及び表２に上述されたようなＳＥＩメッセージである。復号化器は、他のＳＥＩメッセージを復号化することも可能であるが、これは本発明の目的でない。各ＳＥＩメッセージは、表１及び表２に上述したようなピクチャ毎に１つ又は複数の関心領域を表すことが可能である。工程Ｔ３中、復号化器５０１は、各ＳＥＩメッセージを解析し、各ピクチャを復号化する。この工程中、ＳＥＩメッセージにおいて示された重みは、どの関心領域がピクチャ毎に記録されるかを選択するために使用される。好ましい実施例では、顕著性が最大の（すなわち、重みが最高の）関心領域が維持される。

関心領域が復号化されると、工程Ｔ４中に、索引化モジュール５０２に送信される。ピクチャ（全てのピクチャ）毎の関心領域の記録に対する関心は低い。情報量が大きく、効率的なビデオ索引化を可能にしないからである。よって、索引化モジュールは、ビデオを索引化するためにどのピクチャを使用するかを決定する。上述の好ましい実施例によれば、約１０のみのピクチャが、１．５時間のビデオについて選択される。他の実施例では、ピクチャの数が大きくなることが想定される。前述の１０個のピクチャは、等間隔で撮られる。前述の選択されたピクチャは、索引化モジュール５０２に含まれるＲＡＭタイプのメモリ（図示せず）に一時的に記録される。最善のやり方で表示されるために、ピクチャは、工程Ｔ５中にズーミングされる。すなわち、全て、同じサイズであるように拡大される。好ましい実施例では、このサイズはピクチャのサイズであり得る。そのために、それらは、一時メモリにおいて読み出され、拡大後に再記録される。別の実施例では、ピクチャは、一時メモリにおける記録前に拡大される。

別の実施例によれば、画像はディスプレイ上のモザイクとして提示される。したがって、拡大される代わりに、画像は、全てについて同様に、１つの単一サイズに縮小される。

ビデオ全体が受信され、記録サポート５０３において記録されると、索引化ピクチャは、一時メモリから記録サポート５０３に転送され、ファイルに記録される。

次いで、所望の使用によれば、関心領域は、索引化に使用される。上記索引化により、ユーザがデータベースの内容を照会したい場合に、レコーダがビデオの画像を表示することが可能になる。

本発明の別の局面によれば、ＳＥＩメッセージの符号化中に関心領域の位置データを暗号化することも可能である。よって、復号鍵を有するユーザのみが、関心領域にアクセスし、関心領域の視覚化にアクセスするか、又は、関心領域の位置情報により、ビデオ・ストリームの索引にアクセスすることが可能である。この暗号化工程（図２を参照）は、工程Ｅ４’（図示せず）になるが、工程Ｅ４後に挿入される。

復号鍵の取得は、例えば、番組放送者からの有料サービスの対象であり得る。

これを行うために、関心領域に関するＳＥＩメッセージは、ＲＴＰ（リアルタイム・プロトコル）タイプ・パケットにカプセル化され、別のビデオ・ポート上に送信される。時間ＣＴＳタイプ・ラベルは、対応するピクチャと、関心領域に関するＳＥＩメッセージとを関係付けることが可能である。効果的には、この送信モードは、ビデオでなく、ＳＥＩメッセージを含むＲＴＰパケットのみを暗号化することを可能にする。

復号は、端末受信器のレベルで行われる。

ＭＰＥＧ−２ ＴＳカプセル化の場合、使用される暗号化標準はＤＶＢ−ＣＳＡであり、関心領域に関するＳＥＩメッセージは、ビデオのものとは別のＰＩＤにカプセル化される。関心領域に関するＳＥＩメッセージは、ＰＥＳパケット・ヘッダのＰＴＳ（タイムスタンプ）を介して、対応するピクチャに関係付けられる。この送信モードは、ビデオＰＩＤではなく、関心領域に関するＳＥＩメッセージを含むＰＩＤのみの暗号化を可能にする。

別の実施例では、ビデオ・ストリームは、ピクチャの別々の部分を無関係に符号化し、よって、無関係に復号化することを可能にするＦＭＯ（柔軟なマクロブロック配列）を使用してＨ．２６４／ＡＶＣ符号化標準によって符号化される。ＦＭＯモードは「スライス群」を使用する。「スライス群」は標準に規定されている。この実施例では、関心領域は、ピクチャの残りとは別の群において符号化される。ＰＰＳタイプのＮＡＬは、「スライス群」のマップを含む。関心領域が符号化された「スライス群」を示す、後述のものなどのＳＥＩメッセージが挿入される。

以下の表は、この実施例によって使用されるＳＥＩメッセージの形式を示す。

ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８：復号化器にメッセージ・タイプを示すための１２８ビットの単一のワード。

ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ：ＳＥＩメッセージの一部を含む８ビット
通常、この場合、
ｐａｙｌｏａｄＳｉｚｅ＝１７（バイト）。よって、ＵＵＩＤは１６であり、固有データは１である。

ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ：

Ｓｌｉｃｅ＿ｇｒｏｕｐ（ｉ）＿ｉｄ： ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄが「１」の場合、ｓｌｉｃｅ＿ｇｒｏｕｐは関心領域を表し、ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄが「０」の場合、ｓｌｉｃｅ＿ｇｒｏｕｐはピクチャの残りを表す。

関心領域を表すｓｌｉｃｅ＿ｇｒｏｕｐ毎に、意味情報、相対重み、及び関係するマクロブロックを規定することが可能である。

よって、関心領域に対応するマクロブロックのみを、無関係に識別され、符号化されるにつれ、受信中に復号化することが可能である。

Claims (14)

1. パーソナル・レコーダ装置が符号化ビデオ・データ・ストリームを索引化する方法であって、前記ビデオ・データ・ストリームは、各ピクチャの関心領域の位置に関する情報を含み、前記方法は、
   前記パーソナル・レコーダ装置が復号化器用の符号化ビデオ・データ・ストリームを受信する工程と、
   記録サポートが前記記録サポート上に前記符号化ビデオ・データ・ストリームを記録する工程と、
   復号化器が関心領域の位置情報を復号化する工程と、
   ビデオ索引化モジュールがピクチャ毎に関心領域を選択する工程と、
   前記復号化器が符号化ビデオ・データ・ストリームを復号化する工程と、
   前記ビデオ索引化モジュールがピクチャ毎に前記選択された関心領域から前記ビデオ・データ・ストリームの所定数の関心領域を選択する工程と、
   前記記録サポートが前記記録サポート上に前記ビデオ・データ・ストリームの前記選択された関心領域を記録する工程と
   を含む、索引化する方法。
2. 請求項１記載の索引化する方法であって、前記記録サポートが前記ビデオ・データ・ストリームの前記選択された関心領域を記録する工程中に、
   前記ビデオ・データ・ストリームが復号化され、前記ビデオ・データ・ストリームの前記関心領域が選択されるにつれ、前記ビデオ・データ・ストリームの前記選択された関心領域が一時メモリに記録され、
   前記ビデオ・データ・ストリームの前記選択された関心領域が前記一時メモリに記録されると、前記ビデオ・データ・ストリームの前記選択された関心領域が記録サポートに転送される、索引化する方法。
3. 請求項１又は２の何れか一項に記載の索引化する方法であって、前記方法は、
   前記ビデオ索引化モジュールが前記ビデオ・データ・ストリームの所定数の関心領域を選択する工程と、前記記録サポートが前記ビデオ・データ・ストリームの前記選択された関心領域を記録する工程との間に、前記ビデオ・データ・ストリームの前記選択された関心領域の一様なサイズを得るために前記ビデオ・データ・ストリームの前記選択された関心領域を前記パーソナル・レコーダ装置がズーミングする工程を含む、索引化する方法。
4. 請求項１乃至３の何れか一項に記載の索引化する方法であって、暗号化鍵により、前記関心領域の位置情報を前記パーソナル・レコーダ装置が暗号化する工程を含む、索引化する方法。
5. 請求項４記載の索引化する方法であって、ユーザによる支払いにより、復号鍵を前記パーソナル・レコーダ装置が得る工程を含む、索引化する方法。
6. 請求項１乃至５のうちの何れか一項に記載の索引化する方法であって、前記ビデオ・データ・ストリームはＨ．２６４／ＡＶＣ符号化標準に応じて符号化され、前記位置情報は付加拡張情報（ＳＥＩ）タイプ・メッセージに含まれる、索引化する方法。
7. 請求項５又は６に記載の索引化する方法であって、付加拡張情報（ＳＥＩ）タイプ・メッセージはリアルタイム・プロトコル・パケット（ＲＴＰ）にカプセル化され、前記ＲＴＰパケットは暗号化される、索引化する方法。
8. 請求項５乃至６の何れか一項に記載の索引化する方法であって、関心領域位置情報に関する付加拡張情報（ＳＥＩ）タイプ・メッセージは、前記付加拡張情報タイプ・メッセージが参照するピクチャそれぞれの前又は後の符号化ビデオ・データ・ストリームに挿入される、索引化する方法。
9. 請求項１乃至８のうちの何れか一項に記載の索引化する方法であって、前記位置情報は、
   各ピクチャにおける関心領域の数、
   ピクチャ幅及びピクチャ高さに応じた、関心領域それぞれの座標、
   関心領域それぞれの前記幅及び前記高さ、
   前記ピクチャの他の領域に対する前記関心領域の相対的重み、
   関心領域それぞれの内容に関する情報、及び
   情報の何れかの組合せ
   から選ばれる情報を含む、索引化する方法。
10. 請求項１乃至９のうちの何れか一項に記載の索引化する方法であって、前記ビデオ索引化モジュールが前記ピクチャ毎に関心領域を選択する工程は、前記ビデオ索引化モジュールが前記関心領域の前記相対的重みに応じて関心領域を選択する、索引化する方法。
11. 請求項６乃至１０のうちの何れか一項に記載の索引化する方法であって、
    ビデオ符号化標準は、柔軟なマクロブロック配列を使用し、前記関心領域は、他のピクチャ・データと無関係にスライス群に符号化され、前記関心領域の位置情報は、前記関心領域が符号化されたスライス群番号を含む、索引化する方法。
12. 請求項１１記載の索引化する方法であって、付加拡張情報（ＳＥＩ）タイプ・メッセージは、一関心領域に関係している場合、スライス群それぞれについて示す識別子を含む、索引化する方法。
13. 請求項１２記載の索引化する方法であって、前記パーソナル・レコーダ装置が前記付加拡張情報（ＳＥＩ）タイプ・メッセージを読み出す更なる工程を含み、前記復号化器が前記符号化ビデオ・データ・ストリームを復号化する工程は、スライス群が一関心領域に関係する旨を識別子が示すスライス群のみを前記復号化器が復号化する、索引化する方法。
14. 符号化ビデオ・データ・ストリームを索引化する装置であって、前記ビデオ・データ・ストリームは、各ピクチャの関心領域の位置に関する情報を含み、前記装置は、
    符号化ビデオ・データ・ストリームを受信する手段と、
    記録サポート上に前記符号化ビデオ・データ・ストリームを記録する手段と、
    前記関心領域の位置情報を復号化する手段と、
    ビデオ・データ・ストリームを復号化する手段と、
    ピクチャ毎に関心領域を選択する手段と、
    ピクチャ毎に選択された関心領域から前記ビデオ・データ・ストリームの所定数の関心領域を選択する手段と、
    前記ビデオ・データ・ストリームの前記選択された関心領域を記録する手段と
    を備える、索引化する装置。

Images