JP4408330B2

JP4408330B2 - 動画像内のロールテロップ検出装置および記録媒体

Info

Publication number: JP4408330B2
Application number: JP2000396818A
Authority: JP
Inventors: 晴久加藤; 康之中島; 広昌柳原
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2000-12-27
Filing date: 2000-12-27
Publication date: 2010-02-03
Anticipated expiration: 2020-12-27
Also published as: JP2002199407A

Description

【０００１】
【発明の属する技術分野】
この発明は動画像内のロールテロップ検出装置および記録媒体に関し、特に、圧縮符号化データそのもの又はその一部だけを復号した情報から、高速かつ高精度にロールテロップ領域を抽出できる動画像内のロールテロップ検出装置および記録媒体に関する。
【０００２】
【従来の技術】
従来のテロップ検出方式としては、テロップ文字列のエッジ部を特徴量に利用した方式（以下、第１の検出方式）が報告されている。
【０００３】
この第１の検出方式は、フレーム毎にエッジ部を検出し、テロップ出現位置の局所性や規則的な配置などの幾何的な特徴量からテロップを求める。個々のフレームから検出されたテロップ領域に対し、時間的に隣接する領域を対応付けることで連続したテロップとする。
【０００４】
その他の検出方式としては、テロップと背景との境界部位に注目して、エッジ部の集中度を利用する方式、文字領域の色の均一性を背景部との分離に利用する方式などがある。さらに、これらの特徴量を組み合わせて総合的に判断する方法として、ニューラルネットワークや遺伝アルゴリズムを採用した検出方式が提案されている。
【０００５】
以上のテロップ検出方式は映像の各画素から直接特徴量を求め、解析することでテロップを検出する方式である。
【０００６】
一方で、圧縮符号化された動画像の符号化データそのものを利用する方式が提案されている。この方式は、圧縮の際に求められる各種のパラメータや符号化データを直接操作することでテロップ領域の検出処理を達成する。
【０００７】
動き予測誤差の係数に注目した方式（以下、第２の検出方式）は、イントラフレームの符号単位ブロックについて文字領域の空間的特徴を観測し、静止テロップを検出する。ロールテロップに関してはハフ変換を利用し、連続するイントラフレーム間で静止テロップのパターンベクトルを計算し、相関が最も高い領域を抽出する。
【０００８】
【発明が解決しようとする課題】
第１の検出方式を圧縮符号化された動画像データに適用するには、符号化データを一旦復号する必要がある。圧縮符号化データを画素領域の情報に戻さねばテロップ検出処理を適用できず、処理負荷の重い復号処理の後、初めて画素領域でのテロップ領域検出処理が施されることになる。
【０００９】
動画像は非常に広い信号帯域を持ち膨大なデータ量を必要とするので、一般的に動画像は圧縮された形で記録や伝送に広く利用されている。そのため第１の検出方式では、本来の検出処理に加えて、圧縮データの復号処理に大きな計算コストがかかるという問題がある。
【００１０】
一方、第２の検出方式は圧縮符号化データそのものを利用するので、復号処理過程が省略でき検出処理も高速に実行できる。しかし、実際の動画像ではパン、チルトなどのカメラワークやワイプ、ディゾルブなどの撮影後に編集された映像効果などの要因によって動き予測誤差情報の変化が激しく、テロップの出現との判別が難しい。特にシーンチェンジにおいてはこの影響が大きく、シーンチェンジ後のフレームをテロップ領域と誤認識するなど検出精度に問題がある。さらに、イントラフレーム情報のみによる検出方式であるため、検出領域の時間的解像度が低いという問題がある。
【００１１】
また、前記第１、第２の検出方式はフレーム毎に文字領域を抽出し、該領域のフレーム間での対応付けから、結果として移動したテロップを認識する。移動するテロップの特徴量の一つである動き情報が一切利用されておらず、個々のフレームにおいては、あくまで静止したテロップという認識である。そのため、異なるテロップ同士を連結する恐れがあり、ロールテロップの検出という点からは検出精度に疑問が残る。
【００１２】
本発明の目的は、前述した従来技術の問題点を解消し、圧縮された符号化データそのものまたはその一部だけを復号した情報から、ロールテロップの出現を高速かつ高精度に検出でき、またフレーム内でのロールテロップ位置を抽出できる動画像内のロールテロップ領域検出装置および記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、圧縮された動画像データを入力とし、該動画像データにロールテロップ領域情報を付加して出力する動画像内のロールテロップ検出装置において、前記圧縮された動画像データを部分的に復号して符号化情報を出力する可変長復号部と、前記符号化情報及び予測位置情報の少なくとも一つをもとにロールテロップの位置情報と動き情報を抽出するロールテロップ検出処理部と、検出結果の前記位置情報と動き情報から将来の位置を推定し、予測位置情報を前記ロールテロップ検出処理部に戻すロールテロップ動き予測部とを具備し、前記ロールテロップ検出処理部は、前記符号化情報が動き予測情報を含む場合、該動き予測情報をもとに形成した部分領域をロールテロップの検出単位とするようにした点に特徴がある。
【００１４】
この特徴によれば、ロールテロップの出現を高速かつ高精度に検出でき、またフレーム内でのロールテロップ位置を抽出できるようになる。
【００１５】
また、本発明は、圧縮された動画像のデータを可変長復号することにより得られた符号化情報と予測位置情報をもとにロールテロップの位置情報と動き情報を抽出し、前記符号化情報が動き予測情報を含む場合、該動き予測情報をもとに形成した部分領域をロールテロップの検出単位とする第１の工程と、前記位置情報と動き情報から将来の位置を推定して予測位置情報を決定し、該予測位置情報を前記第１の工程に戻す第２の工程とを、コンピュータ読み取り可能な記録媒体に記録した点に特徴がある。
【００１６】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の動画像内のロールテロップ領域検出装置の一実施形態の構成を示すブロック図である。なお、「ロールテロップ」は、本発明では、移動するあるいはスクロールするテロップを意味する。また、この実施形態は入力動画像の符号化方式に国際標準であるMPEG-1ビデオ(ISO/IEC11172-2)を使用しているが、本発明はこれに限定されるものではない。
【００１７】
システム全体の入力として圧縮符号化された動画像の符号化データａが与えられる。符号化データａは、可変長復号部１により必要な情報だけが部分的に復号され、符号化情報ｂ、すなわち動き予測情報、動き予測誤差情報、および符号化モード情報が検出判定処理部２に送られる。検出処理判定部２は検出対象画像の符号化情報ｂと過去の検出結果からの予測位置情報ｄをもとに、圧縮符号化上のフレームの種類により最適なロールテロップ判定処理を行う。
【００１８】
その検出結果情報ｃは外部へ出力されると同時に、次フレーム以降の検出処理判定に利用するため、ロールテロップ動き予測部３へ入力される。ロールテロップ動き予測部３では、検出判定処理部２からの確定済みのロールテロップ位置情報と動き情報をもとに、次フレーム以降での出現位置を予測する。予測位置情報ｄは前記符号化情報ｂと併せて前記ロールテロップ検出処理部２に入力される。
【００１９】
次に、ロールテロップ検出処理部２の具体的構成を、図２を参照して説明する。ロールテロップ検出処理部２は、領域対象設定部２１、時間的相関判定部２２、領域形成部２３、および形状判定部２４から構成される。
【００２０】
領域対象設定部２１はロールテロップとしての必要最小限の特徴を備えるブロックだけを選別する。これは、最終的な検出対象となる部分領域を形成する処理負荷を抑える働きをする。時間的相関判定部２２は過去及び未来の符号化情報を保持し、領域対象設定部２１で選択されたブロックの時間的相関性を判断する。
【００２１】
領域形成部２３は領域対象設定部２１で選別されたブロックに対し、動き予測情報をもとにクラスタリングを行い、ロールテロップの判定単位となる部分領域を形成する。領域形状判定部２４は領域形成部２３からの情報をもとに部分領域の幾何的形状からロールテロップとしての最終判断を下す。
【００２２】
次に、前記領域対象設定部２１の動作の詳細を、図３のフローチャートを参照して説明する。入力される情報は、現フレームの全ブロックの符号化情報ｂと過去の検出結果領域を現フレームに対応付けた予測位置情報ｄである。一方、出力情報は各ブロックを領域形成対象と非領域形成対象に選別した情報である。
【００２３】
初めに、フレーム全体を動き予測情報が付加される最小単位のブロックに分割する。ステップＳ１では、ロールテロップ動き予測部３からの予測位置ｄに対応するブロックを領域形成対象に設定する。ステップＳ２では、前記符号化情報ｂ中の符号化モード情報から、対象ブロックがフレーム内符号化ブロックか否か判定する。対象ブロックの符号化モードに対応した判定を用い、ロールテロップの一部に相応しいブロックを領域形成の対象として抽出する。
【００２４】
フレーム内符号化ブロックであれば、ステップＳ３へ進み、フレーム内符号化情報の判定をする。フレーム内符号化ブロックでなければ、ステップＳ４に進み、対象ブロックが動き予測情報を持つか否か判定する。動き予測情報があれば、ステップＳ５に進んで、動き予測情報判定を行う。該動き予測情報がなければ、ステップＳ６に進んで非領域対象と設定する。
【００２５】
前記ステップＳ２，Ｓ３における判定は、個々のブロックの符号化モード情報を参照することで高速に処理される。フレーム内符号化情報判定（ステップＳ３）と動き予測情報判定（ステップＳ５）は、それぞれフレーム内符号化情報と動き予測情報をもとにブロックが領域対象か否かを判定する。
【００２６】
ステップＳ７で、フレーム内の全てのブロックに対し領域対象の判断が下されていなければ、ステップＳ２へ戻り判定処理を繰り返す。全ての予測領域に判断が下された後（ステップＳ７の判断が肯定）、領域対象の位置情報を出力すると共に領域対象設定部２１の処理を終了する。
【００２７】
図３の領域対象設定処理を簡略化するため、前記ステップＳ１における領域対象判定をロールテロップの移動方向の前後に位置するブロックのみに適用するのが好適である。すなわち、移動方向の前方と後方に位置するブロックに対して、ロールテロップ候補領域に属するか判断する。移動方向と垂直な方向に関しては判定は行わないようにする。
【００２８】
前後ブロックがロールテロップ候補領域に属するには、該ブロックの動き予測情報の方向成分と長さ成分が、共に元となる候補領域のそれらと一致することを条件とする。ただし、動き予測情報はフレームの時間的相対位置によって長さが異なるため、フレーム間距離によって補正した値を利用する。条件を満たさないブロックは領域形成対象から外す。
【００２９】
ロールテロップ領域の進行方向に対して後方に位置するブロックが対象領域に属さないと判断された場合、進行方向に隣接するブロックに対して同判定を行う。
この判定は、隣接ブロックまでの距離が動き予測情報の長さを超えるか、または領域に属するブロックが現れるまで繰り返す。
【００３０】
逆に、進行方向に対して前方に位置するブロックが対象領域に属すると判断された場合は、進行方向に隣接するブロックに対して同判定を行う。隣接ブロックまでの距離が動き予測情報の長さを超えるか、または領域に属するブロックが現れるまで繰り返す。その他のブロックについては予測領域の情報をそのまま維持することで領域対象設定を完了する。
【００３１】
次に、前記ステップＳ２におけるフレーム内符号化情報判定は、フレーム内符号化情報による判定を行う。フレーム内符号化情報が大きく存在する場合は領域対象に含め、一方、フレーム内符号化情報が小さく見積もられている場合は非領域対象とする。
【００３２】
フレーム内符号化情報判定の一例を図４に示す。MPEG符号化方式ではフレーム内符号化情報に、DCT係数のDC成分、AC成分等を利用することができる。ステップＳ２１では、例えば８×８画素からなる４組のブロック（１マクロブロック）のDCT係数の中から４つのDC成分を利用する。ブロック内の４つDC成分の最大値と最小値の差分値を求め、ダイナミックレンジとする。
【００３３】
該DC成分のダイナミックレンジを予め定めた閾値thr１と比較し、該閾値以上の値を持つブロックをステップＳ２２にて領域対象とする。そうでなければ、ステップＳ２３へ進む。ステップＳ２３では、AC成分の低周波成分寄りｎ個の部分和を計算し、該部分和を予め定めた閾値thr２と比較する。該部分和が閾値thr２以上であれば、ステップＳ２２へ、そうでなければ、ステップＳ２４へ進む。ステップＳ２２，Ｓ２４では該ブロックに対し、それぞれ領域対象、非領域対象と設定し、フレーム内符号化情報判定を終了する。
【００３４】
次に、ステップＳ４における動き予測情報判定の詳細を説明する。該動き予測情報判定処理は、領域対象を有意な動き予測情報を持つブロックに限定する。動き予測情報を持たないブロックや、動き予測情報の長さ成分が閾値より小さなブロックは非領域対象とする。
【００３５】
さらに、ロールテロップの動きはフレームに対して上下左右の４方向と仮定し、動き予測情報の方向成分が該上下左右のいずれか一つの方向だけを指すブロックを選択する。対角方向を指すブロックは非領域対象とする。
【００３６】
また、両方向予測を用いるブロックについては、両方向とも前記の長さ判定と方向判定を満たすことを要件とする。その上で順方向予測と逆方向予測が相異なる方向を向くブロックを領域対象とし、そうでなければ、非領域対象とする。
【００３７】
該ステップＳ４の動き予測情報判定の詳細を図５に示す。ステップＳ４１は動き予測情報の長さ成分判定と方向性判定を一度に処理する。すなわち、動き予測情報の正確な長さは求めずに動き予測情報の水平若しくは垂直方向の長さの絶対値を求める。何れか一方が閾値thr３より大きな値を持つと同時にもう一方が０に十分近似できる場合、ステップＳ４２へ進む。両成分が共に大きい又は共に小さい場合はステップＳ４５へ進む。
【００３８】
ステップＳ４２では、符号化モード情報から両方向予測ブロックであるか否かを判断する。両方向予測ブロックであれば、ステップＳ４４へ進み、片方向予測であれば、ステップＳ４３へ進む。
【００３９】
ステップＳ４４では、順方向予測と逆方向予測が指す相対的方向を調べる。予測位置が同軸上に存在し且つ異符号からなる場合はステップＳ４３へ、同軸上に存在しない又は同符号からなる場合はステップＳ４５へ進む。ステップＳ４３，Ｓ４５では、該ブロックに対し、それぞれ領域形成対象、非領域形成対象と設定した後、動き予測情報判定を終了する。
【００４０】
次に、図２の時間的相関判定部２２の処理について説明する。時間的相関判定部２２は、検出処理フレームの過去及び未来の複数フレームの符号化情報を入力し、ブロックの領域対象判定を行う。
【００４１】
該時間的相関判定部２２の詳細を図６に示す。該時間的相関判定部２２は、前記領域対象設定部２１で設定されたブロックについて、過去及び未来のフレームとの時間的相関を調査するため、ステップＳ５１は領域対象ブロックか否かを調べる。領域対象ブロックであれば、ステップＳ５２へ進み、非領域対象ブロックであれば、次のブロックを新たな対象としてステップＳ５１に戻る。
【００４２】
ステップＳ５２は注目ブロックの動き予測情報から、過去及び未来のフレームでの参照位置を求める。参照位置は、動き予測情報をフレーム間距離で補正する。ステップＳ５３は参照位置を占めるブロックの動き予測情報が対象ブロックの動き予測情報の方向と一致し、且つフレーム間距離で補正した長さと近似可能であるときステップＳ５４へ、そうでなければステップＳ５７へ進む。
【００４３】
ステップＳ５４は時間的相関判定の対象となる参照フレーム全てに対して判定処理が完了していれば、ステップＳ５５へ進む。そうでなければ次の参照フレームを新たな対象としてステップＳ５２へ戻る。処理ステップＳ５５では、改めて該ブロックを領域対象と設定し、ステップＳ５７はロールテロップ候補を無効にし非領域対象とする。
【００４４】
フレーム内符号化フレーム間の時間相関判定は、過去の検出結果領域のDCT係数DC成分の配列を該フレーム中に一致する領域に求める。テロップ文字列とブロックとの相対的位置関係から生じるDC成分自体の変化を抑えるため、DC成分の値を異なる系列に変換してマッチングする。別空間へのマッピングは文字列の位置関係の不変性を利用し、DC成分の相対的変化に注目する。
【００４５】
DCT成分を含む縦横それぞれ一列ずつのブロックを走査し、連続する２つのDC成分を比較する。走査順に差分値を粗く量子化した値に写像する。過去の検出結果の領域からも同様に写像を行い、進行方向の各ラインとブロック毎に積和演算を行い、総和を計算する。総和が最大となる領域を相関が最も高い領域と判断し、ロールテロップの候補とする。
【００４６】
以上で、領域形成処理にかかる負荷を軽減するため、ロールテロップの一部となり得ないブロックを予め候補から外す時間相関判定部を終了する。
【００４７】
次に、図２の領域形成部２３の処理について説明する。該領域形成部２３は、領域対象設定部で選別されたブロックを類似した動き予測情報を持つブロックから構成される領域に形成する。該領域形成部２３の詳細を図７を参照して説明する。
【００４８】
ステップＳ６１は対象ブロックと非対象ブロックを選り分け、対象ブロックであれば、ステップＳ６２へ進める。そうでなければ、次のブロックを新たな処理ブロックとしてステップＳ６１に戻る。ステップＳ６２は、領域対象となるブロックに注目したとき、近傍に領域形成対象ブロックが存在し、かつその動き予測情報の方向と長さ成分が十分に近似可能であるならばステップＳ６３へ進む。
【００４９】
ステップＳ６３はブロックを同一領域と見なし結合する。近傍に領域形成対象が存在しない場合や、動き予測情報の方向成分若しくは長さ成分の何れか一つでも相違が見られるときは、異なる領域と判断し結合しない。
【００５０】
ステップＳ６４は、近傍の領域対象全てに対して再帰的に処理を行う。結合したブロックに対して、近傍に処理対象が存在すれば、ステップＳ６２へ戻る。そうでなければ、ステップＳ６５へ進む。
【００５１】
ステップＳ６５は全ての領域対象に対し、何れかの領域に属しているかを確認し、未だどの領域にも属していない領域対象があれば、ステップＳ６１に戻る。全ての領域対象が領域を形成し終えた後、領域形成部は処理を終了する。
【００５２】
次に、図２の領域形状判定部２４について詳細に説明する。領域形状判定部２４は、前記領域形成部２３で形成された領域に注目して、幾何的形状からロールテロップの可能性を判断する。
【００５３】
ステップＳ７１の整形処理は、前記領域形成部２３で作られた領域に対し、近傍に存在する複数のロールテロップ同士が連結した領域を分離する。領域が複数ラインから形成されている場合、領域の長辺方向に平行なラインに沿って領域内の動き予測誤差情報による部分和を求める。このとき動き予測誤差情報を持つ単位ブロックが空間解像度となる。複数の部分和の中で極端に値がかけ離れているラインについては連結ラインとして領域からラインごと排除し、1つの領域を複数領域に分割する。
【００５４】
ステップＳ７２は、構成要素数がある閾値thr４以下である小領域はノイズによる誤認識と判断し、ロールテロップ候補から除去する。また、構成要素数が閾値thr５以上の大領域は、パンやチルト等のカメラワークによるフレーム全体の見かけ上の移動と判断し、ロールテロップ候補から除外する。
【００５５】
ステップＳ７３は、ロールテロップの形状を長方矩形に限定し、最終的なロールテロップ領域を決定する。ロールテロップ判定は２つの判定から構成される。1つ目の矩形判定は外接矩形と領域の面積を比較し、十分１に近似できれば、矩形領域と判断し判定を続ける。面積に開きがあれば、ステップＳ７６に進んで、ロールテロップと判定しないようにする。
【００５６】
２つ目の長方矩形判定は領域の水平、垂直方向のフェレ径をそれぞれ求め、両者の比がある閾値thr６より大きければ長方矩形と判断しステップＳ７４へ進む。そうでなければ、ステップＳ７６へ進む。
【００５７】
ステップＳ７４は対象領域全体をロールテロップ領域と判定する。ステップＳ７４はロールテロップ候補から除外する。ステップＳ７５は全ての部分領域についてロールテロップ判定が下されていなければ、未判定領域についてステップＳ７２から判定処理を実行させる。
【００５８】
入力された部分領域について全て判定が下された後、確定したロールテロップ位置情報、動き情報を出力し、領域形状判定を終了する。
【００５９】
次に、図１の前記ロールテロップ動き予測部３の動作を説明する。図９は、ロールテロップ動き予測部３の動作の詳細を示す。入力情報は過去のロールテロップ検出の結果と未来のフレーム符号化情報である。出力情報は次フレームでのロールテロップ位置と動き情報であり、領域対象設定部２１（図２参照）で利用される。
【００６０】
過去の参照フレームにおいて、確定済みのロールテロップ領域から現フレームでの位置を動き予測部３で推定し、該フレームでのロールテロップ候補領域とする。ロールテロップの動きを過去の確定したロールテロップ領域に属す動き予測情報を用い、ロールテロップの進行方向を推察する。
【００６１】
ステップＳ８１では、ロールテロップに該当するブロックの動き予測情報を水平と垂直方向に分解し、より大きな成分のみを抽出する。重み付け平均値を求め、上下左右の４方向のいずれかに決定する。ここでは、重み係数にDCT係数のAC部分和を利用する。
【００６２】
ステップＳ８１で求めた動き情報はフレームの時間的相対位置によって長さが変化するため、ステップＳ８２において動き情報をフレーム間距離によって補正する。最後に予測位置情報と動き情報を出力し、ロールテロップ動き予測部を終了する。
［リアルタイム検出］
【００６３】
未来のフレーム情報を未来の参照フレームひとつだけに限れば、完全な復号処理と同じ回路構成にできる。フレーム内符号化フレーム(Ｉピクチャ)が入力された場合は、フレーム内符号化情報を使って該フレームの領域対象を得る。
【００６４】
順方向予測フレーム(Ｐピクチャ)が入力された場合は、動き予測情報若しくはフレーム内符号化情報を使って該フレームの領域対象を得る。両フレームは双方向予測フレームの未来参照フレームであるため、新たなフレーム内符号化フレーム又は順方向予測フレームが入力されるまで出力表示されない。よって、双方向予測フレーム(Ｂピクチャ)が入力されたとき、該フレーム自身の判定処理だけでなく、その符号化情報で未来参照フレームの時間相関判定を行う。逆に、未来参照フレームの符号化情報から未来方向の時間相関判定を行う。
【００６５】
未来参照フレームから見れば、過去の双方向予測フレームによる時間相関判定が検出処理のための特別なメモリを用意することなく行うことが可能となる。双方向予測フレームにとっても未来参照フレームから復号すると同時に時間相関判定を行うことが可能である。
【００６６】
よって、完全な復号処理と併用する場合においても、フレームの表示順序を乱すことなく、また、余分なフレーム情報を保持するメモリや機構を用意することなく、リアルタイムにロールテロップを検出し検出結果を復号映像へ投影することができる。
【００６７】
次に、前記した各実施形態の動画像内のロールテロップ領域検出装置の機能は、ソフトウェア（プログラム）で実現することができる。該ソフトウェアは、光ディスク、フロッピーディスク、ハードディスク等の記録媒体に記録することができる。
【００６８】
図１０は、該記録媒体１００に記録されるプログラムの一例を示すものであり、該記録媒体１００には、ロールテロップの位置情報および動き情報の抽出機能１１１と、該位置情報および動き情報を基に予測位置情報を決定する機能１１２を含ませることができる。なお、前記記録媒１００には、ネットワークのように、データを一時的に記録保持するような伝送媒体も含まれる。
【００６９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、圧縮符号化された動画像データを部分的に復号することで、従来の画素領域の検出方式(前記第１の検出方式)と比較して処理コストを抑えることができる。
【００７０】
また、フレーム毎に対する判定は、検出対象の選別と過去の検出結果からの予測情報から必要最小限の領域に限定されるため、符号データ領域での検出方式(前記第２の検出方式)と同程度に処理コストを抑えることが可能である。
【００７１】
また、フレーム内符号化フレームの情報だけでなく、全フレームの情報を検出過程に利用することで、前記第２の検出方式と比較して、時間解像度の向上は無論のこと、遥かに優れた検出精度の向上を達成することが可能となる。
【００７２】
また、映像を再生する復号処理と完全に同期する方法では、未来との時間相関を利用しながら再生フレームとの遅延を一切省き、且つメモリの使用を最小限に抑えることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態のロールテロップ検出装置の全体構成を示すブロック図である。
【図２】図１のロールテロップ検出処理部の詳細な構成を示すブロック図である。
【図３】図２の領域対象設定部の動作を示すフローチャートである。
【図４】図３のフレーム内符号化情報判定の処理を示すフローチャートである。
【図５】図３の動き予測情報判定の処理を示すフローチャートである。
【図６】図２の時間的相関判定部の動作を示すフローチャートである。
【図７】図２の領域形成部の動作を示すフローチャートである。
【図８】図２の領域形状判定部の動作を示すフローチャートである。
【図９】図１のロールテロップ動き予測部の動作を示すフローチャートである。
【図１０】記録媒体に記録されるプログラムの概要を示す図である。
【符号の説明】
１・・・可変長復号部、２・・・ロールテロップ検出処理部、３・・・ロールテロップ動き予測部、２１・・・領域対象設定部、２２・・・時間的相関判定部、２３・・・領域形成部、２４・・・領域形状判定部、１００・・・記録媒体

Claims

圧縮された動画像データを入力とし、該動画像データにロールテロップ領域情報を付加して出力する動画像内のロールテロップ検出装置において、
前記圧縮された動画像データを部分的に復号して符号化情報を出力する可変長復号部と、
前記符号化情報及び予測位置情報の少なくとも一つをもとにロールテロップの位置情報と動き情報を抽出するロールテロップ検出処理部と、
検出結果の前記位置情報と動き情報から将来の位置を推定し、予測位置情報を前記ロールテロップ検出処理部に戻すロールテロップ動き予測部とを具備し、
前記ロールテロップ検出処理部は、前記符号化情報が動き予測情報を含む場合、該動き予測情報をもとに形成した部分領域をロールテロップの検出単位とすることを特徴とする動画像内のロールテロップ検出装置。
請求項1に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ検出処理部は、前記将来の位置との時間相関に基づき、予め部分領域の形成に不必要な要素を排除することを特徴とする動画像内のロールテロップ検出装置。
請求項１または２に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ検出処理部は、前記部分領域が領域対象であるか否かの選別を、前記動き予測情報の方向成分がフレームに対して水平若しくは垂直方向を指すことを判定基準に用いてすることを特徴とする動画像内のロールテロップ検出装置。
請求項１または２に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ検出処理部は、前記部分領域が領域対象であるか否かの選別を、前記動き予測情報の水平成分、垂直成分の一方が０近似可能、かつ他方が十分な大きさを持つことを判定基準に用いてすることを特徴とする動画像内のロールテロップ検出装置。
請求項1に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ検出処理部は、前記動き予測情報が存在しない場合、前記部分領域が領域対象であるか否かの選別を、フレーム内符号化情報の複数のDCT係数DC成分のダイナミックレンジを判定基準に用いてすることを特徴とする動画像内のロールテロップ検出装置。
請求項1に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ検出処理部は、前記部分領域が領域対象であるか否かの選別を、前記動き予測情報が近傍フレームの参照位置の動き予測情報と相関があることを判定基準に用いてすることを特徴とする動画像内のロールテロップ検出装置。
請求項1に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ検出処理部は、前記部分領域の結合を、構成要素の動き予測情報が同フレームの近傍構成要素の動き予測情報と相関があることを判定基準に用いてすることを特徴とする動画像内のロールテロップ検出装置。
請求項1に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ検出処理部は、前記ロールテロップの検出を、部分領域の構成要素数と領域形状を判定基準に用いてすることを特徴とする動画像内のロールテロップ検出装置。
請求項1に記載の動画像内のロールテロップ検出装置において、
前記ロールテロップ動き予測部は、動き予測誤差情報を信頼性情報とした動き予測情報とフレーム間距離とを基準に、ロールテロップの動きを推定することを特徴とする動画像内のロールテロップ検出装置。
圧縮された動画像のデータを可変長復号することにより得られた符号化情報及び予測位置情報の少なくとも一つをもとにロールテロップの位置情報と動き情報を抽出し、前記符号化情報が動き予測情報を含む場合、該動き予測情報をもとに形成した部分領域をロールテロップの検出単位とする第１の工程と、
前記位置情報と動き情報から将来の位置を推定して予測位置情報を決定し、該予測位置情報を前記第１の工程に戻す第２の工程とからなる、
コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項１０に記載の記録媒体において、
前記符号化情報が、動き予測情報、動き予測誤差情報、および符号化モード情報を含むことを特徴とする記録媒体。