JPH0991453A - 画像処理方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、情景等を背景としたカラー動画像
中の文字領域の抽出を可能とする画像処理装置を提供す
るものである。 【解決手段】本発明は、カラー動画像を２次元の時系列
画像として読み込むための画像入力部と、その入力画像
より、色情報及び異なるフレーム間の対応点から求めた
動きベクトル情報を用いて処理対象とする特徴領域を抽
出するための特徴領域抽出部と、抽出された特徴領域に
対して必要に応じて処理を施す特徴領域加工部と、原画
像、特徴領域情報及び処理画像等を出力するための出力
部を備えたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カラー動画像か
ら文字等の特徴領域を抽出するために使用される画像処
理装置に関するものである。

【０００２】

【従来の技術】従来、画像より文字領域を抽出する手法
として、２値あるいは濃淡の文書画像から文字領域を抽
出する方法が知られている（OplusE 別冊 画像処理ア
ルゴリズム最新動向 新技術コミュニケーションズ,p
p.158―171,1986）。

【０００３】文字領域抽出としては、文書画像の縦横方
向に黒画素のヒストグラムをとり、あらかじめ文字列の
候補領域を抽出し、各文字列に対して列の方向に関する
画素値の変化を調べることにより、文字領域を決定する
ことができる。

【０００４】

【発明が解決しようとする課題】ところが、前記従来の
文字領域抽出手法は、背景が無地で他の画像との重なり
が無い静止画像に対しては有効であるが、背景との重な
りがある情景等のカラー動画像に対して適用することが
できなかった。

【０００５】本発明は、前述した事情に鑑みてなされた
ものであって、その目的は、情景等を背景としたカラー
動画像中の文字領域の抽出を可能とする画像処理装置を
提供することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
めに、請求項１に記載の第１の発明においては、カラー
動画像を２次元の時系列画像として読み込むための画像
入力部と、その入力画像より、色情報及び異なるフレー
ム間の対応点から求めた動きベクトル情報を用いて処理
対象とする特徴領域を抽出するための特徴領域抽出部
と、抽出された特徴領域に対して必要に応じて処理を施
す特徴領域加工部と、原画像、特徴領域情報及び処理画
像等を出力するための出力部を備えたことを趣旨として
いる。

【０００７】請求項２に記載の第２の発明においては、
第１の発明の構成において、特徴領域抽出部に、特定の
色相情報をもつ画素同士からなる領域を処理対象候補領
域として抽出する特定色相領域抽出部と、異なるフレー
ムにおける画像に対して、前記特定色相領域抽出部によ
り抽出された特定の色相情報をもつ候補領域間で対応を
求めることにより該候補領域を追跡する特定色相領域追
跡部とを設けたことを趣旨としている。

【０００８】請求項３に記載の第３の発明においては、
第２の発明の構成において、処理対象とする領域の色を
指定する領域色指定部と、あらかじめ処理対象とする画
像中の位置及び大きさといった、処理領域の存在範囲の
指定を可能とするための領域範囲指定部と、前記指定範
囲から指定された色相をもつ画素領域を候補領域として
抽出する候補領域抽出部とを設けたことを趣旨としてい
る。

【０００９】請求項４に記載の第４の発明においては、
前記候補領域より処理対象とみなせない巨大な領域や微
小領域を除去することにより処理対象領域を決定する処
理領域範囲決定部と、前記処理対象領域に対して特定色
相領域の有無を判定する領域有無判定部とを設けたこと
を趣旨としている。

【００１０】請求項５に記載の第５の発明においては、
第４の発明の構成において、追跡前後の特定色相領域の
範囲を時系列画像間で比較し、静止領域であるか、スク
ロール領域であるかといった判別を行なう追跡領域範囲
比較部と、追跡前後の領域の変形度合いにより雑音との
区別を行ない、変形の有無を判定する追跡領域変形有無
判定部とを設けたことを趣旨としている。

【００１１】請求項６に記載の第６の発明においては、
第１の発明の構成において、入力画像が情景等のカラー
動画像で、特徴領域として文字や数字、登録商標等の特
定パターンの抽出を行なう場合に、該特徴領域を字幕等
のキャプションとして抽出する特徴領域抽出部を設けた
ことを趣旨としている。

【００１２】請求項７に記載の第７の発明においては、
第６の発明の構成において、特徴領域として抽出した文
字や数字等の特定パターン領域に対して、拡大等の処理
を施し、原画像にスーパーインポーズ等することによ
り、字幕等のキャプションを見易くする特徴領域加工部
を設けたことを趣旨としている。

【００１３】請求項８に記載の第８の発明においては、
第６の発明の構成において、特徴領域として抽出した文
字や数字等の特定パターン領域に対して、特定パターン
領域の色相と、該領域の周辺領域の色相との差が小さい
場合に、前記特定パターン領域の色相を反転、強調等す
ることにより、字幕等のキャプションを見易くする特徴
領域加工部を設けたことを趣旨としている。

【００１４】請求項９に記載の第９の発明においては、
第６の発明の構成において、特徴領域として抽出した文
字や数字等の特定パターン領域に対して、特定パターン
領域中の文字、数字や登録商標等の特定パターンを認識
し、あらかじめ用意していた別のパターンと置換するこ
とにより、手書き文字や画質の劣化等により見難くなっ
た字幕等のキャプションを清書し見易くする特徴領域加
工部を設けたことを趣旨としている。

【００１５】請求項１０に記載の第１０の発明において
は、第６の発明の構成において、特徴領域として抽出し
た文字や数字等の特定パターン領域に対して、特定パタ
ーン領域中の文字、数字や登録商標等の特定パターンを
認識し、文字等のパターンの部分のみを隣接した画素の
色に置換することにより、字幕等のキャプションを自動
的に消去する特徴領域加工部を設けたことを趣旨として
いる。

【００１６】

【作用】上記第１の発明によれば、入力されたカラー動
画像より、各画素の色情報及びフレーム間の対応点の対
応画素より求めた動きベクトルにより、特徴領域を決定
できる。

【００１７】上記第２の発明によれば、第１の発明の作
用に加えて、各フレームにおいて特定の色を画素値とし
てもつ候補領域を抽出し、異なるフレーム間で対応する
領域を求めることにより信頼できる領域抽出ができる。

【００１８】上記第３の発明によれば、第２の発明の作
用に加えて、抽出対象色及び位置及び大きさといった画
像中の処理対象領域の範囲を指定することにより処理の
効率化、高速化がはかれる。

【００１９】上記第４の発明によれば、第３の発明の作
用に加えて、候補領域より処理対象とみなせない巨大な
領域や微小領域を除去することにより処理対象領域を限
定できるとともに候補領域の有無の判定ができる。

【００２０】上記第５の発明によれば、第４の発明の作
用に加えて、候補領域を追跡し、各フレームにおける対
応領域の変形度合いに基づいて、追跡の継続若しくは中
止を選択できる。

【００２１】上記第６の発明によれば、第１の発明の作
用に加えて、情景等のカラー動画像より、特徴領域とし
て文字や数字、登録商標等の特定パターンである場合
に、該特徴領域を字幕等のキャプションとして抽出する
ことができる。

【００２２】上記第７の発明によれば、第６の発明の作
用に加えて、特徴領域として抽出した文字や数字等の特
定パターン領域に対して、拡大等の処理を施し、原画像
にスーパーインポーズ等することにより、字幕等のキャ
プションを見易くすることができる。

【００２３】上記第８の発明によれば、第６の発明の作
用に加えて、特徴領域として抽出した文字や数字等の特
定パターン領域に対して、特定パターン領域の色相と、
該領域の周辺領域の色相との差が小さい場合に、前記特
定パターン領域の色相を反転、強調等することにより、
字幕等のキャプションを見易くすることができる。

【００２４】上記第９の発明によれば、第６の発明の作
用に加えて、特徴領域として抽出した文字や数字等の特
定パターン領域に対して、特定パターン領域中の文字、
数字や登録商標等の特定パターンを認識し、あらかじめ
用意していた別のパターンと置換することにより、手書
き文字や画質の劣化等により見難くなった字幕等のキャ
プションを清書し見易くすることができる。

【００２５】上記第１０の発明によれば、第６の発明の
作用に加えて、特徴領域として抽出した文字や数字等の
特定パターン領域に対して、特定パターン領域中の文
字、数字や登録商標等の特定パターンを認識し、文字等
のパターンの部分のみを隣接した画素の色に置換するこ
とにより、字幕等のキャプションを自動的に消去するこ
とができる。

【００２６】

【発明の実施の形態】

（第１実施例）以下、この第１〜第１０の発明を具体化
した第１実施例を図１〜図３に従って説明する。

【００２７】図１に示すように、この実施例の画像処理
装置は画像を入力するための画像入力部１と、特徴領域
抽出部２と特徴領域加工部５と出力部６とを備えてい
る。

【００２８】画像入力部１は、カラー動画像をフレーム
単位で特徴領域抽出部２へ入力するために設けられ、如
何なるアナログ信号、デジタル信号にも対応でき、圧縮
された信号を伸長して取り込める機能が持たされてい
る。

【００２９】図２に示すように、特徴領域抽出部２は入
力された各フレームの画像を、単一色相もしくはあらか
じめクラスタリングされた色空間の各クラスタに属する
画素からなる領域に分割する。また、図３に示すよう
に、異なるフレームにおける複数枚の画像、例えば、時
刻ｔ＝ｍとｔ＝ｍ＋ｉ（ここで、ｉはｍからのフレーム
差）を適宜選択し、相関法やテンプレート・マッチング
等の手法により求められた対応点、例えば、時刻ｔ＝ｍ
における画像中の点Ｐｍ（Ｘｉ、Ｙｉ）と時刻ｔ＝ｍ＋
ｉにおける画像中の点Ｐｍ＋ｉ（Ｘj、Ｙj）から対応点
における動きベクトルＶｍ（Ｕｉ、Ｖｉ）を求める。こ
れらの色情報及び動きベクトル情報を用いて処理対象と
する特徴領域を決定する。

【００３０】特徴領域加工部５は、特徴領域抽出部２に
より決定された特徴領域に対して必要に応じて処理、例
えば、拡大縮小、色相反転、輪郭協調、特定パターンや
原画像との置換を施す。

【００３１】出力部６は、特徴領域に関する色や動き、
位置等の情報及び処理画像等を出力する。

【００３２】次に、上記のように構成された画像処理装
置の作用及び効果について説明する。

【００３３】この実施例の画像処理装置によれば、カラ
ー動画像が入力されることにより、単一色相もしくはあ
らかじめクラスタリングされた色空間の各クラスタに属
する画素からなる領域に分割される。従って、各色相の
領域ごとに異なる処理を施すことができる。加えて、異
なるフレーム間の対応点から動きベクトル情報が求ま
る。従って、色から求めた領域と、各点の動きベクトル
情報を用いて、処理対象とする特徴領域が決定でき、こ
の領域に対して必要に応じて画像処理を施すことができ
る。

【００３４】（第２実施例）以下、この第１〜第１０の
発明を具体化した第２実施例を図１及び図４に従って説
明する。尚、この実施例において、前記第１実施例と同
様の構成要素については同一の符合を付して説明を省略
する。

【００３５】この実施例の画像処理装置では、図１に示
すように、特徴領域抽出部２に特定色相領域抽出部３及
び特定色相領域追跡部４が設けられている点について、
前記第１実施例と異なっている。従って、以下には第１
実施例と異なった点を中心に説明する。

【００３６】特定色相領域抽出部３は、単一フレームの
画像中から、特定の色相の画素からなる領域のみを抽出
するために設けられ、特定色相領域追跡部４は、各フレ
ームの画像から特定色相領域抽出部３により抽出された
領域に対して、異なる複数フレームの画像中から対応す
る領域を決定し、追跡するために設けられている。

【００３７】次に、上記のように構成された画像処理装
置の作用及び効果について説明する。

【００３８】従って、この実施例の画像処理装置では、
図４に示すように、特定の色相からなる領域のみを複数
フレームにわたって検出し追跡することによって、正し
い対応かどうかを検証することができるため、色情報の
みによる領域抽出処理と比較して、信頼性の高い領域抽
出ができる。

【００３９】（第３実施例）以下、この第１〜第１０の
発明を具体化した第３実施例を図１及び図５に従って説
明する。尚、この実施例において、前記第２実施例と同
様の構成要素については同一の符合を付して説明を省略
する。

【００４０】この実施例の画像処理装置では、図１に示
すように、特定色相領域抽出部３に、領域色指定部３１
及び領域範囲指定部３２及び候補領域抽出部３３が設け
られている点について、前記第２実施例と異なってい
る。従って、以下には第２実施例と異なった点を中心に
説明する。

【００４１】領域色指定部３１は、候補領域抽出部３３
により抽出される領域に対する色を、領域範囲指定部３
２は、画像中の位置や大きさといった範囲を、それぞれ
指定するために設けられている。

【００４２】次に、上記のように構成された画像処理装
置の作用及び効果について説明する。

【００４３】従って、この実施例の画像処理装置では、
処理対象とする領域色や、画像中の位置や大きさといっ
た範囲を、対象となる画像の性質に応じて、その都度外
部より指定することができる。図５の例では、入力画像
中の領域Ａ〜Ｇに対して、Ｄｐにて範囲を、Ｄｃにて色
を指定した場合に、条件を満足する領域として、Ｃが抽
出できることを示している。

【００４４】（第４実施例）以下、この第１〜第１０の
発明を具体化した第４実施例を図１及び図６に従って説
明する。尚、この実施例において、前記第３実施例と同
様の構成要素については同一の符合を付して説明を省略
する。

【００４５】この実施例の画像処理装置では、図１に示
すように、特定色相領域抽出部３に、処理領域範囲決定
部３４及び領域有無判定部３５が設けられている点につ
いて、前記第３実施例と異なっている。従って、以下に
は第３実施例と異なった点を中心に説明する。

【００４６】処理領域範囲決定部３４は、候補領域抽出
部３３により抽出された、指定領域範囲内の指定色から
なる候補領域より、処理対象とみなせない巨大な領域や
微小領域を除去することにより処理対象領域を決定す
る。

【００４７】領域有無判定部３５は、処理領域範囲決定
部３４により決定された処理対象領域が対象画像中に存
在するか、その有無を判定する。

【００４８】次に、上記のように構成された画像処理装
置の作用及び効果について説明する。

【００４９】従って、この実施例の画像処理装置では、
処理対象とみなせないような領域を候補から省き、処理
対象領域が、対象画像中に存在するか判別することがで
きる。図６の例では、入力画像中の領域に対して、Ｄｐ
にて位置に関する範囲を、Ｄｃにて色を、Ｄｒにて大き
さに関する範囲を指定した場合に、条件を満足する領域
が存在する場合には、対象領域に関する情報及び領域の
存在の有無判定としてＹＥＳが、存在しない場合には、
有無判定としてＮＯが出力されることを示している。よ
って、色、位置及び大きさにより処理領域が指定でき、
有無判定結果に基づいて、後続の処理を実行する必要が
あるか判定することができる。

【００５０】（第５実施例）以下、この第１〜第１０の
発明を具体化した第５実施例を図１及び図７〜８に従っ
て説明する。尚、この実施例において、前記第４実施例
と同様の構成要素については同一の符合を付して説明を
省略する。

【００５１】この実施例の画像処理装置では、図１に示
すように、特定色相領域追跡部４に、追跡前後の特定色
相領域の範囲を比較する追跡領域範囲比較部４１と、追
跡領域範囲比較部４１の出力より追跡領域の変形及び有
無を判定する追跡領域変形有無判定部４２とが設けられ
ている点について、前記第４実施例と異なっている。従
って、以下には第４実施例と異なった点を中心に説明す
る。

【００５２】追跡領域範囲比較部４１は、追跡前後の特
定色相領域の範囲を時系列画像間で比較し、静止領域で
あるか、スクロール領域であるかといった判別を行な
う。

【００５３】追跡領域に対して動きベクトルの変化を算
出し、動きベクトルの大きさが０なら静止領域、一定の
大きさならスクロール領域と判定する。図７は、スクロ
ール領域と判定される例を示している。動きベクトルの
大きさや方向が変化する場合には雑音とみなし、処理領
域を棄却する。

【００５４】追跡領域変形有無判定部４２は、追跡前後
の領域の変形度合いにより雑音との区別を行ない、変形
の有無を判定する。

【００５５】図７の例では、追跡領域に対して変形の度
合を算出し、閾値を越えた場合に変形領域の存在の有無
判定として、ＹＥＳが出力され、処理領域を雑音領域と
して棄却し、変形がないとみなされた場合には、有無判
定としてＮＯが出力されることを示している。よって、
変形の度合により処理領域の有無が判定でき、変形の度
合の大きい領域を雑音として棄却する。

【００５６】変形の度合の算出には、図８に示すよう
に、まず対象領域の外接矩形の高さＨと幅Ｗにより粗く
比較を行ない、次に領域内の総画素数Ｎｐを比較する。
そして、これらの条件を満足した場合に、詳細な形状の
比較が行なわれる。ｍフレーム目とｍ＋ｉ１フレーム目
の処理領域の幅をそれぞれＷｍ、Ｗｍ＋ｉ１、高さをそ
れぞれＨｍ、Ｈｍ＋ｉ１、総画素数をそれぞれＮｐｍ、
Ｎｐｍ＋ｉ１、変形度合を判定する閾値を、領域の幅、
高さ、総画素数に対しそれぞれ、Ｗｔｈ、Ｈｔｈ、Ｎｐ
ｔｈとするとき、ｍフレーム目とｍ＋ｉ１フレーム目の
処理領域の幅の差が｜Ｗｍ − Ｗｍ＋ｉ１｜＜Ｗｔｈ
であり、且つ、同フレーム間の高さの差が｜Ｈｍ −
Ｈｍ＋ｉ１｜＜Ｈｔｈである場合、総画素数を比較す
る。そうでない場合は、変形の度合が大きいと判定し、
雑音領域として棄却する。同フレーム間の総画素数の差
が｜Ｎｐｍ − Ｎｐｍ＋ｉ１｜＜Ｎｐｔｈである場
合、詳細な形状の比較を行なう。そうでない場合は、変
形の度合が大きいと判定し、雑音領域として棄却する。
形状の詳細な比較は、次の手順にて行ない、各走査線に
対する各区間のずれが閾値以上の場合には、変形の度合
が大きいと判定し、雑音領域として棄却する。

【００５７】１）対象領域の外接矩形の左上部を対象領
域座標系の原点（Ｘ０、Ｙ０）とし、右端再下端の点を
（Ｘｎ−１、Ｙｎ−１）とし、領域中の画素位置は、原
点からの総対座表で表す。

【００５８】２）各走査線ごとに、領域との交点を求
め、領域にぶつかる点を開始端点（Ｘｓｉj、Ｙｓｉj）
とし、領域から、非領域に移行する点を、終了端点（Ｘ
ｅｉj、Ｙｅｉj）とし、この２点によりはさまれる区間
を、各走査線における対象領域区間と呼び、開始端点と
終了端点により表す。但し、（０＜ｊ＜ｎ）であり、各
走査線上に対象領域区間が複数存在する場合もあり、ｋ
区間存在する場合には、ｋ個の区間の両端点の座標のリ
ストにより表されることとなる。

【００５９】３）次に、この各対象領域区間の両端点の
ずれの総和により詳細な比較を行ない、変形の度合を判
定する。

【００６０】次に、上記のように構成された画像処理装
置の作用及び効果について説明する。

【００６１】この実施例の画像処理装置では、時系列画
像間で求めた追跡の処理対象とした特定色相領域の動き
ベクトルを用いて、静止領域であるか、スクロール領域
であるかといった判別することができるばかりでなく、
領域の動きによる雑音判定ができる。そして、追跡対象
としている時系列画像間の特定色相領域の形状を比較す
ることにより、変形の有無を判別できるばかりでなく、
変形の度合に応じて、雑音領域として検出することによ
り、正確な領域分割ができる。

【００６２】（第６実施例）以下、この第１〜第１０の
発明を具体化した第６実施例を図１及び図９に従って説
明する。尚、この実施例において、前記第１実施例と同
様の構成要素については同一の符合を付して説明を省略
する。

【００６３】入力画像として、例えば映画等の情景を主
体としたカラー動画像を選んだ場合、字幕やキャスト等
の文字は単一色で書かれており、現れる領域は限られ、
静止もしくはスムーズ・スクロールするという性質に着
目し、これらを自動的に抽出するために、領域色指定部
３１に、領域色として字幕等の白色を、領域範囲指定部
３２に、領域の範囲として字幕位置と大きさを指定し、
追跡領域として、例えば、字幕の場合は静止領域、キャ
ストの場合は上方向のスクロールとして領域抽出を行な
うことができる。

【００６４】従って、図９に示したように、上記の手続
きにより、字幕部分が抽出できる。

【００６５】（第７実施例）以下、この第１〜第１０の
発明を具体化した第７実施例を図１及び図１０に従って
説明する。尚、この実施例において、前記第６実施例と
同様の構成要素については同一の符合を付して説明を省
略する。

【００６６】第１図の特徴領域加工部５に、特徴領域と
して抽出された文字や数字等の特定パターン領域に対し
て拡大等の処理を施す、特徴領域変形処理部５１を設
け、原画像にスーパーインポーズ等した後、出力部６よ
り出力することにより、字幕等のキャプションを見易く
することができる。

【００６７】従って、図１０に示したように、上記の手
続きにより、字幕部分を拡大して原画像と重ね合わせて
表示することにより、見易く表示することができる。

【００６８】（第８実施例）以下、この第１〜第１０の
発明を具体化した第８実施例を図１及び図１１に従って
説明する。尚、この実施例において、前記第６実施例と
同様の構成要素については同一の符合を付して説明を省
略する。

【００６９】第１図の特徴領域加工部５に、特徴領域と
して抽出された文字や数字等の特定パターン領域に対し
て、特定パターン領域の色相とその周辺領域の色相との
差を調べる、色相比較部５２を設け、両領域間の色相差
が小さい場合に、特定パターン領域の色相を変換する、
色相変換部５３を設け、例えば反転、強調等することに
より、字幕等のキャプションを見易くする処理を施した
後、原画像にスーパーインポーズ等した後、出力部６よ
り出力することにより、字幕等のキャプションを見易く
することができる。

【００７０】従って、図１１に示したように、上記の手
続きにより、字幕部分の色相を反転したり、輪郭部分を
強調して、より見易く表示することができる。

【００７１】（第９実施例）以下、この第１〜第１０の
発明を具体化した第９実施例を図１及び図１２に従って
説明する。尚、この実施例において、前記第６実施例と
同様の構成要素については同一の符合を付して説明を省
略する。

【００７２】第１図の特徴領域加工部５に、特徴領域と
して抽出された文字や数字等の特定パターン領域に対し
て、特定パターン領域の色相とその周辺領域の色相とか
らなる２値画像に変換する、特徴領域２値化部５４を設
け、２値化された特徴領域に対して既存の文字認識処理
等を施すことにより認識した後、その認識結果に基づい
て、既存の電子化された様々な書体のフォントと置換す
る、特徴領域置換部５５を設け、置換処理を施した後、
原画像にスーパーインポーズ等し、出力部６より出力す
ることにより、字幕等のキャプションを見易くすること
ができる。

【００７３】従って、図１２に示したように、上記の手
続きにより、字幕部分の特定パターンを既存のパター
ン、例えば、文字フォント等と置換して、より見易く表
示することができる。

【００７４】（第１０実施例）以下、この第１〜第１０
の発明を具体化した第９実施例を図１及び図１３に従っ
て説明する。尚、この実施例において、前記第６実施例
と同様の構成要素については同一の符合を付して説明を
省略する。

【００７５】第１図の特徴領域加工部５に、特徴領域と
して抽出された文字や数字等の特定パターン領域に対し
て、特定パターン領域の画素と、その周辺領域の画素と
を置換する画素置換部５６を設け、置換処理を施した
後、出力部６より出力することにより、字幕等のキャプ
ションを消去することができる。

【００７６】従って、図１３に示したように、上記の手
続きにより、字幕部分の特定パターンを周辺領域のパタ
ーンと置換して消去することにより、字幕キャンセル機
能を実現することができる。

【００７７】

【発明の効果】以上詳述したように、第１の発明によれ
ば、各色相領域ごとに異なる処理を施すことができるこ
とに加えて、異なるフレーム間の対応点から求めた動き
ベクトル情報を用いて、処理対象とする特徴領域が決定
でき、この領域に対して必要に応じて画像処理を施すこ
とができるという優れた効果を奏する。

【００７８】また、第２の発明によれば、第１の発明の
効果に加えて、特定の色を画素値としてもつ候補領域を
抽出し、異なるフレーム間で対応する領域を求めること
により信頼性の高い領域抽出ができるという優れた効果
を奏する。

【００７９】また、第３の発明によれば、第２の発明の
効果に加えて、処理対象とする領域の色や、位置及び大
きさといった画像中の処理対象領域の範囲を指定するこ
とにより処理の効率化、高速化がはかれるという優れた
効果を奏する。

【００８０】また、第４の発明によれば、第３の発明の
効果に加えて、候補領域より処理対象とみなせない巨大
な領域や微小領域を除去することにより処理対象領域を
限定できることに加えて、候補領域の有無の判定ができ
るという優れた効果を奏する。

【００８１】また、第５の発明によれば、第４の発明の
効果に加えて、候補領域を追跡し、各フレームにおける
対応領域の変形度合いに基づいて、変形の有無を判別で
きるばかりでなく、雑音領域として検出でき、追跡の継
続若しくは中止を選択できるという優れた効果を奏す
る。

【００８２】また、第６の発明によれば、第１の発明の
効果に加えて、情景等のカラー動画像より、特徴領域が
文字や数字、登録商標等の特定パターンである場合に、
字幕やキャプション等として抽出することができるとい
う優れた効果を奏する。

【００８３】また、第７の発明によれば、第６の発明の
効果に加えて、抽出した領域に対して、拡大等の処理を
施し、字幕等のキャプションを見易くすることができる
という優れた効果を奏する。

【００８４】また、第８の発明によれば、第６の発明の
効果に加えて、特定パターン領域の色相と、周辺領域の
色相との差が小さい場合に、特定パターン領域の色相を
反転、強調等することにより、字幕等のキャプションを
見易くすることができるという優れた効果を奏する。

【００８５】また、第９の発明によれば、第６の発明の
効果に加えて、抽出した領域に対して、文字、数字や登
録商標等の特定パターンの認識を施し、あらかじめ用意
していた別のパターンと置換することにより、手書き文
字や画質の劣化等により見難くなった字幕等のキャプシ
ョンを清書し見易くすることができるという優れた効果
を奏する。

【００８６】さらに、第１０の発明によれば、第６の発
明の効果に加えて、抽出した文字や数字等の特定パター
ン領域に対して、特定パターン領域中の文字等のパター
ンの部分の画素の色を隣接した画素の色に置換すること
により、字幕等のキャプションを自動的に消去する字幕
キャンセル機能が実現できるという優れた効果を奏す
る。

【図面の簡単な説明】

【図１】本発明を具体化した第１実施例における画像処
理装置のブロック図である。

【図２】本発明を具体化した第１実施例における色情報
に基づく領域分割模式図である。

【図３】本発明を具体化した第１実施例における動きベ
クトル算出の模式図である。

【図４】本発明を具体化した第２実施例における特定色
相領域の抽出及び追跡の模式図である。

【図５】本発明を具体化した第３実施例における領域色
及び領域範囲の指定の模式図である。

【図６】本発明を具体化した第４実施例における対象領
域色の有無判定の模式図である。

【図７】本発明を具体化した第５実施例における動きベ
クトルによる対象領域の雑音判定及び対象領域の変形有
無判定の模式図である。

【図８】本発明を具体化した第５実施例における対象領
域の変形度合算出の模式図である。

【図９】本発明を具体化した第６実施例における字幕抽
出の模式図である。

【図１０】本発明を具体化した第７実施例における字幕
拡大処理の模式図である。

【図１１】本発明を具体化した第８実施例における字幕
色相変換処理の模式図である。

【図１２】本発明を具体化した第９実施例における字幕
清書処理の模式図である。

【図１３】本発明を具体化した第１０実施例における字
幕キャンセル処理の模式図である。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 入力された画像より、色情報及び異なる
   フレーム間の対応点から求めた動きベクトル情報を用い
   て処理対象とする特徴領域を決定し、該特徴領域に対し
   て必要に応じて処理を施し、原画像、特徴領域情報及び
   処理画像等を出力することを特徴とする画像処理装置で
   あって、 画像を読み込むための画像入力部（１）と、 前記画像入力部（１）より入力された画像より、処理対
   象領域を特定する特徴領域抽出部（２）と、 前記特徴領域抽出部より抽出された特徴領域に対して処
   理を行なう特徴領域加工部（５）と、前記画像入力部
   （１）より入力された原画像、前記特徴領域抽出部
   （２）より出力された特徴領域情報及び前記特徴領域加
   工部（５）から出力される処理画像等を出力するための
   出力部（６）とからなる。
2. 【請求項２】 請求項１に記載の画像処理装置におい
   て、前記特徴領域抽出部（２）に、処理対象候補領域と
   して、特定の色相情報をもつ画素同士からなる領域を抽
   出する特定色相領域抽出部（３）と、 異なるフレームにおける画像に対して、前記特定色相領
   域抽出部（３）により抽出された特定の色相情報をもつ
   候補領域間で対応を求めることにより該領域を追跡する
   特定色相領域追跡部（４）とを設けたことにより、色情
   報及び動き情報に基づいた信頼性の高い領域抽出を可能
   とすることを特徴とする画像処理装置。
3. 【請求項３】 請求項２に記載の画像処理装置におい
   て、前記特定色相領域抽出部（３）に、処理対象とする
   領域の色を指定する領域色指定部（３１）と、処理対象
   とする領域の位置及び大きさといった、処理領域の存在
   範囲を指定する領域範囲指定部（３２）と、画像中の指
   定された範囲内の領域から、指定された色相をもつ画素
   領域を抽出する候補領域抽出部（３３）とを設けたこと
   により、指定された範囲の特定色相領域に対して処理を
   行なうことを特徴とする画像処理装置。
4. 【請求項４】 請求項３に記載の画像処理装置におい
   て、前記候補領域抽出部（３３）により抽出された候補
   領域から、処理対象とみなせない巨大な領域や微小領域
   を除去することにより処理対象領域を決定する処理領域
   範囲決定部（３４）と、前記処理領域範囲決定部（３
   ４）の出力より特定色相領域の有無を判定する領域有無
   判定部（３５）とを設け、前記領域有無判定部（３５）
   により特定色相領域の存在が認められた場合に、前記処
   理領域範囲決定部（３４）により決定された特定色相領
   域に対して処理を行なうことを特徴とする画像処理装
   置。
5. 【請求項５】 請求項４に記載の画像処理装置におい
   て、特定色相領域追跡部（４）に、追跡前後の特定色相
   領域の範囲を比較する追跡領域範囲比較部（４１）と、
   前記追跡領域範囲比較部（４１）の出力より追跡領域の
   変形及び有無を判定する追跡領域変形有無判定部（４
   ２）とを設けたことにより、追跡前後の領域の変形の度
   合によって該領域の追跡の継続若しくは中止を選択可能
   とすることを特徴とする画像処理装置。
6. 【請求項６】 請求項１に記載の画像処理装置におい
   て、入力画像は情景等のカラー動画像であり、前記特徴
   領域として文字や数字、登録商標等の特定パターンであ
   る場合に、該特徴領域を字幕等のキャプションとして抽
   出することを特徴とする画像処理装置。
7. 【請求項７】 請求項６に記載の画像処理装置におい
   て、前記特徴領域として抽出した文字や数字等の特定パ
   ターン領域に対して、拡大等の処理を施し、原画像にス
   ーパーインポーズ等することにより、字幕等のキャプシ
   ョンを見易くすることを特徴とする画像処理装置。
8. 【請求項８】 請求項６に記載の画像処理装置におい
   て、前記特徴領域として抽出した文字や数字等の特定パ
   ターン領域に対して、特定パターン領域の色相と、該領
   域の周辺領域の色相との差が小さい場合に、前記特定パ
   ターン領域の色相を反転、強調等することにより、字幕
   等のキャプションを見易くすることを特徴とする画像処
   理装置。
9. 【請求項９】 請求項６に記載の画像処理装置におい
   て、前記特徴領域として抽出した文字や数字等の特定パ
   ターン領域に対して、特定パターン領域中の文字、数字
   や登録商標等の特定パターンを認識し、あらかじめ用意
   していた別のパターンと置換することにより、手書き文
   字や画質の劣化等により見難くなった字幕等のキャプシ
   ョンを清書し見易くすることを特徴とする画像処理装
   置。
10. 【請求項１０】 請求項６に記載の画像処理装置におい
    て、前記特徴領域として抽出した文字や数字等の特定パ
    ターン領域に対して、特定パターン領域中の文字、数字
    や登録商標等の特定パターンを認識し、文字等のパター
    ンの部分のみを隣接した画素の色に置換することによ
    り、字幕等のキャプションを自動的に消去することを特
    徴とする画像処理装置。