JP2011103514A - 映像情報処理装置 - Google Patents

Abstract

【課題】映像情報上にラベル情報を合成する際に、視聴者に違和感を与えることなく、視認しやすい合成映像情報を生成する映像情報処理装置を提供する。
【解決手段】映像情報を取得して記録する映像情報記録部１１０と、テキスト情報または画像情報により構成されるラベル情報を取得するラベル情報取得部１２０と、ラベル情報を対応させる被写体情報の映像情報内での移動軌跡に基づいて、ラベル情報の移動軌跡を算出するラベル情報軌道算出部１８０と、ラベル情報の内容がテキスト情報であると判定されたときに、ラベル情報の移動軌跡を補正するラベル情報軌道補正部１９０と、補正されたラベル情報の移動軌跡に基づいて、映像情報記録部１１０に記録された映像情報の各フレームに、テキスト情報のラベル情報を重畳して合成するラベル情報合成部２００とを備える。
【選択図】図１

Description

本発明は、映像情報上にラベル情報を合成する映像情報処理装置に関する。

従来、撮影された風景や人物像等の映像情報上に、別に生成したラベル情報を合成して表示させることがある。このラベル情報とは、映像情報内の被写体の説明を示すテキスト情報や被写体に付加する画像情報等により構成されるものである。このラベル情報を、コンピュータグラフィックス等の技術を用いて映像情報に重畳させることで、これらの情報を合成させることが可能である。

撮影された映像情報上の被写体の周辺に、この被写体の名称等のテキスト情報のラベル情報を合成することにより、撮影された映像内に表示される各被写体について説明を行うことが可能になる。

また映像情報上の被写体の周辺に、コンピュータグラフィックスの技術を利用して例えば星印や疑問符等の図形、あるいはリボンやメガネのアクセサリ等を示す画像情報のラベル情報を合成することにより、映像情報に演出効果を付加し、映像をより楽しく観賞することが可能になる。

映像情報上の被写体の周辺にラベル情報を合成したオブジェクト映像表示装置の一例が、特許文献１に記載されている。このオブジェクト映像表示装置では、映像に表示されている人物・建物等をそれぞれオブジェクト（被写体）として抽出し、これらのオブジェクトに対してその名称等を表示するラベル情報を貼付するように合成する。そしてこの貼付されたラベル情報は、対応するオブジェクトの動きを追うように画像情報内を移動するが、その際にラベル情報の移動軌道を平均化することによりラベル情報が緩慢な動きをするように設定し、ラベル情報に付されたテキスト情報の内容を視認しやすくしている。

特開２００１−１００７３１号公報

ここで、例えば映像情報上に、テキスト情報によるラベル情報を合成したときの一例を図１２に示す。図１２（ａ）に示す映像情報６００上の被写体６０１の近くに、図１２（ｂ）に示すテキスト情報のラベル情報６０２を合成して図１２（ｃ）に示すような合成映像情報が生成されたときに、被写体６０１の動きを追尾してこれに対するラベル情報６０２の移動軌跡を平均化すると、図１２（ｄ）に示すように被写体６０１とラベル情報６０２との位置関係が図１２（ｃ）に示す場合とは多少ずれることがある。しかしラベル情報６０２がテキスト情報の場合は、このように被写体６０１とラベル情報６０２との位置関係に多少のずれが生じても、視聴者が違和感を持つことは少ないため問題はない。

一方、映像情報上に、画像情報によるラベル情報を合成したときの一例を図１３に示す。図１３（ａ）に示す映像情報６１０の被写体６１１である人物の顔の上に、図１３（ｂ）に示すメガネの画像情報のラベル情報６１２を合成して図１３（ｃ）に示すメガネをかけた人物の合成映像情報が生成されたときに、上記と同様にラベル情報の移動軌跡を平均化すると、図１３（ｄ）に示すように被写体６１１である人物の顔からラベル情報６１２であるメガネの画像がずれて離れてしまうことがあり、視聴者に強い違和感を与えることになる。

よって本発明は、映像情報上にラベル情報を合成する際に、視聴者に違和感を与えることなく、視認しやすい合成映像情報を生成する映像情報処理装置を提供することを目的とする。

上記目的を達成するための本発明の映像情報処理装置（１００）は、映像情報を取得して記録する映像情報記録部（１１０）と、前記映像情報記録部（１１０）に記録された映像情報の所定の被写体情報に対応させて重畳するための、テキスト情報または画像情報により構成されるラベル情報を取得するラベル情報取得部（１２０）と、前記ラベル情報取得部（１２０）で取得されたラベル情報の内容がテキスト情報であるか、または画像情報であるかを判定するラベル情報内容判定部（１３０）と、前記ラベル情報を対応させる被写体情報の前記映像情報内での移動軌跡に基づいて、前記ラベル情報の移動軌跡を算出するラベル情報軌道算出部（１８０）と、前記ラベル情報内容判定部（１３０）において前記ラベル情報の内容がテキスト情報であると判定されたときに、前記ラベル情報軌道算出部（１８０）で算出されたラベル情報の移動軌跡に含まれる振動の高周波成分を除去して、前記移動軌跡を補正するラベル情報軌道補正部（１９０）と、前記ラベル情報内容判定部（１３０）において前記ラベル情報の内容がテキスト情報であると判定されたときに、前記ラベル情報軌道補正部（１９０）で補正されたラベル情報の移動軌跡に基づいて、前記映像情報記録部（１１０）に記録された映像情報の各フレームに、前記ラベル情報取得部（１２０）で取得されたテキスト情報のラベル情報を重畳して合成するラベル情報合成部（２００）とを備えることを特徴とする。

この映像情報処理装置（１００）のラベル情報軌道補正部（１９０）は、さらに前記テキスト情報内の文字のサイズが予め設定された閾値未満であるときに、前記ラベル情報軌道算出部（１８０）で算出されたラベル情報の移動軌跡を補正するようにしてもよい。

またこの映像情報処理装置（１００）の前記映像情報記録部（１１０）は、前記映像情報とともに、前記映像情報の撮影時に手ブレ補正処理が行われていたか否かを示す情報を取得してこれらを対応させて記録し、前記ラベル情報軌道補正部（１９０）は、さらに前記映像情報記録部（１１０）に記録された情報により前記映像情報の撮影時に手ブレ補正処理が行われていなかったことが示されているときに、前記ラベル情報軌道算出部（１８０）で算出されたラベル情報の移動軌跡を補正するようにしてもよい。

本発明の映像情報処理装置、映像情報処理方法、および映像情報処理プログラムによれば、映像情報上にラベル情報を合成する際に、視聴者に違和感を与えることなく、視認しやすい合成映像情報を生成することができる。

本発明の第１実施形態および第２実施形態における映像情報処理装置の構成を示すブロック図である。 本発明の第１実施形態〜第３実施形態における映像情報処理装置の動作を示すフローチャートである。 本発明の第１実施形態〜第３実施形態における映像情報処理装置のラベル情報の内容の判定処理を示すフローチャートである。 本発明の第１実施形態〜第３実施形態における映像情報処理装置に記録された映像情報内の１フレームを示す画面構成図である。 本発明の第１実施形態〜第３実施形態における映像情報処理装置に記録された映像情報内の１フレームにおいて、（ａ）ラベリング対象の画像範囲からラベリング対象位置が決定された状態、（ｂ）ユーザの指定によりラベリング対象位置が決定された状態、を示す画面構成図である。 本発明の第１実施形態〜第３実施形態における映像情報処理装置に記録された映像情報内の１フレームにおいて、ラベル情報が配置された状態を示す画面構成図である。 第１実施形態〜第３実施形態における映像情報処理装置に記録された映像情報内の１フレームを座標軸に基づいて示した画面構成図である。 本発明の第１実施形態における映像情報処理装置のラベル情報の移動軌跡の補正処理を示すフローチャートである。 本発明の第２実施形態における映像情報処理装置のラベル情報の移動軌跡の補正処理を示すフローチャートである。 本発明の第３実施形態における映像情報処理装置の構成を示すブロック図である。 本発明の第３実施形態における映像情報処理装置のラベル情報の移動軌跡の補正処理を示すフローチャートである。 従来の（ａ）映像情報の一フレーム、（ｂ）映像情報に合成するテキスト情報のラベル情報、（ｃ）ラベル情報を合成した映像情報の一例、（ｄ）ラベル情報を合成した映像情報の他の一例を示す画面構成図である。 従来の（ａ）映像情報の一フレーム、（ｂ）映像情報に合成する画像情報のラベル情報、（ｃ）ラベル情報を合成した映像情報の一例、（ｄ）ラベル情報を合成した映像情報の他の一例を示す画面構成図である。

以下に、第１実施形態〜第３実施形態による映像情報処理装置１００を利用した映像情報処理システム１として、撮影装置で撮影した映像情報内の被写体情報に、テキスト情報または画像情報で構成されたラベル情報を対応させて表示させるように、映像情報とラベル情報とを合成する場合について説明する。

《第１実施形態》
〈第１実施形態による映像情報処理システムの構成〉
本実施形態による映像情報処理装置１００を利用した映像情報処理システム１の構成を、図１を参照して説明する。

本実施形態による映像情報処理システム１は、映像情報処理装置１００に、撮影装置３００と、入力装置４００と、表示装置５００とが接続されて構成されている。

映像情報処理装置１００は、映像情報記録部１１０と、ラベル情報取得部１２０と、ラベル情報内容判定部１３０と、ラベル情報記録部１４０と、ラベリング対象決定部１５０と、ラベリング対象軌道検出部１６０と、ラベル情報配置部１７０と、ラベル情報軌道算出部１８０と、ラベル情報軌道補正部１９０と、ラベル情報合成部２００とを有する。

映像情報記録部１１０は、ハードディスク、半導体記憶装置等の不揮発性の記録装置で構成され、撮影装置３００で被写体が撮影された処理対象の映像情報を取得して記録する。この映像情報記録部１１０は、映像情報処理装置１００から着脱可能な状態で構成された映像記録装置としてもよい。

ラベル情報取得部１２０は、映像情報記録部１１０に記録された映像情報の所定の被写体情報に対応させて重畳するための、テキスト情報または画像情報により構成されるラベル情報を取得する。

ラベル情報内容判定部１３０は、ラベル情報取得部１２０で取得されたラベル情報の内容がテキスト情報であるか、または画像情報であるかを判定し、この判定結果を示すラベル内容情報を生成する。

ラベル情報記録部１４０は、ラベル情報取得部１２０で取得されたラベル情報と、ラベル情報内容判定部１３０で生成されたラベル内容情報とを、それぞれ対応づけて記録する。

ラベリング対象決定部１５０は、映像情報記録部１１０に記録された映像情報内の１フレームの画像情報の中から、ラベル情報に対応させる被写体情報をラベリング対象情報として決定する。そして、このラベリング対象情報内の任意の一点を、ラベリング対象位置として決定する。

ラベリング対象軌道検出部１６０は、ラベリング対象決定部１５０で決定されたラベリング対象位置の、映像情報内での移動軌跡を検出する。

ラベル情報配置部１７０は、ラベリング対象決定部１５０で決定されたラベリング対象位置に対する、ラベル情報を合成するための配置位置を決定する。

ラベル情報軌道算出部１８０は、ラベリング対象軌道検出部１６０で検出されたラベリング対象位置の移動軌跡と、ラベル情報配置部１７０で決定されたラベル情報の配置位置とから、当該ラベル情報の移動軌跡を算出する。

ラベル情報軌道補正部１９０は、ラベル情報記憶部１４０に記憶されたラベル内容情報の中に、ラベル情報がテキスト情報であることが示されているときに、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡を平滑化して滑らかにするように補正する。

ラベル情報合成部２００は、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡、またはラベル情報軌道補正部１９０で補正されたラベル情報の移動軌跡に基づいて、映像情報記録部１１０に記録された映像情報の各フレームに、ラベル情報記録部１４０に記録されたラベル情報を重畳して合成した合成映像情報を生成する。

撮影装置３００は、被写体を撮影して映像情報を生成し、その映像情報を映像情報処理装置１００に送信する。

入力装置４００は、ユーザにより操作されるマウス、キーボード等であり、ラベル情報取得部１２０において取得されるラベル情報の取得、ラベル情報内容判定部１３０におけるラベル内容情報の生成、ラベリング対象決定部１５０におけるラベリング対象情報の決定およびラベリング対象位置の決定、ラベル情報配置部１７０におけるラベル情報の配置位置の決定等を実行する際に利用する。

表示装置５００は、ラベル情報合成部２００で生成された合成映像情報を表示する。

〈第１実施形態による映像情報処理システムの動作〉
次に、本実施形態による映像情報処理装置１００を利用した映像情報処理システム１の動作について説明する。

まず、撮影装置３００において被写体を撮影することによって生成された映像情報が映像情報処理装置１００に送信される。

撮影装置から送信された映像情報が取得されたときの映像情報処理装置１００の処理について、図２のフローチャートを参照して説明する。

映像情報処理装置１００において映像情報が取得されると、映像情報記録部１１０に記録される（ステップＳ１）。

また、映像情報記録部１１０に記録された映像情報の所定の被写体情報に対応させて重畳するための、テキスト情報または画像情報により構成されるラベル情報が、ラベル情報取得部１２０において取得される（ステップＳ２）。

ラベル情報取得部１２０におけるラベル情報の取得処理は、例えばペイントツールのようなグラフィックスソストを利用して入力装置４００による操作で画像情報が作成されたり、ワードプロセッサを利用して入力装置４００による操作でテキスト情報が入力されたりすることで実行される。また、ＪＰＥＧ（Joint Photographic Experts Group）等の画像圧縮技術等で既に生成されたデジタル画像情報を外部から取り込むことで、取得されるようにしてもよい。

次にラベル情報内容判定部１３０において、ラベル情報取得部１２０で取得されたラベル情報の内容がテキスト情報であるかまたは画像情報であるかが判定され、この判定結果を示すラベル内容情報が生成される（ステップＳ３）。

ラベル情報内容判定部１３０におけるラベル情報の内容の判定処理の一例について、図３のフローチャートを参照して説明する。

まず、ラベル情報にテキスト情報が含まれているか否かが判定される（ステップＳ１０１）。このテキスト情報が含まれているか否かの判定処理には、例えば画像処理による文字認識技術を利用しても良い。文字認識技術の一例として、特開２００８−１１７１２６号公報に記載されているような、予め記憶された文字のテンプレートとラベル情報とのパターンマッチングにより文字を認識する技術を利用することができる。また、ラベル情報取得部１２０においてラベル情報が生成されたときにテキスト情報が入力されたか否かが記憶されるようにしておき、この記憶された情報に基づいて、ラベル情報にテキスト情報が含まれるか否かが判定されるようにしてもよい。

ステップＳ１０１においてラベル情報にテキスト情報が含まれていると判定されたとき（ステップＳ１０１の「YES」）は、ラベル情報を示す領域全体の中でテキスト情報の入力範囲が占める面積の割合が検出され、この割合が予め設定された閾値以上であるか否かが判定される（ステップＳ１０２）。

ステップＳ１０２における判定の結果、ラベル情報を示す領域全体の中でテキスト情報の入力範囲が占める面積の割合が設定された閾値以上であると判定されたとき（ステップＳ１０２の「YES」）はラベル情報の内容がテキスト情報であると判定され（ステップＳ１０３）、閾値以下であると判定されたとき（ステップＳ１０２の「NO」）はラベル情報の内容が画像情報であると判定される（ステップＳ１０４）。

例えば、予め設定された閾値を５０％とする。その場合には、ラベル情報を示す領域全体の中でのテキスト情報の入力範囲が占める面積の割合が５０％以上であればラベル情報の内容はテキスト情報であると判定される（ステップＳ１０２の「YES」）。ラベル情報内容判定部１３０において、ラベル情報にテキスト情報が含まれていないと判定されたとき（ステップＳ１０１の「NO」）、またはラベル情報を示す領域全体の中でのテキスト情報の入力範囲が占める面積の割合が５０％未満であると判定されたとき（ステップＳ１０２の「NO」）には、ラベル情報は画像情報であると判定される（ステップＳ１０４）。

また、ラベル情報の内容がテキスト情報であるかまたは画像情報であるかを指定する情報がユーザの操作により入力装置４００から入力されるようにし、この情報に基づいてラベル情報内容判定部１３０においてラベル情報の内容が判定されるようにしてもよい。

図２のフローチャートに戻り、ステップＳ３においてラベル情報内容が判定されると、ステップＳ２において取得されたラベル情報と、ステップＳ３において判定されたラベル内容情報とが、それぞれ対応付けられてラベル情報記録部１４０に記録される（ステップＳ４）。

次にラベリング対象決定部１５０において、ラベル情報に対応させる被写体情報がラベリング対象情報として決定される（ステップＳ５）。

このラベリング対象情報の決定処理は、例えば映像情報記録部１１０に記録された映像情報内からラベル対象情報の決定のために選択された１フレームであるラベリング対象指定フレームの中から、ユーザによる入力装置４００の操作により、ラベル情報に対応させる被写体情報が指定されることで実行される。例えば、図４に示すようにラベリング対象指定フレーム１０の中から、被写体Ｘがラベリング対象として決定される。

続いてラベリング対象決定部１５０において、ユーザによる入力装置４００の操作に基づいて、ラベリング対象情報内の任意の一点がラベリング対象位置として決定される（ステップＳ６）。このラベリング対象位置は、例えば、図５（ａ）に示すように、ユーザの操作でラベリング対象の被写体Ｘの画像範囲１１Ａが指定されることにより画像範囲１１の中心点Ｐが算出されて決定される。あるいは、図５（ｂ）に示すように、ラベリング対象の被写体Ｘ内の映像情報の中からユーザの操作で任意の点Ｐ’が指定されることにより決定される。

次にラベリング対象軌道検出部１６０において、ラベリング対象決定部１５０で決定されたラベリング対象位置の、映像情報内での移動軌跡が検出される（ステップＳ７）。

このラベリング対象位置の移動軌跡の検出処理には、例えば特開２００２−３１２７９３号公報に記載されているような、動画像のフレームを所定の特徴量に基づいて複数領域に分割すると共に、追尾する領域の特徴量を記憶しておき、次フレーム以降の領域における特徴量と比較することにより追尾領域の位置を検出する技術を利用することができる。

次にラベル情報配置部１７０において、ラベリング対象決定部１５０で決定されたラベリング対象位置に対する、ラベル情報を合成するための配置位置が決定される（ステップＳ８）。

このラベル情報の配置位置の決定処理は、例えば、ステップＳ５のラベリング対象情報の決定処理で選択されたラベリング対象指定フレームがラベル配置処理のためのラベル配置フレームとして用いられ、ユーザによる入力装置４００の操作により、図６に示すようにラベリング配置フレーム内の被写体Ｘの右斜め上の位置にラベル情報１２を配置させるように指定されることで実行される。

次にラベル情報軌道算出部１８０において、ラベリング対象軌道検出部１６０で検出されたラベリング対象位置の移動軌跡と、ラベル情報配置部１７０で決定されたラベル情報の配置位置とから、ラベル情報１２の移動軌跡が算出される（ステップＳ９）。

ラベル情報軌道算出部１８０におけるラベル情報の移動軌跡の算出処理の一例について、図７を参照して説明する。

まず、ラベル配置フレームの左下を原点（０，０）と横方向をｘ軸、縦方向をｙ軸とした場合のラベリング対象位置Ｐ’の座標値を（２００，４００）、配置したラベル情報１２内の任意の一点で示されるラベル基準点Ｑ（図７においてはラベル情報の中心点）の座標値を（４００，５００）とすると、ラベル配置フレームにおけるラベリング対象位置Ｐ’の座標値とラベル情報１２のラベル基準点Ｑの座標値との差は（２００，１００）となる。

そこで、この算出されたラベリング対象位置Ｐ’の座標値とラベル基準点Ｑの座標値との差（２００，１００）が、ステップＳ７において検出されたラベリング対象位置の移動軌跡の各座標値に加算されることにより、ラベル情報の座標値の移動軌跡が算出される。

次にラベル情報軌道補正部１９０において、ラベル情報の移動軌跡の補正処理が行われる（ステップＳ１０）。ラベル情報の移動軌跡の補正処理について、図８のフローチャートを参照して説明する。

まず、ラベル情報記憶部１４０に記憶されたラベル内容情報によりラベル情報がテキスト情報であるか否かが判定される（ステップＳ２０１）。

ステップＳ２０１における判定の結果、ラベル情報がテキスト情報であることが示されているときには（ステップＳ２０１の「YES」）、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡を、移動軌跡に含まれる振動の高周波成分を除去することにより滑らかにするように補正される（ステップＳ２０２）。

このラベル情報の移動軌跡の補正処理には、例えば、ＷＯ２００６／０８２９６７号公報に記載されているような、低域通過フィルタを用いて振動の高周波成分のみを平滑化することにより軌跡を滑らかに補正する技術を利用することができる。

また、ステップＳ２０１においてラベル情報が画像情報であることが示されているときには（ステップＳ２０１の「NO」）、ラベル情報の移動軌跡の補正は行われずにステップＳ１０の処理は終了する。

次にラベル情報合成部２００において、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡、またはラベル情報軌道補正部１９０で補正されたラベル情報の移動軌跡に基づいて、映像情報記録部１１０に記録された映像情報の各フレームに、ラベル情報記録部１４０に記録されたラベル情報が重畳されて合成され、合成映像情報が生成される（ステップＳ１１）。ここで用いられるラベルの移動軌跡は、ラベル情報が画像情報のときにはラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡が用いられ、ラベル情報がテキスト情報のときにはラベル情報軌道補正部１９０で補正されたラベル情報の移動軌跡が用いられる。

ラベル情報合成部２００において生成された合成映像情報は、表示装置５００に表示される。この合成映像情報は、映像情報記録部１１０に記録されるようにしてもよい。

以上の本実施形態によれば、映像情報上にラベル情報を合成する際に、ラベル情報がテキスト情報のときには平滑に移動するように補正され、ラベル情報が画像情報のときには被写体に対応して移動するように処理するため、撮影時の手ブレ等により被写体が振動する場合にも、テキスト情報のラベル情報は平滑に移動して視認しにくくなることがなく、画像情報のラベル情報は被写体とのずれが生じず視聴者に違和感を与えないように表示される。

《第２実施形態》
〈第２実施形態による映像情報処理システムの構成〉
本実施形態による映像情報処理装置１００を利用した映像情報処理システム１の構成は、第１実施形態と同様であるため、同一の機能を有する構成については詳細な説明を省略する。

ラベル情報軌道補正部１９０は、ラベル情報記憶部１４０に記憶されたラベル内容情報により当該ラベル情報がテキスト情報であることが示され、さらにこのテキスト情報内の文字のサイズが予め設定された閾値未満であるときに、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡が滑らかになるように補正する。

〈第２実施形態による映像情報処理システムの動作〉
次に、本実施形態による映像情報処理装置１００を利用した映像情報処理システム２の動作について説明する。

映像情報処理システム２では、映像情報処理装置１００において映像情報が取得されてからラベル情報の移動軌跡が算出されるまでの処理については、第１実施形態の図２で説明した映像情報処理装置１００で実行されるステップＳ１〜Ｓ９に動作と同様であるため詳細な説明は省略する。

本実施形態において、ラベル情報軌道補正部１９０で実行されるステップＳ１０のラベル情報の移動軌跡の補正処理について、図９のフローチャートを参照して説明する。

まず、ラベル情報記憶部１４０に記憶されたラベル内容情報によりラベル情報がテキスト情報であるか否かが判定される（ステップＳ３０１）。

ステップＳ３０１における判定の結果、ラベル情報がテキスト情報であることが示されているときには（ステップＳ３０１の「YES」）、さらにこのテキスト情報内の文字のサイズが予め設定された閾値以上であるか否かが判定される（ステップＳ３０２）。

ステップＳ３０２における判定の結果、テキスト情報内の文字のサイズが予め設定された閾値未満であるときには（ステップＳ３０２の「NO」）、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡を、移動軌跡に含まれる振動の高周波成分を除去することにより滑らかにするように補正される（ステップＳ３０３）。

例えば、この補正処理を行うか否かを判定するための、テキスト情報内の文字のサイズの閾値を、映像情報内のラベル情報を示す領域全体の縦あるいは横のサイズの３０％とする。ラベル情報内容判定部１３０において判定されたテキスト情報の中で最も小さい文字のサイズを記憶しておき、そのサイズが、閾値である映像情報内のラベル情報を示す領域全体の縦あるいは横のサイズの３０％未満であるときに、視認しやすくするために補正が必要であると判断され移動軌跡の補正処理が行われる。また、ラベル情報取得部１２０においてラベル情報が生成されたときのフォントサイズをラベル情報記憶部１４０に記憶しておき、このフォントサイズに基づいて表示される最も小さい文字のサイズが、閾値である映像情報内のラベル情報を示す領域全体の縦あるいは横のサイズの３０％未満であるときに移動軌跡の補正処理が行われるようにしてもよい。

また、ステップＳ３０１においてラベル情報が画像情報であることが示されているとき（ステップＳ３０１の「NO」）、またはテキスト情報の中で最も小さい文字のサイズが映像情報内の画像情報の縦あるいは横のサイズの３０％以上であり補正を行わなくても文字は十分視認可能であると判断されたときには（ステップＳ３０２の「YES」）、移動軌跡の補正処理は行われずステップＳ１０の処理は終了する。

ステップＳ１１の合成映像情報の生成処理については、第１実施形態と同様であるため詳細な説明は省略する。

以上の本実施形態によれば、映像情報に合成するラベル情報がテキスト情報であるときに、このテキスト情報が予め設定された閾値以上であるときは手ブレ等により映像情報が振動しても十分視認可能であるとして移動軌跡の補正処理を行わず、閾値未満であるときのみ移動軌跡の補正処理を行うようにするため、視聴者がテキスト情報を視認しにくくなることがなく、さらに装置の負荷を軽減させることができる。

《第３実施形態》
〈第３実施形態による映像情報処理システムの構成〉
本実施形態による映像情報処理装置１００を利用した映像情報処理システム３の構成を、図１０を参照して説明する。本実施形態による映像情報処理システム３は、撮影装置３０１が撮影部３１０に加えて手ブレ補正部３２０を有する他は、第１実施形態による映像情報処理システム１の構成と同一であるため、同一部分の詳細な説明は省略する。

撮影装置３０１の撮影部３１０は、被写体を撮影して映像情報を生成し、その映像情報を映像情報処理装置１００に送信する。手ブレ補正部３２０は、撮影部３１０において撮影処理を行う際に、手ブレ等による映像情報の振動を低減させる手ブレ補正を行う。この手ブレ補正処理については、周知の技術を利用することができる。

この手ブレ補正部３２０による手ブレ補正処理は、ユーザによる入力装置４００の操作によりオン／オフの切り替えが可能であり、撮影部３１０による撮影時に手ブレ補正処理がオンであるかまたはオフであるかを示す情報を、生成される映像情報に対応させて記録させるために映像情報記録部１１０に送信する。

また、映像情報処理装置１００のラベル情報軌道補正部１９０は、ラベル情報記憶部１４０に記憶されたラベル内容情報によりラベル情報がテキスト情報であることが示され、このテキスト情報内の文字のサイズが予め設定された閾値未満であり、さらに映像情報記録部１１０に記録された情報により手ブレ補正処理がオフであると判定されたときに、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡を、移動軌跡に含まれる振動の高周波成分を除去することにより滑らかにするように補正する。

〈第３実施形態による映像情報処理システムの動作〉
次に、本実施形態による映像情報処理装置１００を利用した映像情報処理システム３の動作について説明する。

映像情報処理システム３では、撮影装置３０１で撮影が行われる際に、ユーザによる入力装置４００の操作により、撮影装置３０１における手ブレ補正処理のオン／オフが切り替えられて指定される。そして、手ブレ補正処理がオンに指定されたときには手ブレ補正部３２０による手ブレ補正処理が行われた状態で撮影部３１０において撮影が行われる。

また、この手ブレ補正部３２０に対して指定された手ブレ補正処理のオン／オフの情報は映像情報記録部１１０に送信され、生成される映像情報に対応して記録される。

また映像情報処理システム３において、映像情報処理装置１００において映像情報が取得されてからラベル情報の移動軌跡が算出されるまでの処理については、第１実施形態の図２で説明した映像情報処理装置１００で実行されるステップＳ１〜Ｓ９に動作と同様であるため詳細な説明は省略する。

本実施形態において、ラベル情報軌道補正部１９０で実行されるステップＳ１０のラベル情報の移動軌跡の補正処理について、図１１のフローチャートを参照して説明する。

まず、ラベル情報記憶部１４０に記憶されたラベル内容情報により当該ラベル情報がテキスト情報であるか否かが判定される（ステップＳ４０１）。

ステップＳ４０１における判定の結果、当該ラベル情報がテキスト情報であることが示されているときには（ステップＳ４０１の「YES」）、さらにこのテキスト情報内の文字のサイズが予め設定された閾値以上であるか否かが判定される（ステップＳ４０２）。

ステップＳ４０２における判定の結果、テキスト情報内の文字のサイズが予め設定された閾値未満であるときには（ステップＳ４０２の「NO」）、さらに映像情報記録部１１０に記録された情報に基づいて撮影時に手ブレ補正処理がオンであったかあるいはオフであったかが判定され、オフであったときには（ステップＳ４０３の「NO」）、ラベル情報軌道算出部１８０で算出されたラベル情報の移動軌跡を、移動軌跡に含まれる振動の高周波成分を除去することにより、滑らかにするように補正される（ステップＳ４０４）。

また、ステップＳ４０１において当該ラベル情報が画像情報であることが示されているとき（ステップＳ４０１の「NO」）、またはテキスト情報の中で最も小さい文字のサイズが映像情報内の画像情報の縦あるいは横のサイズの３０％以上であり補正を行わなくても文字は十分視認可能であると判断されたとき（ステップＳ４０２の「YES」）、または撮影時に手ブレ補正処理がオンであり映像情報の振動は手ブレによるものではないと判断されたときには（ステップＳ４０３の「YES」）、移動軌跡の補正処理は行われずステップＳ１０の処理を終了する。

ステップＳ１１の合成映像情報の生成処理については、第１実施形態と同様であるため詳細な説明は省略する。

以上の本実施形態によれば、映像情報に合成するラベル情報がテキスト情報である場合に、映像情報の撮影時に手ブレ補正処理がオンになっていたときには映像情報の振動は手ブレによるものではないと判断して移動軌跡の補正処理を行わず、手ブレ補正処理がオフになっていたときのみ移動軌跡の補正処理を行うようにするため、撮影状態に応じて適切な補正処理を行うことができる。

また、上記の第１実施形態〜第３実施形態の映像情報処理装置の機能構成をプログラム化してコンピュータに組み込むことにより、コンピュータを映像情報処理装置として機能させる映像情報処理プログラムを構築することも可能である。

１〜３…映像情報処理システム
１０…ラベリング対象指定フレーム
１１…画像範囲
１２…ラベル情報
１００…映像情報処理装置
１１０…映像情報記録部
１２０…ラベル情報取得部
１３０…ラベル情報内容判定部
１４０…ラベル情報記録部
１５０…ラベリング対象決定部
１６０…ラベリング対象軌道検出部
１７０…ラベル情報配置部
１８０…ラベル情報軌道算出部
１９０…ラベル情報軌道補正部
２００…ラベル情報合成部
３００、３０１…撮影装置
３１０…撮影部
３２０…手ブレ補正部
４００…入力装置
５００…表示装置

Claims (3)

1. 映像情報を取得して記録する映像情報記録部と、
   前記映像情報記録部に記録された映像情報の所定の被写体情報に対応させて重畳するための、テキスト情報または画像情報により構成されるラベル情報を取得するラベル情報取得部と、
   前記ラベル情報取得部で取得されたラベル情報の内容がテキスト情報であるか、または画像情報であるかを判定するラベル情報内容判定部と、
   前記ラベル情報を対応させる被写体情報の前記映像情報内での移動軌跡に基づいて、前記ラベル情報の移動軌跡を算出するラベル情報軌道算出部と、
   前記ラベル情報内容判定部において前記ラベル情報の内容がテキスト情報であると判定されたときに、前記ラベル情報軌道算出部で算出されたラベル情報の移動軌跡に含まれる振動の高周波成分を除去して、前記移動軌跡を補正するラベル情報軌道補正部と、
   前記ラベル情報内容判定部において前記ラベル情報の内容がテキスト情報であると判定されたときに、前記ラベル情報軌道補正部で補正されたラベル情報の移動軌跡に基づいて、前記映像情報記録部に記録された映像情報の各フレームに、前記ラベル情報取得部で取得されたテキスト情報のラベル情報を重畳して合成するラベル情報合成部と
   を備えることを特徴とする映像情報処理装置。
2. 前記ラベル情報軌道補正部は、前記テキスト情報内の文字のサイズが予め設定された閾値未満であるときに、前記ラベル情報軌道算出部で算出されたラベル情報の移動軌跡を補正する
   ことを特徴とする請求項１に記載の映像情報処理装置。
3. 前記映像情報記録部は、前記映像情報とともに、前記映像情報の撮影時に手ブレ補正処理が行われていたか否かを示す情報を取得してこれらを対応させて記録し、
   前記ラベル情報軌道補正部は、さらに前記映像情報記録部に記録された情報により前記映像情報の撮影時に手ブレ補正処理が行われていなかったことが示されているときに、前記ラベル情報軌道算出部で算出されたラベル情報の移動軌跡を補正する
   ことを特徴とする請求項１または２に記載の映像情報処理装置。

Images