JP5565737B2 - 映像イベント検出装置およびその動作方法 - Google Patents

Description

本発明は、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを高い精度で検出する映像イベント検出装置およびその動作方法に関するものである。

講義の様子を撮影した映像において、黒板に書かれた文字や図形の変化量により、「板書する」という行動を検出する従来技術の文献としては、非特許文献１がある。

非特許文献１の方法は以下の通りである。

まず、映像から一定間隔でフレーム画像をサンプリングし，ｎ−１番目のフレーム画像Ｆ（ｎ−１）とｎ番目のフレーム画像Ｆ（ｎ）の差分の２値化処理で、フレーム画像Ｆ（ｎ）における講師の領域を求め、これを各フレーム画像で行い、それぞれ講師領域を検出する。

次に、フレーム画像Ｆ（ｎ）から講師領域を消去した講師消去画像Ｇ（ｎ）を求めるために、フレーム画像Ｆ（ｎ）の講師領域以外の画素を講師消去画像Ｇ（ｎ）に転写し、フレーム画像Ｆ（ｎ）の講師領域に相当する、１つ前の講師消去画像Ｇ（ｎ−１）の画素を講師消去画像Ｇ（ｎ）に転写する。

次に、講師消去画像Ｇ（ｎ）と講師消去画像Ｇ（ｎ−１）の差分を２値化処理で文字差分画像を求める。つまり、フレーム画像Ｆ（ｎ）とフレーム画像Ｆ（ｎ−１）で変更のあった文字領域を検出する。

最後に、文字差分画像の文字画素数の変化量を求め、変化量から板書を行っているかを判別する。

篠木雄大，藤吉弘亘：高解像度映像からの視聴者の注目点を考慮した講義映像の自動生成，映像情報メディア学会誌, Vol.62, No.2, pp.240-246, 2008.

従来技術では、講義の映像で大きく変化する領域は講師領域であることから、フレーム画像間の差分で求めた動領域を講師領域として検出している。しかしながら、フレーム画像間の差分では動領域（講師領域）を概ねは検出できるが、正確に検出することは困難である。特に、講師の動きが少ない場合には、講師領域の検出は極めて困難である。また、講師領域を検出した後に講師消去画像を生成し、講師消去画像と１つ前の講師消去画像の差分により、講師消去画像で変化があった領域を求め、これを文字差分画像としているが、照明変動、文字のかすれなどのノイズの影響を受けやすい。これらの問題により文字画素数の変化量を正しく求められない場合があり、板書の開始時刻などの検出精度が低いことが問題である。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを高い精度で検出する映像イベント検出装置およびその動作方法を提供することにある。

上記の課題を解決するために、第１の本発明は、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出する映像イベント検出装置であって、前記映像ファイルから再生順にサンプリングされた各フレーム画像からサンプリングごとに線を消去し線消去画像を生成する線消去処理部と、前記各フレーム画像のサンプリングごとに、当該フレーム画像に映った場所の前景の領域を示す前景領域画像を生成する前景領域検出部と、前記各フレーム画像のサンプリングごとに、当該フレーム画像および当該フレーム画像から生成された線消去画像の差分画像を生成し、当該差分画像の、対応する前景領域画像により示される領域以外に該当する差分画像背景領域を含む画像である線画像を生成する線画像生成部と、前記各線画像が記憶される線画像記憶部とを備え、前記線画像生成部は、前記各フレーム画像について、当該フレーム画像より先に再生されるフレーム画像を用いて生成された線画像が前記線画像記憶部にある場合は、当該線画像を読み出し、当該線画像から、当該後に再生されるフレーム画像に対応する前景領域画像により示される領域に該当する線画像前景領域を抜き出し、当該後に再生されるフレーム画像に対応する線画像に当該線画像前景領域を含めるものであり、前記映像イベント検出装置は、さらに、前記各線画像内の線の量を示す線量を計算し、前記各フレーム画像の再生順での当該線量の変化に基づいて、前記映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出するイベント検出部を備えることを特徴とする映像イベント検出装置をもって解決手段とする。

例えば、第１の本発明において、前記イベント検出部は、順次に再生される複数のフレーム画像のそれぞれにつき、当該対象のフレーム画像の直前に再生されるフレーム画像がある場合には当該対象のフレーム画像に対応する線量から当該直前に再生されるフレーム画像に対応する線量を減じた線量増分を計算し、当該複数のフレーム画像で最も後に再生されるフレーム画像に対応する線量増分が予め設定されたしきい値より大きく且つ、当該最も後に再生されるフレーム画像以外のフレーム画像に対応する線量増分が当該しきい値以下であり且つ、当該最も先に再生されるフレーム画像の再生のタイミングと当該最も後に再生されるフレーム画像の再生のタイミングとの間の時間差が予め設定されたしきい値より大きいなら、当該最も後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、あるフレーム画像に対応する線量から当該フレーム画像の直後に再生されるフレーム画像に対応する線量を減じた線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする。

例えば、第１の本発明において、前記イベント検出部は、前記各フレーム画像の再生順で前記線量を累積した累積線量を計算し、順次に再生される複数のフレーム画像に対応する累積線量の増加率が予め設定されたしきい値より大きく且つ、当該複数のフレーム画像で最も先に再生されるフレーム画像に対応する累積線量から当該フレーム画像の直前に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が予め設定されたしきい値以下であり且つ、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像に対応する累積線量から当該最も先に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が当該しきい値より大きいなら、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、あるフレーム画像に対応する累積線量から当該フレーム画像の直後に再生されるフレーム画像に対応する累積線量を減じた累積線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする。

第２の本発明は、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出する映像イベント検出装置の動作方法であって、前記映像イベント検出装置の線消去処理部が、前記映像ファイルから再生順にサンプリングされた各フレーム画像からサンプリングごとに線を消去し線消去画像を生成し、前記映像イベント検出装置の前景領域検出部が、前記各フレーム画像のサンプリングごとに、当該フレーム画像に映った場所の前景の領域を示す前景領域画像を生成し、前記映像イベント検出装置の線画像生成部が、前記各フレーム画像のサンプリングごとに、当該フレーム画像および当該フレーム画像から生成された線消去画像の差分画像を生成し、当該差分画像の、対応する前景領域画像により示される領域以外に該当する差分画像背景領域を含む画像である線画像を生成し、当該線画像を前記映像イベント検出装置に設けられた線画像記憶部に記憶させ、前記線画像生成部は、前記各フレーム画像について、当該フレーム画像より先に再生されるフレーム画像を用いて生成された線画像が前記線画像記憶部にある場合は、当該線画像を読み出し、当該線画像から、当該後に再生されるフレーム画像に対応する前景領域画像により示される領域に該当する線画像前景領域を抜き出し、当該後に再生されるフレーム画像に対応する線画像に当該線画像前景領域を含め、前記映像イベント検出装置のイベント検出部が、前記各線画像内の線の量を示す線量を計算し、前記各フレーム画像の再生順での当該線量の変化に基づいて、前記映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出することを特徴とする映像イベント検出装置の動作方法をもって解決手段とする。

例えば、第２の本発明において、前記イベント検出部は、順次に再生される複数のフレーム画像のそれぞれにつき、当該対象のフレーム画像の直前に再生されるフレーム画像がある場合には当該対象のフレーム画像に対応する線量から当該直前に再生されるフレーム画像に対応する線量を減じた線量増分を計算し、当該複数のフレーム画像で最も後に再生されるフレーム画像に対応する線量増分が予め設定されたしきい値より大きく且つ、当該最も後に再生されるフレーム画像以外のフレーム画像に対応する線量増分が当該しきい値以下であり且つ、当該最も先に再生されるフレーム画像の再生のタイミングと当該最も後に再生されるフレーム画像の再生のタイミングとの間の時間差が予め設定されたしきい値より大きいなら、当該最も後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、あるフレーム画像に対応する線量から当該フレーム画像の直後に再生されるフレーム画像に対応する線量を減じた線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする。

例えば、第２の本発明において、前記イベント検出部は、前記各フレーム画像の再生順で前記線量を累積した累積線量を計算し、順次に再生される複数のフレーム画像に対応する累積線量の増加率が予め設定されたしきい値より大きく且つ、当該複数のフレーム画像で最も先に再生されるフレーム画像に対応する累積線量から当該フレーム画像の直前に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が予め設定されたしきい値以下であり且つ、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像に対応する累積線量から当該最も先に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が当該しきい値より大きいなら、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、あるフレーム画像に対応する累積線量から当該フレーム画像の直後に再生されるフレーム画像に対応する累積線量を減じた累積線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする。

本発明によれば、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを高い精度で検出することができる。

本実施の形態に係る映像イベント検出装置の構成を示す機能ブロック図である。 映像イベント検出装置の動作方法を示すフローチャートである。 図３（ａ）は、フレーム画像の一例であり、図３（ｂ）は、線消去画像の一例である。 図４（ａ）は、２値化画像の一例であり、図４（ｂ）は、線消去画像において黒板の位置を示した図である。 線画像の生成の様子の一例を示す図である。 イベント検出部１６に関する実施例１の説明に用いるための図である。 イベント検出部１６に関する実施例２の説明に用いるための図である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本実施の形態に係る映像イベント検出装置の構成を示す機能ブロック図である。図２は、映像イベント検出装置の動作方法を示すフローチャートである。

図１において、映像イベント検出装置１は、映像ファイルに映った場所で線が書かれ始めるタイミングや線が消去されるタイミングを検出する装置である。場所は、例えば教室であり、線は、例えば講師により文字や図形として、チョークを使い黒板に書かれる。線は、例えば、黒板消しで消去される。

映像イベント検出装置１は、図示しない記憶装置などから映像ファイルを読み取る映像取得部１１と、映像ファイルのフレーム画像から線を消去し線消去画像を生成する線消去処理部１２と、フレーム画像に映った場所の前景の領域を示す前景領域画像を生成する前景領域検出部１３と、フレーム画像、線消去画像および前景領域画像を使用して、線画像と称する画像を生成する線画像生成部１４と、線画像を記憶する線画像記憶部１５と、各線画像内の線の量を示す線量を計算し、各フレーム画像の再生順での線量の変化に基づいて、上記の線が書かれ始めるタイミングや線が消去されるタイミングを検出するイベント検出部１６とを備える。イベント検出部１６は、検出結果として、例えば、映像ファイルにインデクスを設定する。検出結果は、例えば、図示しない表示装置に表示するというように、別な方法で出力してもよい。

映像取得部１１は、図示しない記憶装置などから映像ファイルを読み取り、映像ファイルから再生順にフレーム画像をサンプリングし、サンプリングした各フレーム画像を線消去処理部１２、前景領域検出部１３および線画像生成部１４に出力する。どのフレーム画像をサンプリングするかを示すサンプリング速度は予め定められており、映像取得部１１は、サンプリング速度に基づいてサンプリングを行う。

図２のステップ１０１で、映像取得部１１は、ｎ番目のフレーム画像のサンプリング、出力を行う。

図１に戻り、線消去処理部１２は、フレーム画像の出力ごとに、つまり、サンプリングごとに、フレーム画像から線を消去し、つまり、消去後の画像（線消去画像という）を生成し、線消去画像を前景領域検出部１３に出力する。

図２のステップ１０２で、線消去処理部１２は、各フレーム画像の中で対象となっているｎ番目のフレーム画像に対応する線消去画像の生成、出力を行う。

線消去画像の生成（線の消去）は、例えば、モルフォロジーによる平滑化処理により実現できる。図３（ａ）は、フレーム画像の一例であり、教師が黒板に文字や図形などの線を書いている。このフレーム画像に最小値フィルタを施した後、最大値フィルタを実行すると、図３（ｂ）に示す線消去画像となる。線消去画像は、文字などの線が消去されたものとなっている。図３は、明度の低い黒板上に明度の高い文字などが書かれた場合の結果であるが、文字などをホワイトボードに黒いペンで書いた場合には、最大値フィルタを施した後に最小値フィルタを実行すればよい。

図１に戻り、前景領域検出部１３は、フレーム画像および線消去画像の出力ごとに、つまり、サンプリングごとに、フレーム画像に映った場所の前景の領域を示す前景領域画像を生成し、線消去画像および前景領域画像を線画像生成部１４に出力する。

前景領域画像は、例えば、図４（ａ）に示すような、講師の輪郭などを示す２値化画像である。

ここでは、前景領域検出部１３は、例えば、予め黒板の位置が分かっている場合は、当該位置を記憶しており、図４（ｂ）に示すように、線消去画像の当該位置（符号ａ１の領域）の色を検出し、当該色に類似しない色の領域を前景の領域として検出し、当該領域を示す前景領域画像を生成する。また、黒板の色を予め記憶していてもよい。

黒板の色を示す情報（色情報）は、以下のように求め、記憶すればよい。例えば、黒板の複数箇所での色の頻度分布を求め、予め定められた値以上の頻度の色の分布を色情報とする。または、黒板の色の色空間での正規分布、または、混合正規分布を色情報とする。黒板の複数箇所での色に対しクラスタリングを行い、クラスタの中心の色を示す情報を色情報とする。

類似の有無は、記憶した黒板の色（色情報）と、対象の位置の色（色情報）との距離に基づいて判定すればよい。

なお、前景の面積より黒板の面積が大きいことが予想される場合には、黒板の領域を自動検出するか、黒板の領域を手動で設定し、その領域全体で頻出する色（または色の分布）を黒板の色（色の分布）としてもよい。

上記では、色情報に基づいて分離する方法を説明しているが、明度を含めたＬａｂ、ＨＳＶなどの色空間を用いてもよい。

図２のステップ１０３で、前景領域検出部１３は、ｎ番目のフレーム画像が最初にサンプリングされたフレーム画像であるか否かを判定し、そうであるなら（ＹＥＳ）、線消去画像の予め定められた位置の色（黒板の色）を検出し（ステップ１０４）、当該色に基づいて、前景領域画像を生成し、線消去画像とともに出力する（ステップ１０５）。一方、ｎ番目のフレーム画像が最初にサンプリングされたフレーム画像でないなら（ステップ１０３：ＮＯ）、ステップ１０４で検出し、記憶しておいた色に基づいて、前景領域画像を生成し、前景領域画像とともに出力する（ステップ１０５）。

図１に戻り、線画像生成部１４は、フレーム画像、線消去画像および前景領域画像の出力ごとに、つまり、フレーム画像のサンプリングごとに線画像を生成し、線画像を線画像記憶部１５およびイベント検出部１６に出力する。線画像記憶部１５は、線画像を記憶する。

図５に示すように、具体的には、線画像生成部１４は、まず、出力されたフレーム画像（図のフレーム画像Ｆ（ｎ））およびフレーム画像Ｆ（ｎ）から生成された線消去画像（出力された線消去画像：図の線消去画像Ｍ（ｎ））の差分画像を生成する。

次に、線画像生成部１４は、差分画像を２値化した２値化画像（図の２値化画像Ｂ（ｎ））を生成する。

次に、線画像生成部１４は、２値化画像Ｂ（ｎ）から、出力された前景領域画像により示される領域以外に該当する領域（差分画像背景領域という）を抜き出す。

次に、線画像生成部１４は、フレーム画像より先に再生されるフレーム画像がない、つまり、フレーム画像が最初にサンプリングされたフレーム画像であるなら、差分画像背景領域を含み、かつ、前景領域画像に該当する領域には文字等がない線画像（図の線画像Ｃ（ｎ））を生成する。

次に、線画像生成部１４は、線画像Ｃ（ｎ）を線画像記憶部１５に記憶させる。

一方、線画像生成部１４は、フレーム画像より先に再生されるフレーム画像がある、つまり、フレーム画像が最初にサンプリングされたフレーム画像でないなら、１つ前にサンプリングされたフレーム画像、つまり先に再生されるフレーム画像を用いて生成された線画像（図の線画像Ｃ（ｎ−１））を線画像記憶部１５から読み出す。つまり、線画像記憶部１５は、線画像生成部１４からの要求に応じて、線画像Ｃ（ｎ−１）を線画像生成部１４に出力する。

次に、線画像生成部１４は、線画像Ｃ（ｎ−１）から、出力された前景領域画像（フレーム画像Ｆ（ｎ）に対応する前景領域画像）により示される領域に該当する領域（線画像前景領域という）を抜き出す。

次に、線画像生成部１４は、差分画像背景領域および線画像前景領域とからなる線画像（図の線画像Ｃ（ｎ））を生成する。線画像Ｃ（ｎ）は、線画像記憶部１５に記憶され、次の線画像の生成において、線画像Ｃ（ｎ−１）として用いられる。

さて、フレーム画像が最初にサンプリングされたフレーム画像である場合において、線画像は、２値化画像Ｂ（ｎ）の一部である差分画像背景領域を含んでいる。

一方、フレーム画像が最初にサンプリングされたフレーム画像でない場合においては、差分画像背景領域および線画像前景領域とからなる画像が線画像である。線画像は、差分画像背景領域を含んでいる。

つまり、線画像生成部１４は、各フレーム画像のサンプリングごとに、当該フレーム画像および当該フレーム画像から生成された線消去画像の差分画像を生成し、当該差分画像の、対応する前景領域画像により示される領域以外に該当する差分画像背景領域を含む画像である線画像を生成する。また、線画像生成部１４は、特に、当該フレーム画像より先に再生されるフレーム画像を用いて生成された線画像が線画像記憶部１５にある場合は、当該線画像を読み出し、当該線画像から、当該後に再生されるフレーム画像に対応する前景領域画像により示される領域に該当する線画像前景領域を抜き出し、当該後に再生されるフレーム画像に対応する線画像に当該線画像前景領域を含めるのである。

図２のステップ１０６で、線画像生成部１４は、図５における差分画像および２値化画像Ｂ（ｎ）を生成する。ステップ１０７で、線画像生成部１４は、例えば、図５における線画像Ｃ（ｎ）の生成、出力を行う。これらは、フレーム画像が最初にサンプリングされたフレーム画像でない場合の処理であり、そうでない場合については、図示省略する。

図１に戻り、イベント検出部１６は、サンプリングごとに出力される各線画像内の線の量を示す線量を計算し、各フレーム画像の再生順での当該線量の変化に基づいて、映像ファイルに映った場所で線が書かれ始めるタイミングおよび線が消去されるタイミングを検出する。

つまり、イベント検出部１６は、例えば、教室での授業が開始され、黒板に文字などが書かれ始めるタイミング、授業が終了し、黒板から文字などが消去されるタイミングを検出する。

なお、イベント検出部１６は、一方のタイミングを検出するように構成してもよい。

図２のステップ１０８で、イベント検出部１６は、上記のように、線画像の線量を計算する。ステップ１０９では、イベント検出部１６は、各フレーム画像の再生順での線量の変化に基づいて、該当のフレーム画像の再生のタイミングは、線が書かれ始めるタイミングか否かを判定し、線が書かれ始めるタイミングならば（ＹＥＳ）、ステップ１１０で、その旨のインデクスを映像ファイルに設定する。線が書かれ始めるタイミングでなければ（ＮＯ）、ステップ１１１で、イベント検出部１６は、該当のフレーム画像の再生のタイミングは、線が消去されるタイミングか否かを判定する。イベント検出部１６は、線が消去されるタイミングならば（ＹＥＳ）、ステップ１１２で、その旨のインデクスを映像ファイルに設定する。ステップ１１２の処理が終了したなら、または、ステップ１１１で、該当のフレーム画像の再生のタイミングは、線が消去されるタイミングでないと判定されたなら（ＮＯ）、制御は、ステップ１０１に戻り、次のフレーム画像等について、同様の処理が行われる。なお、図２のフローチャートの処理は、最後にサンプリングされたフレーム画像等の処理が終わった際に終了する。

ここで、タイミングの検出についての一例を説明する。

つまり、イベント検出部１６は、順次に再生される複数のフレーム画像のそれぞれ（対象のフレーム画像）につき、当該対象のフレーム画像の直前に再生されるフレーム画像がある場合には当該対象のフレーム画像に対応する線量から当該直前に再生されるフレーム画像に対応する線量を減じた線量増分を計算する。イベント検出部１６は、当該複数のフレーム画像で最も後に再生されるフレーム画像に対応する線量増分が予め設定されたしきい値より大きく且つ、当該最も後に再生されるフレーム画像以外のフレーム画像に対応する線量増分が当該しきい値以下であり且つ、当該最も先に再生されるフレーム画像の再生のタイミングと当該最も後に再生されるフレーム画像の再生のタイミングとの間の時間差が予め設定されたしきい値より大きいなら、当該最も後に再生されるフレーム画像の再生のタイミングを、線が書かれ始めるタイミングとする。

また、イベント検出部１６は、あるフレーム画像に対応する線量から当該フレーム画像の直後に再生されるフレーム画像に対応する線量を減じた線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを線が消去されるタイミングとする。

線量は、例えば、線画像内の線の領域の画素数である。線量は、例えば、当該線量を求める線画像と、当該線画像に対応するフレーム画像の直前に再生されるフレーム画像に対応する線画像とでの変化があった画素の数である。変化の有無は、対象の画素の近傍にある画素を用いた類似度どうしを比較して判定される。

図６は、実施例１の説明に用いるための図である。

図６の棒グラフは、線量増分および線量減分をフレーム画像ごとに示すグラフである。線量減分は正の数であるが、便宜上、ここでは、負の方向のグラフとしている。

しきい値Ｔｈ１は、線量増分について予め設定されたしきい値であり、しきい値Ｔｈ２は、線量減分について予め設定されたしきい値である。

映像ファイルは、例えば、線が書かれ始めるタイミングまでの部分であるチャプタＣＨ１と、線が書かれ始めてから消去されるまでの部分であるチャプタＣＨ３と、線が消去されてからの部分であるチャプタＣＨ３とからなる。しかし、映像ファイルは、チャプタＣＨ２の開始のタイミング、つまり、前者のタイミングを示すインデクスＩＤ２を含んでいないこととする。また、映像は、チャプタＣＨ３の開始のタイミング、つまり、後者のタイミングを示すインデクスＩＤ３を含んでいないこととする。

チャプタＣＨ１の最初のフレーム画像（ｎ＝１）については、これより先に再生されるフレーム画像がないので、線量増分および線量減分は計算できず、グラフは表示されていない。

チャプタＣＨ１においては、後続のフレーム画像（ｎ＝２）に対応する線量からフレーム画像（ｎ＝１）に対応する線量を減じた線量増分は、例えば、線が書かれ始める前であるから、しきい値Ｔｈ１より小さい。同様に、各フレーム画像（ｎ＝３、４、５）についても、線量増分は、しきい値Ｔｈ１以下である。

しかし、チャプタＣＨ２の最初のフレーム画像（ｎ＝６）については、線が書かれ始めるので、線量増分は、例えば、しきい値Ｔｈ１より大きくなる。

つまり、順次に再生される複数のフレーム画像（ｎ＝１、２、３、４、５、６）からフレーム画像（ｎ＝１）を除いた各フレーム画像につき、当該フレーム画像に対応する線量から当該フレーム画像の直前に再生されるフレーム画像に対応する線量を減じた線量増分が計算される。

また、フレーム画像（ｎ＝１、２、３、４、５、６）で最も後に再生されるフレーム画像（ｎ＝６）に対応する線量増分がしきい値Ｔｈ１より大きい。

また、フレーム画像（ｎ＝２、３、４、５）に対応する線量増分はしきい値Ｔｈ１以下である。

さらに、ここでは、フレーム画像（ｎ＝１）の再生のタイミングと最も後に再生されるフレーム画像（ｎ＝６）の再生のタイミングとの間の時間差が予め設定されたしきい値Ｔ１より大きいなら、イベント検出部１６は、最も後に再生されるフレーム画像（ｎ＝６）の再生のタイミングを線を書かれ始めるタイミングとし、例えば、インデクスＩＤ２を映像ファイルに設定する。

さて、その後、フレーム画像（ｎ＝７、８、１１、１２）については、例えば、線量増分がしきい値Ｔｈ１より大きくなるが、フレーム画像（ｎ＝７、８、１２）については、直前のフレーム画像に対応する線量増分はしきい値Ｔｈ１より大きいので、フレーム画像（ｎ＝７、８、１２）の再生のタイミングは、線が書かれ始めるタイミングとならない。フレーム画像（ｎ＝１１）については、直前のフレーム画像（ｎ＝９、１０）に対応する線量増分はしきい値Ｔｈ１以下であるものの、フレーム画像（ｎ＝９）の再生のタイミングとフレーム画像（ｎ＝１１）の再生のタイミングとの間の時間差はしきい値Ｔ１以下である。よって、フレーム画像（ｎ＝１１）の再生のタイミングは、線が書かれ始めるタイミングとはならない。

その後、チャプタＣＨ３の最初のフレーム画像（ｎ＝１５）については、線が消去されるので、線量減分は、例えば、しきい値Ｔｈ２より大きくなる。よって、イベント検出部１６は、フレーム画像（ｎ＝１５）の再生のタイミングを線が消去されるタイミングとし、例えば、インデクスＩＤ３を映像ファイルに設定する。

次に、タイミングの検出についての別な一例を説明する。

イベント検出部１６は、まず、各フレーム画像の再生順で線量を累積した累積線量を計算する。

また、イベント検出部１６は、順次に再生される複数のフレーム画像に対応する累積線量の増加率が予め設定されたしきい値より大きく且つ、当該複数のフレーム画像で最も先に再生されるフレーム画像に対応する累積線量から当該フレーム画像の直前に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が予め設定されたしきい値以下であり且つ、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像に対応する累積線量から当該最も先に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が当該しきい値より大きいなら、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像の再生のタイミングを、線が書かれ始めるタイミングとする。

また、イベント検出部１６は、あるフレーム画像に対応する累積線量から当該フレーム画像の直後に再生されるフレーム画像に対応する累積線量を減じた累積線量減分が予め設定されたしきい値より大きいなら当該直後に再生されるフレーム画像の再生のタイミングを、線が消去されるタイミングとする。

線量は、例えば、実施例１と同様に計算される。

図７は、実施例２の説明に用いるための図であり、この棒グラフは、累積線量をフレーム画像ごとに示すものである。

図７（ａ）に示すように、最初にサンプリングされたフレーム画像（ｎ＝１）については、例えば、線が書かれ始める前であるから、累積線量は０である。

フレーム画像（ｎ＝２）に対応する累積線量は、すなわち、フレーム画像（ｎ＝１）に対応する累積線量（０）に対し、フレーム画像（ｎ＝２）に対応する線量を加えたものある。例えば、累積線量増分（フレーム画像（ｎ＝２）についての累積線量からフレーム画像（ｎ＝１）についての累積線量（０）を減じたもの）は、線が書かれ始める前であるから、累積線量増分についてのしきい値Ｔｈ３以下である。よって、フレーム画像（ｎ＝３、４、５）についても、同様に累積線量増分はしきい値Ｔｈ３以下である。

また、直線７１１の傾きは、これらの累積線量の平均の増加率を示すものであり、予め設定された増加率についてのしきい値以下となっている。

よって、各フレーム画像の再生のタイミングは、線が書かれ始めるタイミングとはされない。

図７（ｂ）に示すように、フレーム画像（ｎ＝６）については、例えば、線が書かれ始めた後であるから、累積線量は大きくなる。例えば、フレーム画像（ｎ＝６）についての累積線量増分は、しきい値Ｔｈ３より大きくなる。

同様に、フレーム画像（ｎ＝７、８）についても、例えば、線が書かれ始めた後であるから、累積線量増分は、しきい値Ｔｈ３より大きくなる。

また、直線７１２の傾きは、これらの累積線量の平均の増加率を示すものであり、前述の増加率についてのしきい値より大きくなっている。

また、前述のように、フレーム画像（ｎ＝５）についての累積線量増分はしきい値Ｔｈ３以下であり、フレーム画像（ｎ＝６）についての累積線量増分はしきい値Ｔｈ３より大きい。

よって、イベント検出部１６は、フレーム画像（ｎ＝６）の再生のタイミングを、書かれ始めるタイミングとし、例えば、実施例１と同様にインデクスを映像ファイルに設定する。

図７（ｃ）に示すように、その後、例えば、フレーム画像（ｎ＝１５）については、線が消去されるので、累積線量減分（フレーム画像（ｎ＝１４）に対応する累積線量からフレーム画像（ｎ＝１５）に対応する累積線量を減じたもの）は、例えば、累積線量減分についてのしきい値Ｔｈ４より大きくなる。よって、イベント検出部１６は、フレーム画像（ｎ＝１５）の再生のタイミングを線が消去されるタイミングとし、例えば、実施例１と同様にインデクスを映像ファイルに設定する。

以上説明したように、本実施の形態によれば、映像イベント検出装置１は、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出する映像イベント検出装置であって、映像ファイルから再生順にサンプリングされた各フレーム画像からサンプリングごとに線を消去し線消去画像を生成する線消去処理部１２と、各フレーム画像のサンプリングごとに、当該フレーム画像に映った場所の前景の領域を示す前景領域画像を生成する前景領域検出部１３と、各フレーム画像のサンプリングごとに、当該フレーム画像および当該フレーム画像から生成された線消去画像の差分画像を生成し、当該差分画像の、対応する前景領域画像により示される領域以外に該当する差分画像背景領域を含む画像である線画像を生成する線画像生成部１４と、各線画像が記憶される線画像記憶部１５とを備え、線画像生成部１４は、各フレーム画像について、当該フレーム画像より先に再生されるフレーム画像を用いて生成された線画像が線画像記憶部１５にある場合は、当該線画像を読み出し、当該線画像から、当該後に再生されるフレーム画像に対応する前景領域画像により示される領域に該当する線画像前景領域を抜き出し、当該後に再生されるフレーム画像に対応する線画像に当該線画像前景領域を含めるものであり、映像イベント検出装置１は、さらに、各線画像内の線の量を示す線量を計算し、各フレーム画像の再生順での当該線量の変化に基づいて、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出するイベント検出部１６を備える。

例えば、イベント検出部１６は、順次に再生される複数のフレーム画像のそれぞれにつき、当該対象のフレーム画像の直前に再生されるフレーム画像がある場合には当該対象のフレーム画像に対応する線量から当該直前に再生されるフレーム画像に対応する線量を減じた線量増分計算し、当該複数のフレーム画像で最も後に再生されるフレーム画像に対応する線量増分が予め設定されたしきい値より大きく且つ、当該最も後に再生されるフレーム画像以外のフレーム画像に対応する線量増分が当該しきい値以下であり且つ、当該最も先に再生されるフレーム画像の再生のタイミングと当該最も後に再生されるフレーム画像の再生のタイミングとの間の時間差が予め設定されたしきい値より大きいなら、当該最も後に再生されるフレーム画像の再生のタイミングを、線が書かれ始めるタイミングとし、あるフレーム画像に対応する線量から当該フレーム画像の直後に再生されるフレーム画像に対応する線量を減じた線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを、線が消去されるタイミングとするので、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを高い精度で検出することができる。

また、例えば、イベント検出部１６は、各フレーム画像の再生順で線量を累積した累積線量を計算し、順次に再生される複数のフレーム画像に対応する累積線量の増加率が予め設定されたしきい値より大きく且つ、当該複数のフレーム画像で最も先に再生されるフレーム画像に対応する累積線量から当該フレーム画像の直前に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が予め設定されたしきい値以下であり且つ、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像に対応する累積線量から当該最も先に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が当該しきい値より大きいなら、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像の再生のタイミングを、線が書かれ始めるタイミングとし、あるフレーム画像に対応する累積線量から当該フレーム画像の直後に再生されるフレーム画像に対応する累積線量を減じた累積線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを、線が消去されるタイミングとするので、映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを高い精度で検出することができる。

なお、映像イベント検出装置１としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

１ 映像イベント検出装置
１１ 映像取得部
１２ 線消去処理部
１３ 前景領域検出部
１４ 線画像生成部
１５ 線画像記憶部
１６ イベント検出部

Claims (7)

1. 映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出する映像イベント検出装置であって、
   前記映像ファイルから再生順にサンプリングされた各フレーム画像からサンプリングごとに線を消去し線消去画像を生成する線消去処理部と、
   前記各フレーム画像のサンプリングごとに、当該フレーム画像に映った場所の前景の領域を示す前景領域画像を生成する前景領域検出部と、
   前記各フレーム画像のサンプリングごとに、当該フレーム画像および当該フレーム画像から生成された線消去画像の差分画像を生成し、当該差分画像の、対応する前景領域画像により示される領域以外に該当する差分画像背景領域を含む画像である線画像を生成する線画像生成部と、
   前記各線画像が記憶される線画像記憶部とを備え、
   前記線画像生成部は、
   前記各フレーム画像について、当該フレーム画像より先に再生されるフレーム画像を用いて生成された線画像が前記線画像記憶部にある場合は、当該線画像を読み出し、当該線画像から、当該後に再生されるフレーム画像に対応する前景領域画像により示される領域に該当する線画像前景領域を抜き出し、当該後に再生されるフレーム画像に対応する線画像に当該線画像前景領域を含めるものであり、
   前記映像イベント検出装置は、さらに、
   前記各線画像内の線の量を示す線量を計算し、前記各フレーム画像の再生順での当該線量の変化に基づいて、前記映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出するイベント検出部
   を備えることを特徴とする映像イベント検出装置。
2. 前記イベント検出部は、
   順次に再生される複数のフレーム画像のそれぞれにつき、当該対象のフレーム画像の直前に再生されるフレーム画像がある場合には当該対象のフレーム画像に対応する線量から当該直前に再生されるフレーム画像に対応する線量を減じた線量増分を計算し、当該複数のフレーム画像で最も後に再生されるフレーム画像に対応する線量増分が予め設定されたしきい値より大きく且つ、当該最も後に再生されるフレーム画像以外のフレーム画像に対応する線量増分が当該しきい値以下であり且つ、当該最も先に再生されるフレーム画像の再生のタイミングと当該最も後に再生されるフレーム画像の再生のタイミングとの間の時間差が予め設定されたしきい値より大きいなら、当該最も後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、
   あるフレーム画像に対応する線量から当該フレーム画像の直後に再生されるフレーム画像に対応する線量を減じた線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする
   ことを特徴とする請求項１記載の映像イベント検出装置。
3. 前記イベント検出部は、
   前記各フレーム画像の再生順で前記線量を累積した累積線量を計算し、
   順次に再生される複数のフレーム画像に対応する累積線量の増加率が予め設定されたしきい値より大きく且つ、当該複数のフレーム画像で最も先に再生されるフレーム画像に対応する累積線量から当該フレーム画像の直前に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が予め設定されたしきい値以下であり且つ、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像に対応する累積線量から当該最も先に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が当該しきい値より大きいなら、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、
   あるフレーム画像に対応する累積線量から当該フレーム画像の直後に再生されるフレーム画像に対応する累積線量を減じた累積線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする
   ことを特徴とする請求項１記載の映像イベント検出装置。
4. 映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出する映像イベント検出装置の動作方法であって、
   前記映像イベント検出装置の線消去処理部が、前記映像ファイルから再生順にサンプリングされた各フレーム画像からサンプリングごとに線を消去し線消去画像を生成し、
   前記映像イベント検出装置の前景領域検出部が、前記各フレーム画像のサンプリングごとに、当該フレーム画像に映った場所の前景の領域を示す前景領域画像を生成し、
   前記映像イベント検出装置の線画像生成部が、前記各フレーム画像のサンプリングごとに、当該フレーム画像および当該フレーム画像から生成された線消去画像の差分画像を生成し、当該差分画像の、対応する前景領域画像により示される領域以外に該当する差分画像背景領域を含む画像である線画像を生成し、当該線画像を前記映像イベント検出装置に設けられた線画像記憶部に記憶させ、
   前記線画像生成部は、前記各フレーム画像について、当該フレーム画像より先に再生されるフレーム画像を用いて生成された線画像が前記線画像記憶部にある場合は、当該線画像を読み出し、当該線画像から、当該後に再生されるフレーム画像に対応する前景領域画像により示される領域に該当する線画像前景領域を抜き出し、当該後に再生されるフレーム画像に対応する線画像に当該線画像前景領域を含め、
   前記映像イベント検出装置のイベント検出部が、前記各線画像内の線の量を示す線量を計算し、前記各フレーム画像の再生順での当該線量の変化に基づいて、前記映像ファイルに映った場所で線が書かれ始めるタイミングおよび／または線が消去されるタイミングを検出する
   ことを特徴とする映像イベント検出装置の動作方法。
5. 前記イベント検出部は、
   順次に再生される複数のフレーム画像のそれぞれにつき、当該対象のフレーム画像の直前に再生されるフレーム画像がある場合には当該対象のフレーム画像に対応する線量から当該直前に再生されるフレーム画像に対応する線量を減じた線量増分を計算し、当該複数のフレーム画像で最も後に再生されるフレーム画像に対応する線量増分が予め設定されたしきい値より大きく且つ、当該最も後に再生されるフレーム画像以外のフレーム画像に対応する線量増分が当該しきい値以下であり且つ、当該最も先に再生されるフレーム画像の再生のタイミングと当該最も後に再生されるフレーム画像の再生のタイミングとの間の時間差が予め設定されたしきい値より大きいなら、当該最も後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、
   あるフレーム画像に対応する線量から当該フレーム画像の直後に再生されるフレーム画像に対応する線量を減じた線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする
   ことを特徴とする請求項４記載の映像イベント検出装置の動作方法。
6. 前記イベント検出部は、
   前記各フレーム画像の再生順で前記線量を累積した累積線量を計算し、
   順次に再生される複数のフレーム画像に対応する累積線量の増加率が予め設定されたしきい値より大きく且つ、当該複数のフレーム画像で最も先に再生されるフレーム画像に対応する累積線量から当該フレーム画像の直前に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が予め設定されたしきい値以下であり且つ、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像に対応する累積線量から当該最も先に再生されるフレーム画像に対応する累積線量を減じた累積線量増分が当該しきい値より大きいなら、当該最も先に再生されるフレーム画像の直後に再生されるフレーム画像の再生のタイミングを前記線が書かれ始めるタイミングとし、
   あるフレーム画像に対応する累積線量から当該フレーム画像の直後に再生されるフレーム画像に対応する累積線量を減じた累積線量減分が予め設定されたしきい値より大きいなら、当該直後に再生されるフレーム画像の再生のタイミングを前記線が消去されるタイミングとする
   ことを特徴とする請求項４記載の映像イベント検出装置の動作方法。
7. 請求項１ないし３のいずれかに記載の映像イベント検出装置としてコンピュータを機能させるためのコンピュータプログラム。