JP2010021761A - 映像自動記録制御装置 - Google Patents

Abstract

【課題】連続する画像フレームの映像の内容を判断し、映像の記録を制御する制御信号を送出する映像自動記録制御装置を提供する。
【解決手段】本発明の映像自動記録制御装置は、連続する画像フレームの画像内容の連続性を判定するために、所定のフレーム間距離の２枚の画像フレームに対して画像特徴を抽出し、特徴ベクトルを生成する特徴ベクトル生成手段４と、当該生成した各特徴ベクトルについて、２枚の画像フレームに対して非類似性を表すまで連続する画像フレームの画像内容の類似性を順次比較し、非類似性を表す時点を判別する類似性判別手段７と、非類似性を判別した時点で、映像の記録を開始させるか、又は記録する映像が高解像度化するように記録密度を変化させる制御信号を送出する映像記録制御手段８と、を備える。
【選択図】図１

Description

本発明は、連続する画像フレームの映像の内容を判断し、画像内容の連続性が大きく変化する状況を感知したときに映像の記録を自動的に開始するか、又は記録する映像の解像度を自動的に高める映像自動記録制御装置に関する。

映像の解析から画像内容の連続性が大きく変化する状況を感知するような従来の装置として、差分画像を用いる装置（例えば、特許文献１参照）、色相を用いる装置（例えば、特許文献１参照）、移動物体を検出する装置（例えば、特許文献１参照）が開示されている。

これらの装置は、基本的に、用いる環境においてその都度適切にチューニングした閾値を用いるか、又は用いる対象に応じてニューラルネットワークで事前に連続性の変化を学習した値と比較して、画像内容の連続性が大きく変化する状況を感知するように構成したものである。

特許第２５２５８１０号 特許第２８７８７５９号 特許第３２９５４８２号

しかし、これらの方法では、予め装置を設置する環境においての状態を把握しておく必要があり、新しい環境に適応させるためには、その都度適切に設定するか、又は学習させておくことになり、手間がかかることが多い。

放送においてのロケ、特に自然ドキュメンタリなどのロケにおいては、事前にその環境の状態を把握しておくことは困難なことが多い。

そこで、本発明の目的は、連続する画像フレームの映像の内容を判断し、映像の記録を制御する制御信号を送出する映像自動記録制御装置を提供することにある。

本発明の映像自動記録制御装置は、長期ロケにおいて映像を記録する装置、及び監視カメラの映像の記録する装置において、映像を解析し、画像内容の連続性が大きく変化する状況を感知又は判定し、その判定結果に応じて記録の開始や映像の高解像度化（高記録密度化）を行うように制御する。

即ち、本発明の映像自動記録制御装置は、入力される連続する画像フレームの映像の内容に基づいて映像記録を自動制御する映像自動記録制御装置であって、連続する画像フレームの画像内容の連続性を判定するために、所定のフレーム間距離の２枚の画像フレームに対して画像特徴を抽出し、特徴ベクトルを生成する特徴ベクトル生成手段と、当該生成した各特徴ベクトルについて、前記２枚の画像フレームに対して非類似性を表すまで前記連続する画像フレームの画像内容の類似性を順次比較し、非類似性を表す時点を判別する類似性判別手段と、非類似性を判別した時点で、映像の記録を開始させるか、又は記録する映像が高解像度化するように記録密度を変化させる制御信号を送出する映像記録制御手段と、を備えることを特徴とする。

また、本発明の映像自動記録制御装置において、前記画像特徴は、画像フレーム毎のエッジエリアの位置、画像フレーム間の動きベクトル、及び有効動きベクトルにおける画素値で表す色相からなることを特徴とする。

また、本発明の映像自動記録制御装置において、前記特徴ベクトルは、前記エッジエリア、前記動きベクトル、及び前記色相毎の画像特徴を前記２枚の画像フレームの方位毎の画素数で表したベクトル成分の組み合わせからなることを特徴とする。

また、本発明の映像自動記録制御装置において、前記特徴ベクトルは、前記エッジエリア以外の有効動きベクトルの密度が所定の閾値以上である場合にのみ、前記色相の画像特徴に基づくベクトル成分を含むことを特徴とする。

また、本発明の映像自動記録制御装置において、前記映像記録制御手段の制御信号を遠隔送信する送信手段を更に備えることを特徴とする。

本発明の映像自動記録制御装置によれば、長期ロケにおいて映像を記録したり、監視カメラの映像を記録する際に、無人で自動的に記録の開始や映像の高解像度化（高記録密度化）を行うことができ、長期映像記録を効率的に行うことができるようになる。

以下、本発明による一実施例の映像自動記録制御装置を説明する。

図１に、本発明による一実施例の映像自動記録制御装置のブロック図を示す。本実施例の映像自動記録制御装置１は、画像特徴抽出手段２と、画像特徴判別手段３と、特徴ベクトル生成手段４と、有効動き画素数カウント手段５と、類似性判別切換手段６と、類似性判別手段７と、判別後の映像を記録装置９に記録する映像記録制御手段８とを備える。類似性判別手段７は、類似識別手段７１と、識別学習手段７２とを有する。本実施例の映像自動記録制御装置１は、入力される連続する画像フレームの映像（例えば、カメラ映像）の内容に基づいて映像記録を自動制御する装置である。

画像特徴抽出手段２は、入力されるカメラ映像を一枚毎のフレーム画像に切り分け、連続する画像フレームの各々の画像内容の連続性を判定するための画像特徴を抽出する。抽出する画像特徴は、後述するように、画像フレーム毎の「エッジエリア」の位置、画像フレーム間の「動きベクトル（動きの速さ及び方位）」、及び有効動きベクトルの画素値で表す「色相」からなる。

この「エッジエリア」の抽出には、既知のｃａｎｎｙのエッジ検出アルゴリズムを用いるのが好適であるが、その他にも、既知のＳｏｂｅｌのエッジ検出アルゴリズムなど、他のエッジ検出アルゴリズムを用いることができる。

例えば、図２に示すように、或るＮ（Ｎは１以上の自然数）番目のフレーム画像Ｆ_Ｎについて、所定の画素ブロック（例えば５×５画素又は７×７画素）に分割し、各画素ブロックがエッジ画素であるか否かを判別し、この判別結果をフラグなどにより識別可能にする。次に、検出したエッジ画素を中心にして、８近傍膨張処理を施して、エッジエリアを定める。このとき、８近傍膨張処理の適用回数を適宜２回又は３回と繰り返して、定めるエッジエリアの精度を高めるようにしてもよい。

図２におけるフレーム画像Ｆ_Ｎは、画像フレーム間で連続性する背景の一部を表す「木」Ｉ_Ｓと、画像フレーム間で非連続性となる空を飛ぶ「鳥」Ｉｍを含む画像フレームであるとする。フレーム画像Ｆ_Ｎは、所定の画素ブロックで分割されており、例えば８近傍膨張処理を施して、エッジエリアを定める。例えば、背景のエッジのない領域Ｂ２は、エッジエリアとして設定しない。

しかしながら、このようなエッジエリアには、背景に属するべき木の枝や葉などのような画素ブロック（例えば図示Ｂ１）や、動きのある対象である鳥の細かい羽根のような画素ブロック（例えば図示Ｂ３）が、そのエッジエリアに密に集まって抽出されうる。この場合、このようなエッジエリア（Ｂ１，Ｂ３）付近には、多数の画素ブロックがエッジエリアとして識別されることも考えられ、例えば風でなびいて動く背景に属するべき木の枝とか葉のようなものも、後の処理における連続性の大きな変化のあるフレーム画像として判別されうる。そこで、後の処理における連続性の大きな変化のあるフレーム画像であるか否かの判別精度を高めるために、一旦、エッジエリアとして識別した画素ブロックのエッジ密度を算出し、処理対象のエッジエリアの絞り込みを行うのが好適である。

例えば、一旦、エッジエリアとして識別した画素ブロックを中心として周辺のエッジエリアとして識別した画素ブロック数を累計し、この累計値が所定の閾値Ｔ_{ｄｅｎｓｉｔｙ}以上である場合には、その中心の画素ブロックを背景領域であるとして、エッジエリアとして識別していたフラグ値を変更する。このようにして、処理対象のエッジエリアの絞り込みを行い、背景に属するべきエッジエリアを極力処理対象から除外するようにして、後の処理である連続性の大きな変化の検出精度を高めるようにする。

「動き」の抽出には、既知のＬｕｃａｓ−Ｋａｎａｄｅの動き検出を用いるのが好適であるが、その他にも、既知のブロックマッチング法など、他の動き抽出アルゴリズムを利用することができる。

例えば、図３に示すように、入力される連続する画像フレームの映像のうち、処理対象の画像フレームＦ_Ｎと後続する画像フレームＦ_Ｎ＋１（必ずしも次フレームでなくともよい)との間で、動きベクトルを算出する。この動きベクトルの算出は、前述したエッジエリアとは無関係に行うため、エッジエリアの抽出に用いた画素ブロックとは異なるサイズの画素ブロックを用いることもできるが、処理負担の効率化を考慮して、同じ画素ブロックの大きさ及び配置で、動きベクトルを抽出する。図３の例では、画像フレームＦ_Ｎにおける画素ブロック１０が、画像フレームＦ_Ｎ＋１における画素ブロック１１に移動する場合（同フレーム位置で図示１０ａから図示１１に移動）の動きベクトル１３の大きさ及び方位θは、それぞれ処理対象の画像フレームＦ_Ｎにおける「動きの速さ」及び「動きの方位」を表すことになる。

「色相」の抽出には、上記のように求めた動きベクトルの動きの速さが所定値Ｔ_{ｖｅｌｏｓｉｔｙ}以上である場合に有効動きベクトルであるとして設定し、有効動き画素数カウント手段５の機能により処理対象の画像フレームＦ_Ｎにおける有効動きベクトルの画素ブロック数をカウントし、このカウント値が所定値Ｔ_{ｖｎｕｍｂｅｒ}以上である場合に、その有効動きベクトルの画素ブロック毎の色相（又は画素ブロック内の平均画素値）を算出して求めるようにする。この色相には、ＲＧＢなどの色空間の３次元データを用いることができる。

画像特徴判別手段３は、画像特徴抽出手段２によって抽出した画像特徴、即ち「エッジエリア」、「動き（速さ及び方位）」、及び「色相」の組み合わせ判別を処理対象の画像フレームＦ_Ｎについて行う。具体的には、表１に示すように、画像特徴の組み合わせについて、処理対象の画像フレームＦ_Ｎにおけるエリアをエッジエリアか否かに区分し、次にエッジエリアについては閾値Ｔ_{ｄｅｎｓｉｔｙ}以上であるか否かを区分し、エッジエリア以外については閾値Ｔ_{ｖｎｕｍｂｅｒ}以上であるか否かを区分する。

このように区分すると、エッジエリアについては閾値Ｔ_{ｄｅｎｓｉｔｙ}未満であれば、エッジである信頼性が高く、２つの画像フレーム対比した時の後述する「エッジの方位」及び「動き（速さ及び方位）」によって画像内容の動きを表す目安にするようにする。

また、エッジエリアについては閾値Ｔ_{ｄｅｎｓｉｔｙ}以上であれば、エッジである信頼性が低く、処理負担を考慮すれば必ずしも画像内容の動きを表す目安にする必要がない。

また、エッジエリア以外について、処理対象の画像フレームＦ_Ｎにおける有効動きベクトルの画素ブロック数のカウント値が所定値Ｔ_{ｖｎｕｍｂｅｒ}以上である場合、動きある画像内容である可能性が高いため、動きあるフレームであるか否かの判別精度を高めるために、「動き（速さ及び方位）」以外に、「色相」の画像特徴をも画像内容の動きを表す目安にするようにする。

また、エッジエリア以外について、処理対象の画像フレームＦ_Ｎにおける有効動きベクトルの画素ブロック数のカウント値が所定値Ｔ_{ｖｎｕｍｂｅｒ}未満である場合、動きある画像内容である可能性が高いとはいえず、処理負担を考慮して、「動き（速さ及び方位）」の画像特徴をも画像内容の動きを表す目安にするようにする。

尚、本実施例では、画像特徴判別手段３を設けて画像特徴抽出手段２によって抽出した画像特徴を区分するように説明しているが、予め表１のように区分した条件を満たすときに、画像特徴を抽出して特徴ベクトルを生成するようにすることもできる。即ち、画像特徴抽出手段２及び画像特徴判別手段３の機能を後述する特徴ベクトル生成手段４に組み合わせて、特徴ベクトル生成手段４の特徴ベクトル生成時に、同時に必要な画像特徴のみを抽出することもでき、更に処理負担を軽減させることができる。

特徴ベクトル生成手段４は、「エッジエリア」、「動きベクトル（動きの速さ及び方位）」、及び「色相」毎の画像特徴を連続性を判別するのに用いる２枚の画像フレームの方位毎の画素数で表したベクトル成分の組み合わせからなり、例えば画像特徴判別手段３によって条件別に区分した画像特徴を連結した特徴ベクトルを生成する。即ち、特徴ベクトルは、エッジエリアの画像特徴とエッジエリア以外の画像特徴を連結したベクトルで表現するようにする。具体的には、表１の条件を満たす以下の２種類の特徴ベクトルとして、エッジエリアと動きに関する画像特徴を用いて、０°〜１８０°をヒストグラムで分割した画素数で表す。

[動き画素数が、所定値Ｔ_{ｖｎｕｍｂｅｒ}以上である場合の特徴ベクトル]
（エッジエリアの特徴ベクトル成分）
ｘ_ｉ ^（ｅｅ）：ｉ×１８０／Ｎ^（ｅｅ）≦θ_Ｔ≦（ｉ＋１）×１８０／Ｎ^（ｅｅ）を
満たすθ_Ｔの方位を持つ「エッジエリア」の対象フレーム内の画素数
ｘ_ｉ ^（ｅｖ）：ｉ×１８０／Ｎ^（ｅｖ）≦θ_Ｔ≦（ｉ＋１）×１８０／Ｎ^（ｅｖ）を
満たすθ_Ｔの方位を持つ「動きの大きさ」の対象フレーム内の画素数
ｘ_ｉ ^（ｅｓ）：ｉ×ＳｐＭａｘ／Ｎ^（ｅｓ）≦θ_Ｔ≦（ｉ＋１）×ＳｐＭａｘ／Ｎ^（ｅｓ）を
満たすθ_Ｔの方位を持つ「動きの速さ」の対象フレーム内の画素数
（エッジエリア以外の特徴ベクトル成分）
ｘ_ｉ ^{（ｎｅｖ）}：ｉ×１８０／Ｎ^{（ｎｅｖ）}≦θ_Ｔ≦（ｉ＋１）×１８０／Ｎ^{（ｎｅｖ）}を
満たすθＴの方位を持つ「エッジエリア」の対象フレーム内の画素数
ｘ_ｉ ^{（ｎｅｓ）}：ｉ×ＳｐＭａｘ／Ｎ^{（ｎｅｓ）}≦θ_Ｔ≦（ｉ＋１）×ＳｐＭａｘ／Ｎ^{（ｎｅｓ）}を
満たすθＴの方位を持つ「動きの大きさ」の対象フレーム内の画素数
ｘ_ｉ ^{（ｃｏｌ）}：例えばＲＧＢの画素値を用いて（他の色相表現法を用いてもよい）、
ｃｏｌ＝０（Ｒ），ｃｏｌ＝１（Ｇ），ｃｏｌ＝２（Ｂ）
としたとき、
特徴ベクトルｘは、上記の６つのベクトル成分をＮ（＊）ずつ用いて、次式のように表わされる。

ここで、各Ｎ（＊）は、ヒストグラムを作成する場合の分割数を表し（＊は各成分を表す記号）、ＳｐＭａｘは、想定される動きの速さの上限値（任意に設定可）を表し、ｉは、ヒストグラムを作成する場合に分割した任意の位置を表す。

[動き画素数が、所定値Ｔ_{ｖｎｕｍｂｅｒ}以上である場合の特徴ベクトル]
この場合、色相の情報が用いられないため、特徴ベクトルｘは、次式のように表わされる。

有効動き画素数カウント手段５は、画像特徴抽出手段２によって算出した処理対象の画像フレームＦ_Ｎにおける有効動きベクトルの画素ブロック数をカウントし、そのカウント値を画像特徴抽出手段２に送り返す機能を有する。

類似性判別切換手段６は、識別学習手段７２を経由して類似識別手段７１の機能を実行するか否かを所望に応じて選定可能にするスイッチ機能である。

類似識別手段７１は、所定のフレーム間距離（動きの変化を比較するため、数フレーム以内に設定する）の２枚の画像フレームを抽出した各特徴ベクトルについて類似性を比較し、非類似性を判別する。例えば、２つの画像フレームの画像内容の類似性の判定をヒストグラムの形状に着目して行う場合、特定の時間間隔における２枚の画像に対する特徴ベクトルの内積を計算し、その内積値が閾値以上であるか否かを判定して行う。或いは又、類似性判別切換手段６に応じて選択された識別学習手段７２によって予め定めた識別関数について機械学習させた判定範囲を用いて、特定の時間間隔における２枚の画像フレームにおける特徴ベクトルを比較し、その類似性を判定することもできる。

例えば、類似識別手段７１は、当該生成した各特徴ベクトルについて、２枚の画像フレームに対して非類似性を表すまで入力されるカメラ映像における連続する画像フレームの画像内容の類似性を順次比較し、非類似性を表す時点を判別する。具体的には、類似識別手段７１は、２枚の画像フレームが類似していると判定する場合（比較した特徴ベクトルが所定の範囲内にある場合）には１を、類似していないと判定する場合（比較した特徴ベクトルが所定の範囲外にある場合）には−１を画像フレーム比較を行う度に出力する。ここで、−１のとき非類似性を表し、２つの画像フレームは大きく変化したと判定することができる。

この特徴ベクトルの比較に用いる所定の範囲は、各成分毎に類似性判断の範囲を定め、全ての類似性判断の範囲内にある場合には、類似性有りと判断し、類似性判断の範囲内に無いベクトル成分が所定数（例えば２）以上有る場合には、類似性が無いと判断する。このような類似性判断の範囲及び判断に用いる所定数の設定は、用途毎に設定可能にするのが好適である。

また、類似識別手段７１は、系の安定化を図るために、一定の期間の類似判定結果に対してメディアンフィルタなどの平均化フィルタを適用することもできる。また、類似識別手段７１は、次元の異なる特徴ベクトルを比較することになる場合（前述した異なる式の特徴ベクトルｘを比較する場合）、無条件に−１を出力するようにする。

識別学習手段７２は、予め定めた識別関数について機械学習させた判定範囲を類似識別手段７１に適用する。具体的には、識別学習手段７２として、２値の識別に高い性能を発揮するサポートベクタマシンを用いることができる。その他にも、ニューラルネットワークや新たな入力値に対する予測判定を行うことができる任意の各種の識別関数の生成アルゴリズムを利用することができる。また、類似識別手段７１及び識別学習手段７２の間で機械学習のためにループさせる機能をさらに設けてもよい。

映像記録制御手段８は、非類似性を判別した時点で、映像の記録を開始させるか、又は記録する映像が高解像度化するように記録密度を変化させる制御信号を送出する。具体的には、映像記録制御手段８は、類似識別手段７１の非類似性を表す判別結果が得られると、記録装置９に入力されるカメラ映像を記録する際に、例えば一定時間、その記録開始のオンを行うか、又は高解像度化するように記録密度を変化させるように制御する。

本実施例の映像自動記録制御装置によれば、連続する画像フレームの映像の内容を判断し、画像内容の連続性が大きく変化する状況を感知したときに映像の記録を自動的に開始するか、又は記録する映像の解像度を自動的に高めることができるようになる。

例えば、放送用の長期ロケでは、いつ現場に現れるか分からない動物や、起こることは予測されているがいつ起こるか分からない出来事を記録撮影する場合に、非類似性を表す判別結果が得られると、映像記録制御手段８は、例えば一定時間（例えば１分などの期間）映像を記録するように記録装置９を制御することができる。

目的映像の前に短い期間ののりしろ部分を加えたい場合には、スキップバックレコーダーを記録装置の前に接続し、スキップバックレコーダーの出力を記録装置９に記録することもできる。また、防犯用に用いる場合には、通常時映像のコマ数を低く設定しておき、非類似性を表す判別結果が得られたときに、映像記録制御手段８は、例えば一定期間コマ数を高くするように記録装置９の圧縮率を制御する。この場合にも、スキップバックレコーダーと組み合わせての使用が可能である。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、記録装置９を制御するとして説明したが、映像記録制御手段３０の制御信号を遠隔送信する送信手段を更に設けて、記録装置９に代えてインターネット等の通信回線を通じて遠隔制御することもできる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明の映像自動記録制御装置によれば、無人で期待する映像を感知して記録又は伝送することができるため、長期のカメラ撮影を所望する用途に有用である。

本発明による一実施例の映像自動記録制御装置のブロック図である。 本発明による一実施例の映像自動記録制御装置の画像特徴抽出における画像フレームを表す図である。 本発明による一実施例の映像自動記録制御装置の画像特徴抽出における動き検出に用いる画像フレームを表す図である。

符号の説明

１ 映像自動記録制御装置
２ 画像特徴抽出手段
３ 画像特徴判別手段
４ 特徴ベクトル生成手段
５ 有効動き画素数カウント手段
６ 類似性判別切換手段
７ 類似性判別手段
８ 映像記録制御手段
９ 記録装置
７１ 類似識別手段
７２ 識別学習手段

Claims (5)

1. 入力される連続する画像フレームの映像の内容に基づいて映像記録を自動制御する映像自動記録制御装置であって、
   連続する画像フレームの画像内容の連続性を判定するために、所定のフレーム間距離の２枚の画像フレームに対して画像特徴を抽出し、特徴ベクトルを生成する特徴ベクトル生成手段と、
   当該生成した各特徴ベクトルについて、前記２枚の画像フレームに対して非類似性を表すまで前記連続する画像フレームの画像内容の類似性を順次比較し、非類似性を表す時点を判別する類似性判別手段と、
   非類似性を判別した時点で、映像の記録を開始させるか、又は記録する映像が高解像度化するように記録密度を変化させる制御信号を送出する映像記録制御手段と、
   を備えることを特徴とする映像自動記録制御装置。
2. 前記画像特徴は、画像フレーム毎のエッジエリアの位置、画像フレーム間の動きベクトル、及び有効動きベクトルにおける画素値で表す色相からなることを特徴とする、請求項１に記載の映像自動記録制御装置。
3. 前記特徴ベクトルは、前記エッジエリア、前記動きベクトル、及び前記色相毎の画像特徴を前記２枚の画像フレームの方位毎の画素数で表したベクトル成分の組み合わせからなることを特徴とする、請求項２に記載の映像自動記録制御装置。
4. 前記特徴ベクトルは、前記エッジエリア以外の有効動きベクトルの密度が所定の閾値以上である場合にのみ、前記色相の画像特徴に基づくベクトル成分を含むことを特徴とする、請求項３に記載の映像自動記録制御装置。
5. 前記映像記録制御手段の制御信号を遠隔送信する送信手段を更に備えることを特徴とする、請求項１〜４のいずれか一項に記載の映像自動記録制御装置。

Images