JP2007080146A - 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム - Google Patents

映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム Download PDF

Info

Publication number
JP2007080146A
JP2007080146A JP2005269929A JP2005269929A JP2007080146A JP 2007080146 A JP2007080146 A JP 2007080146A JP 2005269929 A JP2005269929 A JP 2005269929A JP 2005269929 A JP2005269929 A JP 2005269929A JP 2007080146 A JP2007080146 A JP 2007080146A
Authority
JP
Japan
Prior art keywords
image
images
change
difference
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005269929A
Other languages
English (en)
Other versions
JP4641477B2 (ja
Inventor
Hiroko Takahashi
裕子 高橋
Hiroyuki Arai
啓之 新井
Akira Suzuki
章 鈴木
Kenichi Arakawa
賢一 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005269929A priority Critical patent/JP4641477B2/ja
Publication of JP2007080146A publication Critical patent/JP2007080146A/ja
Application granted granted Critical
Publication of JP4641477B2 publication Critical patent/JP4641477B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 画面内の場所毎に見かけの大きさが一定しない場合、かつ、得られる2枚の画像の時間間隔がペア毎に異なる場合であっても、安定に実世界の物体の動きを反映した変化抽出を行う技術を提供する。
【解決手段】 カメラで撮影された映像内の変化を抽出する方法であって、2枚の画像11、12を入力し、2枚の画像の各点毎に空間微分処理をして微分画像を作成する一次微分計算処理14、2枚の微分画像の各点毎に差分の大きさを計算する差分情報計算16、差分の大きさ及び前記2枚の画像の撮影時間間隔に基づいて、画像の各点毎に前記差分のしきい値を決定し、しきい値処理を行って変化判定結果画像を得る変化判定17を実行する。
【選択図】 図1

Description

本発明は、撮影した映像から変化を抽出する技術に関するものである。
従来、様々な手段で映像内に現われる変化を抽出する技術が知られている。その技術は、直前の画像と現在の画像を比較して変化を検知するもの、及び背景となる画像を生成しておくものに大別できる。
直前の画像と現在の画像を比較して変化を検知する技術は、大きく2つに分類できる。
最も単純には、撮影時間間隔が短いため照明変動は少ないと仮定して、画素値の変化(差,2乗和等)をしきい値処理する技術がある。この技術は、屋内など安定した環境下、得られた結果に対しノイズ除去は穴埋めをするなどの後処理を行うことを前提としている場合には、ある程度利用できる。
一方、照明変動への安定性を求める際には、画素変化の2乗和ではなく、全体の変動を差し引いてから2乗和を計算する、相関係数を用いるなどの技術がある。この技術には明るさの絶対値に関わらず、照明変動の影響を除去するものが開示されている(例えば、特許文献1参照。)。
しかし、いずれの場合も、変化の抽出の概念に映像が撮影された時の時間間隔を含まず、従って、撮影される画像の時間間隔が一定でない場合に、調整を行うことができない。このため例えば、時間間隔が異なる映像では、異なるしきい値を実験的に設定することが必要であった。
背景となる画像を生成しておく技術では、原理的には撮影される画像の時間間隔は必ずしも一定している必要はない。しかし、実際の運用時には、照明変動にあわせて背景画像を更新していくことが必要である(例えば、特許文献2参照。)。
背景画像の生成には、時系列の画像を処理する必要があり、暗黙の了解として画像の時間間隔は一定と考える。また、仮に背景画像生成が成功していても、変化の抽出という意味では、直前の画像と現在の画像を比較して変化を検知する技術と同じく、しきい値処理が必要であり、そのしきい値はアドホックに決定され、画像内に現れる変化に対応させることはできない。
また、画面の異なる点において見かけの大きさが異なり、このため見かけの移動速度が異なる場合、場所毎に、その見かけの移動速度にあわせてパラメータを調整することが必要であった。
特開平11−328311号公報 特許第3123587号公報
比較する画像の時間間隔が変化する場合、例えば撮影時間の間隔が短い場合は、画像間に現われる見かけ上の移動量は小さくなり、一般に変化も小さくなる。また、カメラを広い範囲を俯瞰するように設置して撮影する場合、手前は大きく、遠くは小さく写る。
このため、実際の世界で同じ速度で動いていても、手前は大きな動き、遠くの物は小さな動きとなる(動く方向がカメラから見てほぼ同じ場合)。したがって、実空間での一定以上の速度の動きを変化として捕らえるには、撮影時間間隔が短い場合、検知したい動き量が画像上で小さい場合は、感度を上げることが必要となる。
そこで、画面内の場所毎に見かけの大きさが一定しない場合、かつ、得られる2枚の画像の時間間隔がペア毎に異なる場合であっても、安定に実世界の物体の動きを反映した変化抽出を行う技術の実現を目的とする。
そこで上記課題を解決するために、請求項1に記載の発明は、カメラで撮影された映像内の変化を抽出する方法であって、入力部が、2枚の画像を入力する画像入力ステップと、制御部が、前記2枚の画像の各点毎に空間微分処理をして微分画像を作成する一次微分計算処理ステップと、制御部が、前記2枚の微分画像の各点毎に差分の大きさを計算する差分情報計算ステップと、制御部が、前記差分の大きさ及び前記2枚の画像の撮影時間間隔に基づいて、画像の各点毎に前記差分のしきい値を決定し、しきい値処理を行って変化判定結果画像を得る変化判定ステップと、を有することを特徴とする。
また、請求項2に記載の発明では、前記2枚の画像の撮影時間間隔は、前記入力部が入力する、又は入力部が前記2枚の画像の撮影時間を入力して、制御部が該撮影時間から計算する、ことを特徴とする。
また、請求項3に記載の発明では、前記変化判定ステップでは、前記差分の大きさ、前記2枚の画像の撮影時間間隔、及び1枚目の画像のヘッセ行列の2つの固有値ベクトルのうちの絶対値の大きい方を用いてしきい値を決定することを特徴とする。
また、請求項4に記載の発明では、前記変化判定ステップでは、前記画像の各点毎に上下のしきい値を設定して、各点毎に、変化あり、変化なし、又は判定不能のいずれかに分類することを特徴とする。
また、請求項5に記載の発明では、前記変化判定ステップでは、前記差分の大きさ、前記2枚の画像の撮影時間間隔、及び1枚目の画像のヘッセ行列の2つの固有値ベクトルを用いてしきい値を決定することを特徴とする。
また、請求項6に記載の発明では、前記変化判定ステップでは、2枚目の画像のヘッセ行列を計算して、当該2枚目の画像のヘッセ行列を用いて固有値ベクトルを計算する固有値計算ステップを有し、前記2枚目の画像の固有値をさらに用いてしきい値を決定することを特徴とする。
また、請求項7に記載の発明では、前記変化判定ステップでは、前記しきい値は、前記時間間隔の増加によって予め定めた値まで増加し、かつ、予め定めた値以上であっても減少しないことを特徴とする。
また、請求項8に記載の発明では、入力部が、撮影する画面内の場所毎に検知すべき移動速度を入力する規定移動速度設定ステップをさらに有し、前記変化判定ステップで計算する1又は2のしきい値は、前記規定移動速度の大きさに比例することを特徴とする。
また、請求項9に記載の発明では、前記画像に対して、高周波抑制フィルタ、低周波カットフィルタ、及び画素値変換のいずれかを前処理として実施することを特徴とする。
また、請求項10に記載の発明では、カメラで撮影された映像内の変化を抽出する映像変化抽出装置であって、2枚の画像を入力する入力部と、前記2枚の画像の各点毎に空間微分処理をして微分画像を作成する一次微分計算処理と、前記2枚の微分画像の各点毎に差分の大きさを計算する差分情報計算処理と、前記差分の大きさ及び前記2枚の画像の撮影時間間隔に基づいて、画像の各点毎に前記差分のしきい値を決定し、しきい値処理を行って変化判定結果画像を得る変化判定処理と、を行う制御部と、を有することを特徴とする。
また、請求項11に記載の発明では、前記2枚の画像の撮影時間間隔は、前記入力部が入力する、又は入力部が前記2枚の画像の撮影時間を入力して、制御部が該撮影時間から計算する、ことを特徴とする。
また、請求項12に記載の発明では、前記変化判定処理では、前記差分の大きさ、前記2枚の画像の撮影時間間隔、及び1枚目の画像のヘッセ行列の2つの固有値ベクトルのうちの絶対値の大きい方を用いてしきい値を決定することを特徴とする。
また、請求項13に記載の発明では、前記変化判定処理では、2枚目の画像のヘッセ行列を計算して、当該2枚目の画像のヘッセ行列を用いて固有値ベクトルを計算する固有値計算処理を有し、前記2枚目の画像の固有値をさらに用いてしきい値を決定することを特徴とする。
また、請求項14に記載の発明では、前記入力部は撮影する画面内の場所毎に検知すべき移動速度をさらに入力し、前記計算する1又は2のしきい値は、前記規定移動速度の大きさに比例することを特徴とする。
また、請求項15に記載の発明では、前記映像変化抽出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
請求項1〜15に記載の発明によれば、得られる2枚の画像の時間間隔がペア毎に異なる場合であっても、安定に実世界の物体の動きを反映した変化抽出を行うことが可能となる。
請求項8、9、14、15に記載の発明によれば、画面内の場所毎に見かけの大きさが一定しない場合であっても、安定に実世界の物体の動きを反映した変化抽出を行うことが可能となる。
図1を用いて映像変化抽出の処理の流れを説明する。図1において、11は第1蓄積画像、12は第2蓄積画像、13は時間間隔計算処理、14は一次微分計算第1処理、15は一次微分計算第2処理、16は差分情報計算処理、17は変化判定処理、18は変化判定結果画像である。
蓄積画像は第1、第2の2枚得られるものとし、基本的に同じカメラで近い時間に撮影された2枚の画像とする。これらのうち早い時間の画像を第1蓄積画像11に、遅い時間の画像を第2蓄積画像12に蓄積する。これらの撮影時間は既知であるので、時間差を時間間隔計算処理13によって計算することができ、これが記憶される。
なお、2つの画像の撮影時間を入力して時間間隔計算処理13を行う換わりに、本処理を行う前にあらかじめ2つの画像の撮影時間から時間差を計算しておき、これを入力して変化判定処理17に用いてもよい。
第1、第2蓄積画像11、12については、それぞれ一次微分第1、第2処理14、15が施される。
この結果の各点毎での差分を差分情報計算処理16で計算する。
この差分情報計算処理16の結果、一次微分計算第1、第2処理結果14、15、及び時間間隔計算処理13の結果を利用して、変化判定処理17が行われ、変化判定結果画像18を得る。
さらに図2を用いて他の映像変化抽出の処理の流れを説明する。図2において、21は第1蓄積画像、22は第2蓄積画像、23は時間間隔計算処理、24は一次微分計算第1処理、25は一次微分計算第2処理、26はヘッセ行列計算処理、27は固有値計算処理、28は差分情報計算処理、29は変化判定処理、30は変化判定結果画像である。
第1蓄積画像21、第2蓄積画像22、時間間隔計算処理23、一次微分計算第1処理24、一次微分計算第2処理25、及び差分情報計算処理28については図1と同様である。
ヘッセ行列計算処理26では、第1蓄積画像21について、各点毎にヘッセ行列を計算する。
固有値計算処理27では、ヘッセ行列の固有値を計算する。
変化判定処理29では、差分情報計算結果28、及び時間間隔計算処理23の結果に加え、ヘッセ行列の固有値を利用して変化判定処理画像30を得る。
以下、上記の処理を詳細に説明する。なお、実際には画像(デジタル化されたデータ)を処理するので、下記の1次及び2次微分処理は線形フィルタリング処理に相当する。
まず、得られた2枚の画像を、第1蓄積画像21、第2蓄積画像22として蓄積する。これらの画像をf1、選択画像2をf2と表すこととする。f1はf2より早い時間に撮影され、時刻の差は時間間隔計算処理23で得られる時間間隔であり、Tと表すこととする。
次に、f1及びf2の一次微分を計算する。一次微分は、f(f(x,y))に対してグラジエント画像を
Figure 2007080146
と表現する。従って、▽g1、▽g2を計算することになる。
この処理は、一次微分計算第1処理24、一次微分計算第2処理25にあたる。
さらに、f1については、ヘッセ行列計算処理26にてヘッセ行列を計算する。ヘッセ行列は、2次微分処理であり、fのヘッセ行列を数式では
Figure 2007080146
と表現する。ヘッセ行列は2次元対称行列であるため、必ず2つの直行する固有ベクトル(いずれも実数)が得られる。
これらの固有ベクトルに対応する固有値を固有値計算処理27において計算し、固有値をλ1、λ2(但し|λ1| |λ2|)と表すこととする。
また、一次微分の差▽(f2―f1)を差分情報計算処理28において計算しておく。
以上の処理を行い、平均値の定理又は微分の定義から、近似式として、
Figure 2007080146
が得られる。
ここで
Figure 2007080146
は画像上での単位時間あたりの速度ベクトルとする。この時
Figure 2007080146
はf1とf2の間に起きた画面上での動きとなる。
続いて数3を変形すると、
Figure 2007080146
が得られる。さらに、ヘッセ行列の特徴から
Figure 2007080146
といえる。これは、
Figure 2007080146
とTが既知である場合、画面上の動きによって発生する▽(f2―f1)の大きさは限定されることを意味している。
しかし実際には、画像は得られていても、物体が動いたか否か、どれだけの速度で動いたかは不明である。このため、|▽(f2―f1)|の大きさから動きの有無を判断することになる。
以下にその方法の一例を示す。ここでa,bは正の定数である。また、aT,bTはしきい値となる。
Figure 2007080146
ここで「変化なし」は、動きがあったとしても、単位時間当たりの動きが規定以下の小さいことが推定できることを意味する。
「変化有り」は画像上の変化が十分大きく単位時間あたりの動きが規定以上であると推定できることを意味する。
「不明」は、動きがあったとしても、なかったとしても矛盾がないことを示す。例えばエッジ上の点では、エッジと平行な方向に大きく動いても、画面上ではあまり変化が発生しない。このため多少の変化があった場合、動きが規定以上か否かは判定できない。
なお、|▽(f2―f1)|が1つのしきい値bTより大きいか小さいかを判断することが可能である。
また、数9におけるa,bの設定について、単位時間あたりの動きが規定以上、規定以下は経験的な値である。
以下、より定量的な値としてしきい値を設定する方法を説明する。
数9において、a,bの決め方には様々な方法がある。最も単純には実験的に固定値を選択することができる。この場合は、図1のように、ヘッセ行列計算処理及び固有値計算処理が不要となる。
数9の別の決め方として、ヘッセ行列の固有値を用いて
Figure 2007080146
とする方法がある。
この値は、ka,kbは動きの有無を判断するための単位時間あたりの速度ベクトルの大きさ(正値,単位はdot)であり、予め指定した値である。例えば抽出しようとする速度ベクトルの絶対値とすることができる。この場合は、ka,kbはそれぞれ1と設定することに相当する。
また、ka,kbの値は同じであっても、異なっていてもかまわない。当然、この値は0.5でもよいし、2といった値でもよい。大きな値と設定するほど、大きな動きのみを抽出することとなる。
bをヘッセ行列の固有値の絶対値が大きい方とし、kbを1などの固定値にすることが可能である。
次に、第2蓄積画像22のヘッセ行列も用い方法について説明する。2枚目の画像のヘッセ行列の固有値は、
Figure 2007080146
と表すこととする。この場合、例えば、
Figure 2007080146
といった方法が考えられる。
また別の方法として、第1蓄積画像21のヘッセ行列の固有ベクトルのかわりに、第1蓄積画像21と第2蓄積画像22との画像のヘッセ行列の平均の固有ベクトル(2枚の画像の差のヘッセ行列の固有式に一致)を数10の代わりに用いることも可能である。
この場合には、時間間隔、対象物の移動速度に適合したしきい値処理が実現される。例えば、Tが小さい場合、しきい値は小さくなるため、小さな変化として現れない変化も抽出可能となる。
逆にTが大きくなる場合もある。例えば通信が絡む映像の場合、ネットワークの影響で送信が途絶えた時などである。
数9に現れるしきい値にはすべてTが掛け合わされているため、しきい値はTに比例して大きくなる。Tが非常に大きな値となった場合、連動してしきい値が非常に大きくなり、ほとんどの点で変化無しと判断される例が発生する。これを回避するため、数9に加え、実際にはさらに固定の判断基準Kを設け、
K<|▽(f1―f2)|の時は、常に変化有りとする方法も考えられる。下記の数13はこれを式で示したものである。
Figure 2007080146
さらに、Kを1つではなく2つ設けて
Figure 2007080146
とし、
Figure 2007080146
とする方法も考えられる。
さらに、数9では積で表現されたaT,bTの代わりに非減少関数a(T)、b(T)を利用する方法も考えられる。
K又は
Figure 2007080146
の設定は、手動で行う、または実験的に定めるなどの方法があるが、これらに限定はされない。
以上の定義は1点(x,y)のみを利用する形で説明したが、実際にはHess(f1(x,y))、▽fi(x,y)などの近傍において積分(または総和)を計算しても、全く同様の議論が成り立つ。
極端な場合には、画像全点において積分、平均等を用いて一定のa,bを設定することを排除するものではない。
これまでは、画像の点毎、又は小領域において異なるしきい値を基準として設定できることを示した。実際、すべての計算は、各点毎に独立に行うことができる。その具体的設定方法を図3を用いて説明する。図3において、39は規定移動速度設定処理、40は変化判定処理である。また、第1蓄積画像31、第2蓄積画像32、時間間隔計算処理33、一次微分計算第1処理34、一次微分計算第2処理35、ヘッセ行列計算処理36、固有値計算処理37、及び差分情報計算処理38については、図2と同様ものを用いることが可能である。
規定移動速度設定処理39は、カメラを設置する際に、場所毎に規定となる動き量を決定する。具体的には、数10のKa,Kbを決定することである。一般には、カメラを斜め上位置に設置し、広い範囲を俯瞰撮影する場合が多い。このような場合、同じ物体でも手前は大きく遠くは小さく写る。当然、同じ物体が同じ速さで動く場合でも、手前に撮影されている物体の方がみかけの速度は速く、遠くの物体は見かけ上の速度が小さい。
このように、画面の点毎に被写体の見かけ(画面上)の変化を抽出するため、単位時間あたりの見かけの速度を画像の点毎に設定して、変化の抽出を行おうとする動きの大きさを規定する。
最も原始的な方法としては、画像の全ての点で同じ値を設定することができる。
また、画像の各点毎に手動でその大きさを決定することも可能である。
また、カメラ設定後に動きを含むサンプル画像を収集して、画像の各点又は領域毎に基準の動き量を求めてもよい。
対象が常に平面上にある場合、例えば道路や広場では、平面に書かれた長方形などの既存の形の歪みから標準的な動きの大きさを求め、動きの大きさをみかけの大きさに比例して設定することもできる。
さらに、例えばカメラモデルや3次元モデルを利用して、画面の位置毎に動き量を規定することができる。
さらに、意図的に場所毎に抽出したい見かけの速度ベクトルの大きさを変更することも可能である。例えば、画面の一部が常に小さな動きを伴う場合を考える。この領域では、大きな動きのみ変化を検知できるよう、Ka,Kbを他の点より大きくする。この場合、場所毎に変化を抽出される感度が異なることになる。
このように、Ka,Kbの決定は、カメラ設定時に手動で行う、モデルを利用して計算するなど様々な方法があるが、実際は自由に設定方法することが可能である。
また、全ての画像に対し前処理として高周波抑制フィルタ、低周波カットフィルタ、画素値変換、または2つもしくは3つを施しておく等、処理にあたり実際には、画像に対して何らかの前処理を施しておいてもよい。例えば、微分処理の前処理として平滑化や対数変換を行っておくことが可能である。平滑化処理では、高周波成分の影響を取り除くことが期待できる。対数変換によって、微分処理が加わることで照明変動の影響が大きく低減できる。低周波抑制フィルタによっても照明変動の影響は低減できる。これらの方法を、必要に応じて組み合わせることができる。
上記説明では、2枚の画像が与えられた状態から処理をスタートしたが、インターネット経由で送られてくる、又は適当な時間間隔で映像を要求して得るWEBカメラの映像シーケンス(JPEG画像列)や、MPEG等の圧縮映像においての映像シーケンスであっても、利用する2枚の画像においてその時間間隔が得られていれば、上記映像変化抽出の処理を利用できる。
(装置構成について)
上記各処理を行い変化判定結果画像を得る映像変化抽出処理装置の構成例について説明する。
映像変化抽出処理装置は、画像、撮影時間、撮影時間間隔、規定移動速度を入力する入力部、一次微分計算処理、差分情報計算処理、時間間隔計算処理、変化判定処理、ヘッセ行列計算処理、固有値計算処理に必要な数式等を記録する記録部、変化判定処理の結果を出力する出力部、一次微分計算処理、差分情報計算処理、時間間隔計算処理、変化判定処理、ヘッセ行列計算処理、固有値計算処理を行う制御部を備える構成にすることが可能である。
例えば、CPUを用いて制御部を実現した場合には、このCPUにはメモリ、出力部であるディスプレイ、入力部であるキーボード及び画像入力装置、記憶部であるハードディスクが接続される。ハードディスクには、一次微分計算処理プログラム、差分情報計算処理プログラム、時間間隔計算処理プログラム、変化判定処理プログラム、ヘッセ行列計算処理プログラム、固有値計算処理プログラム、数式、及びオペレーティングシステムが記録されている。プログラムはCD−ROMドライブを介してCD−ROMからインストールすることが可能である。
(効果)
上記説明のように、得られる映像の時間間隔が必ずしも一定しない場合においても、画像内の変化の有無を安定に判断することができる。
また、カメラ設置条件により、画面の場所毎に抽出したい、又は想定される動きの大きさが異なる場合においても、動的にしきい値を変更し、安定な変化の有無判定が可能となる。
さらに、|▽(f1―f2)|を利用したしきい値処理では、はじめの微分処理において照明変動が除去されるため、時間間隔が大きい場合でも安定に変化有無を判定できる。
また、|▽(f1―f2)|、ヘッセ行列の固有値の両方が画像のコントラストに比例する値であるため、画像のコントラストが低下した場合、例えば画面が暗い場合でも、安定な処理が実現できる。
映像変化抽出処理の説明図。 映像変化抽出処理の説明図。 映像変化抽出処理の説明図。
符号の説明
11 第1蓄積画像
12 第2蓄積画像
13 時間間隔計算処理
14 一次微分計算第1処理
15 一次微分計算第2処理
16 差分情報計算処理
17 変化判定処理
18 変化判定結果画像
21 第1蓄積画像
22 第2蓄積画像
23 時間間隔計算処理
24 一次微分計算第1処理
25 一次微分計算第2処理
26 ヘッセ行列計算処理
27 固有値計算処理
28 差分情報計算処理
29 変化判定処理
30 変化判定結果画
31 第1蓄積画像
32 第2蓄積画像
33 時間間隔計算処理
34 一次微分計算第1処理
35 一次微分計算第2処理
36 ヘッセ行列計算処理
37 固有値計算処理
38 差分情報計算処理
39 規定移動速度設定処理
40 変化判定処理
41 変化判定結果画

Claims (15)

  1. カメラで撮影された映像内の変化を抽出する方法であって、
    入力部が、2枚の画像を入力する画像入力ステップと、
    制御部が、前記2枚の画像の各点毎に空間微分処理をして微分画像を作成する一次微分計算処理ステップと、
    制御部が、前記2枚の微分画像の各点毎に差分の大きさを計算する差分情報計算ステップと、
    制御部が、前記差分の大きさ及び前記2枚の画像の撮影時間間隔に基づいて、画像の各点毎に前記差分のしきい値を決定し、しきい値処理を行って変化判定結果画像を得る変化判定ステップと、を有することを特徴とする映像変化抽出方法。
  2. 前記2枚の画像の撮影時間間隔は、
    前記入力部が入力する、又は入力部が前記2枚の画像の撮影時間を入力して、制御部が該撮影時間から計算する、ことを特徴とする請求項1に記載の映像変化抽出方法。
  3. 前記変化判定ステップでは、
    前記差分の大きさ、前記2枚の画像の撮影時間間隔、及び1枚目の画像のヘッセ行列の2つの固有値ベクトルのうちの絶対値の大きい方を用いてしきい値を決定することを特徴とする請求項1又は2に記載の映像変化抽出方法。
  4. 前記変化判定ステップでは、
    前記画像の各点毎に上下のしきい値を設定して、各点毎に、変化あり、変化なし、又は判定不能のいずれかに分類することを特徴とする請求項1又は2に記載の映像変化抽出方法。
  5. 前記変化判定ステップでは、
    前記差分の大きさ、前記2枚の画像の撮影時間間隔、及び1枚目の画像のヘッセ行列の2つの固有値ベクトルを用いてしきい値を決定することを特徴とする請求項4に記載の映像変化抽出方法。
  6. 前記変化判定ステップでは、
    2枚目の画像のヘッセ行列を計算して、当該2枚目の画像のヘッセ行列を用いて固有値ベクトルを計算する固有値計算ステップを有し、
    前記2枚目の画像の固有値をさらに用いてしきい値を決定することを特徴とする請求項3又は5に記載の映像変化抽出方法。
  7. 前記変化判定ステップでは、
    前記しきい値は、前記時間間隔の増加によって予め定めた値まで増加し、かつ、予め定めた値以上であっても減少しないことを特徴とする請求項1〜6いずれかに記載の映像変化抽出方法。
  8. 入力部が、撮影する画面内の場所毎に検知すべき移動速度を入力する規定移動速度設定ステップをさらに有し、
    前記変化判定ステップで計算する1又は2のしきい値は、前記規定移動速度の大きさに比例することを特徴とする請求項1〜7いずれかに記載の映像変化抽出方法。
  9. 前記画像に対して、高周波抑制フィルタ、低周波カットフィルタ、及び画素値変換のいずれかを前処理として実施することを特徴とする請求項1〜8いずれかに記載の映像変化抽出方法。
  10. カメラで撮影された映像内の変化を抽出する映像変化抽出装置であって、
    2枚の画像を入力する入力部と、
    前記2枚の画像の各点毎に空間微分処理をして微分画像を作成する一次微分計算処理と、
    前記2枚の微分画像の各点毎に差分の大きさを計算する差分情報計算処理と、
    前記差分の大きさ及び前記2枚の画像の撮影時間間隔に基づいて、画像の各点毎に前記差分のしきい値を決定し、しきい値処理を行って変化判定結果画像を得る変化判定処理と、を行う制御部と、を有することを特徴とする映像変化抽出装置。
  11. 前記2枚の画像の撮影時間間隔は、
    前記入力部が入力する、又は入力部が前記2枚の画像の撮影時間を入力して、制御部が該撮影時間から計算する、ことを特徴とする請求項10に記載の映像変化抽出装置。
  12. 前記変化判定処理では、
    前記差分の大きさ、前記2枚の画像の撮影時間間隔、及び1枚目の画像のヘッセ行列の2つの固有値ベクトルのうちの絶対値の大きい方を用いてしきい値を決定することを特徴とする請求項10又は11に記載の映像変化抽出装置。
  13. 前記変化判定処理では、
    2枚目の画像のヘッセ行列を計算して、当該2枚目の画像のヘッセ行列を用いて固有値ベクトルを計算する固有値計算処理を有し、
    前記2枚目の画像の固有値をさらに用いてしきい値を決定することを特徴とする請求項12に記載の映像変化抽出装置。
  14. 前記入力部は撮影する画面内の場所毎に検知すべき移動速度をさらに入力し、
    前記計算する1又は2のしきい値は、前記規定移動速度の大きさに比例することを特徴とする請求項10〜13いずれかに記載の映像変化抽出装置。
  15. 前記請求項1〜9いずれかに記載の映像変化抽出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするパラメータ推定プログラム。
JP2005269929A 2005-09-16 2005-09-16 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム Expired - Fee Related JP4641477B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005269929A JP4641477B2 (ja) 2005-09-16 2005-09-16 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005269929A JP4641477B2 (ja) 2005-09-16 2005-09-16 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム

Publications (2)

Publication Number Publication Date
JP2007080146A true JP2007080146A (ja) 2007-03-29
JP4641477B2 JP4641477B2 (ja) 2011-03-02

Family

ID=37940366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005269929A Expired - Fee Related JP4641477B2 (ja) 2005-09-16 2005-09-16 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム

Country Status (1)

Country Link
JP (1) JP4641477B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223761A (ja) * 2008-03-18 2009-10-01 Sony Corp 情報処理装置及び方法、並びにプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863603A (ja) * 1994-06-15 1996-03-08 Olympus Optical Co Ltd 画像解析装置
JPH08185521A (ja) * 1994-12-28 1996-07-16 Clarion Co Ltd 移動体カウント装置
JPH08320935A (ja) * 1995-05-26 1996-12-03 Canon Inc 動画像処理方法および装置
JPH11328311A (ja) * 1997-08-06 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 画像内のパターン抽出方法、画像内のパターン認識方法及び画像異常判定方法並びに記憶媒体
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JP3230950B2 (ja) * 1994-06-07 2001-11-19 松下電器産業株式会社 放置物体検出装置
JP2004242267A (ja) * 2002-12-10 2004-08-26 Sony Computer Entertainment Inc 画像編集方法、装置および画像再生方法、装置
JP2006293661A (ja) * 2005-04-11 2006-10-26 Nippon Telegr & Teleph Corp <Ntt> 変化領域抽出方法およびこの方法のプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JP3230950B2 (ja) * 1994-06-07 2001-11-19 松下電器産業株式会社 放置物体検出装置
JPH0863603A (ja) * 1994-06-15 1996-03-08 Olympus Optical Co Ltd 画像解析装置
JPH08185521A (ja) * 1994-12-28 1996-07-16 Clarion Co Ltd 移動体カウント装置
JPH08320935A (ja) * 1995-05-26 1996-12-03 Canon Inc 動画像処理方法および装置
JPH11328311A (ja) * 1997-08-06 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 画像内のパターン抽出方法、画像内のパターン認識方法及び画像異常判定方法並びに記憶媒体
JP2004242267A (ja) * 2002-12-10 2004-08-26 Sony Computer Entertainment Inc 画像編集方法、装置および画像再生方法、装置
JP2006293661A (ja) * 2005-04-11 2006-10-26 Nippon Telegr & Teleph Corp <Ntt> 変化領域抽出方法およびこの方法のプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223761A (ja) * 2008-03-18 2009-10-01 Sony Corp 情報処理装置及び方法、並びにプログラム

Also Published As

Publication number Publication date
JP4641477B2 (ja) 2011-03-02

Similar Documents

Publication Publication Date Title
JP5213486B2 (ja) 対象物追跡装置および対象物追跡方法
JP6030617B2 (ja) 画像処理装置および画像処理方法
US10388018B2 (en) Image processing apparatus, image processing method, and storage medium
WO2014083721A1 (ja) 情報処理装置および情報処理方法
JP7032871B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2007323572A (ja) 物体検出装置、物体検出方法および物体検出プログラム
WO2013005815A1 (ja) 物体検出装置、物体検出方法及びプログラム
Grunnet-Jepsen et al. Depth post-processing for intel® realsense™ d400 depth cameras
US10692215B2 (en) Image processing apparatus, image processing method, and storage medium
JP6054771B2 (ja) 背景モデル構築装置、背景モデル構築方法、およびプログラム
JPWO2014069103A1 (ja) 画像処理装置
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2016081252A (ja) 画像処理装置および画像処理方法
JP4641477B2 (ja) 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム
JP4751871B2 (ja) 撮像対象検出装置および方法
JP7421273B2 (ja) 画像処理装置及びその制御方法及びプログラム
WO2016142965A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
JP2019176261A (ja) 画像処理装置
Paramanand et al. Unscented transformation for depth from motion-blur in videos
JP2007156954A (ja) 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム
JP2020046744A (ja) 画像処理装置、背景画像の生成方法およびプログラム
KR20130063963A (ko) 이동 객체 추출 영상 처리 방법
WO2016181672A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP7341712B2 (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
Tang et al. Saliency detection integrated with depth information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070815

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090602

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees