JP5008484B2 - 映像処理方法 - Google Patents
映像処理方法 Download PDFInfo
- Publication number
- JP5008484B2 JP5008484B2 JP2007182017A JP2007182017A JP5008484B2 JP 5008484 B2 JP5008484 B2 JP 5008484B2 JP 2007182017 A JP2007182017 A JP 2007182017A JP 2007182017 A JP2007182017 A JP 2007182017A JP 5008484 B2 JP5008484 B2 JP 5008484B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- amount
- information indicating
- displacement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
こうした映像監視システムでは、映像の記録媒体として、従来のビデオテープ媒体を用いる代わりに、近年ではハードディスクドライブ(HDD)に代表されるランダムアクセス媒体が用いられる事例が増えている。
本例の映像監視システムは、一般的にデジタルビデオレコーダと呼ばれる装置である録画装置301と、カメラ302と、表示部321を備えたモニタ303を有している。
録画装置301は、デジタル変換部311と、アナログ変換部312と、圧縮部313と、伸張部314と、記録部315と、操作部316と、制御部317から構成される。
モニタ303は、入力アナログ映像を表示部321に表示する。
録画装置301では、カメラ302から入力されたアナログ映像をデジタル変換部311によりデジタル変換し、圧縮部313によりデータ圧縮処理を施して、記録部315によりHDDに記録を行う。また、操作部316によりユーザ操作を検知し、これに応じて、記録部315により対象となる映像をHDDから読み出して、伸張部314によりデータ伸張処理を施した上で、アナログ変換部312によりアナログ変換して、モニタ303へ出力する。これらの処理は制御部317により制御される。
ここで、制御部317にはCPU(Central Processing Unit)も含まれる。また、操作部316としては、マウスやキーボードのような汎用のコンピュータ操作デバイスを用いる場合や、ボタン群を配置した専用の操作盤を用いる場合等がある。
本例の映像監視システムは、一般的にネットワークデジタルレコーダと呼ばれる装置である録画装置331と、ネットワークカメラ332と、監視端末333を有している。
録画装置331は、ネットワーク部341と、記録部342と、制御部343から構成される。
監視端末333は、ネットワーク部351と、伸張部352と、表示部353と、操作部354と、制御部355から構成される。
録画装置331では、ネットワークカメラ332からネットワーク部341に入力されたデジタル映像を記録部342によりHDDに記録する。また、ネットワーク部341により監視端末333からの要求を受け取り、これに応じて、記録部342により対象となる映像をHDDから読み出して、ネットワーク部341を経由して出力する。これらの処理は制御部343により制御される。
ここで、制御部343にはCPUも含まれる。
ここで、制御部355にはCPUも含まれる。また、操作部354としては、マウスやキーボードのような汎用のコンピュータ操作デバイスが用いられる場合が多い。また、表示部353としては、CRT(Cathode−Ray Tube)やLCD(Liquid Crystal Display)のような汎用のコンピュータ表示デバイスが用いられることが多い。
ここで、本例では、図17に示される録画装置331を用いた場合における画面例を示したが、図16に示される録画装置301を用いた場合における画面とは、例えば、操作部や表示部に用いられるデバイスの種類の違いから表示様式や操作仕様に多少の差があるものの、ユーザに提供される機能としては同一であり本質的な差異は無いため、録画装置331を用いた場合を例として説明する。
再生ボタン群362では、各ボタンにはそれぞれ固有の再生種類が割り当てられており、映像表示部361に表示されている映像に対して新たな再生命令を与えたい場合には、命令に合った再生種類のボタンを押下する。
カメラ切替ボタン群363では、各ボタンにはそれぞれ録画対象となっているカメラが割り当てられており、映像表示部361に表示されている録画映像を他のカメラの録画映像へ切り替えたい場合に押下する。この機能を一般的にカメラ検索と称する。
アラーム録画一覧表示部365には、現在において選択中のカメラに対して、アラーム録画の録画内容を録画イベント毎に一覧表示する。
アラーム録画の一覧の各行には、録画イベントの発生時刻(開始時刻、終了時刻)や、録画イベントの種類や、録画イベントの先頭画像の縮小画像等が表示される。これらの各行は選択できるようになっていて、選択された録画イベントの映像が映像表示部361に表示される。この機能を一般的にアラーム検索と称する。
図19には、映像フレームの再生の様子を示してある。
具体的には、横軸は時間軸372であり、左側が時間的に古く、右側が時間的に新しいことを表している。また、一連の映像を示してあり、その一連の映像の一部分として映像中の1フレーム371を表現してある。
従来の再生として、例えば、順方向の標準速再生では、時間軸372の左から右に向かって1フレームずつ順に一定時間間隔に表示していく処理となる。
コンピュータの高速化とあいまって近年目覚しい進歩を遂げている技術の1つとして、画像認識技術がある。画像認識技術の中に、類似度算出という技術がある。
類似度とは、2つの画像の類似性を評価する指標であり、類似度が高いとは2つの画像が似ていることを意味する。類似度は、比較するそれぞれの画像の特徴量に基づいて算出される。使われる画像特徴量としては、例えば、空間方向での色分布や輝度勾配分布による特徴量などが挙げられるが、求める類似性の種類、例えば、色合い的な類似性、或いは構図的な類似性等の目的によって取捨選択される。
具体的には、画像間の類似性を特徴量ベクトル間の2乗距離に基づいて定義し、Nf種類の画像特徴量が定義されている場合における2つの画像X、Yの非類似度D(X、Y)を(式1)により求めている。ここで、xi、yiは、それぞれ、X、Yの特徴量ベクトルであり、また、wiは特徴量に対する重み付けである。特徴量としては、色分布に基づく特徴量や、輝度勾配分布に基づく特徴量等を用いることができる。
しかしながら、このような利便性は、ある事象の発生場所や発生日時が判明していて、上述のカメラ検索や日時検索を使用してカメラや日時を指定することができるような場合に、発揮できるものである。これに対して、事象の発生の有無が明確でない場合や事象の発生の有無を知りたいような場合には、上述のような検索機能を利用することができず、基本的に録画映像を全て再生して閲覧するしかない。
また、近年、HDDの大容量化が進み、録画映像の量(時間長)は飛躍的に増大していて、上述の傾向はますます強まる方向にある。
すなわち、前記映像処理装置は、前記撮像装置により撮像された複数の所定単位の映像のそれぞれについて基準となる定常状態の映像との変位量を示す情報を取得し、当該取得した変位量を示す情報に基づいて前記複数の所定単位の映像を変位量が大きい方から小さい方への順序を用いて表示する。
従って、定常状態からの変位量が大きいものを優先した順序で映像が表示されるため、例えば、事象の発生の有無が明確でなく、全ての録画映像を閲覧する必要があるような場合においても、閲覧者にとって閲覧の負担を少なくすることができる。
一例として、図5の例では、ネットワークカメラ202により撮像装置が構成されており、録画装置201と監視端末203により映像処理装置が構成されている。
また、所定単位の映像としては、種々な単位が用いられてもよく、例えば、1フレームの単位が用いられてもよく、或いは、2つ以上のフレームのまとまりの単位が用いられてもよい。
また、変位量(或いは、非類似度)としては、どのようにして求められてもよく、例えば、映像(画像)についての1つ以上の特徴量がどれくらい違っているかを表す量を用いることができる。類似度については、例えば、映像(画像)についての1つ以上の特徴量がどれくらい似ているかを表す量を用いることができる。
また、変位量を示す情報としては、例えば、複数の映像フレームの変位量についての平均値の情報を用いることも可能である。
また、複数の所定単位の映像自体を表示(再生)する態様ばかりでなく、例えば、複数の所定単位の映像のそれぞれを表すマーク等(例えば、所定の形状や、名称を表す文字等)を変位量が大きい方から小さい方への順序で並べて一覧表示するような態様が用いられてもよい。
すなわち、前記所定単位の映像として、複数の映像フレームからなる映像区間の映像が用いられる。
従って、複数の映像フレームのまとまりである映像区間が映像の単位となるため、例えば、所定単位の映像としてフレーム単位の映像が用いられるような場合と比べて、閲覧者にとって閲覧をし易くすることができる。
すなわち、前記映像処理装置は、前記定常状態の映像の特徴量を示す情報を取得し、前記撮像装置により撮像された映像フレームの特徴量を示す情報を取得し、前記映像フレームの特徴量を示す情報と前記定常状態の映像の特徴量を示す情報に基づいてこれらの変位量を示す情報を取得し、時系列順における映像フレームの前記変位量の変化に基づいて映像区間を区切って映像区間の長さを決定し、各映像区間に含まれる映像フレームの前記変位量の平均を示す情報を当該各映像区間の変位量を示す情報として取得し、当該取得した各映像区間の変位量を示す情報と当該各映像区間の映像とを対応付けて記録手段に記録する。
従って、時系列順における映像フレームの変位量の変化に基づいて映像区間が区切られるため、例えば、変位量が近い映像フレームのまとまり毎に映像区間を区切ることができ、また、各映像区間の変位量を示す情報と当該各映像区間の映像とが対応付けて記録されるため、変位量に基づく再生や検索の処理に役立てることができる。
また、特徴量としては、例えば、1種類の特徴量が用いられてもよく、或いは、複数種類の特徴量を考慮したものが用いられてもよい。
なお、各映像区間に含まれる映像フレームの変位量の平均を示す情報が映像区間の区切り処理で取得されて使用される場合には、それ以降の処理で、その情報を利用することが可能である。
図1には、映像の再生の様子の一例を示してある。
具体的には、横軸は定常映像との変位量軸2であり、左側が変位量大であり右側が変位量小であることを表している。また、一連の映像を示してあり、その一連の映像の一部分として映像中の1フレーム(映像フレーム1)を表現してある。
本例の再生では、図1において、変位量軸2の左から右に向かって1フレームずつ順に一定時間間隔に表示していく処理となる。
ここで、本例では、変位量とは、類似度の逆の指標であり、非類似度と言うこともできる。つまり、本例では、類似しないものから類似するものへの順に映像を再生する。
しかしながら、並びの単位が1フレームであると、隣接フレーム間で全く図柄の異なる相関の無いフレームが再生される場合があり、結果として、監視者にとって意味のなさない映像となってしまう可能性がある。このため、映像の単位としては、実際には、時間的に連続した複数フレームから構成することが望ましい。
具体的には、横軸は変位量軸12であり、また、時間的に連続した複数フレームを映像区間11として直方体で表現している。
ここで、映像区間11の時間長は、扱う映像の種類によって適正値が決められる性質のものであり、例えば、変位量が大きく変化する点を動的に検知してその変化点を基に決定される可変値であることが望ましいが、場合によっては予め設定した固定値でもよい。
つまり、各映像区間としては、例えば、閾値等を用いて変化があったときを検出して、2つの変化点の範囲内にある最初のフレームから最後のフレームまでの区間としてもよく、或いは、閾値等を用いて変化があったときに最初のフレームを決めて、そこから固定長の長さとしてもよい。
図3を参照して、映像の特徴量の求め方を説明する。
まず、定常映像を考える。定常映像としては、例えば、予め何も異常が無いときの映像をとっておいて、変位量を求めるための基準とする。
なお、定常映像としては、最初に1回とっておけばよく、或いは、昼と夕と夜などのように幾つかとっておいて、時間帯などに応じて切り替えてもよい。
それぞれのフレーム21〜25に対する特徴量抽出処理31〜35により、それぞれのフレーム21〜25についての特徴量(ベクトル)41〜45が求められる。これら複数の特徴量41〜45について平均化処理51を行うことにより、平均特徴量(定常映像特徴量ベクトル)52が求められる。
なお、図3では、定常映像の時間長53を表しており、また、繰り返し部分には「・・・」等の省略表記を用いている。
非類似度の算出には、それぞれの映像からの画像特徴量の抽出が必要である。
定常映像からの特徴量抽出処理31〜35は、定常映像に含まれる全てのフレーム、或いは、そこからサンプリングされた数フレームに対して実施する。抽出した各フレームの特徴量41〜45について平均化処理51が実施されて、定常映像の特徴量(平均特徴量)52が求められる。
横軸は時刻tを表しており、また、映像監視の運用時における複数の入力フレーム61〜66を示してある。これら複数の入力フレーム61〜66の並びは、左から右への時系列を表している。
それぞれの入力フレーム61〜66に対する特徴量抽出処理71〜76により、それぞれのフレーム61〜66についての特徴量81〜86が求められる。
それぞれの入力フレーム61〜66についての特徴量81〜86に対する定常映像特徴量52との非類似度算出処理91〜96により、それぞれの入力フレーム61〜66についての特徴量81〜86と定常映像特徴量52との間での非類似度を算出し、各入力フレーム61〜66と定常映像との非類似度101〜106が求められる。
このようにして求めた平均非類似度が大きい、もしくは平均類似度が小さい映像区間から順に再生を行う方式が、図2に示される再生方式である。
一例として、図4に示されるように、前回の区切り位置からの非類似度の履歴の平均値と今回のフレームの非類似度との差分が所定の閾値を超えた所で区切るような手法を用いることができる。
他の一例として、隣り合うフレームの非類似度の差分が所定の閾値を超えた所で区切るような手法を用いることができる。
本例の映像監視システムは、特に本発明に係る特徴的な機能を備えた録画装置201と、ネットワークカメラ202と、監視端末203と、ネットワーク媒体204、205を有している。
ここで、ネットワークカメラ202と録画装置201とはネットワーク媒体204を介して接続されており、録画装置201と監視端末203とはネットワーク媒体205を介して接続されている。
監視端末203は、ネットワーク部231と、伸張部232と、表示部233と、操作部234と、制御部235から構成される端末装置であり、例えばCRTや液晶モニタに接続されたパーソナルコンピュータ(PC)から構成される。
本例では、ネットワークカメラ202と録画装置201と監視端末203がネットワーク媒体204、205を介して接続されており、接続された装置間で互いが通信できるようになっている。
また、本例の録画装置201としては、いわゆるネットワークデジタルレコーダを例として挙げたが、他の構成例として、カメラからアナログ映像を入力するようないわゆるデジタルビデオレコーダのような録画装置を用いることも可能であり、この場合、ネットワーク部211がデジタル変換部及びアナログ変換部となり、ネットワーク媒体204、205がアナログ信号線となる。
図6には、定常映像に対する平均特徴量を求める際の録画装置201における処理の流れの一例を示してある。
まず、ネットワーク部211は、ネットワークカメラ202から入力されたデジタル映像を受信して、伸張部212に入力する(ステップS1)。伸張部212は、入力映像に対してデータ伸張処理を行い、その結果を特徴量抽出部214に入力する(ステップS2)。特徴量抽出部214は、入力された映像の特徴量ベクトルを算出し、算出した特徴量ベクトルを平均特徴量算出部215に入力する(ステップS3)。平均特徴量算出部215は、入力された特徴量ベクトルの累積値を保持し、それにより平均特徴量ベクトルを算出し、算出した平均特徴量ベクトルを平均特徴量記録部216に入力する(ステップS4)。平均特徴量記録部216は、入力された平均特徴量ベクトルを記録媒体に記録する(ステップS5)。
本例では、図6に示される処理は、システム設置時等の初期設定時や、ユーザが何らかの理由で平均特徴量を更新したいような場合に、実施する。
まず、ネットワーク部211は、ネットワークカメラ202から入力されたデジタル映像を受信して、映像記録部213と伸張部212に入力する(ステップS11)。映像記録部213は、入力された映像を記録媒体に記録する(ステップS12)。その際、記録映像に対してユニークなIDを付与して記録する。更に、このIDを伸張部212に入力する(ステップS13)。
なお、IDを付与する映像の単位としては、特に限定はなく、例えば、1フレーム毎に連番のIDが付与される。
ここで、非類似度履歴の平均値とは、リセット直後からの非類似度の平均値であり、先頭IDと末尾IDとの間の映像区間における非類似度の平均値である。
平均非類似度記録部219は、入力された平均非類似度と先頭ID及び末尾IDを記録媒体に記録する(ステップS22)。そして、元の処理(ステップS11)へ戻る。
なお、前記した比較処理(ステップS19)で用いる一定値は、例えば、予め、録画装置201のメモリに設定されて記憶されている。
また、各処理は制御部220からの指示によって実行される。
本例では、複数のカメラのそれぞれ毎に表241の記録形式が用いられている。
あるカメラ(1台のカメラ)の表241では、そのカメラにより撮像された映像について、平均非類似度と先頭IDと末尾IDの組み合せが、行方向(図8において、上下方向)を時系列方向として、行番号と対応させて記録してある。各行の情報は、各映像区間の情報となる。
この表241は、録画装置201に接続されたカメラの数だけ用意される。
また、例えば、表241には、上記した情報のほかに、先頭IDの映像の時刻や、末尾IDの映像の時刻などを併せて記録するような構成としてもよい。
図9には、本例の録画装置201を用いた場合における操作画面の一例を示してある。この操作画面は、監視端末203の表示部233に表示される内容である。なお、操作は監視端末203のユーザ(人)により操作部234を用いて行われ、画面上のボタンの押下や、画面上の枠への数値等の記入などが行われる。
映像表示部251は、映像を表示する領域である。
再生ボタン群252では、各ボタンにはそれぞれ固有の再生種類が割り当てられており、映像表示部251に表示されている映像に対して新たな再生命令を与えたい場合には、命令に合った再生種類のボタンを押下する。
日時検索ボタン群254では、任意の時刻を指定(入力或いは選択)することが可能になっている。時刻指定を行い、検索ボタンを押下することにより、現在において選択中のカメラに対して指定時刻の映像を映像表示部251に表示する。この機能を一般的に日時検索と称する。
変位量検索実行ボタン258は、押下されると、カメラ切替ボタン群253で選択されているカメラの録画映像について、検索範囲指定欄257に入力されている時刻範囲に対して、変位量(非類似度)が大きい順に一覧表示する。本例では、この機能を、変位量検索と称する。
なお、他の構成例として、一覧表示の最大数や変位量の閾値等を指定するための一覧絞り込み用のボタンが設けられてもよい。
検索結果一覧表示欄261には、検索処理の結果の一覧が表示され、検索処理の結果として検索条件に合致した映像区間262〜265が表示されている。
本例の検索結果一覧表示欄261では、変位量の大きさについて、左側の方が右側より大きく、上段の方が下段より大きい態様(左>右、上段>下段)で、表現されている。具体的には、図10の例では、最も左側にある映像区間262が最も変位量が大きな映像の区間であり、最も右側にある映像区間265が最も変位量が小さな映像の区間である。
なお、本例の表現方法は一例であり、逆順での表現が用いられてもよく、或いは、両者(本例の順序とその逆順)を切り替えることを可能としてもよい。
いずれかの映像区間262〜265を選択すると、映像表示部251に選択された映像区間の映像が再生表示される。
変位量順再生モードにある監視端末203においてユーザが操作を行った場合として、例えば、図9に示される操作画面において再生ボタン群252のうち通常再生ボタンを押下した場合には、操作部234は操作内容を感知して(ステップS31)、録画装置201に対して操作内容から得られる再生条件をネットワーク部231を介して送信する(ステップS32)。
ここで、本例では、再生条件として、選択中のカメラ番号、選択中の再生モードの種類、押下された再生種類(例えば、通常再生や早送りや巻戻し等)のセットが用いられている。
次に、参照行にある先頭IDと末尾IDを取り出す(ステップS46)。送信する映像フレームのID(送信ID)に前記先頭IDの値をセットし(ステップS47)、送信IDに対応した映像フレームを映像記録部213を介して記録媒体より取り出し(ステップS48)、取り出した映像フレームをネットワーク部211を介して監視端末203に向けて送信し(ステップS49)、送信IDをインクリメントする(ステップS50)。
そして、参照行が一覧の最後行を超えた場合には(ステップS53)、ネットワーク部211を介して送信完了の通知を監視端末203へ送信する(ステップS54)。
この一連の処理(ステップS33〜ステップS35)は、録画装置201から送信完了の通知が送られてくるまで(ステップS36)、一定間隔毎に実施される。
なお、録画装置201と監視端末203のいずれにおいても、これらの処理は各装置201、203の制御部220、235からの指示若しくは制御部220、235により実施される。
監視端末203に対してユーザが変位量検索を実行する操作を行った場合には、操作部234は操作内容を感知し(ステップS61)、録画装置201に対して操作内容から得られる検索条件をネットワーク部231を介して送信する(ステップS61)。
ここで、本例では、検索条件としては、選択中のカメラ番号、検索時刻の範囲が用いられる。
次に、参照行にある先頭IDと末尾IDを取り出し(ステップS76)、先頭IDに対応した映像フレームを映像記録部213を介して記録媒体より取り出し(ステップS77)、取り出した映像フレームと先頭ID及び末尾IDをネットワーク部211を介して監視端末203に向けて送信し(ステップS78)、参照行を1行下にずらす(ステップS79)。
録画装置201では、ステップS76〜ステップS79の処理を参照行が最後行を超えるまで繰り返して行う。参照行が一覧の最後行を超えた場合には(ステップS80)、ネットワーク部211を介して送信完了の通知を監視端末203へ送信する(ステップS81)。
ここで、一覧表示される各映像区間の表面には、ステップS64の処理で伸張した映像を縮小表示する。また、図10に示されるような映像区間262〜265の長さを示す立方体の厚みは、先頭IDと末尾IDとの差分によって求める。
この一連の処理(ステップS63〜ステップS65の処理)は、録画装置201から送信完了の通知が送られてくるまで(ステップS66)、続けて実施される。
なお、録画装置201と監視端末203のいずれにおいても、これらの処理は各装置201、203の制御部220、235からの指示若しくは制御部220、235により実施される。
また、他の構成例として、本例において録画装置201により実施したステップS74〜ステップS79の処理の一部を監視端末203により実施するように実装することも可能である。例えば、平均非類似度の一覧を録画装置201から監視端末203へ送信し、監視端末203の側で、ステップS74〜ステップS76の処理を実施して、求めた先頭IDの映像フレームを録画装置201の側に要求するような構成を用いることができる。
図13には、監視端末203の表示部233に表示される内容(操作画面)の一例を示してある。
表示範囲指定欄271、272には、表示対象としたい時刻範囲を入力(或いは、選択)することができるようになっており、表示範囲指定欄271には指定したい時刻範囲の最も古い時刻(先頭日時)を入力し、表示範囲指定欄272には指定したい時刻範囲の最も新しい時刻(末尾日時)を入力する。
統計表示実行ボタン273は、押下されると、カメラ切替ボタン群253で選択されているカメラの録画映像について、表示範囲指定欄271、272に入力されている時刻範囲に対して、変位量と時系列との関係をグラフ表示する。本例では、この機能を、統計レポート出力機能と称する。
統計レポート表示欄281には、統計レポートがグラフ表示される。
具体的には、時系列軸282と、変位量軸283と、グラフの線分284が表示される。
時系列軸282では、左端が表示範囲指定欄271で与えた時刻(先頭日時)を指し、右端が表示範囲指定欄272で与えた時刻(末尾日時)を指す。変位量軸283では、原点から離れるほど変位量が大きいことを示す。グラフの線分284は、変位量を時系列に連続表示した線分である。
監視端末203に対してユーザが統計レポート表示を実行する操作を行った場合には、操作部234は操作内容を感知し(ステップS91)、録画装置201に対して操作内容から得られる表示条件をネットワーク部231を介して送信する(ステップS92)。
ここで、表示条件としては、本例では、選択中のカメラ番号、表示時刻の範囲が用いられる。
次に、参照行から平均非類似度と先頭ID及び末尾IDを取り出して、平均非類似度から変位量を算出する(ステップS95)。そして、算出した変位量と先頭IDを示す点と、算出した変位量と末尾IDを示す点をプロットする(ステップS96)。2行目以降に対しても、参照行が抽出行の最後行を超えるまで1行ずつ下にずらしながら(ステップS97)、上記と同様な処理を繰り返して行う。
なお、録画装置201と監視端末203のいずれにおいても、これらの処理は各装置201、203の制御部220、235からの指示若しくは制御部220、235により実施される。
ここで、本例では、画面に対するユーザ操作に基づいて随時レポートが表示される場合を示したが、他の構成例として、定期的に自動でレポートの作成や表示を実施する構成とすることも可能である。
また、出力の形態としては、監視端末203における操作画面上や、録画装置201における操作画面上に限られず、例えば、電子メール等の通信機能により送信した先の装置が有する画面上への表示や印刷物の形態が用いられてもよい。
また、本例の映像再生方式では、表示単位を映像区間とし、その映像区間の長さを変位量の変化に基づいて決定する処理を含む。
また、本例の映像記録方式では、定常映像の平均特徴量を求める処理と、監視状態の映像の特徴量を求める処理と、両者の特徴量の変位量(類似度の逆の指標であり、類似度を用いても実質的に同じである)を求める処理と、映像区間長を変位量の変化を基に決定する処理と、映像区間における平均変位量(本例では、平均非類似度)を求める処理と、求めた平均変位量と監視映像とを対応付けて記録する処理を含む。
また、本例の映像検索方式では、定常映像からの変位量に従って、映像区間を一覧表示する処理を含む。
また、本例の映像閲覧方式では、監視映像における定常映像からの変位量をグラフ表示(図14参照。)する処理を含む。
従って、本例では、録画映像全体の再生時間長の中で、閲覧者の集中力を必要とする時間を局所化することができ、監視の負担の軽減を図ることができる。
また、本例では、全ての映像フレームについて特徴量を算出する構成を示したが、他の構成例として、一部の映像フレームについては特徴量を算出せずに、予め設定された規則に従って、当該一部の映像フレームをその前の映像フレームと同じ映像区間に含める、或いは、当該一部の映像フレームをその後の映像フレームと同じ映像区間に含めるような態様を用いることも可能である。
また本例では、特徴量ベクトルとして、画像全体を所定サイズに分割して得られる各領域におけるRGBヒストグラムや輝度勾配分布などの一部を成分とするようにしたが、この様な純粋に統計的な値の他、ウェーブレット変換の係数や、オプティカルフロー法で検出した動きベクトルなどの分布を用いることもできる。
本例によれば、非類似度を算出するのに空間的特徴量という時間的概念のない量を用いるようにしたので、動きベクトル検出が困難な低フレームレート映像やタイムラプス映像に対しても、適用することができる。また生の画像データではなくデータ量が圧縮された特徴量ベクトルを用いるようにしたので、定常映像の特徴量ベクトルをキャッシュに格納でき、生の画像データを必要とする差分法ベースの物体検出(動き検出)と比べてメモリアクセスを削減して高速に動作させることができる。特に伸張(S14)と特徴量抽出(S15)を同時並行に処理すると更に良い。またカメラのパンチルトに関するプリリセット位置ごとに複数の定常画像を切替可能に用いることも容易にできる。
ステップ201として、定常映像と、その定常映像の付近において異常(定常映像と異なる)と検出されるべき複数の想定異常画像とのセットを1ないし複数用意する。
ステップ202として、夫々のセットにおいて、定常映像と想定異常画像との、特徴量ベクトルの差を求める。なお、ここで言う特徴量ベクトルは、画像の全領域から均等に算出される統計的な値であり、画像を所定サイズに分割して得られる各領域におけるRGBヒストグラムや輝度勾配分布の全てを成分として含んでおり、成分の数は1000程度になりうる。
ステップ203として、夫々のセットにおいて、特徴量ベクトルの成分を大きい順に、相互相関の低いものを選びだす。相互相関の大きさは、前記領域が空間的に近く、且つその領域における特徴量成分の大きさが近い時に、大きいと推定できる。
ステップ204として、夫々のセットにおいて選び出された成分を、対応する成分毎に足し合わせ、足しあわされた成分それぞれの絶対値に基づいて当該成分の重みを決定する。ステップ203で選び出されなかった成分や当該重みが所定値より小さい成分は使用せず、以後の非類似度の算出に採用する成分の数を数十程度に絞る。
Claims (3)
- 撮像装置により撮像された映像を映像処理装置により処理する映像処理方法において、
前記映像処理装置は、基準となる定常状態の映像の特徴量を示す情報を取得し、前記撮像装置により撮像された映像フレームの特徴量を示す情報を取得し、前記映像フレームの特徴量を示す情報と前記定常状態の映像の特徴量を示す情報に基づいてこれらの変位量を示す情報を取得し、時系列順における映像フレームの前記変位量の変化に基づいて映像区間を区切って映像区間の長さを決定し、各映像区間に含まれる映像フレームの前記変位量の平均を示す情報を当該各映像区間の変位量を示す情報として取得し、当該取得した各映像区間の変位量を示す情報と当該各映像区間の映像とを対応付けて記録手段に記録し、当該取得した変位量を示す情報に基づいて前記複数の映像区間の映像を変位量が大きい方から小さい方への順序を用いて表示する、
ことを特徴とする映像処理方法。 - 撮像装置により撮像された映像を処理する映像処理装置において、
基準となる定常状態の映像の特徴量を示す情報を取得し、前記撮像装置により撮像された映像フレームの特徴量を示す情報を取得し、前記映像フレームの特徴量を示す情報と前記定常状態の映像の特徴量を示す情報に基づいてこれらの変位量を示す情報を取得し、時系列順における映像フレームの前記変位量の変化に基づいて映像区間を区切って映像区間の長さを決定し、各映像区間に含まれる映像フレームの前記変位量の平均を示す情報を当該各映像区間の変位量を示す情報として取得し、当該取得した各映像区間の変位量を示す情報と当該各映像区間の映像とを対応付けて記録手段に記録し、当該取得した変位量を示す情報に基づいて前記複数の映像区間の映像を変位量が大きい方から小さい方への順序を用いて表示する、
ことを特徴とする映像処理装置。 - 請求項1に記載の映像処理方法において、
前記定常状態の映像区間に含まれる複数の映像フレームのRGBヒストグラム又は輝度勾配分布を平均化した平均特徴量を、前記定常状態の映像の特徴量とし、
前記撮像装置により撮像された映像フレームのRGBヒストグラム又は輝度勾配分布を、当該映像フレームの特徴量とする、
ことを特徴とする映像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007182017A JP5008484B2 (ja) | 2007-07-11 | 2007-07-11 | 映像処理方法 |
US12/213,070 US8411141B2 (en) | 2007-07-11 | 2008-06-13 | Video processing method for reducing the load of viewing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007182017A JP5008484B2 (ja) | 2007-07-11 | 2007-07-11 | 映像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009021760A JP2009021760A (ja) | 2009-01-29 |
JP5008484B2 true JP5008484B2 (ja) | 2012-08-22 |
Family
ID=40252783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007182017A Active JP5008484B2 (ja) | 2007-07-11 | 2007-07-11 | 映像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8411141B2 (ja) |
JP (1) | JP5008484B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5047203B2 (ja) * | 2009-02-10 | 2012-10-10 | パナソニック株式会社 | 監視カメラシステム、映像記録装置及び映像記録方法 |
FR2983607B1 (fr) * | 2011-12-02 | 2014-01-17 | Morpho | Procede et dispositif de suivi d'un objet dans une sequence d'au moins deux images |
JP5810920B2 (ja) * | 2012-01-05 | 2015-11-11 | 富士通株式会社 | コンテンツ再生装置、コンテンツ再生プログラム、及びコンテンツ再生方法 |
US9036943B1 (en) * | 2013-03-14 | 2015-05-19 | Amazon Technologies, Inc. | Cloud-based image improvement |
CN104427312B (zh) * | 2013-09-05 | 2018-10-19 | 华为技术有限公司 | 视频图像获取方法和装置 |
JP6366960B2 (ja) * | 2014-02-28 | 2018-08-01 | 株式会社東芝 | 監視システム及び監視方法 |
US10402043B1 (en) | 2017-08-10 | 2019-09-03 | Gopro, Inc. | Systems and methods for indicating highlights within spherical videos |
US10270967B1 (en) * | 2017-11-30 | 2019-04-23 | Gopro, Inc. | Auto-recording of media data |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0554086B1 (en) * | 1992-01-29 | 2001-10-17 | Mitsubishi Denki Kabushiki Kaisha | Video information recording apparatus |
US5896176A (en) * | 1995-10-27 | 1999-04-20 | Texas Instruments Incorporated | Content-based video compression |
US6057893A (en) * | 1995-12-28 | 2000-05-02 | Sony Corporation | Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium |
US7844167B1 (en) * | 1998-12-08 | 2010-11-30 | Stmicroelectronics, Inc. | System and apparatus for digital audio/video decoder splitting signal into component data streams for rendering at least two video signals |
JP3910345B2 (ja) * | 1999-07-13 | 2007-04-25 | 本田技研工業株式会社 | 位置検出装置 |
JP2002320218A (ja) * | 2001-04-20 | 2002-10-31 | Fujitsu General Ltd | 監視画像表示装置 |
CA2460471C (en) * | 2002-07-11 | 2012-02-07 | Matsushita Electric Industrial Co., Ltd. | Picture encoding method and picture decoding method |
WO2004019224A2 (en) * | 2002-08-26 | 2004-03-04 | Koninklijke Philips Electronics N.V. | Unit for and method of detection a content property in a sequence of video images |
CN100463513C (zh) * | 2002-10-21 | 2009-02-18 | 松下电器产业株式会社 | 数据处理装置 |
WO2004047011A2 (en) * | 2002-11-20 | 2004-06-03 | Koninklijke Philips Electronics N.V. | User interface system based on pointing device |
HUP0301368A3 (en) * | 2003-05-20 | 2005-09-28 | Amt Advanced Multimedia Techno | Method and equipment for compressing motion picture data |
EP1735999A4 (en) * | 2004-03-29 | 2012-06-20 | Nielsen Media Res Inc | METHODS AND APPARATUS FOR DETECTING EMPTY FRAME IN DIGITAL VIDEO BROADCASTING SIGNAL |
JP4911928B2 (ja) * | 2005-07-14 | 2012-04-04 | 中国電力株式会社 | 監視システム |
JP4592652B2 (ja) * | 2005-09-09 | 2010-12-01 | 株式会社東芝 | 電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラム |
JP4641492B2 (ja) * | 2005-11-16 | 2011-03-02 | 日本電信電話株式会社 | 特異映像検出装置、特異映像検出方法およびプログラム |
JP2007206833A (ja) * | 2006-01-31 | 2007-08-16 | Toshiba Corp | 生体照合方法および生体照合装置 |
US7616816B2 (en) * | 2006-03-20 | 2009-11-10 | Sarnoff Corporation | System and method for mission-driven visual information retrieval and organization |
US7929608B2 (en) * | 2006-03-28 | 2011-04-19 | Sony Corporation | Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder |
-
2007
- 2007-07-11 JP JP2007182017A patent/JP5008484B2/ja active Active
-
2008
- 2008-06-13 US US12/213,070 patent/US8411141B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009021760A (ja) | 2009-01-29 |
US20090015718A1 (en) | 2009-01-15 |
US8411141B2 (en) | 2013-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5008484B2 (ja) | 映像処理方法 | |
JP3826598B2 (ja) | 画像監視装置及び記録媒体 | |
US9123385B2 (en) | Information processing apparatus, information processing method, program, and surveillance system | |
US8184947B2 (en) | Electronic apparatus, content categorizing method, and program therefor | |
EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
JP4847165B2 (ja) | 映像記録再生方法及び映像記録再生装置 | |
EP1696398B1 (en) | Information processing system, information processing apparatus and information processing method , program, and recording medium | |
JP4396708B2 (ja) | ネットワーク機器および監視カメラシステム | |
JP5506324B2 (ja) | 類似画像検索システム、および、類似画像検索方法 | |
CN110740290B (zh) | 监控录像预览方法及装置 | |
JP4678043B2 (ja) | 画像記憶装置、監視システム、記憶媒体 | |
JPH0993588A (ja) | 動画像処理方法 | |
JP6589082B2 (ja) | 類似画像検索システム | |
JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
US8405754B2 (en) | Image processing apparatus and control method for image processing apparatus | |
JP2009123196A (ja) | 画像検索装置 | |
US20090041126A1 (en) | Electronic apparatus, motion vector detecting method, and program therefor | |
JP5195156B2 (ja) | 監視装置、監視システム及びフィルタ設定方法 | |
JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
JP2008016897A (ja) | 監視装置、監視システム及び監視方法 | |
JP4162003B2 (ja) | 画像記憶装置、監視システム、記憶媒体 | |
WO2015178234A1 (ja) | 画像検索システム | |
JP2007219761A (ja) | 画像分類表示装置及び画像分類表示プログラム | |
WO2012157611A1 (ja) | 類似画像検索システム | |
JP2007149095A (ja) | 動画像の変化点検出方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100707 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101216 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5008484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |