JP3772604B2 - 監視システム - Google Patents
監視システム Download PDFInfo
- Publication number
- JP3772604B2 JP3772604B2 JP28242599A JP28242599A JP3772604B2 JP 3772604 B2 JP3772604 B2 JP 3772604B2 JP 28242599 A JP28242599 A JP 28242599A JP 28242599 A JP28242599 A JP 28242599A JP 3772604 B2 JP3772604 B2 JP 3772604B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- jpeg
- data
- additional information
- bitmap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
- G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は,監視カメラからの映像を記録する監視システムに関する。
【0002】
【従来の技術】
従来,防犯などを目的とした監視システムには,タイムラプスVTRと呼ばれる長時間記録用VTRが多く用いられている。このようなタイムラプスVTRは,監視カメラなどからの映像を長時間にわたって,あるいは必要に応じVTRにアナログ記録している。
【0003】
一方,ハードディスクなどの磁気ディスクやMO,DVD−RAMなどの光磁気ディスクといった書き換え、追記録可能な蓄積メディアが大容量化し,しかも安価で広まりつつある。このような蓄積メディアは,アナログ記録VTR用のビデオテープに比べ,保守が容易であり,また,即時再生(ランダム再生)が可能であるため,タイムラプスVTRの記録媒体として用いられる傾向にある。
【0004】
従来のタイムラプスVTRでは,再生時の映像解析のため,
「CCTV監視システム基礎講座」,P89,高橋正明著,産業開発機構株式会社発行に記載されているように記録(撮影)した時点の年,月,日,時,分,秒を画面に挿入して記録している。さらに,再生時に所望の映像の検索を容易にするため,特開平9―46635号公報では,カメラからの映像と同時に付加情報を記録する方式を開示している。
【0005】
また,ディジタル記録する場合には,カメラからの映像を画像圧縮して記録することが一般的であり,これにより,より多くの映像を記録することができる。特開平11―16059号公報では,カメラからの映像をJEPGに圧縮し,さらに,その記録時刻のデータをJPEGのヘッダ部に付加する方式が開示されている。
【0006】
【発明が解決しようとする課題】
タイムラプスVTRでは,記録した映像を検索,管理,再生したりするために,記録した日付や時間を映像と関連付けて記録することが必須となる。映像を記録(撮影)した時点の年,月,日,時,分,秒を映像の各フレーム(あるいはフィールド)画面に挿入(上書き)して記録する上述の従来例では,画面上に日付や時間を重ねて記録するため,日付や時間を重ねた部分の画像情報が失われ,防犯上の証拠能力が減少してしまう可能性がある。特に,日付や時間以外に,撮影した監視カメラを特定するための番号や,撮影場所などの様々な情報を重ねると,記録した画像の多くの部分が失われてしまう。
【0007】
また,特開平9―46635号公報では,付加情報を映像とは別のファイルとして記録することで映像情報が失われないようにしているが,記録すべき情報が増えるため記録時間に対する考慮がなされていない。
【0008】
また,特開平11―16059号公報では,映像をJPEGに圧縮し,付加情報をそのJPEGのヘッダ部に付加することによって記録時間を増やしている。しかしながら,防犯目的の監視システムにおいては,記録した映像の証拠能力を高めるため,その映像が改ざんされていないことを証明する手段が必要であるが,上記従来技術では,記録された映像の証拠能力についての考慮がなされていない。
【0009】
本発明の目的は,記録(撮影)した日付や時間,さらにはその他の付加情報を記録映像に合成(または,多重,付加)して記録することで検索,管理,再生を容易にし,さらに,必要に応じて,合成した付加情報を,元の映像の画質を劣化させることなく取り除いて記録映像(画像)の再生が可能な監視システムを提供することにある。
【0010】
また,本発明のその他の目的は,記録(撮影)映像の各フレーム(あるいはフィールド)画面が改ざんされた場合に,改ざんされたことが検出可能な監視システムを提供することにある。
【0011】
さらに,本発明のその他の目的は,合成する情報が多い場合にも,記録時間を減少させないことを可能とする監視システムを提供することにある。
【0012】
【課題を解決するための手段】
上記課題を解決するために本発明では,まず、監視カメラで撮影した映像の各フレーム(あるいはフィールド)画像を,マクロブロック毎にDCT変換,量子化,ハフマン符号化を行なう圧縮方法を用いて圧縮する。さらに,該画像に合成すべき撮影した日付や時間,その他の付加情報を画面に挿入するイメージとしてビットマップに展開し,該ビットマップを同様に圧縮する。つぎに、上記画像の圧縮データと上記付加情報イメージの圧縮データとを合成して1つの圧縮データとして記録する構成とした。
【0013】
なお,上記圧縮方法を行うものとしては,JPEGや,MPEG,H.261,H.263のIピクチャがある。以下の説明では,JPEGを例にとって説明する。
【0014】
その上で本発明は,付加情報を合成して記録された圧縮データを再生する場合,ユーザからの要求により,合成された付加情報を削除して該圧縮データを再生し,付加情報としてのビットマップイメージが取り除かれた元の画像を得るよう構成した。
【0015】
また,本発明は,付加情報を合成して記録された圧縮データに何らかの改ざんが行われた場合に,上記の如く合成された付加情報を削除して該圧縮データを再生し,再生された画像から付加情報が取り除かれていない場合には改ざんが行われたと検出するよう構成した。
【0016】
また,本発明の合成手段は,符号化する合成画像の特徴値を算出し,その結果を合成するJPEGデータのヘッダ部に格納し,改ざんを検出する手段は,復号化した画像の特徴値を求め,ヘッダ部に格納された特徴値を比較して,改ざんを検出するように構成した。
【0017】
また,任意の時間間隔で監視カメラからの映像を付加情報を合成しながら記録する場合に,該映像における任意の時点のフレーム(あるいはフィールド)画像に合成する情報(記録した日付や時間,カメラ番号,撮影場所など)は,該フレーム画像の直前に記録されたフレーム画像に合成された情報の大部分と同じ情報であることから,該フレーム画像の直前に記録された情報との差分の情報を該フレーム画像に合成する構成とした。
【0018】
具体的には,本発明は,監視カメラと,監視カメラで撮影した映像のフレーム画像をJPEG符号化して記録する処理装置とからなる監視システムにおいて,処理装置は,画像に関連する付加情報を画像に挿入するイメージとしてビットマップに展開する手段と,ビットマップをJPEG符号化する手段と,画像を符号化したJPEGデータにビットマップイメージを符号化したJPEGデータを合成して1つのJPEGデータとする合成手段とを備えるようにした。
【0019】
また,上記合成手段は,画像を符号化したJPEGデータとビットマップイメージを符号化したJPEGデータとを,離散コサイン(DCT)変換された後,ハフマン符号化される前のデータ形式で合成するようにした。
また,付加情報は,少なくとも画像が撮影された日時を含むようにした。
また,記録装置に記録されたJPEGデータのヘッダ部は,少なくともビットマップイメージを符号化したJPEGデータを含むようにした。
また,処理装置は,ビットマップイメージを符号化したJPEGデータを取り除いて復号化する復号化手段を備えるようにした。
また,処理装置は,画像を符号化したJPEGデータが改ざんされたかどうかを検出する手段を備えるようにした。
また,合成手段は,符号化する合成画像の特徴値を算出し,その結果を合成するJPEGデータのヘッダ部に格納する手段を備え,改ざんを検出する手段は,復号化した画像の特徴値を求める手段と,ヘッダ部に格納された特徴値を比較して,改ざんを検出するようにした。
また,処理装置は,所定の時間間隔で監視カメラで撮影した複数の映像のJPEG符号化されたフレーム画像各々について,撮影時刻が古いフレーム画像に関連する付加情報のビットマップに対する,新しいフレーム画像に関連する付加情報のビットマップの差分情報を求める手段と,差分情報をJPEG符号化する手段と,撮影時刻が新しいフレーム画像のJPEGデータのヘッダ部にJPEG符号化された差分情報を記録する手段とを備えるようにした。
【0020】
これらの構成により、記録(撮影)した日付や時間,撮影したカメラの番号及び撮影場所といった付加情報を映像に合成して記録することで,検索,管理,再生を視覚的にも容易にし,また,元の映像を,証拠能力を失うことなく再現できる監視システムを提供することができる。
【0021】
また,該映像の各フレーム(あるいはフィールド)画面の内容が改ざんされた場合に,改ざんされたことが検出可能な,証拠能力の高い映像を記録する監視システムを提供することができる。
【0022】
さらに,改ざんされたことを自動的に検出可能な監視システムを提供することができる。
【0023】
また,記録(撮影)した日付や時間,撮影したカメラの番号及び撮影場所といった映像に合成に記録する付加情報が多い場合にも,記録されるデータ量を最小限にすることで,記録時間を減少させないことを可能とする監視システムを提供することができる。
【0024】
【発明の実施の形態】
本発明の実施形態を図面を参照して説明する。
【0025】
図1は実施形態のディジタル監視システムを適応しうるディジタル記録可能な監視装置のハードウェア構成図である。
【0026】
図1に示すように,監視装置20は,CPU1と,主記憶2と,記録装置3と,入力装置4と,A/D変換装置5と,フレームスイッチャ6と,少なくとも1台の監視カメラ7と,圧縮/伸張装置8と,D/A変換装置9と,モニタ10とを有して構成される。フレームスイッチャ6と監視カメラ7とモニタ10以外の各構成要素は,バス11によって接続され,各構成要素間で必要な情報が伝送可能なように構成されている。
【0027】
また,少なくとも1台の監視カメラ7はフレームスイッチャ6に,フレームスイッチャ6はA/D変換装置5にそれぞれ接続され,必要な情報が伝送可能なように構成されている。また,モニタ10はD/A変換装置9に接続され,必要な情報が伝送可能なように構成されている。
【0028】
CPU1は,主記憶2や記録装置3に,あらかじめ格納されているプログラムによって所定の動作を行う。
【0029】
主記憶2は,ワークエリアとして機能したり,必要なプログラムを格納するための手段であり,例えば,前者に対してはRAM,後者に対してはROMなどによって実現できる。
【0030】
記録装置3は,監視装置20の動作を制御するためのプログラムを保存したり,監視カメラで撮影される映像と該映像に付随する付加情報(撮影した日付や時間,カメラ番号,撮影場所など)を記録,保存したりするための手段であり,例えば,ハードディスク,MO,DVD−RAMなどによって実現できる。
【0031】
入力装置4は,必要な命令や情報を入力するための手段であり,例えば,キーボード,コントローラパッドや,マウスなどのポインティングデバイスなどによって実現できる。
【0032】
A/D変換装置5は,フレームスイッチャ6から入力されるアナログの映像データをディジタル化するための手段である。A/D変換装置5は圧縮/伸張装置8に接続され,A/D変換装置5でディジタル化された映像データを直接圧縮/伸張装置8に伝送することができる。また,A/D変換装置5でディジタル化された映像データをバス11を介して圧縮/伸張装置8に伝送可能なように構成してもよく,この場合には,A/D変換装置5と圧縮/伸張装置8とを接続しなくてもよい。
【0033】
A/D変換装置5に入力されるアナログの映像データの垂直帰線期間には入力された映像データを撮影したカメラ番号が含まれており,A/D変換装置5は該映像データをディジタル化した後,画像データ部分を圧縮/伸張装置8に転送し,垂直帰線期間中に含まれるカメラ番号を示すデータを主記憶2へ転送する。
【0034】
フレームスイッチャ6は,フレームスイッチャ6に接続される少なくとも1台の監視カメラ7からの映像をフレーム(あるいはフィールド)ごとに切り替えてA/D変換装置5に出力するための手段であり,例えば,「CCTV監視システム基礎講座」,P90〜P91,高橋正明著,産業開発機構株式会社発行に記載されているようなフレームスイッチャが適用可能である。また,監視システムの用途や構成に応じて,1台の監視カメラ7をA/D変換装置5に直接接続するようにしてもよく,この場合には,フレームスイッチャ6は必要ない。
【0035】
監視カメラ7は,アナログの映像を取り込む手段であり,例えば,CCDカメラなどで実現できる。また,他のカメラとの同期を取るための手段を有しており,少なくとも2台の監視カメラ7をフレームスイッチャ6に接続する場合に,フレームスイッチャ6が,各監視カメラからの映像をフレーム(あるいはフィールド)ごとに切り替えてA/D変換装置5に出力できるようになっている
圧縮/伸張装置8は,A/D変換装置5にてディジタル化された映像データを圧縮(符号化)したり,さらに,圧縮された映像データを伸張(復号化)するための手段であり,圧縮・伸張方式はJPEGやMPEGなどが適用可能である。圧縮/伸張装置8にて圧縮された映像データはバス11を介して主記憶2または記録装置3へ転送される。さらに,圧縮された映像データを再生しモニタ10を用いて表示する場合には,主記憶2または記録装置3から圧縮された映像データがバス11を介して圧縮/伸張装置8にて転送され,圧縮/伸張装置8にて伸張された映像データはD/A変換装置9に転送される。
【0036】
また,JPEGやMPEGなどの圧縮・伸張処理をCPU1を用いてソフトウェア処理してもよく,この場合には,図1の構成から圧縮/伸張装置8を削除してもよい。ソフトウェアによる圧縮・伸張処理の場合には,A/D変換装置5でディジタル化された映像データ(垂直帰線期間中に含まれるカメラ番号を示すデータも含む)はバス11を介して主記憶2に転送され,ソフトウェアによって圧縮される。さらに,ソフトウェアによって伸張された映像データはバス11を介してD/A変換装置9に転送される。
【0037】
D/A変換装置9は,圧縮/伸張装置8で伸張されたディジタル映像データをアナログ化するための手段である。D/A変換装置9は圧縮/伸張装置8に接続され,圧縮/伸張装置8で伸張された映像データを直接D/A変換装置9に伝送することができる。また,圧縮/伸張装置8で伸張された映像データをバス11を介してD/A変換装置9に伝送可能なように構成してもよく,この場合には,D/A変換装置9と圧縮/伸張装置8とを接続しなくてもよい。
【0038】
モニタ10は,D/A変換装置9にてアナログ化された映像データを表示するための手段であり,TVモニタ,NTSCモニタなどによって実現できる。
【0039】
監視装置20を構成する各要素のうち,データやプログラムの入出力と直接関係がない装置がある場合には,その装置を図1の構成からはずすことができる。また,監視装置20にて記録された映像データは監視装置20とは異なる別の装置で再生することも可能である。監視装置20にて記録された映像データを再生可能な監視映像再生装置30は,図2に示すような装置例によって実現される。図2において,図1と同符号のものは前記した説明と同じである。
【0040】
伸張装置12は圧縮/伸張装置8の伸張部で構成される手段であるが,伸張装置12に代わって圧縮/伸張装置8をそのまま適用しても構わない。さらに,伸張装置12で伸張された映像データをバス11を介してD/A変換装置9に伝送可能なように構成してもよく,この場合には,D/A変換装置9と伸張装置12とを接続しなくてもよい。
【0041】
また,JPEGやMPEGなどの伸張処理をCPU1を用いてソフトウェア処理してもよく,この場合には,図2の構成から伸張装置12を削除してもよい。ソフトウェアによる伸張処理の場合には,ソフトウェアによって伸張された映像データはバス11を介してD/A変換装置9に転送される。
【0042】
図1における監視装置20にて記録された映像データは記録装置3にて保存される。記録装置3がMOやDVD−RAMといったリムーバブルディスク装置で構成されるならば,図2の監視映像再生装置30における記録装置3も同様にリムーバブルディスク装置で構成され,監視装置20にて記録された映像データは,該リムーバブルディスクを介して監視映像再生装置30における記録装置3に格納される。また,図1の記録装置がハードディスクなどの固定式ディスク装置で構成されるならば,監視装置20及び監視映像再生装置30は,それぞれバス11に接続される通信制御装置を有し,監視装置20の通信制御装置と監視映像再生装置30の通信制御装置とは電話線やLANなどの通信網を介して接続されるように構成し,監視装置20で圧縮された映像データは該通信網を介して監視映像再生装置30に転送され,監視映像再生装置30における記録装置3に格納される。
【0043】
このように,1台あるいは複数台の監視装置20と1台あるいは複数台の監視映像再生装置30から監視システムを構成することが可能である。しかし,監視装置20は,圧縮伸長が可能なように構成しているため,1台あるいは複数台の監視装置20だけでもシステムを構築することも可能である。
【0044】
次に,上記監視装置20上で動作するプログラムで実現される映像データの記録再生方式について詳しく説明する。上記プログラムは,主記憶2や記録装置3に格納されており,何らかの事象,例えば,入力装置4を使用して入力されるユーザからの指示や電源投入時などを契機に,CPU1が実行することによって実現される。
【0045】
まず,少なくとも1台の監視カメラ7で撮影された映像データを記録装置3に保存する記録方式の第一の実施形態について説明する。本第一の実施形態の圧縮/伸張装置8における圧縮・伸張方式の例としてJPEGを用いて説明する
本第一の実施形態では,少なくとも1台の監視カメラ7からフレームスイッチャ6を通して映像データがA/D変換装置5に入力される。例えば,監視カメラ7から入力されるデータがNTSC形式の映像データであれば,A/D変換装置5はNTSC形式の映像データをデコードしてディジタル化する。該ディジタル化された映像データは,圧縮/伸張装置8に転送されJPEGに符号化される。ここで,監視カメラ7から入力されるデータがNTSC形式の映像データであれば,圧縮/伸張装置8には1秒間に約30フレーム(60フィールド)の映像データが入力されることになる。圧縮/伸張装置8はあらかじめ定められたフレームレートにしたがって映像データをJPEGに符号化する。例えば,1台の監視カメラ7がA/D変換装置5に直接接続されており,1秒間に1フレーム分の画像をJPEG符号化するよう指定されているならば,1秒間に入力される30フレームの映像データ(30フレーム分のフレーム画像列)から1フレームを抽出し,JPEGに符号化する。
【0046】
また,例えば,図3(a)に示すように,4台の監視カメラ7a〜7dがフレームスイッチャ6に接続されているならば,フレームスイッチャ6から出力される映像データは図3(b)に示す通りとなる(フレーム画像a1とa3との時間差は8/30秒)。したがって,圧縮/伸張装置8は,1秒間に1フレーム分の画像をJPEG符号化するよう指定されているならば,1秒間に入力される30フレームの映像データから,監視カメラ7a〜7dで撮影された画像をそれぞれ1フレーム分,例えば,フレーム画像a1,b1,c1,d1の計4フレームを抽出してJPEGに符号化することになる。
【0047】
さらに,圧縮/伸張装置8は,入力される約30フレーム/秒の映像データをJPEG符号化するのと同時に,JPEG符号化する前の入力されたままの映像データをD/A変換装置9に転送するよう構成してもよく,これにより,監視カメラ7において撮影された映像データをモニタ10に表示することができ,リアルタイムでの監視映像の閲覧が可能となる。
【0048】
圧縮/伸張装置8において行われるJPEG符号化の処理を図4のフローチャートを用いて説明する。
【0049】
図4に示すように,まず,1秒間に入力される30フレームの映像データ(30フレーム分のフレーム画像列)から1フレームを抽出し(ステップ101),該1フレーム分の画像データを8×8の画素ブロックに分割する(ステップ102)。例えば,該画像データのイメージサイズ(解像度)が640×480であるならば,該画像データは横80ブロック,縦60ブロックに分割される。
【0050】
次に,分割した画素ブロック毎にDCT(Discrete Cosine Transform:離散的コサイン変換)を行う(ステップ103)。DCTとは直行変換の一種である。以下,そのDCTを施したブロックをDCT係数ブロックと呼ぶこととする。DCT係数ブロックは画素ブロックと同様に8×8で構成される。
【0051】
次に,DCT係数ブロック毎に量子化テーブルを用いて量子化を行う(ステップ104)。量子化テーブルには,任意の量子化値の8×8で構成されるブロックを用いる。量子化は,DCT係数ブロックを構成するDCT係数を,量子化テーブルに対応する量子化値で除算することで実現される。以下,このDCT係数ブロックを量子化したブロックを量子化DCT係数ブロックと呼ぶとする。
【0052】
次に,量子化DCT係数ブロックをエントロピー符号化の一種であるハフマン符号化を行う(ステップ105)。ハフマン符号化では8×8の2次元ブロックを1次元のデータとして扱い,0のランレングスと符号化する値の大きさを示すカテゴリの組み合わせにハフマン符号を割り当ててハフマン符号化する。このハフマン符号化後のデータがJPEGデータとなる。JPEGデータは,このハフマン符号化したデータの他に,符号化した画像データの縦横の画素数(画像のイメージサイズ)などの画像データ情報や符号化したときに用いた量子化テーブルとハフマンテーブルが含まれる。
【0053】
そして最後に,符号化されたJPEGデータを主記憶2へ転送し(ステップ106),処理を終了する。
【0054】
次に,圧縮/伸張装置8において符号化されたJPEGデータに付加情報を合成する方式について説明する。本実施形態では,付加情報として撮影日時,撮影したカメラ番号,撮影したカメラの設置場所(撮影場所)を取り上げるが,JPEGデータに合成可能な付加情報はこの限りではない。
【0055】
上述したように,撮影したカメラ番号を示すデータは,A/D変換装置5から主記憶2へ転送される。また,カメラの設置場所はあらかじめ決められているため,撮影したカメラの設置場所を示すデータは主記憶2あるいは記録装置3に格納されている。さらに,上記監視装置にはクロックが内蔵されており,撮影日時を示すデータは該クロックから得ることができる。
【0056】
圧縮/伸張装置8において符号化されたJPEGデータに付加情報を合成する処理を図5のフローチャートを用いて説明する。
【0057】
図5に示すように,まず主記憶2に転送された垂直帰線期間中に含まれるカメラ番号を示すデータを抽出してデコードする(ステップ201)。さらに,ステップ201において得られたカメラ番号に対応するカメラの設置場所を示すデータを主記憶2あるいは記録装置3から取得し,上記クロックから現在の日時を取得する(ステップ202)。次に,圧縮/伸張装置8において図4の処理によりJPEG符号化された画像データのイメージサイズと同等あるいはそれよりも小さいイメージサイズを持つビットマップを作成し,該ビットマップの任意の位置に上記撮影日時及び上記カメラ番号,上記撮影場所を示す文字列を描画する(ステップ203)。このときの上記ビットマップのイメージ例を図6に示す。
【0058】
図6において,ビットマップ上には撮影日時を示す文字列(“99/4/2 1:02:30”)及びカメラ番号を示す文字列(“カメラ番号:1”),撮影場所を示す文字列(“場所:会議室”)がそれぞれ表示されている。
【0059】
さて,図5に戻り,続いて圧縮/伸張装置8において図4の処理によりJPEG符号化されたJPEGデータに上記ビットマップを合成する処理を行うが,これは特開平10―108180号公報に開示されている方式を用いて行うことができる。
【0060】
つまり,ステップ203で得られたビットマップを図4におけるステップ102〜104の処理を施して量子化DCT係数ブロック群を作成する(ステップ204)。ステップ204の処理は圧縮/伸張装置8で行ってもCPU1を使用してソフトウェアで行ってもよい。次に,圧縮/伸張装置8において図4の処理によりJPEG符号化されたJPEGデータをハフマン復号化することにより,量子化DCT係数ブロック群を抽出する(ステップ205)。さらに,該量子化DCT係数ブロック群とステップ204にて得られた付加情報の量子化DCT係数ブロック群とを加算し(ステップ206),加算後の量子化DCT係数ブロック群をハフマン符号化する(ステップ207)。そして最後に,ステップ204で得られた量子化DCT係数ブロック群をハフマン符号化し(ステップ208),その結果(JPEGデータ)をステップ207で得られたJPEGデータのヘッダ部に格納し(ステップ209),処理を終了する。ここで,ステップ208において生成されたJPEGデータを付加情報用JPEGデータ,ステップ209において生成されたJPEGデータを画像表示用JPEGデータとそれぞれ呼ぶことする。そして,画像表示用JPEGデータは監視装置20の記録装置3に保存されることになる。
【0061】
なお,圧縮/伸張装置8の処理をソフトウェアで行なう場合には,画像データの符号化と付加情報の符号化とを同時に行なってもよい。
【0062】
次に,付加情報が合成されてJPEG符号化され監視装置20あるいは監視映像再生装置30の記録装置3に保存されている画像表示用JPEGデータの再生(復号化)方式について説明する。
【0063】
まず,上記画像表示用JPEGデータの復号化処理を図7のフローチャートを用いて説明する。
【0064】
図7に示すように,まず再生したい画像表示用JPEGデータを記録装置3から読み出し,該画像表示用JPEGデータのヘッダ部に付加情報用JPEGデータが存在するかどうかを検出し(ステップ301),該画像表示用JPEGデータに付加情報が合成されているならば,該画像表示用JEPGデータをハフマン復号化して量子化DCT係数ブロック群に復号する(ステップ302)。次に,付加情報を含めた画像表示モードかどうかを判定する(ステップ303)。上記表示モードは,あらかじめ入力装置4などかユーザにより指定されているものとする。ステップ303において,付加情報を含めた表示モードでない場合には,画像表示用JPEGデータのヘッダ部から付加情報用JPEGデータを抽出し,該付加情報用JPEGデータをハフマン復号化して量子化DCT係数ブロック群に復号する(ステップ304)。そして,上記画像表示用JEPGデータから導き出した量子化DCT係数ブロック群から,付加情報用JPEGデータから導き出した量子化DCT係数ブロック群同士を減算する(ステップ305)。
【0065】
また,ステップ303において,付加情報を含めた表示モードである場合には,ステップ304及びステップ305の処理はスキップされる。
【0066】
次に,ステップ302あるいはステップ305において導き出された量子化DCT係数ブロック群を逆量子化してDCT係数ブロック群に復号し(ステップ306),該DCT係数ブロック群に対してIDCT(Inverse DCT:逆DCT)を行って8×8の画素ブロックに戻す(ステップ307)。そして,復号された8×8画素ブロックを再構成する(ステップ308)ことによって画像データを復号できる。
【0067】
上述のステップ302及びステップ304及びステップ306〜ステップ308の処理は,監視装置20における圧縮/伸張装置8あるいは監視映像再生装置30における伸張装置12で行ってもCPU1を使用してソフトウェアで行ってもよい。
【0068】
図7のフローチャートで示した処理を行って再生(復号化)された画像表示用JPEGデータは,D/A変換装置9に転送されてアナログ化された後,モニタ10にて表示される。次に,このときのモニタ10に表示される画像表示例を示す。
【0069】
図8は,図7におけるステップ303において,付加情報を含めた表示モードである場合の画像表示例を示す。図8では,監視カメラ7で撮影された画像に図6で示した付加情報が合成されて表示されている。このような画像は,撮影された画像とともに該画像に付随する撮影日時及びカメラ番号,撮影場所などの付加情報も同時に表示することができ,モニタ10上で必要な画像を検索するのに非常に有効である。
【0070】
図9は,図7におけるステップ303において,付加情報を含めた表示モードでない(すなわち,付加情報を表示しないモード)場合の画像表示例を示す。図9では,監視カメラ7で撮影された画像がモニタ10上に表示されており,該画像に付随する撮影日時及びカメラ番号,撮影場所などの付加情報は表示されていない。このような画像は,画像の内容を解析するためなどに用いられる。つまり,画像に付随する撮影日時及びカメラ番号,撮影場所などの付加情報が同時に表示されていると,モニタ10上では付加情報が画像に重なって表示されるためその部分の画像情報が失われてしまうからである。
【0071】
第一の実施形態における付加情報を合成しての画像データの記録方式では,JPEGデータに符号化する前の非圧縮の画像データに付加情報を合成するのではなく,JPEGデータを符号化する過程に現れる量子化DCT係数ブロックに対して付加情報の合成処理が行われるため,図9に示すような付加情報を表示しない画像表示においても,元の画像の画質を劣化させることなく表示することが可能となる。
【0072】
さらに,本第一の実施形態では,付加情報として,撮影日時及びカメラ番号,撮影場所の3つの情報を取り上げたが,画像の検索を容易にするために,さらに多くの付加情報を合成することも考えられる。しかしながら,合成する情報が多くなればなるほど,画像に対して付加情報の占める割合が大きくなり,画像表示用JPEGデータを付加情報を含めた表示モードで再生する場合には,再生された画像のほとんどが付加情報に隠されてしまう。本第一の実施形態のように,画質の劣化なく付加情報を取り除いての表示が可能であれば,画像の検索や解析に対して非常に有効な手段となる。
【0073】
また,本第一の実施形態の方式で記録されるJPEGデータは,国際標準化されたアルゴリズムにしたがって符号化されたものである。つまり,一般的に市場に流通しているJPEGデコーダでも再生可能である(図7におけるステップ302及びステップ306〜ステップ308の処理が行われる)。しかしながら,このような一般的に市場に流通しているJPEGデコーダは,付加情報を取り除いて復号化する手段を持っていないので,該JPEGデコーダで再生した画像は,必ず付加情報が合成されて表示されることになる。
【0074】
上述した第一の実施形態では,任意の時点に撮影された1枚のフレーム画像を記録再生する方式を示した。しかしながら,通常,防犯目的の監視システムは,1日24時間,監視カメラからの映像を記録し続けている。つまり,1台の監視カメラが接続された監視装置20においては,1秒間に1フレーム分の画像をJPEG符号化するよう指定されているならば,24時間で86400フレーム分の画像をJPEG符号化することになる。上述した第一の実施形態では,合成する付加情報をJPEG符号化(JPEGデータに)してJPEG符号化された画像のJPEGデータのヘッダ部に格納するため,少なからずとも記録装置3の記録容量を圧迫することになる。
【0075】
第二の実施形態では,記録装置3に記録されるデータ量を最小限にして記録する方式につて説明する。
【0076】
1秒間に1フレーム分の画像をJPEG符号化するよう指定されているならば,24時間中に記録される86400フレーム分の画像に合成される付加情報は非常に強い相関を有している。例えば,ある任意の2秒間に記録される2フレーム分の画像は図10に示すとおりとなる。最初の1秒間に記録される画像が(a),次の1秒間に記録される画像が(b)である。図9に示すとおり,(a)の画像が記録(撮影)される日時は99年4月2日,1時2分30秒であり,(b)の画像が記録(撮影)される日時は99年4月2日,1時2分31秒である。また,(a)と(b)の画像はともに同じ監視カメラからの画像であるため,カメラ番号と撮影場所を示す文字列は一致している。つまり,(a)の画像と(b)の画像に合成される付加情報(を示す文字列)は,30秒の“0”と31秒の“1”の違いである。したがって,(b)の画像をJPEG符号化する際,(b)の画像に合成する付加情報として,(a)の画像に合成する付加情報との差分を(b)の画像から作成されるJPEGデータのヘッダ部に格納することによって,該JPEGデータのデータ量を減らすことが可能となる。
【0077】
次に,第二の実施形態における付加情報の合成処理を図11のフローチャートを用いて説明する。
【0078】
図11に示すように,まず主記憶2に転送された垂直帰線期間中に含まれるカメラ番号を示すデータを抽出してデコードする(ステップ401)。さらに,ステップ401において得られたカメラ番号に対応するカメラの設置場所を示すデータを主記憶2あるいは記録装置3から取得し,上記クロックから現在の日時を取得する(ステップ402)。次に,圧縮/伸張装置8において図4の処理によりJPEG符号化された画像データのイメージサイズと同等あるいはそれよりも小さいイメージサイズを持つビットマップを作成し,該ビットマップの任意の位置に上記撮影日時及び上記カメラ番号,上記撮影場所を示す文字列を描画する(ステップ403)。次に,該ビットマップと,直前に記録した画像の付加情報を示すビットマップとの差違を算出する(ステップ404)。このときの処理方法を図12を用いて説明する。
【0079】
図12は,ステップ403において作成されたビットマップを示す(ただし,付加情報を示す文字列は省略してある)。該ビットマップのイメージサイズを,横32画素,縦16画素とすると,該ビットマップを8×8の画素ブロックに分割すると,ブロック番号が1〜8の8つのブロックに分割される。ステップ4040の処理は,このブロック単位で比較される。
【0080】
さて,図11に戻り,次に,ステップ203で得られたビットマップを図4におけるステップ102〜104の処理を施して量子化DCT係数ブロック群を作成する(ステップ405)。ここで,ステップ405の処理は圧縮/伸張装置8で行ってもCPU1を使用してソフトウェアで行ってもよい。
【0081】
次に,圧縮/伸張装置8において図4の処理によりJPEG符号化されたJPEGデータをハフマン復号化することにより,量子化DCT係数ブロック群を抽出する(ステップ406)。さらに,該量子化DCT係数ブロック群とステップ405にて得られた付加情報の量子化DCT係数ブロック群とを加算し(ステップ407),加算後の量子化DCT係数ブロック群をハフマン符号化する(ステップ408)。次に,ステップ404で算出された,直前に記録された画像の付加情報を示すビットマップとの差違があるブロックの量子化DCT係数ブロック群をハフマン符号化する(ステップ409)。上記の例では,ブロック番号が8のブロックに対応する量子化DCT係数ブロックがハフマン符号化されることになる。そして最後に,ステップ409において得られた付加情報用JPEGデータを,ステップ408で得られた画像表示用JPEGデータのヘッダ部に格納し(ステップ410),処理を終了する。
【0082】
以上のように,第二の実施形態では,例えば上述した例では,付加情報用JPEGデータは1つの8×8の画素ブロックが符号化されて作られることになる。上記第一の実施形態では,8つすべての8×8の画素ブロックが符号化されて作られることになるため,画像表示用JPEGデータのヘッダ部に格納されるデータ量は1/8となり,記録されるデータ量を最小限することが可能となる。
【0083】
なお,複数のカメラ画像を記録しているときには,上記ステップ401で取得したカメラ番号を用いて,付加情報の差分をカメラ毎に管理すればよい。
【0084】
また,上記第一の実施形態における記録方式によって付加情報が合成され記録されたJPEGデータは,該JPEGデータで正常に再生可能である。したがって,第二の実施形態において,数〜数十フレーム毎に上記第一の実施形態における記録方式によって記録すれば,数〜数十フレーム毎にランダム検索ができるようになる。
【0085】
上記第二の実施形態における記録方式で記録されたJPEGデータは,図7に示したフローチャートを用いて同様に復号化することができる。ただし,ステップ304とステップ305の処理の間に,以下に示す処理を挿入する必要がある。
【0086】
まず,直前に記録されたJPEGデータの復号化に使われた付加情報用JPEGデータの量子化DCT係数ブロック群を取得し,ステップ304で得られた量子化DCT係数ブロック群に置き換える。この置き換えられた量子化DCT係数ブロック群を用いてステップ305の処理を行うことになる。
【0087】
例えば,図13は,時間的に連続する3つのフレーム画像に合成する付加情報を示すビットマップである(図11におけるステップ403の処理において作成されたもので,付加情報を示す文字列は省略してある)。(a)(b)(c)の順で時間が経過しているものとする。また,(a)のビットマップと(b)のビットマップとの差違は,4aブロックと4bブロックであり,(b)のビットマップと(c)のビットマップとの差違は,8bブロックと8cブロックであるとする。さらに,(a)のビットマップが合成される画像は上記第一の実施形態における記録方式で記録され,(b)のビットマップが合成される画像及び(c)のビットマップが合成される画像は上記第二の実施形態における記録方式で記録されるものとする。
【0088】
これらの画像の再生時には,(a)のビットマップが合成され記録されたJPEGデータは,1a〜8aのブロックからなる付加情報用JPEGデータを用いて復号化される。(b)のビットマップが合成され記録されたJPEGデータは,1a,2a,3a,4b,5a,6a,7a,8aのブロックからなる付加情報用JPEGデータを用いて復号化される。4bのブロックからなる付加情報用JPEGデータは,(b)のビットマップが合成される画像が符号化された画像表示用JPEGデータのヘッダ部から取得される。また,(c)のビットマップが合成され記録されたJPEGデータは,1a,2a,3a,4b,5a,6a,7a,8cのブロックからなる付加情報用JPEGデータを用いて復号化される。8cのブロックからなる付加情報用JPEGデータは,(c)のビットマップが合成される画像が符号化された画像表示用JPEGデータのヘッダ部から取得される。
【0089】
次に,上述した第一,第二の実施形態において,記録されたJPEGデータ(付加情報を含む)が改ざんされたかどうかを検出する方法について説明する。
【0090】
上記実施形態によれば,JPEGデータのヘッダ部には合成した付加情報に関する情報が格納されている。一般的に市場に流通しているJPEGエンコーダ及びデコーダ(各々ハードウェア処理,ソフトウェア処理を問わない))が改ざんに使われた場合について説明する。
【0091】
本発明を用いて記録したJPEGデータから画像を復号化し,修正(改ざん)して再び符号化した場合は,記録したJPEGデータのヘッダ部には合成した付加情報に関する情報が格納されているが,上記付加情報を認識しないJPEGエンコーダ及びデコーダを用いて,画像を修正後再びJPEG符号化を行うと,復号化前には存在した上記付加情報が消失してしまい,合成した付加情報を分離(あるいは抽出)することが不可能となる。したがって,図7のフローチャートにおける,付加情報を表示しないモードの場合にも付加情報が分離されず,図8に示すような画像が表示されることになる。
【0092】
また,使用するJPEGエンコーダ及びデコーダが,復号化したときのJPEGヘッダ部に格納されている情報を保持して符号化する機能を備えていた場合,改ざんされた個所が付加情報を合成した部分であるならば,図7のフローチャートにおける,付加情報を表示しないモードの場合にもきれいに付加情報が分離されず,図14に示すように,合成されていた付加情報の部分の表示がきれいに行われず,ゴミ(ノイズ)が残るようになる。したがって,ゴミ(ノイズ)の検出によって,記録されたJPEGデータが改ざんされたかどうかを判断することが可能となる。
【0093】
上記の改ざん検出方法は,記録されたJPEGデータを復号化した後,目視判断をするものであった。また,付加情報が合成されていない部分が改ざんされている場合には改ざん検出ができない。
【0094】
そこで,証拠能力の高い記録(監視)画像を保持するために,確実に改ざん検出を可能とする第三の実施形態について説明する。
【0095】
図1に示す監視装置20において,A/D変換装置5が,映像データの垂直帰線期間中に含まれるカメラ番号を示すデータだけでなく,(非圧縮の)画像データ部分も主記憶2へ転送可能なように構成する。そして,該画像データに対して動体検出を行う手段を設ける。具体的には,CPU1によって実行されるプログラムによって実現する。動体検出は,例えば,同一のカメラから異なる時刻に出力された2つの画像の各画素間の差分を算出することで行うことができる。該差分があらかじめ決められた値より大きい場合には,該差分を導き出した画素あるいは該画素を含む任意の大きさのブロックが動体部分であると判断する。そして,検出された動体部分に,第一の実施形態において説明した付加情報を合成する方法(図5のフローチャートにおけるステップ202〜ステップ209)と同様に任意の情報を合成する。本実施形態は改ざん防止が目的であるため,合成する情報はカメラ番号や日付けなどの意味のある情報でなくてもよく,例えば,ハーフトーンのビットマップを合成してもよい。もし,A/D変換装置5から主記憶2に転送される画像データが図9に示す画像であって,さらに該画像の左側に見える人間が動体と検出されたならば,図15に示すように復号化されるJPEGデータを生成する。通常,改ざんされる可能性があるのは動体部分である可能性が大きいため,動体部分に付加情報を合成する方法は非常に有効である。
【0096】
次に,目視で改ざん検出するのではなく,自動的に検出する方式について説明する。
【0097】
本方式では,記録する画像をJPEGに符号化する際,符号化する画像の特徴値を算出し,その結果をJPEGデータのヘッダ部に格納する。特徴値としては例えば,量子化DCT係数ブロック群のチェックサムがある。また,ハッシュ関数など一方向性関数を用いて特徴値を算出しても良い。上記チェックサムを用いる例について以下説明する。
【0098】
本方式の処理フローチャートを図16に示す。ステップ501〜ステップ506の処理は,図5におけるフローチャートのステップ201〜ステップ206の処理とそれぞれ同様である。
【0099】
ステップ501〜ステップ506の処理が順次実行された結果得られた1つ以上の量子化DCT係数ブロックのチェックサムを算出する(ステップ507)。そして,ステップ506で得られた量子化DCT係数ブロックをハフマン符号化し(ステップ508),さらに,付加情報ビットマップの量子化DCT係数ブロックをハフマン符号化する(ステップ509)。最後に,ステップ508で得られたJPEGデータのヘッダ部に,ステップ509で得られたJPEGデータ及びステップ507で得られたチェックサムを格納して(ステップ510),処理を終了する。
【0100】
改ざんを自動的に検出する処理フローチャートを図17に示す。
まず,再生したい画像表示用JPEGデータを記録装置3から読み出し(ステップ601),該画像表示用JPEGデータのヘッダ部にチェックサムを表わすデータが存在するかどうかを検出する(ステップ602)。チェックサムを表わすデータが存在するならば,該画像表示用JPEGデータをハフマン符号化して量子化DCT係数ブロック群に復号する(ステップ603)。次に,該量子化DCT係数ブロック群のチェックサムを算出し(ステップ604),上記ヘッダ部に格納されていたチェックサムを比較する(ステップ605)。チェックサムが一致するならば,JPEGデータは改ざんされていないと判断する。
【0101】
ステップ602においてJPEGデータのヘッダ部にチェックサムを表わすデータが存在していなかった場合,あるいは,ステップ605においてチェックサムが一致しなかった場合には,JPEGデータに改ざんが行われたと判断して,警告音をならす,あるいは,警告表示をモニタ10に表示するなど,明示的に,改ざんが行われていたことをユーザに知らせて(ステップ606),処理を終了する。
【0102】
以上のように,図16に示す処理で得られたJPEGデータに対して,復号化して得られた画像を改ざんして再び符号化した場合,チェックサムが元の値から変化する確率は非常に高いので,チェックサムを調べることによって自動的に改ざんが行われたことを,ほぼ確実に検出できる。改ざんして再び符号化したとき,元のチェックサムと一致する確率は,たとえばチェックサムを4バイトのデータとして表わすと,1/40兆(40兆分の1)と非常に低い。
【0103】
また,ステップ602においてJPEGデータのヘッダ部に格納されているはずのチェックサムを表わすデータが消失しているならば,他のJPEGエンコーダで符号化されたことになるので,チェックサムを算出するまでもなく,自動的に改ざんされたかどうかの検出ができる。
【0104】
このように,第三の実施形態では,記録されたJPEGデータが改ざんされたかどうかを容易にかつ自動的に検出することが可能であり,証拠能力の高い記録(監視)画像を保持する監視システムを提供できる。
【0105】
【発明の効果】
以上説明してきたように,本発明によれば,記録映像の証拠能力を失うことなく,検索,管理,再生を容易にした監視システムを提供することができる。
【0106】
また,記録(撮影)映像が改ざんされたことを検出可能な監視システムを提供することができる。
【図面の簡単な説明】
【図1】本実施形態の監視装置のハードウェア構成図である。
【図2】本実施形態の監視映像再生装置のハードウェア構成図である。
【図3】第一の実施形態の映像データフォーマットの説明図である。
【図4】第一の実施形態のJPEG符号化の処理フローチャートを示す図である。
【図5】第一の実施形態の画像記録方法の処理フローチャートを示す図である。
【図6】第一の実施形態の付加情報合成方法の説明図である。
【図7】第一の実施形態の記録画像再生方法の処理フローチャートを示す図である。
【図8】第一の実施形態の記録画像の再生表示例を示す図である。
【図9】第一の実施形態の記録画像の再生表示例を示す図である。
【図10】第二の実施形態の画像記録方法の説明図である。
【図11】第二の実施形態の画像記録方法の処理フローチャートを示す図である。
【図12】第二の実施形態の画像記録方法の説明図である。
【図13】第二の実施形態の記録画像再生方法の説明図である。
【図14】第一の実施形態の記録画像の再生表示例を示す図である。
【図15】第三の実施形態の記録画像の再生表示例を示す図である。
【図16】第三の実施形態の画像記録方法の処理フローチャートを示す図である。
【図17】第三の実施形態の記録画像再生方法の処理フローチャートを示す図である。
【符号の説明】
1…CPU,2…主記憶,3…記録装置,4…入力装置,5…A/D変換装置,6…フレームスイッチャ,7…監視カメラ,8…圧縮/伸張装置,9…D/A変換装置,10…モニタ,11…バス,12…伸張装置
Claims (6)
- 監視カメラと、前記監視カメラで撮影した映像のフレーム画像をJPEG符号化して記録する処理装置とからなる監視システムにおいて、
前記処理装置は、
前記画像に関連する付加情報を前記画像に挿入するイメージとしてビットマップに展開する手段と、
前記ビットマップをJPEG符号化する手段と、
前記画像を符号化したJPEGデータに前記ビットマップイメージを符号化したJPEGデータを合成して1つのJPEGデータとする合成手段とを備え、
前記合成手段は、
前記画像を符号化したJPEGデータと前記ビットマップイメージを符号化したJPEGデータとを、離散コサイン(DCT)変換された後、ハフマン符号化される前のデータ形式で合成し、
前記記録装置に記録されたJPEGデータのヘッダ部は、少なくとも前記ビットマップイメージを符号化したJPEGデータを含む、監視システム。 - 前記付加情報は、少なくとも前記画像が撮影された日時を含む、請求項1記載の監視システム。
- 前記処理装置は、前記ビットマップイメージを符号化したJPEGデータを取り除いて復号化する復号化手段を備える、請求項1又は2記載の監視システム。
- 前記処理装置は、前記画像を符号化したJPEGデータが改ざんされたかどうかを検出する手段を備える、請求項1乃至3記載の監視システム。
- 前記合成手段は、符号化する合成画像の特徴値を算出し、その結果を合成するJPEGデータのヘッダ部に格納する手段を備え、
前記改ざんを検出する手段は、復号化した画像の特徴値を求める手段と、前記ヘッダ部に格納された特徴値を比較して、改ざんを検出する、請求項4記載の監視システム。 - 前記処理装置は、
所定の時間間隔で、前記監視カメラで撮影した複数の映像のJPEG符号化されたフレーム画像各々について、撮影時刻が古いフレーム画像に関連する付加情報のビットマップに対する、新しいフレーム画像に関連する付加情報のビットマップの差分情報を求める手段と、
前記差分情報をJPEG符号化する手段と、
前記撮影時刻が新しいフレーム画像のJPEGデータのヘッダ部に前記JPEG符号化された前記差分情報を記録する手段とを備える、請求項1乃至5記載の監視システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28242599A JP3772604B2 (ja) | 1999-10-04 | 1999-10-04 | 監視システム |
US09/643,759 US6842540B1 (en) | 1999-10-04 | 2000-08-23 | Surveillance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28242599A JP3772604B2 (ja) | 1999-10-04 | 1999-10-04 | 監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001111959A JP2001111959A (ja) | 2001-04-20 |
JP3772604B2 true JP3772604B2 (ja) | 2006-05-10 |
Family
ID=17652251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28242599A Expired - Fee Related JP3772604B2 (ja) | 1999-10-04 | 1999-10-04 | 監視システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US6842540B1 (ja) |
JP (1) | JP3772604B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7614086B2 (en) * | 2001-03-23 | 2009-11-03 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Monitoring apparatus, computer program and network for secure data storage |
JP2003032524A (ja) * | 2001-07-16 | 2003-01-31 | Olympus Optical Co Ltd | 顕微鏡用デジタルカメラ |
JP4191398B2 (ja) * | 2001-08-31 | 2008-12-03 | パナソニック株式会社 | 監視画像記録装置 |
JP2003087772A (ja) * | 2001-09-10 | 2003-03-20 | Fujitsu Ltd | 画像制御装置 |
JP3851149B2 (ja) * | 2001-11-22 | 2006-11-29 | 三洋電機株式会社 | 画像処理装置 |
JP2003340124A (ja) * | 2002-05-30 | 2003-12-02 | Sankyo Kk | 遊技場における監視装置 |
JP2004228711A (ja) * | 2003-01-20 | 2004-08-12 | Sony Corp | 監視装置及び方法、プログラム並びに監視システム |
US20040186813A1 (en) * | 2003-02-26 | 2004-09-23 | Tedesco Daniel E. | Image analysis method and apparatus in a network that is structured with multiple layers and differentially weighted neurons |
US7292723B2 (en) * | 2003-02-26 | 2007-11-06 | Walker Digital, Llc | System for image analysis in a network that is structured with multiple layers and differentially weighted neurons |
JP4384891B2 (ja) * | 2003-10-20 | 2009-12-16 | オーチス エレベータ カンパニー | エレベータのカメラ映像配信装置 |
US7697026B2 (en) * | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
US7664183B2 (en) * | 2004-03-16 | 2010-02-16 | 3Vr Security, Inc. | Correlation processing among multiple analyzers of video streams at stages of a pipeline architecture |
US7663661B2 (en) * | 2004-03-16 | 2010-02-16 | 3Vr Security, Inc. | Feed-customized processing of multiple video streams in a pipeline architecture |
US7672370B1 (en) | 2004-03-16 | 2010-03-02 | 3Vr Security, Inc. | Deep frame analysis of multiple video streams in a pipeline architecture |
JP2006174200A (ja) * | 2004-12-17 | 2006-06-29 | Dainippon Printing Co Ltd | 撮影情報管理システム及びその方法 |
JP4847165B2 (ja) * | 2006-03-09 | 2011-12-28 | 株式会社日立製作所 | 映像記録再生方法及び映像記録再生装置 |
US20070252895A1 (en) * | 2006-04-26 | 2007-11-01 | International Business Machines Corporation | Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images |
JP4993578B2 (ja) * | 2007-01-15 | 2012-08-08 | オリンパスイメージング株式会社 | 画像ファイル再生装置,画像ファイル加工編集装置 |
EP2316772B1 (en) * | 2008-08-27 | 2016-09-21 | Mitsubishi Electric Corporation | Elevator monitoring device |
US20100246669A1 (en) * | 2009-03-25 | 2010-09-30 | Syclipse Technologies, Inc. | System and method for bandwidth optimization in data transmission using a surveillance device |
JP5428835B2 (ja) * | 2009-12-21 | 2014-02-26 | 富士通株式会社 | 署名装置、署名方法、および署名プログラム |
US8488894B2 (en) * | 2010-11-12 | 2013-07-16 | Dynacomware Taiwan Inc. | Method and system for dot-matrix font data compression and decompression |
US20130121422A1 (en) * | 2011-11-15 | 2013-05-16 | Alcatel-Lucent Usa Inc. | Method And Apparatus For Encoding/Decoding Data For Motion Detection In A Communication System |
JP6428232B2 (ja) * | 2014-12-15 | 2018-11-28 | 株式会社リコー | 画像処理装置及び画像合成方法 |
CN107995384A (zh) * | 2017-11-23 | 2018-05-04 | 晨星半导体股份有限公司 | 视频防篡改方法、视频拍摄设备及视频验证方法 |
CN116233565B (zh) * | 2023-05-04 | 2023-07-21 | 深圳奥联信息安全技术有限公司 | 一种电子签名生成方法及*** |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1265250A (en) * | 1985-03-04 | 1990-01-30 | Alan Douglas Clark | Data transmission |
US4851906A (en) * | 1986-11-04 | 1989-07-25 | Nec Corporation | Data compression using orthogonal transform and vector quantization |
US5408330A (en) * | 1991-03-25 | 1995-04-18 | Crimtec Corporation | Video incident capture system |
US5627586A (en) * | 1992-04-09 | 1997-05-06 | Olympus Optical Co., Ltd. | Moving body detection device of camera |
JPH0774924A (ja) | 1993-08-31 | 1995-03-17 | Canon Inc | 画像処理装置 |
US5768446A (en) * | 1994-09-29 | 1998-06-16 | Unisys Corp. | Document processing |
US5530759A (en) * | 1995-02-01 | 1996-06-25 | International Business Machines Corporation | Color correct digital watermarking of images |
JP3177412B2 (ja) | 1995-07-26 | 2001-06-18 | 三洋電機株式会社 | 監視用画像記録再生装置 |
GB2305798B (en) * | 1995-09-28 | 1999-10-20 | Sony Uk Ltd | Spatial frequency-domain video signal processing |
JP3478019B2 (ja) | 1996-09-30 | 2003-12-10 | 株式会社日立製作所 | 画像符号化データ作成方法及び画像符号化データ復号化方法 |
JPH1116059A (ja) | 1997-06-20 | 1999-01-22 | Mitsubishi Electric Corp | 監視画像記録再生装置 |
JP3794646B2 (ja) * | 1997-08-26 | 2006-07-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 内容情報とそれに関する補足情報とを転送するシステム |
JP3484944B2 (ja) | 1997-09-16 | 2004-01-06 | 神鋼電機株式会社 | デジタル画像記録装置 |
JP3825894B2 (ja) | 1997-09-26 | 2006-09-27 | 株式会社東芝 | 映像記録装置 |
US6275831B1 (en) * | 1997-12-16 | 2001-08-14 | Starfish Software, Inc. | Data processing environment with methods providing contemporaneous synchronization of two or more clients |
US6332030B1 (en) * | 1998-01-15 | 2001-12-18 | The Regents Of The University Of California | Method for embedding and extracting digital data in images and video |
US6275599B1 (en) * | 1998-08-28 | 2001-08-14 | International Business Machines Corporation | Compressed image authentication and verification |
-
1999
- 1999-10-04 JP JP28242599A patent/JP3772604B2/ja not_active Expired - Fee Related
-
2000
- 2000-08-23 US US09/643,759 patent/US6842540B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6842540B1 (en) | 2005-01-11 |
JP2001111959A (ja) | 2001-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3772604B2 (ja) | 監視システム | |
US7707422B2 (en) | Method for embedding watermark into an image and digital video recorder using said method | |
US6192138B1 (en) | Apparatus and method for embedding/unembedding supplemental information | |
JP3380763B2 (ja) | 画像処理方法 | |
US6175597B1 (en) | Methods and apparatus for error concealment | |
JP3787398B2 (ja) | 画像処理装置及びその方法 | |
JP2004032459A (ja) | 監視システム、およびこれに用いるコントローラと監視端末 | |
JP2006253768A (ja) | デジタルカメラ | |
JP3046226B2 (ja) | ディジタルビデオテ−プレコ−ダのビットストリ−ム配置/復元方法およびそれに適合なデ−タ圧縮装置および伸長装置 | |
JP3140487B2 (ja) | 画像記録再生装置 | |
US20010043796A1 (en) | Picture compression managing apparatus and picture compression managing method used therefor | |
TW591952B (en) | Intelligent video stream processing method and system thereof | |
JP3104805B2 (ja) | テレビ電話 | |
JP3055421B2 (ja) | ビデオ記録装置 | |
JP3196764B2 (ja) | 動画像記録再生方法 | |
JP3952926B2 (ja) | 映像符号化装置及び映像符号化方法 | |
KR100896278B1 (ko) | 가정용 방범 기능이 부가된 하드디스크를 이용한 티브이녹화장치 | |
JPH10313455A (ja) | 監視画像記録装置およびその再生装置 | |
JP3100793B2 (ja) | 動画像再生装置 | |
JPH06350964A (ja) | 画像再生装置及び画像復号装置 | |
JP2000261788A (ja) | 画像を用いた監視装置 | |
JPH05167973A (ja) | 静止画ファイルシステム | |
JP3136523B2 (ja) | 画像変換装置 | |
JPH09182017A (ja) | 動画編集装置 | |
JPH0746408A (ja) | 医療画像記録装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090224 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |