JP6116192B2 - 動画処理装置、カメラ監視システム、プログラム - Google Patents
動画処理装置、カメラ監視システム、プログラム Download PDFInfo
- Publication number
- JP6116192B2 JP6116192B2 JP2012245296A JP2012245296A JP6116192B2 JP 6116192 B2 JP6116192 B2 JP 6116192B2 JP 2012245296 A JP2012245296 A JP 2012245296A JP 2012245296 A JP2012245296 A JP 2012245296A JP 6116192 B2 JP6116192 B2 JP 6116192B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- contraction
- unit
- reduction
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
図1ないし図7は、この発明の第1の実施の形態を示す。
図1は、この実施の形態のカメラ監視システム100aの原理を模式的に示す図である。この実施の形態のカメラ監視システム100aは、「監視対象」としての工作機械59を撮像するn台(n≧1)の「撮像手段」としてのビデオカメラ2(1),2(2),・・・,2(n)、動画処理装置1a、「表示管理実行手段」としてのビューワ44a、「縮約方法変更手段」としての縮約方法変更部43を備える。ここで動画処理装置1aは、「フレーム記録手段」としてのフレーム記録部11、m個(m≧1)の縮約実行部121(1),121(2),・・・,121(m)を備えた「縮約手段」としての縮約部12、「縮約動画記録手段」としての縮約動画記録部13を備える。
図2は、この実施の形態のカメラ監視システム100aの具体的構成としての機能ブロック図である。
以下、カメラ監視システム100aの構成の詳細について説明する。
ビデオカメラ2(1),2(2),・・・,2(n)は、動画撮像用のカメラであり、たとえば1秒間に30コマ程度のフレーム(静止画像)から構成される動画を撮像する。ビデオカメラ2(1),2(2),・・・,2(n)は、工作機械59の近傍に設置されて、工作機械59の単一または複数の箇所の動作状況を撮像し、動画データとして動画処理装置1aに入力する。なおビデオカメラ2(1),2(2),・・・,2(n)はいずれも同じ構成を有するので、以下説明を簡単にするため、特に区別の必要がある場合を除いてビデオカメラ2と表記する。
この実施の形態においては、動画処理装置1aは単一のコンピュータ装置として構成する。
フレーム記録部11は、複数のカメラから出力される大量のデータの書き込みに耐えるだけの、高速なスループットを有する揮発性または不揮発性の記憶媒体を備えた記憶装置である。フレーム記録部11は、たとえばCPUが直接アクセスすることのできるRAMの領域であるメインメモリ、RAMの一部をディスクドライブとして使用するRAMディスク、フラッシュメモリをディスクドライブとして使用するSSD(Solid State Drive。半導体ディスク)などによって実現される。
縮約部12は、それぞれのビデオカメラ2によって撮像された動画の少なくとも一部に対して縮約を行い、得られた縮約済み動画をファイルとして縮約動画記録部13に記録させる。
図4に示すとおり、縮約部12は、機能手段として、m個(m≧1)の縮約実行部121(1),121(2),・・・,121(m)、リンク部122、優先度設定部123、速度管理部124を備える。
図3に示す縮約動画記録部13は、数百ギガバイト〜数テラバイトの容量を持つ不揮発性の記憶媒体を備えた記憶装置であり、縮約部12の作成した縮約動画ファイル22を記録・蓄積する。縮約動画記録部13は、大容量のハードディスクやSSD、あるいはそれらを複数組み合わせたディスクアレイ(RAID)によって実現される。
トリガ検出部141aは、任意の事象が発生した際に出力されるトリガを検出する入力装置である。トリガ検出部141aが検出するトリガとして、たとえば下記(トリガ1)〜(トリガ5)が挙げられる。
(トリガ1)監視者9aが操作装置4aの操作部41を操作することによって入力したコマンド。
(トリガ2)任意のセンサから出力された任意の検出信号。たとえば工作機械59の近傍に設置されたマイクロホン(図示せず)が出力する音声信号など。この信号により、工作機械59の故障によって発せられる異音を検出することができる。
(トリガ3)任意のスイッチ、リレーなどがオン状態またはオフ状態に移行することによって出力される信号。たとえば工作機械59の作業台(図示せず)上の、製造物(図示せず)が載置されるべき位置ではない箇所に設けられたリミットスイッチ(図示せず)が出力する信号など。この信号により、製造物の異常な載置状態を検出することができる。
(トリガ4)任意のタイマによる任意の時間経過の検出信号。たとえばタイマが1時間ごとに発するアラーム信号など。
(トリガ5)動画21における任意のパターン認識の結果として発せられる信号。たとえば工作機械59に設置された異常告知ランプ(図示せず)の写っている動画21から、異常告知ランプが点灯しているかどうかを画像認識によって検出するなど。
ディスク管理部142は、縮約動画記録部13の各種状態を監視し、必要に応じてデータの退避・復旧を行う。たとえばディスク管理部142は、縮約動画記録部13に記録されている縮約動画ファイル22を大容量のNAS(Network Attached Storage。ネットワーク接続型ファイル保存装置)やクラウド型ストレージにバックアップしたり、古い縮約動画ファイル22や、破損したと考えられる縮約動画ファイル22を削除して、縮約動画記録部13の空きディスク容量を確保したりする。
容量監視部143は、縮約動画ファイル22を記録する縮約動画記録部13の空きディスク容量を継続的に監視し、ディスクフルが近づいた状態を検出する。
警報発信部144aは、容量監視部143の監視の結果、縮約動画記録部13のディスクフルが近づいたと判断された時、操作装置4aに警報を送信する。警報としては、たとえば操作装置4aの表示部42に文字を表示させる警報や、操作装置4aに音声を発生させる警報が挙げられる。
図2に示すプログラム保管装置3aは、プログラムをファイルとして保持する一種のサーバであり、単一または複数の縮約プログラム31を記録している。プログラム保管装置3aは、動画処理装置1aからの要求を受け、選択された縮約プログラム31を動画処理装置1aに供給する。
図2に示すとおり、操作装置4aは、動画処理装置1aに付属して設けられた入出力装置であり、監視者9aの操作を受けて動画処理装置1aを操作する。操作装置4aはタッチパネルなどの入出力装置、およびそれらを制御するGUI(Graphic User Interface)として実現される。
(コマンド1)プログラム保管装置3aの保持している縮約プログラム31のうち、選択したものを動画処理装置1aに取得させ、動画処理装置1aが有する記憶装置に格納させるコマンド。あるいは動画処理装置1aに、ロードされていない縮約プログラム31を記憶装置から削除させるコマンド。
(コマンド2)動画処理装置1aの縮約部12を構成するリンク部122に、コマンド1によって取得され、記憶装置に格納された縮約プログラム31を動画処理装置1aにロードさせるコマンド。あるいはリンク部122に、不要となった縮約プログラム31をアンロードさせるコマンド。
(コマンド3)動画処理装置1aの縮約部12に、必要となった縮約実行部121を追加させるコマンド。あるいは縮約部12に、不要となった縮約実行部121を削除させるコマンド。
(コマンド4)動画処理装置1aの縮約部12を構成する縮約実行部121に、縮約実行部121が実行する縮約プログラム31の使用する縮約ルールを変更させるコマンド。あるいは縮約実行部121に、縮約プログラム31の使用する縮約ルールを取得させるコマンド。
ここで、縮約部12による縮約の処理の概要を説明する。
縮約方法変更部43は、監視者9aの操作によって操作部41に入力されたコマンドに基づき、またはあらかじめ決められたシーケンスに基づいて自動的に、縮約実行部121の使用する縮約ルールを変更することができる。たとえば以下に示す(縮約ルール1)〜(縮約ルール10)のうち、少なくともいずれか一つの縮約ルールを選択して変更することができる。縮約部12は、選択された縮約ルールを実装した縮約プログラム31を縮約実行部121にロードさせ、実行させることによって動画21の縮約を行う。
縮約部12は、動画21の解像度を低減させた縮約動画ファイル22を作成する処理を行う。たとえば640×480ピクセルの動画を320×240ピクセルに粗くすることにより、データサイズが約1/4になると期待される。
縮約部12は、動画21を構成するフレームのうちの一部を定期的に除去し、スローモーション再生させるようにした縮約動画ファイル22を作成する処理を行う。これは(縮約ルール7)に似ているが、再生速度をフレームレートに比例させることにより、見かけ上の速さが変化しない点が異なる。たとえばフレームを3枚ごとに間引くことにより、データサイズが約1/3になると期待される。
縮約部12は、動画21の一部を時間的に除去した縮約動画ファイル22を作成する処理を行う。たとえば1時間の動画から、トリガの前後の10分だけを取り出すことによって、データサイズが約1/6になり、また監視者9aが動画を目視するのに要する時間が約1/6になると期待される。なお図6においては、縮約実行部121(1)が、この縮約ルールの動作を模式的に示している。
縮約部12は、複数の動画21を縮小し、縮約動画ファイル22の画面を複数に分割したそれぞれの領域に埋め込む処理を行う。たとえば画面を4分割し、それぞれに異なるビデオカメラ2が撮像した動画21をはめ込むことによって、データサイズが約1/4になり、また監視者9aが動画を目視するのに要する時間が約1/4になると期待される。なお図6においては、縮約実行部121(2)が、この縮約ルールの動作を模式的に示している。
縮約部12は、複数のビデオカメラ2が撮像した動画21の一部を、任意の時間分抽出したものをつなぎ合わせ、複数のアングルが順番に切り替わって表示される縮約動画ファイル22を作成する処理を行う。たとえば4台のビデオカメラ2が撮像した動画21を2秒ごとに切り換えることによって、データサイズが約1/4になり、また監視者9aが動画を目視するのに要する時間が約1/4になると期待される。
縮約部12は、動画21のうちの一部の領域のみを抽出した縮約動画ファイル22を作成する。たとえば640×480ピクセルの動画から、異常が発生しやすい部位のみが写っている320×240ピクセルの領域を取り出すことにより、データサイズが約1/4になると期待される。なお図6においては、縮約実行部121(4)が、この縮約ルールの動作を模式的に示している。
縮約部12は、動画21を構成するフレームのうちの一部を定期的に除去し、もとの動画21と同じフレームレートで再生させるようにした縮約動画ファイル22を作成する処理を行う。これは(縮約ルール2)に似ているが、再生速度を変えないことにより、見かけ上は早送りとなる点が異なる。たとえばフレームを3枚ごとに間引くことによって、データサイズが約1/3になり、また監視者9aが動画を目視するのに要する時間が約1/3になると期待される。なお図6においては、縮約実行部121(3)が、この縮約ルールの動作を模式的に示している。
縮約部12は、複数のビデオカメラ2がそれぞれ撮像した動画21のうち、興味の対象となる部位が写っていないものを、撮像したビデオカメラ2を単位に削除した縮約動画ファイル22を作成する処理を行う。たとえば3台の工作機械59のうち2台が運転されていない日には、運転されていない工作機械59を撮像するビデオカメラ2を停止させ、動画21を残さないことによって、データサイズが約1/3になり、また監視者9aが動画を目視するのに要する時間が約1/3になると期待される。
縮約部12は、動画21の色数を減少させた縮約動画ファイル22を作成する処理を行う。たとえばフルカラーの動画をモノクロームに変換することにより、データサイズが約1/3になると期待される。
縮約部12は、動画21の符号化方法(エンコーディング)を不可逆的に変更し、より圧縮率を高めた縮約動画ファイル22を作成する処理を行う。たとえば非圧縮AVI形式の動画をMPEG形式に変換することにより、データサイズが約1/10になると期待される。
次に図7により、この実施の形態のカメラ監視システム100aの操作手順について説明する。
この実施の形態のカメラ監視システム100aにおける、縮約動画ファイル22を用いた監視および分析の具体的方法を例示する。
まず縮約部12は、工作機械59を撮像した動画21から、低解像度かつ早送り再生される縮約動画ファイル22を作成する。この縮約の手順には(縮約ルール1)・(縮約ルール7)などを用いる。監視者9aはこの縮約動画ファイル22を操作装置4aの表示部42に表示させ、目視による監視・分析を行う。これによって監視者9aは、表示部42に表示された動画に基づき、異常の発生するタイミングと部位を限定することができる。
(監視・分析手順1)により、工作機械59に異常の発生するタイミングと部位が限定されたら、監視者9aは操作装置4aを操作し、動画処理装置1aに縮約方法を変更させる。これによって縮約部12は、任意のビデオカメラ2が撮像した動画21から、異常が発生しやすい時刻およびその前後の時間を抽出した縮約動画ファイル22を作成するようになる。この縮約の手順には(縮約ルール3)を用いる。監視者9aは、新たに作られた縮約動画ファイル22を操作装置4aの表示部42に表示させ、あらためて目視による監視・分析を行う。これによって監視者9aは、表示部42に表示された動画に基づき、異常の発生するタイミングと部位を特定することができる。
(監視・分析手順2)により、工作機械59に異常の発生するタイミングと部位が特定されたら、監視者9aは再び操作装置4aを操作し、動画処理装置1aに縮約方法を変更させる。これによって縮約部12は、異常と思われる箇所が最も良好に写った動画21から、異常と思われる特定の領域を拡大した、スローモーション再生される縮約動画ファイル22を作成する。この縮約の手順には(縮約ルール6)と(縮約ルール2)を用いる。監視者9aは、新たに作られた縮約動画ファイル22を操作装置4aの表示部42に表示させ、あらためて目視による監視・分析を行う。これによって監視者9aは、表示部42に表示された動画に基づき、異常の発生するメカニズムを詳細に把握することができる。
以上、この実施の形態においては、ビデオカメラ2の撮像した動画21の少なくとも一部について縮約を行うことにより、縮約動画記録部13に記録されるデータ量を減少させることができ、少ないハードウェア資源を使用しても、データの記録を容易に行うことができる。また縮約は、ビデオカメラ2が撮像したすべての動画を一時的に記録するフレーム記録部11に記録された動画21に対して行われるので、縮約を開始する時点以前に撮像された動画から縮約済み動画を作成することもでき、監視者はこれを利用して工作機械59の多面的な監視や分析を行うことが可能になる。
図8ないし図13は、この発明の第2の実施の形態を示す。
図8は、この実施の形態のカメラ監視システム100bの原理を模式的に示す図である。この実施の形態のカメラ監視システム100bは、第1の実施の形態であるカメラ監視システム100aの構成に加え、動画処理装置1bに「表示管理実行手段」としてのアップローダ145を備える。
図9は、この実施の形態のカメラ監視システム100bの具体的構成としてのネットワーク構成図および機能ブロック図である。
以下、カメラ監視システム100bの構成の詳細について説明する。
ビデオカメラ2(1),2(2),・・・,2(n)は、第1の実施の形態と同等のものである。
上述のとおり、動画処理装置1bは、第1の実施の形態の動画処理装置1aとほぼ同等のものである。ただし上述のとおり、動画処理装置1bは、機能手段として、アップローダ145とメール送受信部146を備える点、トリガ検出部141aと警報発信部144aの代わり、それぞれトリガ検出部141bと警報発信部144bを備える点が異なる。
フレーム記録部11は、第1の実施の形態と同等のものである。
縮約部12は、第1の実施の形態と同等のものである。
縮約動画記録部13は、第1の実施の形態と同等のものである。
アップローダ145は、任意のファイルを動画処理装置1bからファイルサーバ15にアップロードする通信装置である。具体的には、アップローダ145は、以下(アップロード手順1)〜(アップロード手順3)に例示する手順でアップロードを行う。
(アップロード手順1)
アップローダ145は、任意の縮約動画ファイル22をファイルサーバ15にアップロードする。アップロードに先立ち、インターネット公開に適した形式に縮約動画ファイル22を変換するようにしてもよい。
(アップロード手順2)
アップローダ145は、任意の縮約動画ファイル22のプロフィール情報(たとえば縮約動画ファイル22を作成した縮約プログラム31を特定する情報、縮約プログラム31が使用した縮約ルールを定義する情報、縮約動画ファイル22の素材となった動画21を撮像したビデオカメラ2を特定する情報、動画21の撮像を開始・終了した時刻など)を記録したプロフィールファイルを作成し、ファイルサーバ15にアップロードする。プロフィールファイルは、インターネットブラウザで閲覧可能な形式であってもよい。
(アップロード手順3)
アップローダ145は、縮約動画ファイル22およびプロフィールファイルの一覧を記述したカタログファイルを作成し、ファイルサーバ15にアップロードする。カタログファイルは、インターネットブラウザで閲覧可能な形式であってもよい。
トリガ検出部141bは、第1の実施の形態におけるトリガ検出部141aとほぼ同等のものである。ただしトリガ検出部141aが検出する(トリガ1)〜(トリガ5)に加え、下記(トリガ6)〜(トリガ7)を検出する点が異なる。
(トリガ6)監視者9aが遠隔操作装置4bの操作部41を操作することによって入力したコマンド。
(トリガ7)監視者9aの操作によって遠隔操作装置4bのメール送受信部46から送信され、メール送受信部146によって受信されるコマンドメール。
なおコマンドメールについては後述する。
メール送受信部146は、遠隔操作装置4bのメール送受信部46との間でメール送受信を行う。またメール送受信部146は、動画処理装置1bを構成する個々の機能手段から任意の処理状態に関する情報を取得し、この処理状態を告知するメールを作成して遠隔操作装置4bのメール送受信部46に送信する。さらにメール送受信部146は、遠隔操作装置4bのメール送受信部46から送信されたメールを受信し、受信したメールに基づいて動画処理装置1bの各機能手段に任意の処理を行わせる。なおメール送受信部146が遠隔操作装置4bのメール送受信部46と送受信するメールの種類については後述する。
ディスク管理部142は、第1の実施の形態と同等のものである。
容量監視部143は、第1の実施の形態と同等のものである。
警報発信部144bは、第1の実施の形態における警報発信部144aとほぼ同等のものである。ただし操作装置4aに警報を送信する代わり、遠隔操作装置4bに送信する点が異なる。操作装置4aと遠隔操作装置4bの両方を備えるカメラ監視システム100bでは、両方に警報を送信してもよいし、監視者9aの指定するいずれか一つに送信してもよい。
図11に示すファイルサーバ15は、少なくとも一つのCPUを備え、ファイル送受信機能を有する。上述のとおり、ファイルサーバ15は、機能手段として、配信動画記録部151、送受信管理部152を備える。
プログラム保管装置3aは、第1の実施の形態とほぼ同等のものである。ただし縮約プログラム31の供給を、ネットワーク53を介して行う点が異なる。
図9に示すとおり、遠隔操作装置4bは、動画処理装置1bと物理的に離れた場所に設けられており、監視者9aの操作を受けて動画処理装置1bを操作する。遠隔操作装置4bは、たとえばパーソナルコンピュータや携帯通信端末であり、少なくとも一つのCPUと記録手段とを備え、データやコマンドの送受信機能、データ処理機能、動画表示機能などを備え、記録手段には各種のプログラムやデータが記録されている。
動画処理装置1bのメール送受信部146と、遠隔操作装置4bのメール送受信部46とが送受信するメールとして、たとえば以下(A)・(B)が挙げられる。
動画処理装置1bから、遠隔操作装置4bを使用する監視者9aに対し、動画処理装置1bの状態を知らせるメール。レポートメールは、動画処理装置1bのメール送受信部146が作成・送信し、遠隔操作装置4bのメール送受信部46が受信・解釈する。レポートメールとしては、たとえば以下(A−1)〜(A−3)が挙げられる。
縮約実行部121から、縮約動画ファイル22の作成が完了したことを知らせる信号を受信したメール送受信部146は、メール送受信部46に対し、縮約動画ファイル22のダウンロードを促す通知メールを送信する。これによって監視者9aは、無用に待つことなく縮約動画ファイル22の監視や分析を行うことができる。
容量監視部143から、縮約動画記録部13やファイルサーバ15のディスクフルが近くなったことを知らせる信号を受信したメール送受信部146は、メール送受信部46に対し、空きディスク容量が少なくなったことを知らせる告知メールを送信する。これによって監視者9aは、不要な縮約動画ファイル22の削除などの対応をただちに取ることができる。
動画処理装置1bを構成する各部分から、ハードウェアの故障などのイベントが発生したことを知らせる信号を受信したメール送受信部146は、メール送受信部46に対し、イベントの発生を通知する通知メールを送信する。これによって監視者9aは、遅滞なくハードウェアの故障などに対処することができる。
遠隔操作装置4bを使用する監視者9aから動画処理装置1bに対し、各種のコマンドを伝達し実行させるためのメール。コマンドメールは、遠隔操作装置4bのメール送受信部46が作成・送信し、動画処理装置1bのメール送受信部146が受信・解釈する。コマンドメールとしては、たとえば以下(B−1)〜(B−8)が挙げられる。
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、ビデオカメラ2の一覧を取得するためのコマンドメールや、任意のビデオカメラ2のオン/オフ制御を行うためのコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、ビデオカメラ2の一覧を取得して遠隔操作装置4bに返送したり、指定された任意のビデオカメラ2のオン/オフ制御を行ったりする。
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約プログラム31のダウンロード・削除を要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、プログラム保管装置3aから縮約プログラム31をダウンロードして記憶装置に格納したり、ロードされていない縮約プログラム31を記憶装置から削除したりする。
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約プログラム31のロード・アンロードを要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、記憶装置にダウンロードされている縮約プログラム31をロードしたり、不要となった縮約プログラム31をアンロードしたりする。
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約実行部121の追加・削除を要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、必要となった縮約実行部121を縮約部12に追加したり、不要となった縮約実行部121を削除したりする。追加された縮約実行部121は直ちに動作を開始し、縮約プログラム31の実行を開始させる。
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約実行部121が実行する縮約プログラム31の使用する縮約ルールの変更・取得を要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、指定された縮約実行部121が実行する縮約プログラム31の使用する縮約ルールを変更したり、指定された縮約実行部121が実行する縮約プログラム31の使用する縮約ルールを取得して遠隔操作装置4bに返送したりする。
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、トリガ検出部141bに対するトリガとして機能するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、トリガ検出部141bは縮約部12に対し、縮約動画ファイル22の作成を開始または終了させるタイミングの基準となる時刻を知らせるコマンドを送信する。縮約部12はこのコマンドを受信し、縮約済み動画の作成を開始するタイミングや、終了するタイミングを決定する。
ファイルサーバ15が複数存在する場合、メール送受信部46は、動画処理装置1bのメール送受信部146に対し、アップロード先のファイルサーバ15を指定するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、縮約部12は以後、縮約動画ファイル22を、コマンドメールで指示されたファイルサーバ15にアップロードする。
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約プログラム31を取得するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、記憶装置にダウンロードされている縮約プログラム31を、ファイルとしてメール送受信部46に返送する。
次に図13により、この実施の形態のカメラ監視システム100bの操作手順について説明する。
この実施の形態のカメラ監視システム100bにおける、縮約動画ファイル22を用いた監視および分析の具体的方法は、本質的にはカメラ監視システム100aと同じである。ただしカメラ監視システム100bにおいては、監視者9aが工作機械59から離間した位置にいてもよい。そのためトラブルの発生に対し、すみやかに原因を分析して適切な改良を行う目的において、より大きな効果が期待できる。
以上、この実施の形態においては、第1の実施の形態におけるすべての効果を享受することができる。
図14ないし図16は、この発明の第3の実施の形態を示す。
図14は、この実施の形態のカメラ監視システム100cの原理を模式的に示す図である。この実施の形態のカメラ監視システム100cは、第1の実施の形態であるカメラ監視システム100aの構成における動画処理装置1aに代えて設けられた動画処理装置1cに、「ライブ配信手段」としてのライブ配信部147と、「配信方法切替手段」としてのライブ配信切替部148とを備える。
図15は、この実施の形態のカメラ監視システム100cの具体的構成としてのネットワーク構成図および機能ブロック図である。
以下、カメラ監視システム100cの構成の詳細について説明する。
ビデオカメラ2は、第1の実施の形態と同等のものである。
動画処理装置1cは、第1の実施の形態とほぼ同等のものである。ただし上述のとおり、機能手段として、ライブ配信部147とライブ配信切替部148とを備える点が異なる。
ライブ配信部147は、ビデオカメラ2から出力された動画21を構成するフレームの一部または全部を、ネットワーク53を介してリアルタイムに助言操作装置4cに送信する。助言操作装置4cに送信するフレームは、ビデオカメラ2から直接取得してもよいし、フレーム記録部11に蓄積されているフレームの中から、最新のものを選択してもよい。またコマンドを伝達させる方法として、第2の実施の形態と同様のコマンドメールを使ってもよい。
ライブ配信切替部148は、監視者9aまたは助言者9bの操作によるコマンドを受け、ビデオカメラ2から出力されてライブ配信部147に送信された動画21を、フレーム記録部11のみに入力するか、フレーム記録部11に入力するだけでなく、ネットワーク53を介してビューワ44bに送信するかを切り替えるスイッチである。
操作装置4aは、第1の実施の形態と同等のものである。あるいは第2の実施の形態と同様、遠隔操作装置4bを備えていてもよい。
助言操作装置4cは、第2の実施の形態の遠隔操作装置4bとほぼ同様のものである。ただしライブ配信切替部148から送信されるフレームを、動画または静止画像としてリアルタイムに表示するビューワ44bを備える点が異なる。また操作装置4aや遠隔操作装置4bに助言を送信したり、操作装置4aや遠隔操作装置4bから助言に対する応答を受信したりする機能を備えていてもよい。
次に図16により、この実施の形態のカメラ監視システム100cのセットアップ手順について説明する。このセットアップ手順は多くの場合、図7に記載されているステップS1とステップS2の間で行われる。
以上、この実施の形態においては、ビデオカメラ2の撮像した動画21を構成するフレームの一部または全部がリアルタイムに助言操作装置4cに送信されることにより、助言者9bは個々のビデオカメラ2の位置や撮像条件が適切であるかどうかをリアルタイムに判断することができ、監視者9aに対して適切な支援を提供することができる。また助言者9bの支援が不要である場合には、ライブ配信を解除することによってCPUの負荷やメモリの使用量を減少させ、限られたハードウェア資源を有効に利用することができる。
図17ないし図19は、この発明の第4の実施の形態を示す。
この実施の形態のカメラ監視システム100dの原理は、第1の実施の形態、および第2の実施の形態とほぼ同等である。ただし第4の実施の形態のカメラ監視システム100dにおいて、動画処理装置1dは、第3の実施の形態3の動画処理装置1cと同様のライブ配信部147とライブ配信切替部148とを備えている。またカメラ監視システム100dは、第1の実施の形態の動画処理装置1aに代えて設けられた動画処理装置1dに、ライセンス管理部16を備えている。さらに第1の実施の形態のプログラム保管装置3aの代わりに、プログラム保管装置3bを備えている。なお図18においては図示を省略しているが、動画処理装置1dは、第1の実施の形態の動画処理装置1aと同様の、縮約動画記録部13を備えている。
販売者9cからプログラムに対応するライセンスキーを取得し、これを復号化してライセンス情報を取得する。このライセンス情報では、ハードウェア識別情報が未定義となっている。
コンピュータ50からハードウェアに固有の情報を取得し、(ライセンス手順1)で取得したライセンス情報のハードウェア識別情報に上書きする。
(ライセンス手順2)で作成した新しいライセンス情報を暗号化してライセンスキーを作成し、実行形式ファイルのライセンスフィールドに書き込む。
図18は、この実施の形態のカメラ監視システム100dの具体的構成としてのネットワーク構成図および機能ブロック図である。
図19に示すとおり、ライセンス管理部16は、ライセンスフィールド161、ハードウェア識別情報取得部162、使用許可リスト取得部163、機能制限解除部164を備える。
本体プログラム10の実行形式ファイルから、そのライセンスフィールド161に書き込まれているライセンスキーを読み出し、これを復号化してライセンス情報を取得する。
(機能制限解除手順1)で取得したライセンス情報からハードウェア識別情報を取り出し、これをハードウェア識別情報取得部162が取得した、ハードウェアに固有の情報と照合する。
(機能制限解除手順1)で取得したライセンス情報から使用期限を取り出し、これを現在の日時と比較する。
(機能制限解除手順1)で取得したライセンス情報からライセンス区分(期限付きライセンス、ハードウェア制限ライセンスなどの区別)を取り出し、これを(機能制限解除手順2)の照合結果や(機能制限解除手順3)の比較結果と総合し、本体プログラム10の機能制限を解除するかどうかを決める。本体プログラム10を動作させるのに必要な最小限の機能の制限が解除されなかった場合、ここで本体プログラム10の実行を終了させる。
(機能制限解除手順1)で取得したライセンス情報から使用許可リストパスワードを取り出し、これを使って使用許可リスト取得部163の取得した使用許可リスト32を復号化する。
本体プログラム10がロードしようとしている個々の縮約プログラム31が、復号化された使用許可リスト32に記載されているかどうかを調べる。記載されている場合、その縮約プログラム31の機能制限を解除し、本体プログラム10によるロードが正常に行われるようにする。縮約プログラム31の機能制限を解除する方法としては、縮約プログラム31の実行形式ファイルのコピーを作成し、これに一時的に有効なライセンスキーを書き込んでからロードする方法などが挙げられる。
使用許可リスト32は、短期間の無償試用を許可された縮約プログラム31を記載したリストである。使用許可リスト32は非公開の手段で暗号化されており、ユーザがその内容を知ることはできない。使用許可リスト32を復号化するには、それぞれに対応する使用許可リストパスワードが必要になる。したがって試用ライセンスキーの提供を受けた本体プログラム10のみが、使用許可リスト32の内容を読み出すことができる。
以上、この実施の形態においては、無償での使用を許可していない縮約プログラム31が実装する縮約ルールに基づいて行われる縮約を制限することによって、縮約プログラム31を購入していない監視者9aに対して縮約の使用制限を行い、セキュリティの確保やライセンスの保護を図ることができる。また監視者9aが縮約プログラム31を購入していなくても、販売者9cがプログラム保管装置3bに使用許可リスト32を公開させることにより、縮約ルールの使用制限を解除し、任意の縮約プログラム31に実装された縮約ルールの自由な試用を可能とすることができる。そのためトラブルに直面し、個々の縮約プログラム31の動作や使い方を冷静に習得する余裕を持たない監視者9aが、多くの縮約プログラム31を手当たり次第に試すことができるようになる。
第1の実施の形態、第2の実施の形態、および第3の実施の形態においては、カメラ監視システム100a、カメラ監視システム100b、およびカメラ監視システム100cを、工作機械59を「監視対象」とするシステムとして構成した。しかし「監視対象」はこれに限定されず、工作機械59以外の機械、たとえば印刷機械、梱包機械、検査機械、運搬機械などの自動機械であってもよい。
1a,1b,1c,1d・・・動画処理装置
10・・・本体プログラム(縮約ルール制限手段)
11・・・フレーム記録部(フレーム記録手段)
12・・・縮約部(縮約手段)
13・・・縮約動画記録部(縮約動画記録手段)
141a,141b・・・トリガ検出部(トリガ検出手段)
145・・・アップローダ(表示管理実行手段)
147・・・ライブ配信部(ライブ配信手段)
148・・・ライブ配信切換手段(配信方法切換手段)
16・・・ライセンス管理部(縮約ルール有効化手段)
2,2(1),2(2),・・・,2(n)・・・ビデオカメラ(撮像手段)
21,21(1),21(2),・・・,21(n)・・・動画(動画)
22,22(1),22(2),・・・,22(m)・・・縮約動画ファイル(縮約済み動画)
24(1),24(2),・・・,24(15)・・・フレーム
31・・・縮約プログラム(縮約ルール制限手段)
32・・・使用許可リスト(有効縮約ルール定義手段)
4a・・・操作装置
4b・・・遠隔操作装置
42・・・表示部(表示手段)
43・・・縮約方法変更部(縮約方法変更手段)
44a,44b・・・ビューワ(表示管理実行手段)
59・・・工作機械(監視対象)
9a・・・監視者
Claims (11)
- 監視対象としての自動機械を撮像し該自動機械のトラブルの原因を究明するための動画を記録するための、複数の撮像手段によって撮像された動画に任意の処理を行う動画処理装置であって、
前記撮像手段によって撮像された前記動画の構成要素であるフレームを一時的に記録するフレーム記録手段と、
前記フレーム記録手段に記録された単一または複数の前記フレームの時系列的集合である動画から、あらかじめ設定された縮約ルールに基づいてデータ量を減少させた縮約済み動画を作成する動画縮約処理を行う縮約手段と、
前記縮約手段によって前記縮約が行われた前記動画を、監視者が目視による監視および/または分析に用いるために記録する縮約動画記録手段とを備え、
前記縮約手段は、前記縮約の方法を具体的に定義する縮約ルールとしての、前記動画の時間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の空間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の時間的に余剰な品質を低減させる処理を行う前記縮約ルール、前記動画の空間的に余剰な品質を低減させる処理を行う前記縮約ルール、を有する複数の前記縮約ルールを保持する手段を備え、
複数の前記撮像手段によってそれぞれ撮像された複数の前記動画のうちの少なくとも一つに対し、同時に複数の異なる縮約ルールを使用し、該異なる縮約ルールのそれぞれによる前記縮約を並行して行うことを特徴とする動画処理装置。 - 前記縮約手段が前記縮約ルールに基づいて行う前記縮約は、
前記動画の時間的に余剰な部分を削除する処理としての、前記動画の時間を限定する処理、及び、複数の前記動画のそれぞれ一部の時間帯を抽出してつなぎ合わせる処理、
前記動画の空間的に余剰な部分を削除する処理としての、画面を複数に分割したそれぞれの領域に複数の前記動画を縮小して埋め込む処理、及び、前記動画の画面から一部の領域を抽出する処理、及び、複数の前記動画から選択された前記撮像手段に対応するものを削除する処理、
前記動画の時間的に余剰な品質を低減させる処理としての、前記動画のフレームレートを低減させる処理、及び、前記動画を早送り再生させる処理、
前記動画の空間的に余剰な品質を低減させる処理としての、前記動画の解像度を低減させる処理、及び、前記動画の色分解能を低減させる処理、及び、前記動画に対して不可逆的に符号化方法を変更する処理、
の少なくともいずれか一つを含む処理であることを特徴とする、請求項1に記載の動画処理装置。 - 任意の事象が発生した際に出力されるトリガを検出するトリガ検出手段を備えており、
前記トリガ検出手段によって前記トリガが検出された時、前記縮約手段が前記縮約済み動画の作成を開始するタイミングと、終了するタイミングのうち、少なくともいずれか一つを決定することを特徴とする、請求項1または2に記載の動画処理装置。 - 前記トリガが、前記監視者の操作による任意のコマンドの入力または受信、任意のセンサによる任意の状態の検出、任意のスイッチに対する操作の検出、任意のタイマによる時間経過の検出、前記撮像手段の撮像した任意の動画におけるパターン認識、の少なくともいずれか一つを含むことを特徴とする、請求項3に記載の動画処理装置。
- 前記監視者によって操作され、前記縮約手段が使用する前記縮約ルールの選択および/または変更を行う縮約方法変更手段を備えたことを特徴とする、請求項1ないし4のいずれか一つに記載の動画処理装置。
- 前記縮約手段と、前記縮約方法変更手段とが物理的に離間した位置に設けられたことを特徴とする、請求項5に記載の動画処理装置。
- 前記縮約手段によって前記縮約が行われた前記動画を、前記監視者が目視による監視に用いる表示手段に表示させるための処理を行う表示管理実行手段を備えたことを特徴とする、請求項1ないし6のいずれか一つに記載の動画処理装置。
- 前記撮像手段によって撮像された前記動画の構成要素であるフレームの一部または全部を、前記縮約手段と物理的に離間した位置に設けられた表示手段にリアルタイムに送信するライブ配信手段と、
前記ライブ配信手段の動作を開始/終了させる配信方法切替手段を備えたことを特徴とする、請求項1ないし7のいずれか一つに記載の動画処理装置。 - 前記縮約手段による前記動画縮約処理において、前記縮約ルールのうち少なくとも一部に基づいて行われる前記縮約を制限する縮約ルール制限手段と、
任意の条件が満たされた際に、前記縮約ルール制限手段による前記制限を解除する縮約ルール有効化手段と、
前記縮約ルール有効化手段が前記制限を解除するべき前記縮約ルールの集合を規定する有効縮約ルール定義手段とを備えたことを特徴とする、請求項1ないし8のいずれか一つに記載の動画処理装置。 - 監視対象としての自動機械を撮像し該自動機械のトラブルの原因を究明するための動画を記録するためのカメラ監視システムであって、
複数の撮像手段によって撮像された動画に任意の処理を行う任意の監視対象を撮像するための単一または複数の撮像手段と、
前記撮像手段によって撮像された動画の構成要素であるフレームを一時的に記録するフレーム記録手段と、
前記フレーム記録手段に記録された単一または複数の前記フレームの時系列的集合である動画から、あらかじめ設定された縮約ルールに基づいてデータ量を減少させた縮約済み動画を作成する動画縮約処理を行う縮約手段と、
前記縮約手段によって前記縮約が行われた前記動画を、監視者が目視による監視および/または分析に用いるために記録する縮約動画記録手段とを備え、
前記縮約手段は、前記縮約の方法を具体的に定義する縮約ルールとしての、前記動画の時間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の空間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の時間的に余剰な品質を低減させる処理を行う前記縮約ルール、前記動画の空間的に余剰な品質を低減させる処理を行う前記縮約ルール、を有する複数の前記縮約ルールを保持する手段を備え、
複数の前記撮像手段によってそれぞれ撮像された複数の前記動画のうちの少なくとも一つに対し、同時に複数の異なる縮約ルールを使用し、該異なる縮約ルールのそれぞれによる前記縮約を並行して行うことを特徴とするカメラ監視システム。 - コンピュータを、請求項1ないし9のいずれか一つに記載の動画処理装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245296A JP6116192B2 (ja) | 2012-11-07 | 2012-11-07 | 動画処理装置、カメラ監視システム、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245296A JP6116192B2 (ja) | 2012-11-07 | 2012-11-07 | 動画処理装置、カメラ監視システム、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014096615A JP2014096615A (ja) | 2014-05-22 |
JP6116192B2 true JP6116192B2 (ja) | 2017-04-19 |
Family
ID=50939402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012245296A Active JP6116192B2 (ja) | 2012-11-07 | 2012-11-07 | 動画処理装置、カメラ監視システム、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6116192B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6493737B2 (ja) * | 2015-01-31 | 2019-04-03 | 株式会社ハイパーシステム | 動画像の蓄積方法 |
JP2018087729A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社オーエム機械 | センサレス製箱ライン |
JP7099687B2 (ja) * | 2017-12-13 | 2022-07-12 | 株式会社クリューシステムズ | 映像監視システム及びその方法と処理装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09322154A (ja) * | 1996-05-31 | 1997-12-12 | Sony Corp | 監視ビデオ装置 |
JP3684525B2 (ja) * | 1998-02-19 | 2005-08-17 | 富士通株式会社 | 多画面合成方法及び多画面合成装置 |
JP4287538B2 (ja) * | 1999-04-30 | 2009-07-01 | パナソニック株式会社 | 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム |
JP4416341B2 (ja) * | 2001-02-28 | 2010-02-17 | 株式会社日立製作所 | ディジタル監視システムおよび監視カメラ |
JP3957509B2 (ja) * | 2002-01-17 | 2007-08-15 | 株式会社東芝 | 映像配信サーバ及び映像配信システム |
JP2003274360A (ja) * | 2002-03-14 | 2003-09-26 | Sony Corp | 撮像装置、撮像方法、撮像管理装置、撮像管理システム |
JP4380252B2 (ja) * | 2003-07-22 | 2009-12-09 | ソニー株式会社 | 撮像装置および撮像方法 |
JP2006108869A (ja) * | 2004-10-01 | 2006-04-20 | Sony Corp | 撮像装置、復号化装置 |
JP2006302104A (ja) * | 2005-04-22 | 2006-11-02 | Sumitomo Electric Ind Ltd | 映像記録装置 |
JP2007251540A (ja) * | 2006-03-15 | 2007-09-27 | Matsushita Electric Ind Co Ltd | 画像記録システム及び画像記録方法 |
JP5337970B2 (ja) * | 2008-04-08 | 2013-11-06 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
JP5005607B2 (ja) * | 2008-04-22 | 2012-08-22 | 株式会社タイテック | 監視システム及びイベント記録方法 |
JP2012060501A (ja) * | 2010-09-10 | 2012-03-22 | Mitsubishi Electric Corp | 映像監視装置 |
-
2012
- 2012-11-07 JP JP2012245296A patent/JP6116192B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014096615A (ja) | 2014-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6753902B2 (ja) | ビデオソースデバイスからストリーム配信されるデータの格納管理 | |
JP6161849B1 (ja) | 監視装置および監視方法 | |
JP5854194B2 (ja) | 監視カメラシステム及び監視方法 | |
US20200092520A1 (en) | Computer implemented systems frameworks and methods configured for enabling review of incident data | |
US20190251834A1 (en) | Method and system for configurable security and surveillance systems | |
JP6116192B2 (ja) | 動画処理装置、カメラ監視システム、プログラム | |
JP2014216663A (ja) | 映像データ送信装置及び映像データ管理システム | |
KR101444006B1 (ko) | Ip 카메라의 클라우드 영상 저장 시스템 | |
CN108391147A (zh) | 显示控制装置和显示控制方法 | |
JP4317234B2 (ja) | 画像表示制御装置および画像表示制御方法および画像表示制御プログラム | |
CN104883540A (zh) | 一种基于中标麒麟操作***的视频监控客户端*** | |
US8505104B2 (en) | Apparatus and method for recording and reproducing images | |
KR101842564B1 (ko) | 다중 영상에 대한 집중 영상 감시 방법 및 이를 위한 집중 영상 관리 서버, 집중 영상 감시 시스템, 컴퓨터 프로그램, 그 기록매체 | |
JP4573244B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP6453281B2 (ja) | 監視カメラシステム、情報処理装置、情報処理方法及びプログラム | |
KR101706220B1 (ko) | 영상 저장 장치 및 영상 저장 장치의 오버라이팅 방법 | |
JP6545439B2 (ja) | 操作記録装置、操作記録再生システム、及びプログラム | |
JP7099687B2 (ja) | 映像監視システム及びその方法と処理装置 | |
JP7098367B2 (ja) | プログラムプロダクト及び監視制御システム並びに情報処理装置 | |
KR20180039575A (ko) | 데이터의 관리 | |
JP6357188B2 (ja) | 監視カメラシステム及び監視カメラデータ保存方法 | |
US20170201782A1 (en) | Devices, systems, and methods for retrieving and distributing remote video snapshots | |
US20220286642A1 (en) | Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same | |
JP2005136892A (ja) | 画像記録装置およびその制御方法ならびに撮像システム | |
JP5906806B2 (ja) | 動画処理システム及び端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170321 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6116192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |