JP6116192B2 - 動画処理装置、カメラ監視システム、プログラム - Google Patents

動画処理装置、カメラ監視システム、プログラム Download PDF

Info

Publication number
JP6116192B2
JP6116192B2 JP2012245296A JP2012245296A JP6116192B2 JP 6116192 B2 JP6116192 B2 JP 6116192B2 JP 2012245296 A JP2012245296 A JP 2012245296A JP 2012245296 A JP2012245296 A JP 2012245296A JP 6116192 B2 JP6116192 B2 JP 6116192B2
Authority
JP
Japan
Prior art keywords
moving image
contraction
unit
reduction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012245296A
Other languages
English (en)
Other versions
JP2014096615A (ja
Inventor
高木 太郎
高木  太郎
勝 小宅
勝 小宅
平田 実
実 平田
Original Assignee
株式会社イマジオム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社イマジオム filed Critical 株式会社イマジオム
Priority to JP2012245296A priority Critical patent/JP6116192B2/ja
Publication of JP2014096615A publication Critical patent/JP2014096615A/ja
Application granted granted Critical
Publication of JP6116192B2 publication Critical patent/JP6116192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

この発明は、動画処理装置、カメラ監視システム、プログラムに関し、特に装置や設備を観察、監視するためのカメラ監視システムに用いられる動画処理装置、その動画処理装置を用いたカメラ監視システム、プログラムに関する。
ものづくりの現場では、工作機械・印刷機械・梱包機械・検査機械・運搬機械など、さまざまな自動機械が運用されている。これらの機械に異常や故障などのトラブルが生じると、ライン全体が停止するなど大きな損害が発生する。そこでトラブルの発生に対しては、すみやかに原因を分析して適切な改良を行い、再発を防ぐことが求められる。
トラブルの原因を調べる方法として、従来は多く、監視者による目視が行われていた。これは人間の監視者が、対象となる装置や設備の近くに駐在し、継続的に監視する方法である。しかし数日に一度しか発生しないような偶発的なトラブルに対しては、目視はあまり有効な方法ではない。いつ発生するかわからないトラブルのため、長時間にわたって集中力を維持することは、人間の監視者にとっては大きな負担となるからである。
この問題に対処し、目視に代わる方法として、ビデオカメラなどの撮像手段を応用した監視システムが知られている。たとえば監視対象について、撮像手段による撮影情報を複数種類取り込み、取り込んだ撮影情報を、ネットワークを介して監視局へ送出する撮影情報サーバであって、複数種類の撮影情報に係る監視対象についての状態変化の発生有無をそれぞれ判定する判定部と、判定部にて状態変化の発生有りと判定された監視対象についての撮影情報を、状態変化の発生無しと判定された監視対象についての撮影情報に優先して、監視局へ送出する発明が公知となっている(特許文献1参照)。
特開2005−292879号公報
自動機械のトラブル分析にビデオカメラを応用する場合、データ量が大きな問題となる。撮像手段としての一般的なビデオカメラは、1秒あたり数十Mバイトという膨大な量の動画データを出力するが、データを蓄積する記録手段の容量や、それを取り出すネットワークの伝送速度には物理的な限界がある。そのため上記特許文献1に記載の発明においても、記録手段の容量や、データを伝送するネットワークの帯域幅が不足しがちである。すなわち発明を実現しようとすると、高性能の特殊なハードウェアを使わなければならず、装置やネットワークにかかるコストが高くなりやすいという問題がある。
この問題に対しては、ビデオカメラの出力する動画データに対してデータ量を減少させる処理を行い、よりサイズの小さい動画を新たに作成することが考えられる。このような処理のことを本明細書では「動画縮約処理」、あるいは単に「縮約」と呼ぶ。また縮約を行うための具体的な手法のことを「縮約方法」と呼び、アルゴリズムとして定式的に記述された縮約方法を「縮約ルール」と呼ぶ。さらに縮約によって作成された動画のことを「縮約済み動画」と呼ぶ。
縮約方法としては、さまざまな原理に基づく多くの手法が知られている。そのほとんどは不可逆的な手法、すなわち動画に含まれる情報の欠損を伴う手法である。どのような情報が失われるかは、それぞれの縮約方法によって異なる。そのため動画を縮約して監視や分析に利用する場合、データ量が減少するメリットと、情報が失われるデメリットのバランスを考慮し、目的に合った縮約方法を選ぶ必要がある。
また装置や設備に発生するトラブルの原因を分析するのにビデオカメラを活用する場合、トラブルの分析業務が試行錯誤的で多面的な性質を持つことも考慮しなければならない。すなわち分析の段階や場面により、動画の縮約によって失われてはならない情報の種類が変化する。このことは分析業務の過程において、縮約方法の異なる複数の動画が、臨機応変に必要になることを意味している。
しかし上記特許文献1に記載の発明においては、動画に対して一種の縮約を行っているものの、縮約方法は固定、またはきわめて少数に限定されている。そのため監視や分析の段階や場面に応じてさまざまな動画を用意し、多面的な監視や分析を行うことは難しいという問題がある。
本発明はこのような問題に鑑みてなされたものであって、安価に構成することができ、監視者に多面的な監視や分析を行わせることができる、動画処理装置、カメラ監視システム、プログラムを提供することを課題としている。
かかる課題を解決するため、請求項1に記載の発明は、監視対象としての自動機械を撮像し該自動機械のトラブルの原因を究明するための動画を記録するための複数の撮像手段によって撮像された動画に任意の処理を行う動画処理装置であって、前記撮像手段によって撮像された前記動画の構成要素であるフレームを一時的に記録するフレーム記録手段と、前記フレーム記録手段に記録された単一または複数の前記フレームの時系列的集合である動画から、あらかじめ設定された縮約ルールに基づいてデータ量を減少させた縮約済み動画を作成する動画縮約処理を行う縮約手段と、前記縮約手段によって前記縮約が行われた前記動画を、監視者が目視による監視および/または分析に用いるために記録する縮約動画記録手段とを備え、前記縮約手段は、前記縮約の方法を具体的に定義する縮約ルールとしての、前記動画の時間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の空間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の時間的に余剰な品質を低減させる処理を行う前記縮約ルール、前記動画の空間的に余剰な品質を低減させる処理を行う前記縮約ルール、を有する複数の前記縮約ルールを保持する手段を備え、複数の前記撮像手段によってそれぞれ撮像された複数の前記動画のうちの少なくとも一つに対し、同時に複数の異なる縮約ルールを使用し、該異なる縮約ルールのそれぞれによる前記縮約を並行して行うことを特徴とする。
請求項に記載の発明は、請求項に記載の構成に加え、前記縮約手段が前記縮約ルールに基づいて行う前記縮約前記動画の時間的に余剰な部分を削除する処理としての、前記動画の時間を限定する処理、及び、複数の前記動画のそれぞれ一部の時間帯を抽出してつなぎ合わせる処理、前記動画の空間的に余剰な部分を削除する処理としての、画面を複数に分割したそれぞれの領域に複数の前記動画を縮小して埋め込む処理、及び、前記動画の画面から一部の領域を抽出する処理、及び、複数の前記動画から選択された前記撮像手段に対応するものを削除する処理、前記動画の時間的に余剰な品質を低減させる処理としての、前記動画のフレームレートを低減させる処理、及び、前記動画を早送り再生させる処理、前記動画の空間的に余剰な品質を低減させる処理としての、前記動画の解像度を低減させる処理、及び、前記動画の色分解能を低減させる処理、及び、前記動画に対して不可逆的に符号化方法を変更する処理、の少なくともいずれか一つを含む処理であることを特徴とする。
請求項に記載の発明は、請求項1または2に記載の構成に加え、任意の事象が発生した際に出力されるトリガを検出するトリガ検出手段を備えており、前記トリガ検出手段によって前記トリガが検出された時、前記縮約手段が前記縮約済み動画の作成を開始するタイミングと、終了するタイミングのうち、少なくともいずれか一つを決定することを特徴とする。
請求項に記載の発明は、請求項に記載の構成に加え、前記トリガが、前記監視者の操作による任意のコマンドの入力または受信、任意のセンサによる任意の状態の検出、任意のスイッチに対する操作の検出、任意のタイマによる時間経過の検出、前記撮像手段の撮像した任意の動画におけるパターン認識、の少なくともいずれか一つを含むことを特徴とする。
請求項に記載の発明は、請求項1ないしのいずれか一つに記載の構成に加え、前記監視者によって操作され、前記縮約手段が使用する前記縮約ルールの選択および/または変更を行う縮約方法変更手段を備えたことを特徴とする。
請求項に記載の発明は、請求項に記載の構成に加え、前記縮約手段と、前記縮約方法変更手段とが物理的に離間した位置に設けられたことを特徴とする。
請求項に記載の発明は、請求項1ないしのいずれか一つに記載の構成に加え、前記縮約手段によって前記縮約が行われた前記動画を、前記監視者が目視による監視に用いる表示手段に表示させるための処理を行う表示管理実行手段を備えたことを特徴とする。
請求項8に記載の発明は、請求項1ないし7のいずれか一つに記載の構成に加え、前記撮像手段によって撮像された前記動画の構成要素であるフレームの一部または全部を、前記縮約手段と物理的に離間した位置に設けられた表示手段にリアルタイムに送信するライブ配信手段と、前記ライブ配信手段の動作を開始/終了させる配信方法切替手段を備えたことを特徴とする。
請求項9に記載の発明は、請求項1ないしのいずれか一つに記載の構成に加え、前記縮約手段による前記動画縮約処理において、前記縮約ルールのうち少なくとも一部に基づいて行われる前記縮約を制限する縮約ルール制限手段と、任意の条件が満たされた際に、前記縮約ルール制限手段による前記制限を解除する縮約ルール有効化手段と、前記縮約ルール有効化手段が前記制限を解除するべき前記縮約ルールの集合を規定する有効縮約ルール定義手段とを備えたことを特徴とする。
請求項10に記載の発明は、監視対象としての自動機械を撮像し該自動機械のトラブルの原因を究明するための動画を記録するためのカメラ監視システムであって、複数の撮像手段によって撮像された動画に任意の処理を行う任意の監視対象を撮像するための単一または複数の撮像手段と、前記撮像手段によって撮像された動画の構成要素であるフレームを一時的に記録するフレーム記録手段と、前記フレーム記録手段に記録された単一または複数の前記フレームの時系列的集合である動画から、あらかじめ設定された縮約ルールに基づいてデータ量を減少させた縮約済み動画を作成する動画縮約処理を行う縮約手段と、前記縮約手段によって前記縮約が行われた前記動画を、監視者が目視による監視および/または分析に用いるために記録する縮約動画記録手段とを備え、前記縮約手段は、前記縮約の方法を具体的に定義する縮約ルールとしての、前記動画の時間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の空間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の時間的に余剰な品質を低減させる処理を行う前記縮約ルール、前記動画の空間的に余剰な品質を低減させる処理を行う前記縮約ルール、を有する複数の前記縮約ルールを保持する手段を備え、複数の前記撮像手段によってそれぞれ撮像された複数の前記動画のうちの少なくとも一つに対し、同時に複数の異なる縮約ルールを使用し、該異なる縮約ルールのそれぞれによる前記縮約を並行して行うことを特徴とする。
請求項11に記載の発明は、プログラムであって、コンピュータを、請求項1ないしのいずれか一つに記載の動画処理装置として機能させることを特徴とする。
請求項1、請求項10に記載の発明によれば、撮像手段が撮像した動画の少なくとも一部について縮約を行うことにより、ネットワークによって伝送されるデータ量や、縮約動画記録手段に記録されるデータ量を減少させることができ、少ないハードウェア資源を使用しても、データの伝送や記録を容易に行うことができる。また縮約は、撮像手段が撮像したすべての動画を一時的に記録するフレーム記録手段に記録された動画に対して行われるので、縮約を開始する時点以前に撮像された動画から縮約済み動画を作成することもでき、監視者はこれを利用して監視対象の多面的な監視や分析を行うことが可能になる。
また請求項1、請求項10に記載の発明によれば、縮約手段は、縮約ルールを複数保持し、その中から選択された縮約ルールを使用して縮約を行う。そのため分析の段階や場面に応じた方法で縮約済み動画を作成することができ、監視対象の性質や撮像状況に合わせて、必要な情報を失うことなくデータ量を大きく削減することが可能になる。
さらに請求項1、請求項10に記載の発明によれば、縮約手段によって縮約が行われた動画を、監視者が目視による監視および分析に用いるために記録する縮約動画記録手段を備えたことにより、縮約された大量の動画を記録・蓄積することができる。そのため監視者は、過去に蓄積された動画も利用しながら、多面的な監視や分析を行うことが可能になる。
また請求項1、請求項10に記載の発明によれば、フレーム記録手段には未縮約の動画を記録し、縮約動画記録手段には縮約された動画を記録することにより、データの種類や目的に応じて、読み書きが高速な記録手段と、安価で大容量の記録手段とを使い分けることができる。そのため蓄積される膨大な動画データに対するハードウェア資源の割り当ての最適化を図ることができる。また汎用のハードウェアを活用することができ、小型・軽量のメリットを併せて得ることが可能になる。
すなわち請求項1、請求項10に記載の発明によれば、安価かつ小型・軽量に構成することができ、監視者が分析の段階や場面に応じて多面的な監視や分析を行うことのできる動画処理装置、カメラ監視システムが提供できる。
請求項1、請求項10に記載の発明によれば、単一または複数の動画ごとに、それぞれ異なる縮約ルールを使用して縮約を行うことができる。そのため監視者は、一つの対象物に対して複数種類の動画を利用し、多面的な監視や分析を行うことが可能になる。
請求項に記載の発明によれば、多様な縮約ルールの中から少なくとも一つを選ぶことができ、監視対象の性質や撮像状況、分析の段階や場面に、最も適合した方法で動画を縮約することが可能になる。
請求項に記載の発明によれば、トリガ手段がトリガを検出した時の動画のみを縮約手段が取り出すことができる。そのため対象物の監視および分析の必要性が高いタイミングでトリガが発生する構成としておけば、監視および分析に必要な縮約済み動画を確実に取得し、かつ不要な動画を排除することができきる。
請求項に記載の発明によれば、監視対象の監視および分析の必要性が高い多様なタイミングでトリガが発生する構成としておくことにより、監視および分析に必要な縮約済み動画の集合を確実に取得することができる。
請求項に記載の発明によれば、縮約方法の変更を行う縮約方法変更手段を備えたことにより、監視者は、縮約ルールを適宜選択したり追加したりしながら縮約済み動画を次々に作成し、充分な情報に基づく多面的な監視や分析を臨機応変に行うことが可能になる。また不要な縮約ルールを削除し、コンピュータ資源の過大な消費や、本来の目的に対して過大な初期投資、不適切な縮約ルールを選択する操作ミスを抑止することが可能になる。これにより、コンピュータ資源を過大に消費することのない装置を安価に構成することができ、監視者はより多面的な監視や分析を確実・容易に行うことができる。
請求項に記載の発明によれば、縮約手段と、縮約方法変更手段とが物理的に離間した位置に設けられたことにより、監視対象から離間した場所にいる監視者が、縮約を開始・終了させたり、縮約ルールの選択・追加・削除を行ったりすることができる。これによって監視者は、離間した場所にある監視対象の監視や分析を行うことができる。
請求項に記載の発明によれば、縮約された動画を監視者に目視させることが可能になり、監視者は監視対象の多面的な監視や分析を確実に行うことができる。
請求項に記載の発明によれば、撮像手段の撮像した動画を構成するフレームの一部または全部がリアルタイムに助言者の使用する表示手段に送信されることにより、助言者は個々の撮像手段の位置や撮像条件が適切であるかどうかをリアルタイムに判断することができ、監視者に対して適切な支援を提供することができる。また助言者の支援が不要である場合には、ライブ配信を解除することによってCPUの負荷やメモリの使用量を減少させ、限られたハードウェア資源を有効に利用することができる。
請求項に記載の発明によれば、縮約ルールのうち少なくとも一部に基づいて行われる縮約を制限することによって、任意の条件や任意の使用者に対して縮約の使用制限を行い、セキュリティの確保やライセンスの保護を図ることができる。また、任意の条件が満たされた時に、縮約ルールの使用制限を解除することにより、任意の縮約ルールの自由な試用が可能になる。そのためトラブルに直面し、個々の縮約ルールを冷静に習得する余裕を持たない監視者が、多くの縮約ルールを手当たり次第に試すことができるようになる。
請求項11に記載の発明によれば、本発明に係る動画処理装置をソフトウェア化し、多様なハードウェア上で本発明を実現することができる。
第1の実施の形態のカメラ監視システムの原理を模式的に示す図である。 同上カメラ監視システムの具体的構成としての機能ブロック図である。 同上カメラ監視システムの動画処理装置の機能ブロック図である。 同上カメラ監視システムの縮約部の機能ブロック図である。 同上カメラ監視システムの操作装置の機能ブロック図である。 同上カメラ監視システムの縮約部における縮約を模式的に示す図である。 同上カメラ監視システムの操作手順を示すフローチャートである。 第2の実施の形態のカメラ監視システムの原理を模式的に示す図である。 同上カメラ監視システムの具体的構成としてのネットワーク構成図および機能ブロック図である。 同上カメラ監視システムの動画処理装置の機能ブロック図である。 同上カメラ監視システムのファイルサーバの機能ブロック図である。 同上カメラ監視システムの遠隔操作装置の機能ブロック図である。 同上カメラ監視システムの操作手順を示すフローチャートである。 第3の実施の形態のカメラ監視システムの原理を模式的に示す図である。 同上カメラ監視システムの具体的構成としてのネットワーク構成図および機能ブロック図である。 同上カメラ監視システムのセットアップ手順を示すフローチャートである。 第4の実施の形態のカメラ監視システムを構成するプログラムのライセンス管理方法を示す図である。 同上カメラ監視システムの具体的構成としてのネットワーク構成図および機能ブロック図である。 同上カメラ監視システムのライセンス管理部の機能ブロック図である。
<第1の実施の形態>
図1ないし図7は、この発明の第1の実施の形態を示す。
<第1の実施の形態の原理>
図1は、この実施の形態のカメラ監視システム100aの原理を模式的に示す図である。この実施の形態のカメラ監視システム100aは、「監視対象」としての工作機械59を撮像するn台(n≧1)の「撮像手段」としてのビデオカメラ2(1),2(2),・・・,2(n)、動画処理装置1a、「表示管理実行手段」としてのビューワ44a、「縮約方法変更手段」としての縮約方法変更部43を備える。ここで動画処理装置1aは、「フレーム記録手段」としてのフレーム記録部11、m個(m≧1)の縮約実行部121(1),121(2),・・・,121(m)を備えた「縮約手段」としての縮約部12、「縮約動画記録手段」としての縮約動画記録部13を備える。
ビデオカメラ2(1),2(2),・・・,2(n)は動画処理装置1aにケーブルを介して接続される動画撮像手段であり、それぞれ工作機械59の全体、または特定の部位を撮像する。
フレーム記録部11は、読み書きを高速に行うことのできる記憶媒体を有し、ビデオカメラ2(1),2(2),・・・,2(n)が撮像した動画の構成要素であるすべてのフレームを一時的に記録する。この動画は、フレームの時系列的集合であり、フレームが連続的に再生されることで構成される。
縮約部12は、縮約実行部121(1),121(2),・・・,121(m)のそれぞれに動画の縮約を行わせることによって縮約済み動画を作成する。縮約動画記録部13は、大容量の記憶媒体を有し、縮約実行部121(1),121(2),・・・,121(m)によって作成された縮約済み動画を記録・蓄積する。
ビューワ44aは、縮約動画記録部13に蓄積された縮約済み動画を、監視者9aが使用する操作装置(図1に図示せず)に転送し、その表示部(図1に図示せず)に表示させる。
縮約方法変更部43は、監視者9aによる操作装置(図1に図示せず)の操作を受け、縮約実行部121(1),121(2),・・・,121(m)の追加・削除、縮約実行部121(1),121(2),・・・,121(m)が使用する縮約ルールの選択・変更などの操作を行う。
このカメラ監視システム100aの原理に基づいて構成した、具体的構成の一例を以下に説明する。
<第1の実施の形態の基本構成>
図2は、この実施の形態のカメラ監視システム100aの具体的構成としての機能ブロック図である。
図2に示すとおり、この実施の形態のカメラ監視システム100aは、動画処理装置1a、n台(n≧1)のビデオカメラ2(1),2(2),・・・,2(n)、プログラム保管装置3a、操作装置4aを備えている。
動画処理装置1a、ビデオカメラ2(1),2(2),・・・,2(n)、プログラム保管装置3a、操作装置4aは、「監視対象」としての工作機械59が設置された製造工場51内に設けられている。カメラ監視システム100aは、製造工場51において監視者9aが操作する。
動画処理装置1aとそれぞれのビデオカメラ2(1),2(2),・・・,2(n)とは、USBケーブルや高速のLANなどによって接続されている。また動画処理装置1aとプログラム保管装置3aと操作装置4aとは、LAN、イントラネットなどのネットワーク(図2に図示せず)によって接続されている。
図3に示すとおり、動画処理装置1aは、機能手段として、「フレーム記録手段」としてのフレーム記録部11、「縮約手段」としての縮約部12、「縮約動画記録手段」としての縮約動画記録部13、「トリガ検出手段」としてのトリガ検出部141a、ディスク管理部142、容量監視部143、警報発信部144aを備える。
図4に示すとおり、縮約部12は、機能手段として、m個(m≧1)の縮約実行部121(1),121(2),・・・,121(m)、リンク部122、優先度設定部123、速度管理部124を有する。
図5に示すとおり、操作装置4aは、機能手段として、操作部41、「表示手段」としての表示部42、縮約方法変更部43、「表示管理実行手段」としてのビューワ44aを備える。
<第1の実施の形態の構成詳細>
以下、カメラ監視システム100aの構成の詳細について説明する。
<ビデオカメラ>
ビデオカメラ2(1),2(2),・・・,2(n)は、動画撮像用のカメラであり、たとえば1秒間に30コマ程度のフレーム(静止画像)から構成される動画を撮像する。ビデオカメラ2(1),2(2),・・・,2(n)は、工作機械59の近傍に設置されて、工作機械59の単一または複数の箇所の動作状況を撮像し、動画データとして動画処理装置1aに入力する。なおビデオカメラ2(1),2(2),・・・,2(n)はいずれも同じ構成を有するので、以下説明を簡単にするため、特に区別の必要がある場合を除いてビデオカメラ2と表記する。
<動画処理装置>
この実施の形態においては、動画処理装置1aは単一のコンピュータ装置として構成する。
図3に示す動画処理装置1aは、たとえば64ビットのパーソナルコンピュータであり、少なくとも一つのCPUと、RAM、ROM、EPROM、ハードディスクなどの記録手段を備え、記録手段には各種のプログラムやデータが記録されている。動画処理装置1aは、ビデオカメラ2のドライバ機能と、動画処理装置1a全体の制御機能とを有する。ただし動画処理装置1aは、64ビット以外のパーソナルコンピュータであってもよいし、サーバコンピュータやワンボードマイコン、携帯通信端末などによって構成されてもよい。また動画処理装置1aは、1台のコンピュータや端末によって構成されてもよいし、複数台のコンピュータをネットワーク接続したシステムによって構成されてもよい。
上述のとおり、動画処理装置1aは、機能手段として、フレーム記録部11、縮約部12、縮約動画記録部13、トリガ検出部141a、ディスク管理部142、容量監視部143、警報発信部144aを備える。
<フレーム記録部>
フレーム記録部11は、複数のカメラから出力される大量のデータの書き込みに耐えるだけの、高速なスループットを有する揮発性または不揮発性の記憶媒体を備えた記憶装置である。フレーム記録部11は、たとえばCPUが直接アクセスすることのできるRAMの領域であるメインメモリ、RAMの一部をディスクドライブとして使用するRAMディスク、フラッシュメモリをディスクドライブとして使用するSSD(Solid State Drive。半導体ディスク)などによって実現される。
フレーム記録部11は、ビデオカメラ2が撮像した動画を構成するすべてのフレームを静止画像として一時的に記録する。フレーム記録部11は、たとえば数百メガバイト〜数百ギガバイトの容量を持ち、数秒〜数十分の動画に含まれるフレームを記録することができる。フレーム記録部11は、容量いっぱい近くまでフレームが記録されたら、記録しているフレームのうち古いフレームから順に破棄していく。
フレーム記録部11は、記録しているすべてのフレームを縮約部12に公開する。すなわち縮約部12は、動画を撮像したビデオカメラ2と、動画内におけるフレームの通し番号、またはフレームの撮像された時刻を指定することによって任意のフレームを特定し、その内容を既知の形式の静止画像として読み出すことができる。
<縮約部>
縮約部12は、それぞれのビデオカメラ2によって撮像された動画の少なくとも一部に対して縮約を行い、得られた縮約済み動画をファイルとして縮約動画記録部13に記録させる。
具体的には、縮約部12は、さまざまな動画縮約処理を実装した縮約プログラム31を任意の数だけ保持し、その一部または全部を同時に実行させる機能を有する。そして縮約部12は、それぞれの縮約プログラム31を起動させることにより、フレーム記録部11が記録・公開しているフレームによって構成される動画に対して任意の縮約を行わせ、縮約済み動画を作成させる。
<縮約部の詳細構成>
図4に示すとおり、縮約部12は、機能手段として、m個(m≧1)の縮約実行部121(1),121(2),・・・,121(m)、リンク部122、優先度設定部123、速度管理部124を備える。
縮約実行部121(1),121(2),・・・,121(m)は、それぞれ縮約部12の指令によって個別に動画を縮約する機能を有する。すなわち図4に示すように、縮約実行部121(1),121(2),・・・,121(m)は、複数のビデオカメラ2が撮像した動画21(1),21(2),・・・,21(n)に対して動画縮約処理を行い、縮約動画ファイル22(1),22(2),・・・,22(m)を作成する。
縮約実行部121(1),121(2),・・・,121(m)の行う動画縮約処理は、縮約ルールを実装したプログラムであるk個(k≧1)の縮約プログラム31(1),31(2),・・・,31(k)のうちの一つを実行することによって実現される。縮約プログラム31(1),31(2),・・・,31(k)はあらかじめ動画処理装置1aに記録された、またはプログラム保管装置3aから取得されたサブプログラムであって、動画処理装置1aに実装された本体プログラム(図4に図示せず)にロードされることによって作動し、動画縮約処理を実行する。
なお縮約実行部121(1),121(2),・・・,121(m)、動画21(1),21(2),・・・,21(n)、縮約動画ファイル22(1),22(2),・・・,22(m)、縮約プログラム31(1),31(2),・・・,31(k)は基本的に同じ構成を有するので、以下説明を簡単にするため、特に区別の必要がある場合を除き、それぞれ縮約実行部121、動画21、縮約動画ファイル22、縮約プログラム31と表記する。
リンク部122は、あらかじめ動画処理装置1aに記録された、またはプログラム保管装置3aから動画処理装置1aに取得した縮約プログラム31のうち、単一または複数のものを動画処理装置1aにロードさせ、縮約実行部121の機能を実現させる。リンク部122は、動画21の縮約を行っている縮約実行部121の実行を停止させることなく、縮約プログラム31をプログラム保管装置3aから取得したり、動画処理装置1aに縮約プログラム31をロードさせたりすることができる。
優先度設定部123は、個々の縮約実行部121にロードされた縮約プログラム31に対して実行の優先度を設定するとともに、縮約動画記録部13の空きディスク容量が、設定された任意の値よりも少なくなった時、優先度の低い縮約プログラム31を自動的に停止させる機能を有する。
速度管理部124は、個々の縮約プログラム31が縮約動画記録部13に縮約動画ファイル22を書き込む際のデータ記録速度を記録する。また過去のデータ記録速度の履歴をもとに、縮約実行部121全体としてのデータ記録速度を算出し、縮約動画記録部13を構成するハードディスクなどがディスクフル(ディスクの容量いっぱいにデータが記録され、空きディスク容量が0バイトになること。本明細書において同じ)になるまでの時間を予想して、それを操作装置4aの表示部42に表示させる。
<縮約動画記録部>
図3に示す縮約動画記録部13は、数百ギガバイト〜数テラバイトの容量を持つ不揮発性の記憶媒体を備えた記憶装置であり、縮約部12の作成した縮約動画ファイル22を記録・蓄積する。縮約動画記録部13は、大容量のハードディスクやSSD、あるいはそれらを複数組み合わせたディスクアレイ(RAID)によって実現される。
また縮約動画記録部13は、上記の構成に加え、メインメモリ、RAMディスクなどによって実装された高速なキャッシュ記憶部を備えてもよい。縮約実行部121の作成する縮約動画ファイル22を一時的にキャッシュ記憶装置に蓄積し、その後順次ハードディスクやSSD、RAIDに移動させるようにすれば、多数の縮約実行部121を同時に実行させる場合であっても、縮約動画ファイル22を記録するのに充分な書き込み速度を実現することができる。
<トリガ検出部>
トリガ検出部141aは、任意の事象が発生した際に出力されるトリガを検出する入力装置である。トリガ検出部141aが検出するトリガとして、たとえば下記(トリガ1)〜(トリガ5)が挙げられる。
(トリガ1)監視者9aが操作装置4aの操作部41を操作することによって入力したコマンド。
(トリガ2)任意のセンサから出力された任意の検出信号。たとえば工作機械59の近傍に設置されたマイクロホン(図示せず)が出力する音声信号など。この信号により、工作機械59の故障によって発せられる異音を検出することができる。
(トリガ3)任意のスイッチ、リレーなどがオン状態またはオフ状態に移行することによって出力される信号。たとえば工作機械59の作業台(図示せず)上の、製造物(図示せず)が載置されるべき位置ではない箇所に設けられたリミットスイッチ(図示せず)が出力する信号など。この信号により、製造物の異常な載置状態を検出することができる。
(トリガ4)任意のタイマによる任意の時間経過の検出信号。たとえばタイマが1時間ごとに発するアラーム信号など。
(トリガ5)動画21における任意のパターン認識の結果として発せられる信号。たとえば工作機械59に設置された異常告知ランプ(図示せず)の写っている動画21から、異常告知ランプが点灯しているかどうかを画像認識によって検出するなど。
トリガ検出部141aは、これらのトリガに基づいて、縮約部12に対し、縮約動画ファイル22の作成を開始または終了させるタイミングの基準となる時刻を知らせるコマンドを送信する。ここで「縮約動画ファイル22の作成」とは、縮約部12が縮約動画ファイル22にフレームを追加していく処理のことである。縮約部12はこのコマンドを受信し、縮約済み動画の作成を開始するタイミングや、終了するタイミングを決定する。これについては後述する。
<ディスク管理部>
ディスク管理部142は、縮約動画記録部13の各種状態を監視し、必要に応じてデータの退避・復旧を行う。たとえばディスク管理部142は、縮約動画記録部13に記録されている縮約動画ファイル22を大容量のNAS(Network Attached Storage。ネットワーク接続型ファイル保存装置)やクラウド型ストレージにバックアップしたり、古い縮約動画ファイル22や、破損したと考えられる縮約動画ファイル22を削除して、縮約動画記録部13の空きディスク容量を確保したりする。
<容量監視部>
容量監視部143は、縮約動画ファイル22を記録する縮約動画記録部13の空きディスク容量を継続的に監視し、ディスクフルが近づいた状態を検出する。
<警報発信部>
警報発信部144aは、容量監視部143の監視の結果、縮約動画記録部13のディスクフルが近づいたと判断された時、操作装置4aに警報を送信する。警報としては、たとえば操作装置4aの表示部42に文字を表示させる警報や、操作装置4aに音声を発生させる警報が挙げられる。
<プログラム保管装置>
図2に示すプログラム保管装置3aは、プログラムをファイルとして保持する一種のサーバであり、単一または複数の縮約プログラム31を記録している。プログラム保管装置3aは、動画処理装置1aからの要求を受け、選択された縮約プログラム31を動画処理装置1aに供給する。
<操作装置>
図2に示すとおり、操作装置4aは、動画処理装置1aに付属して設けられた入出力装置であり、監視者9aの操作を受けて動画処理装置1aを操作する。操作装置4aはタッチパネルなどの入出力装置、およびそれらを制御するGUI(Graphic User Interface)として実現される。
図5に示すとおり、操作装置4aは、機能手段として、操作部41、表示部42、「縮約方法変更手段」としての縮約方法変更部43、「表示管理実行手段」としてのビューワ44aを備える。
操作部41は、キーボードやマウス、タッチパネル、表示部42上に表示された各種ボタンなどであり、監視者9aによる入力操作を受け付ける。表示部42は、液晶パネルなどであり、文字情報や、動画処理装置1aから送信された縮約動画ファイル22に基づく動画を監視者9aに表示させる。
縮約方法変更部43は、操作部41に入力された監視者9aのコマンドに基づき、またはあらかじめ決められたシーケンスに基づいて自動的に、動画処理装置1aに縮約方法を変更させるコマンドを送信する。具体的には、縮約方法変更部43は、以下(コマンド1)〜(コマンド4)に例示するコマンドを送信する。
(コマンド1)プログラム保管装置3aの保持している縮約プログラム31のうち、選択したものを動画処理装置1aに取得させ、動画処理装置1aが有する記憶装置に格納させるコマンド。あるいは動画処理装置1aに、ロードされていない縮約プログラム31を記憶装置から削除させるコマンド。
(コマンド2)動画処理装置1aの縮約部12を構成するリンク部122に、コマンド1によって取得され、記憶装置に格納された縮約プログラム31を動画処理装置1aにロードさせるコマンド。あるいはリンク部122に、不要となった縮約プログラム31をアンロードさせるコマンド。
(コマンド3)動画処理装置1aの縮約部12に、必要となった縮約実行部121を追加させるコマンド。あるいは縮約部12に、不要となった縮約実行部121を削除させるコマンド。
(コマンド4)動画処理装置1aの縮約部12を構成する縮約実行部121に、縮約実行部121が実行する縮約プログラム31の使用する縮約ルールを変更させるコマンド。あるいは縮約実行部121に、縮約プログラム31の使用する縮約ルールを取得させるコマンド。
ビューワ44aは、縮約動画記録部13から操作装置4aに転送された縮約動画ファイル22を、動画として表示部42に表示させる。
<縮約の概要>
ここで、縮約部12による縮約の処理の概要を説明する。
図6は、縮約部12による縮約を模式的に示した図である。図6において、フレーム記録部11の内部に示されたそれぞれのマス目は、ビデオカメラ2(図6ではビデオカメラ2(1),・・・,2(6))が撮像した個々のフレームを示す。マス目の横の並びは同一のビデオカメラ2で撮像されたフレームを示し、縦の並びは同一時刻にフレーム記録部11に記録されたフレームを示す。マス目の配置は、左側から右側に向けて時間の流れを示す。つまりこの図は、フレーム24(1)よりフレーム24(2)の方が早く、フレーム24(2)よりフレーム24(15)が早くフレーム記録部11に記録されたことを示す。またこの図は、記録から一定時間が経過したフレームがフレーム記録部11から破棄されることも示しており、そのためフレーム24(16)以降は記載されていない。マス目に記載された模様は縮約の種類を示す。つまり同一模様のマス目は、同一の縮約ルールによって縮約が行われたことを示す。
図6に示すとおり、それぞれのビデオカメラ2(1),・・・,2(6))が撮像した未縮約の動画21(1),・・・,21(6)を構成するフレームは、すべてフレーム記録部11に記録される。縮約部12は複数、たとえば四つの縮約実行部121(1),121(2),121(3),121(4)のそれぞれに、異なる縮約プログラム31(縮約プログラム31(1)〜31(4))を同時に実行させ、動画21(6),21(2),21(4),21(5)に対する縮約を行わせる。この図に例示されている縮約実行部121(1),121(2),121(3),121(4)は、それぞれ後述する(縮約ルール3)・(縮約ルール4)・(縮約ルール7)・(縮約ルール6)を使用して動画を縮約する。これによって縮約済み動画としての縮約動画ファイル22(1),22(2),22(3),22(4)が作成され、それぞれ縮約動画記録部13に記録される。なおこの例では、個々の縮約実行部121がそれぞれ一つずつ縮約動画ファイル22を作成しているが、一つの縮約実行部121が複数の縮約動画ファイル22を作成する場合もある。
これからわかるように、縮約プログラム31による縮約は、フレーム記録部11が記録・公開しているフレームの中から適当なものを選び出し、選び出された静止画像としてのフレームに対して適当な変換を行い、変換されたフレームを再び時系列的に連結して動画に戻し、でき上がった動画をファイルに保存することによって行われる。フレーム記録部11を備える動画処理装置1aは、縮約プログラム31を動作させるプラットホームとして非常に自由度が高く、これによってさまざまな縮約プログラム31の実現が可能となっている。たとえばフレーム記録部11が過去のフレームを記録していることから、縮約プログラム31は最新のフレームだけでなく、過去のフレームを利用した縮約動画ファイル22を作成することもできる。またn台のビデオカメラ2とm個の縮約実行部121を一対一対応させる必要はなく、任意に対応させることが可能である。そのため複数のビデオカメラ2に一つの縮約実行部121を対応させたり、一つのビデオカメラ2に複数の縮約実行部121を対応させたりすることも自由にできる。
縮約プログラム31は、フレーム記録部11の公開しているフレームの中から適当なものを選び出す際、フレームの撮像された時刻を指定することができる。また撮像された時刻が現在時刻より後であるようなフレームが必要な場合、そのフレームが撮像され、フレーム記録部11に記録されるまで待つこともできる。このような動作を組み合わせると、複雑な縮約ルールを使用する動画縮約処理を実装することが可能である。たとえばトリガの入力された前後20秒の動画だけを取り出すことができる。この場合、縮約動画ファイル22の前半の10秒間は、トリガが入力された時点ですでにフレーム記録部11に記録されていた300枚のフレームを一度に連結することによって作成する。また後半の10秒間は、1/30秒ごとにビデオカメラ2がフレーム記録部11に記録するフレームを待ち、新たに記録されるフレームを一つずつ縮約動画ファイル22に連結していくことによって作成する。
一部の縮約ルールにおいては、縮約プログラム31の動作期間と、縮約動画ファイル22の作成期間(縮約動画ファイル22にフレームが追加される期間)が一致しない。場合によっては、縮約プログラム31を動作させたのに、縮約動画ファイル22が一つも作成されないこともある。たとえばトリガの入力された前後20秒の動画だけを取り出す場合、トリガが一度も発生しなければ、縮約動画ファイル22は作成されない。したがって縮約プログラム31の動作と、縮約動画ファイル22の作成は、明確に区別する必要がある。本明細書では「縮約」という語句を、「縮約プログラム31の動作」の意味で使用している。
縮約部12は、縮約実行部121の実行を停止させることなく、他の縮約実行部121の追加・削除を行うことができる。たとえば縮約部12は、121(2),121(3),121(4)が動画21を縮約している最中に縮約実行部121(1)を削除し、代わりに縮約プログラム31(5)を実行する新しい縮約実行部121(図示せず)を追加して、動画21(6)に対する縮約方法を変更することができる。
<縮約ルールの具体的内容>
縮約方法変更部43は、監視者9aの操作によって操作部41に入力されたコマンドに基づき、またはあらかじめ決められたシーケンスに基づいて自動的に、縮約実行部121の使用する縮約ルールを変更することができる。たとえば以下に示す(縮約ルール1)〜(縮約ルール10)のうち、少なくともいずれか一つの縮約ルールを選択して変更することができる。縮約部12は、選択された縮約ルールを実装した縮約プログラム31を縮約実行部121にロードさせ、実行させることによって動画21の縮約を行う。
(縮約ルール1)動画21の解像度を低減させる処理
縮約部12は、動画21の解像度を低減させた縮約動画ファイル22を作成する処理を行う。たとえば640×480ピクセルの動画を320×240ピクセルに粗くすることにより、データサイズが約1/4になると期待される。
(縮約ルール2)動画21のフレームレートを低減させる処理
縮約部12は、動画21を構成するフレームのうちの一部を定期的に除去し、スローモーション再生させるようにした縮約動画ファイル22を作成する処理を行う。これは(縮約ルール7)に似ているが、再生速度をフレームレートに比例させることにより、見かけ上の速さが変化しない点が異なる。たとえばフレームを3枚ごとに間引くことにより、データサイズが約1/3になると期待される。
(縮約ルール3)動画21の時間を限定する処理
縮約部12は、動画21の一部を時間的に除去した縮約動画ファイル22を作成する処理を行う。たとえば1時間の動画から、トリガの前後の10分だけを取り出すことによって、データサイズが約1/6になり、また監視者9aが動画を目視するのに要する時間が約1/6になると期待される。なお図6においては、縮約実行部121(1)が、この縮約ルールの動作を模式的に示している。
(縮約ルール4)画面を複数に分割したそれぞれの領域に複数の動画21を縮小して埋め込む処理
縮約部12は、複数の動画21を縮小し、縮約動画ファイル22の画面を複数に分割したそれぞれの領域に埋め込む処理を行う。たとえば画面を4分割し、それぞれに異なるビデオカメラ2が撮像した動画21をはめ込むことによって、データサイズが約1/4になり、また監視者9aが動画を目視するのに要する時間が約1/4になると期待される。なお図6においては、縮約実行部121(2)が、この縮約ルールの動作を模式的に示している。
(縮約ルール5)複数の動画21のそれぞれ一部の時間帯を抽出してつなぎ合わせる処理
縮約部12は、複数のビデオカメラ2が撮像した動画21の一部を、任意の時間分抽出したものをつなぎ合わせ、複数のアングルが順番に切り替わって表示される縮約動画ファイル22を作成する処理を行う。たとえば4台のビデオカメラ2が撮像した動画21を2秒ごとに切り換えることによって、データサイズが約1/4になり、また監視者9aが動画を目視するのに要する時間が約1/4になると期待される。
(縮約ルール6)動画21の画面から一部の領域を抽出する処理
縮約部12は、動画21のうちの一部の領域のみを抽出した縮約動画ファイル22を作成する。たとえば640×480ピクセルの動画から、異常が発生しやすい部位のみが写っている320×240ピクセルの領域を取り出すことにより、データサイズが約1/4になると期待される。なお図6においては、縮約実行部121(4)が、この縮約ルールの動作を模式的に示している。
(縮約ルール7)動画21を早送り再生させる処理
縮約部12は、動画21を構成するフレームのうちの一部を定期的に除去し、もとの動画21と同じフレームレートで再生させるようにした縮約動画ファイル22を作成する処理を行う。これは(縮約ルール2)に似ているが、再生速度を変えないことにより、見かけ上は早送りとなる点が異なる。たとえばフレームを3枚ごとに間引くことによって、データサイズが約1/3になり、また監視者9aが動画を目視するのに要する時間が約1/3になると期待される。なお図6においては、縮約実行部121(3)が、この縮約ルールの動作を模式的に示している。
(縮約ルール8)複数の動画21から選択された撮像手段に対応するものを削除する処理
縮約部12は、複数のビデオカメラ2がそれぞれ撮像した動画21のうち、興味の対象となる部位が写っていないものを、撮像したビデオカメラ2を単位に削除した縮約動画ファイル22を作成する処理を行う。たとえば3台の工作機械59のうち2台が運転されていない日には、運転されていない工作機械59を撮像するビデオカメラ2を停止させ、動画21を残さないことによって、データサイズが約1/3になり、また監視者9aが動画を目視するのに要する時間が約1/3になると期待される。
(縮約ルール9)動画21の色分解能を低減させる処理
縮約部12は、動画21の色数を減少させた縮約動画ファイル22を作成する処理を行う。たとえばフルカラーの動画をモノクロームに変換することにより、データサイズが約1/3になると期待される。
(縮約ルール10)動画21に対して不可逆的に符号化方法を変更する処理
縮約部12は、動画21の符号化方法(エンコーディング)を不可逆的に変更し、より圧縮率を高めた縮約動画ファイル22を作成する処理を行う。たとえば非圧縮AVI形式の動画をMPEG形式に変換することにより、データサイズが約1/10になると期待される。
なお(縮約ルール1)〜(縮約ルール10)は縮約ルールの例示であり、縮約部12はこれ以外の縮約ルールを使用して縮約を行ってもよい。また(縮約ルール1)〜(縮約ルール10)で例示された縮約ルールは、動画21の全部ではなく、一部のみに対して適用されてもよい。
縮約ルールには、動画21の縮約に伴って必要になる付帯的な方法が含まれてもよい。たとえば(縮約ルール3)・(縮約ルール4)・(縮約ルール5)のように、内容が時間的・空間的に分断された縮約動画ファイル22を作成する場合、撮像された時刻やビデオカメラ2などの情報を、画面に字幕として挿入してもよい。あるいは(縮約ルール5)のように、動画の表示方法を切り換える場合、その過渡的な変化を示すアニメーションを挿入してもよい。
<操作手順>
次に図7により、この実施の形態のカメラ監視システム100aの操作手順について説明する。
まず監視者9aが操作装置4aを操作することにより、動画処理装置1aを作動させる(ステップS1)。これにより、それぞれのビデオカメラ2が工作機械59の撮像を開始する。そしてビデオカメラ2の撮像したすべての動画21を構成するすべてのフレームが、フレーム記録部11に記録されていく(ステップS2)。
縮約部12は、フレーム記録部11に記録されたフレームの集合としての動画21に対し、縮約実行部121を実行させて縮約を行い、縮約動画ファイル22を作成する(ステップS3)。縮約実行部121は、動画処理装置1aの起動に伴って自動的に作動するようにすることもできるし、監視者9aによるコマンドを受けて作動するようにすることもできる。前者の場合には、あらかじめ動画処理装置1aに、自動的に実行されるべき縮約プログラム31を特定する情報と、縮約プログラム31の使用する縮約ルールを定義する情報を登録しておき、これらをもとに縮約プログラム31を自動的にロードして起動させる。後者の場合には、監視者9aからのコマンドを受けた操作装置4aから動画処理装置1aにコマンドが送信される。このコマンドには縮約プログラム31を特定する情報と、縮約プログラム31の使用する縮約ルールを定義する情報が含まれており、動画処理装置1aはこれらをもとに縮約プログラム31を自動的にロードして起動させる。
動画の縮約は、たとえば上述した(縮約ルール1)〜(縮約ルール10)に示す縮約ルールを使用して行うことができ、またこれ以外の縮約ルールを使用して行うこともできる。
縮約実行部121が動作を開始すると、縮約動画ファイル22が作成され、縮約動画記録部13に記録されていく。この時に速度管理部124は、縮約動画ファイル22が縮約動画記録部13に記録される速度を監視する。またディスク管理部142は縮約動画記録部13の状態を監視し、容量監視部143は縮約動画記録部13の残り容量をそれぞれ監視する(ステップS4)。ディスク管理部142が縮約動画記録部13の故障を検出したり、容量監視部143がディスクフルに近い状態を検出した際には、警報発信部144aが操作装置4aに警報を発信させるコマンドを送信する。
優先度設定部123は、縮約実行部121が動作を開始する際、それぞれの縮約実行部121で実行される縮約プログラム31に優先度を設定することができる。縮約動画記録部13の残り容量が少ない場合、優先度の低い縮約実行部121によって作成された縮約動画ファイル22を、ディスク管理部142に削除させる構成とすることもできる。また縮約動画記録部13の残り容量が少ない場合、縮約実行部121が縮約動画ファイル22を縮約動画記録部13に記録する速度を遅くさせる構成とすることもできる。
縮約動画記録部13に蓄積された縮約動画ファイル22は自動的に操作装置4aに転送され、ビューワ44aによって操作装置4aの表示部42に動画として表示される(ステップS5)。これによって監視者9aは、工作機械59の状態を目視によって監視・分析することができる。
ステップS6の後で監視者9aは、別の縮約動画ファイル22の動画を目視したい場合(ステップS6の“Yes”)、操作装置4aの操作部41を用いて、縮約方法の変更を要求する。この要求を受けた操作装置4aの縮約方法変更部43は、動画処理装置1aの縮約部12に、縮約プログラム31のダウンロード・削除、縮約プログラム31のロード・アンロード、縮約実行部121の追加・削除、縮約ルールの変更・取得などを要求するコマンドを送信する。縮約部12はコマンドで指示された操作を行い、縮約実行部121の使用する縮約方法を変更する(ステップS7)。これによって縮約部12は、新たな縮約方法を使用して縮約動画ファイル22を作成することが可能になる。監視者9aはこうして作られた新たな縮約動画ファイル22を使い、あらためて目視による監視や分析を行うことができる(ステップS3〜ステップS5)。
ステップS6の後、監視者9aが別の縮約動画ファイル22を欲しない場合(ステップS6の“No”)、ステップS7と、再度のステップS3〜ステップS5は行われない。またステップS6の“Yes”およびステップS7の手順による縮約方法の変更は、縮約方法変更部43にあらかじめ決められたシーケンスに基づいて自動的に行われる構成でもよい。
上記の手順は、監視者9aが目視による監視と分析を終了する(ステップS6の“Yes”およびステップS9)まで繰り返し行うことができる(ステップS8の“No”およびステップS3〜ステップS7)。
<監視の具体的方法>
この実施の形態のカメラ監視システム100aにおける、縮約動画ファイル22を用いた監視および分析の具体的方法を例示する。
この具体的方法においては、監視および分析の段階に応じ(縮約ルール1)〜(縮約ルール10)を使い分ける。すなわち監視および分析の初期段階では、工作機械59や対象時間の全体を粗く目視し、異常が特定されるにつれ、工作機械59や対象時間の一部を細かく目視するのが能率的である。具体的には、以下(監視・分析手順1)〜(監視・分析手順3)に基づいて監視・分析を行う。
(監視・分析手順1)
まず縮約部12は、工作機械59を撮像した動画21から、低解像度かつ早送り再生される縮約動画ファイル22を作成する。この縮約の手順には(縮約ルール1)・(縮約ルール7)などを用いる。監視者9aはこの縮約動画ファイル22を操作装置4aの表示部42に表示させ、目視による監視・分析を行う。これによって監視者9aは、表示部42に表示された動画に基づき、異常の発生するタイミングと部位を限定することができる。
工作機械59を複数のビデオカメラ2で撮像する(たとえば同一の箇所を複数のビデオカメラ2によって異なるアングルで撮像する)場合、それぞれのビデオカメラ2が撮像した動画のサイズを縮小し、画面を複数に分割したそれぞれの領域に埋め込んだ縮約動画ファイル22を作成する方法や、それぞれのビデオカメラ2が撮像した動画のうちの一部を、任意の時間(たとえば10秒間)だけ抽出してつなぎ合わせた縮約動画ファイル22を作成する方法も、工作機械59や対象時間の全体を概観するのに有効である。この縮約の手順には(縮約ルール4)や(縮約ルール5)を用いる。
(監視・分析手順2)
(監視・分析手順1)により、工作機械59に異常の発生するタイミングと部位が限定されたら、監視者9aは操作装置4aを操作し、動画処理装置1aに縮約方法を変更させる。これによって縮約部12は、任意のビデオカメラ2が撮像した動画21から、異常が発生しやすい時刻およびその前後の時間を抽出した縮約動画ファイル22を作成するようになる。この縮約の手順には(縮約ルール3)を用いる。監視者9aは、新たに作られた縮約動画ファイル22を操作装置4aの表示部42に表示させ、あらためて目視による監視・分析を行う。これによって監視者9aは、表示部42に表示された動画に基づき、異常の発生するタイミングと部位を特定することができる。
(監視・分析手順3)
(監視・分析手順2)により、工作機械59に異常の発生するタイミングと部位が特定されたら、監視者9aは再び操作装置4aを操作し、動画処理装置1aに縮約方法を変更させる。これによって縮約部12は、異常と思われる箇所が最も良好に写った動画21から、異常と思われる特定の領域を拡大した、スローモーション再生される縮約動画ファイル22を作成する。この縮約の手順には(縮約ルール6)と(縮約ルール2)を用いる。監視者9aは、新たに作られた縮約動画ファイル22を操作装置4aの表示部42に表示させ、あらためて目視による監視・分析を行う。これによって監視者9aは、表示部42に表示された動画に基づき、異常の発生するメカニズムを詳細に把握することができる。
以上(監視・分析手順1)〜(監視・分析手順3)のように、監視および分析の段階ごとに複数の縮約ルールを使い分けながら縮約を行うことにより、目視に用いる縮約動画ファイル22の容量が過大になることを抑止しながら、監視者9aが多面的かつ詳細な監視や分析を行うことが可能になる。なお(監視・分析手順1)〜(監視・分析手順3)のうち少なくともいずれか一部の手順が、縮約部12にあらかじめ決められたシーケンスに基づいて自動的に行われる構成であってもよい。
<第1の実施の形態の効果>
以上、この実施の形態においては、ビデオカメラ2の撮像した動画21の少なくとも一部について縮約を行うことにより、縮約動画記録部13に記録されるデータ量を減少させることができ、少ないハードウェア資源を使用しても、データの記録を容易に行うことができる。また縮約は、ビデオカメラ2が撮像したすべての動画を一時的に記録するフレーム記録部11に記録された動画21に対して行われるので、縮約を開始する時点以前に撮像された動画から縮約済み動画を作成することもでき、監視者はこれを利用して工作機械59の多面的な監視や分析を行うことが可能になる。
またこの実施の形態においては、縮約部12は、縮約ルールを複数保持し、その中から選択された縮約ルールを使用して縮約を行う。そのため工作機械59に生じる異常の監視・分析に適した方法で縮約された縮約動画ファイル22を作成することができ、工作機械59の性質や撮像状況に合わせて、必要な情報を失うことなくデータ量を大きく削減することが可能になる。
さらに縮約部12によって縮約が行われた縮約動画ファイル22を、監視者9aが目視による監視および分析に用いるために記録する縮約動画記録部13を備えたことにより、縮約された大量の動画を記録・蓄積することができる。そのため監視者9aは、過去に蓄積された縮約動画ファイル22も利用しながら、多面的な監視や分析を行うことが可能になる。
またこの実施の形態においては、フレーム記録部11には未縮約の動画21を記録し、縮約動画記録部13には縮約動画ファイル22を記録することにより、データの種類や目的に応じて、読み書きが高速な記録手段と安価で大容量の記録手段とを使い分けることができる。そのため蓄積される膨大な動画データに対するハードウェア資源の割り当ての最適化を図ることができる。また汎用のハードウェアを活用することができ、小型・軽量のメリットを併せて得ることが可能になる。
すなわちこの実施の形態においては、安価かつ小型・軽量に構成することができ、監視者9aが分析の段階や場面に応じて多面的な監視や分析を行うことのできる動画処理装置1a、カメラ監視システム100aが提供できる。
またこの実施の形態においては、単一または複数の動画21ごとに、それぞれ異なる縮約ルールを使用して縮約を行うことができる。そのため監視者9aは、一つの工作機械59に対して複数種類の縮約動画ファイル22を利用し、多面的な監視や分析を行うことが可能になる。
この実施の形態においては、多様な縮約ルールの中から少なくとも一つを選ぶことができ、工作機械59の性質や撮像状況、分析の段階や場面に、最も適合した方法で動画を縮約することが可能になる。
この実施の形態においては、トリガ検出部141aがトリガを検出した時の動画のみを縮約部12が取り出すことができる。そのため工作機械59に異常が生じる可能性が高いタイミングでトリガが発生する構成としておけば、監視および分析に必要な縮約動画ファイル22を確実に取得し、かつ不要な動画を排除することができる。
この実施の形態においては、工作機械59に異常が生じる可能性が高い多様なタイミングでトリガが発生する構成としておくことにより、監視および分析に必要な縮約動画ファイル22の集合を確実に取得することができる。
この実施の形態においては、縮約方法の変更を行う縮約方法変更部43を備えたことにより、監視者9aは、縮約ルールを適宜選択したり追加したりしながら縮約動画ファイル22を次々に作成し、充分な情報に基づく多面的な監視や分析を臨機応変に行うことが可能になる。また不要な縮約ルールを削除し、コンピュータ資源の過大な消費や、本来の目的に対して過大な初期投資、不適切な縮約ルールを選択する操作ミスを抑止することが可能になる。これにより、コンピュータ資源を過大に消費することのない動画処理装置1a、カメラ監視システム100aを安価に構成することができ、監視者9aはより多面的な監視や分析を確実・容易に行うことができる。
この実施の形態においては、縮約動画ファイル22を監視者9aに目視させることが可能になり、監視者9aは工作機械59の多面的な監視や分析を確実に行うことができる。
<第2の実施の形態>
図8ないし図13は、この発明の第2の実施の形態を示す。
<第2の実施の形態の原理>
図8は、この実施の形態のカメラ監視システム100bの原理を模式的に示す図である。この実施の形態のカメラ監視システム100bは、第1の実施の形態であるカメラ監視システム100aの構成に加え、動画処理装置1bに「表示管理実行手段」としてのアップローダ145を備える。
アップローダ145は、縮約動画記録部13に記録された縮約動画ファイル22をファイルサーバ(図8に図示せず)へアップロードする。またビューワ44aは、ファイルサーバから監視者9aが使用する遠隔操作装置(図8に図示せず)に縮約動画ファイル22をダウンロードし、その表示部(図8に図示せず)に表示させる。
このカメラ監視システム100bの原理に基づいて構成した、具体的構成の一例を以下に説明する。
<第2の実施の形態の基本構成>
図9は、この実施の形態のカメラ監視システム100bの具体的構成としてのネットワーク構成図および機能ブロック図である。
図9に示すとおり、この実施の形態のカメラ監視システム100bは、第1の実施の形態であるカメラ監視システム100aの構成と異なり、操作装置4aの代わりに遠隔操作装置4bを備えている。なおカメラ監視システム100bは、遠隔操作装置4bだけでなく、操作装置4aと遠隔操作装置4bの両方を備えていてもよい。
動画処理装置1b、ビデオカメラ2(1),2(2),・・・,2(n)は、「監視対象」としての工作機械59が設置された製造工場51内に設けられている。これに対してプログラム保管装置3a、遠隔操作装置4bは、製造工場51から離れた場所に設けられた監視センター52内に設けられている。カメラ監視システム100bは、監視センター52から監視者9aが遠隔操作する。なおプログラム保管装置3aは、製造工場51の内部に設けられていてもよい。またプログラム保管装置3aが、製造工場51や監視センター52以外の施設(図示せず)の内部に設けられていてもよい。
動画処理装置1bとそれぞれのビデオカメラ2(1),2(2),・・・,2(n)とは、USBケーブルや高速のLANなどによって接続されている。また動画処理装置1bとプログラム保管装置3aと遠隔操作装置4bとは、LAN、イントラネット、インターネットなどのネットワーク53によって接続されている。
図10に示すとおり、動画処理装置1bは、機能手段として、第1の実施の形態であるカメラ監視システム100aの構成に加え、「表示管理実行手段」としてのアップローダ145、メール送受信部146を備える。また第1の実施の形態であるカメラ監視システム100aの構成と異なり、「トリガ検出手段」としてのトリガ検出部141aの代わりにトリガ検出部141bを備え、警報発信部144aの代わりに警報発信部144bを備える。
図11に示すとおり、ファイルサーバ15は、機能手段として、配信動画記録部151、送受信管理部152を備える。
図12に示すとおり、遠隔操作装置4bは、機能手段として、第1の実施の形態である操作装置4aの構成に加え、「表示管理実行手段」としてのアップロード管理部45、メール送受信部46を備える。
<第2の実施の形態の構成詳細>
以下、カメラ監視システム100bの構成の詳細について説明する。
<ビデオカメラ>
ビデオカメラ2(1),2(2),・・・,2(n)は、第1の実施の形態と同等のものである。
<動画処理装置>
上述のとおり、動画処理装置1bは、第1の実施の形態の動画処理装置1aとほぼ同等のものである。ただし上述のとおり、動画処理装置1bは、機能手段として、アップローダ145とメール送受信部146を備える点、トリガ検出部141aと警報発信部144aの代わり、それぞれトリガ検出部141bと警報発信部144bを備える点が異なる。
<フレーム記録部>
フレーム記録部11は、第1の実施の形態と同等のものである。
<縮約部>
縮約部12は、第1の実施の形態と同等のものである。
<縮約動画記録部>
縮約動画記録部13は、第1の実施の形態と同等のものである。
<アップローダ>
アップローダ145は、任意のファイルを動画処理装置1bからファイルサーバ15にアップロードする通信装置である。具体的には、アップローダ145は、以下(アップロード手順1)〜(アップロード手順3)に例示する手順でアップロードを行う。
(アップロード手順1)
アップローダ145は、任意の縮約動画ファイル22をファイルサーバ15にアップロードする。アップロードに先立ち、インターネット公開に適した形式に縮約動画ファイル22を変換するようにしてもよい。
(アップロード手順2)
アップローダ145は、任意の縮約動画ファイル22のプロフィール情報(たとえば縮約動画ファイル22を作成した縮約プログラム31を特定する情報、縮約プログラム31が使用した縮約ルールを定義する情報、縮約動画ファイル22の素材となった動画21を撮像したビデオカメラ2を特定する情報、動画21の撮像を開始・終了した時刻など)を記録したプロフィールファイルを作成し、ファイルサーバ15にアップロードする。プロフィールファイルは、インターネットブラウザで閲覧可能な形式であってもよい。
(アップロード手順3)
アップローダ145は、縮約動画ファイル22およびプロフィールファイルの一覧を記述したカタログファイルを作成し、ファイルサーバ15にアップロードする。カタログファイルは、インターネットブラウザで閲覧可能な形式であってもよい。
アップローダ145は縮約動画記録部13を継続的に監視し、新たに記録された縮約動画ファイル22を自動的にアップロードする。ただし遠隔操作装置4bのアップロード管理部45から送信された、アップロードを指示するコマンドを受けてアップロードを行う構成であってもよい。
<トリガ検出部>
トリガ検出部141bは、第1の実施の形態におけるトリガ検出部141aとほぼ同等のものである。ただしトリガ検出部141aが検出する(トリガ1)〜(トリガ5)に加え、下記(トリガ6)〜(トリガ7)を検出する点が異なる。
(トリガ6)監視者9aが遠隔操作装置4bの操作部41を操作することによって入力したコマンド。
(トリガ7)監視者9aの操作によって遠隔操作装置4bのメール送受信部46から送信され、メール送受信部146によって受信されるコマンドメール。
なおコマンドメールについては後述する。
<メール送受信部>
メール送受信部146は、遠隔操作装置4bのメール送受信部46との間でメール送受信を行う。またメール送受信部146は、動画処理装置1bを構成する個々の機能手段から任意の処理状態に関する情報を取得し、この処理状態を告知するメールを作成して遠隔操作装置4bのメール送受信部46に送信する。さらにメール送受信部146は、遠隔操作装置4bのメール送受信部46から送信されたメールを受信し、受信したメールに基づいて動画処理装置1bの各機能手段に任意の処理を行わせる。なおメール送受信部146が遠隔操作装置4bのメール送受信部46と送受信するメールの種類については後述する。
<ディスク管理部>
ディスク管理部142は、第1の実施の形態と同等のものである。
<容量監視部>
容量監視部143は、第1の実施の形態と同等のものである。
<警報発信部>
警報発信部144bは、第1の実施の形態における警報発信部144aとほぼ同等のものである。ただし操作装置4aに警報を送信する代わり、遠隔操作装置4bに送信する点が異なる。操作装置4aと遠隔操作装置4bの両方を備えるカメラ監視システム100bでは、両方に警報を送信してもよいし、監視者9aの指定するいずれか一つに送信してもよい。
<ファイルサーバ>
図11に示すファイルサーバ15は、少なくとも一つのCPUを備え、ファイル送受信機能を有する。上述のとおり、ファイルサーバ15は、機能手段として、配信動画記録部151、送受信管理部152を備える。
配信動画記録部151は、動画処理装置1bからアップロードされた縮約動画ファイル22を、ダウンロード可能な状態で記録・保持する。
送受信管理部152は、アップローダ145からのコマンドに基づき、動画処理装置1bからの縮約動画ファイル22のアップロードに必要な各種の処理を行う。また遠隔操作装置4bからのコマンドに基づき、遠隔操作装置4bへの縮約動画ファイル22のダウンロードに必要な各種の処理を行う。
<プログラム保管装置>
プログラム保管装置3aは、第1の実施の形態とほぼ同等のものである。ただし縮約プログラム31の供給を、ネットワーク53を介して行う点が異なる。
<遠隔操作装置>
図9に示すとおり、遠隔操作装置4bは、動画処理装置1bと物理的に離れた場所に設けられており、監視者9aの操作を受けて動画処理装置1bを操作する。遠隔操作装置4bは、たとえばパーソナルコンピュータや携帯通信端末であり、少なくとも一つのCPUと記録手段とを備え、データやコマンドの送受信機能、データ処理機能、動画表示機能などを備え、記録手段には各種のプログラムやデータが記録されている。
図12に示すとおり、遠隔操作装置4bは、機能手段として、操作部41、表示部42、「縮約方法変更手段」としての縮約方法変更部43、「表示管理実行手段」としてのビューワ44a、「表示管理実行手段」としてのアップロード管理部45メール送受信部46を備える。
操作部41は、第1の実施の形態と同等のものである。
縮約方法変更部43は、第1の実施の形態とほぼ同等のものである。ただし縮約方法を変更させるコマンドを、ネットワーク53を介して送信する点が異なる。コマンドは、メール送受信部46から送信されるコマンドメールによって動画処理装置1bに送信されてもよいし、それ以外の方法で動画処理装置1bに送信されてもよい。
アップロード管理部45は、監視者9aの操作によって動画処理装置1bからファイルサーバ15に任意のファイルをアップロードする(たとえば上述の(アップロード手順1)・(アップロード手順2)に例示される手順を行う)場合の各種処理を行う。
ビューワ44aは、第1の実施の形態とほぼ同等のものである。ただし縮約動画ファイル22を、ネットワーク53を介して取得する点が異なる。
メール送受信部46は、監視者9aの操作によって操作部41に入力されたコマンドに基づき、またはあらかじめ決められたシーケンスに基づいて自動的に、動画処理装置1bのメール送受信部146とメール送受信を行う。
<メールの具体例>
動画処理装置1bのメール送受信部146と、遠隔操作装置4bのメール送受信部46とが送受信するメールとして、たとえば以下(A)・(B)が挙げられる。
(A)レポートメール
動画処理装置1bから、遠隔操作装置4bを使用する監視者9aに対し、動画処理装置1bの状態を知らせるメール。レポートメールは、動画処理装置1bのメール送受信部146が作成・送信し、遠隔操作装置4bのメール送受信部46が受信・解釈する。レポートメールとしては、たとえば以下(A−1)〜(A−3)が挙げられる。
(A−1)縮約動画ファイルの作成通知メール
縮約実行部121から、縮約動画ファイル22の作成が完了したことを知らせる信号を受信したメール送受信部146は、メール送受信部46に対し、縮約動画ファイル22のダウンロードを促す通知メールを送信する。これによって監視者9aは、無用に待つことなく縮約動画ファイル22の監視や分析を行うことができる。
(A−2)ディスク容量不足の警報メール
容量監視部143から、縮約動画記録部13やファイルサーバ15のディスクフルが近くなったことを知らせる信号を受信したメール送受信部146は、メール送受信部46に対し、空きディスク容量が少なくなったことを知らせる告知メールを送信する。これによって監視者9aは、不要な縮約動画ファイル22の削除などの対応をただちに取ることができる。
(A−3)イベント発生の通知メール
動画処理装置1bを構成する各部分から、ハードウェアの故障などのイベントが発生したことを知らせる信号を受信したメール送受信部146は、メール送受信部46に対し、イベントの発生を通知する通知メールを送信する。これによって監視者9aは、遅滞なくハードウェアの故障などに対処することができる。
(B)コマンドメール
遠隔操作装置4bを使用する監視者9aから動画処理装置1bに対し、各種のコマンドを伝達し実行させるためのメール。コマンドメールは、遠隔操作装置4bのメール送受信部46が作成・送信し、動画処理装置1bのメール送受信部146が受信・解釈する。コマンドメールとしては、たとえば以下(B−1)〜(B−8)が挙げられる。
(B−1)カメラのオン/オフ制御
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、ビデオカメラ2の一覧を取得するためのコマンドメールや、任意のビデオカメラ2のオン/オフ制御を行うためのコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、ビデオカメラ2の一覧を取得して遠隔操作装置4bに返送したり、指定された任意のビデオカメラ2のオン/オフ制御を行ったりする。
(B−2)縮約プログラム31のダウンロード・削除
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約プログラム31のダウンロード・削除を要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、プログラム保管装置3aから縮約プログラム31をダウンロードして記憶装置に格納したり、ロードされていない縮約プログラム31を記憶装置から削除したりする。
(B−3)縮約プログラム31のロード・アンロード
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約プログラム31のロード・アンロードを要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、記憶装置にダウンロードされている縮約プログラム31をロードしたり、不要となった縮約プログラム31をアンロードしたりする。
(B−4)縮約実行部121の追加・削除
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約実行部121の追加・削除を要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、必要となった縮約実行部121を縮約部12に追加したり、不要となった縮約実行部121を削除したりする。追加された縮約実行部121は直ちに動作を開始し、縮約プログラム31の実行を開始させる。
(B−5)縮約ルールの変更・取得
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約実行部121が実行する縮約プログラム31の使用する縮約ルールの変更・取得を要求するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、コマンドメールの要求に基づき、指定された縮約実行部121が実行する縮約プログラム31の使用する縮約ルールを変更したり、指定された縮約実行部121が実行する縮約プログラム31の使用する縮約ルールを取得して遠隔操作装置4bに返送したりする。
(B−6)トリガの送信
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、トリガ検出部141bに対するトリガとして機能するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、トリガ検出部141bは縮約部12に対し、縮約動画ファイル22の作成を開始または終了させるタイミングの基準となる時刻を知らせるコマンドを送信する。縮約部12はこのコマンドを受信し、縮約済み動画の作成を開始するタイミングや、終了するタイミングを決定する。
(B−7)ファイルサーバ15の変更
ファイルサーバ15が複数存在する場合、メール送受信部46は、動画処理装置1bのメール送受信部146に対し、アップロード先のファイルサーバ15を指定するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、縮約部12は以後、縮約動画ファイル22を、コマンドメールで指示されたファイルサーバ15にアップロードする。
(B−8)縮約プログラム31の取得
メール送受信部46は、動画処理装置1bのメール送受信部146に対し、縮約プログラム31を取得するコマンドメールを送信することができる。メール送受信部146がこのコマンドメールを受信すると、動画処理装置1bは、記憶装置にダウンロードされている縮約プログラム31を、ファイルとしてメール送受信部46に返送する。
この機能は、縮約実行部121が実行する縮約プログラム31の使用する縮約ルールを、遠隔地にいる監視者9aが確認・編集する場合に有用である。すなわち縮約ルールは通常、人間にとっては読みにくいバイナリデータや特殊な形式のデータに記述されている。これを人間にとって読みやすい形式に変換するにはGUIが必要になるが、縮約ルールはそれぞれの縮約プログラム31に固有のものであることから、対応するGUIも縮約プログラム31ごとに実装せざるを得ない。これに対し、遠隔操作装置4bに縮約プログラム31を取得し、そのGUIを利用可能にすることで、監視者9aは縮約ルールをわかりやすく表示させ、その確認・編集を簡単かつ確実に行うことができる。
<操作手順>
次に図13により、この実施の形態のカメラ監視システム100bの操作手順について説明する。
カメラ監視システム100bの操作手順は、第1の実施の形態におけるカメラ監視システム100aの操作手順とほぼ同じである。すなわち第1の実施の形態における各ステップ(図7を参照)と第2の実施の形態における各ステップとは、ステップS1がステップS11に、ステップS2がステップS12に、ステップS3がステップS13に、ステップS4がステップS14に、ステップS5がステップS16に、ステップS6がステップS17に、ステップS7がステップS18に、ステップS8がステップS19に、ステップS9がステップS20にそれぞれ対応する。ただし以下に示すように、いくつか異なる点がある。
まずステップS1においては、カメラ監視システム100aでは操作者が操作装置4aを操作して動画処理装置1aを作動させるのに対し、ステップS11においてはカメラ監視システム100bでは監視者9aが遠隔操作装置4bを操作して動画処理装置1bを作動させる。カメラ監視システム100bが操作装置4aと遠隔操作装置4bの両方を備える場合、監視者9aまたは別の操作者が操作装置4aを操作して動画処理装置1bを作動させることもできる。
またステップS13について、縮約実行部121を監視者9aのコマンドによって作動させる場合には、コマンドを伝達するのに通常のコマンドに加え、コマンドメールを使うことができる。この場合、監視者9aのコマンドを受けた遠隔操作装置4bのメール送受信部46からコマンドメールが送信され、これを動画処理装置1bのメール送受信部146が受信する。コマンドメールには縮約プログラム31を特定する情報と、縮約プログラム31の使用する縮約ルールを定義する情報が含まれており、動画処理装置1bはこれらをもとに縮約プログラム31を自動的にロードして起動させる。なおコマンドメールを使ってコマンドを伝達させる方法は、ステップS13だけでなく、縮約動画ファイル22をダウンロードするステップS15、縮約実行部121の使用する縮約方法を変更するステップS18でも使うことができる。
ステップS14が完了した後の動作も、カメラ監視システム100aとカメラ監視システム100bで異なる。カメラ監視システム100bでは、アップローダ145が自動的に、または監視者9aによるコマンドを受け、縮約動画記録部13からファイルサーバ15に縮約動画ファイル22をアップロードする(ステップS15)。この処理は第1の実施の形態には存在しない。アップロードが監視者9aのコマンドによってなされる場合、遠隔操作装置4bのアップロード管理部45が、アップロードを指示するコマンドを送信する。
ファイルサーバ15にアップロードされた縮約動画ファイル22は、配信動画記録部151に記録される。送受信管理部152は、配信動画記録部151に記録された縮約動画ファイル22を自動的に、または監視者9aのコマンドにより、遠隔操作装置4bにダウンロードする(ステップS15)。ダウンロードが監視者9aによるコマンドによってなされる場合、遠隔操作装置4bのアップロード管理部45が、ダウンロードを指示するコマンドを送信する。ダウンロードされた縮約動画ファイル22は、ビューワ44aにより、遠隔操作装置4bの表示部42に表示される(ステップS16)。これによって監視者9aは、工作機械59の状態を目視によって監視・分析することができる。
<監視の具体的方法>
この実施の形態のカメラ監視システム100bにおける、縮約動画ファイル22を用いた監視および分析の具体的方法は、本質的にはカメラ監視システム100aと同じである。ただしカメラ監視システム100bにおいては、監視者9aが工作機械59から離間した位置にいてもよい。そのためトラブルの発生に対し、すみやかに原因を分析して適切な改良を行う目的において、より大きな効果が期待できる。
<第2の実施の形態の効果>
以上、この実施の形態においては、第1の実施の形態におけるすべての効果を享受することができる。
またこの実施の形態においては、ビデオカメラ2の撮像した動画21の少なくとも一部について縮約を行うことにより、ネットワーク53によって伝送されるデータ量を減少させることができ、少ないハードウェア資源を使用しても、データの伝送を容易に行うことができる。
さらにこの実施の形態においては、縮約部12と、縮約方法変更部43とが物理的に離間した位置に設けられたことにより、工作機械59の設置された製造工場51から離間した場所にいる監視者9aが、縮約実行部121による縮約を開始・終了させたり、縮約ルールの選択・追加・削除を行ったりすることができる。これによって監視者9aは、監視センター52から離間した場所にある工作機械59の監視や分析を行うことができる。
<第3の実施の形態>
図14ないし図16は、この発明の第3の実施の形態を示す。
<第3の実施の形態の原理>
図14は、この実施の形態のカメラ監視システム100cの原理を模式的に示す図である。この実施の形態のカメラ監視システム100cは、第1の実施の形態であるカメラ監視システム100aの構成における動画処理装置1aに代えて設けられた動画処理装置1cに、「ライブ配信手段」としてのライブ配信部147と、「配信方法切替手段」としてのライブ配信切替部148とを備える。
ライブ配信切替部148は、ビデオカメラ2から出力された動画21を、ネットワーク53を介してビューワ44bに送信するどうかを決める一種のスイッチである。またビューワ44bは、ライブ配信部147から送信された動画21を受信し、リアルタイムに助言者9bが使用する助言操作装置(図14に図示せず)の表示部(図示せず)に表示させる。
このカメラ監視システム100cの原理に基づいて構成した、具体的構成の一例を以下に説明する。
<第3の実施の形態の基本構成>
図15は、この実施の形態のカメラ監視システム100cの具体的構成としてのネットワーク構成図および機能ブロック図である。
図15に示すとおり、この実施の形態のカメラ監視システム100cは、第1の実施の形態であるカメラ監視システム100aの構成に加え、ライブ配信切替部148と、助言操作装置4cを備えている。
助言者9bは監視者9aに対し、ビデオカメラの設置方法や、動画処理装置1cの使い方を指導する。第1の実施の形態であるカメラ監視システム100aは、監視対象である工作機械59に発生するトラブルを、ユーザである監視者9aが主体となって監視・分析する使い方を想定している。しかしトラブルの監視・分析を能率よく行うには多くのノウハウが必要であり、初めてカメラ監視システム100aを使うユーザにとって、これを使いこなすことは必ずしも容易ではない。
この問題に対してカメラ監視システム100cは、その動作や使い方に習熟した助言者9bが、監視者9aを支援する仕組みを備えている。助言者9bは通常、カメラ監視システム100cの開発者や販売者であり、カメラ監視システム100cの全体や、これを構成する要素の動作や使い方に精通している。そのため監視者9aが直面しているトラブルに対し、カメラ監視システム100cを適切に応用する知識・技術を持っている。
カメラ監視システム100cの導入にあたり、監視者9aが最初に直面する課題は、ビデオカメラ2を適切に設置することである。工作機械59に発生するであろうトラブルに対し、ビデオカメラ2を適切に設置する知識・技術を持たない監視者9aは、助言者9bに支援を依頼する。そして電話や電子メール、あるいは助言操作装置4cの機能によって届けられる助言などの支援を受けながら監視・分析に取り組む。
<第3の実施の形態の構成詳細>
以下、カメラ監視システム100cの構成の詳細について説明する。
<ビデオカメラ>
ビデオカメラ2は、第1の実施の形態と同等のものである。
<動画処理装置>
動画処理装置1cは、第1の実施の形態とほぼ同等のものである。ただし上述のとおり、機能手段として、ライブ配信部147とライブ配信切替部148とを備える点が異なる。
<ライブ配信部>
ライブ配信部147は、ビデオカメラ2から出力された動画21を構成するフレームの一部または全部を、ネットワーク53を介してリアルタイムに助言操作装置4cに送信する。助言操作装置4cに送信するフレームは、ビデオカメラ2から直接取得してもよいし、フレーム記録部11に蓄積されているフレームの中から、最新のものを選択してもよい。またコマンドを伝達させる方法として、第2の実施の形態と同様のコマンドメールを使ってもよい。
<ライブ配信切替部>
ライブ配信切替部148は、監視者9aまたは助言者9bの操作によるコマンドを受け、ビデオカメラ2から出力されてライブ配信部147に送信された動画21を、フレーム記録部11のみに入力するか、フレーム記録部11に入力するだけでなく、ネットワーク53を介してビューワ44bに送信するかを切り替えるスイッチである。
<操作装置>
操作装置4aは、第1の実施の形態と同等のものである。あるいは第2の実施の形態と同様、遠隔操作装置4bを備えていてもよい。
<助言操作装置>
助言操作装置4cは、第2の実施の形態の遠隔操作装置4bとほぼ同様のものである。ただしライブ配信切替部148から送信されるフレームを、動画または静止画像としてリアルタイムに表示するビューワ44bを備える点が異なる。また操作装置4aや遠隔操作装置4bに助言を送信したり、操作装置4aや遠隔操作装置4bから助言に対する応答を受信したりする機能を備えていてもよい。
<操作手順>
次に図16により、この実施の形態のカメラ監視システム100cのセットアップ手順について説明する。このセットアップ手順は多くの場合、図7に記載されているステップS1とステップS2の間で行われる。
ステップS1が終了して動画処理装置1cが起動すると、監視者9aは任意の通信手段を使い、遠隔地にいる助言者9bに支援を求める。これを受けて助言者9bは助言操作装置4cを操作し、動画21のリアルタイム配信を要求するコマンドを動画処理装置1cに送信する。このコマンドを受信した動画処理装置1cは、ライブ配信切替部148の動作をライブ配信に設定し、以後にビデオカメラ2からライブ配信部147に入力される動画21を構成するフレームが、リアルタイムに助言操作装置4cに送信されるようにする(ステップS21)。
助言操作装置4cのビューワ44bに、任意のビデオカメラ2の撮像する動画または静止画像が表示されるようになったら、助言者9bはそれを目視し(ステップS22)、個々のビデオカメラ2がトラブルの監視・分析を行うのに適した位置に取り付けられているかどうか、個々のビデオカメラ2の撮像条件(ピント、ズームなど)が適切であるかどうかを判断する(ステップS23)。ビデオカメラ2の位置や撮像条件が不適切である場合(ステップS23の“No”)、助言者9bは監視者9aに対し、ビデオカメラ2の移動や調整を求める(ステップS24)。
なお助言者9bが監視者9aを支援するにあたっては、ライブ配信によって送信された動画や静止画像以外の情報も判断材料として利用することができる。第2の実施の形態と同様のファイルサーバ15を使えば、縮約部12の作成した縮約動画ファイル22を、助言操作装置4cのビューワ44bに表示させることができる。またリモートデスクトップなど、コンピュータを遠隔操作するためのツール(図示せず)を使えば、動画処理装置1cの設定画面などを助言操作装置4cの表示部42に表示させ、その内容を確認することもできる。助言操作装置4cは縮約方法変更部43も備えているので、遠隔操作装置4bと同様の方法により、縮約実行部121の使用する縮約方法を変更・確認することもできる。
こうしてビデオカメラ2の位置や撮像条件が適切になったら(ステップS23の“Yes”)、助言者9bは助言操作装置4cを操作し、動画21のリアルタイム配信を解除するコマンドを動画処理装置1cに送信する。このコマンドを受信した動画処理装置1cは、ライブ配信切替部148の切り換えにより、ライブ配信部147によるライブ配信を解除し(ステップS25)、以後に入力される動画21がフレーム記録部11にのみ入力されるようにする。
<第3の実施の形態の効果>
以上、この実施の形態においては、ビデオカメラ2の撮像した動画21を構成するフレームの一部または全部がリアルタイムに助言操作装置4cに送信されることにより、助言者9bは個々のビデオカメラ2の位置や撮像条件が適切であるかどうかをリアルタイムに判断することができ、監視者9aに対して適切な支援を提供することができる。また助言者9bの支援が不要である場合には、ライブ配信を解除することによってCPUの負荷やメモリの使用量を減少させ、限られたハードウェア資源を有効に利用することができる。
<第4の実施の形態>
図17ないし図19は、この発明の第4の実施の形態を示す。
<第4の実施の形態の原理>
この実施の形態のカメラ監視システム100dの原理は、第1の実施の形態、および第2の実施の形態とほぼ同等である。ただし第4の実施の形態のカメラ監視システム100dにおいて、動画処理装置1dは、第3の実施の形態3の動画処理装置1cと同様のライブ配信部147とライブ配信切替部148とを備えている。またカメラ監視システム100dは、第1の実施の形態の動画処理装置1aに代えて設けられた動画処理装置1dに、ライセンス管理部16を備えている。さらに第1の実施の形態のプログラム保管装置3aの代わりに、プログラム保管装置3bを備えている。なお図18においては図示を省略しているが、動画処理装置1dは、第1の実施の形態の動画処理装置1aと同様の、縮約動画記録部13を備えている。
図17は、カメラ監視システム100dを構成するプログラムのライセンス管理方法を示す図である。カメラ監視システム100dは、動画処理装置1dに実装された単一の本体プログラム10と、個々の縮約実行部121を実装する単一または複数の縮約プログラム31を含む。これらのプログラムの実体である実行形式ファイルは「ライセンスフィールド」と呼ぶデータ格納領域を持っており、ここに「ライセンスキー」と呼ぶ文字列を書き込むことができる。ライセンスキーは「ライセンス情報」と呼ぶデータを非公開の手段で暗号化した文字列であり、ユーザはライセンスキーを復号化してライセンス情報を得ることはできない。
本体プログラム10は、インストーラ80によってコンピュータ50にインストールされる。また縮約プログラム31は、インストーラ80によってコンピュータ50にインストールされるか、縮約部12によってプログラム保管装置3bからダウンロードされ、コンピュータ50にインストールされる。この際インストーラ80または縮約部12は、下記(ライセンス手順1)〜(ライセンス手順3)に示す手順で、実行形式ファイルのライセンスフィールドに、ハードウェア識別情報を含むライセンスキーを書き込む。
(ライセンス手順1)
販売者9cからプログラムに対応するライセンスキーを取得し、これを復号化してライセンス情報を取得する。このライセンス情報では、ハードウェア識別情報が未定義となっている。
(ライセンス手順2)
コンピュータ50からハードウェアに固有の情報を取得し、(ライセンス手順1)で取得したライセンス情報のハードウェア識別情報に上書きする。
(ライセンス手順3)
(ライセンス手順2)で作成した新しいライセンス情報を暗号化してライセンスキーを作成し、実行形式ファイルのライセンスフィールドに書き込む。
本体プログラム10と縮約プログラム31は起動すると、またはロードされると、すぐに自分自身の実行形式ファイルのライセンスフィールドからライセンスキーを読み出し、それを復号化してライセンス情報を取得する。そしてライセンス情報に含まれるハードウェア識別情報を、コンピュータ50から取得したハードウェアに固有の情報と照合する。またライセンス情報に含まれる使用期限を、コンピュータ50から取得した現在の日時と比較する。これらの情報をもとに、プログラムが使用可能であるかどうかを判定し、使用不可である場合には機能を制限した上、ライセンスの購入を促すメッセージを表示部42に表示させる。
以上の仕組みにより、カメラ監視システム100dにおいては、本体プログラム10と縮約プログラム31のライセンスを個別に管理することができ、ユーザである監視者9aには不要なライセンスを購入せず、必要なライセンスを必要な時だけ購入して使えばよいというメリットがある。
しかしこのライセンス管理方法には、縮約プログラム31の短期間の試用が難しいという問題がある。カメラ監視システム100dは、監視対象である工作機械59に発生するトラブルを監視者9aが監視・分析するためのものであるが、トラブルに直面した監視者9aは、多くの場合に個々の縮約プログラム31の動作や使い方を冷静に習得する余裕を持たず、そのため多くの縮約プログラム31を手当たり次第に試さざるを得ない状況に遭遇する。しかし縮約プログラム31を試すたびにそのライセンスを購入する必要があるのでは、購入手続きに伴う多大な手間を監視者9aに強いることになる。
そのためカメラ監視システム100dは、1日だけといった短期間での無償試用を可能にする仕組みを用意している。これは本体プログラム10に特殊なライセンスキーを設定することにより、あらかじめリストアップされた縮約プログラム31をすべて、ライセンスを設定しなくても無償で使うことができる仕組みである。これによって監視者9aは、多数の縮約プログラム31を自由に試用することができ、トラブルの監視・分析に最も適した縮約プログラム31を選ぶことができる。
このカメラ監視システム100dの原理に基づいて構成した、具体的構成の一例を以下に説明する。
<第4の実施の形態の基本構成>
図18は、この実施の形態のカメラ監視システム100dの具体的構成としてのネットワーク構成図および機能ブロック図である。
図18に示すとおり、この実施の形態のカメラ監視システム100dは、第1の実施の形態であるカメラ監視システム100aの構成に加え、機能手段として、「縮約ルール有効化手段」としてのライセンス管理部16を備えている。またプログラム保管装置3bが、「有効縮約ルール定義手段」としての使用許可リスト32を保持・提供している。
<ライセンス管理部>
図19に示すとおり、ライセンス管理部16は、ライセンスフィールド161、ハードウェア識別情報取得部162、使用許可リスト取得部163、機能制限解除部164を備える。
ライセンスフィールド161は、本体プログラム10の実行形式ファイルに用意された、ライセンスキーを書き込むためのデータ格納領域である。ライセンスフィールド161に書き込まれるライセンスキーは、既知の形式を持つ任意のライセンス情報を非公開の手段で暗号化した文字列である。ライセンスキーは可読文字のみで構成されているので、ユーザはライセンスキーをテキストとして読み書きすることができるが、復号化の手段を知らないユーザがその内容を知ることはできない。またライセンスキーには改ざんを検出するためのチェックデータが付加されており、ユーザがライセンスキーを改変して新しいライセンスキーを作成することはできない。
ハードウェア識別情報取得部162は、本体プログラム10の動作しているコンピュータ50から、そのハードウェアに固有の情報を取り出す。ハードウェアに固有の情報としては、ネットワークアダプタのMACアドレス、CPUのシリアル番号、ハードディスクの製造番号、OSのシリアル番号、OSのアクティベーションキーなどが挙げられる。
使用許可リスト取得部163は、プログラム保管装置3bが提供している、縮約ルールの集合を規定する使用許可リスト32のうち、本体プログラム10自身のために用意されたものを選択して取得する。使用許可リスト32は、短期間の無償試用を許可された縮約プログラム31を記載したリストであるが、暗号化されているので、取得しただけではその内容を知ることができない。
この実施の形態において、本体プログラム10、および本体プログラム10にロードされる縮約プログラム31は、一部または全部の機能をライセンス許諾を受けた使用者のみが使用可能とする構成を有することで、「縮約ルール制限手段」としての機能を奏する。そして機能制限解除部164は、本体プログラム10に設定されているライセンスをもとに、本体プログラム10自身、および本体プログラム10にロードされる縮約プログラム31の機能制限を解除する。機能制限の解除は、具体的には以下(機能制限解除手順1)〜(機能制限解除手順6)に示す手順で行われる。
(機能制限解除手順1)ライセンス情報の取得
本体プログラム10の実行形式ファイルから、そのライセンスフィールド161に書き込まれているライセンスキーを読み出し、これを復号化してライセンス情報を取得する。
(機能制限解除手順2)ハードウェア識別情報の照合
(機能制限解除手順1)で取得したライセンス情報からハードウェア識別情報を取り出し、これをハードウェア識別情報取得部162が取得した、ハードウェアに固有の情報と照合する。
(機能制限解除手順3)使用期限と現在日時の比較
(機能制限解除手順1)で取得したライセンス情報から使用期限を取り出し、これを現在の日時と比較する。
(機能制限解除手順4)本体プログラム10の機能制限解除
(機能制限解除手順1)で取得したライセンス情報からライセンス区分(期限付きライセンス、ハードウェア制限ライセンスなどの区別)を取り出し、これを(機能制限解除手順2)の照合結果や(機能制限解除手順3)の比較結果と総合し、本体プログラム10の機能制限を解除するかどうかを決める。本体プログラム10を動作させるのに必要な最小限の機能の制限が解除されなかった場合、ここで本体プログラム10の実行を終了させる。
(機能制限解除手順5)使用許可リスト32の復号化
(機能制限解除手順1)で取得したライセンス情報から使用許可リストパスワードを取り出し、これを使って使用許可リスト取得部163の取得した使用許可リスト32を復号化する。
(機能制限解除手順6)縮約プログラム31の機能制限解除
本体プログラム10がロードしようとしている個々の縮約プログラム31が、復号化された使用許可リスト32に記載されているかどうかを調べる。記載されている場合、その縮約プログラム31の機能制限を解除し、本体プログラム10によるロードが正常に行われるようにする。縮約プログラム31の機能制限を解除する方法としては、縮約プログラム31の実行形式ファイルのコピーを作成し、これに一時的に有効なライセンスキーを書き込んでからロードする方法などが挙げられる。
以上の手順のうちの(機能制限解除手順5)・(機能制限解除手順6)は、本体プログラム10に、使用許可リストパスワードを含む特別な試用ライセンスキーが設定されている場合にのみ実行される。すなわち販売者9cは、試用ライセンスキーと使用許可リスト32を本体プログラム10に提供することにより、使用許可リスト32に記載されている縮約プログラム31を本体プログラム10で使用可能にすることができる。試用ライセンスキーに使用期限を設定しておけば、すべての縮約プログラム31を無償で試用することのできる期間を自由に設定することが可能である。
<使用許可リスト>
使用許可リスト32は、短期間の無償試用を許可された縮約プログラム31を記載したリストである。使用許可リスト32は非公開の手段で暗号化されており、ユーザがその内容を知ることはできない。使用許可リスト32を復号化するには、それぞれに対応する使用許可リストパスワードが必要になる。したがって試用ライセンスキーの提供を受けた本体プログラム10のみが、使用許可リスト32の内容を読み出すことができる。
複数の本体プログラム10が一つのプログラム保管装置3bを共有する場合、それぞれの本体プログラム10に対応する複数の使用許可リスト32を用意することができる。本体プログラム10は、それぞれの使用許可リスト32のファイル名や、使用許可リスト32とともに用意されるカタログファイルを利用し、ある使用許可リスト32が自分自身のために作られたものであるかどうかを判定することができる。
<第4の実施の形態の効果>
以上、この実施の形態においては、無償での使用を許可していない縮約プログラム31が実装する縮約ルールに基づいて行われる縮約を制限することによって、縮約プログラム31を購入していない監視者9aに対して縮約の使用制限を行い、セキュリティの確保やライセンスの保護を図ることができる。また監視者9aが縮約プログラム31を購入していなくても、販売者9cがプログラム保管装置3bに使用許可リスト32を公開させることにより、縮約ルールの使用制限を解除し、任意の縮約プログラム31に実装された縮約ルールの自由な試用を可能とすることができる。そのためトラブルに直面し、個々の縮約プログラム31の動作や使い方を冷静に習得する余裕を持たない監視者9aが、多くの縮約プログラム31を手当たり次第に試すことができるようになる。
<実施の形態にかかるその他の事項>
第1の実施の形態、第2の実施の形態、および第3の実施の形態においては、カメラ監視システム100a、カメラ監視システム100b、およびカメラ監視システム100cを、工作機械59を「監視対象」とするシステムとして構成した。しかし「監視対象」はこれに限定されず、工作機械59以外の機械、たとえば印刷機械、梱包機械、検査機械、運搬機械などの自動機械であってもよい。
またカメラ監視システム100a、カメラ監視システム100b、およびカメラ監視システム100cは、機械の監視以外、たとえば動物や植物の観察、科学現象や自然現象の観察、人体に生じた病変の観察、スポーツや演技におけるフォームの矯正、オフィスや店舗の防犯などに用いられてもよい。
なお上記実施の形態は本発明の例示であり、本発明が上記実施の形態のみに限定されることを意味するものではないことは言うまでもない。
100a,100b,100c,100d・・・カメラ監視システム
1a,1b,1c,1d・・・動画処理装置
10・・・本体プログラム(縮約ルール制限手段)
11・・・フレーム記録部(フレーム記録手段)
12・・・縮約部(縮約手段)
13・・・縮約動画記録部(縮約動画記録手段)
141a,141b・・・トリガ検出部(トリガ検出手段)
145・・・アップローダ(表示管理実行手段)
147・・・ライブ配信部(ライブ配信手段)
148・・・ライブ配信切換手段(配信方法切換手段)
16・・・ライセンス管理部(縮約ルール有効化手段)
2,2(1),2(2),・・・,2(n)・・・ビデオカメラ(撮像手段)
21,21(1),21(2),・・・,21(n)・・・動画(動画)
22,22(1),22(2),・・・,22(m)・・・縮約動画ファイル(縮約済み動画)
24(1),24(2),・・・,24(15)・・・フレーム
31・・・縮約プログラム(縮約ルール制限手段)
32・・・使用許可リスト(有効縮約ルール定義手段)
4a・・・操作装置
4b・・・遠隔操作装置
42・・・表示部(表示手段)
43・・・縮約方法変更部(縮約方法変更手段)
44a,44b・・・ビューワ(表示管理実行手段)
59・・・工作機械(監視対象)
9a・・・監視者

Claims (11)

  1. 視対象としての自動機械を撮像し該自動機械のトラブルの原因を究明するための動画を記録するための複数の撮像手段によって撮像された動画に任意の処理を行う動画処理装置であって、
    前記撮像手段によって撮像された前記動画の構成要素であるフレームを一時的に記録するフレーム記録手段と、
    前記フレーム記録手段に記録された単一または複数の前記フレームの時系列的集合である動画から、あらかじめ設定された縮約ルールに基づいてデータ量を減少させた縮約済み動画を作成する動画縮約処理を行う縮約手段と、
    前記縮約手段によって前記縮約が行われた前記動画を、監視者が目視による監視および/または分析に用いるために記録する縮約動画記録手段とを備え、
    前記縮約手段は、前記縮約の方法を具体的に定義する縮約ルールとしての、前記動画の時間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の空間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の時間的に余剰な品質を低減させる処理を行う前記縮約ルール、前記動画の空間的に余剰な品質を低減させる処理を行う前記縮約ルール、を有する複数の前記縮約ルールを保持する手段を備え、
    複数の前記撮像手段によってそれぞれ撮像された複数の前記動画のうちの少なくとも一つに対し、同時に複数の異なる縮約ルールを使用し、該異なる縮約ルールのそれぞれによる前記縮約を並行して行うことを特徴とする動画処理装置。
  2. 前記縮約手段が前記縮約ルールに基づいて行う前記縮約は、
    前記動画の時間的に余剰な部分を削除する処理としての、前記動画の時間を限定する処理、及び、複数の前記動画のそれぞれ一部の時間帯を抽出してつなぎ合わせる処理、
    前記動画の空間的に余剰な部分を削除する処理としての、画面を複数に分割したそれぞれの領域に複数の前記動画を縮小して埋め込む処理、及び、前記動画の画面から一部の領域を抽出する処理、及び、複数の前記動画から選択された前記撮像手段に対応するものを削除する処理、
    前記動画の時間的に余剰な品質を低減させる処理としての、前記動画のフレームレートを低減させる処理、及び、前記動画を早送り再生させる処理、
    前記動画の空間的に余剰な品質を低減させる処理としての、前記動画の解像度を低減させる処理、及び、前記動画の色分解能を低減させる処理、及び、前記動画に対して不可逆的に符号化方法を変更する処理、
    の少なくともいずれか一つを含む処理であることを特徴とする、請求項1に記載の動画処理装置。
  3. 任意の事象が発生した際に出力されるトリガを検出するトリガ検出手段を備えており、
    前記トリガ検出手段によって前記トリガが検出された時、前記縮約手段が前記縮約済み動画の作成を開始するタイミングと、終了するタイミングのうち、少なくともいずれか一つを決定することを特徴とする、請求項1または2に記載の動画処理装置。
  4. 前記トリガが、前記監視者の操作による任意のコマンドの入力または受信、任意のセンサによる任意の状態の検出、任意のスイッチに対する操作の検出、任意のタイマによる時間経過の検出、前記撮像手段の撮像した任意の動画におけるパターン認識、の少なくともいずれか一つを含むことを特徴とする、請求項に記載の動画処理装置。
  5. 前記監視者によって操作され、前記縮約手段が使用する前記縮約ルールの選択および/または変更を行う縮約方法変更手段を備えたことを特徴とする、請求項1ないし4のいずれか一つに記載の動画処理装置。
  6. 前記縮約手段と、前記縮約方法変更手段とが物理的に離間した位置に設けられたことを特徴とする、請求項に記載の動画処理装置。
  7. 前記縮約手段によって前記縮約が行われた前記動画を、前記監視者が目視による監視に用いる表示手段に表示させるための処理を行う表示管理実行手段を備えたことを特徴とする、請求項1ないし6のいずれか一つに記載の動画処理装置。
  8. 前記撮像手段によって撮像された前記動画の構成要素であるフレームの一部または全部を、前記縮約手段と物理的に離間した位置に設けられた表示手段にリアルタイムに送信するライブ配信手段と、
    前記ライブ配信手段の動作を開始/終了させる配信方法切替手段を備えたことを特徴とする、請求項1ないし7のいずれか一つに記載の動画処理装置。
  9. 前記縮約手段による前記動画縮約処理において、前記縮約ルールのうち少なくとも一部に基づいて行われる前記縮約を制限する縮約ルール制限手段と、
    任意の条件が満たされた際に、前記縮約ルール制限手段による前記制限を解除する縮約ルール有効化手段と、
    前記縮約ルール有効化手段が前記制限を解除するべき前記縮約ルールの集合を規定する有効縮約ルール定義手段とを備えたことを特徴とする、請求項1ないし8のいずれか一つに記載の動画処理装置。
  10. 監視対象としての自動機械を撮像し該自動機械のトラブルの原因を究明するための動画を記録するためのカメラ監視システムであって、
    複数の撮像手段によって撮像された動画に任意の処理を行う任意の監視対象を撮像するための単一または複数の撮像手段と、
    前記撮像手段によって撮像された動画の構成要素であるフレームを一時的に記録するフレーム記録手段と、
    前記フレーム記録手段に記録された単一または複数の前記フレームの時系列的集合である動画から、あらかじめ設定された縮約ルールに基づいてデータ量を減少させた縮約済み動画を作成する動画縮約処理を行う縮約手段と、
    前記縮約手段によって前記縮約が行われた前記動画を、監視者が目視による監視および/または分析に用いるために記録する縮約動画記録手段とを備え、
    前記縮約手段は、前記縮約の方法を具体的に定義する縮約ルールとしての、前記動画の時間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の空間的に余剰な部分を削除する処理を行う前記縮約ルール、前記動画の時間的に余剰な品質を低減させる処理を行う前記縮約ルール、前記動画の空間的に余剰な品質を低減させる処理を行う前記縮約ルール、を有する複数の前記縮約ルールを保持する手段を備え、
    複数の前記撮像手段によってそれぞれ撮像された複数の前記動画のうちの少なくとも一つに対し、同時に複数の異なる縮約ルールを使用し、該異なる縮約ルールのそれぞれによる前記縮約を並行して行うことを特徴とするカメラ監視システム。
  11. コンピュータを、請求項1ないし9のいずれか一つに記載の動画処理装置として機能させることを特徴とするプログラム。
JP2012245296A 2012-11-07 2012-11-07 動画処理装置、カメラ監視システム、プログラム Active JP6116192B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012245296A JP6116192B2 (ja) 2012-11-07 2012-11-07 動画処理装置、カメラ監視システム、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012245296A JP6116192B2 (ja) 2012-11-07 2012-11-07 動画処理装置、カメラ監視システム、プログラム

Publications (2)

Publication Number Publication Date
JP2014096615A JP2014096615A (ja) 2014-05-22
JP6116192B2 true JP6116192B2 (ja) 2017-04-19

Family

ID=50939402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012245296A Active JP6116192B2 (ja) 2012-11-07 2012-11-07 動画処理装置、カメラ監視システム、プログラム

Country Status (1)

Country Link
JP (1) JP6116192B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6493737B2 (ja) * 2015-01-31 2019-04-03 株式会社ハイパーシステム 動画像の蓄積方法
JP2018087729A (ja) * 2016-11-29 2018-06-07 株式会社オーエム機械 センサレス製箱ライン
JP7099687B2 (ja) * 2017-12-13 2022-07-12 株式会社クリューシステムズ 映像監視システム及びその方法と処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322154A (ja) * 1996-05-31 1997-12-12 Sony Corp 監視ビデオ装置
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
JP4287538B2 (ja) * 1999-04-30 2009-07-01 パナソニック株式会社 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム
JP4416341B2 (ja) * 2001-02-28 2010-02-17 株式会社日立製作所 ディジタル監視システムおよび監視カメラ
JP3957509B2 (ja) * 2002-01-17 2007-08-15 株式会社東芝 映像配信サーバ及び映像配信システム
JP2003274360A (ja) * 2002-03-14 2003-09-26 Sony Corp 撮像装置、撮像方法、撮像管理装置、撮像管理システム
JP4380252B2 (ja) * 2003-07-22 2009-12-09 ソニー株式会社 撮像装置および撮像方法
JP2006108869A (ja) * 2004-10-01 2006-04-20 Sony Corp 撮像装置、復号化装置
JP2006302104A (ja) * 2005-04-22 2006-11-02 Sumitomo Electric Ind Ltd 映像記録装置
JP2007251540A (ja) * 2006-03-15 2007-09-27 Matsushita Electric Ind Co Ltd 画像記録システム及び画像記録方法
JP5337970B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP5005607B2 (ja) * 2008-04-22 2012-08-22 株式会社タイテック 監視システム及びイベント記録方法
JP2012060501A (ja) * 2010-09-10 2012-03-22 Mitsubishi Electric Corp 映像監視装置

Also Published As

Publication number Publication date
JP2014096615A (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
JP6753902B2 (ja) ビデオソースデバイスからストリーム配信されるデータの格納管理
JP6161849B1 (ja) 監視装置および監視方法
JP5854194B2 (ja) 監視カメラシステム及び監視方法
US20200092520A1 (en) Computer implemented systems frameworks and methods configured for enabling review of incident data
US20190251834A1 (en) Method and system for configurable security and surveillance systems
JP6116192B2 (ja) 動画処理装置、カメラ監視システム、プログラム
JP2014216663A (ja) 映像データ送信装置及び映像データ管理システム
KR101444006B1 (ko) Ip 카메라의 클라우드 영상 저장 시스템
CN108391147A (zh) 显示控制装置和显示控制方法
JP4317234B2 (ja) 画像表示制御装置および画像表示制御方法および画像表示制御プログラム
CN104883540A (zh) 一种基于中标麒麟操作***的视频监控客户端***
US8505104B2 (en) Apparatus and method for recording and reproducing images
KR101842564B1 (ko) 다중 영상에 대한 집중 영상 감시 방법 및 이를 위한 집중 영상 관리 서버, 집중 영상 감시 시스템, 컴퓨터 프로그램, 그 기록매체
JP4573244B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6453281B2 (ja) 監視カメラシステム、情報処理装置、情報処理方法及びプログラム
KR101706220B1 (ko) 영상 저장 장치 및 영상 저장 장치의 오버라이팅 방법
JP6545439B2 (ja) 操作記録装置、操作記録再生システム、及びプログラム
JP7099687B2 (ja) 映像監視システム及びその方法と処理装置
JP7098367B2 (ja) プログラムプロダクト及び監視制御システム並びに情報処理装置
KR20180039575A (ko) 데이터의 관리
JP6357188B2 (ja) 監視カメラシステム及び監視カメラデータ保存方法
US20170201782A1 (en) Devices, systems, and methods for retrieving and distributing remote video snapshots
US20220286642A1 (en) Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same
JP2005136892A (ja) 画像記録装置およびその制御方法ならびに撮像システム
JP5906806B2 (ja) 動画処理システム及び端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170321

R150 Certificate of patent or registration of utility model

Ref document number: 6116192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250