JP2017156928A - 映像監視装置、映像監視方法、および映像監視システム - Google Patents

Abstract

【課題】 製造個体の識別が可能な場合であれば、生産ラインで製造される製造個体の画像を抽出する場合、一連の画像から画像認識によりその製造個体と位置を確認することが可能である。しかし、例えば食品など個体別の特徴に差が無い、または識別子となるものを付与することが困難な製造個体の場合には、製造個体がどの作業工程であるかを特定することができず、製造個体の作業中の工程の画像を自動的に抽出することが困難であった。
【解決手段】 製造個体の生産ラインの機器を制御する制御機器から取得した制御情報に基づいて、生産ラインを撮影する監視カメラの画像から、製造個体の製造工程の画像を自動的に抽出して表示する。そのため、例えば特定の製造個体で問題が見つかった場合に、画像認識では識別不可な製造個体であっても、ユーザが手作業で画像を抽出するよりも確認作業を省力化することができる。
【選択図】 図２

Description

本発明は、映像により製造工程を監視する映像監視装置、映像監視方法、および映像監視システムに関するものである。

工場内で使用される生産ラインの映像監視システムでは、特定の生産ラインや工程における生産ラインの制御機器の制御データと監視カメラ画像を紐付けて管理することで、トラブル発生時の原因解析を容易にしているものがある。しかし、例えば特定の製造個体で問題が見つかった場合など、その製造個体における前工程の作業内容を確認するためには、時刻以外に検索の手掛かりとなる有効な情報がなく、確認作業の負荷が高いことが課題である。そこで、特許文献１では、画像認識によって製造個体を識別することにより、複数にまたがる作業工程の作業内容を一連の画像で確認する手法が開示されている。

特開２００３−１５０２３０号公報

特許文献１のように、製造個体の識別が可能な場合であれば、生産ラインで製造される製造個体の画像を抽出する場合、一連の画像から画像認識によりその製造個体と位置を確認することが可能である。しかし、例えば食品など個体別の特徴に差が無い、またはバーコードなど識別子となるものを付与することが困難な製造個体の場合には、製造個体がどの作業工程であるかを特定することができず、製造個体の作業中の工程の画像を自動的に抽出することが困難である。

この発明に係る映像監視装置は、製造個体を生産する生産ラインの機器を制御する制御機器から制御情報を取得する制御情報取得手段、前記生産ラインを撮影する監視カメラから画像を取得する画像取得手段、前記制御情報手段で取得した制御情報と前記監視カメラが撮影する撮影範囲の情報を含むカメラ情報とに基づいて、前記画像から前記製造個体を含む画像を抽出する画像抽出手段、前記画像抽出手段で抽出された画像を表示する表示手段、を備えたことを特徴とする。

この発明は、製造個体の生産ラインの機器を制御する制御機器から取得した制御情報に基づいて、生産ラインを撮影する監視カメラの画像から、製造個体の製造工程の画像を自動的に抽出して表示することができる。そのため、例えば特定の製造個体で問題が見つかった場合に、画像認識では識別不可な製造個体であっても、ユーザがそれぞれの工程の画像を手作業で表示して確認するよりも確認作業を省力化することができる。

この発明の実施の形態１における映像監視システム１のシステム構成図である。 この発明の実施の形態１における映像監視装置２の構成図である。 この発明の実施の形態１における映像監視装置２のハードウェア構成図である。 この発明の実施の形態１における映像監視装置２の動作を示すフローチャートである。 この発明の実施の形態１における画像抽出手段９の動作を示すフローチャートである。 この発明の実施の形態２における映像監視装置２の構成図である。 この発明の実施の形態２における映像監視装置２の動作を示すフローチャートである。

実施の形態１．
図１は、この発明の実施の形態１における映像監視システム１のシステム構成図である。
生産ラインを監視する映像監視システム１は、製造個体を生産する生産ラインの映像を監視する映像監視装置２と、生産ラインにおける工作機器またはベルトコンベアを含む機器の動作を制御する制御機器４と、生産ラインを撮影するために設置された複数台の監視カメラ３と、映像監視装置２の画像を表示するディスプレイ５から構成される。

映像監視システム１は、例えば、個体識別が付与されていない製造個体の製造工程で制御機器４が機器を制御する制御情報を用いて、製造個体を含む機器を撮影する監視カメラ３を特定し、特定した監視カメラ３が撮影する画像を自動で切り替えて、ディスプレイ５に表示する。
監視カメラ３、または制御機器４、またはディスプレイ５は、映像監視装置２と一体でもよい。また、映像監視システム１は、制御機器４を除く映像監視装置２と監視カメラ３とディスプレイ５から構成されてもよい。

尚、実施の形態１では、生産ラインが工作機器とベルトコンベアで構成されているとして説明する。また、１工程には１つの機器が設置されていると想定して説明するが、１工程に複数の機器が設置されている場合であっても、制御機器４が制御する機器の識別情報と機器の位置、および機器に対する制御情報が対応づけられた機器情報を用いて、製造個体を含む機器を撮影する監視カメラ３を特定することができ、特定した監視カメラ３が撮影する画像を自動的に抽出することができる。機器情報は、映像監視装置２に予め記憶されているものとして説明するが、外部に記憶された情報を参照してもよい。

図２は、この発明の実施の形態１における映像監視装置２の構成図である。
映像監視装置２は、監視カメラ３の撮影情報を取得し、取得した撮影情報を記憶手段７に記憶する撮影情報取得手段６と、制御機器４から制御情報を取得する制御情報取得手段８と、取得した制御情報から製造個体の生産ラインの位置を検出し、検出した位置を撮影する監視カメラ３を特定し、取得した撮影情報の画像から特定した監視カメラ３の画像を抽出する画像抽出手段９と、抽出した画像をディスプレイ５に表示する表示手段１０から構成される。

図３は、この発明の実施の形態１における映像監視装置２のハードウェア構成図である。
映像監視装置２はコンピュータであり、演算装置１１と、補助記憶装置１２と、主記憶装置１３と、通信装置１４と、入出力インターフェース１５から構成される。映像監視装置２は、スマートフォン、タブレット等の携帯端末でもよい。
演算装置１１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

補助記憶装置１２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ハードディスク装置である。補助記憶装置１２は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｄｉｔａｌ）カードなどの外部記録メディアでもよいし、一次記憶メモリＲＡＭでもよいし、また、映像監視装置２とは別の映像レコーダ等の記録装置であってもよい。

主記憶装置１３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
通信装置１４は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入出力インターフェース１５は、たとえば接続されディスプレイに画像を出力するインターフェースである。

図２の撮影情報取得手段６、制御情報取得手段８、および画像抽出手段９は、図３の主記憶装置１３にロードされたプログラムが、順次、演算装置１１に読み込まれ、実行される。プログラムは、通常は補助記憶装置１２に記憶されており、主記憶装置１３にロードされる。また、撮影情報取得手段６は、通信装置１４を介して監視カメラ３から撮影情報を取得し、制御情報取得手段８は、通信装置１４を介して制御機器４から制御情報を取得する。記憶手段７は、補助記憶装置１２に相当し、表示手段１０は入出力インターフェース１５に相当する。

以下、映像監視装置２の各構成について説明する。
撮影情報取得手段６は、監視カメラ３が撮影した画像、撮影した時刻、および監視カメラを識別する識別情報を取得し、取得した撮影情報を記憶手段７に記憶する。
記憶手段７は、撮影情報取得手段６が取得した撮影情報を記憶し、記憶した撮影情報は画像抽出手段９から参照される。
制御情報取得手段８は、制御機器４から制御情報を取得し、取得した制御情報を画像抽出手段９に出力する。

画像抽出手段９は、制御情報取得手段８から入力された制御情報と、制御機器４が制御する機器の識別情報と機器の位置および機器に対する制御情報が対応づけられた機器情報から、制御機器４が制御している機器で加工または移動中の製造個体の位置を検出する。そして、検出した位置と、監視カメラ３の識別情報と監視カメラ３が撮影する撮影範囲の情報を含むカメラ情報から、検出した位置を撮影する監視カメラ３を特定する。カメラ情報は、映像監視装置２に予め記憶されている、または外部に記憶されている情報を参照できるとする。そして、特定した監視カメラ３で撮影された画像を記憶手段７から抽出して、抽出した画像と検出した位置を表示手段１０に出力する。画像抽出手段９は、特定した監視カメラ３の画像を撮影情報取得手段６から取得して表示手段１０に出力してもよい。 表示手段１０は、画像抽出手段９から入力された画像と検出した位置をディスプレイ５に表示する。

次に、実施の形態１における映像監視装置２の動作について説明する。
図４は、この発明の実施の形態１における映像監視装置２の動作を示すフローチャートである。
撮影情報取得手段６は、監視カメラ３から常時送信される撮影情報を取得し（ステップ（以下Ｓ）１）、記憶手段７に記憶する。撮影情報は、例えば監視カメラ３が撮影した画像、撮影した時刻、および監視カメラを識別する識別情報を含む。

また、制御情報取得手段８は、制御機器４から制御情報を取得し（Ｓ２）、取得した制御情報を画像抽出手段９に出力する。制御情報には、例えば生産ラインの所定の箇所に設置されたセンサのセンサ値、ベルトコンベアのモータの回転数を含む動作値、工作機器の動作値、および時刻情報を含む。センサ値には、製造個体の監視開始の位置を検出するセンサ値を含む。

そして、画像抽出手段９は、入力された制御情報に基づいて、制御機器４が制御している機器で加工または移動中の製造個体の位置を検出し（Ｓ３）、検出した位置を撮影する監視カメラ３を特定する（Ｓ４）。位置を検出し、監視カメラ３を特定する処理の詳細な説明は後述する。そして、特定した監視カメラ３の画像から入力された制御情報の時刻情報と一致する画像を記憶手段７から抽出する（Ｓ５）。そして、抽出した画像と検出した位置を表示手段１０に出力する。抽出した画像に、入力された制御情報と機器情報から判定できる製造工程を付加して表示してもよい。
そして、表示手段１０は、入力された画像と検出した位置をディスプレイ５に表示する（Ｓ６）。
尚、撮影情報取得手段６は、Ｓ１で監視カメラ３から撮影情報を取得した時に、記憶手段７に記憶してもよいし、Ｓ５で特定された監視カメラ３の撮影情報のみを記憶手段７に記憶してもよい。

次に、画像抽出手段９が監視カメラ３を特定して、特定した監視カメラ３の画像を抽出する処理（Ｓ３とＳ４の処理）について説明する。
図５は、この発明の実施の形態１における画像抽出手段９の動作を示すフローチャートである。
画像抽出手段９は、制御情報取得手段８から取得した制御情報が入力されると（Ｓ１１）、制御情報の制御値がベルトコンベアを動作させる制御値であるか否かを判定する（Ｓ１２）。

画像抽出手段９は、入力された制御情報と予め記憶された機器情報から、制御情報の制御値がベルトコンベアの動作であると判定した場合、例えば、制御情報からモータの総回転数の情報を抽出し、総回転数からベルトコンベアの動作により移動する距離を算出する（Ｓ１３）。

また、入力された制御情報と予め記憶された機器情報から、制御情報の制御値がベルトコンベアの動作ではないと判定した場合、例えば制御情報の制御値は工作機器を動作させる制御値であるため、予め記憶された機器情報と入力された制御情報から、作業中の工程を判定する（Ｓ１４）。
尚、ここでは１工程に１つの機器が設置されていると想定して説明するが、１工程に複数の機器が設置されている場合であっても、１工程に含まれる複数の機器と各機器の制御情報が対応づけられた機器情報を用いることで、同様に作業中の工程を判定することができる。

そして、制御情報から得られるセンサ値であって、監視する製造個体の監視開始の位置を検出したセンサ値と、Ｓ１３で算出した距離またはＳ１４で判定した作業中の工程から製造個体の生産ラインの位置を検出する（Ｓ１５）。

そして、画像抽出手段９は、検出した製造個体の位置が、カメラ情報の撮影範囲内である監視カメラ３を特定する（Ｓ１６）。そして、特定した監視カメラ３の識別情報を用いて、記憶手段７から特定した監視カメラ３の画像を抽出する。尚、特定した監視カメラの画像は、撮影情報取得手段６から取得してもよい。

制御情報は、複数の機器の複数種類の制御値であることが想定されるため、必要に応じてＳ１１〜Ｓ１６の処理を繰り返すことで監視カメラ３を特定する。例えば、ベルトコンベアによって移動しながら工作機器が製造個体を加工する場合には、Ｓ１３で算出した距離とＳ１４で判定した作業中の工程から製造個体の生産ラインの位置を検出する。

以上のように、本実施の形態１では、制御機器４から取得した制御情報を用いて製造個体の生産ラインの位置を検出し、検出した位置を撮影する監視カメラを特定するので、識別子が付与できないような製造個体であっても、制御機器４が制御している機器で加工または移動中の製造個体を撮影した画像を自動的に切り替えて表示することができる。そのため、監視対象の製造個体に問題が発生した場合、監視開始の位置から製造工程のすべての画像を自動的、連続的に確認することができ、ユーザがそれぞれの工程の画像を手作業で表示して確認するよりも、問題が発生した工程の画像を確認する作業を省力化することができる。

また、工作機器を制御する制御情報から、工作機器の動作がわかるため、製造個体にどのような工程が行われたか、工作機器がどのような加工を行ったかがわかる。そのため、製造個体に対して工作機器によってどのような加工を行うかという製造情報があれば、製造個体の特徴を判定することができるので、制御情報を用いて判定した特徴の製造個体の位置を検出し、検出した位置を撮影する監視カメラ３を特定するので、判定した特徴の製造個体を含む画像を自動的に切り替えて表示することができる
なお、特定した監視カメラ３の画像のみを記憶手段７に記憶させる場合、記憶する画像を限定することで、すべての監視カメラ３の稼働中の画像を記録するよりも記憶容量を削減または長時間の記録を可能にすることができる。

実施の形態２．
次に、ユーザが指定する時間に製造された複数の製造個体について、ユーザが指定した同一工程で、複数の製造個体を撮影した画像を並べて表示する例について説明する。
図６は、この発明の実施の形態２における映像監視装置２の構成図である。
図２と同一符号は同一又は相当部分を示し説明を省略する。
実施の形態２における映像監視装置２は、実施の形態１を示す図１の全体構成に対して新たに制御情報記憶手段１６を備える。

以下、実施の形態１の構成と異なる制御情報記憶手段１６と、制御情報記憶手段１６に関連する構成について説明する。
制御情報取得手段８は、制御機器４から取得した制御情報を制御情報記憶手段１６に出力する。
制御情報記憶手段１６は、入力された制御情報を記憶手段７に記憶する。

画像抽出手段９は、ユーザが指定する時間に製造された異なる複数の製造個体について、ユーザが指定する同一工程の開始時刻を特定する。そして、ユーザが指定した工程を撮影する監視カメラ３が撮影した画像のうち、特定された開始時刻以降の画像を記憶手段７から抽出して、制御情報と共に抽出した画像を表示手段１０に出力する。
表示手段１０は、制御情報が付加された異なる複数の製造個体を含む複数の画像を並べてディスプレイ５に表示する。

制御情報記憶手段１６は、図３に示した主記憶装置１３にロードされたプログラムが、順次、演算装置１１に読み込まれ、実行される。プログラムは、通常は補助記憶装置１２に記憶されており、主記憶装置１３にロードされる。

次に、実施の形態２における映像監視装置２の動作について説明する。
図７は、この発明の実施の形態２における映像監視装置２の動作を示すフローチャートである。
撮影情報取得手段６は、監視カメラ３から撮影情報を取得し（Ｓ２１）、記憶手段７に記憶する。また、制御情報取得手段８は、制御機器４から制御情報を取得し（Ｓ２２）、取得した制御情報を記憶手段７に記憶する（Ｓ２３）。

そして、製造個体が製造された時間と所定の生産ラインの工程がユーザから指定されると、画像抽出手段９は、予め記憶された機器情報を用いて、ユーザが指定した時間に最終工程であった時刻情報を含む制御情報を記憶手段７から抽出する。そして、抽出された制御情報と、最終工程の位置から、ユーザが指定した時間に最終工程であった複数の製造個体それぞれについて、指定された工程の開始時刻を特定する（Ｓ２４）。

まず、開始時刻の特定は、最終工程から指定された工程までの距離と、実施の形態１に示した制御情報から判別したベルトコンベアの動作により算出した移動の距離から、その移動に必要な時間を算出する。
次に、最終工程からユーザが指定した工程までの制御情報と予め記憶された機器情報により、最終工程から指定された工程までの工作機器を特定し、特定した工作機器が製造個体を加工するために必要な時間を算出する。

そして、移動に必要な時間と、特定された工作機器の加工に必要な時間から指定された工程の開始時刻を算出することができる。即ち、最終の工程の制御情報と、ユーザが指定した工程までの制御情報と機器情報から指定された工程の開始時刻を算出する。
そして、画像抽出手段９は、指定された工程を撮影範囲に含む監視カメラ３をカメラ情報から特定し、指定された工程を撮影した画像から複数の製造個体それぞれについて特定した開始時刻以降の画像を記憶手段７から抽出する（Ｓ２５）。
そして、画像抽出手段９は、抽出した画像の時刻情報と制御情報の時刻情報から画像と制御情報を対応させて表示手段１０に出力する。

そして、表示手段１０は、画像抽出手段９から入力された画像に制御情報を付加して、制御情報毎に対応する画像に分割してディスプレイ５に表示する（Ｓ２６）。制御情報毎に表示される画像は、制御情報に対応した製造個体を含む工程の画像となる。そのため、分割された画像には、ユーザが指定した時間に製造された複数の製造個体毎に、指定された同一工程以降の工程の画像が順次表示される。
尚、複数の製造個体の数が多く、分割した１画面に表示されない場合は、例えば次の画面をユーザが指示することで表示可能になる。

以上のように、本実施の形態２では、製造個体が製造された時間と所定の工程をユーザが指定すると、最終工程の制御情報と、ユーザが指定した工程までの制御情報と機器情報から、指定された工程の開始時刻を特定するので、複数の製造個体それぞれについて特定した開始時刻以降の画像を記憶手段７から抽出して並べて表示することができる。そのため、識別子が付与できないような製造個体であっても、製造後に製造個体に不具合があった場合に、不具合があった製造時間と所定の工程を指定すると、その時間に製造された複数の製造個体を含む所定の工程の画像を自動的に抽出して、製造個体毎に並べて順次表示することができるので、ユーザがそれぞれの工程の画像を手作業で表示して確認するよりも、問題が発生した工程の確認作業を省力化することができる。

１ 映像監視システム、２ 映像監視装置、３ 監視カメラ、４ 制御機器、５ ディスプレイ、６ 撮影情報取得手段、７ 記憶手段、８ 制御情報取得手段、9 画像抽出手段、１０ 表示手段、１１ 演算装置、１２ 補助記憶装置、１３ 主記憶装置、１４ 通信装置、１５ 入出力インターフェース、１６ 制御情報記憶手段。

Claims (7)

1. 製造個体を生産する生産ラインの機器を制御する制御機器から前記機器を制御する制御情報を取得する制御情報取得手段、
   前記生産ラインを撮影する監視カメラから画像を取得する画像取得手段、
   前記制御情報取得手段で取得した制御情報と前記監視カメラが撮影する撮影範囲の情報を含むカメラ情報とに基づいて、前記画像から前記製造個体を含む画像を抽出する画像抽出手段、
   前記画像抽出手段で抽出された画像を表示する表示手段、
   を備えたことを特徴とする映像監視装置。
2. 前記画像抽出手段は、前記制御情報と、前記機器毎の位置と制御情報とが対応づけられた機器情報と、を用いて前記製造個体の生産ラインの位置を検出し、検出した位置と前記カメラ情報から前記監視カメラを特定し、当該特定した監視カメラから取得した画像から前記製造個体を含む画像を抽出することを特徴とする請求項１に記載の映像監視装置。
3. 前記画像抽出手段は、前記制御情報の制御値が前記生産ラインを構成するベルトコンベアを動作させる制御値であるか否かを判定し、ベルトコンベアを動作させる制御値である場合は、当該制御値から前記ベルトコンベアの動作により移動する距離を算出し、当該距離と前記制御情報に含まれる前記製造個体の監視開始の位置を検出するセンサ値とに基づいて前記製造個体の位置を検出することを特徴とする請求項２に記載の映像監視装置。
4. 前記画像抽出手段は、前記制御情報の制御値が前記生産ラインを構成するベルトコンベアを動作させる制御値であるか否かを判定し、ベルトコンベアを動作させる制御値ではない場合、前記機器情報を用いて前記制御情報に対応した機器の位置を特定し、特定した位置を前記製造個体の生産ラインの位置として検出することを特徴とする請求項２に記載の映像監視装置。
5. 前記制御情報取得手段で取得された制御情報と、前記画像取得手段で取得された画像と、を記憶する記憶手段を更に備え、
   前記画像抽出手段は、ユーザから時間と前記生産ラインの工程が指定されると、前記機器毎の位置と制御情報とが対応づけられた機器情報を用いて、指定された時間に製造された複数の前記製造個体それぞれの最終工程の制御情報を前記記憶手段に記憶された制御情報から抽出し、当該制御情報に基づいて、前記指定された工程以降の前記製造個体を含む画像を前記記憶手段から抽出することを特徴とする請求項１に記載の映像監視装置。
6. 製造個体を生産する生産ラインを撮影する監視カメラから取得した映像を監視する映像監視装置の映像監視方法において、
   前記生産ラインの機器を制御する制御機器から前記機器を制御する制御情報を取得する制御情報取得ステップ、
   前記生産ラインを撮影する監視カメラから画像を取得する画像取得ステップ、
   前記制御情報取得ステップで取得した制御情報と前記監視カメラが撮影する撮影範囲の情報を含むカメラ情報とに基づいて、前記画像から前記製造個体を含む画像を抽出する画像抽出ステップ、
   前記画像抽出ステップで抽出された画像を表示する表示ステップ、
   を備えたことを特徴とする映像監視方法。
7. 製造個体を生産する生産ラインの機器を制御する制御機器と、
   前記生産ラインを撮影する監視カメラと、
   前記制御機器から前記機器を制御する制御情報を取得する制御情報取得手段、
   前記生産ラインを撮影する監視カメラから画像を取得する画像取得手段、
   前記制御情報取得手段で取得した制御情報と前記監視カメラが撮影する撮影範囲の情報を含むカメラ情報とに基づいて、前記画像から前記製造個体を含む画像を抽出する画像抽出手段、
   前記画像抽出手段で抽出された画像を出力する表示手段、を備えた映像監視装置と、
   前記映像監視装置から出力された画像を表示するディスプレイと、
   を備えたことを特徴とする映像監視システム。

Images