JP2020010154A - Dangerous work detection system, analysis device, display device, dangerous work detection method, and dangerous work detection program - Google Patents
Dangerous work detection system, analysis device, display device, dangerous work detection method, and dangerous work detection program Download PDFInfo
- Publication number
- JP2020010154A JP2020010154A JP2018128844A JP2018128844A JP2020010154A JP 2020010154 A JP2020010154 A JP 2020010154A JP 2018128844 A JP2018128844 A JP 2018128844A JP 2018128844 A JP2018128844 A JP 2018128844A JP 2020010154 A JP2020010154 A JP 2020010154A
- Authority
- JP
- Japan
- Prior art keywords
- person
- dangerous work
- work
- moving image
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Closed-Circuit Television Systems (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、作業者の作業の様子を撮影した映像から、危険が推定される作業を検出する技術に関する。 The present invention relates to a technique for detecting a work in which a danger is estimated from a video image of a worker's work.
従来、作業者の作業の安全を確保する施策として、作業の様子をビデオカメラで撮影し、撮影した動画の映像を持ち帰って、目視で確認することで、危険な作業を実施していなかったかどうかを人間が判定して、今後の作業の改善に役立てるという活動が行われていた。 Conventionally, as a measure to ensure the safety of workers' work, whether they performed dangerous work by taking a picture of the work with a video camera, bringing back the video of the video taken, and checking it visually An activity has been conducted in which a human judges the situation and uses it to improve future work.
例えば、サーバー室での機器設置工事作業においては、サーバーラック天井部にケーブルを敷設する際、脚立や梯子などの台の上に人が上って工事作業を行う。この際、足を滑らせて脚立から落下したり、脚立が転倒したりといった事故が発生し、重篤な怪我につながるケースが散見されている。これを防止するために落下防止ベルトなどの安全具を装着するなどの作業手順が規定されている。作業者の作業状況を監視する技術として、特許文献１がある。 For example, in equipment installation work in a server room, when a cable is laid on the ceiling of a server rack, a person climbs on a platform such as a stepladder or a ladder to perform the work. At this time, accidents such as slipping and falling from the stepladder or falling down of the stepladder have occurred, and there have been cases where serious injuries are caused. In order to prevent this, work procedures such as wearing a safety device such as a fall prevention belt are prescribed. As a technique for monitoring the work situation of an operator, there is Patent Document 1.
作業手順の遵守は、作業者個人に委ねられているのが実情である。そこで、撮影した映像を確認して、このような作業をしている際に安全具が正しく装着されているかを第三者が後日確認して、作業改善の指導を行うことが行われている。 In fact, compliance with the work procedure is left to the individual worker. Therefore, it is practiced to check the photographed video and at a later date a third party check whether the safety equipment is properly worn during such work and provide guidance on work improvement. .
しかしながら、映像の確認は、全て人手による目視作業に頼っており、膨大な手間がかかるという問題があり、この手間の軽減が課題となっていた。 However, the confirmation of the video all relies on manual visual work, and there is a problem that it takes enormous effort, and reduction of the effort has been an issue.
本発明は以上の課題を鑑みてなされたものであり、本発明の目的は、作業者の作業の様子を撮影した映像から、危険が推定される作業を検出し、ユーザの作業負荷を低減する技術を提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to detect a work in which danger is estimated from a video of a state of a work of a worker and reduce a work load on a user. To provide technology.
本発明は、解析装置と表示装置とを有する危険作業検出システムであって、前記解析装置は、作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する危険作業解析部を備え、前記表示装置は、前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする。 The present invention is a dangerous work detection system having an analysis device and a display device, wherein the analysis device analyzes a plurality of still images extracted from a moving image of the work, and performs a dangerous image in which the dangerous work is performed. The display device reproduces at a first speed a portion of the still image on which the dangerous work is performed, and displays a portion other than the still image on which the dangerous work is performed. Playback at a second speed higher than the first speed, or skip without playback.
本発明は、危険作業を検出する解析装置であって、作業を撮影した動画から抽出した複数の静止画を解析し、各静止画から人物を検出する人物検出部と、前記複数の静止画を解析し、各静止画から、危険作業の要因となる対象物を検出する対象物検出部と、前記人物検出部の検出結果および前記対象物検出部の検出結果を用いて、前記複数の静止画の危険度を判定する危険度判定部と、前記危険度がない静止画の部分のみ、再生速度がｎ倍になるように編集して動画を作成する動画作成部と、を備える。 The present invention is an analysis device that detects a dangerous work, analyzes a plurality of still images extracted from a moving image of the work, a person detection unit that detects a person from each still image, and the plurality of still images. Analyzing, from each still image, an object detection unit that detects an object that is a cause of dangerous work, and using the detection result of the person detection unit and the detection result of the object detection unit, the plurality of still images And a moving image creator that edits only a portion of a still image having no risk to increase the reproduction speed by n times to create a moving image.
本発明は、作業を撮影した動画を再生する表示装置であって、前記表示装置の画面には、前記動画を表示する領域と、前記動画の再生位置を示すシークバーと、前記シークバーに対応する時間帯における作業の危険度の有無または危険度のレベルを、それぞれ異なる色または異なる模様で示すカラーバーと、が表示され、前記危険度の有または危険度のレベルが高い第１の時間帯の動画を、第１の速度で再生し、前記第１の時間帯以外の第２の時間帯の動画を、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生部を備える。 The present invention is a display device for reproducing a moving image obtained by photographing a work, and a screen of the display device includes a region for displaying the moving image, a seek bar indicating a reproduction position of the moving image, and a time corresponding to the seek bar. A color bar indicating the presence or absence of the risk of the work in the band or the level of the risk in a different color or a different pattern is displayed, and the moving image of the first time zone having the risk or the high level of the risk is displayed. Playing at a first speed and playing back a moving image in a second time zone other than the first time zone at a second speed higher than the first speed, or skipping without playing back Is provided.
本発明は、解析装置と表示装置とを有する危険作業検出システムが行う危険作業検出方法であって、前記解析装置は、作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する検出ステップを行い、前記表示装置は、前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生ステップを行う。 The present invention is a dangerous work detection method performed by a dangerous work detection system including an analysis device and a display device, wherein the analysis device analyzes a plurality of still images extracted from a moving image of the work, and performs a dangerous work. Performing a detecting step of detecting a still image being performed, wherein the display device reproduces a portion of the still image in which the dangerous work is performed at a first speed, and displays the still image in which the dangerous work is performed. For other parts, a reproduction step of reproducing at a second speed higher than the first speed or skipping without reproducing is performed.
本発明は、コンピュータを、上記解析装置として機能させるための危険作業検出プログラムである。 The present invention is a dangerous work detection program for causing a computer to function as the analysis device.
本発明は、コンピュータを、上記表示装置として機能させるための危険作業検出プログラムである。 The present invention is a dangerous work detection program for causing a computer to function as the display device.
本発明によれば、作業者の作業の様子を撮影した映像から、危険が推定される作業を検出し、ユーザの作業負荷を低減する技術を提供することができる。 Advantageous Effects of Invention According to the present invention, it is possible to provide a technique for detecting a work in which danger is presumed from a video image of a worker's work and reducing the work load on the user.
本発明の実施の形態の一つを以下に示す。 One embodiment of the present invention is described below.
図１は、本実施の形態におけるシステムの構成を示す。 FIG. 1 shows a configuration of a system according to the present embodiment.
本システムは、解析装置101と表示装置102とを有し、これらの装置はネットワーク103を介して接続されている。
This system has an
解析装置101は、ビデオカメラ 105で撮影した動画の映像を入力とする。
The
解析装置101は、静止画抽出部111と、危険作業解析部112と、動画作成部113とを有する。
The
危険作業解析部112は、作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する。図示する危険作業解析部112は、静止画を解析して人物を検出する人物検出部121と、静止画を解析して静止画から台（対象物）を検出する台検出部122（対象物検出部）と、人物検出部121および台検出部122の検出結果を用いて、複数の静止画の危険度を判定する危険度判定部123とを有する。
The dangerous
人物検出部121は、学習済みモデル131と、ディープラーニング(DL)ライブラリ 132とを有する。台検出部122は、学習済みモデル141と、DLライブラリ142とを有する。危険度判定部123は、第一判定部151と、第二判定部152と、第三判定部153と、判定結果算出部154とを有する。
The
動画作成部113は、危険度がない静止画の部分のみ、再生速度がN倍になるように編集して動画を作成する。動画作成部113は、枠描画部161と、再生速度変更部162とを有する。
The moving
表示装置102は、画面 171と、ユーザ入力手段172と、再生部173とを具備する。ユーザ入力手段172は、マウス、タッチパッド、タッチスクリーン、キーボード、ボタンなどを含む各種の入力デバイスであってよい。再生部173は、危険作業が実施されている静止画の部分は第１の速度で再生し、危険作業が実施されている静止画以外の部分は、第１の速度より速い第２の速度で再生、または、再生せずスキップする。
The
これらの装置101、102は、以下に順次示す手順によって、危険が推定される作業の映像を検出して表示する動作を行う。
These
まず、解析装置101は、ビデオカメラ105で撮影した動画の映像を入力とする。ここでは、例えば再生時間10分の動画が撮影され、そのファイルが解析装置101に入力されたものとする。
First, the
静止画抽出部111は、当該動画を複数の静止画（フレーム）に分割し、さらに、静止画の間引きを行う。すなわち、連続するM個のフレームの中から1フレーム抽出する。具体的には、動画が毎秒30フレームで撮影されていたとして、例えば6枚に1枚のフレームのみを選択し、毎秒5フレーム相当に間引く。この間引き処理によって、以降の解析処理にかかる計算量の総量を削減することができる。
The still
作業の様子を撮影した動画において、0.2秒を大きく下回る短い時間で様相がめまぐるしく変化することはないから、このような間引き処理は用途に照らし合わせて妥当である。 Such a thinning-out process is appropriate in light of the application because the appearance does not change rapidly in a short time that is significantly less than 0.2 seconds in a moving image of the work.
以降、危険作業解析部112は、上記間引き処理で抽出された複数の静止画（静止画群）を入力し、各々の静止画について、画像解析処理を行っていく。
Thereafter, the dangerous
なお、元来、動画とは毎秒30フレームなど連続的に撮影した静止画の集まりを、連続的に表示することで実現されているものである。そのため、動画を扱う場合には、動画を実現するファイル形式を用いてもよいし、あるいは、静止画のファイルの集合を用いてもよく、これらは等価であるから、後者の手法であっても実質的に動画を取り扱うことができる。ここでは、動画には、動画を実現するファイル形式だけでなく、静止画のファイルの集合も含まれる。 Originally, a moving image is realized by continuously displaying a group of continuously shot still images such as 30 frames per second. Therefore, when dealing with moving images, a file format that realizes moving images may be used, or a set of files of still images may be used. Since these are equivalent, the latter method may be used. It can handle video substantially. Here, the moving image includes not only a file format for realizing the moving image but also a set of still image files.
図２は、解析しようとする静止画の一例を示す。 FIG. 2 shows an example of a still image to be analyzed.
ここでは例えば、静止画抽出部111が前記間引き処理を行った結果、開始から4分経過時点での映像が図２のような様子であったことを表す。静止画 201には、人物 202と脚立 203が映っている。本実施の形態では、危険作業の要因となる可能性のある所定の対象物（道具、装置など）として、脚立などの台を検出する例を以下に示していく。
Here, for example, as a result of performing the thinning-out process by the still
なお、対象物は、脚立、はしご、踏み台、足場台、作業台など、高い位置で作業するために人が乗る台に限定されない。例えば、対象物は、ケーブル、配線などを切断する道具（はさみ、ナイフなど）であってもよい。 Note that the target object is not limited to a platform on which a person rides to work at a high position, such as a stepladder, a ladder, a step platform, a scaffolding platform, and a work platform. For example, the target object may be a tool (scissors, a knife, or the like) for cutting a cable, a wiring, or the like.
危険作業解析部112は、入力された静止画から、まず、人物検出部121によって人物を検出する。人物検出部121には、予め人物の画像を学習させた結果として得られる学習済みモデル131が構成要素として組み込まれている。DLライブラリ132は、学習済みモデル131を用いて、入力された画像（静止画）から人物が映っているか否かを判定し、判定の際の確からしさを確信度として出力する。さらに、DLライブラリ132は、映りこんでいる人物の静止画の中の位置（ここでは左上と右下の座標）を取得する。
The dangerous
画像を処理対象とするDLライブラリは、その実装はオープンソース等で広汎に利用可能であり、予め大量の教師データをDLの学習機能に入力することで、ニューラルネットワークの繋がりを学習させる。これにより、DLライブラリは、人物検出部121のDLライブラリ132のように実際に利用した際に、予め学習させたデータと同一種の画像が映りこんでいるか否かを判定し、判定の際の確からしさを確信度として出力し、さらに、映りこんでいる前記同一種の画像の位置の左上と右下の座標を得ることができる。
The implementation of the DL library for processing images is widely available in open source and the like, and the connection of the neural network is learned by inputting a large amount of teacher data to the DL learning function in advance. With this, the DL library determines whether or not an image of the same type as the previously learned data is reflected when actually used like the
このようなDLライブラリの実装を用いることで、上記述べた人物検出部121は実現できる。
By using the implementation of such a DL library, the above-described
危険作業解析部112は、次に、台検出部122によって対象物すなわち本実施の形態においては脚立を検出する。台検出部122には、予め対象物の画像を学習させた結果得られる学習済みモデル141が構成要素として組み込まれている。DLライブラリ142は、学習済みモデル141を用いて、入力された画像から対象物が映っているか否かを判定し、判定の際の確からしさを確信度として出力し、さらに、映りこんでいる対象物の位置の左上と右下の座標を取得する。
Next, the dangerous
図３は、静止画から人物と台を検出した様子を示す。 FIG. 3 shows a state where a person and a platform are detected from a still image.
この例では、人物 202も台 203も静止画 201に映っているから、人物および台の検出に成功している。したがって、危険作業解析部112は、人物202のX座標が301から302の範囲で、人物のY座標が311から312の範囲であるという検出結果を取得する。また、危険作業解析部112は、台のX座標が303から304の範囲で、台のY座標が313から314の範囲であるという検出結果を取得する。また、危険作業解析部112は、人物と台のそれぞれについての確信度（百分率の値）を取得する。
In this example, since both the
危険作業解析部112は、次に、危険度判定部123によって、前記得られた検出結果に基づき、以下の手順で危険度を判定する。
Next, the risky
まず、危険度判定部123の第一判定部151は、人物検出部121と台検出部122が、入力された静止画から、それぞれ人物と台とを両方とも検出したか否かを判定する。次に、危険度判定部123の第二判定部152は、検出された人物と台の水平方向（X軸方向）が重なっていることを判定する。具体的には、第二判定部152は、人物のX座標301から302と、台のX座標303から304とで、集合の重なり（インターセクション）が空集合ではない場合に、水平方向が重なっていると判定する。また、第二判定部152は、検出された人物と台とが、水平方向に重なっているかだけでなく、近傍にあるかを判定することとしてもよい。
First, the
次に、危険度判定部123の第三判定部153は、検出された人物と台とにおいて、人物が上方にあり台が下方にあるか否かを判定する。すなわち、第三判定部153は、人物が台より上方にあるかを判定する。具体的には、第三判定部153は、人物のY座標311から312のうち下限312の値が、台のY座標313から314のうち下限314の値より上方を示す値である場合に、人物が上方にあり台が下方にあると判定する。人物の下限312の値が台の下限314の値より上方を示す値の場合とは、下限312の値が下限314の値より大きい値のことである。
Next, the
次に、危険度判定部123の判定結果算出部154は、上記の第一判定部151から第三判定部 153で得られた判定結果に基づき、以下のようにして結果を判定する。
Next, the determination
図４は、判定結果算出部154の動作のフローチャートを示す。
FIG. 4 shows a flowchart of the operation of the determination
まず、判定結果算出部154は、処理を開始すると(手順 401)、第一判定部151の判定結果に基づき人物と台の両方が検出されたか否かを確認し(手順 402)、NOであれば、危険度の有無としては無を、危険度のレベルとしてはLv0を、それぞれ検出値とする(手順 412)。
First, upon starting the process (step 401), the determination
手順 402：YESであれば、判定結果算出部154は、次に、第二判定部152の判定結果に基づき人物と台の水平方向が重なっているか否かを確認し(手順 403)、NOであれば、危険度の有無としては無を、危険度のレベルとしてはLv1を、それぞれ検出値とする(手順 413)。
Step 402: If YES, the determination
手順 403：YESであれば、次に、判定結果算出部154は、第三判定部153の判定結果に基づき人物が上方にあり台が下方にあるか否かを確認し(手順 404)、NOであれば、危険度の有無としては無を、危険度のレベルとしてはLv1を、それぞれ検出値とする(手順 414)。この場合、判定結果算出部154は、人物と物は、水平方向で重なっているが、人物は台より上方にいない（例えば、人物は台に乗っていない）状態であるため、危険度の有無を無と判定する。
Step 403: If YES, then, the determination
手順 404：YESであれば、判定結果算出部154は、危険度の有無としては有を、危険度のレベルとしてはLv2を、それぞれ検出値とする(手順 415)。この場合、判定結果算出部154は、人物は台より上方にいる、例えば、人物は台に乗っている状態であるため、危険度の有無を有と判定する。
If the
判定結果算出部 154は、次に、上記いずれの検出値であるかに係わらず共通して、危険度の指数値を算出または取得する(手順 406)。ここでは、判定結果算出部154は、2つの指数値を取得することとする。1つ目の指数値として、判定結果算出部154は、人物検出部121のDLライブラリ132が判定の際に出力した前記確信度の百分率の値を取得する。2つ目の指数値として、判定結果算出部154は、台検出部122のDLライブラリ142が判定の際に出力した前記確信度の百分率の値を取得する。なお、判定結果算出部 154は、人物検出部121が出力した確信度（百分率の値）と、台検出部122が出力した確信度（百分率の値）の平均値を、指標値として算出してもよい。
Next, the determination
以上で判定結果算出部154は処理を終える(手順 407)。
Thus, determination
以上一連の手順により、解析装置101の危険作業解析部112は、各静止画に対して危険作業を検出することができる。検出の結果は、入力として複数の静止画に対して処理を行ったのであるから、各静止画に対する解析結果の集合として結果が得られる。
Through the above-described series of procedures, the dangerous
次に、解析装置101の動画作成部113は、以下に述べる処理を行う。
Next, the moving
まず、動画作成部113の枠描画部161は、人物または台のいずれかまたは両方が検出された静止画に対して、それらを囲う枠を描画した新たな静止画を作成する。
First, the
図５は、図２で示される入力の静止画に対して、検出結果に基づき、枠を描画した様子を示す。枠の描画に用いる座標は、図３の301から304、311から314で示される座標値をそのまま用いればよい。枠描画部161は、静止画抽出部111により抽出された各静止画について、人物および台の少なくとも1つが検出されている場合、枠を描画する。
FIG. 5 shows a state where a frame is drawn based on the detection result with respect to the input still image shown in FIG. As the coordinates used for drawing the frame, the coordinate values indicated by 301 to 304 and 311 to 314 in FIG. The
動画作成部113は、次に、上記で枠が描画された静止画群を元に、動画を新たに生成する。なお、枠が描画されなかった静止画については、元の画像をそのまま用いればよい。
Next, the moving
ただしこの際、動画作成部113は、生成された静止画を利用者がより利便性高く閲覧できるように、以下で示すさらなる処理を行う。
However, at this time, the moving
動画作成部113の動作を説明するための一例として、ここでは、時間帯に応じて危険な作業を行っていたり行っていなかったりが変化する映像を入力した場合を例にとり、その映像を解析した判定結果を踏まえて、動画作成部113の再生速度変更部162がどのような動作を行うかについて述べていく。
As an example for explaining the operation of the moving
図６は、映像のそれぞれの時間帯における判定結果の一覧を示す。再生速度変更部162は、危険度判定部123の判定結果に基づいて、例えば図６に示すような一覧を生成する。なお、図６は、本実施の形態を説明するために便宜上提示する図表であり、解析装置 101がこのような構成のデータベースを格納する必要は必ずしもなく、解析の中間結果は、配列変数やファイル等で適宜保持してあればよい。
FIG. 6 shows a list of the determination results in each time zone of the video. The reproduction
行601は、動画における開始0分から4分の時間帯は、あまり危険がない作業を行った様子を撮影しており、その映像を解析した結果として、危険度が無く、危険度のレベルがLv0で、これらの時間帯における危険度の2つの指数値を表すデータ集合Aが存在するという結果が得られていることを表している。
同様に、行602は、動画における開始4分から5分の時間帯は、危険が高い作業を行った様子を撮影しており、その映像を解析した結果として、危険度が有り、危険度のレベルがLv2で、これらの時間帯における危険度の二つの指数値を表すデータ集合Bが存在するという結果が得られていることを表している。行603から605も、同様の内容を表している。図６に示す例では、再生速度変更部162は、「危険度の有無」あるいは「危険度のレベル」が変化した場合、新たな行（レコード）を生成する。
Similarly, a
動画作成部113の再生速度変更部162は、このような映像に対して、「危険度が無い」と判定された時間帯について、再生速度がN倍（ここでは、4倍）になるような編集を行う。
The playback
具体的には、再生速度変更部162は、行601と行603と行605の時間帯において、静止画のうち連続する4枚中の3枚を破棄し、4枚中の1枚のみを抽出する。また、再生速度変更部162は、行602と行604の時間帯においては、すべての静止画をそのまま採用する。そして、再生速度変更部162は、これらの静止画をひとつなぎとして、動画のエンコードを行うことで、動画を新たに生成する。
Specifically, the playback
図７は、再生速度を変更した動画を生成する様子を示す。図７の記号601から605は、図６における行601から行605にそれぞれ対応し、再生時間の経過を模式的に表現したものである。
FIG. 7 shows how to generate a moving image with a changed playback speed. The
このように生成された結果の動画は、図７に示す601と603と605の時間帯においては再生が4倍の速度で行われるから、総再生時間は10分から4分へと短縮される。
The resulting moving image is reproduced four times faster in the
さらに、動画作成部113の再生速度変更部162は、動画の再生時間が短縮されたことに伴い、危険度の検出結果の対応付けについても再生時間の短縮を反映して、時刻情報の更新を行う。
Further, the playback
図８は、再生速度の変更を反映した判定結果の一覧を示す。図７で示した時間の短縮を反映して、例えば行801は、時間帯を「0分から4分」から「0分から1分」へと読み替えを行う。さらに、これらの時間帯における危険度の2つの指数値を表すデータ集合についても、元のデータ集合Aから、再生速度を4倍に換算して、新たなデータ集合A'を作成する。具体的には、データ4個のうち3個を間引く処理を行う。
FIG. 8 shows a list of the determination results reflecting the change in the reproduction speed. For example, in
また、例えば行802は、時間帯を「4分から5分」から「1分から2分」へと読み替えを行う。これらの時間帯における危険度の2つの指数値を表すデータ集合については、再生速度が変わらないのであるから、元のデータ集合Bをそのまま利用してよい。行803から行805についても同様である。
For example, the
上記示した一連の手順によって、解析装置101は、解析結果である危険度のデータと、枠付けならびに動画の再生速度の変更がなされた新たな動画を得るので、解析装置101はネットワーク103を経由してこれらのデータを表示装置102に送信する。
By the above-described series of procedures, the
ここで、動画の再生速度を変更する一連の処理によって得られる効果について言及する。撮影した動画は、人手による目視作業で危険作業の様子を確認するのであるから、動画の総時間が10分から4分に短縮されれば、作業効率を単純計算で2.5倍に向上できる。 Here, effects obtained by a series of processing for changing the reproduction speed of a moving image will be described. The captured video is used to check the dangerous work by hand, so if the total time of the video is reduced from 10 minutes to 4 minutes, the work efficiency can be improved by 2.5 times by simple calculation.
この際、再生速度が早送りとなるのは、人物や台が映像に映っていなかったり、あるいは映っていても位置関係的に人物が台に乗っていて危険があるとは想定できない時間帯のみである。人物が台に乗っており危険があるかもしれない時間帯については通常の速度で再生がなされるのであるから、映像を人手による目視作業で確認する本来の確認趣旨を損なうことなく、作業効率を向上できる。 At this time, the playback speed is fast-forwarded only during the time when the person or the platform is not shown in the video, or even when the person or the platform is shown, it is not assumed that there is danger because the person is on the table in a positional relationship. is there. During the time when there is a danger when a person is on a table and there is a danger, playback is performed at a normal speed, so the work efficiency can be improved without impairing the original confirmation purpose of checking the image by hand visually. Can be improved.
一般に作業においては、作業の準備などに長い時間を要し、台に乗っての作業など作業の中枢たる作業内容を行う時間は全体からすると僅かである。つまり、準備など高所作業の危険性が少ない時間帯について再生を早送りして目視確認の効率が向上できるのであれば、確認趣旨を損なうことなく、大きな確認効率向上が得られるといえる。 In general, in the work, a long time is required for the preparation of the work and the like, and the time for performing the central work content such as the work on the table is short as a whole. In other words, if reproduction can be fast-forwarded in a time zone in which there is little danger of working at heights such as preparation, and the efficiency of visual confirmation can be improved, it can be said that great confirmation efficiency can be obtained without impairing the purpose of confirmation.
また逆に、本実施の形態のようにAIあるいはAIの一分野であるディープラーニング技術を用いて動画の中から注目したい時間帯を抽出した場合、AIの認識精度を100%に高めることは原理上できないのであるから、どうしても誤認識は発生してしまう。もし仮に、AIが「注目の必要なし」と判断した時間帯の動画を単純に全部カットして表示しないこととした場合、上記誤認識が発生した時間帯については、本来は注目して確認すべきであるにもかかわらず動画からはカットされ、人手による目視作業ではどうやっても目に留まらないという問題が生じてしまう。 Conversely, when the time zone of interest is extracted from the video using AI or deep learning technology, which is a field of AI, as in this embodiment, it is a principle to increase the recognition accuracy of AI to 100%. Since it cannot be performed, false recognition will inevitably occur. If AI simply decides not to cut and display all the videos in the time zone determined to be "no attention needed", the time zone in which the above misrecognition has occurred should be focused on and checked. Although it should be, it is cut off from the moving image, and there is a problem that it cannot be noticed by the manual visual work.
それに対し、本実施の形態によれば、AIが誤認識をした場合であっても、再生速度が早回しになるだけで再生自体は行われるのであるから、人手による目視作業では当該誤認識箇所についても確認を行うことができるという利点が得られる。このように、上記示した再生の早送りをすることで人手による目視作業の効率を上げる本実施の形態は、AIによる映像の自動検出と組み合わせた場合に、特に顕著な効果を奏する。 On the other hand, according to the present embodiment, even if the AI makes an erroneous recognition, the reproduction itself is performed only by increasing the reproduction speed, and thus the erroneous recognition is not performed by manual visual work. Can be confirmed. As described above, the present embodiment, in which the above-described fast forward of the reproduction is performed to increase the efficiency of the manual visual operation, has a particularly remarkable effect when combined with the automatic detection of the image by the AI.
なお、本実施の形態では、注目する必要のない時間帯について、再生速度を4倍にする例を示した。本発明の範囲はこれに限るものではなく、他の再生速度であってもよいし、また、当該時間帯をスキップして再生しないこととしてもよい。また、これらの挙動を、解析を行う際もしくは表示を行う際に利用者から指定させて、挙動を変更できてもよい。 In the present embodiment, an example has been described in which the reproduction speed is quadrupled in a time zone that does not require attention. The scope of the present invention is not limited to this, and other playback speeds may be used, or the time zone may be skipped and playback may not be performed. In addition, the behavior may be changed by designating these behaviors by the user when performing analysis or displaying.
以下では、表示装置102が解析結果の動画を表示する様子を示していく。
Hereinafter, a state in which the
図９は、表示装置102の画面の表示内容を示す。画面 171の中には、動画を表示する区画（領域） 901と、シークバー 902と、カラーバー 903と、グラフA 904と、グラフB 905が配置される。動画を表示する区画 901とシークバー 902の組み合わせは、動画プレイヤーでは一般的であり、ライブラリを用いて実現できる。
FIG. 9 shows display contents of a screen of the
動画を表示する区画 901には、解析装置101により再生速度が変更された動画が表示される。表示装置102の再生部173は、解析装置101から取得した動画全体を、再生時に1倍速で再生することで、結果として、危険作業が実施されている静止画の部分は第１の速度で再生し、危険作業が実施されている静止画以外の部分は、第１の速度より速い第２の速度で再生することになる（図７参照）。
In a
シークバー902は、動画の再生位置を示すものである。シークバー 902にはスライダー 906があり、動画再生の時刻に応じてスライダーが動くとともに、マウス操作等でスライダーを動かすことで動画再生の位置をジャンプできる。
A seek
カラーバー 903は、シークバー902に対応する時間帯における、作業の危険度の有無または危険度のレベルを、それぞれ異なる色または異なる模様で示す。図示するカラーバー 903は、解析装置101が解析結果として得た危険度のデータのうち、危険度のレベルを示す。すなわち、危険度のレベルがLv0の時間帯に対応する位置801、805には灰色を、Lv1の時間帯に対応する位置803には黄色を、Lv2の時間帯に対応する位置802、804には赤色を、それぞれ描画する。なお、カラーバー 903は、解析装置101が解析結果として得た危険度のデータのうち、危険度の有無を異なる色または異なる模様で示してもよい。
The
図９の記号801から805は、図８における行801から805にそれぞれ対応し、それぞれの再生時間における危険度のレベルがカラーバー 903上に描画される様子を表現したものである。
グラフA 904は、解析装置 101が解析結果として得た危険度のデータのうち、1つ目の危険度の指数値、すなわち、人物検出に関する確信度の値を折れ線グラフで表示する。グラフB 905は、解析装置 101が解析結果として得た危険度のデータのうち、2つ目の危険度の指数値、すなわち、台検出に関する確信度の値を折れ線グラフで表示する。
The
本実施形態では、グラフA 904およびグラフB 905は、DLライブラリ132、142が出力する確信度の値のグラフであるが、危険度の有無または危険度のレベルの判定に用いる指標値であれば、前記確信度の値以外の指標値を用いてもよい。また、危険度の有無または危険度のレベルをグラフとして表示してもよい。
In the present embodiment, the
カラーバー 903とグラフA 904とグラフB 905は、シークバー 902と縦（上下）に並べて配置する。シークバー902のスライダー 906が例えば動画開始2分の位置にあるとき、カラーバー 903やグラフA 904やグラフB 905における同じX座標の位置の色あるいは値は、動画開始2分の位置における解析結果として得られた危険度の情報を示す。
The
図１０は、表示装置102の他の画面例を示す。図１０に示す動画再生時の画面では、映像を表示する区画901と、シークバー 902と、カラーバー 903と、各種操作ボタン911〜913と、チェックボックス914が配置される。操作ボタン911は、再生している映像の停止指示を受け付けるボタンである。操作ボタン912は、映像の再生速度の変更指示を受け付けるボタンである。操作ボタン913は、再生している映像の移動指示を受け付けるボタンである。チェックボックス914は、カラーバー903の危険度のレベルを示す各色に対応して設けられる。なお、図１０の画面例に、図９に示すグラフA 904とグラフB 905を表示してもよい。
FIG. 10 shows another example of the screen of the
図１１は、図１０の画面において、ある色のチェックボックスのチェックをはずすと、カラーバー903の当該色の部分915の動画の再生がスキップされ、スライダー906もそれに合わせて移動することを示す。
FIG. 11 shows that, when the check box of a certain color is unchecked on the screen of FIG. 10, the reproduction of the moving image of the
図１２は、図１０の画面において、少なくとも１つの色のチェックボックスのチェックをはずした状態で、次へ移動する操作ボタン913がクリックされた場合、チェックボックスにチェックが設定された色の次の部分の冒頭の動画が再生され、スライダー906もそれに合わせて移動することを示す。
FIG. 12 shows a state in which at least one color check box is unchecked on the screen of FIG. 10 and the
以上示した本実施の形態における表示装置102の利点について述べる。
The advantages of the
時間帯に応じて変化する危険度が、カラーバーにより表示され、赤の時間帯は危険作業を実施しているのであるから映像を注視する必要がある等、人手による目視作業を行う際の有用な指標として用いることができる。この際、X座標の位置がシークバーのスライダーと同一であることから、再生を進めて自動的に動いていくスライダーの位置に着目しながらカラーバーを見ることで、注視すべきポイントを逃すことなく視認しやすくなる。また逆に、映像の確認を繰り返し行う際、カラーバーの赤色に着目しながらスライダーを動かすことで、映像の頭出しを容易に行うことができる。 The risk level that changes according to the time zone is displayed with a color bar, and it is useful when performing manual visual tasks, such as when it is necessary to watch the video because the red time zone is performing dangerous work. It can be used as an important index. At this time, since the position of the X coordinate is the same as the seek bar slider, look at the color bar while paying attention to the position of the slider that moves automatically as playback progresses, so that you do not miss the point you should watch It becomes easier to see. Conversely, when the image is repeatedly checked, moving the slider while paying attention to the red color bar makes it easy to find the start of the image.
また、図９のグラフA904とグラフB905にはDLライブラリ132、142による検出の確信度がグラフ表示されていることで、映像の誤認識について留意しながら人手による目視作業を実施しやすくなる。例えば、カラーバー903では黄色もしくは灰色になっていても、グラフAまたはグラフBの値が比較的低い指標値を示していれば、 DLライブラリ132、142が判定に戸惑っていることがグラフから読み取れるから、例えば映像に多数の物体が映っていて誤認識が発生しているおそれもあると言える。このため、グラフが比較的低い指標値を示している場合、人手による目視作業の際に注意して確認すべきポイントであると認識することができるようになるという利点が得られる。
Further, the graph A904 and the graph B905 in FIG. 9 display the graphs of the certainty factors of the detection by the
上記示した本実施の形態においては、人物検出部121および台検出部122は、人物および台を予め学習させた学習済みモデル131、141を用いて、人物および台を検出した。例えば、別の一つの実施の形態においては、人物は第１の色または第１の模様を着用し、台には第２の色または第２の模様が設定されていてもよい。この場合、人物検出部121は、第１の色または第１の模様を検出することで人物を検出し、台検出部122は、第２の色または第２の模様を検出することで台を検出する。
In the above-described embodiment, the
具体的には、人物に例えば赤色の服を着せ、あるいは赤色のワッペン等を装着させ、人物検出部121は画像のうち赤色を検出することで、人物を検出してもよい。また、台に例えば青色の塗装を施し、あるいは青色の板を貼り付け、台検出部122は画像のうち青色を検出することで、台を検出してもよい。なお、人物検出部121および台検出部121のいずれか一方のみ、このような検出を行ってもよい。
Specifically, for example, the person may be dressed in red or a red emblem or the like, and the
また、上記示した本実施の形態においては、第三判定部153が人物が上方にあり台が下方にあることを判定する際、画素のY座標を用いて判定した。一般に、人物が床より一定以上高い位置にいる場合には、常に危険が高くなるといえることから、単に人物が台より上にいるか否かを判断するだけでなく、様々な方法を用いて人物が上方にあることを認識することは実用上の価値が高い。
In the present embodiment described above, when the
例えば、別の一つの実施の形態においては、人物と動画を撮影するビデオカメラ105との距離、および、静止画の中で人物が映っている位置を用いて、人物の床からの高さを推定することといてもよい。すなわち、ビデオカメラ105と作業対象となるサーバーラックとの距離が既知であるとして、静止画内における人物のY座標311から312に基づき、人物の床からの高さを比率によって算出し、高さが例えば1.2mを超えた場合に「人物が上方にある」と認識することができる。
For example, in another embodiment, the height of a person from the floor is determined by using the distance between the person and the
図１３は、人物の床からの高さを比率によって算出する例を示す。この図は、床面1001より高い位置にいる人物1003をビデオカメラ1002が撮影している様子を、横方向から見た様子を表している。ビデオカメラ1002は床面からの高さ1010の位置に設置されているものとし、ここでは1mとする。ここで用いるビデオカメラ1002は、上方向に撮影可能な範囲1012から下方向に撮影可能な範囲1013の間を撮影するものとし、画角すなわち上下方向の撮影可能な範囲のなす角度は、上下それぞれ角度1014の範囲とし、ここでは30度とする。
FIG. 13 shows an example in which the height of a person from the floor is calculated by a ratio. This figure shows a state in which the video camera 1002 is shooting a person 1003 at a position higher than the floor surface 1001, as viewed from the lateral direction. It is assumed that the video camera 1002 is installed at a position at a
また、サーバーラックの上方で作業する人物の危険を判定する目的であることを鑑み、ビデオカメラ1002から撮影対象の作業場所すなわちサーバーラックまでの距離1011だけ離れた位置の人物1003を撮影することとし、ここでは距離1011を3.46mとする。
Also, in view of the purpose of determining the danger of a person working above the server rack, a person 1003 at a
撮影対象がすべて距離1011だけ離れた位置にある撮影面1005に存在していたと仮定すると、ビデオカメラ1002が撮影する画像の上半分は、撮影面1005のうち撮影範囲の中心1020から撮影範囲の上端1021までの範囲に存在する物体が映りこんでいることとなる。ここではビデオカメラ1002の縦方向の解像度は1000ドットとすると、この場合、撮影範囲の中心1020から撮影範囲の上端1021までの範囲が撮影画像の上半分の500ドットに映りこむこととなる。
Assuming that all of the objects to be photographed were on the photographing surface 1005 at a position separated by a
上述の条件下において、人物1003の下端1023が、例えば撮影画像の上から400ドット目として撮影画像に映りこんでいたとする。このとき、撮影範囲の中心1020から人物の下端1023までの距離1024は、次のようにして計算できる。
Under the above conditions, it is assumed that the
距離1022 ＝ 距離1011 × tan (角度1014)
＝ 2m
距離1022 : 500ドット ＝ 距離1024 : (500-400)ドット
∴距離1024 ＝ 距離1022 ÷500 ×100
＝ 0.4m
従って、人物1003は、床面から1.4mの高さにいることが画像から算出できる。これは、前述の基準である高さ1.2m以上という条件を満たしているから、人物は上方にいると判断することが可能である。
= 2m
Distance 1022: 500 dots = Distance 1024: (500-400) dots ∴
= 0.4m
Therefore, it can be calculated from the image that the person 1003 is at a height of 1.4 m from the floor. This satisfies the condition that the height is 1.2 m or more, which is the criterion described above, so that it can be determined that the person is above.
なお、サーバーラックとの距離が既知でなかったとしても、サーバーラックなど横幅が一定であることが既知である物体を検出してその横幅から対象物との距離を測定したり、レーザー測距計（第１のレーザー測距計）で作業対象との距離を測定したり、ステレオカメラでの視差を利用して作業対象との距離を測定したりすることができ、人物の床からの高さの算出に用いることができる。このレーザー測距計は、ビデオカメラの位置から作業対象に向かって横方向に照射する。レーザー測距計は、LiDARとも呼ばれており、レーザー照射によって対象とする物体との距離を測定する装置である。このような装置は市販されており、容易に入手できる。 Even if the distance from the server rack is not known, an object such as a server rack whose width is known to be constant is detected, and the distance to the object is measured from the width, or a laser range finder is used. It is possible to measure the distance to the work target with the (first laser rangefinder), or to measure the distance to the work target using parallax with a stereo camera, and the height of the person from the floor Can be used to calculate This laser range finder emits light in the lateral direction from the position of the video camera toward the work object. A laser range finder, also called LiDAR, is a device that measures the distance to a target object by laser irradiation. Such devices are commercially available and readily available.
また例えば、別の一つの実施の形態においては、作業者に高度計を保持させ、高度計から得られたデータを解析装置101への追加の入力とし、第三判定部153が前記得られたデータに基づいて人物の床からの高さを得て、高さが例えば1mを超えた場合に「人物が上方にある」と認識することができる。高度計は、気圧変化を用いて高度の差分を計測する装置であってよい。床に存在するときの気圧と、高所に上ったときの気圧の差により、高度を計測する。このような装置は市販されており、容易に入手できる。
Further, for example, in another embodiment, an operator holds an altimeter, and data obtained from the altimeter is used as an additional input to the
また例えば、別の一つの実施の形態においては、作業者にレーザー測距計（第２のレーザー測距計）を鉛直下向きに保持させる。レーザー測距計は、鉛直下向きに床からの距離、または作業対象との距離などを測定するので、レーザー測距計から得られたデータを解析装置101への追加の入力とし、第三判定部 153が前記得られたデータに基づいて人物の床からの高さを得て、高さが例えば1mを超えた場合に「人物が上方にある」と認識することができる。
Further, for example, in another embodiment, an operator causes a laser range finder (second laser range finder) to be held vertically downward. Since the laser range finder measures the distance from the floor vertically or the distance to the work object, etc. vertically downward, the data obtained from the laser range finder is used as an additional input to the
また、第三判定部153の判定には、画素のY座標を用いた判定、図１３に示す判定、高度計を用いた判定、および、レーザー測距計を用いた判定を、組み合わせて判定することとしてもよい。
The determination by the
以上述べた本発明の実施の形態においては、本発明の趣旨を損なわない範囲で、様々な構成が可能である。 In the embodiments of the present invention described above, various configurations are possible without departing from the spirit of the present invention.
例えば、解析装置101と表示装置102は同一の装置としてもよいし、あるいは、更に複数の装置に分割してもよい。解析装置101から表示装置102へのデータの受け渡しは、ネットワーク103を用いず、CDやメモリカード等のメディアを介して行ってもよい。表示装置102は、WebサーバとWebブラウザに分割され、HTML5を用いて作成したビューアとしてもよい。またその際、Webサーバは、Webブラウザと同じ装置内に配置してもよく、あるいは解析装置101と同じ装置内に配置してもよく、あるいは別の装置に配置してもよい。
For example, the
例えば、人物検出部121と台検出部122を一つの機能部とし、人物と台の両方を一度に覚えこませた学習済みモデルを予め準備して、単一のDLライブラリに一括して判定させる構成としてもよい。
For example, the
例えば、動画再生は、動画ファイルを再生してもよいし、一連の静止画群を連続的に再生してもよい。また、動画再生は、映画のフィルムのように、コマを横方向に並べた形で時間の流れを表現してもよい。 For example, in the moving image reproduction, a moving image file may be reproduced, or a series of still image groups may be reproduced continuously. In the reproduction of a moving image, the flow of time may be expressed in a form in which frames are arranged in a horizontal direction like a film of a movie.
例えば、再生速度変更部162は、危険でない時間帯を早送りするだけでなく、危険な時間帯をスロー再生してもよい。あるいは、再生速度変更部162は、危険度のレベルに応じて、再生速度を複数段階に変化させてもよい。あるいは、再生速度変更部162は、再生速度が変化する継ぎ目を快適に視認できるようにするため、継ぎ目の部分で再生速度を連続的に変化させてもよい。
For example, the reproduction
再生速度を変更するために、解析装置101の再生速度変更部162が再生速度を変更済みの動画を生成するのではなく、解析装置101が再生速度の指示情報を表示装置102に出力して、表示装置102が再生速度を可変にできる再生部173を用いて当該指示情報に基づいて動画の再生時点で再生速度を変化させてもよい。指示情報として、危険度の有無あるいはレベルあるいは指数値を用いてもよい。この場合、再生部173は、動画の再生速度が変更されていない動画を解析装置101から取得し、再生時に、危険度の有または危険度のレベルが比較的高い第１の時間帯の動画を、第１の速度で再生し、第１の時間帯以外の第２の時間帯の動画を、第１の速度より速い第２の速度で再生、または、再生せずスキップする。また、図１０から図１２に示すように、動画を閲覧するユーザの指示に応じて、再生速度を変化させてもよい。
In order to change the playback speed, the playback
例えば、カラーバーならびにグラフは、いずれかを含まないあるいは複数個含む構成であってもよく、あるいは、一つの表示区画上に複数の情報を重ねて表示してもよい。特に、二つ以上の折れ線グラフをまとめて一つの図表として表示してもよい。グラフは、折れ線グラフだけでなく、棒グラフやその他の表示形態であってもよい。カラーバーの配色は任意であってもよく、あるいは、ハッチングやパターンや点滅等であってもよい。 For example, the color bar and the graph may not include any of them, or may include a plurality of them, or a plurality of pieces of information may be displayed on one display section in a superimposed manner. In particular, two or more line graphs may be collectively displayed as one chart. The graph may be not only a line graph but also a bar graph or other display forms. The color arrangement of the color bar may be arbitrary, or may be hatching, a pattern, blinking, or the like.
シークバー、カラーバーならびにグラフは、左端が動画再生開始時刻である必要はなく、また、右端が動画再生終了時刻である必要はなく、いずれも任意の時刻であってもよい。これは、例えば、動画の長さが240分などになった際、動画の長さが10分であった場合に比べると、画面1ドットあたりの表わす時間が24分の1になってしまう。これにより、カラーバー、グラフ等が横方向に密度が高くなりすぎ、視認が困難になるという問題が生じてしまう。 The seek bar, the color bar, and the graph do not need to have the moving image reproduction start time at the left end, and need not have the moving image reproduction end time at the right end, and may be any time. This means that, for example, when the length of the moving image is 240 minutes or the like, the time expressed per dot on the screen is 1/24 of that when the length of the moving image is 10 minutes. As a result, the density of the color bars, graphs, and the like becomes too high in the horizontal direction, which causes a problem that visual recognition becomes difficult.
そこで、長い時間の動画の場合には、シークバー、カラーバーならびにグラフが自動的にズームされることとしてもよい。例えば動画の開始から93分の時点を再生している際には、左端が90分で右端が100分の位置になるように表示装置102が自動的に調整することで、常にカラーバーならびにグラフに対して十分な横幅を確保することができるから、動画の長さによらず視認しやすいという効果を得ることができる。
Therefore, in the case of a long-time moving image, the seek bar, the color bar, and the graph may be automatically zoomed. For example, when playing 93 minutes from the start of the video, the
以上説明した本実施形態では、作業者の作業の様子を撮影した動画から、危険が推定される作業を検出し、ユーザの作業負荷を低減することができる。また、本実施形態では、危険が推定される時間帯の動画を、容易に注目して閲覧することができる。 In the present embodiment described above, it is possible to detect a work in which danger is presumed from a moving image obtained by photographing the state of the work of the worker, and reduce the work load on the user. Further, in the present embodiment, a moving image in a time zone in which danger is estimated can be easily viewed and viewed.
本実施形態の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。具体的には、上記説明した解析装置101および表示装置102には、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、解析装置101および表示装置102の各機能は、解析装置101用のプログラムの場合は解析装置101のCPUが、表示装置102用のプログラムの場合は表示装置102のCPUが、それぞれ実行することにより実現される。また、解析装置101用のプログラムおよび表示装置102用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
The device of the present embodiment can be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network. Specifically, for example, the
101 ：解析装置
102 ：表示装置
103 ：ネットワーク
105 ：ビデオカメラ
111 ：静止画抽出部
112 ：危険作業解析部
113 ：動画作成部
121 ：人物検出部
122 ：台検出部
123 ：危険度判定部
131、141 ：学習済みモデル
132、142 ：LDライブラリ
151 ：第1判定部
152 ：第2判定部
153 ：第3判定部
154 ：判定結果算出部
161 ：枠描画部
162 ：再生速度変更部
171 :画面
172 ：ユーザ入力手段
173 ：再生部
101: Analyzer
102: Display device
103: Network
105: Video camera
111: Still image extraction unit
112: Dangerous work analysis section
113: Movie creator
121: Person detection unit
122: Stand detector
123: Danger level judgment section
131, 141: Trained model
132, 142: LD library
151: First judgment unit
152: Second judgment unit
153: Third judgment unit
154: Judgment result calculation unit
161: Frame drawing section
162: Playback speed change section
171: Screen
172: User input means
173: Playback unit
Claims (14)
前記解析装置は、
作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する危険作業解析部を備え、
前記表示装置は、
前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップすること
を特徴とする危険作業検出システム。 A dangerous work detection system having an analysis device and a display device,
The analysis device,
Equipped with a dangerous work analysis unit that analyzes a plurality of still images extracted from the moving image of the work and detects a still image in which dangerous work is being performed,
The display device,
The part of the still image where the dangerous work is performed is reproduced at a first speed, and the part other than the still image where the dangerous work is performed is reproduced at a second speed higher than the first speed. Or, a dangerous work detection system characterized by skipping without playing.
作業を撮影した動画から抽出した複数の静止画を解析し、各静止画から人物を検出する人物検出部と、
前記複数の静止画を解析し、各静止画から、危険作業の要因となる対象物を検出する対象物検出部と、
前記人物検出部の検出結果および前記対象物検出部の検出結果を用いて、前記複数の静止画の危険度を判定する危険度判定部と、
前記危険度がない静止画の部分のみ、再生速度がN倍になるように編集して動画を作成する動画作成部と、を備えること
を特徴とする解析装置。 An analyzer for detecting dangerous work,
A person detection unit that analyzes a plurality of still images extracted from a moving image of the work and detects a person from each still image;
Analyzing the plurality of still images, from each still image, an object detection unit that detects an object that is a cause of dangerous work,
Using a detection result of the person detection unit and a detection result of the target object detection unit, a risk determination unit that determines the risk of the plurality of still images,
An analysis apparatus, comprising: a moving image creating unit that edits only a portion of a still image having no risk level so as to increase a reproduction speed by N times to create a moving image.
前記人物検出部および前記対象物検出部の少なくとも１つは、ディープラーニング技術により生成された学習済みモデルを用いて、前記人物および前記対象物の少なくとも１つを検出すること
を特徴とする解析装置。 The analysis device according to claim 2, wherein
At least one of the person detection unit and the object detection unit detects at least one of the person and the object by using a learned model generated by a deep learning technique; .
前記人物は第１の色または第１の模様を着用し、
前記人物検出部は、前記第１の色または前記第１の模様を検出することで、前記人物を検出すること
を特徴とする解析装置。 The analysis device according to claim 2 or 3,
Said person wears a first color or a first pattern,
The analysis device according to claim 1, wherein the person detection unit detects the person by detecting the first color or the first pattern.
前記対象物には第２の色または第２の模様が設定され、
前記対象物検出部は、前記第２の色または前記第２の模様を検出することで、前記対象物を検出すること
を特徴とする解析装置。 An analyzer according to any one of claims 2 to 4, wherein
A second color or a second pattern is set on the object,
The analysis device, wherein the target object detection unit detects the target object by detecting the second color or the second pattern.
前記危険度判定部は、
前記人物および前記対象物の両方が検出されているかを判定する第１の判定部と、
前記人物と前記対象物の水平方向が重なっているか、もしくは前記人物と前記対象物とが近傍であるかを判定する第２の判定部と、
前記人物が前記対象物より上方にあるかを判定する第３の判定部と、
前記第１の判定部、前記第２の判定部および前記第３の判定部のそれぞれの判定結果を用いて、危険度の有無、および、危険度のレベルの少なくとも１つを取得する判定結果算出部とを備えること
を特徴とする解析装置。 The analysis device according to any one of claims 2 to 5, wherein
The risk determination unit,
A first determination unit that determines whether both the person and the object are detected;
A second determination unit that determines whether the horizontal direction of the person and the object is overlapping, or whether the person and the object are near each other,
A third determination unit that determines whether the person is above the target;
Determination result calculation for obtaining at least one of the presence / absence of risk and the level of risk using the respective determination results of the first determination unit, the second determination unit, and the third determination unit. An analysis device, comprising:
前記第３の判定部は、前記人物と前記動画を撮影するカメラとの距離、および、前記静止画の中で前記人物が映っている位置を用いて、前記人物の床からの高さを推定すること
を特徴とする解析装置。 The analysis device according to claim 6,
The third determination unit estimates a height of the person from the floor using a distance between the person and a camera that shoots the moving image and a position of the person in the still image. An analysis device characterized by performing.
前記第３の判定部は、前記人物が装着した高度計の測定データを用いて、前記人物の床からの高さを推定すること
を特徴とする解析装置。 The analyzer according to claim 6, wherein:
The analysis device according to claim 3, wherein the third determination unit estimates the height of the person from the floor using measurement data of an altimeter worn by the person.
前記第３の判定部は、前記人物が下向きに装着したレーザー測距計の測定データを用いて、前記人物の床からの高さを推定すること
を特徴とする解析装置。 An analyzer according to any one of claims 6 to 8, wherein
The analysis device according to claim 3, wherein the third determination unit estimates the height of the person from the floor using measurement data of a laser range finder worn by the person downward.
前記表示装置の画面には、
前記動画を表示する領域と、
前記動画の再生位置を示すシークバーと、
前記シークバーに対応する時間帯における作業の危険度の有無または危険度のレベルを、それぞれ異なる色または異なる模様で示すカラーバーと、が表示され、
前記危険度の有または危険度のレベルが高い第１の時間帯の動画を、第１の速度で再生し、前記第１の時間帯以外の第２の時間帯の動画を、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生部を備えること
を特徴とする表示装置。 A display device for reproducing a moving image of a work,
On the screen of the display device,
An area for displaying the moving image;
A seek bar indicating a playback position of the video,
A color bar indicating the presence or absence of the risk of work or the level of the risk in the time zone corresponding to the seek bar with a different color or a different pattern is displayed,
A moving image of a first time zone having a high risk level or a high risk level is reproduced at a first speed, and a moving image of a second time zone other than the first time zone is reproduced by the first time zone. A display device comprising: a reproducing unit that reproduces at a second speed higher than the speed or skips without reproducing.
前記表示装置の画面には、前記シークバーに対応する時間帯における、前記危険度の有無または危険度のレベルの判定に用いた指標値のグラフが、さらに表示されること
を特徴とする表示装置。 The display device according to claim 10, wherein:
A display device further comprising a graph of an index value used for determining the presence or absence of the risk or the level of the risk in a time zone corresponding to the seek bar, on a screen of the display device.
前記解析装置は、
作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する検出ステップを行い、
前記表示装置は、
前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生ステップを行うこと
を特徴とする危険作業検出方法。 A dangerous work detection method performed by a dangerous work detection system having an analysis device and a display device,
The analysis device,
Analyzing a plurality of still images extracted from the moving image of the work, performing a detection step of detecting a still image in which dangerous work is being performed,
The display device,
The part of the still image where the dangerous work is performed is reproduced at a first speed, and the part other than the still image where the dangerous work is performed is reproduced at a second speed higher than the first speed. Alternatively, a dangerous work detection method characterized by performing a play step of skipping without playing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018128844A JP7133375B2 (en) | 2018-07-06 | 2018-07-06 | Dangerous work detection system, analysis device, display device, dangerous work detection method, and dangerous work detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018128844A JP7133375B2 (en) | 2018-07-06 | 2018-07-06 | Dangerous work detection system, analysis device, display device, dangerous work detection method, and dangerous work detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020010154A true JP2020010154A (en) | 2020-01-16 |
| JP7133375B2 JP7133375B2 (en) | 2022-09-08 |
Family
ID=69152535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018128844A Active JP7133375B2 (en) | 2018-07-06 | 2018-07-06 | Dangerous work detection system, analysis device, display device, dangerous work detection method, and dangerous work detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7133375B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669266A (en) * | 2020-12-18 | 2021-04-16 | 深兰科技（上海）有限公司 | Ultrahigh detection method, ultrahigh detection device, electronic equipment and storage medium |
| WO2023112214A1 (en) * | 2021-12-15 | 2023-06-22 | 日本電信電話株式会社 | Video-of-interest detection device, method, and program |
| CN116523319A (en) * | 2023-06-30 | 2023-08-01 | 中国市政工程西南设计研究总院有限公司 | Comprehensive management method and system for intelligent park |
| JP2023170588A (en) * | 2022-05-19 | 2023-12-01 | スマートニュース株式会社 | Program, method for controlling portable terminal, portable terminal, and information processing device |
| JP7423501B2 (en) | 2020-12-18 | 2024-01-29 | 株式会社クボタ | Person detection system and vehicle equipped with person detection system |
| WO2024047793A1 (en) * | 2022-08-31 | 2024-03-07 | 日本電気株式会社 | Video processing system, video processing device, and video processing method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002042139A (en) * | 2000-07-25 | 2002-02-08 | Hitachi Ltd | Image recognizing method and image display device |
| JP2007243342A (en) * | 2006-03-06 | 2007-09-20 | Yokogawa Electric Corp | Image-monitoring apparatus and image-monitoring system |
| JP2014192776A (en) * | 2013-03-28 | 2014-10-06 | Japan Advanced Institute Of Science & Technology Hokuriku | Video monitoring system, video processing server, and method for browsing and delivering monitored video |
| JP2017016589A (en) * | 2015-07-06 | 2017-01-19 | パラマウントベッド株式会社 | Object person guiding device, object person guiding method, program and object person guiding system |
| JP2017049761A (en) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | Electronic apparatus and method |
-
2018
- 2018-07-06 JP JP2018128844A patent/JP7133375B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002042139A (en) * | 2000-07-25 | 2002-02-08 | Hitachi Ltd | Image recognizing method and image display device |
| JP2007243342A (en) * | 2006-03-06 | 2007-09-20 | Yokogawa Electric Corp | Image-monitoring apparatus and image-monitoring system |
| JP2014192776A (en) * | 2013-03-28 | 2014-10-06 | Japan Advanced Institute Of Science & Technology Hokuriku | Video monitoring system, video processing server, and method for browsing and delivering monitored video |
| JP2017016589A (en) * | 2015-07-06 | 2017-01-19 | パラマウントベッド株式会社 | Object person guiding device, object person guiding method, program and object person guiding system |
| JP2017049761A (en) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | Electronic apparatus and method |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669266A (en) * | 2020-12-18 | 2021-04-16 | 深兰科技（上海）有限公司 | Ultrahigh detection method, ultrahigh detection device, electronic equipment and storage medium |
| CN112669266B (en) * | 2020-12-18 | 2023-08-08 | 深兰科技（上海）有限公司 | Ultrahigh detection method, ultrahigh detection device, electronic equipment and storage medium |
| JP7423501B2 (en) | 2020-12-18 | 2024-01-29 | 株式会社クボタ | Person detection system and vehicle equipped with person detection system |
| WO2023112214A1 (en) * | 2021-12-15 | 2023-06-22 | 日本電信電話株式会社 | Video-of-interest detection device, method, and program |
| JP2023170588A (en) * | 2022-05-19 | 2023-12-01 | スマートニュース株式会社 | Program, method for controlling portable terminal, portable terminal, and information processing device |
| WO2024047793A1 (en) * | 2022-08-31 | 2024-03-07 | 日本電気株式会社 | Video processing system, video processing device, and video processing method |
| CN116523319A (en) * | 2023-06-30 | 2023-08-01 | 中国市政工程西南设计研究总院有限公司 | Comprehensive management method and system for intelligent park |
| CN116523319B (en) * | 2023-06-30 | 2023-09-08 | 中国市政工程西南设计研究总院有限公司 | Comprehensive management method and system for intelligent park |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7133375B2 (en) | 2022-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7133375B2 (en) | Dangerous work detection system, analysis device, display device, dangerous work detection method, and dangerous work detection program | |
| US9298989B2 (en) | Method and apparatus for recognizing actions | |
| US10424341B2 (en) | Dynamic video summarization | |
| KR102294194B1 (en) | Apparatus and method for visualization of region of interest | |
| US20150248587A1 (en) | Image processing system, image processing method, and program | |
| US8379931B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
| US20200374491A1 (en) | Forensic video exploitation and analysis tools | |
| KR20090093904A (en) | Apparatus and method for scene variation robust multimedia image analysis, and system for multimedia editing based on objects | |
| US11257224B2 (en) | Object tracker, object tracking method, and computer program | |
| EP3324307A1 (en) | Retrieval device, retrieval method, and computer-readable medium | |
| US20190311200A1 (en) | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor | |
| KR102016117B1 (en) | Apparatus for providing augmented reality data to user terminal and operating method thereof | |
| WO2023104557A1 (en) | Machine-learning for safety rule violation determination | |
| EP4334186A1 (en) | Automatic digital inspection of railway environment | |
| EP3471061B1 (en) | Method for creating an animation summarizing a design process of a three-dimensional object | |
| KR20160025474A (en) | Determination method and device | |
| CN115661755A (en) | Worker safety dynamic evaluation method based on computer vision and trajectory prediction | |
| US20150278586A1 (en) | System and method for guided continuous body tracking for complex interaction | |
| JP6987902B2 (en) | Controls, control methods and programs | |
| KR100929001B1 (en) | Method for measurement operation time using movie file | |
| JP4429353B2 (en) | Capture image recording apparatus and capture image recording program | |
| Hough et al. | Measurements of live actor motion in mixed reality interaction | |
| JP2006352879A (en) | Method of identifying and visualizing event in video frame, and system for generating timeline of event in video stream | |
| JP2008276805A (en) | Method of creating image for electric wire inspection | |
| JP7247310B2 (en) | CONTROL DEVICE, CONTROL METHOD, PROGRAM AND SYSTEM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7133375 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |