JP7453072B2 - Information processing device, learning device, area setting method, and learning method - Google Patents
Information processing device, learning device, area setting method, and learning method Download PDFInfo
- Publication number
- JP7453072B2 JP7453072B2 JP2020105425A JP2020105425A JP7453072B2 JP 7453072 B2 JP7453072 B2 JP 7453072B2 JP 2020105425 A JP2020105425 A JP 2020105425A JP 2020105425 A JP2020105425 A JP 2020105425A JP 7453072 B2 JP7453072 B2 JP 7453072B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- inclination angle
- image
- learning
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 61
- 238000001514 detection method Methods 0.000 claims description 159
- 238000010801 machine learning Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 101150071665 img2 gene Proteins 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 101150013335 img1 gene Proteins 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Control And Safety Of Cranes (AREA)
- Jib Cranes (AREA)
- Image Analysis (AREA)
Description
本発明は、クレーンの周囲を撮影した画像中に実寸法で所定のサイズとなる領域を設定する情報処理装置等に関する。 The present invention relates to an information processing device and the like that sets an area having a predetermined actual size in an image taken around a crane.
クレーンを使用して作業を行う工事等では、吊荷の落下事故などから地上の作業員の安全を確保するために、クレーンオペレータが目視で確認等を行っている。しかし、作業員がクレーンオペレータの死角に入ることもあり、また、クレーンオペレータが見落とすことも想定される。このため、目視確認のみに頼った安全管理には改善の余地がある。 In construction projects where cranes are used for work, crane operators perform visual checks to ensure the safety of ground workers from accidents such as falling loads. However, it is assumed that the worker may be in the crane operator's blind spot, and that the crane operator may overlook the situation. Therefore, there is room for improvement in safety management that relies solely on visual confirmation.
ここで、クレーンの作業の安全管理のための従来技術として、例えば下記の特許文献1の技術が挙げられる。特許文献1には、クレーンのブームの先端部に取り付けたカメラで撮影した画像上に、作業員の安全性判定のための範囲を設定し、その範囲内における人員の有無を検出する作業支援装置が開示されている。
Here, as a conventional technique for safety management of crane operations, for example, the technique disclosed in
また、特許文献1には、実寸法で所定のサイズとなるように上記範囲を設定するために、上記範囲を設定する基準面からカメラまでの高さに応じて、監視画像における上記範囲の大きさを調整することも記載されている。具体的には、特許文献1には、カメラに写る三角コーンやバリケード等のサイズが既知の物体の像を、監視画像内の背景部分の尺度を示す指標として利用することにより、上記範囲の大きさを調整することが記載されている。
Further, in
上記従来技術では、画像に写り込んだ既知の寸法の物体を基準として、設定する範囲のサイズを調整しているため、調整を行う前提として、既知の寸法の物体が画像に写り込んでいることを要する。このため、クレーンの本体やブームが動いて、既知の寸法の物体が撮影範囲外となってしまうと範囲のサイズを調整することができなくなる。 In the above conventional technology, the size of the set range is adjusted based on the object of known size reflected in the image, so the premise of adjustment is that the object of known size is reflected in the image. It takes. Therefore, if the main body or boom of the crane moves and an object of known size falls outside the photographing range, the size of the range cannot be adjusted.
本発明の一態様は、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる情報処理装置等を実現することを目的とする。 One aspect of the present invention aims to realize an information processing device or the like that can set an area having a predetermined actual size even if an object of known dimensions is not included in a captured image. do.
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、クレーンのブームの傾斜角度を特定する傾斜角度特定部と、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、を備える。 In order to solve the above problems, an information processing device according to one aspect of the present invention includes a tilt angle identifying section that identifies a tilt angle of a boom of a crane, and a scale that corresponds to the tilt angle specified by the tilt angle identifying section. and an area setting unit configured to set an area having a predetermined actual size in a photographed image obtained by photographing the lower side of the photographing device using the photographing device attached to the boom.
また、上記の課題を解決するために、本発明の一態様に係る領域設定方法は、情報処理装置により実行される領域設定方法であって、クレーンのブームの傾斜角度を特定する傾斜角度特定ステップと、上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定ステップと、を含む。 Further, in order to solve the above problems, an area setting method according to one aspect of the present invention is an area setting method executed by an information processing apparatus, the area setting method including an inclination angle specifying step of specifying an inclination angle of a boom of a crane. Then, by applying a scale corresponding to the inclination angle specified in the inclination angle specifying step, a predetermined actual size is added to the photographed image of the lower side of the photographing device attached to the boom. and a region setting step of setting a region having a certain size.
本発明の一態様によれば、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。 According to one aspect of the present invention, an area having a predetermined actual size can be set even if an object of known dimensions is not included in the photographed image.
〔実施形態1〕
(システム構成)
本発明の一実施形態に係るクレーンシステム100の構成を図3に基づいて説明する。図3は、クレーンシステム100の構成例を示す図である。クレーンシステム100には、図示のように、クレーンCR、情報処理装置1、学習装置3、撮影装置5、および傾斜計7が含まれている。
[Embodiment 1]
(System configuration)
The configuration of a
クレーンCRは、重量物を吊り上げて移動させる機械である。クレーンCRには、台車部CR1、基部CR2、ブームCR3、ケーブルCR4、フックCR5、およびクレーン室CR6が含まれている。 Crane CR is a machine that lifts and moves heavy objects. The crane CR includes a truck portion CR1, a base CR2, a boom CR3, a cable CR4, a hook CR5, and a crane room CR6.
台車部CR1は、レールに沿って図3の奥行き方向に移動可能に構成されている。また、台車部CR1は、基部CR2を載置している。これにより、クレーンCRの全体がレールに沿って図3の奥行き方向に移動可能となっている。なお、クレーンCRは、移動式のものに限られず、固定式のものであってもよい。 The truck portion CR1 is configured to be movable in the depth direction in FIG. 3 along the rail. Further, the trolley portion CR1 has a base portion CR2 placed thereon. Thereby, the entire crane CR can be moved in the depth direction in FIG. 3 along the rails. Note that the crane CR is not limited to a mobile type, and may be a fixed type.
基部CR2は、ブームCR3等を支持する構造体である。基部CR2と台車部CR1は、台車部CR1上で基部CR2が回動できるように接続されている。これにより、クレーンCRは、その周囲360度に位置する荷を運搬することが可能になっている。なお、回動範囲は360度未満であってもよい。また、クレーンCRは、水平面内の回動ができないものであってもよい。 The base CR2 is a structure that supports the boom CR3 and the like. The base portion CR2 and the truck portion CR1 are connected so that the base portion CR2 can rotate on the truck portion CR1. This allows the crane CR to transport loads located 360 degrees around it. Note that the rotation range may be less than 360 degrees. Further, the crane CR may not be able to rotate in a horizontal plane.
ブームCR3は、ジブとも呼ばれる長尺の構造体である。クレーンCRは、ブームCR3を備えているのでジブクレーンである。ブームCR3の一端は基部CR2に回動可能に接続されている。図3に破線で示すように、ブームCR3は基部CR2との接続部を支点として回動し、その傾斜角度が変更できるように構成されている。また、ブームCR3の他端には図示しない滑車が設けられており、この滑車からケーブルCR4が下垂する構成となっている。 The boom CR3 is a long structure also called a jib. Crane CR is a jib crane because it is equipped with boom CR3. One end of the boom CR3 is rotatably connected to the base CR2. As shown by the broken line in FIG. 3, the boom CR3 is configured to rotate about the connection part with the base CR2 as a fulcrum, and its inclination angle can be changed. Further, a pulley (not shown) is provided at the other end of the boom CR3, and the cable CR4 is configured to hang down from this pulley.
ケーブルCR4は、荷を吊り上げるための索であり、その先端に荷を引っ掛けるためのフックCR5が取り付けられている。荷をクレーンCRで移動させる際には、その荷をフックCR5に玉掛けして吊り上げる。 The cable CR4 is a rope for hoisting a load, and a hook CR5 for hooking the load is attached to the tip thereof. When moving a load using the crane CR, the load is slung onto the hook CR5 and lifted up.
クレーン室CR6は、クレーンCRを操作するための各種装置を収容した空間となっており、クレーンCRのオペレータ(以下、単にオペレータと呼ぶ)はクレーン室CR6からクレーンCRの操作を行う。例えば、オペレータは、ブームCR3の傾斜角度の調整、ケーブルCR4の巻き上げ/巻き下ろしによるフックCR5(吊荷)の昇降、基部CR2およびその上部の構造体の回動などの操作を行うことができる。 The crane room CR6 is a space that accommodates various devices for operating the crane CR, and an operator of the crane CR (hereinafter simply referred to as an operator) operates the crane CR from the crane room CR6. For example, the operator can perform operations such as adjusting the inclination angle of the boom CR3, raising and lowering the hook CR5 (hanging load) by winding up/unwinding the cable CR4, and rotating the base CR2 and the structure above it.
また、クレーンCRのブームCR3には、当該ブームCR3の傾斜角度を計測する傾斜計7が取り付けられている。そして、ブームCR3の先端部付近には、撮影装置5が取り付けられている。
Further, an
撮影装置5は、クレーンCRの吊荷の下方の実寸法で所定サイズの領域(以下、危険領域と呼ぶ)への人の立ち入りを監視するためのものであり、鉛直下方を向くように取り付けられている。これにより、撮影装置5の鉛直下方側に位置するフックCR5と、フックCR5の下方の危険領域が撮影装置5により撮影される。
The photographing
ここで、ブームCR3の傾斜角度を変えた場合、撮影装置5で撮影された撮影画像に写る各種対象(例えば作業者)のサイズも変わり、撮影画像に占める危険領域の割合も変わる。具体的には、ブームCRの傾斜角度を大きくするほど、撮影装置5から危険領域までの距離は遠くなるので、撮影画像に写る各種対象のサイズは小さくなり、撮影画像に占める危険領域の割合も小さくなる。一方、ブームCRの傾斜角度を小さくするほど、撮影装置5から危険領域までの距離は近くなるので、撮影画像に写る各種対象のサイズは大きくなり、撮影画像に占める危険領域の割合も大きくなる。
Here, when the inclination angle of the boom CR3 is changed, the sizes of various objects (for example, workers) appearing in the photographed image taken by the photographing
このため、ブームCR3の傾斜角度を考慮することなく、撮影装置5で撮影された撮影画像から人の検出を行った場合、検出精度が低くなってしまうおそれがある。そこで、情報処理装置1は、傾斜計7で計測された傾斜角度に応じた縮尺を適用して、上記撮影画像中に実寸法で所定のサイズとなる危険領域を設定し、その危険領域内の各種対象を検出する。
For this reason, if a person is detected from the photographed image photographed by the photographing
撮影装置5が撮影した撮影画像は例えば携帯型の記録媒体に記憶させてもよく、この場合、情報処理装置1は記録媒体から撮影画像を読み出せばよい。ただし、情報処理装置1は、危険領域に人が立ち入った場合に、そのことを迅速に検出する必要があるから、情報処理装置1は、記録媒体経由ではなく、撮影装置5から撮影画像を直接受信することが好ましい。傾斜計7の計測結果も同様である。
The photographed image taken by the photographing
なお、情報処理装置1は、クレーンCRが設置された現場に設置してもよいし、例えば遠隔のコントロールセンター等に設置してもよい。学習装置3も同様である。遠隔地に接地する場合、情報処理装置1は、撮影画像や傾斜計7の計測結果を、ネットワークを介した通信により取得すればよい。
Note that the
また、情報処理装置1が行う処理の一部を他のコンピュータ・システムで行う構成としてもよい。例えば、各種対象の検出には後述する検出モデルを用いた演算を行うが、この演算を他のコンピュータ・システムで行う構成としてもよい。この場合、情報処理装置1は、演算に必要な情報を、ネットワークを介した通信により他のコンピュータ・システムに送信する。そして、情報処理装置1は、上記他のコンピュータ・システムから送信される演算結果を受信する。
Further, a configuration may be adopted in which a part of the processing performed by the
学習装置3は、撮影装置5が撮影した撮影画像から所定の検出対象を検出するための検出モデルの機械学習を行う。検出モデルは教師ありの機械学習により生成されるものであってもよい。例えば、学習装置3は、畳み込みニューラルネットワーク等の検出モデルを生成してもよい。また、検出モデルは教師なし学習により生成されるものであってもよい。
The
学習装置3が機械学習により生成した検出モデルは情報処理装置1による各種対象の検出に用いられる。学習装置3の設置場所は情報処理装置1と同じであってもよいし、異なっていてもよい。また、学習装置3の機能を情報処理装置1に持たせてもよく、この場合、クレーンシステム100の構成要素から学習装置3が省略される。
The detection model generated by the
(情報処理装置の構成)
図1は、情報処理装置1の要部構成の一例を示すブロック図である。図示のように、情報処理装置1は、プロセッサ10、メモリ11、および大容量記憶装置12を備えている。情報処理装置1は、一例として、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ10は、大容量記憶装置12に記憶されている情報処理プログラムをメモリ11にロードして実行することにより、後述する画像取得部101から側方画像対象検出部112までの各部として機能する。
(Configuration of information processing device)
FIG. 1 is a block diagram showing an example of the configuration of main parts of the
また、情報処理装置1は、外部の機器とのインターフェース(IF)として、撮影装置IF13、傾斜計IF14、表示装置IF15、音出力装置IF16、およびネットワークIF17を備えている。これらのインターフェースは任意のものを適用可能であり、例えば、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)等を適用してもよい。
The
撮影装置IF13は、撮影装置5から上述の撮影画像を取得するためのインターフェースである。また、傾斜計IF14は、傾斜計7から傾斜角度の計測値を取得するためのインターフェースである。なお、上記撮影画像および上記計測値は何れもアナログデータである。アナログデータをデジタルデータに変換する処理は、情報処理装置1への入力前に行ってもよいし、情報処理装置1が行ってもよい。また、撮影画像および傾斜角度の計測値は、情報処理装置1の外部の記憶装置等を介して取得する構成としてもよい。
The photographing device IF 13 is an interface for acquiring the above-mentioned photographed image from the photographing
表示装置IF15は、情報処理装置1が図示しない表示装置に画像を表示させる際に使用するインターフェースである。例えば、情報処理装置1は、表示装置IF15を介して、撮影装置5が撮影した撮影画像や、傾斜計7の計測値等を表示装置に表示させることもできる。
The display device IF15 is an interface used by the
音出力装置IF16は、情報処理装置1が図示しない音出力装置に音声を出力させる際に使用するインターフェースである。音出力装置は例えばスピーカである。情報処理装置1は、例えば危険領域への人の立ち入りを検出したときに、音出力装置IF16を介して、音出力装置に警告メッセージや警告音を出力させることもできる。
The sound output device IF16 is an interface used by the
ネットワークIF17は、情報処理装置1が例えばインターネット等のネットワーク上の各種機器と通信するためのインターフェースである。なお、情報処理装置1は、上述したインターフェース以外にも例えば外付けの記憶装置(例えばハードディスク)にアクセスするためのインターフェース等を備えていてもよい。
The network IF 17 is an interface for the
プロセッサ10は、上述のように画像取得部101から側方画像対象検出部112までの各部として機能する。以下、画像取得部101から警報部109までの各部について説明する。なお、側方画像取得部110から側方画像対象検出部112までの各部については実施形態2で説明する。
The
画像取得部101は、クレーンCRのブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像を取得する。撮影画像の取得方法は特に限定されず、例えば、画像取得部101は、撮影装置IF13を介して撮影装置5から撮影画像を取得してもよい。
The
傾斜角度特定部102は、クレーンCRのブームCR3の傾斜角度を特定する。傾斜角度の特定方法は特に限定されず、例えば、傾斜角度特定部102は、傾斜計IF14を介して傾斜計7の計測値を取得してもよい。
The inclination
縮尺特定部103は、傾斜角度特定部102が特定した傾斜角度に応じた縮尺を特定する。具体的には、縮尺特定部103は、ブームCRをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて縮尺を特定する。相関情報は、傾斜角度と縮尺との相関を示す情報である。なお、相関情報とそれを用いた縮尺の特定についての詳細は後述する。
The
高度判定部104は、危険領域に対応する位置の高度を判定する。高度の判定が行われた場合、領域設定部105は、高度判定部が判定した高度と、傾斜角度特定部102が特定した傾斜角度とに応じた縮尺を適用して、撮影画像中に危険領域を設定する。これらの処理の詳細は図10に基づいて後述する。
The
領域設定部105は、傾斜角度特定部102が特定した傾斜角度に応じた縮尺を適用して、撮影装置5で下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域(危険領域)を設定する。なお、縮尺は上述のように縮尺特定部103が特定する。領域設定方法の詳細は後述する。
The
入力データ生成部106は、対象検出部107が対称の検出に用いる検出モデルに入力する入力データを生成する。より詳細には、入力データ生成部106は、領域設定部105が設定した危険領域を上記撮影画像から切り出して所定サイズに調整し、調整画像を生成する。この調整画像が検出モデルへの入力データとなる。詳細は後述するが、この検出モデルは学習装置3によって生成される。
The input
対象検出部107は、撮影画像に写る所定の検出対象を検出する。本実施形態では、当該対象が人とフックである例、すなわち対象検出部107が、撮影画像に写る危険領域内において、人とフックCR5を検出する例を説明する。これらの検出は、上述した検出モデルの出力値に基づいて行われる。
The
なお、検出対象はこれらの例に限られない。例えば、対象検出部107は、人の代わりに人の装着している物品(ヘルメット等)を検出してもよいし、フックCR5の代わりに吊荷等を検出してもよい。また、対象検出部107は、複数の対象を検出する場合、当該複数の対象を検出可能な1つの検出モデルの出力値から各対象を検出してもよいし、対象ごとに用意された検出モデルの出力値から各対象を検出してもよい。
Note that the detection target is not limited to these examples. For example, the
侵入回数カウント部108は、領域設定部105が設定した領域すなわち危険領域に対象検出部107の検出対象(典型的には人)が侵入した回数をカウントする。侵入回数のカウント方法の詳細は後述する。
The number-of-
警報部109は、危険領域内に対象検出部107の検出対象(典型的には人)が検出された場合に警報を行う。警報は、検出対象が検出されたことを所定の対象者に認識させることができるものであればよく、音、画像、およびそれらの組み合わせ等、任意の方法で行うものであってよい。警報の対象者は、クレーンCRの周囲で作業する作業員であってもよい。ただし、作業員は、例えば吊荷をフックCR5に玉掛けする際などに危険領域に立ち入るが、このような立ち入り時には警報は不要である。そこで、警報の対象者は、例えば、工事現場の監視員や監督者、情報処理装置1のオペレータ等としてもよい。これらの場合、警報の対象者が必要と判断したときに、警報部109または他の手段により作業員への警報を行えばよい。
The
以上のように、情報処理装置1は、クレーンCRのブームCR3の傾斜角度を特定する傾斜角度特定部102を備えている。また、情報処理装置1は、傾斜角度特定部102が特定した傾斜角度に応じた縮尺を適用して、ブームCR3に取り付けられた撮影装置5で撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部105を備えている。
As described above, the
上記の構成によれば、ブームCR3の傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して領域を設定するので、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。そして、対象検出部107は、設定された領域(危険領域)から所定の検出対象を検出するので、撮影画像全体から検出を行う場合と比べて、少ない演算量で高精度な検出を行うことが可能になる。
According to the above configuration, since the inclination angle of the boom CR3 is specified and the area is set by applying a scale according to the inclination angle, even if an object of known dimensions is not included in the captured image, An area having a predetermined actual size can be set. The
(学習装置の構成)
図2は、学習装置3の要部構成の一例を示すブロック図である。図示のように、学習装置3は、プロセッサ30、メモリ31、および大容量記憶装置32を備えている。学習装置3は、情報処理装置1と同様に、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ30は、大容量記憶装置32に記憶されている学習プログラムをメモリ31にロードして実行することにより、後述する画像取得部301から学習部310までの各部として機能する。
(Configuration of learning device)
FIG. 2 is a block diagram showing an example of the main part configuration of the
また、学習装置3は、外部の機器とのインターフェース(IF)として、撮影装置IF33、傾斜計IF34、表示装置IF35、入力装置IF36、およびネットワークIF37を備えている。入力装置IF36は、キーボードやマウスなどの入力装置からの入力信号を受け付けるためのインターフェースである。入力装置IF36は、例えばUSB等のインターフェースであってもよい。学習装置3が備えるインターフェースのうち、図1の情報処理装置1が備えるものと同名のインターフェースは機能も同様であるから説明を繰り返さない。
The
画像取得部301は、クレーンCRのブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像を取得する。撮影画像の取得方法は特に限定されず、例えば、画像取得部301は、撮影装置IF33を介して撮影装置5から上述の撮影画像を取得してもよい。また、例えば、画像取得部301は、情報処理装置1の大容量記憶装置12に保存されている撮影画像を情報処理装置1と通信することにより取得してもよい。さらに、例えば、撮影画像が情報処理装置1の外部の記憶装置に記憶されている場合には、画像取得部301はその記憶装置にアクセスして撮影画像を取得してもよい。
The
撮影時刻特定部302は、画像取得部301が取得した撮影画像の撮影時刻を特定する。撮影時刻の特定方法の詳細は後述する。
The photographing
傾斜角度特定部303は、クレーンCRのブームCR3の傾斜角度を特定する。具体的には、傾斜角度特定部303は、ブームCR3の傾斜角度の時系列の測定結果から、撮影画像の撮影時刻におけるブームCR3の傾斜角度を特定する。なお、傾斜角度の特定方法の詳細は後述する。
The inclination
検出対象情報生成部304は、撮影画像において、検出モデルの検出対象が写る位置および範囲を示す検出対象情報を生成する。検出対象が写る位置および範囲は、学習装置3のユーザが設定してもよい。この場合、検出対象情報生成部304は、入力装置IF36を介してユーザの設定を取得し、取得した設定内容を示す検出対象情報を生成すればよい。
The detection target
教師データ生成部305は、撮影装置5で撮影する撮影画像から所定の検出対象を検出するための検出モデルの機械学習に用いる教師データを生成する。詳細は後述するが、この教師データでは、撮影画像に対して、傾斜角度特定部303が特定した傾斜角度と、検出対象情報生成部304が生成した検出対象情報とが対応付けられている。
The teacher
縮尺特定部306は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を特定する。具体的には、縮尺特定部306は、ブームCRをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて縮尺を特定する。縮尺特定部306が用いる相関情報は、情報処理装置1の縮尺特定部103が用いる相関情報と同じ情報である。
The
学習対象領域設定部307は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を適用して、ブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域(学習対象領域)を設定する。なお、縮尺は上述のように縮尺特定部306が特定する。
The learning target
学習対象領域を実寸法でどの程度のサイズの領域とするかは任意である。また、学習対象領域は、危険領域と同じ位置およびサイズの領域としてもよいし、位置およびサイズの少なくとも何れかが危険領域とは異なる領域としてもよい。後者の場合、学習対象領域を危険領域よりも広く設定してもよい。 The actual size of the learning target area is arbitrary. Further, the learning target area may be an area having the same position and size as the dangerous area, or may be an area having at least one of a different position and size from the dangerous area. In the latter case, the learning target area may be set wider than the dangerous area.
入力データ生成部308は、学習部310が検出モデルの機械学習時に当該検出モデルに入力する入力データを生成する。なお、検出モデルは、情報処理装置1の対象検出部107が対象の検出に用いるモデルである。具体的には、入力データ生成部308は、学習対象領域設定部307が設定した学習対象領域を上記撮影画像から切り出して所定サイズに調整し、調整画像を生成する。この調整画像が機械学習時における検出モデルへの入力データとなる。
The input
回転画像生成部309は、入力データ生成部308が生成した調整画像を回転させて回転画像を生成する。回転画像生成部309が生成する回転画像は、上記調整画像と共に上記生成モデルの生成に用いられる。
The rotated
学習部310は、機械学習により上記検出モデルを生成する。検出モデルの生成には、上述のとおり、入力データ生成部308が生成する入力データ(具体的には調整画像)が用いられると共に、回転画像生成部309が生成する回転画像も用いられる。機械学習の詳細については後述する。
The
以上のように、学習装置3は、クレーンCRのブームCR3の傾斜角度を特定する傾斜角度特定部303を備えている。また、学習装置3は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を適用して、ブームCR3に取り付けられた撮影装置5で撮影した撮影画像中に、実寸法で所定のサイズとなる領域(学習対象領域)を設定する学習対象領域設定部307を備えている。
As described above, the
上記の構成によれば、ブームCR3の傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して領域を設定するので、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。そして、学習部310は、撮影画像の画像領域のうち、設定された上記領域(学習対象領域)のみを学習の対象とするので、撮影画像全体を学習対象とする場合と比べて、少ない演算量で高精度な検出が可能な検出モデルを生成することが可能になる。
According to the above configuration, since the inclination angle of the boom CR3 is specified and the area is set by applying a scale according to the inclination angle, even if an object of known dimensions is not included in the captured image, An area having a predetermined actual size can be set. The
また、学習装置3は、以上のように、ブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像の撮影時におけるブームCR3の傾斜角度を特定する傾斜角度特定部303を備えている。また、学習装置3は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を適用して、撮影画像中に実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定部307を備えている。さらに、学習装置3は、学習対象領域の画像を所定サイズに調整した調整画像を用いて、学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習部310を備える。
Further, as described above, the
上記の構成によれば、ブームの傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して、実寸法で所定のサイズとなる学習対象領域を設定する。すなわち、上記の構成によれば、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる学習対象領域を設定することができる。 According to the above configuration, the inclination angle of the boom is specified, and a scale corresponding to the inclination angle is applied to set a learning target area having a predetermined actual size. That is, according to the above configuration, it is possible to set a learning target area that has a predetermined actual size even if an object of known dimensions is not included in the photographed image.
また、上記の構成によれば、学習対象領域の画像を所定サイズに調整した調整画像を用いて機械学習を行う。これにより、ブームCR3の傾斜角度に応じて撮影画像における学習対象領域の範囲が変わり、学習対象領域に写る検出対象のサイズが変わっても、常に実寸法で所定のサイズとなる学習対象領域を学習対象とすることができる。また、設定された学習対象領域に対応する実寸法のサイズは常に所定サイズであるから、学習対象領域に写る検出対象のサイズも略一定の範囲に収まる。よって、このような調整画像を用いない場合と比べて効率的な学習を行うことができる。 Further, according to the above configuration, machine learning is performed using an adjusted image obtained by adjusting the image of the learning target area to a predetermined size. As a result, the range of the learning target area in the photographed image changes according to the inclination angle of the boom CR3, and even if the size of the detection target reflected in the learning target area changes, the learning target area is always learned to have a predetermined actual size. It can be targeted. Further, since the actual size corresponding to the set learning target area is always a predetermined size, the size of the detection target appearing in the learning target area also falls within a substantially constant range. Therefore, learning can be performed more efficiently than when such adjusted images are not used.
また、学習装置3は、以上のように、ブームCR3の傾斜角度の時系列の測定結果から、画像取得部301が取得した撮影画像の撮影時刻におけるブームCR3の傾斜角度を特定する傾斜角度特定部303を備えている。さらに、学習装置3は、傾斜角度特定部303が特定した傾斜角度と、画像取得部301が取得した撮影画像と、検出対象情報生成部304が生成した検出対象情報とを対応付けて教師データを生成する教師データ生成部305を備えている。この教師データは、上述の検出モデルの機械学習に用いられる教師データである。
Further, as described above, the
つまり、学習装置3は、ブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像から機械学習用の教師データを生成する教師データ生成装置としての機能も有している。無論、学習装置3とは別体の教師データ生成装置に傾斜角度特定部303および教師データ生成部305等を実装してもよい。
That is, the
上記の構成によれば、ブームCR3の傾斜角度の時系列の測定結果から、撮影画像の撮影時刻におけるブームCR3の傾斜角度を特定し、特定した傾斜角度と撮影画像と検出対象情報とを対応付けて教師データを生成する。この教師データには、ブームCR3の傾斜角度が含まれているので、この傾斜角度に応じた縮尺を適用することにより、当該教師データに含まれる撮影画像中に実寸法で所定のサイズとなる学習対象領域を設定することができる。したがって、学習部310は、上記のようにして生成される教師データを用いることにより、効率的な学習を行うことができる。
According to the above configuration, the inclination angle of the boom CR3 at the shooting time of the captured image is specified from the time series measurement results of the inclination angle of the boom CR3, and the identified inclination angle, the captured image, and the detection target information are associated. to generate training data. This training data includes the inclination angle of the boom CR3, so by applying a scale according to this inclination angle, learning that the photographed image included in the training data has a predetermined actual size can be achieved. You can set the target area. Therefore, the
(アンカーボックスについて)
検出モデルを用いた物体検出では、アンカーボックスを用いることが好ましい。アンカーボックスを用いることにより、例えばスライディングウィンドウ等による物体検出と比べて処理を簡略化し、効率的に検出を行うことができる。
(About anchor box)
In object detection using a detection model, it is preferable to use an anchor box. By using an anchor box, processing can be simplified and detection can be performed efficiently compared to, for example, object detection using a sliding window.
アンカーボックスを用いた物体検出を行う検出モデルを生成する場合、使用するアンカーボックスの高さと幅を事前に定義しておく。アンカーボックスは、複数定義することができる。ただし、使用するアンカーボックスの数が増える程、学習においても学習済みの検出モデルによる物体検出においても演算量が増えてしまう。 When generating a detection model that performs object detection using an anchor box, the height and width of the anchor box to be used are defined in advance. Multiple anchor boxes can be defined. However, as the number of anchor boxes used increases, the amount of calculation increases both in learning and in object detection using a learned detection model.
この点、学習部310は、撮影画像全体を学習対象とするのではなく、学習対象領域設定部307が設定した学習対象領域のみを学習対象としているので、アンカーボックスの数を抑えつつ、十分な検出精度の検出モデルを生成可能である。同様に、情報処理装置1の対象検出部107は、撮影画像全体を検出対象とするのではなく、領域設定部105が設定した領域(危険領域)を検出対象としているので、アンカーボックスの数を抑えつつ、十分な精度での検出を実現可能である。
In this regard, the
(危険領域の設定例)
図4は、危険領域の設定例を示す図である。より詳細には、図4には、ブームCR3の傾斜角度が急峻なときの危険領域の設定例を示すとともに、ブームCR3の傾斜角度を緩やかにしたときの危険領域の設定例を示している。なお、図4では急峻な傾斜角度のブームCR3を破線で示している。
(Example of setting dangerous area)
FIG. 4 is a diagram showing an example of setting a dangerous area. More specifically, FIG. 4 shows an example of setting the dangerous area when the inclination angle of the boom CR3 is steep, and also shows an example of setting the dangerous area when the inclination angle of the boom CR3 is made gentle. In addition, in FIG. 4, the boom CR3 having a steep inclination angle is shown by a broken line.
図4では、フックCR5の直下の位置を中心とする実寸法で一辺の長さがaの正方形の領域を危険領域に設定する例を説明する。ブームCRの傾斜角度によらず、危険領域のサイズは不変であるが、ブームCRの傾斜角度によって撮影装置5の撮影範囲は変化する。
In FIG. 4, an example will be described in which a square area with a side length a in actual size centered on a position directly below the hook CR5 is set as a dangerous area. Although the size of the dangerous area remains unchanged regardless of the inclination angle of the boom CR, the photographing range of the photographing
図4の例では、ブームCRの傾斜角度が急峻であるときには、撮影装置5の撮影範囲AR1の幅はA1である。この状態で撮影した画像が撮影画像IMG1である。一方、ブームCRの傾斜角度を緩やかにすると、撮影装置5がより低い位置になり、撮影範囲AR2の幅はA2になる(A1>A2)。この状態で撮影した画像が撮影画像IMG2である。撮影画像IMG1とIMG2は、何れも同じ撮影設定で撮影されたものであり、画像サイズおよび解像度が同一である。これらの撮影画像の幅は何れもB(ピクセル)である。
In the example of FIG. 4, when the inclination angle of the boom CR is steep, the width of the photographing range AR1 of the photographing
領域設定部105は、このようにして撮影された各撮影画像について、実寸法で一辺の長さがaとなる危険領域を設定する。図4の例では、撮影画像IMG1については一辺の長さがb1(ピクセル)である危険領域が設定されており、撮影画像IMG2については一辺の長さがb2(ピクセル)である危険領域が設定されている。
The
図4から看取できるように、b1<b2である。これは、ブームCR3の傾斜角度の違いに起因する、撮影装置5から危険領域までの距離の違いを反映したものである。つまり、撮影画像IMG1およびIMG2では、ブームCR3の傾斜角度が大きいほど撮影装置5から危険領域までの距離が遠くなり、撮影画像に写る危険領域のサイズは小さくなることを反映したサイズの危険領域が設定されている。
As can be seen from FIG. 4, b 1 <b 2 . This reflects the difference in distance from the
撮影画像IMG1およびIMG2における危険領域のサイズは、縮尺特定部103が特定した縮尺に基づいて決定される。上述のように、縮尺は、ブームCR3をそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出される。
The size of the dangerous area in the captured images IMG1 and IMG2 is determined based on the scale specified by the
例えば、ブームCR3の傾斜角度を最大にして、撮影装置5の直下に所定の長さの基準物を配置し、それを撮影する。なお、基準物は長さが既知のものであればよく、例えば地表面に描いた線分などであってもよい。そして、撮影された画像(基準画像)に写る基準物の長さ(例えばピクセル数)を計測する。これにより、ブームCR3の傾斜角度が最大であるときの実寸法と基準画像上におけるサイズとの対応関係を特定することができる。
For example, the inclination angle of the boom CR3 is maximized, a reference object of a predetermined length is placed directly below the photographing
同様に、ブームCR3の傾斜角度を最小にして、撮影装置5の直下に所定の長さの基準物を配置し、それを撮影する。そして、撮影された画像(基準画像)に写る基準物の長さ(例えばピクセル数)を計測する。これにより、ブームCR3の傾斜角度が最小であるときの実寸法と基準画像上におけるサイズとの対応関係を特定することができる。
Similarly, the inclination angle of the boom CR3 is minimized, a reference object of a predetermined length is placed directly below the photographing
そして、ブームCR3の傾斜角度が最大であるときの実寸法と基準画像上のサイズとの対応関係と、ブームCR3の傾斜角度が最小であるときの実寸法と基準画像上のサイズとの対応関係から、他の傾斜角度のときの対応関係も導出される。つまり、ブームCR3の傾斜角度から縮尺を算出する関数を導出することができる。この関数を相関情報として大容量記憶装置12等に格納しておけば、縮尺特定部103はこの関数を用いて縮尺を特定することができる。
Then, the correspondence relationship between the actual size when the inclination angle of boom CR3 is the maximum and the size on the reference image, and the correspondence relationship between the actual size and the size on the reference image when the inclination angle of boom CR3 is the minimum. From this, correspondence relationships for other inclination angles are also derived. That is, a function for calculating the scale can be derived from the inclination angle of the boom CR3. If this function is stored as correlation information in the
このような関数を相関情報として大容量記憶装置12等に格納しておけば、縮尺特定部103はこの関数を用いて縮尺を特定することができる。そして、領域設定部105は、このようにして特定された縮尺を用いることにより、撮影画像IMG1およびIMG2のそれぞれについて、実寸法で所定サイズとなる危険領域を設定することができる。
If such a function is stored as correlation information in the
例えば、図4の例において、ブームCR3の傾斜角度が急峻であるときの縮尺(撮影画像におけるピクセル数/実寸法)がX1と特定され、ブームCR3の傾斜角度が緩やかであるときの縮尺がX2と特定されたとする。この場合、領域設定部105は、危険領域の実寸法幅であるaに縮尺X1を乗じて、IMG1における危険領域の幅b1を算出する(a×X1=b1)。また、領域設定部105は、危険領域の実寸法幅であるaに縮尺X2を乗じて、IMG2における危険領域の幅b2を算出する(a×X2=b2)。
For example, in the example of FIG. 4, the scale (number of pixels in the captured image/actual size) when the inclination angle of boom CR3 is steep is specified as X1, and the scale when the inclination angle of boom CR3 is gentle is specified as X2. Suppose that it is specified that In this case, the
以上のように、縮尺特定部103は、ブームCR3をそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて傾斜角度に応じた縮尺を特定してもよい。そして、領域設定部105は、縮尺特定部103が特定した縮尺を適用して危険領域を設定してもよい。この構成によれば、寸法が既知の基準物を実際に撮影した基準画像を用いて導出された相関情報を用いるので、適切な縮尺を特定することが可能になる。
As described above, the
以上のようにして撮影画像IMG1において危険領域を設定した後、その危険領域からの人の検出が行われる。上述のように、人の検出には検出モデルを用いるので、入力データ生成部106はこの検出モデルへの入力データを生成する。
After the dangerous area is set in the photographed image IMG1 as described above, a person from the dangerous area is detected. As described above, since a detection model is used to detect a person, the input
具体的には、図4に示すように、入力データ生成部106は、撮影画像IMG1から領域設定部105が設定した危険領域を切り出して画像IMG1aを生成する。そして、生成した画像IMG1aを所定のサイズ(図4の例では一辺の長さがCピクセルの正方形)に調整して調整画像IMG1bを生成する。この調整画像IMG1bが検出モデルへの入力データとなる。
Specifically, as shown in FIG. 4, the input
なお、入力データ生成部106は、領域設定部105が設定した危険領域よりも広い領域を切り出してもよい。これにより、危険領域に近付いた作業員を検出することが可能になり、また、フックCR5が揺れる等によって危険領域を設定する撮影画像IMG2中の基準位置がずれた場合にも、実際の危険領域をカバーした範囲で人の検出を行うことができる。
Note that the input
撮影画像IMG2からの入力データの生成方法も同様である。すなわち、入力データ生成部106は、撮影画像IMG2から領域設定部105が設定した危険領域を切り出して画像IMG2aを生成する。そして、生成した画像IMG2aを所定のサイズ(図4の例では一辺の長さがCピクセルの正方形)に調整して調整画像IMG2bを生成する。この調整画像IMG2bが検出モデルへの入力データとなる。
The method of generating input data from photographed image IMG2 is also similar. That is, the input
また、学習装置3において行われる調整画像の生成も上記と同様である。すなわち、学習装置3においては、入力データ生成部308が、撮影画像から学習対象領域設定部307が設定した学習対象領域を切り出し、切り出した画像を所定のサイズに調整して調整画像を生成する。この調整画像のサイズは、入力データ生成部106が生成する調整画像と同じサイズである。
Further, the generation of the adjusted image performed in the
(教師データの生成)
図5は、検出モデルの生成に用いる教師データの生成方法の例を示す図である。図示のように、ここでは傾斜情報が常時記録されているとする。傾斜情報は、傾斜計7の計測結果すなわち傾斜角度と、その計測が行われた時刻を示す時刻情報とが対応付けられた情報である。
(Generation of teaching data)
FIG. 5 is a diagram illustrating an example of a method for generating training data used to generate a detection model. As shown in the figure, it is assumed here that the slope information is constantly recorded. The inclination information is information in which the measurement result of the
また、撮影装置5により動画像が撮影されて動画像ファイルが記録されているとする。なお、動画像の撮影は断続的に行われ、各撮影で得られた動画像が個別の動画像ファイルとして記録されている。例えば、クレーンCRを用いて作業が行われたある一日において、作業時間中継続して撮影を行い、その一日の動画像ファイルとして記録してもよい。
It is also assumed that a moving image is photographed by the photographing
また、各動画像ファイルのファイル名にはその動画像ファイルの撮影開始時刻を示す情報を含めておいてもよい。これにより、撮影開始時刻を簡単に記録しておくことができる。例えば、年月日を示す情報(YYYYMMDD)と時分秒を示す情報(HHMMSS)とを組み合わせたファイル名としてもよい。 Further, the file name of each moving image file may include information indicating the shooting start time of the moving image file. This allows the shooting start time to be easily recorded. For example, the file name may be a combination of information indicating the year, month, and day (YYYYMMDD) and information indicating the hour, minute, and second (HHMMSS).
画像取得部301は、上述の動画像ファイルから、当該動画像ファイルを構成するフレーム画像を取得する。この際、画像取得部301は、取得したフレーム画像のファイル名に画像番号を付与しておく。例えば、画像取得部301は、動画像ファイルを構成する最初のフレーム画像の画像番号を0とし、2番目以降のフレーム画像について画像番号をインクリメントさせながら付与してもよい。
The
撮影時刻特定部302は、動画像ファイルのファイル名に含まれる、動画像の撮影開始時刻に基づいて、画像取得部301が取得したフレーム画像の撮影時刻を特定する。例えば、上記動画像ファイルのフレームレートが1秒間に29.97フレームである場合には、100フレーム目のフレーム画像の撮影時刻は(100×1/29.97)秒と特定される。
The photographing
傾斜角度特定部303は、上述の傾斜情報を参照して、撮影時刻特定部302が特定した撮影時刻におけるブームCR3の傾斜角度を特定する。これにより、フレーム画像と傾斜角度とが対応付けられる。傾斜角度特定部303は、特定した傾斜角度をフレーム画像の画像番号と同じ番号の角度ファイルに保存することにより、この対応付けの結果を記録してもよい。
The inclination
なお、撮影時刻特定部302が特定した撮影時刻と一致する時刻情報が対応付けられた傾斜角度が存在しなければ、最も近い時刻情報が対応付けられた傾斜角度を特定すればよい。
Note that if there is no tilt angle associated with time information that matches the photographing time specified by the photographing
以上の処理により、フレーム画像が画像番号を付された状態で保存されると共に、傾斜角度も同様に番号を付された状態で保存される。なお、対応付けられたフレーム画像と傾斜角度には同じ番号が付与されている。 Through the above processing, the frame images are saved with image numbers assigned to them, and the tilt angles are also saved with numbers assigned to them. Note that the same number is given to the associated frame image and tilt angle.
このように、画像取得部301が撮影装置5で撮影した動画像ファイルを構成するフレーム画像を取得する場合、撮影時刻特定部302は、動画像ファイルのファイル名に含まれる、動画像の撮影開始時刻に基づいてその撮影時刻を特定してもよい。そして、傾斜角度特定部303は、撮影時刻特定部302が特定した撮影時刻におけるブームCR3の傾斜角度を特定してもよい。この構成によれば、予め動画像ファイルのファイル名に動画像の開始時刻を含めておくだけで、その動画像ファイルを構成するフレーム画像から、傾斜角度を含む教師データを自動で生成することが可能になる。
In this way, when the
次に、縮尺の特定と学習対象領域の設定とが行われる。具体的には、まず、画像取得部301が取得したフレーム画像について、縮尺特定部306が、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を特定する。縮尺の特定には、図4の説明時に述べたように、傾斜角度から縮尺を算出する関数を相関情報として用いればよい。
Next, the scale is specified and the learning target area is set. Specifically, first, for the frame image acquired by the
次に、学習対象領域設定部307が、画像取得部301が取得した上記フレーム画像に学習対象領域を設定する。学習対象領域の実寸法のサイズは危険領域と同じまたは同程度としてもよいし、危険領域よりも広く設定してもよい。学習対象領域は、例えばフレーム画像における中心位置に設定すればよい。そして、入力データ生成部308が、上記フレーム画像から上記学習対象領域を切り出して所定サイズに調整し、調整画像を生成する。これらの処理を各フレーム画像について行うことにより、各フレーム画像に対応する調整画像が生成される。
Next, the learning target
この後、各調整画像について、検出対象情報生成部304が、検出対象の位置および範囲を示す検出対象情報を保存する。例えば、検出対象情報生成部304は、表示装置IF35を介して調整画像を表示装置に表示させ、入力装置IF36を介して検出対象の位置および範囲の入力を受け付けてもよい。例えば、人の検出モデルを生成する場合、学習装置3のユーザは、調整画像に写る人を囲む矩形を入力すればよい。この場合、検出対象情報生成部304は、入力された矩形の位置(例えば代表座標)、幅、および高さを検出対象情報として保存すればよい。
Thereafter, for each adjusted image, the detection target
また、回転画像生成部309は、調整画像を回転させて回転画像を生成する。また、回転画像生成部309は、回転画像を生成した場合、その回転角度に応じて上述の検出対象情報も修正する。
Further, the rotated
これにより、学習部310は、調整画像に加えて回転画像も用いて機械学習を行うことになる。この構成によれば、調整画像を回転させて生成した回転画像についても機械学習に用いるので、機械学習する画像のバリエーションを増やし、この機械学習によって生成される検出モデルの検出精度を高めることができる。
Thereby, the
例えば、回転画像生成部309は、調整画像をランダムな回転角度で回転させることにより回転画像を生成してもよい。また、回転画像生成部309は、1つの調整画像から回転角度が異なる複数の回転画像を生成してもよい。
For example, the rotated
(教師データ生成処理の流れ)
教師データ生成処理の流れを図6に基づいて説明する。図6は、教師データ生成処理(教師データ生成方法)の例を示すフローチャートである。
(Flow of teacher data generation process)
The flow of the teacher data generation process will be explained based on FIG. 6. FIG. 6 is a flowchart illustrating an example of teacher data generation processing (teacher data generation method).
S1では、画像取得部301が撮影画像を取得し、S2では撮影時刻特定部302がその撮影時刻を特定する。例えば、図5の例のように、画像取得部301が動画像ファイルのフレーム画像をS1で取得した場合には、S2では撮影時刻特定部302がそのフレーム番号と動画像ファイルの撮影開始時刻とから撮影時刻を特定する。
In S1, the
S3(傾斜角度特定ステップ)では、傾斜角度特定部303が、S2で特定された時刻におけるブームCR3の傾斜角度を特定する。例えば、図5の例のように、時刻情報を含む傾斜情報が記録されている場合、傾斜角度特定部303はS2で特定された時刻と一致するか、またはその時刻に最も近い時刻を示す時刻情報が対応付けられた傾斜角度を特定する。
In S3 (inclination angle specifying step), the inclination
S4(教師データ生成ステップ)では、教師データ生成部305がS1で取得された撮影画像とS3で取得された傾斜情報とを対応付けて教師データとし、これを保存する。そして、S5(教師データ生成ステップ)では、教師データ生成部305は、S4で保存した教師データに、検出対象情報生成部304が生成した検出対象情報をさらに対応付けて保存し、これにより教師データ生成処理は終了する。
In S4 (teacher data generation step), the teacher
(学習処理の流れ)
検出モデルを生成するための学習処理の流れを図7に基づいて説明する。図7は、検出モデルの学習処理(学習方法)の例を示すフローチャートである。
(Flow of learning process)
The flow of learning processing for generating a detection model will be explained based on FIG. 7. FIG. 7 is a flowchart illustrating an example of a detection model learning process (learning method).
S11では、入力データ生成部308が、教師データを取得する。この教師データは、図6に示す教師データ生成処理により生成されて、大容量記憶装置32などに保存されたものであり、撮影画像、傾斜角度、および検出対象情報を含む。
In S11, the input
S12(傾斜角度特定ステップ)では、傾斜角度特定部303が、S11で取得された教師データに含まれる傾斜角度を、当該教師データに含まれる撮影画像の撮影時におけるブームCR3の傾斜角度であると特定する。なお、教師データに傾斜角度を示す情報が含まれていなければ、傾斜角度特定部303は上述した図6のS3と同様の処理により傾斜角度を特定する。
In S12 (inclination angle identification step), the inclination
S13では、縮尺特定部306が、S12で特定された傾斜角度から、S11で取得された教師データに含まれる撮影画像の縮尺を特定する。傾斜角度から縮尺を特定する方法は上述した通りであるから、ここでは説明を繰り返さない。
In S13, the
S14(学習対象領域設定ステップ)では、学習対象領域設定部307が、S11で取得された教師データに含まれる撮影画像に学習対象領域を設定する。より詳細には、学習対象領域設定部307は、設定すべき学習対象領域の実寸法に、S13で特定された縮尺を乗じて、撮影画像中における学習対象領域のサイズを特定する。そして、学習対象領域設定部307は、撮影画像における所定位置(例えば中央部)に、特定した上記サイズの学習対象領域を設定する。
In S14 (learning target area setting step), the learning target
S15では、入力データ生成部308が、教師データに含まれる撮影画像から学習対象領域を切り出し、サイズ調整して調整画像を生成する。また、入力データ生成部308は、上記のサイズ調整に伴う検出対象情報の修正も行う。例えば、サイズ調整により学習対象領域のサイズが1/2になった場合には、検出対象情報に含まれる検出対象の幅および高さも1/2にする。また、入力データ生成部308は、検出対象情報に含まれる検出対象の位置についても、学習対象領域を切り出した位置に応じて修正する。
In S15, the input
なお、入力データ生成部308は、学習対象領域の切り出しの際に、切り出す領域の位置、サイズ、または形状等を変えて複数パターンの画像を切り出してもよい。この場合、例えば学習対象領域設定部307が設定した学習対象領域を基準として切り出し範囲を設定しておいてもよい。そして、入力データ生成部308は、例えば乱数を用いて、切り出す領域の位置、幅、高さなどを切り出し範囲内で決定してもよい。
Note that when cutting out the learning target area, the input
また、入力データ生成部308は、撮影画像から切り出した1つの画像から、形状やサイズが異なる複数の調整画像を生成してもよい。この場合、入力データ生成部308は、予め設定された調整画像の上限幅~下限幅の範囲内で例えば乱数を用いて調整画像の幅を決定してもよい。同様に、入力データ生成部308は、予め設定された調整画像の上限高さ~下限高さの範囲内で例えば乱数を用いて調整画像の高さを決定してもよい。
Furthermore, the input
この他にも、入力データ生成部308は、例えば、解像度がそれぞれ異なる複数の調整画像を生成してもよい。この場合、解像度は、所定の上限~下限の範囲内において、例えば乱数を用いて決定してもよい。これらの各構成によれば、教師データのバリエーションを増やして、学習精度を向上させることができる。
In addition to this, the input
S16では、回転画像生成部309が、S15で生成された調整画像を回転させて回転画像を生成する。また、回転画像生成部309は、回転前の調整画像の検出対象情報を、回転画像の生成時の回転角度に応じた内容に修正して、回転画像の検出対象情報とする。
In S16, the rotated
S17(学習ステップ)では、学習部310が、S15で生成された調整画像と、S16で生成された回転画像とを用いて機械学習を実行して検出モデルを生成し、これにより学習処理は終了する。
In S17 (learning step), the
(監視処理の流れ)
情報処理装置1による危険領域の監視処理の流れを図8に基づいて説明する。図8は、情報処理装置1による危険領域の監視処理の例を示すフローチャートである。この監視処理には、情報処理装置1による領域設定方法が含まれている。
(Flow of monitoring process)
The flow of the dangerous area monitoring process by the
S21では、画像取得部101が、撮影装置5が撮影した撮影画像を取得する。また、S22(傾斜角度特定ステップ)では、傾斜角度特定部102が、傾斜計7で計測されたブームCR3の傾斜角度を特定する。
In S21, the
S23では、縮尺特定部103が、S21で取得された撮影画像について、S22で特定された傾斜角度に応じた縮尺を特定する。傾斜角度から縮尺を特定する方法は上述した通りであるから、ここでは説明を繰り返さない。
In S23, the
S24では、対象検出部107が、S21で取得された撮影画像からフックCR5を検出する。フックCR5の検出には、学習装置3が機械学習により生成した検出モデルを用いればよい。また、この検出モデルはフックCR5のみを検出するものであってもよいし、フックCR5と人を検出するものであってもよい。なお、S24の処理は、S22~S23の処理よりも先に行ってもよいし、それらの処理と並行して行ってもよい。
In S24, the
S25(領域設定ステップ)では、領域設定部105が、S23で特定された縮尺を適用して、S21で取得された撮影画像中に、実寸法で所定のサイズとなる危険領域を設定する。なお、S25では、S24で検出されたフックCR5の位置を基準として危険領域が設定される。S25では、例えば、領域設定部105は、フックCR5の位置を中心とする、一辺が実寸法で5メートルの正方形の危険領域を設定してもよい。
In S25 (area setting step), the
S26では、入力データ生成部106が、S21で取得された撮影画像から、S25で特定された危険領域を切り出し、サイズ調整して調整画像を生成する。そして、S27では、対象検出部107が、人の検出モデルにS26で生成された調整画像を入力する。
In S26, the input
S28では、対象検出部107は、学習済みモデルすなわち学習装置3が生成した人の検出モデルの出力値に基づいて、危険領域から人が検出されたか否かを判定する。例えば、対象検出部107は、人の検出モデルの出力値が閾値以上であれば人が検出されたと判定し、閾値未満であれば人が検出されていないと判定すればよい。S28で人が検出されたと判定した場合(S28でYES)にはS28の処理に進み、検出されていないと判定した場合(S28でNO)にはS21の処理に戻る。
In S28, the
S29では、対象検出部107は、S28で人を検出したと判定した撮影画像の直前に撮影された所定数の撮影画像において、危険領域内に人が検出されていないか判定する。ここで検出されていないと判定した場合(S29でYES)にはS30の処理に進み、検出されていると判定した場合(S29でNO)にはS21の処理に戻る。
In S29, the
S30では、警報部109が警報を行う。また、S31では、侵入回数カウント部108が、危険領域への人の侵入回数を1加算する。この後、処理はS21に戻る。なお、S30およびS31の処理は並行して行ってもよいし、S31の処理を先に行ってもよい。
In S30, the
以上のように、情報処理装置1は、危険領域内の検出対象(上記の例では人)を検出する対象検出部107と、危険領域内に検出対象が検出された場合に警報を行う警報部109と、を備えている。そして、領域設定部105は、撮影画像から検出されたフックCR5の位置を基準として危険領域を設定する。
As described above, the
情報処理装置1を用いてクレーンCRの吊荷の落下事故を未然に防ぐための監視・警報を行う場合、必要性が高い領域を重点的に監視することが好ましい。そこで、上記の構成によれば、撮影画像から検出されたフックCR5の位置を基準として危険領域を設定する。これにより、フックCR5が揺れてその位置が変わった場合や、撮影装置5の撮影方向がずれてしまった場合等にも、警報を適切に行うことができる。また、上記の構成によれば、検出対象を検出する範囲を危険領域内に限定できるから、撮影画像全体の中から検出対象を検出する場合と比べて、効率よくかつ正確に検出対象を検出することが可能になる。
When monitoring and warning are performed using the
また、以上のように、情報処理装置1は、危険領域内に検出対象(上記の例では人)が侵入した回数をカウントする侵入回数カウント部を備えている。そして、侵入回数カウント部108は、時系列で撮影された複数の撮影画像の1つにおける危険領域内に検出対象が検出された場合、当該撮影画像の直前に撮影された所定数の撮影画像で当該危険領域内にその検出対象が検出されていないことを条件として、侵入回数を1回増加させる。詳細は図9に基づいて説明するが、この構成によれば危険領域への侵入回数を正しくカウントすることができる。
Furthermore, as described above, the
なお、S30では、吊荷がないかあるいは落下事故の危険性の低い軽量の吊荷の場合には警報を行わないようにしてもよい。吊荷の有無や吊荷の重量の検出方法は特に限定されない。例えば、クレーンCRに吊荷の重さを測定する荷重計(ロードセル)が設置されている場合、この荷重計の計測値を情報処理装置1に入力してもよい。そして、警報部109は、入力された計測値が閾値(例えば1t)以上である場合にのみ警報を行ってもよい。
Note that in S30, the alarm may not be issued if there is no suspended load or if the suspended load is lightweight and has a low risk of falling. The method for detecting the presence or absence of a suspended load and the weight of the suspended load is not particularly limited. For example, if the crane CR is equipped with a load cell that measures the weight of a suspended load, the measured value of this load cell may be input to the
(警報の例)
図9は、図8の処理により警報を行った例を示す図である。この例では、同図に円で示す危険領域を検出対象である人が通過している。この例のように危険領域の形状は円形であってもよい。無論、危険領域の形状は任意に設定すればよく、例えば、矩形としてもよいし、多角形としてもよいし、楕円としてもよい。
(Example of alarm)
FIG. 9 is a diagram showing an example in which a warning is issued by the process of FIG. 8. In this example, a person to be detected is passing through a dangerous area indicated by a circle in the figure. The shape of the danger area may be circular as in this example. Of course, the shape of the dangerous area may be arbitrarily set, for example, it may be a rectangle, a polygon, or an ellipse.
図9の例において、人は位置P1からP9まで移動しており、各位置にてこの人が撮影されている。ただし、全ての位置で撮影された撮影画像からこの人の検出に成功した訳ではなく、同図に破線の枠囲みで示す位置のみで検出に成功したとする。また、図8のS29における「所定数」が3であるとする。 In the example of FIG. 9, the person is moving from position P1 to P9, and the person is photographed at each position. However, it is assumed that this person was not successfully detected from images taken at all positions, but was only successfully detected at the position shown in the frame surrounded by a broken line in the figure. Further, it is assumed that the "predetermined number" in S29 of FIG. 8 is three.
この場合、人の位置がP3となったときに、図8のS28で人が検出された(YES)と判定される。そして、位置P1~P2では人が検出されたと判定されていないため、続くS29でもYESと判定される。その結果、人の位置がP3となったときにS30の処理が行われて警報が開始されると共に、S31の処理により危険領域への侵入回数が1加算される。 In this case, when the position of the person reaches P3, it is determined in S28 of FIG. 8 that the person has been detected (YES). Since it is not determined that a person has been detected at the positions P1 to P2, the determination is YES in the subsequent S29. As a result, when the person's position reaches P3, the process of S30 is performed and a warning is started, and the number of intrusions into the dangerous area is added by 1 through the process of S31.
次に、人の位置がP5となったときにも、S28で人が検出された(YES)と判定されるが、2つ前の撮影画像(人が位置P3に居るときの撮影画像)から人が検出されているため、S29ではNOと判定される。その結果、侵入回数は加算されないことになる。 Next, when the person's position reaches P5, it is determined in S28 that a person has been detected (YES), but from the two previous captured images (the captured image when the person is at position P3), Since a person has been detected, the determination in S29 is NO. As a result, the number of intrusions will not be added.
同様に、人の位置がP8となったときにも、S28で人が検出された(YES)と判定されるが、3つ前の撮影画像(人が位置P5に居るときの撮影画像)から人が検出されているため、S29ではNOと判定される。その結果、ここでも侵入回数は加算されないことになる。このように、図8の処理によれば、危険領域への侵入回数を正しくカウントすることができる。 Similarly, when the person's position reaches P8, it is determined in S28 that a person has been detected (YES), but from the three previous captured images (the captured image when the person is at position P5). Since a person has been detected, the determination in S29 is NO. As a result, the number of intrusions is not added here either. In this way, according to the process shown in FIG. 8, the number of intrusions into the dangerous area can be correctly counted.
なお、警報の終了条件は特に限定されない。例えば、危険領域よりも一回り広い領域から人を検出する構成とし、危険領域の外で人が検出されたときに警報を終了してもよい。これにより、人の位置が図9のP9となったタイミングで警報を終了することができる。この他にも、例えば、所定回数続けてS28の判定結果がNOであった場合に警報を終了してもよいし、警報開始後、所定時間が経過した時に警報を終了してもよい。 Note that the conditions for ending the warning are not particularly limited. For example, a configuration may be adopted in which a person is detected from an area slightly wider than the danger area, and the warning may be terminated when a person is detected outside the danger area. Thereby, the warning can be ended at the timing when the person's position reaches P9 in FIG. In addition, for example, the alarm may be terminated when the determination result in S28 is NO a predetermined number of times in succession, or the alarm may be terminated when a predetermined period of time has elapsed after the start of the alarm.
また、侵入回数カウント部108は、カウントした侵入回数を集計して出力する機能をさらに備えていてもよい。同様に、警報部109は、警報回数を集計して出力する機能をさらに備えていてもよい。
Further, the
これらの構成によれば、危険領域への侵入回数や警報回数を、クレーンCRを用いた作業の監督者や作業者等に認識させて、監督者に事故防止のための対策を促したり、危険領域に対する作業者の意識を高めたりすることができる。出力態様は特に限定されず、例えば所定期間毎の侵入回数や警告回数をグラフ化して出力してもよい。 According to these configurations, the number of intrusions into dangerous areas and the number of alarms can be made known to supervisors and workers of work using crane CR, prompting supervisors to take measures to prevent accidents, and alerting them to dangerous areas. It is possible to increase the worker's awareness of the area. The output mode is not particularly limited, and for example, the number of intrusions and the number of warnings for each predetermined period may be output as a graph.
(高度判定部の判定結果に応じた領域設定)
図10は、高度判定部104の判定結果に応じた領域設定の例を示す図である。図10の例では、クレーンCRが設置されている平面である上段面から一段下がった平面である下段面もクレーンCRの作業領域となっている。
(Area setting according to the judgment result of the altitude judgment section)
FIG. 10 is a diagram illustrating an example of area setting according to the determination result of the
この場合、ブームCR3の傾斜角度が同じであっても、フックCR5の真下が上段面であるか下段面であるかによって、撮影装置5から危険領域を設定する位置までの距離が変わる。このため、図10に示すように、ブームCR3の傾斜角度が同じであっても、フックCR5の真下が下段面であるときの撮影範囲AR4は、フックCR5の真下が上段面であるときの撮影範囲AR3よりも広くなる。そして、撮影装置5の撮影設定を変更しなければ、撮影範囲がAR4のときの撮影画像に写る危険領域ar4は、撮影範囲がAR3のときの撮影画像に写る危険領域ar3よりも小さくなる。
In this case, even if the inclination angle of the boom CR3 is the same, the distance from the photographing
そこで、危険領域を設定する位置の高さとブームCR3の傾斜角度とに応じた縮尺を求めるための相関情報を予め作成しておく。相関情報は、例えば、危険領域を設定する位置の高さおよびブームCR3の傾斜角度と、縮尺との対応関係を示す関数である。 Therefore, correlation information for determining the scale according to the height of the position where the dangerous area is set and the inclination angle of the boom CR3 is created in advance. The correlation information is, for example, a function indicating the correspondence between the height of the position where the dangerous area is set, the inclination angle of the boom CR3, and the scale.
これにより、縮尺特定部103は、高度判定部104が判定した高度と、傾斜角度特定部102が特定した傾斜角度とに応じた縮尺を特定することができる。そして、領域設定部105は、高度と傾斜角度とに応じた上記縮尺を適用して危険領域を設定する。この構成によれば、クレーンCRの作業現場に高低差があっても、実寸法で所定のサイズとなる危険領域を常に適切に設定することが可能になる。
Thereby, the
なお、高度の判定方法は特に限定されない。例えば、図10の例のように、ブームCR3の向きに応じてフックCR5の真下が上段面か下段面の何れかとなる場合、高度判定部104は、ブームCR3の向きから高度を判定してもよい。また、例えば、撮影装置5から地表面までの距離を計測する距離計を設けておけば、高度判定部104は、距離計の計測値を取得することにより高度を判定することができる。
Note that the altitude determination method is not particularly limited. For example, as in the example of FIG. 10, if the position directly below the hook CR5 is either the upper surface or the lower surface depending on the orientation of the boom CR3, the
また、検出モデルの機械学習の際に高さを考慮してもよい。この場合、図6の教師データ生成処理において、撮影画像を撮影したときの、撮影装置5から危険領域を設定する位置までの距離を示す高さ情報を、当該撮影画像と共に保存しておく。なお、高さ情報は自動で生成してもよいし、ユーザが入力してもよい。これにより、図7の学習処理におけるS13では上記高さ情報に応じた縮尺を特定することができる。
Furthermore, height may be taken into consideration during machine learning of the detection model. In this case, in the teacher data generation process of FIG. 6, height information indicating the distance from the photographing
〔実施形態2〕
本発明の他の実施形態について以下説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 2]
Other embodiments of the invention will be described below. For convenience of explanation, members having the same functions as the members described in the above embodiment are given the same reference numerals, and the description thereof will not be repeated.
本実施形態では、クレーンCRのフックCR5の下方側を側方から撮影した画像(以下、側方画像と呼ぶ)に危険領域(第2の領域)を設定すると共に、設定した危険領域に立ち入った検出対象(以下の例では人)を検出する例を説明する。詳細は以下説明するが、これらの処理は、図1に示した側方画像取得部110~側方画像対象検出部112により実行される。
In this embodiment, a dangerous area (second area) is set in an image taken from the side of the lower side of the hook CR5 of the crane CR (hereinafter referred to as a side image), and a dangerous area (second area) is set when the user enters the set dangerous area. An example of detecting a detection target (a person in the following example) will be described. Although details will be explained below, these processes are executed by the side
図11は、側方画像における危険領域の設定方法を説明する図である。図11に示すクレーンCRには、そのブームCR3の先端部に撮影装置5が取り付けられていると共に、基部CR2にも撮影装置(第2の撮影装置)9が取り付けられている。撮影装置9は、側方画像を撮影できるように斜め下方に向けて取り付けられている。撮影装置9は、クレーンCRが回動してもフックCR5の下方を撮影し続けられるように、クレーンCRと共に回動することが好ましい。
FIG. 11 is a diagram illustrating a method of setting a dangerous area in a side image. In the crane CR shown in FIG. 11, a photographing
撮影装置5の撮影画像を用いた監視では、実施形態1と同様にしてフックCR5の下方に危険領域を設定する。図11の例ではフックCR5の真下の位置を中心とした円形の危険領域ar5が設定されている。
In monitoring using images captured by the
ここで、図11の例では、フックCR5に荷が取り付けられている。吊荷の真下に人が居る場合、その人の全体または一部が撮影装置5の死角に入るため、情報処理装置1による検出が困難となる。無論、死角に入る前の段階で検出できれば問題はないが、大型の製品や建造物の製造現場などでは、地面付近に開口部などが設けられている場合があり、そのような開口部が撮影装置5の死角に入る可能性もある。このような場合、開口部から出てきた人を検出することは困難である。
Here, in the example of FIG. 11, a load is attached to the hook CR5. If there is a person directly below the hanging load, the whole or part of the person will be in the blind spot of the photographing
このため、本実施形態の情報処理装置1は、側方画像に危険領域を設定すると共に、設定した危険領域に立ち入った人を検出する。これにより、撮影装置5の死角を補って、安全管理をより万全にすることができる。
For this reason, the
図11には、撮影装置9で撮影した側方画像IMG3についても示している。側方画像IMG3には、フックCR5と吊荷が写っており、危険領域ar6が設定されている。この側方画像IMG3の画像領域に、左右方向をx方向、上下方向をy方向とする座標軸を設定すると、危険領域ar6の中心位置の座標は(x1,y1)と表される。以下説明するように、危険領域ar6を設定する際には、まず座標(x1,y1)を求め、この座標を基準として、危険領域ar6を設定する。
FIG. 11 also shows a side image IMG3 taken by the
具体的には、まず、側方画像取得部110が、撮影装置9で撮影された側方画像を取得する。そして、側方画像領域設定部111が、側方画像取得部110が取得した側方画像の画像領域中に危険領域ar6を設定する。
Specifically, first, the side
より詳細には、側方画像領域設定部111は、側方画像の画像領域の中で、フックCR5が検出された位置のx座標を特定する。このx座標の値が上記中心位置の座標のx1である。なお、フックCR5の検出方法は任意であり、例えば機械学習により生成した検出モデルなどを用いて検出してもよい。
More specifically, the side image
次に、側方画像領域設定部111は、上記中心位置座標のy1を算出する。中心位置座標のy1を算出するにあたり、まず、側方画像領域設定部111は、傾斜角度特定部102が特定した傾斜角度から、撮影装置9からフックCR5までの水平方向の距離d2を算出する。例えば、図11のように、ブームCR3の傾斜角度をθ、ブームCR3の長さをLとすれば、d2=L・cosθと算出される。
Next, the side image
次に、側方画像領域設定部111は、側方画像IMG3において、撮影装置9からの水平方向の距離がd2=L・cosθの地点が写る位置を特定する。この位置は、撮影装置9から水平方向に所定距離だけ離れた地点が、側方画像IMG3の何れの位置に写るかを示す関数で表せばよい。
Next, the side image
例えば、図11の側方画像IMG3には、撮影装置9からの距離がd1~d4の地点が写る位置をそれぞれ破線で示している。このように、撮影装置9から水平方向に所定距離だけ離れた地点が、側方画像IMG3の何れの位置に写るかは一意に定まるため、撮影装置9からの水平方向の距離がd2=L・cosθの地点が写る位置を示す関数を特定することができる。
For example, in the side image IMG3 of FIG. 11, the positions at which the distances from the
図11の例では、側方画像領域設定部111は、d2の破線を示す関数を特定すればよい。そして、側方画像領域設定部111は、この関数にx1を代入することにより算出した値をy1とする。
In the example of FIG. 11, the side image
以上の処理により、危険領域ar6の中心位置座標(x1,y1)が求まるので、側方画像領域設定部111は、この座標を基準として危険領域ar6を設定する。例えば、図11の例では、側方画像領域設定部111は、座標(x1,y1)を中心とする破線d1とd3で挟まれた危険領域ar6を設定している。
Through the above processing, the center position coordinates (x 1 , y 1 ) of the dangerous area ar6 are determined, so the side image
そして、危険領域ar6が設定された後、側方画像対象検出部112が、その危険領域ar6内の人を検出する。検出方法は、撮影装置5の撮影画像からの人の検出の際と同様の方法を適用することができる。
After the dangerous area ar6 is set, the side image
例えば、入力データ生成部106が、側方画像から危険領域ar6の部分を切り出し、サイズ調整して調整画像を生成してもよい。そして、側方画像対象検出部112が、人の検出モデルに上記調整画像を入力し、その出力値に基づいて人を検出したか否かを判定してもよい。なお、側方画像からの人の検出モデルは、側方画像を教師データとした機械学習で予め生成しておけばよい。
For example, the input
以上のように、本実施形態の情報処理装置1は、側方画像の画像領域中に危険領域を設定する側方画像領域設定部111と、設定された上記危険領域内の検出対象(典型的には人)を検出する側方画像対象検出部112と、を備えている。そして、側方画像領域設定部111は、側方画像の画像領域の中で、フックCR5が検出された位置の下方であって、傾斜角度特定部102が特定した傾斜角度から求めた、撮影装置9からフックCR5までの水平方向の距離に対応する位置に危険領域を設定する。
As described above, the
この構成によれば、フックCR5の下方側を側方から撮影する撮影装置9で撮影された側方画像の画像領域中に危険領域を設定して、その危険領域内の検出対象を検出する。これにより、撮影装置5で撮影した撮影画像からはフックCR5や吊荷の死角となって状況を把握できないような位置に検出対象が侵入した場合であっても、側方画像からその検出対象を検出することができる。
According to this configuration, a dangerous area is set in the image area of the side image taken by the
また、上記の構成によれば、側方画像の画像領域の中で、フックCR5が検出された位置の下方であって、傾斜角度特定部102が特定した傾斜角度から求めた、撮影装置9からフックCR5までの水平方向の距離に対応する位置に危険領域を設定する。これにより、側方画像の画像領域のうち、撮影装置5の死角となる位置に対応する領域に危険領域を設定することができる。
Further, according to the above configuration, in the image area of the side image, the
なお、フックCR5が高い位置にある場合、側方画像にフックCR5が写らないことも想定される。このような場合、撮影装置5の撮影画像からフックCR5を検出し、その撮影画像中におけるフックCR5の位置から、側方画像におけるx1の値を求めてもよい。この場合、撮影装置5の撮影画像におけるフックCR5の位置と、x1の値との対応関係を予め定式化しておけばよい。
Note that when the hook CR5 is at a high position, it is also assumed that the hook CR5 is not shown in the side image. In such a case, the hook CR5 may be detected from the photographed image of the photographing
〔変形例〕
情報処理装置1および学習装置3の制御ブロック(特に、図1に示す画像取得部101~側方画像対象検出部112、および図2に示す画像取得部301~学習部310)は、上述したようにソフトウェアによって実現してもよい。また、これらの制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現することもできる。
[Modified example]
The control blocks of the
情報処理装置1の機能をソフトウェアによって実現する場合、情報処理装置1の各制御ブロックとしてコンピュータを機能させるための情報処理プログラムを用いればよい。この情報処理プログラムをコンピュータに実行させることにより、当該コンピュータを情報処理装置として機能させることができる。
When the functions of the
同様に、学習装置3の機能をソフトウェアによって実現する場合、学習装置3の各制御ブロックとしてコンピュータを機能させるための学習プログラムを用いればよい。この学習プログラムをコンピュータに実行させることにより、当該コンピュータを学習装置として機能させることができる。
Similarly, when the functions of the
また、学習装置3の制御ブロックのうち、傾斜角度特定部303と教師データ生成部305としてコンピュータを機能させるための教師データ生成プログラムを用いてもよい。この教師データ生成プログラムをコンピュータに実行させることにより、当該コンピュータを教師データ生成装置として機能させることができる。
Further, among the control blocks of the
ソフトウェアによる実装で使用するプロセッサ(プロセッサ10、30)としては、例えばCPU(Central Processing Unit)を適用することができる。また、プロセッサと共に使用するメモリ(メモリ11、31)は、「一時的でない有形の媒体」であればよい。例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを上記メモリとして用いることができる。また、情報処理装置1および学習装置3は、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して情報処理装置1および学習装置3に供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
For example, a CPU (Central Processing Unit) can be used as the processor (
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. are also included within the technical scope of the present invention.
1 情報処理装置
102 傾斜角度特定部
103 縮尺特定部
104 高度判定部
105 領域設定部
107 対象検出部
108 侵入回数カウント部
109 警報部
111 側方画像領域設定部
112 側方画像対象検出部
3 学習装置(情報処理装置、学習装置、教師データ生成装置)
301 画像取得部
302 撮影時刻特定部
303 傾斜角度特定部
307 学習対象領域設定部(領域設定部)
309 回転画像生成部
305 教師データ生成部
310 学習部
1
301
309 Rotated
Claims (7)
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記領域の上記撮影画像におけるピクセル数を当該領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、傾斜角度に応じた縮尺を特定する縮尺特定部と、を備え、
上記領域設定部は、上記縮尺特定部が特定した縮尺を適用して上記領域を設定する、情報処理装置。 an inclination angle identification unit that specifies the inclination angle of the boom of the crane;
By applying a scale according to the inclination angle specified by the inclination angle identification section, a predetermined actual size is obtained in a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting section for setting an area ;
The inclination angle and the number of pixels in the above-mentioned photographed image of the above-mentioned area are derived using the size of the reference object in each of the reference images in which the above-mentioned boom is taken at different inclination angles and a reference object of known dimensions is taken. a scale identification unit that identifies a scale according to the inclination angle using correlation information indicating a correlation with a scale that is a value divided by the actual size;
The area setting unit is an information processing device configured to set the area by applying the scale specified by the scale specifying unit .
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記領域内の検出対象を検出する対象検出部と、
上記領域内に検出対象が検出された場合に警報を行う警報部と、を備え、
上記領域設定部は、上記撮影画像から検出された上記クレーンのフックの位置を基準として上記領域を設定し、
上記領域内に検出対象が侵入した回数をカウントする侵入回数カウント部を備え、
上記侵入回数カウント部は、時系列で撮影された複数の上記撮影画像の1つにおける上記領域内に検出対象が検出された場合、当該撮影画像の直前に撮影された所定数の撮影画像で当該領域内に当該検出対象が検出されていないことを条件として、侵入回数を1回増加させる、情報処理装置。 an inclination angle identification unit that specifies the inclination angle of the boom of the crane;
By applying a scale according to the inclination angle specified by the inclination angle identification section, a predetermined actual size is obtained in a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting section for setting an area;
an object detection unit that detects a detection object within the area;
an alarm unit that issues an alarm when a detection target is detected within the area,
The area setting unit sets the area based on the position of the hook of the crane detected from the photographed image,
Equipped with an intrusion count unit that counts the number of times the detection target has intruded into the above area,
When a detection target is detected within the area in one of the plurality of photographed images taken in chronological order, the intrusion count section is configured to detect the intrusion number in a predetermined number of photographed images taken immediately before the said photographed image. An information processing device that increases the number of intrusions by one on the condition that the detection target is not detected within the area.
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記領域内の検出対象を検出する対象検出部と、
上記領域内に検出対象が検出された場合に警報を行う警報部と、を備え、
上記領域設定部は、上記撮影画像から検出された上記クレーンのフックの位置を基準として上記領域を設定し、
上記クレーンのフックの下方側を側方から撮影する第2の撮影装置で撮影された側方画像の画像領域中に第2の領域を設定する側方画像領域設定部と、
上記第2の領域内の検出対象を検出する側方画像対象検出部と、を備え、
上記側方画像領域設定部は、上記側方画像の画像領域の中で、上記フックが検出された位置の下方であって、上記傾斜角度特定部が特定した傾斜角度から求めた、上記第2の撮影装置から上記フックまでの水平方向の距離に対応する位置に上記第2の領域を設定する、情報処理装置。 an inclination angle identification unit that specifies the inclination angle of the boom of the crane;
By applying a scale according to the inclination angle specified by the inclination angle identification section, a predetermined actual size is obtained in a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting section for setting an area;
an object detection unit that detects a detection object within the area;
an alarm unit that issues an alarm when a detection target is detected within the area,
The area setting unit sets the area based on the position of the hook of the crane detected from the photographed image,
a side image area setting unit that sets a second area in an image area of a side image taken by a second imaging device that images the lower side of the hook of the crane from the side;
a side image object detection unit that detects a detection object in the second region,
The lateral image area setting unit is configured to set the second image area below the position where the hook is detected in the image area of the lateral image, and which is determined from the inclination angle specified by the inclination angle specifying unit. The information processing device sets the second area at a position corresponding to a horizontal distance from the photographing device to the hook.
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記撮影画像中に、実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定部と、
上記学習対象領域の画像を所定サイズに調整した調整画像を用いて、上記学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習部と、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記学習対象領域の上記撮影画像におけるピクセル数を当該学習対象領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を特定する縮尺特定部と、を備え、
上記学習対象領域設定部は、上記縮尺特定部が特定した縮尺を適用して上記学習対象領域を設定する、
学習装置。 an inclination angle specifying unit that specifies the inclination angle of the boom at the time of photographing a photographed image of the lower side of the photographing device attached to the boom of the crane;
a learning target area setting unit that sets a learning target area having a predetermined actual size in the captured image by applying a scale according to the tilt angle specified by the tilt angle specifying unit;
a learning unit that performs machine learning of a detection model for detecting a predetermined detection target appearing in the learning target area using an adjusted image obtained by adjusting the image of the learning target area to a predetermined size;
The inclination angle and the number of pixels in the above-mentioned image of the learning target area are derived using the size of the reference object in each of the reference images in which the above-mentioned boom is taken at different inclination angles and the reference object has known dimensions. a scale specifying unit that specifies a scale corresponding to the inclination angle specified by the inclination angle specifying unit, using correlation information indicating a correlation with a scale that is a value divided by the actual size of the learning target area ,
The learning target area setting unit sets the learning target area by applying the scale specified by the scale specifying unit.
learning device.
上記撮影装置で当該撮影装置の下方側を撮影した撮影画像から機械学習用の教師データを生成する場合に、
上記傾斜角度特定部は、上記ブームの傾斜角度の時系列の測定結果から、上記撮影画像の撮影時刻における上記ブームの傾斜角度を特定し、
上記教師データ生成部は、上記傾斜角度特定部が特定した傾斜角度と、上記撮影画像と、上記撮影画像において上記所定の検出対象が写る位置および範囲を示す検出対象情報とを対応付けて上記教師データを生成する、請求項4に記載の学習装置。 comprising a teacher data generation unit that generates teacher data used for machine learning of the detection model,
When generating training data for machine learning from images taken from the lower side of the camera using the camera,
The inclination angle specifying unit specifies the inclination angle of the boom at the photographing time of the photographed image from the time series measurement results of the inclination angle of the boom ;
The teacher data generating section associates the tilt angle specified by the tilt angle specifying section, the photographed image, and detection target information indicating the position and range of the predetermined detection target in the photographed image, and The learning device according to claim 4, which generates data.
クレーンのブームの傾斜角度を特定する傾斜角度特定ステップと、
上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定ステップと、を含むと共に、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記領域の上記撮影画像におけるピクセル数を当該領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を特定する縮尺特定ステップをさらに含み、
上記領域設定ステップでは、上記縮尺特定ステップで特定された縮尺を適用して上記領域を設定する、領域設定方法。 An area setting method executed by an information processing device, the method comprising:
a tilt angle determining step of determining a tilt angle of a boom of the crane;
By applying a scale corresponding to the inclination angle specified in the above inclination angle specifying step, a predetermined size in actual size is added to a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting step of setting an area to be
The inclination angle and the number of pixels in the above-mentioned photographed image of the above-mentioned area are derived using the size of the reference object in each of the reference images in which the above-mentioned boom is taken at different inclination angles and a reference object of known dimensions is taken. further comprising a scale specifying step of specifying a scale corresponding to the inclination angle specified in the inclination angle specifying step, using correlation information indicating a correlation with a scale that is a value divided by the actual size,
In the area setting step, the area setting method sets the area by applying the scale specified in the scale specifying step .
クレーンのブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像の撮影時における上記ブームの傾斜角度を特定する傾斜角度特定ステップと、
上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記撮影画像中に、実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定ステップと、
上記学習対象領域の画像を所定サイズに調整した調整画像を用いて、上記学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習ステップと、を含むと共に、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記学習対象領域の上記撮影画像におけるピクセル数を当該学習対象領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、傾斜角度に応じた縮尺を特定する縮尺特定ステップをさらに含み、
上記学習対象領域設定ステップでは、上記縮尺特定ステップで特定された縮尺を適用して上記学習対象領域を設定する、学習方法。 A learning method performed by a learning device, comprising:
an inclination angle specifying step of specifying the inclination angle of the boom at the time of photographing a photographed image of the lower side of the photographing device attached to the boom of the crane;
a learning target area setting step of setting a learning target area having a predetermined actual size in the captured image by applying a scale according to the tilt angle specified in the tilt angle specifying step;
a learning step of performing machine learning of a detection model for detecting a predetermined detection target appearing in the learning target area using an adjusted image in which the image of the learning target area is adjusted to a predetermined size ;
The inclination angle and the number of pixels in the captured image of the learning target area are calculated using the size of the reference object in each of the reference images in which the boom is taken at different inclination angles and the dimensions of the reference object are known. further comprising a scale identification step of identifying a scale according to the inclination angle using correlation information indicating a correlation with a scale that is a value divided by the actual size of the learning target area,
In the learning target area setting step, the learning target area is set by applying the scale specified in the scale specifying step .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020105425A JP7453072B2 (en) | 2020-06-18 | 2020-06-18 | Information processing device, learning device, area setting method, and learning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020105425A JP7453072B2 (en) | 2020-06-18 | 2020-06-18 | Information processing device, learning device, area setting method, and learning method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021197083A JP2021197083A (en) | 2021-12-27 |
JP7453072B2 true JP7453072B2 (en) | 2024-03-19 |
Family
ID=79195768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020105425A Active JP7453072B2 (en) | 2020-06-18 | 2020-06-18 | Information processing device, learning device, area setting method, and learning method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7453072B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115594086B (en) * | 2022-10-10 | 2023-11-24 | 北京迈思发展科技有限责任公司 | Material tracking system of steel bar processing plant |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312004A (en) | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | Camera system and mechanical apparatus |
JP2018080054A (en) | 2017-10-02 | 2018-05-24 | 株式会社Nttファシリティーズ | Work support device, and work support method |
JP6551639B1 (en) | 2018-02-22 | 2019-07-31 | 株式会社タダノ | Camera device, suspended load monitoring system, and work machine |
WO2019163875A1 (en) | 2018-02-22 | 2019-08-29 | 株式会社タダノ | Camera device, suspended-load monitoring system, and working machine |
-
2020
- 2020-06-18 JP JP2020105425A patent/JP7453072B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312004A (en) | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | Camera system and mechanical apparatus |
JP2018080054A (en) | 2017-10-02 | 2018-05-24 | 株式会社Nttファシリティーズ | Work support device, and work support method |
JP6551639B1 (en) | 2018-02-22 | 2019-07-31 | 株式会社タダノ | Camera device, suspended load monitoring system, and work machine |
WO2019163875A1 (en) | 2018-02-22 | 2019-08-29 | 株式会社タダノ | Camera device, suspended-load monitoring system, and working machine |
Also Published As
Publication number | Publication date |
---|---|
JP2021197083A (en) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103613013B (en) | System and method for monitoring construction safety of tower crane | |
KR101036947B1 (en) | The automatic guard system to prevent the crime and accident using computer video image analysis technology | |
US20230005176A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
JP7505609B2 (en) | Optical fiber sensing system and behavior identification method | |
CN112010187B (en) | Monitoring method and device based on tower crane | |
KR101988596B1 (en) | Apparatus for Monitoring Production Equipment and Driving Method Thereof | |
JP2020093890A (en) | Crane work monitoring system, crane work monitoring method, dangerous state determination device, and program | |
JP7453072B2 (en) | Information processing device, learning device, area setting method, and learning method | |
CN204265280U (en) | Total management system is unified in tower machine safety and operation | |
CN112836563A (en) | Job site classification system and method | |
CN113256269A (en) | Engineering management system based on BIM, cloud computing and big data technology | |
JP2009159448A (en) | Object detecting apparatus, and object detecting method | |
CN116416577A (en) | Abnormality identification method for construction monitoring system | |
CN114408748A (en) | State data monitoring and transmitting system and method for remote control of intelligent tower crane | |
CN114572845B (en) | Intelligent auxiliary robot for detecting working condition of intelligent tower crane and control method thereof | |
CN104555740A (en) | Safety management system for monitoring operation of tower crane in real time | |
CN111879308A (en) | Intelligent tower crane safety monitoring system based on pose perception technology and implementation method | |
KR20210086790A (en) | Risk notification system and the method thereof using virtual proxy sensor and virtual space-based danger zone setting with rtls sensor | |
CN114506781A (en) | Intelligent remote control tower crane safety monitoring system | |
Mansoor et al. | Conceptual framework for safety improvement in mobile cranes | |
KR20140056674A (en) | Commnication service system, method and apparatus for supporting process of accident in the system | |
JP6562722B2 (en) | Intrusion monitoring device and intrusion monitoring system | |
JP7251407B2 (en) | SENSOR INSTALLATION ASSIST DEVICE, SENSOR INSTALLATION ASSIST METHOD AND PROGRAM | |
CN108892040A (en) | Dynamic safety supervision method and system for Internet of things of crane | |
JP2019039850A (en) | Railway facility monitoring device and railway facility monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7453072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |