JP7453072B2 - Information processing device, learning device, area setting method, and learning method - Google Patents

Information processing device, learning device, area setting method, and learning method Download PDF

Info

Publication number
JP7453072B2
JP7453072B2 JP2020105425A JP2020105425A JP7453072B2 JP 7453072 B2 JP7453072 B2 JP 7453072B2 JP 2020105425 A JP2020105425 A JP 2020105425A JP 2020105425 A JP2020105425 A JP 2020105425A JP 7453072 B2 JP7453072 B2 JP 7453072B2
Authority
JP
Japan
Prior art keywords
area
inclination angle
image
learning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020105425A
Other languages
Japanese (ja)
Other versions
JP2021197083A (en
Inventor
裕介 三木
貴裕 和田
祥太 八坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Zosen Corp
Original Assignee
Hitachi Zosen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Zosen Corp filed Critical Hitachi Zosen Corp
Priority to JP2020105425A priority Critical patent/JP7453072B2/en
Publication of JP2021197083A publication Critical patent/JP2021197083A/en
Application granted granted Critical
Publication of JP7453072B2 publication Critical patent/JP7453072B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control And Safety Of Cranes (AREA)
  • Jib Cranes (AREA)
  • Image Analysis (AREA)

Description

本発明は、クレーンの周囲を撮影した画像中に実寸法で所定のサイズとなる領域を設定する情報処理装置等に関する。 The present invention relates to an information processing device and the like that sets an area having a predetermined actual size in an image taken around a crane.

クレーンを使用して作業を行う工事等では、吊荷の落下事故などから地上の作業員の安全を確保するために、クレーンオペレータが目視で確認等を行っている。しかし、作業員がクレーンオペレータの死角に入ることもあり、また、クレーンオペレータが見落とすことも想定される。このため、目視確認のみに頼った安全管理には改善の余地がある。 In construction projects where cranes are used for work, crane operators perform visual checks to ensure the safety of ground workers from accidents such as falling loads. However, it is assumed that the worker may be in the crane operator's blind spot, and that the crane operator may overlook the situation. Therefore, there is room for improvement in safety management that relies solely on visual confirmation.

ここで、クレーンの作業の安全管理のための従来技術として、例えば下記の特許文献1の技術が挙げられる。特許文献1には、クレーンのブームの先端部に取り付けたカメラで撮影した画像上に、作業員の安全性判定のための範囲を設定し、その範囲内における人員の有無を検出する作業支援装置が開示されている。 Here, as a conventional technique for safety management of crane operations, for example, the technique disclosed in Patent Document 1 below can be mentioned. Patent Document 1 discloses a work support device that sets a range for determining the safety of workers on an image taken with a camera attached to the tip of a boom of a crane, and detects the presence or absence of personnel within that range. is disclosed.

また、特許文献1には、実寸法で所定のサイズとなるように上記範囲を設定するために、上記範囲を設定する基準面からカメラまでの高さに応じて、監視画像における上記範囲の大きさを調整することも記載されている。具体的には、特許文献1には、カメラに写る三角コーンやバリケード等のサイズが既知の物体の像を、監視画像内の背景部分の尺度を示す指標として利用することにより、上記範囲の大きさを調整することが記載されている。 Further, in Patent Document 1, in order to set the range to have a predetermined actual size, the size of the range in the surveillance image is determined according to the height from the reference plane on which the range is set to the camera. It is also described that the height can be adjusted. Specifically, Patent Document 1 discloses that the size of the above-mentioned range is determined by using an image of an object of known size, such as a triangular cone or barricade, captured by a camera as an index indicating the scale of the background part in the surveillance image. It is described that the height can be adjusted.

特開2018-80054号公報JP 2018-80054 Publication

上記従来技術では、画像に写り込んだ既知の寸法の物体を基準として、設定する範囲のサイズを調整しているため、調整を行う前提として、既知の寸法の物体が画像に写り込んでいることを要する。このため、クレーンの本体やブームが動いて、既知の寸法の物体が撮影範囲外となってしまうと範囲のサイズを調整することができなくなる。 In the above conventional technology, the size of the set range is adjusted based on the object of known size reflected in the image, so the premise of adjustment is that the object of known size is reflected in the image. It takes. Therefore, if the main body or boom of the crane moves and an object of known size falls outside the photographing range, the size of the range cannot be adjusted.

本発明の一態様は、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる情報処理装置等を実現することを目的とする。 One aspect of the present invention aims to realize an information processing device or the like that can set an area having a predetermined actual size even if an object of known dimensions is not included in a captured image. do.

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、クレーンのブームの傾斜角度を特定する傾斜角度特定部と、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、を備える。 In order to solve the above problems, an information processing device according to one aspect of the present invention includes a tilt angle identifying section that identifies a tilt angle of a boom of a crane, and a scale that corresponds to the tilt angle specified by the tilt angle identifying section. and an area setting unit configured to set an area having a predetermined actual size in a photographed image obtained by photographing the lower side of the photographing device using the photographing device attached to the boom.

また、上記の課題を解決するために、本発明の一態様に係る領域設定方法は、情報処理装置により実行される領域設定方法であって、クレーンのブームの傾斜角度を特定する傾斜角度特定ステップと、上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定ステップと、を含む。 Further, in order to solve the above problems, an area setting method according to one aspect of the present invention is an area setting method executed by an information processing apparatus, the area setting method including an inclination angle specifying step of specifying an inclination angle of a boom of a crane. Then, by applying a scale corresponding to the inclination angle specified in the inclination angle specifying step, a predetermined actual size is added to the photographed image of the lower side of the photographing device attached to the boom. and a region setting step of setting a region having a certain size.

本発明の一態様によれば、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。 According to one aspect of the present invention, an area having a predetermined actual size can be set even if an object of known dimensions is not included in the photographed image.

本発明の実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of main parts of an information processing device according to an embodiment of the present invention. 本発明の実施形態に係る学習装置の要部構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of main parts of a learning device according to an embodiment of the present invention. 上記情報処理装置と上記学習装置を含むクレーンシステムの構成例を示す図である。It is a diagram showing an example of the configuration of a crane system including the information processing device and the learning device. 危険領域の設定例を示す図である。FIG. 3 is a diagram illustrating an example of setting a dangerous area. 検出モデルの生成に用いる教師データの生成方法の例を示す図である。FIG. 3 is a diagram illustrating an example of a method for generating training data used to generate a detection model. 教師データ生成処理の例を示すフローチャートである。3 is a flowchart illustrating an example of teacher data generation processing. 検出モデルの学習処理の例を示すフローチャートである。7 is a flowchart illustrating an example of a detection model learning process. 危険領域の監視処理の例を示すフローチャートである。7 is a flowchart illustrating an example of a dangerous area monitoring process. 上記監視処理により警報を行った例を示す図である。It is a figure which shows the example which issued the warning by the said monitoring process. 高度判定部の判定結果に応じた領域設定の例を示す図である。FIG. 6 is a diagram illustrating an example of area setting according to the determination result of the altitude determination section. 側方画像における危険領域の設定方法を説明する図である。It is a figure explaining the setting method of the danger area in a side image.

〔実施形態1〕
(システム構成)
本発明の一実施形態に係るクレーンシステム100の構成を図3に基づいて説明する。図3は、クレーンシステム100の構成例を示す図である。クレーンシステム100には、図示のように、クレーンCR、情報処理装置1、学習装置3、撮影装置5、および傾斜計7が含まれている。
[Embodiment 1]
(System configuration)
The configuration of a crane system 100 according to an embodiment of the present invention will be described based on FIG. 3. FIG. 3 is a diagram showing a configuration example of the crane system 100. The crane system 100 includes a crane CR, an information processing device 1, a learning device 3, a photographing device 5, and an inclinometer 7, as illustrated.

クレーンCRは、重量物を吊り上げて移動させる機械である。クレーンCRには、台車部CR1、基部CR2、ブームCR3、ケーブルCR4、フックCR5、およびクレーン室CR6が含まれている。 Crane CR is a machine that lifts and moves heavy objects. The crane CR includes a truck portion CR1, a base CR2, a boom CR3, a cable CR4, a hook CR5, and a crane room CR6.

台車部CR1は、レールに沿って図3の奥行き方向に移動可能に構成されている。また、台車部CR1は、基部CR2を載置している。これにより、クレーンCRの全体がレールに沿って図3の奥行き方向に移動可能となっている。なお、クレーンCRは、移動式のものに限られず、固定式のものであってもよい。 The truck portion CR1 is configured to be movable in the depth direction in FIG. 3 along the rail. Further, the trolley portion CR1 has a base portion CR2 placed thereon. Thereby, the entire crane CR can be moved in the depth direction in FIG. 3 along the rails. Note that the crane CR is not limited to a mobile type, and may be a fixed type.

基部CR2は、ブームCR3等を支持する構造体である。基部CR2と台車部CR1は、台車部CR1上で基部CR2が回動できるように接続されている。これにより、クレーンCRは、その周囲360度に位置する荷を運搬することが可能になっている。なお、回動範囲は360度未満であってもよい。また、クレーンCRは、水平面内の回動ができないものであってもよい。 The base CR2 is a structure that supports the boom CR3 and the like. The base portion CR2 and the truck portion CR1 are connected so that the base portion CR2 can rotate on the truck portion CR1. This allows the crane CR to transport loads located 360 degrees around it. Note that the rotation range may be less than 360 degrees. Further, the crane CR may not be able to rotate in a horizontal plane.

ブームCR3は、ジブとも呼ばれる長尺の構造体である。クレーンCRは、ブームCR3を備えているのでジブクレーンである。ブームCR3の一端は基部CR2に回動可能に接続されている。図3に破線で示すように、ブームCR3は基部CR2との接続部を支点として回動し、その傾斜角度が変更できるように構成されている。また、ブームCR3の他端には図示しない滑車が設けられており、この滑車からケーブルCR4が下垂する構成となっている。 The boom CR3 is a long structure also called a jib. Crane CR is a jib crane because it is equipped with boom CR3. One end of the boom CR3 is rotatably connected to the base CR2. As shown by the broken line in FIG. 3, the boom CR3 is configured to rotate about the connection part with the base CR2 as a fulcrum, and its inclination angle can be changed. Further, a pulley (not shown) is provided at the other end of the boom CR3, and the cable CR4 is configured to hang down from this pulley.

ケーブルCR4は、荷を吊り上げるための索であり、その先端に荷を引っ掛けるためのフックCR5が取り付けられている。荷をクレーンCRで移動させる際には、その荷をフックCR5に玉掛けして吊り上げる。 The cable CR4 is a rope for hoisting a load, and a hook CR5 for hooking the load is attached to the tip thereof. When moving a load using the crane CR, the load is slung onto the hook CR5 and lifted up.

クレーン室CR6は、クレーンCRを操作するための各種装置を収容した空間となっており、クレーンCRのオペレータ(以下、単にオペレータと呼ぶ)はクレーン室CR6からクレーンCRの操作を行う。例えば、オペレータは、ブームCR3の傾斜角度の調整、ケーブルCR4の巻き上げ/巻き下ろしによるフックCR5(吊荷)の昇降、基部CR2およびその上部の構造体の回動などの操作を行うことができる。 The crane room CR6 is a space that accommodates various devices for operating the crane CR, and an operator of the crane CR (hereinafter simply referred to as an operator) operates the crane CR from the crane room CR6. For example, the operator can perform operations such as adjusting the inclination angle of the boom CR3, raising and lowering the hook CR5 (hanging load) by winding up/unwinding the cable CR4, and rotating the base CR2 and the structure above it.

また、クレーンCRのブームCR3には、当該ブームCR3の傾斜角度を計測する傾斜計7が取り付けられている。そして、ブームCR3の先端部付近には、撮影装置5が取り付けられている。 Further, an inclinometer 7 for measuring the inclination angle of the boom CR3 is attached to the boom CR3 of the crane CR. A photographing device 5 is attached near the tip of the boom CR3.

撮影装置5は、クレーンCRの吊荷の下方の実寸法で所定サイズの領域(以下、危険領域と呼ぶ)への人の立ち入りを監視するためのものであり、鉛直下方を向くように取り付けられている。これにより、撮影装置5の鉛直下方側に位置するフックCR5と、フックCR5の下方の危険領域が撮影装置5により撮影される。 The photographing device 5 is for monitoring the entry of people into an area of a predetermined size (hereinafter referred to as a danger area) in the actual size below the suspended load of the crane CR, and is installed so as to face vertically downward. ing. As a result, the hook CR5 located vertically below the photographing device 5 and the dangerous area below the hook CR5 are photographed by the photographing device 5.

ここで、ブームCR3の傾斜角度を変えた場合、撮影装置5で撮影された撮影画像に写る各種対象(例えば作業者)のサイズも変わり、撮影画像に占める危険領域の割合も変わる。具体的には、ブームCRの傾斜角度を大きくするほど、撮影装置5から危険領域までの距離は遠くなるので、撮影画像に写る各種対象のサイズは小さくなり、撮影画像に占める危険領域の割合も小さくなる。一方、ブームCRの傾斜角度を小さくするほど、撮影装置5から危険領域までの距離は近くなるので、撮影画像に写る各種対象のサイズは大きくなり、撮影画像に占める危険領域の割合も大きくなる。 Here, when the inclination angle of the boom CR3 is changed, the sizes of various objects (for example, workers) appearing in the photographed image taken by the photographing device 5 also change, and the proportion of the dangerous area in the photographed image also changes. Specifically, as the inclination angle of the boom CR increases, the distance from the photographing device 5 to the dangerous area increases, so the sizes of various objects appearing in the photographed image become smaller, and the proportion of the dangerous area in the photographed image also decreases. becomes smaller. On the other hand, the smaller the inclination angle of the boom CR, the shorter the distance from the photographing device 5 to the dangerous area, so the sizes of various objects appearing in the photographed image become larger, and the proportion of the dangerous area in the photographed image also increases.

このため、ブームCR3の傾斜角度を考慮することなく、撮影装置5で撮影された撮影画像から人の検出を行った場合、検出精度が低くなってしまうおそれがある。そこで、情報処理装置1は、傾斜計7で計測された傾斜角度に応じた縮尺を適用して、上記撮影画像中に実寸法で所定のサイズとなる危険領域を設定し、その危険領域内の各種対象を検出する。 For this reason, if a person is detected from the photographed image photographed by the photographing device 5 without considering the inclination angle of the boom CR3, there is a possibility that the detection accuracy will be lowered. Therefore, the information processing device 1 applies a scale according to the inclination angle measured by the inclinometer 7 to set a dangerous area having a predetermined actual size in the photographed image, and Detect various objects.

撮影装置5が撮影した撮影画像は例えば携帯型の記録媒体に記憶させてもよく、この場合、情報処理装置1は記録媒体から撮影画像を読み出せばよい。ただし、情報処理装置1は、危険領域に人が立ち入った場合に、そのことを迅速に検出する必要があるから、情報処理装置1は、記録媒体経由ではなく、撮影装置5から撮影画像を直接受信することが好ましい。傾斜計7の計測結果も同様である。 The photographed image taken by the photographing device 5 may be stored in, for example, a portable recording medium, and in this case, the information processing device 1 only needs to read the photographed image from the recording medium. However, since the information processing device 1 needs to quickly detect when a person enters a dangerous area, the information processing device 1 directly captures captured images from the imaging device 5 rather than via a recording medium. It is preferable to receive it. The measurement results of the inclinometer 7 are also similar.

なお、情報処理装置1は、クレーンCRが設置された現場に設置してもよいし、例えば遠隔のコントロールセンター等に設置してもよい。学習装置3も同様である。遠隔地に接地する場合、情報処理装置1は、撮影画像や傾斜計7の計測結果を、ネットワークを介した通信により取得すればよい。 Note that the information processing device 1 may be installed at the site where the crane CR is installed, or may be installed at, for example, a remote control center. The same applies to the learning device 3. When grounding in a remote location, the information processing device 1 may acquire captured images and measurement results of the inclinometer 7 through communication via a network.

また、情報処理装置1が行う処理の一部を他のコンピュータ・システムで行う構成としてもよい。例えば、各種対象の検出には後述する検出モデルを用いた演算を行うが、この演算を他のコンピュータ・システムで行う構成としてもよい。この場合、情報処理装置1は、演算に必要な情報を、ネットワークを介した通信により他のコンピュータ・システムに送信する。そして、情報処理装置1は、上記他のコンピュータ・システムから送信される演算結果を受信する。 Further, a configuration may be adopted in which a part of the processing performed by the information processing device 1 is performed by another computer system. For example, to detect various objects, calculations are performed using a detection model, which will be described later, but this calculation may be performed by another computer system. In this case, the information processing device 1 transmits information necessary for calculation to another computer system by communication via the network. The information processing device 1 then receives the calculation results sent from the other computer systems.

学習装置3は、撮影装置5が撮影した撮影画像から所定の検出対象を検出するための検出モデルの機械学習を行う。検出モデルは教師ありの機械学習により生成されるものであってもよい。例えば、学習装置3は、畳み込みニューラルネットワーク等の検出モデルを生成してもよい。また、検出モデルは教師なし学習により生成されるものであってもよい。 The learning device 3 performs machine learning of a detection model for detecting a predetermined detection target from the photographed image taken by the photographing device 5. The detection model may be generated by supervised machine learning. For example, the learning device 3 may generate a detection model such as a convolutional neural network. Further, the detection model may be generated by unsupervised learning.

学習装置3が機械学習により生成した検出モデルは情報処理装置1による各種対象の検出に用いられる。学習装置3の設置場所は情報処理装置1と同じであってもよいし、異なっていてもよい。また、学習装置3の機能を情報処理装置1に持たせてもよく、この場合、クレーンシステム100の構成要素から学習装置3が省略される。 The detection model generated by the learning device 3 through machine learning is used by the information processing device 1 to detect various objects. The learning device 3 may be installed at the same location as the information processing device 1, or may be located at a different location. Further, the function of the learning device 3 may be provided in the information processing device 1, and in this case, the learning device 3 is omitted from the components of the crane system 100.

(情報処理装置の構成)
図1は、情報処理装置1の要部構成の一例を示すブロック図である。図示のように、情報処理装置1は、プロセッサ10、メモリ11、および大容量記憶装置12を備えている。情報処理装置1は、一例として、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ10は、大容量記憶装置12に記憶されている情報処理プログラムをメモリ11にロードして実行することにより、後述する画像取得部101から側方画像対象検出部112までの各部として機能する。
(Configuration of information processing device)
FIG. 1 is a block diagram showing an example of the configuration of main parts of the information processing device 1. As shown in FIG. As illustrated, the information processing device 1 includes a processor 10, a memory 11, and a mass storage device 12. The information processing device 1 may be, for example, a personal computer, a server, or a workstation. The processor 10 loads an information processing program stored in the mass storage device 12 into the memory 11 and executes it, thereby functioning as each section from an image acquisition section 101 to a side image object detection section 112, which will be described later.

また、情報処理装置1は、外部の機器とのインターフェース(IF)として、撮影装置IF13、傾斜計IF14、表示装置IF15、音出力装置IF16、およびネットワークIF17を備えている。これらのインターフェースは任意のものを適用可能であり、例えば、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)等を適用してもよい。 The information processing device 1 also includes an imaging device IF13, an inclinometer IF14, a display device IF15, a sound output device IF16, and a network IF17 as interfaces (IFs) with external devices. Any interface can be used as these interfaces, and for example, USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), etc. may be applied.

撮影装置IF13は、撮影装置5から上述の撮影画像を取得するためのインターフェースである。また、傾斜計IF14は、傾斜計7から傾斜角度の計測値を取得するためのインターフェースである。なお、上記撮影画像および上記計測値は何れもアナログデータである。アナログデータをデジタルデータに変換する処理は、情報処理装置1への入力前に行ってもよいし、情報処理装置1が行ってもよい。また、撮影画像および傾斜角度の計測値は、情報処理装置1の外部の記憶装置等を介して取得する構成としてもよい。 The photographing device IF 13 is an interface for acquiring the above-mentioned photographed image from the photographing device 5. Further, the inclinometer IF 14 is an interface for acquiring the measured value of the inclination angle from the inclinometer 7. Note that both the photographed image and the measured value are analog data. The process of converting analog data into digital data may be performed before input to the information processing device 1, or may be performed by the information processing device 1. Further, the photographed image and the measured value of the inclination angle may be acquired via a storage device or the like external to the information processing device 1.

表示装置IF15は、情報処理装置1が図示しない表示装置に画像を表示させる際に使用するインターフェースである。例えば、情報処理装置1は、表示装置IF15を介して、撮影装置5が撮影した撮影画像や、傾斜計7の計測値等を表示装置に表示させることもできる。 The display device IF15 is an interface used by the information processing device 1 to display an image on a display device (not shown). For example, the information processing device 1 can also display a photographed image photographed by the photographing device 5, a measured value of the inclinometer 7, etc. on the display device IF15.

音出力装置IF16は、情報処理装置1が図示しない音出力装置に音声を出力させる際に使用するインターフェースである。音出力装置は例えばスピーカである。情報処理装置1は、例えば危険領域への人の立ち入りを検出したときに、音出力装置IF16を介して、音出力装置に警告メッセージや警告音を出力させることもできる。 The sound output device IF16 is an interface used by the information processing device 1 to cause a sound output device (not shown) to output audio. The sound output device is, for example, a speaker. For example, when the information processing device 1 detects a person entering a dangerous area, the information processing device 1 can cause the sound output device to output a warning message or a warning sound via the sound output device IF16.

ネットワークIF17は、情報処理装置1が例えばインターネット等のネットワーク上の各種機器と通信するためのインターフェースである。なお、情報処理装置1は、上述したインターフェース以外にも例えば外付けの記憶装置(例えばハードディスク)にアクセスするためのインターフェース等を備えていてもよい。 The network IF 17 is an interface for the information processing device 1 to communicate with various devices on a network such as the Internet. Note that the information processing device 1 may include, for example, an interface for accessing an external storage device (for example, a hard disk) in addition to the above-mentioned interface.

プロセッサ10は、上述のように画像取得部101から側方画像対象検出部112までの各部として機能する。以下、画像取得部101から警報部109までの各部について説明する。なお、側方画像取得部110から側方画像対象検出部112までの各部については実施形態2で説明する。 The processor 10 functions as each section from the image acquisition section 101 to the side image object detection section 112 as described above. Each section from the image acquisition section 101 to the alarm section 109 will be described below. In addition, each part from the side image acquisition part 110 to the side image object detection part 112 is demonstrated in Embodiment 2.

画像取得部101は、クレーンCRのブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像を取得する。撮影画像の取得方法は特に限定されず、例えば、画像取得部101は、撮影装置IF13を介して撮影装置5から撮影画像を取得してもよい。 The image acquisition unit 101 acquires a photographed image of the lower side with the photographing device 5 attached to the boom CR3 of the crane CR. The method of acquiring the photographed image is not particularly limited, and for example, the image acquisition unit 101 may acquire the photographed image from the photographing device 5 via the photographing device IF 13.

傾斜角度特定部102は、クレーンCRのブームCR3の傾斜角度を特定する。傾斜角度の特定方法は特に限定されず、例えば、傾斜角度特定部102は、傾斜計IF14を介して傾斜計7の計測値を取得してもよい。 The inclination angle specifying unit 102 specifies the inclination angle of the boom CR3 of the crane CR. The method of specifying the inclination angle is not particularly limited, and for example, the inclination angle specifying unit 102 may acquire the measured value of the inclinometer 7 via the inclinometer IF 14.

縮尺特定部103は、傾斜角度特定部102が特定した傾斜角度に応じた縮尺を特定する。具体的には、縮尺特定部103は、ブームCRをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて縮尺を特定する。相関情報は、傾斜角度と縮尺との相関を示す情報である。なお、相関情報とそれを用いた縮尺の特定についての詳細は後述する。 The scale specifying unit 103 specifies a scale according to the inclination angle specified by the inclination angle specifying unit 102. Specifically, the scale specifying unit 103 determines the scale using the correlation information derived using the size of the reference object in each of the reference images obtained by photographing the reference object with known dimensions with the boom CR at different inclination angles. Identify. The correlation information is information indicating the correlation between the inclination angle and the scale. Note that the details of the correlation information and the specification of the scale using the correlation information will be described later.

高度判定部104は、危険領域に対応する位置の高度を判定する。高度の判定が行われた場合、領域設定部105は、高度判定部が判定した高度と、傾斜角度特定部102が特定した傾斜角度とに応じた縮尺を適用して、撮影画像中に危険領域を設定する。これらの処理の詳細は図10に基づいて後述する。 The altitude determination unit 104 determines the altitude of the position corresponding to the dangerous area. When the altitude has been determined, the area setting unit 105 applies a scale according to the altitude determined by the altitude determination unit and the inclination angle specified by the inclination angle identification unit 102 to mark a dangerous area in the photographed image. Set. Details of these processes will be described later based on FIG.

領域設定部105は、傾斜角度特定部102が特定した傾斜角度に応じた縮尺を適用して、撮影装置5で下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域(危険領域)を設定する。なお、縮尺は上述のように縮尺特定部103が特定する。領域設定方法の詳細は後述する。 The area setting unit 105 applies a scale according to the inclination angle specified by the inclination angle specifying unit 102 to set an area (dangerous area). Note that the scale is specified by the scale specifying unit 103 as described above. Details of the area setting method will be described later.

入力データ生成部106は、対象検出部107が対称の検出に用いる検出モデルに入力する入力データを生成する。より詳細には、入力データ生成部106は、領域設定部105が設定した危険領域を上記撮影画像から切り出して所定サイズに調整し、調整画像を生成する。この調整画像が検出モデルへの入力データとなる。詳細は後述するが、この検出モデルは学習装置3によって生成される。 The input data generation unit 106 generates input data to be input to the detection model used by the object detection unit 107 to detect symmetry. More specifically, the input data generation unit 106 cuts out the dangerous area set by the area setting unit 105 from the captured image, adjusts it to a predetermined size, and generates an adjusted image. This adjusted image becomes input data to the detection model. Although details will be described later, this detection model is generated by the learning device 3.

対象検出部107は、撮影画像に写る所定の検出対象を検出する。本実施形態では、当該対象が人とフックである例、すなわち対象検出部107が、撮影画像に写る危険領域内において、人とフックCR5を検出する例を説明する。これらの検出は、上述した検出モデルの出力値に基づいて行われる。 The object detection unit 107 detects a predetermined detection object appearing in the photographed image. In this embodiment, an example will be described in which the target is a person and a hook, that is, an example in which the target detection unit 107 detects a person and a hook CR5 in a dangerous area shown in a photographed image. These detections are performed based on the output values of the detection model described above.

なお、検出対象はこれらの例に限られない。例えば、対象検出部107は、人の代わりに人の装着している物品(ヘルメット等)を検出してもよいし、フックCR5の代わりに吊荷等を検出してもよい。また、対象検出部107は、複数の対象を検出する場合、当該複数の対象を検出可能な1つの検出モデルの出力値から各対象を検出してもよいし、対象ごとに用意された検出モデルの出力値から各対象を検出してもよい。 Note that the detection target is not limited to these examples. For example, the object detection unit 107 may detect an article (such as a helmet) worn by a person instead of a person, or may detect a hanging load or the like instead of the hook CR5. Further, when detecting multiple targets, the target detection unit 107 may detect each target from the output value of one detection model capable of detecting the multiple targets, or may detect each target using a detection model prepared for each target. Each target may be detected from the output value of .

侵入回数カウント部108は、領域設定部105が設定した領域すなわち危険領域に対象検出部107の検出対象(典型的には人)が侵入した回数をカウントする。侵入回数のカウント方法の詳細は後述する。 The number-of-intrusion counting section 108 counts the number of times that the object to be detected by the object detection section 107 (typically a person) has entered the area set by the area setting section 105, that is, the dangerous area. Details of how to count the number of intrusions will be described later.

警報部109は、危険領域内に対象検出部107の検出対象(典型的には人)が検出された場合に警報を行う。警報は、検出対象が検出されたことを所定の対象者に認識させることができるものであればよく、音、画像、およびそれらの組み合わせ等、任意の方法で行うものであってよい。警報の対象者は、クレーンCRの周囲で作業する作業員であってもよい。ただし、作業員は、例えば吊荷をフックCR5に玉掛けする際などに危険領域に立ち入るが、このような立ち入り時には警報は不要である。そこで、警報の対象者は、例えば、工事現場の監視員や監督者、情報処理装置1のオペレータ等としてもよい。これらの場合、警報の対象者が必要と判断したときに、警報部109または他の手段により作業員への警報を行えばよい。 The alarm section 109 issues an alarm when a detection target (typically a person) of the object detection section 107 is detected within the dangerous area. The alarm may be any method as long as it can make the predetermined target person recognize that the detection target has been detected, and may be issued by any method such as sound, image, or a combination thereof. The target of the warning may be a worker working around the crane CR. However, although a worker enters a dangerous area when, for example, slinging a suspended load onto the hook CR5, an alarm is not required during such entry. Therefore, the person to whom the warning is issued may be, for example, a supervisor or supervisor at the construction site, an operator of the information processing device 1, or the like. In these cases, the warning unit 109 or other means may issue a warning to the worker when the person to whom the warning is directed determines that it is necessary.

以上のように、情報処理装置1は、クレーンCRのブームCR3の傾斜角度を特定する傾斜角度特定部102を備えている。また、情報処理装置1は、傾斜角度特定部102が特定した傾斜角度に応じた縮尺を適用して、ブームCR3に取り付けられた撮影装置5で撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部105を備えている。 As described above, the information processing device 1 includes the inclination angle specifying section 102 that specifies the inclination angle of the boom CR3 of the crane CR. In addition, the information processing device 1 applies a scale according to the inclination angle specified by the inclination angle specifying unit 102 to obtain a predetermined size in actual size in the photographed image taken by the photographing device 5 attached to the boom CR3. It includes an area setting section 105 that sets an area where .

上記の構成によれば、ブームCR3の傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して領域を設定するので、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。そして、対象検出部107は、設定された領域(危険領域)から所定の検出対象を検出するので、撮影画像全体から検出を行う場合と比べて、少ない演算量で高精度な検出を行うことが可能になる。 According to the above configuration, since the inclination angle of the boom CR3 is specified and the area is set by applying a scale according to the inclination angle, even if an object of known dimensions is not included in the captured image, An area having a predetermined actual size can be set. The target detection unit 107 detects a predetermined detection target from a set area (dangerous area), so it is possible to perform highly accurate detection with a small amount of calculation compared to the case where detection is performed from the entire captured image. It becomes possible.

(学習装置の構成)
図2は、学習装置3の要部構成の一例を示すブロック図である。図示のように、学習装置3は、プロセッサ30、メモリ31、および大容量記憶装置32を備えている。学習装置3は、情報処理装置1と同様に、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ30は、大容量記憶装置32に記憶されている学習プログラムをメモリ31にロードして実行することにより、後述する画像取得部301から学習部310までの各部として機能する。
(Configuration of learning device)
FIG. 2 is a block diagram showing an example of the main part configuration of the learning device 3. As shown in FIG. As illustrated, the learning device 3 includes a processor 30, a memory 31, and a mass storage device 32. Like the information processing device 1, the learning device 3 may be a personal computer, a server, or a workstation. The processor 30 functions as each section from an image acquisition section 301 to a learning section 310, which will be described later, by loading a learning program stored in the mass storage device 32 into the memory 31 and executing it.

また、学習装置3は、外部の機器とのインターフェース(IF)として、撮影装置IF33、傾斜計IF34、表示装置IF35、入力装置IF36、およびネットワークIF37を備えている。入力装置IF36は、キーボードやマウスなどの入力装置からの入力信号を受け付けるためのインターフェースである。入力装置IF36は、例えばUSB等のインターフェースであってもよい。学習装置3が備えるインターフェースのうち、図1の情報処理装置1が備えるものと同名のインターフェースは機能も同様であるから説明を繰り返さない。 The learning device 3 also includes an imaging device IF33, an inclinometer IF34, a display device IF35, an input device IF36, and a network IF37 as interfaces (IFs) with external devices. The input device IF 36 is an interface for receiving input signals from input devices such as a keyboard and a mouse. The input device IF 36 may be, for example, an interface such as a USB. Among the interfaces included in the learning device 3, the interfaces with the same names as those included in the information processing device 1 in FIG. 1 have the same functions, so description thereof will not be repeated.

画像取得部301は、クレーンCRのブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像を取得する。撮影画像の取得方法は特に限定されず、例えば、画像取得部301は、撮影装置IF33を介して撮影装置5から上述の撮影画像を取得してもよい。また、例えば、画像取得部301は、情報処理装置1の大容量記憶装置12に保存されている撮影画像を情報処理装置1と通信することにより取得してもよい。さらに、例えば、撮影画像が情報処理装置1の外部の記憶装置に記憶されている場合には、画像取得部301はその記憶装置にアクセスして撮影画像を取得してもよい。 The image acquisition unit 301 acquires a photographed image of the lower side with the photographing device 5 attached to the boom CR3 of the crane CR. The method of acquiring the photographed image is not particularly limited, and for example, the image acquisition unit 301 may acquire the above-mentioned photographed image from the photographing device 5 via the photographing device IF 33. Further, for example, the image acquisition unit 301 may acquire captured images stored in the mass storage device 12 of the information processing device 1 by communicating with the information processing device 1. Furthermore, for example, if the photographed image is stored in a storage device external to the information processing device 1, the image acquisition unit 301 may access the storage device and acquire the photographed image.

撮影時刻特定部302は、画像取得部301が取得した撮影画像の撮影時刻を特定する。撮影時刻の特定方法の詳細は後述する。 The photographing time identifying unit 302 identifies the photographing time of the photographed image acquired by the image acquiring unit 301. Details of the method for specifying the photographing time will be described later.

傾斜角度特定部303は、クレーンCRのブームCR3の傾斜角度を特定する。具体的には、傾斜角度特定部303は、ブームCR3の傾斜角度の時系列の測定結果から、撮影画像の撮影時刻におけるブームCR3の傾斜角度を特定する。なお、傾斜角度の特定方法の詳細は後述する。 The inclination angle specifying unit 303 specifies the inclination angle of the boom CR3 of the crane CR. Specifically, the inclination angle identifying unit 303 identifies the inclination angle of the boom CR3 at the photographing time of the photographed image from the time-series measurement results of the inclination angle of the boom CR3. Note that details of the method for specifying the inclination angle will be described later.

検出対象情報生成部304は、撮影画像において、検出モデルの検出対象が写る位置および範囲を示す検出対象情報を生成する。検出対象が写る位置および範囲は、学習装置3のユーザが設定してもよい。この場合、検出対象情報生成部304は、入力装置IF36を介してユーザの設定を取得し、取得した設定内容を示す検出対象情報を生成すればよい。 The detection target information generation unit 304 generates detection target information indicating the position and range of the detection target of the detection model in the photographed image. The position and range of the detection target may be set by the user of the learning device 3. In this case, the detection target information generation unit 304 may acquire the user's settings via the input device IF 36 and generate detection target information indicating the acquired settings.

教師データ生成部305は、撮影装置5で撮影する撮影画像から所定の検出対象を検出するための検出モデルの機械学習に用いる教師データを生成する。詳細は後述するが、この教師データでは、撮影画像に対して、傾斜角度特定部303が特定した傾斜角度と、検出対象情報生成部304が生成した検出対象情報とが対応付けられている。 The teacher data generation unit 305 generates teacher data used for machine learning of a detection model for detecting a predetermined detection target from a photographed image taken by the photographing device 5. Although details will be described later, in this teacher data, the tilt angle specified by the tilt angle specifying unit 303 and the detection target information generated by the detection target information generating unit 304 are associated with respect to the captured image.

縮尺特定部306は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を特定する。具体的には、縮尺特定部306は、ブームCRをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて縮尺を特定する。縮尺特定部306が用いる相関情報は、情報処理装置1の縮尺特定部103が用いる相関情報と同じ情報である。 The scale specifying unit 306 specifies a scale according to the inclination angle specified by the inclination angle specifying unit 303. Specifically, the scale specifying unit 306 determines the scale using the correlation information derived using the size of the reference object in each of the reference images obtained by photographing the reference object with known dimensions with the boom CR at different inclination angles. Identify. The correlation information used by the scale specifying unit 306 is the same information as the correlation information used by the scale specifying unit 103 of the information processing device 1.

学習対象領域設定部307は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を適用して、ブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域(学習対象領域)を設定する。なお、縮尺は上述のように縮尺特定部306が特定する。 The learning target area setting unit 307 applies a scale according to the inclination angle specified by the inclination angle specifying unit 303, and sets the area in the photographed image taken from the lower side with the photographing device 5 attached to the boom CR3 in the actual size. An area (learning target area) having a predetermined size is set. Note that the scale is specified by the scale specifying unit 306 as described above.

学習対象領域を実寸法でどの程度のサイズの領域とするかは任意である。また、学習対象領域は、危険領域と同じ位置およびサイズの領域としてもよいし、位置およびサイズの少なくとも何れかが危険領域とは異なる領域としてもよい。後者の場合、学習対象領域を危険領域よりも広く設定してもよい。 The actual size of the learning target area is arbitrary. Further, the learning target area may be an area having the same position and size as the dangerous area, or may be an area having at least one of a different position and size from the dangerous area. In the latter case, the learning target area may be set wider than the dangerous area.

入力データ生成部308は、学習部310が検出モデルの機械学習時に当該検出モデルに入力する入力データを生成する。なお、検出モデルは、情報処理装置1の対象検出部107が対象の検出に用いるモデルである。具体的には、入力データ生成部308は、学習対象領域設定部307が設定した学習対象領域を上記撮影画像から切り出して所定サイズに調整し、調整画像を生成する。この調整画像が機械学習時における検出モデルへの入力データとなる。 The input data generation unit 308 generates input data that the learning unit 310 inputs to the detection model during machine learning of the detection model. Note that the detection model is a model used by the target detection unit 107 of the information processing device 1 to detect a target. Specifically, the input data generation unit 308 cuts out the learning target area set by the learning target area setting unit 307 from the captured image, adjusts it to a predetermined size, and generates an adjusted image. This adjusted image becomes input data to the detection model during machine learning.

回転画像生成部309は、入力データ生成部308が生成した調整画像を回転させて回転画像を生成する。回転画像生成部309が生成する回転画像は、上記調整画像と共に上記生成モデルの生成に用いられる。 The rotated image generation unit 309 rotates the adjusted image generated by the input data generation unit 308 to generate a rotated image. The rotated image generated by the rotated image generation unit 309 is used together with the adjusted image to generate the generative model.

学習部310は、機械学習により上記検出モデルを生成する。検出モデルの生成には、上述のとおり、入力データ生成部308が生成する入力データ(具体的には調整画像)が用いられると共に、回転画像生成部309が生成する回転画像も用いられる。機械学習の詳細については後述する。 The learning unit 310 generates the detection model by machine learning. As described above, the input data (specifically, the adjusted image) generated by the input data generation unit 308 is used to generate the detection model, and the rotated image generated by the rotated image generation unit 309 is also used. The details of machine learning will be described later.

以上のように、学習装置3は、クレーンCRのブームCR3の傾斜角度を特定する傾斜角度特定部303を備えている。また、学習装置3は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を適用して、ブームCR3に取り付けられた撮影装置5で撮影した撮影画像中に、実寸法で所定のサイズとなる領域(学習対象領域)を設定する学習対象領域設定部307を備えている。 As described above, the learning device 3 includes the inclination angle specifying section 303 that specifies the inclination angle of the boom CR3 of the crane CR. Further, the learning device 3 applies a scale according to the inclination angle specified by the inclination angle specifying unit 303 to determine a predetermined size in the actual size in the photographed image taken by the photographing device 5 attached to the boom CR3. The learning target area setting unit 307 is provided to set a learning target area (learning target area).

上記の構成によれば、ブームCR3の傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して領域を設定するので、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。そして、学習部310は、撮影画像の画像領域のうち、設定された上記領域(学習対象領域)のみを学習の対象とするので、撮影画像全体を学習対象とする場合と比べて、少ない演算量で高精度な検出が可能な検出モデルを生成することが可能になる。 According to the above configuration, since the inclination angle of the boom CR3 is specified and the area is set by applying a scale according to the inclination angle, even if an object of known dimensions is not included in the captured image, An area having a predetermined actual size can be set. The learning unit 310 studies only the set area (learning target area) out of the image area of the captured image, so the amount of calculation is reduced compared to the case where the entire captured image is the learning target. It becomes possible to generate a detection model that can perform highly accurate detection.

また、学習装置3は、以上のように、ブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像の撮影時におけるブームCR3の傾斜角度を特定する傾斜角度特定部303を備えている。また、学習装置3は、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を適用して、撮影画像中に実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定部307を備えている。さらに、学習装置3は、学習対象領域の画像を所定サイズに調整した調整画像を用いて、学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習部310を備える。 Further, as described above, the learning device 3 includes the inclination angle specifying section 303 that specifies the inclination angle of the boom CR3 at the time of photographing the photographed image of the lower side with the photographing device 5 attached to the boom CR3. . Further, the learning device 3 includes a learning target area setting unit 307 that sets a learning target area having a predetermined actual size in the photographed image by applying a scale according to the tilt angle specified by the tilt angle specifying unit 303. It is equipped with Furthermore, the learning device 3 includes a learning unit 310 that performs machine learning of a detection model for detecting a predetermined detection target reflected in the learning target area using an adjusted image obtained by adjusting the image of the learning target area to a predetermined size. .

上記の構成によれば、ブームの傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して、実寸法で所定のサイズとなる学習対象領域を設定する。すなわち、上記の構成によれば、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる学習対象領域を設定することができる。 According to the above configuration, the inclination angle of the boom is specified, and a scale corresponding to the inclination angle is applied to set a learning target area having a predetermined actual size. That is, according to the above configuration, it is possible to set a learning target area that has a predetermined actual size even if an object of known dimensions is not included in the photographed image.

また、上記の構成によれば、学習対象領域の画像を所定サイズに調整した調整画像を用いて機械学習を行う。これにより、ブームCR3の傾斜角度に応じて撮影画像における学習対象領域の範囲が変わり、学習対象領域に写る検出対象のサイズが変わっても、常に実寸法で所定のサイズとなる学習対象領域を学習対象とすることができる。また、設定された学習対象領域に対応する実寸法のサイズは常に所定サイズであるから、学習対象領域に写る検出対象のサイズも略一定の範囲に収まる。よって、このような調整画像を用いない場合と比べて効率的な学習を行うことができる。 Further, according to the above configuration, machine learning is performed using an adjusted image obtained by adjusting the image of the learning target area to a predetermined size. As a result, the range of the learning target area in the photographed image changes according to the inclination angle of the boom CR3, and even if the size of the detection target reflected in the learning target area changes, the learning target area is always learned to have a predetermined actual size. It can be targeted. Further, since the actual size corresponding to the set learning target area is always a predetermined size, the size of the detection target appearing in the learning target area also falls within a substantially constant range. Therefore, learning can be performed more efficiently than when such adjusted images are not used.

また、学習装置3は、以上のように、ブームCR3の傾斜角度の時系列の測定結果から、画像取得部301が取得した撮影画像の撮影時刻におけるブームCR3の傾斜角度を特定する傾斜角度特定部303を備えている。さらに、学習装置3は、傾斜角度特定部303が特定した傾斜角度と、画像取得部301が取得した撮影画像と、検出対象情報生成部304が生成した検出対象情報とを対応付けて教師データを生成する教師データ生成部305を備えている。この教師データは、上述の検出モデルの機械学習に用いられる教師データである。 Further, as described above, the learning device 3 includes a tilt angle identifying unit that identifies the tilt angle of the boom CR3 at the time of photographing the captured image acquired by the image acquiring unit 301 from the time series measurement results of the tilt angle of the boom CR3. 303. Furthermore, the learning device 3 associates the inclination angle specified by the inclination angle identification unit 303, the captured image acquired by the image acquisition unit 301, and the detection target information generated by the detection target information generation unit 304, and generates teacher data. It includes a teacher data generation unit 305 that generates teacher data. This training data is training data used for machine learning of the above-mentioned detection model.

つまり、学習装置3は、ブームCR3に取り付けられた撮影装置5で下方側を撮影した撮影画像から機械学習用の教師データを生成する教師データ生成装置としての機能も有している。無論、学習装置3とは別体の教師データ生成装置に傾斜角度特定部303および教師データ生成部305等を実装してもよい。 That is, the learning device 3 also has a function as a teacher data generation device that generates teacher data for machine learning from a photographed image of the lower side with the photographing device 5 attached to the boom CR3. Of course, the inclination angle identification section 303, the teacher data generation section 305, etc. may be implemented in a teacher data generation device separate from the learning device 3.

上記の構成によれば、ブームCR3の傾斜角度の時系列の測定結果から、撮影画像の撮影時刻におけるブームCR3の傾斜角度を特定し、特定した傾斜角度と撮影画像と検出対象情報とを対応付けて教師データを生成する。この教師データには、ブームCR3の傾斜角度が含まれているので、この傾斜角度に応じた縮尺を適用することにより、当該教師データに含まれる撮影画像中に実寸法で所定のサイズとなる学習対象領域を設定することができる。したがって、学習部310は、上記のようにして生成される教師データを用いることにより、効率的な学習を行うことができる。 According to the above configuration, the inclination angle of the boom CR3 at the shooting time of the captured image is specified from the time series measurement results of the inclination angle of the boom CR3, and the identified inclination angle, the captured image, and the detection target information are associated. to generate training data. This training data includes the inclination angle of the boom CR3, so by applying a scale according to this inclination angle, learning that the photographed image included in the training data has a predetermined actual size can be achieved. You can set the target area. Therefore, the learning unit 310 can perform efficient learning by using the teacher data generated as described above.

(アンカーボックスについて)
検出モデルを用いた物体検出では、アンカーボックスを用いることが好ましい。アンカーボックスを用いることにより、例えばスライディングウィンドウ等による物体検出と比べて処理を簡略化し、効率的に検出を行うことができる。
(About anchor box)
In object detection using a detection model, it is preferable to use an anchor box. By using an anchor box, processing can be simplified and detection can be performed efficiently compared to, for example, object detection using a sliding window.

アンカーボックスを用いた物体検出を行う検出モデルを生成する場合、使用するアンカーボックスの高さと幅を事前に定義しておく。アンカーボックスは、複数定義することができる。ただし、使用するアンカーボックスの数が増える程、学習においても学習済みの検出モデルによる物体検出においても演算量が増えてしまう。 When generating a detection model that performs object detection using an anchor box, the height and width of the anchor box to be used are defined in advance. Multiple anchor boxes can be defined. However, as the number of anchor boxes used increases, the amount of calculation increases both in learning and in object detection using a learned detection model.

この点、学習部310は、撮影画像全体を学習対象とするのではなく、学習対象領域設定部307が設定した学習対象領域のみを学習対象としているので、アンカーボックスの数を抑えつつ、十分な検出精度の検出モデルを生成可能である。同様に、情報処理装置1の対象検出部107は、撮影画像全体を検出対象とするのではなく、領域設定部105が設定した領域(危険領域)を検出対象としているので、アンカーボックスの数を抑えつつ、十分な精度での検出を実現可能である。 In this regard, the learning unit 310 does not use the entire captured image as a learning target, but only the learning target area set by the learning target area setting unit 307, so it can suppress the number of anchor boxes and It is possible to generate a detection model with high detection accuracy. Similarly, the target detection unit 107 of the information processing device 1 does not detect the entire captured image, but detects the area (dangerous area) set by the area setting unit 105, so the number of anchor boxes is It is possible to realize detection with sufficient accuracy while suppressing the amount of noise.

(危険領域の設定例)
図4は、危険領域の設定例を示す図である。より詳細には、図4には、ブームCR3の傾斜角度が急峻なときの危険領域の設定例を示すとともに、ブームCR3の傾斜角度を緩やかにしたときの危険領域の設定例を示している。なお、図4では急峻な傾斜角度のブームCR3を破線で示している。
(Example of setting dangerous area)
FIG. 4 is a diagram showing an example of setting a dangerous area. More specifically, FIG. 4 shows an example of setting the dangerous area when the inclination angle of the boom CR3 is steep, and also shows an example of setting the dangerous area when the inclination angle of the boom CR3 is made gentle. In addition, in FIG. 4, the boom CR3 having a steep inclination angle is shown by a broken line.

図4では、フックCR5の直下の位置を中心とする実寸法で一辺の長さがaの正方形の領域を危険領域に設定する例を説明する。ブームCRの傾斜角度によらず、危険領域のサイズは不変であるが、ブームCRの傾斜角度によって撮影装置5の撮影範囲は変化する。 In FIG. 4, an example will be described in which a square area with a side length a in actual size centered on a position directly below the hook CR5 is set as a dangerous area. Although the size of the dangerous area remains unchanged regardless of the inclination angle of the boom CR, the photographing range of the photographing device 5 changes depending on the inclination angle of the boom CR.

図4の例では、ブームCRの傾斜角度が急峻であるときには、撮影装置5の撮影範囲AR1の幅はAである。この状態で撮影した画像が撮影画像IMG1である。一方、ブームCRの傾斜角度を緩やかにすると、撮影装置5がより低い位置になり、撮影範囲AR2の幅はAになる(A>A)。この状態で撮影した画像が撮影画像IMG2である。撮影画像IMG1とIMG2は、何れも同じ撮影設定で撮影されたものであり、画像サイズおよび解像度が同一である。これらの撮影画像の幅は何れもB(ピクセル)である。 In the example of FIG. 4, when the inclination angle of the boom CR is steep, the width of the photographing range AR1 of the photographing device 5 is A1 . The image photographed in this state is photographed image IMG1. On the other hand, when the inclination angle of the boom CR is made gentler, the photographing device 5 is placed at a lower position, and the width of the photographing range AR2 becomes A2 ( A1 > A2 ). The image photographed in this state is photographed image IMG2. The photographed images IMG1 and IMG2 are both photographed with the same photographing settings, and have the same image size and resolution. The width of each of these captured images is B (pixel).

領域設定部105は、このようにして撮影された各撮影画像について、実寸法で一辺の長さがaとなる危険領域を設定する。図4の例では、撮影画像IMG1については一辺の長さがb(ピクセル)である危険領域が設定されており、撮影画像IMG2については一辺の長さがb(ピクセル)である危険領域が設定されている。 The area setting unit 105 sets a dangerous area whose actual size is a on each side for each photographed image taken in this manner. In the example of FIG. 4, a dangerous area with a side length of b 1 (pixels) is set for the photographed image IMG1, and a dangerous area whose side length is b 2 (pixels) is set for the photographed image IMG2. is set.

図4から看取できるように、b<bである。これは、ブームCR3の傾斜角度の違いに起因する、撮影装置5から危険領域までの距離の違いを反映したものである。つまり、撮影画像IMG1およびIMG2では、ブームCR3の傾斜角度が大きいほど撮影装置5から危険領域までの距離が遠くなり、撮影画像に写る危険領域のサイズは小さくなることを反映したサイズの危険領域が設定されている。 As can be seen from FIG. 4, b 1 <b 2 . This reflects the difference in distance from the imaging device 5 to the dangerous area due to the difference in the inclination angle of the boom CR3. In other words, in the photographed images IMG1 and IMG2, the dangerous area has a size that reflects the fact that the greater the inclination angle of the boom CR3, the greater the distance from the photographing device 5 to the dangerous area, and the smaller the size of the dangerous area reflected in the photographed image. It is set.

撮影画像IMG1およびIMG2における危険領域のサイズは、縮尺特定部103が特定した縮尺に基づいて決定される。上述のように、縮尺は、ブームCR3をそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出される。 The size of the dangerous area in the captured images IMG1 and IMG2 is determined based on the scale specified by the scale specifying unit 103. As described above, the scale is derived using the size of the reference object in each of the reference images obtained by photographing the reference object with known dimensions with the boom CR3 at different inclination angles.

例えば、ブームCR3の傾斜角度を最大にして、撮影装置5の直下に所定の長さの基準物を配置し、それを撮影する。なお、基準物は長さが既知のものであればよく、例えば地表面に描いた線分などであってもよい。そして、撮影された画像(基準画像)に写る基準物の長さ(例えばピクセル数)を計測する。これにより、ブームCR3の傾斜角度が最大であるときの実寸法と基準画像上におけるサイズとの対応関係を特定することができる。 For example, the inclination angle of the boom CR3 is maximized, a reference object of a predetermined length is placed directly below the photographing device 5, and the reference object is photographed. Note that the reference object only needs to have a known length, and may be, for example, a line drawn on the ground surface. Then, the length (for example, the number of pixels) of the reference object appearing in the photographed image (reference image) is measured. Thereby, the correspondence relationship between the actual size when the inclination angle of boom CR3 is the maximum and the size on the reference image can be specified.

同様に、ブームCR3の傾斜角度を最小にして、撮影装置5の直下に所定の長さの基準物を配置し、それを撮影する。そして、撮影された画像(基準画像)に写る基準物の長さ(例えばピクセル数)を計測する。これにより、ブームCR3の傾斜角度が最小であるときの実寸法と基準画像上におけるサイズとの対応関係を特定することができる。 Similarly, the inclination angle of the boom CR3 is minimized, a reference object of a predetermined length is placed directly below the photographing device 5, and the reference object is photographed. Then, the length (for example, the number of pixels) of the reference object appearing in the photographed image (reference image) is measured. Thereby, the correspondence relationship between the actual size when the inclination angle of boom CR3 is the minimum and the size on the reference image can be specified.

そして、ブームCR3の傾斜角度が最大であるときの実寸法と基準画像上のサイズとの対応関係と、ブームCR3の傾斜角度が最小であるときの実寸法と基準画像上のサイズとの対応関係から、他の傾斜角度のときの対応関係も導出される。つまり、ブームCR3の傾斜角度から縮尺を算出する関数を導出することができる。この関数を相関情報として大容量記憶装置12等に格納しておけば、縮尺特定部103はこの関数を用いて縮尺を特定することができる。 Then, the correspondence relationship between the actual size when the inclination angle of boom CR3 is the maximum and the size on the reference image, and the correspondence relationship between the actual size and the size on the reference image when the inclination angle of boom CR3 is the minimum. From this, correspondence relationships for other inclination angles are also derived. That is, a function for calculating the scale can be derived from the inclination angle of the boom CR3. If this function is stored as correlation information in the mass storage device 12 or the like, the scale specifying unit 103 can specify the scale using this function.

このような関数を相関情報として大容量記憶装置12等に格納しておけば、縮尺特定部103はこの関数を用いて縮尺を特定することができる。そして、領域設定部105は、このようにして特定された縮尺を用いることにより、撮影画像IMG1およびIMG2のそれぞれについて、実寸法で所定サイズとなる危険領域を設定することができる。 If such a function is stored as correlation information in the mass storage device 12 or the like, the scale specifying unit 103 can specify the scale using this function. Then, by using the scale identified in this way, the area setting unit 105 can set a dangerous area having a predetermined actual size for each of the captured images IMG1 and IMG2.

例えば、図4の例において、ブームCR3の傾斜角度が急峻であるときの縮尺(撮影画像におけるピクセル数/実寸法)がX1と特定され、ブームCR3の傾斜角度が緩やかであるときの縮尺がX2と特定されたとする。この場合、領域設定部105は、危険領域の実寸法幅であるaに縮尺X1を乗じて、IMG1における危険領域の幅bを算出する(a×X1=b)。また、領域設定部105は、危険領域の実寸法幅であるaに縮尺X2を乗じて、IMG2における危険領域の幅bを算出する(a×X2=b)。 For example, in the example of FIG. 4, the scale (number of pixels in the captured image/actual size) when the inclination angle of boom CR3 is steep is specified as X1, and the scale when the inclination angle of boom CR3 is gentle is specified as X2. Suppose that it is specified that In this case, the area setting unit 105 calculates the width b 1 of the dangerous area in the IMG 1 by multiplying a, which is the actual size width of the dangerous area, by the scale X1 (a×X1=b 1 ). Further, the area setting unit 105 calculates the width b 2 of the dangerous area in the IMG 2 by multiplying a, which is the actual size width of the dangerous area, by the scale X2 (a×X2=b 2 ).

以上のように、縮尺特定部103は、ブームCR3をそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて傾斜角度に応じた縮尺を特定してもよい。そして、領域設定部105は、縮尺特定部103が特定した縮尺を適用して危険領域を設定してもよい。この構成によれば、寸法が既知の基準物を実際に撮影した基準画像を用いて導出された相関情報を用いるので、適切な縮尺を特定することが可能になる。 As described above, the scale specifying unit 103 uses the correlation information derived using the size of the reference object in each of the reference images obtained by photographing the reference object with known dimensions with the boom CR3 at different inclination angles. The scale may be specified depending on the angle. Then, the area setting unit 105 may apply the scale specified by the scale specifying unit 103 to set the dangerous area. According to this configuration, since correlation information derived using a reference image obtained by actually photographing a reference object with known dimensions is used, it becomes possible to specify an appropriate scale.

以上のようにして撮影画像IMG1において危険領域を設定した後、その危険領域からの人の検出が行われる。上述のように、人の検出には検出モデルを用いるので、入力データ生成部106はこの検出モデルへの入力データを生成する。 After the dangerous area is set in the photographed image IMG1 as described above, a person from the dangerous area is detected. As described above, since a detection model is used to detect a person, the input data generation unit 106 generates input data to this detection model.

具体的には、図4に示すように、入力データ生成部106は、撮影画像IMG1から領域設定部105が設定した危険領域を切り出して画像IMG1aを生成する。そして、生成した画像IMG1aを所定のサイズ(図4の例では一辺の長さがCピクセルの正方形)に調整して調整画像IMG1bを生成する。この調整画像IMG1bが検出モデルへの入力データとなる。 Specifically, as shown in FIG. 4, the input data generation unit 106 cuts out the dangerous area set by the area setting unit 105 from the captured image IMG1 and generates the image IMG1a. Then, the generated image IMG1a is adjusted to a predetermined size (in the example of FIG. 4, a square with a side length of C pixels) to generate an adjusted image IMG1b. This adjusted image IMG1b becomes input data to the detection model.

なお、入力データ生成部106は、領域設定部105が設定した危険領域よりも広い領域を切り出してもよい。これにより、危険領域に近付いた作業員を検出することが可能になり、また、フックCR5が揺れる等によって危険領域を設定する撮影画像IMG2中の基準位置がずれた場合にも、実際の危険領域をカバーした範囲で人の検出を行うことができる。 Note that the input data generation unit 106 may cut out an area wider than the dangerous area set by the area setting unit 105. This makes it possible to detect a worker approaching a dangerous area, and even if the reference position in the photographed image IMG2 for setting the dangerous area shifts due to shaking of the hook CR5, etc., the actual dangerous area can be detected. Detection of people can be performed within the range covered.

撮影画像IMG2からの入力データの生成方法も同様である。すなわち、入力データ生成部106は、撮影画像IMG2から領域設定部105が設定した危険領域を切り出して画像IMG2aを生成する。そして、生成した画像IMG2aを所定のサイズ(図4の例では一辺の長さがCピクセルの正方形)に調整して調整画像IMG2bを生成する。この調整画像IMG2bが検出モデルへの入力データとなる。 The method of generating input data from photographed image IMG2 is also similar. That is, the input data generation unit 106 cuts out the dangerous area set by the area setting unit 105 from the photographed image IMG2 and generates the image IMG2a. Then, the generated image IMG2a is adjusted to a predetermined size (in the example of FIG. 4, a square with a side length of C pixels) to generate an adjusted image IMG2b. This adjusted image IMG2b becomes input data to the detection model.

また、学習装置3において行われる調整画像の生成も上記と同様である。すなわち、学習装置3においては、入力データ生成部308が、撮影画像から学習対象領域設定部307が設定した学習対象領域を切り出し、切り出した画像を所定のサイズに調整して調整画像を生成する。この調整画像のサイズは、入力データ生成部106が生成する調整画像と同じサイズである。 Further, the generation of the adjusted image performed in the learning device 3 is also the same as described above. That is, in the learning device 3, the input data generation unit 308 cuts out the learning target area set by the learning target area setting unit 307 from the captured image, adjusts the cut out image to a predetermined size, and generates an adjusted image. The size of this adjusted image is the same size as the adjusted image generated by the input data generation unit 106.

(教師データの生成)
図5は、検出モデルの生成に用いる教師データの生成方法の例を示す図である。図示のように、ここでは傾斜情報が常時記録されているとする。傾斜情報は、傾斜計7の計測結果すなわち傾斜角度と、その計測が行われた時刻を示す時刻情報とが対応付けられた情報である。
(Generation of teaching data)
FIG. 5 is a diagram illustrating an example of a method for generating training data used to generate a detection model. As shown in the figure, it is assumed here that the slope information is constantly recorded. The inclination information is information in which the measurement result of the inclinometer 7, that is, the inclination angle, is associated with time information indicating the time when the measurement was performed.

また、撮影装置5により動画像が撮影されて動画像ファイルが記録されているとする。なお、動画像の撮影は断続的に行われ、各撮影で得られた動画像が個別の動画像ファイルとして記録されている。例えば、クレーンCRを用いて作業が行われたある一日において、作業時間中継続して撮影を行い、その一日の動画像ファイルとして記録してもよい。 It is also assumed that a moving image is photographed by the photographing device 5 and a moving image file is recorded. It should be noted that moving images are taken intermittently, and the moving images obtained in each shooting are recorded as individual moving image files. For example, in one day when work is performed using the crane CR, photography may be continuously taken during the working hours and recorded as a video image file for that day.

また、各動画像ファイルのファイル名にはその動画像ファイルの撮影開始時刻を示す情報を含めておいてもよい。これにより、撮影開始時刻を簡単に記録しておくことができる。例えば、年月日を示す情報(YYYYMMDD)と時分秒を示す情報(HHMMSS)とを組み合わせたファイル名としてもよい。 Further, the file name of each moving image file may include information indicating the shooting start time of the moving image file. This allows the shooting start time to be easily recorded. For example, the file name may be a combination of information indicating the year, month, and day (YYYYMMDD) and information indicating the hour, minute, and second (HHMMSS).

画像取得部301は、上述の動画像ファイルから、当該動画像ファイルを構成するフレーム画像を取得する。この際、画像取得部301は、取得したフレーム画像のファイル名に画像番号を付与しておく。例えば、画像取得部301は、動画像ファイルを構成する最初のフレーム画像の画像番号を0とし、2番目以降のフレーム画像について画像番号をインクリメントさせながら付与してもよい。 The image acquisition unit 301 acquires frame images constituting the above-mentioned video file from the video file. At this time, the image acquisition unit 301 assigns an image number to the file name of the acquired frame image. For example, the image acquisition unit 301 may set the image number to 0 for the first frame image constituting the video file, and increment the image number for the second and subsequent frame images.

撮影時刻特定部302は、動画像ファイルのファイル名に含まれる、動画像の撮影開始時刻に基づいて、画像取得部301が取得したフレーム画像の撮影時刻を特定する。例えば、上記動画像ファイルのフレームレートが1秒間に29.97フレームである場合には、100フレーム目のフレーム画像の撮影時刻は(100×1/29.97)秒と特定される。 The photographing time specifying unit 302 specifies the photographing time of the frame image acquired by the image acquiring unit 301 based on the photographing start time of the moving image included in the file name of the moving image file. For example, if the frame rate of the moving image file is 29.97 frames per second, the photographing time of the 100th frame image is specified as (100×1/29.97) seconds.

傾斜角度特定部303は、上述の傾斜情報を参照して、撮影時刻特定部302が特定した撮影時刻におけるブームCR3の傾斜角度を特定する。これにより、フレーム画像と傾斜角度とが対応付けられる。傾斜角度特定部303は、特定した傾斜角度をフレーム画像の画像番号と同じ番号の角度ファイルに保存することにより、この対応付けの結果を記録してもよい。 The inclination angle specifying section 303 refers to the above-mentioned inclination information and specifies the inclination angle of the boom CR3 at the photographing time specified by the photographing time specifying section 302. Thereby, the frame image and the inclination angle are associated with each other. The tilt angle identifying unit 303 may record the result of this association by saving the identified tilt angle in an angle file with the same number as the image number of the frame image.

なお、撮影時刻特定部302が特定した撮影時刻と一致する時刻情報が対応付けられた傾斜角度が存在しなければ、最も近い時刻情報が対応付けられた傾斜角度を特定すればよい。 Note that if there is no tilt angle associated with time information that matches the photographing time specified by the photographing time specifying unit 302, the tilt angle associated with the closest time information may be specified.

以上の処理により、フレーム画像が画像番号を付された状態で保存されると共に、傾斜角度も同様に番号を付された状態で保存される。なお、対応付けられたフレーム画像と傾斜角度には同じ番号が付与されている。 Through the above processing, the frame images are saved with image numbers assigned to them, and the tilt angles are also saved with numbers assigned to them. Note that the same number is given to the associated frame image and tilt angle.

このように、画像取得部301が撮影装置5で撮影した動画像ファイルを構成するフレーム画像を取得する場合、撮影時刻特定部302は、動画像ファイルのファイル名に含まれる、動画像の撮影開始時刻に基づいてその撮影時刻を特定してもよい。そして、傾斜角度特定部303は、撮影時刻特定部302が特定した撮影時刻におけるブームCR3の傾斜角度を特定してもよい。この構成によれば、予め動画像ファイルのファイル名に動画像の開始時刻を含めておくだけで、その動画像ファイルを構成するフレーム画像から、傾斜角度を含む教師データを自動で生成することが可能になる。 In this way, when the image acquisition unit 301 acquires frame images constituting a moving image file shot by the imaging device 5, the shooting time specifying unit 302 detects the start of shooting of the moving image, which is included in the file name of the moving image file. The photographing time may be specified based on the time. Then, the inclination angle specifying section 303 may specify the inclination angle of the boom CR3 at the photographing time specified by the photographing time specifying section 302. According to this configuration, by simply including the start time of the video file in the file name of the video file in advance, training data including the tilt angle can be automatically generated from the frame images that make up the video file. It becomes possible.

次に、縮尺の特定と学習対象領域の設定とが行われる。具体的には、まず、画像取得部301が取得したフレーム画像について、縮尺特定部306が、傾斜角度特定部303が特定した傾斜角度に応じた縮尺を特定する。縮尺の特定には、図4の説明時に述べたように、傾斜角度から縮尺を算出する関数を相関情報として用いればよい。 Next, the scale is specified and the learning target area is set. Specifically, first, for the frame image acquired by the image acquisition unit 301, the scale specifying unit 306 specifies a scale corresponding to the inclination angle specified by the inclination angle specifying unit 303. To specify the scale, a function that calculates the scale from the inclination angle may be used as the correlation information, as described in the explanation of FIG.

次に、学習対象領域設定部307が、画像取得部301が取得した上記フレーム画像に学習対象領域を設定する。学習対象領域の実寸法のサイズは危険領域と同じまたは同程度としてもよいし、危険領域よりも広く設定してもよい。学習対象領域は、例えばフレーム画像における中心位置に設定すればよい。そして、入力データ生成部308が、上記フレーム画像から上記学習対象領域を切り出して所定サイズに調整し、調整画像を生成する。これらの処理を各フレーム画像について行うことにより、各フレーム画像に対応する調整画像が生成される。 Next, the learning target area setting unit 307 sets a learning target area in the frame image acquired by the image acquiring unit 301. The actual size of the learning target area may be the same as or approximately the same as the dangerous area, or may be set wider than the dangerous area. The learning target area may be set, for example, at the center position in the frame image. Then, the input data generation unit 308 cuts out the learning target area from the frame image, adjusts it to a predetermined size, and generates an adjusted image. By performing these processes on each frame image, an adjusted image corresponding to each frame image is generated.

この後、各調整画像について、検出対象情報生成部304が、検出対象の位置および範囲を示す検出対象情報を保存する。例えば、検出対象情報生成部304は、表示装置IF35を介して調整画像を表示装置に表示させ、入力装置IF36を介して検出対象の位置および範囲の入力を受け付けてもよい。例えば、人の検出モデルを生成する場合、学習装置3のユーザは、調整画像に写る人を囲む矩形を入力すればよい。この場合、検出対象情報生成部304は、入力された矩形の位置(例えば代表座標)、幅、および高さを検出対象情報として保存すればよい。 Thereafter, for each adjusted image, the detection target information generation unit 304 stores detection target information indicating the position and range of the detection target. For example, the detection target information generation unit 304 may display the adjusted image on the display device via the display device IF35, and may receive input of the position and range of the detection target via the input device IF36. For example, when generating a person detection model, the user of the learning device 3 may input a rectangle surrounding the person in the adjusted image. In this case, the detection target information generation unit 304 may store the position (for example, representative coordinates), width, and height of the input rectangle as detection target information.

また、回転画像生成部309は、調整画像を回転させて回転画像を生成する。また、回転画像生成部309は、回転画像を生成した場合、その回転角度に応じて上述の検出対象情報も修正する。 Further, the rotated image generation unit 309 rotates the adjusted image to generate a rotated image. Moreover, when the rotated image generation unit 309 generates a rotated image, it also modifies the above-mentioned detection target information according to the rotation angle.

これにより、学習部310は、調整画像に加えて回転画像も用いて機械学習を行うことになる。この構成によれば、調整画像を回転させて生成した回転画像についても機械学習に用いるので、機械学習する画像のバリエーションを増やし、この機械学習によって生成される検出モデルの検出精度を高めることができる。 Thereby, the learning unit 310 performs machine learning using the rotated image in addition to the adjusted image. According to this configuration, since the rotated image generated by rotating the adjusted image is also used for machine learning, it is possible to increase the variation of images to be subjected to machine learning and improve the detection accuracy of the detection model generated by this machine learning. .

例えば、回転画像生成部309は、調整画像をランダムな回転角度で回転させることにより回転画像を生成してもよい。また、回転画像生成部309は、1つの調整画像から回転角度が異なる複数の回転画像を生成してもよい。 For example, the rotated image generation unit 309 may generate a rotated image by rotating the adjusted image at a random rotation angle. Further, the rotated image generation unit 309 may generate a plurality of rotated images having different rotation angles from one adjusted image.

(教師データ生成処理の流れ)
教師データ生成処理の流れを図6に基づいて説明する。図6は、教師データ生成処理(教師データ生成方法)の例を示すフローチャートである。
(Flow of teacher data generation process)
The flow of the teacher data generation process will be explained based on FIG. 6. FIG. 6 is a flowchart illustrating an example of teacher data generation processing (teacher data generation method).

S1では、画像取得部301が撮影画像を取得し、S2では撮影時刻特定部302がその撮影時刻を特定する。例えば、図5の例のように、画像取得部301が動画像ファイルのフレーム画像をS1で取得した場合には、S2では撮影時刻特定部302がそのフレーム番号と動画像ファイルの撮影開始時刻とから撮影時刻を特定する。 In S1, the image acquisition section 301 acquires a photographed image, and in S2, the photographing time specifying section 302 specifies the photographing time. For example, as in the example of FIG. 5, when the image acquisition unit 301 acquires a frame image of a moving image file in S1, in S2 the shooting time specifying unit 302 identifies the frame number and the shooting start time of the moving image file. Specify the shooting time from.

S3(傾斜角度特定ステップ)では、傾斜角度特定部303が、S2で特定された時刻におけるブームCR3の傾斜角度を特定する。例えば、図5の例のように、時刻情報を含む傾斜情報が記録されている場合、傾斜角度特定部303はS2で特定された時刻と一致するか、またはその時刻に最も近い時刻を示す時刻情報が対応付けられた傾斜角度を特定する。 In S3 (inclination angle specifying step), the inclination angle specifying unit 303 specifies the inclination angle of the boom CR3 at the time specified in S2. For example, when tilt information including time information is recorded as in the example of FIG. Identify the inclination angle with which the information is associated.

S4(教師データ生成ステップ)では、教師データ生成部305がS1で取得された撮影画像とS3で取得された傾斜情報とを対応付けて教師データとし、これを保存する。そして、S5(教師データ生成ステップ)では、教師データ生成部305は、S4で保存した教師データに、検出対象情報生成部304が生成した検出対象情報をさらに対応付けて保存し、これにより教師データ生成処理は終了する。 In S4 (teacher data generation step), the teacher data generation unit 305 associates the photographed image obtained in S1 with the slope information obtained in S3 to create teacher data, and stores this. Then, in S5 (teacher data generation step), the teacher data generation unit 305 further associates and stores the detection target information generated by the detection target information generation unit 304 with the teacher data saved in S4, so that the teacher data The generation process ends.

(学習処理の流れ)
検出モデルを生成するための学習処理の流れを図7に基づいて説明する。図7は、検出モデルの学習処理(学習方法)の例を示すフローチャートである。
(Flow of learning process)
The flow of learning processing for generating a detection model will be explained based on FIG. 7. FIG. 7 is a flowchart illustrating an example of a detection model learning process (learning method).

S11では、入力データ生成部308が、教師データを取得する。この教師データは、図6に示す教師データ生成処理により生成されて、大容量記憶装置32などに保存されたものであり、撮影画像、傾斜角度、および検出対象情報を含む。 In S11, the input data generation unit 308 acquires teacher data. This teacher data is generated by the teacher data generation process shown in FIG. 6, is stored in the mass storage device 32, etc., and includes a photographed image, an inclination angle, and detection target information.

S12(傾斜角度特定ステップ)では、傾斜角度特定部303が、S11で取得された教師データに含まれる傾斜角度を、当該教師データに含まれる撮影画像の撮影時におけるブームCR3の傾斜角度であると特定する。なお、教師データに傾斜角度を示す情報が含まれていなければ、傾斜角度特定部303は上述した図6のS3と同様の処理により傾斜角度を特定する。 In S12 (inclination angle identification step), the inclination angle identification unit 303 determines that the inclination angle included in the teacher data acquired in S11 is the inclination angle of the boom CR3 at the time of photographing the captured image included in the teacher data. Identify. Note that if the teacher data does not include information indicating the inclination angle, the inclination angle specifying unit 303 specifies the inclination angle by the same process as S3 in FIG. 6 described above.

S13では、縮尺特定部306が、S12で特定された傾斜角度から、S11で取得された教師データに含まれる撮影画像の縮尺を特定する。傾斜角度から縮尺を特定する方法は上述した通りであるから、ここでは説明を繰り返さない。 In S13, the scale specifying unit 306 specifies the scale of the photographed image included in the teacher data acquired in S11 from the inclination angle specified in S12. The method for specifying the scale from the inclination angle has been described above, so the description will not be repeated here.

S14(学習対象領域設定ステップ)では、学習対象領域設定部307が、S11で取得された教師データに含まれる撮影画像に学習対象領域を設定する。より詳細には、学習対象領域設定部307は、設定すべき学習対象領域の実寸法に、S13で特定された縮尺を乗じて、撮影画像中における学習対象領域のサイズを特定する。そして、学習対象領域設定部307は、撮影画像における所定位置(例えば中央部)に、特定した上記サイズの学習対象領域を設定する。 In S14 (learning target area setting step), the learning target area setting unit 307 sets a learning target area in the captured image included in the teacher data acquired in S11. More specifically, the learning target area setting unit 307 multiplies the actual size of the learning target area to be set by the scale specified in S13 to specify the size of the learning target area in the captured image. Then, the learning target area setting unit 307 sets the learning target area of the specified size at a predetermined position (for example, the center) in the photographed image.

S15では、入力データ生成部308が、教師データに含まれる撮影画像から学習対象領域を切り出し、サイズ調整して調整画像を生成する。また、入力データ生成部308は、上記のサイズ調整に伴う検出対象情報の修正も行う。例えば、サイズ調整により学習対象領域のサイズが1/2になった場合には、検出対象情報に含まれる検出対象の幅および高さも1/2にする。また、入力データ生成部308は、検出対象情報に含まれる検出対象の位置についても、学習対象領域を切り出した位置に応じて修正する。 In S15, the input data generation unit 308 cuts out a learning target area from the captured image included in the teacher data, adjusts the size, and generates an adjusted image. The input data generation unit 308 also corrects the detection target information in conjunction with the size adjustment described above. For example, when the size of the learning target area is reduced to 1/2 due to size adjustment, the width and height of the detection target included in the detection target information are also reduced to 1/2. In addition, the input data generation unit 308 also corrects the position of the detection target included in the detection target information according to the position from which the learning target area is cut out.

なお、入力データ生成部308は、学習対象領域の切り出しの際に、切り出す領域の位置、サイズ、または形状等を変えて複数パターンの画像を切り出してもよい。この場合、例えば学習対象領域設定部307が設定した学習対象領域を基準として切り出し範囲を設定しておいてもよい。そして、入力データ生成部308は、例えば乱数を用いて、切り出す領域の位置、幅、高さなどを切り出し範囲内で決定してもよい。 Note that when cutting out the learning target area, the input data generation unit 308 may cut out multiple patterns of images by changing the position, size, shape, etc. of the area to be cut out. In this case, the cutting range may be set based on the learning target area set by the learning target area setting unit 307, for example. Then, the input data generation unit 308 may use, for example, random numbers to determine the position, width, height, etc. of the region to be cut out within the cutout range.

また、入力データ生成部308は、撮影画像から切り出した1つの画像から、形状やサイズが異なる複数の調整画像を生成してもよい。この場合、入力データ生成部308は、予め設定された調整画像の上限幅~下限幅の範囲内で例えば乱数を用いて調整画像の幅を決定してもよい。同様に、入力データ生成部308は、予め設定された調整画像の上限高さ~下限高さの範囲内で例えば乱数を用いて調整画像の高さを決定してもよい。 Furthermore, the input data generation unit 308 may generate a plurality of adjusted images having different shapes and sizes from one image cut out from a captured image. In this case, the input data generation unit 308 may determine the width of the adjusted image using, for example, a random number within a preset upper limit width to lower limit width of the adjusted image. Similarly, the input data generation unit 308 may determine the height of the adjusted image using, for example, a random number within a preset range of the upper limit height to the lower limit height of the adjusted image.

この他にも、入力データ生成部308は、例えば、解像度がそれぞれ異なる複数の調整画像を生成してもよい。この場合、解像度は、所定の上限~下限の範囲内において、例えば乱数を用いて決定してもよい。これらの各構成によれば、教師データのバリエーションを増やして、学習精度を向上させることができる。 In addition to this, the input data generation unit 308 may generate a plurality of adjusted images each having a different resolution, for example. In this case, the resolution may be determined using, for example, random numbers within a predetermined upper and lower limit range. According to each of these configurations, it is possible to increase variations in teacher data and improve learning accuracy.

S16では、回転画像生成部309が、S15で生成された調整画像を回転させて回転画像を生成する。また、回転画像生成部309は、回転前の調整画像の検出対象情報を、回転画像の生成時の回転角度に応じた内容に修正して、回転画像の検出対象情報とする。 In S16, the rotated image generation unit 309 rotates the adjusted image generated in S15 to generate a rotated image. Further, the rotated image generation unit 309 modifies the detection target information of the adjusted image before rotation to the content corresponding to the rotation angle at the time of generation of the rotated image, and sets it as the detection target information of the rotated image.

S17(学習ステップ)では、学習部310が、S15で生成された調整画像と、S16で生成された回転画像とを用いて機械学習を実行して検出モデルを生成し、これにより学習処理は終了する。 In S17 (learning step), the learning unit 310 performs machine learning using the adjusted image generated in S15 and the rotated image generated in S16 to generate a detection model, thereby ending the learning process. do.

(監視処理の流れ)
情報処理装置1による危険領域の監視処理の流れを図8に基づいて説明する。図8は、情報処理装置1による危険領域の監視処理の例を示すフローチャートである。この監視処理には、情報処理装置1による領域設定方法が含まれている。
(Flow of monitoring process)
The flow of the dangerous area monitoring process by the information processing device 1 will be explained based on FIG. 8. FIG. 8 is a flowchart illustrating an example of dangerous area monitoring processing performed by the information processing device 1. This monitoring process includes a region setting method by the information processing device 1.

S21では、画像取得部101が、撮影装置5が撮影した撮影画像を取得する。また、S22(傾斜角度特定ステップ)では、傾斜角度特定部102が、傾斜計7で計測されたブームCR3の傾斜角度を特定する。 In S21, the image acquisition unit 101 acquires a photographed image photographed by the photographing device 5. Further, in S22 (inclination angle identification step), the inclination angle identification unit 102 identifies the inclination angle of the boom CR3 measured by the inclinometer 7.

S23では、縮尺特定部103が、S21で取得された撮影画像について、S22で特定された傾斜角度に応じた縮尺を特定する。傾斜角度から縮尺を特定する方法は上述した通りであるから、ここでは説明を繰り返さない。 In S23, the scale specifying unit 103 specifies the scale of the captured image acquired in S21 according to the inclination angle specified in S22. The method for specifying the scale from the inclination angle has been described above, so the description will not be repeated here.

S24では、対象検出部107が、S21で取得された撮影画像からフックCR5を検出する。フックCR5の検出には、学習装置3が機械学習により生成した検出モデルを用いればよい。また、この検出モデルはフックCR5のみを検出するものであってもよいし、フックCR5と人を検出するものであってもよい。なお、S24の処理は、S22~S23の処理よりも先に行ってもよいし、それらの処理と並行して行ってもよい。 In S24, the object detection unit 107 detects the hook CR5 from the captured image acquired in S21. A detection model generated by the learning device 3 through machine learning may be used to detect the hook CR5. Further, this detection model may be one that detects only the hook CR5, or may be one that detects the hook CR5 and a person. Note that the process of S24 may be performed before the processes of S22 to S23, or may be performed in parallel with these processes.

S25(領域設定ステップ)では、領域設定部105が、S23で特定された縮尺を適用して、S21で取得された撮影画像中に、実寸法で所定のサイズとなる危険領域を設定する。なお、S25では、S24で検出されたフックCR5の位置を基準として危険領域が設定される。S25では、例えば、領域設定部105は、フックCR5の位置を中心とする、一辺が実寸法で5メートルの正方形の危険領域を設定してもよい。 In S25 (area setting step), the area setting unit 105 applies the scale specified in S23 to set a dangerous area having a predetermined actual size in the captured image acquired in S21. In addition, in S25, a dangerous area is set based on the position of hook CR5 detected in S24. In S25, for example, the area setting unit 105 may set a square dangerous area with an actual size of 5 meters on one side, centered on the position of the hook CR5.

S26では、入力データ生成部106が、S21で取得された撮影画像から、S25で特定された危険領域を切り出し、サイズ調整して調整画像を生成する。そして、S27では、対象検出部107が、人の検出モデルにS26で生成された調整画像を入力する。 In S26, the input data generation unit 106 cuts out the dangerous area identified in S25 from the captured image acquired in S21, adjusts the size, and generates an adjusted image. Then, in S27, the object detection unit 107 inputs the adjusted image generated in S26 to the human detection model.

S28では、対象検出部107は、学習済みモデルすなわち学習装置3が生成した人の検出モデルの出力値に基づいて、危険領域から人が検出されたか否かを判定する。例えば、対象検出部107は、人の検出モデルの出力値が閾値以上であれば人が検出されたと判定し、閾値未満であれば人が検出されていないと判定すればよい。S28で人が検出されたと判定した場合(S28でYES)にはS28の処理に進み、検出されていないと判定した場合(S28でNO)にはS21の処理に戻る。 In S28, the object detection unit 107 determines whether a person has been detected from the dangerous area based on the output value of the learned model, that is, the person detection model generated by the learning device 3. For example, the object detection unit 107 may determine that a person has been detected if the output value of the person detection model is greater than or equal to the threshold, and may determine that no person has been detected if it is less than the threshold. If it is determined in S28 that a person has been detected (YES in S28), the process proceeds to S28, and if it is determined that a person has not been detected (NO in S28), the process returns to S21.

S29では、対象検出部107は、S28で人を検出したと判定した撮影画像の直前に撮影された所定数の撮影画像において、危険領域内に人が検出されていないか判定する。ここで検出されていないと判定した場合(S29でYES)にはS30の処理に進み、検出されていると判定した場合(S29でNO)にはS21の処理に戻る。 In S29, the object detection unit 107 determines whether a person is detected within the dangerous area in a predetermined number of captured images taken immediately before the captured image in which it was determined that a person was detected in S28. If it is determined that it has not been detected (YES in S29), the process proceeds to S30, and if it is determined that it has been detected (NO in S29), the process returns to S21.

S30では、警報部109が警報を行う。また、S31では、侵入回数カウント部108が、危険領域への人の侵入回数を1加算する。この後、処理はS21に戻る。なお、S30およびS31の処理は並行して行ってもよいし、S31の処理を先に行ってもよい。 In S30, the alarm unit 109 issues an alarm. Further, in S31, the number-of-intrusion counting unit 108 adds one to the number of times a person has entered the dangerous area. After this, the process returns to S21. Note that the processes in S30 and S31 may be performed in parallel, or the process in S31 may be performed first.

以上のように、情報処理装置1は、危険領域内の検出対象(上記の例では人)を検出する対象検出部107と、危険領域内に検出対象が検出された場合に警報を行う警報部109と、を備えている。そして、領域設定部105は、撮影画像から検出されたフックCR5の位置を基準として危険領域を設定する。 As described above, the information processing device 1 includes the object detection unit 107 that detects a detection target (a person in the above example) within a dangerous area, and the alarm unit that issues an alarm when a detection target is detected within a dangerous area. 109. Then, the area setting unit 105 sets a dangerous area based on the position of the hook CR5 detected from the photographed image.

情報処理装置1を用いてクレーンCRの吊荷の落下事故を未然に防ぐための監視・警報を行う場合、必要性が高い領域を重点的に監視することが好ましい。そこで、上記の構成によれば、撮影画像から検出されたフックCR5の位置を基準として危険領域を設定する。これにより、フックCR5が揺れてその位置が変わった場合や、撮影装置5の撮影方向がずれてしまった場合等にも、警報を適切に行うことができる。また、上記の構成によれば、検出対象を検出する範囲を危険領域内に限定できるから、撮影画像全体の中から検出対象を検出する場合と比べて、効率よくかつ正確に検出対象を検出することが可能になる。 When monitoring and warning are performed using the information processing device 1 to prevent a falling accident of a suspended load of the crane CR, it is preferable to intensively monitor areas where the need is high. Therefore, according to the above configuration, the dangerous area is set based on the position of the hook CR5 detected from the photographed image. Thereby, even when the hook CR5 shakes and changes its position, or when the photographing direction of the photographing device 5 shifts, an alarm can be appropriately issued. In addition, according to the above configuration, since the range in which the detection target is detected can be limited to the dangerous area, the detection target can be detected more efficiently and accurately than in the case where the detection target is detected from the entire captured image. becomes possible.

また、以上のように、情報処理装置1は、危険領域内に検出対象(上記の例では人)が侵入した回数をカウントする侵入回数カウント部を備えている。そして、侵入回数カウント部108は、時系列で撮影された複数の撮影画像の1つにおける危険領域内に検出対象が検出された場合、当該撮影画像の直前に撮影された所定数の撮影画像で当該危険領域内にその検出対象が検出されていないことを条件として、侵入回数を1回増加させる。詳細は図9に基づいて説明するが、この構成によれば危険領域への侵入回数を正しくカウントすることができる。 Furthermore, as described above, the information processing device 1 includes an intrusion count unit that counts the number of times a detection target (a person in the above example) has intruded into a dangerous area. Then, when a detection target is detected within a dangerous area in one of the plurality of photographed images taken in chronological order, the intrusion count unit 108 detects a detection target in a predetermined number of photographed images taken immediately before the photographed image. The number of intrusions is increased by one on the condition that the detection target is not detected in the dangerous area. The details will be explained based on FIG. 9, but with this configuration, it is possible to correctly count the number of intrusions into the dangerous area.

なお、S30では、吊荷がないかあるいは落下事故の危険性の低い軽量の吊荷の場合には警報を行わないようにしてもよい。吊荷の有無や吊荷の重量の検出方法は特に限定されない。例えば、クレーンCRに吊荷の重さを測定する荷重計(ロードセル)が設置されている場合、この荷重計の計測値を情報処理装置1に入力してもよい。そして、警報部109は、入力された計測値が閾値(例えば1t)以上である場合にのみ警報を行ってもよい。 Note that in S30, the alarm may not be issued if there is no suspended load or if the suspended load is lightweight and has a low risk of falling. The method for detecting the presence or absence of a suspended load and the weight of the suspended load is not particularly limited. For example, if the crane CR is equipped with a load cell that measures the weight of a suspended load, the measured value of this load cell may be input to the information processing device 1. The alarm unit 109 may issue an alarm only when the input measurement value is equal to or greater than a threshold value (for example, 1t).

(警報の例)
図9は、図8の処理により警報を行った例を示す図である。この例では、同図に円で示す危険領域を検出対象である人が通過している。この例のように危険領域の形状は円形であってもよい。無論、危険領域の形状は任意に設定すればよく、例えば、矩形としてもよいし、多角形としてもよいし、楕円としてもよい。
(Example of alarm)
FIG. 9 is a diagram showing an example in which a warning is issued by the process of FIG. 8. In this example, a person to be detected is passing through a dangerous area indicated by a circle in the figure. The shape of the danger area may be circular as in this example. Of course, the shape of the dangerous area may be arbitrarily set, for example, it may be a rectangle, a polygon, or an ellipse.

図9の例において、人は位置P1からP9まで移動しており、各位置にてこの人が撮影されている。ただし、全ての位置で撮影された撮影画像からこの人の検出に成功した訳ではなく、同図に破線の枠囲みで示す位置のみで検出に成功したとする。また、図8のS29における「所定数」が3であるとする。 In the example of FIG. 9, the person is moving from position P1 to P9, and the person is photographed at each position. However, it is assumed that this person was not successfully detected from images taken at all positions, but was only successfully detected at the position shown in the frame surrounded by a broken line in the figure. Further, it is assumed that the "predetermined number" in S29 of FIG. 8 is three.

この場合、人の位置がP3となったときに、図8のS28で人が検出された(YES)と判定される。そして、位置P1~P2では人が検出されたと判定されていないため、続くS29でもYESと判定される。その結果、人の位置がP3となったときにS30の処理が行われて警報が開始されると共に、S31の処理により危険領域への侵入回数が1加算される。 In this case, when the position of the person reaches P3, it is determined in S28 of FIG. 8 that the person has been detected (YES). Since it is not determined that a person has been detected at the positions P1 to P2, the determination is YES in the subsequent S29. As a result, when the person's position reaches P3, the process of S30 is performed and a warning is started, and the number of intrusions into the dangerous area is added by 1 through the process of S31.

次に、人の位置がP5となったときにも、S28で人が検出された(YES)と判定されるが、2つ前の撮影画像(人が位置P3に居るときの撮影画像)から人が検出されているため、S29ではNOと判定される。その結果、侵入回数は加算されないことになる。 Next, when the person's position reaches P5, it is determined in S28 that a person has been detected (YES), but from the two previous captured images (the captured image when the person is at position P3), Since a person has been detected, the determination in S29 is NO. As a result, the number of intrusions will not be added.

同様に、人の位置がP8となったときにも、S28で人が検出された(YES)と判定されるが、3つ前の撮影画像(人が位置P5に居るときの撮影画像)から人が検出されているため、S29ではNOと判定される。その結果、ここでも侵入回数は加算されないことになる。このように、図8の処理によれば、危険領域への侵入回数を正しくカウントすることができる。 Similarly, when the person's position reaches P8, it is determined in S28 that a person has been detected (YES), but from the three previous captured images (the captured image when the person is at position P5). Since a person has been detected, the determination in S29 is NO. As a result, the number of intrusions is not added here either. In this way, according to the process shown in FIG. 8, the number of intrusions into the dangerous area can be correctly counted.

なお、警報の終了条件は特に限定されない。例えば、危険領域よりも一回り広い領域から人を検出する構成とし、危険領域の外で人が検出されたときに警報を終了してもよい。これにより、人の位置が図9のP9となったタイミングで警報を終了することができる。この他にも、例えば、所定回数続けてS28の判定結果がNOであった場合に警報を終了してもよいし、警報開始後、所定時間が経過した時に警報を終了してもよい。 Note that the conditions for ending the warning are not particularly limited. For example, a configuration may be adopted in which a person is detected from an area slightly wider than the danger area, and the warning may be terminated when a person is detected outside the danger area. Thereby, the warning can be ended at the timing when the person's position reaches P9 in FIG. In addition, for example, the alarm may be terminated when the determination result in S28 is NO a predetermined number of times in succession, or the alarm may be terminated when a predetermined period of time has elapsed after the start of the alarm.

また、侵入回数カウント部108は、カウントした侵入回数を集計して出力する機能をさらに備えていてもよい。同様に、警報部109は、警報回数を集計して出力する機能をさらに備えていてもよい。 Further, the intrusion count unit 108 may further include a function of totaling and outputting the counted number of intrusions. Similarly, the alarm unit 109 may further include a function of totaling and outputting the number of alarms.

これらの構成によれば、危険領域への侵入回数や警報回数を、クレーンCRを用いた作業の監督者や作業者等に認識させて、監督者に事故防止のための対策を促したり、危険領域に対する作業者の意識を高めたりすることができる。出力態様は特に限定されず、例えば所定期間毎の侵入回数や警告回数をグラフ化して出力してもよい。 According to these configurations, the number of intrusions into dangerous areas and the number of alarms can be made known to supervisors and workers of work using crane CR, prompting supervisors to take measures to prevent accidents, and alerting them to dangerous areas. It is possible to increase the worker's awareness of the area. The output mode is not particularly limited, and for example, the number of intrusions and the number of warnings for each predetermined period may be output as a graph.

(高度判定部の判定結果に応じた領域設定)
図10は、高度判定部104の判定結果に応じた領域設定の例を示す図である。図10の例では、クレーンCRが設置されている平面である上段面から一段下がった平面である下段面もクレーンCRの作業領域となっている。
(Area setting according to the judgment result of the altitude judgment section)
FIG. 10 is a diagram illustrating an example of area setting according to the determination result of the altitude determination unit 104. In the example of FIG. 10, the lower surface, which is a plane one level lower than the upper surface, which is the plane on which the crane CR is installed, also serves as the work area of the crane CR.

この場合、ブームCR3の傾斜角度が同じであっても、フックCR5の真下が上段面であるか下段面であるかによって、撮影装置5から危険領域を設定する位置までの距離が変わる。このため、図10に示すように、ブームCR3の傾斜角度が同じであっても、フックCR5の真下が下段面であるときの撮影範囲AR4は、フックCR5の真下が上段面であるときの撮影範囲AR3よりも広くなる。そして、撮影装置5の撮影設定を変更しなければ、撮影範囲がAR4のときの撮影画像に写る危険領域ar4は、撮影範囲がAR3のときの撮影画像に写る危険領域ar3よりも小さくなる。 In this case, even if the inclination angle of the boom CR3 is the same, the distance from the photographing device 5 to the position where the dangerous area is set changes depending on whether the upper surface or the lower surface is directly below the hook CR5. Therefore, as shown in FIG. 10, even if the inclination angle of boom CR3 is the same, the photographing range AR4 when the lower surface is directly below the hook CR5 is the same as the photographing range AR4 when the lower surface is directly below the hook CR5. The range is wider than AR3. If the photographing settings of the photographing device 5 are not changed, the dangerous area ar4 that appears in the photographed image when the photographing range is AR4 will be smaller than the dangerous area ar3 that appears in the photographed image when the photographing range is AR3.

そこで、危険領域を設定する位置の高さとブームCR3の傾斜角度とに応じた縮尺を求めるための相関情報を予め作成しておく。相関情報は、例えば、危険領域を設定する位置の高さおよびブームCR3の傾斜角度と、縮尺との対応関係を示す関数である。 Therefore, correlation information for determining the scale according to the height of the position where the dangerous area is set and the inclination angle of the boom CR3 is created in advance. The correlation information is, for example, a function indicating the correspondence between the height of the position where the dangerous area is set, the inclination angle of the boom CR3, and the scale.

これにより、縮尺特定部103は、高度判定部104が判定した高度と、傾斜角度特定部102が特定した傾斜角度とに応じた縮尺を特定することができる。そして、領域設定部105は、高度と傾斜角度とに応じた上記縮尺を適用して危険領域を設定する。この構成によれば、クレーンCRの作業現場に高低差があっても、実寸法で所定のサイズとなる危険領域を常に適切に設定することが可能になる。 Thereby, the scale specifying unit 103 can specify a scale according to the altitude determined by the altitude determining unit 104 and the inclination angle specified by the inclination angle specifying unit 102. Then, the area setting unit 105 sets a dangerous area by applying the scale according to the altitude and the inclination angle. According to this configuration, even if there is a difference in height at the work site of the crane CR, it is possible to always appropriately set a dangerous area having a predetermined actual size.

なお、高度の判定方法は特に限定されない。例えば、図10の例のように、ブームCR3の向きに応じてフックCR5の真下が上段面か下段面の何れかとなる場合、高度判定部104は、ブームCR3の向きから高度を判定してもよい。また、例えば、撮影装置5から地表面までの距離を計測する距離計を設けておけば、高度判定部104は、距離計の計測値を取得することにより高度を判定することができる。 Note that the altitude determination method is not particularly limited. For example, as in the example of FIG. 10, if the position directly below the hook CR5 is either the upper surface or the lower surface depending on the orientation of the boom CR3, the altitude determination unit 104 may determine the altitude from the orientation of the boom CR3. good. Further, for example, if a rangefinder is provided to measure the distance from the photographing device 5 to the ground surface, the altitude determination unit 104 can determine the altitude by acquiring the measured value of the rangefinder.

また、検出モデルの機械学習の際に高さを考慮してもよい。この場合、図6の教師データ生成処理において、撮影画像を撮影したときの、撮影装置5から危険領域を設定する位置までの距離を示す高さ情報を、当該撮影画像と共に保存しておく。なお、高さ情報は自動で生成してもよいし、ユーザが入力してもよい。これにより、図7の学習処理におけるS13では上記高さ情報に応じた縮尺を特定することができる。 Furthermore, height may be taken into consideration during machine learning of the detection model. In this case, in the teacher data generation process of FIG. 6, height information indicating the distance from the photographing device 5 to the position where the dangerous area is set when the photographed image is photographed is saved together with the photographed image. Note that the height information may be automatically generated or may be input by the user. Thereby, in S13 in the learning process in FIG. 7, it is possible to specify the scale according to the height information.

〔実施形態2〕
本発明の他の実施形態について以下説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 2]
Other embodiments of the invention will be described below. For convenience of explanation, members having the same functions as the members described in the above embodiment are given the same reference numerals, and the description thereof will not be repeated.

本実施形態では、クレーンCRのフックCR5の下方側を側方から撮影した画像(以下、側方画像と呼ぶ)に危険領域(第2の領域)を設定すると共に、設定した危険領域に立ち入った検出対象(以下の例では人)を検出する例を説明する。詳細は以下説明するが、これらの処理は、図1に示した側方画像取得部110~側方画像対象検出部112により実行される。 In this embodiment, a dangerous area (second area) is set in an image taken from the side of the lower side of the hook CR5 of the crane CR (hereinafter referred to as a side image), and a dangerous area (second area) is set when the user enters the set dangerous area. An example of detecting a detection target (a person in the following example) will be described. Although details will be explained below, these processes are executed by the side image acquisition section 110 to side image object detection section 112 shown in FIG.

図11は、側方画像における危険領域の設定方法を説明する図である。図11に示すクレーンCRには、そのブームCR3の先端部に撮影装置5が取り付けられていると共に、基部CR2にも撮影装置(第2の撮影装置)9が取り付けられている。撮影装置9は、側方画像を撮影できるように斜め下方に向けて取り付けられている。撮影装置9は、クレーンCRが回動してもフックCR5の下方を撮影し続けられるように、クレーンCRと共に回動することが好ましい。 FIG. 11 is a diagram illustrating a method of setting a dangerous area in a side image. In the crane CR shown in FIG. 11, a photographing device 5 is attached to the tip of the boom CR3, and a photographing device (second photographing device) 9 is also attached to the base CR2. The photographing device 9 is attached diagonally downward so that it can photograph side images. It is preferable that the photographing device 9 rotates together with the crane CR so that it can continue to photograph the area below the hook CR5 even when the crane CR rotates.

撮影装置5の撮影画像を用いた監視では、実施形態1と同様にしてフックCR5の下方に危険領域を設定する。図11の例ではフックCR5の真下の位置を中心とした円形の危険領域ar5が設定されている。 In monitoring using images captured by the imaging device 5, a dangerous area is set below the hook CR5 in the same manner as in the first embodiment. In the example of FIG. 11, a circular dangerous area ar5 is set at a position directly below the hook CR5.

ここで、図11の例では、フックCR5に荷が取り付けられている。吊荷の真下に人が居る場合、その人の全体または一部が撮影装置5の死角に入るため、情報処理装置1による検出が困難となる。無論、死角に入る前の段階で検出できれば問題はないが、大型の製品や建造物の製造現場などでは、地面付近に開口部などが設けられている場合があり、そのような開口部が撮影装置5の死角に入る可能性もある。このような場合、開口部から出てきた人を検出することは困難である。 Here, in the example of FIG. 11, a load is attached to the hook CR5. If there is a person directly below the hanging load, the whole or part of the person will be in the blind spot of the photographing device 5, making it difficult for the information processing device 1 to detect the person. Of course, there will be no problem if it can be detected before it enters the blind spot, but in manufacturing sites for large products and buildings, there are cases where openings are installed near the ground, and such openings are difficult to photograph. There is also a possibility that it will enter the blind spot of the device 5. In such cases, it is difficult to detect a person coming out of the opening.

このため、本実施形態の情報処理装置1は、側方画像に危険領域を設定すると共に、設定した危険領域に立ち入った人を検出する。これにより、撮影装置5の死角を補って、安全管理をより万全にすることができる。 For this reason, the information processing device 1 of this embodiment sets a dangerous area in the side image and detects a person who has entered the set dangerous area. Thereby, the blind spot of the photographing device 5 can be compensated for, and safety management can be made more thorough.

図11には、撮影装置9で撮影した側方画像IMG3についても示している。側方画像IMG3には、フックCR5と吊荷が写っており、危険領域ar6が設定されている。この側方画像IMG3の画像領域に、左右方向をx方向、上下方向をy方向とする座標軸を設定すると、危険領域ar6の中心位置の座標は(x,y)と表される。以下説明するように、危険領域ar6を設定する際には、まず座標(x,y)を求め、この座標を基準として、危険領域ar6を設定する。 FIG. 11 also shows a side image IMG3 taken by the imaging device 9. The side image IMG3 shows the hook CR5 and the suspended load, and a dangerous area ar6 is set. If coordinate axes are set in the image area of this side image IMG3, with the left-right direction being the x direction and the up-down direction being the y direction, the coordinates of the center position of the dangerous area ar6 are expressed as (x 1 , y 1 ). As will be explained below, when setting the dangerous area ar6, the coordinates (x 1 , y 1 ) are first obtained, and the dangerous area ar6 is set using these coordinates as a reference.

具体的には、まず、側方画像取得部110が、撮影装置9で撮影された側方画像を取得する。そして、側方画像領域設定部111が、側方画像取得部110が取得した側方画像の画像領域中に危険領域ar6を設定する。 Specifically, first, the side image acquisition unit 110 acquires a side image photographed by the photographing device 9. Then, the side image area setting unit 111 sets a dangerous area ar6 in the image area of the side image acquired by the side image acquisition unit 110.

より詳細には、側方画像領域設定部111は、側方画像の画像領域の中で、フックCR5が検出された位置のx座標を特定する。このx座標の値が上記中心位置の座標のxである。なお、フックCR5の検出方法は任意であり、例えば機械学習により生成した検出モデルなどを用いて検出してもよい。 More specifically, the side image area setting unit 111 specifies the x coordinate of the position where the hook CR5 is detected in the image area of the side image. The value of this x coordinate is x1 of the coordinate of the center position. Note that the hook CR5 can be detected using any method, and may be detected using, for example, a detection model generated by machine learning.

次に、側方画像領域設定部111は、上記中心位置座標のyを算出する。中心位置座標のyを算出するにあたり、まず、側方画像領域設定部111は、傾斜角度特定部102が特定した傾斜角度から、撮影装置9からフックCR5までの水平方向の距離dを算出する。例えば、図11のように、ブームCR3の傾斜角度をθ、ブームCR3の長さをLとすれば、d=L・cosθと算出される。 Next, the side image area setting unit 111 calculates y1 of the center position coordinates. In calculating the center position coordinate y1 , the side image area setting section 111 first calculates the horizontal distance d2 from the photographing device 9 to the hook CR5 from the inclination angle specified by the inclination angle specifying section 102. do. For example, as shown in FIG. 11, if the inclination angle of the boom CR3 is θ and the length of the boom CR3 is L, then d 2 =L·cos θ is calculated.

次に、側方画像領域設定部111は、側方画像IMG3において、撮影装置9からの水平方向の距離がd=L・cosθの地点が写る位置を特定する。この位置は、撮影装置9から水平方向に所定距離だけ離れた地点が、側方画像IMG3の何れの位置に写るかを示す関数で表せばよい。 Next, the side image area setting unit 111 specifies a position in the side image IMG3 where a point having a horizontal distance from the photographing device 9 of d 2 =L·cos θ is captured. This position may be expressed by a function that indicates at which position in the side image IMG3 a point that is a predetermined distance away from the photographing device 9 in the horizontal direction is captured.

例えば、図11の側方画像IMG3には、撮影装置9からの距離がd~dの地点が写る位置をそれぞれ破線で示している。このように、撮影装置9から水平方向に所定距離だけ離れた地点が、側方画像IMG3の何れの位置に写るかは一意に定まるため、撮影装置9からの水平方向の距離がd=L・cosθの地点が写る位置を示す関数を特定することができる。 For example, in the side image IMG3 of FIG. 11, the positions at which the distances from the imaging device 9 are d 1 to d 4 are shown by broken lines. In this way, since it is uniquely determined at which position in the side image IMG3 a point that is a predetermined distance away from the photographing device 9 in the horizontal direction is captured, the horizontal distance from the photographing device 9 is d 2 =L. - It is possible to specify the function that indicates the position where the point of cos θ is captured.

図11の例では、側方画像領域設定部111は、dの破線を示す関数を特定すればよい。そして、側方画像領域設定部111は、この関数にxを代入することにより算出した値をyとする。 In the example of FIG. 11, the side image area setting unit 111 only needs to specify the function indicating the broken line of d2 . Then, the side image area setting unit 111 sets the value calculated by substituting x 1 into this function as y 1 .

以上の処理により、危険領域ar6の中心位置座標(x,y)が求まるので、側方画像領域設定部111は、この座標を基準として危険領域ar6を設定する。例えば、図11の例では、側方画像領域設定部111は、座標(x,y)を中心とする破線dとdで挟まれた危険領域ar6を設定している。 Through the above processing, the center position coordinates (x 1 , y 1 ) of the dangerous area ar6 are determined, so the side image area setting unit 111 sets the dangerous area ar6 based on these coordinates. For example, in the example of FIG. 11, the side image area setting unit 111 sets a dangerous area ar6 sandwiched between broken lines d 1 and d 3 centered on the coordinates (x 1 , y 1 ).

そして、危険領域ar6が設定された後、側方画像対象検出部112が、その危険領域ar6内の人を検出する。検出方法は、撮影装置5の撮影画像からの人の検出の際と同様の方法を適用することができる。 After the dangerous area ar6 is set, the side image object detection unit 112 detects a person within the dangerous area ar6. As the detection method, the same method as in the case of detecting a person from an image taken by the photographing device 5 can be applied.

例えば、入力データ生成部106が、側方画像から危険領域ar6の部分を切り出し、サイズ調整して調整画像を生成してもよい。そして、側方画像対象検出部112が、人の検出モデルに上記調整画像を入力し、その出力値に基づいて人を検出したか否かを判定してもよい。なお、側方画像からの人の検出モデルは、側方画像を教師データとした機械学習で予め生成しておけばよい。 For example, the input data generation unit 106 may cut out the dangerous area ar6 from the side image, adjust the size, and generate an adjusted image. Then, the side image object detection unit 112 may input the adjusted image to a human detection model, and determine whether or not a person has been detected based on the output value. Note that the model for detecting people from side images may be generated in advance by machine learning using side images as training data.

以上のように、本実施形態の情報処理装置1は、側方画像の画像領域中に危険領域を設定する側方画像領域設定部111と、設定された上記危険領域内の検出対象(典型的には人)を検出する側方画像対象検出部112と、を備えている。そして、側方画像領域設定部111は、側方画像の画像領域の中で、フックCR5が検出された位置の下方であって、傾斜角度特定部102が特定した傾斜角度から求めた、撮影装置9からフックCR5までの水平方向の距離に対応する位置に危険領域を設定する。 As described above, the information processing device 1 of the present embodiment includes the side image area setting unit 111 that sets a dangerous area in the image area of a side image, and the detection target (typical A side image object detection unit 112 that detects a person (person) is provided. Then, the side image area setting unit 111 selects a photographing device that is located below the position where the hook CR5 is detected in the image area of the side image and is determined from the inclination angle specified by the inclination angle specifying unit 102. A dangerous area is set at a position corresponding to the horizontal distance from 9 to hook CR5.

この構成によれば、フックCR5の下方側を側方から撮影する撮影装置9で撮影された側方画像の画像領域中に危険領域を設定して、その危険領域内の検出対象を検出する。これにより、撮影装置5で撮影した撮影画像からはフックCR5や吊荷の死角となって状況を把握できないような位置に検出対象が侵入した場合であっても、側方画像からその検出対象を検出することができる。 According to this configuration, a dangerous area is set in the image area of the side image taken by the imaging device 9 that images the lower side of the hook CR5 from the side, and a detection target within the dangerous area is detected. As a result, even if the detection target enters a position where the situation cannot be grasped from the photographed image taken by the photographing device 5 due to the blind spot of the hook CR5 or the hanging load, the detection target can be detected from the side image. can be detected.

また、上記の構成によれば、側方画像の画像領域の中で、フックCR5が検出された位置の下方であって、傾斜角度特定部102が特定した傾斜角度から求めた、撮影装置9からフックCR5までの水平方向の距離に対応する位置に危険領域を設定する。これにより、側方画像の画像領域のうち、撮影装置5の死角となる位置に対応する領域に危険領域を設定することができる。 Further, according to the above configuration, in the image area of the side image, the image capturing device 9 is located below the position where the hook CR5 is detected, and is determined from the inclination angle specified by the inclination angle specifying unit 102. A danger area is set at a position corresponding to the horizontal distance to hook CR5. Thereby, the dangerous area can be set in the area corresponding to the blind spot of the photographing device 5 in the image area of the side image.

なお、フックCR5が高い位置にある場合、側方画像にフックCR5が写らないことも想定される。このような場合、撮影装置5の撮影画像からフックCR5を検出し、その撮影画像中におけるフックCR5の位置から、側方画像におけるxの値を求めてもよい。この場合、撮影装置5の撮影画像におけるフックCR5の位置と、xの値との対応関係を予め定式化しておけばよい。 Note that when the hook CR5 is at a high position, it is also assumed that the hook CR5 is not shown in the side image. In such a case, the hook CR5 may be detected from the photographed image of the photographing device 5, and the value of x1 in the side image may be determined from the position of the hook CR5 in the photographed image. In this case, the correspondence between the position of the hook CR5 in the photographed image of the photographing device 5 and the value of x1 may be formulated in advance.

〔変形例〕
情報処理装置1および学習装置3の制御ブロック(特に、図1に示す画像取得部101~側方画像対象検出部112、および図2に示す画像取得部301~学習部310)は、上述したようにソフトウェアによって実現してもよい。また、これらの制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現することもできる。
[Modified example]
The control blocks of the information processing device 1 and the learning device 3 (in particular, the image acquisition unit 101 to the side image object detection unit 112 shown in FIG. 1, and the image acquisition unit 301 to the learning unit 310 shown in FIG. 2) are configured as described above. It may also be realized by software. Further, these control blocks can also be realized by a logic circuit (hardware) formed on an integrated circuit (IC chip) or the like.

情報処理装置1の機能をソフトウェアによって実現する場合、情報処理装置1の各制御ブロックとしてコンピュータを機能させるための情報処理プログラムを用いればよい。この情報処理プログラムをコンピュータに実行させることにより、当該コンピュータを情報処理装置として機能させることができる。 When the functions of the information processing device 1 are realized by software, an information processing program for causing a computer to function as each control block of the information processing device 1 may be used. By causing a computer to execute this information processing program, the computer can function as an information processing device.

同様に、学習装置3の機能をソフトウェアによって実現する場合、学習装置3の各制御ブロックとしてコンピュータを機能させるための学習プログラムを用いればよい。この学習プログラムをコンピュータに実行させることにより、当該コンピュータを学習装置として機能させることができる。 Similarly, when the functions of the learning device 3 are realized by software, a learning program for making a computer function as each control block of the learning device 3 may be used. By causing a computer to execute this learning program, the computer can function as a learning device.

また、学習装置3の制御ブロックのうち、傾斜角度特定部303と教師データ生成部305としてコンピュータを機能させるための教師データ生成プログラムを用いてもよい。この教師データ生成プログラムをコンピュータに実行させることにより、当該コンピュータを教師データ生成装置として機能させることができる。 Further, among the control blocks of the learning device 3, a teacher data generation program for causing the computer to function as the inclination angle specifying section 303 and the teacher data generation section 305 may be used. By causing a computer to execute this teacher data generation program, the computer can be made to function as a teacher data generation device.

ソフトウェアによる実装で使用するプロセッサ(プロセッサ10、30)としては、例えばCPU(Central Processing Unit)を適用することができる。また、プロセッサと共に使用するメモリ(メモリ11、31)は、「一時的でない有形の媒体」であればよい。例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを上記メモリとして用いることができる。また、情報処理装置1および学習装置3は、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して情報処理装置1および学習装置3に供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 For example, a CPU (Central Processing Unit) can be used as the processor (processor 10, 30) used in the software implementation. Further, the memory used together with the processor (memories 11, 31) may be any "non-temporary tangible medium". For example, in addition to ROM (Read Only Memory), tapes, disks, cards, semiconductor memories, programmable logic circuits, and the like can be used as the memory. Further, the information processing device 1 and the learning device 3 may further include a RAM (Random Access Memory) for expanding the above program. Further, the program may be supplied to the information processing device 1 and the learning device 3 via any transmission medium (communication network, broadcast waves, etc.) that can transmit the program. Note that one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. are also included within the technical scope of the present invention.

1 情報処理装置
102 傾斜角度特定部
103 縮尺特定部
104 高度判定部
105 領域設定部
107 対象検出部
108 侵入回数カウント部
109 警報部
111 側方画像領域設定部
112 側方画像対象検出部
3 学習装置(情報処理装置、学習装置、教師データ生成装置)
301 画像取得部
302 撮影時刻特定部
303 傾斜角度特定部
307 学習対象領域設定部(領域設定部)
309 回転画像生成部
305 教師データ生成部
310 学習部
1 Information processing device 102 Inclination angle identification unit 103 Scale identification unit 104 Altitude determination unit 105 Area setting unit 107 Target detection unit 108 Intrusion count unit 109 Alarm unit 111 Side image area setting unit 112 Side image target detection unit 3 Learning device (Information processing device, learning device, teacher data generation device)
301 Image acquisition section 302 Photographing time specifying section 303 Inclination angle specifying section 307 Learning target area setting section (area setting section)
309 Rotated image generation unit 305 Teacher data generation unit 310 Learning unit

Claims (7)

クレーンのブームの傾斜角度を特定する傾斜角度特定部と、
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記領域の上記撮影画像におけるピクセル数を当該領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、傾斜角度に応じた縮尺を特定する縮尺特定部と、を備え、
上記領域設定部は、上記縮尺特定部が特定した縮尺を適用して上記領域を設定する、情報処理装置。
an inclination angle identification unit that specifies the inclination angle of the boom of the crane;
By applying a scale according to the inclination angle specified by the inclination angle identification section, a predetermined actual size is obtained in a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting section for setting an area ;
The inclination angle and the number of pixels in the above-mentioned photographed image of the above-mentioned area are derived using the size of the reference object in each of the reference images in which the above-mentioned boom is taken at different inclination angles and a reference object of known dimensions is taken. a scale identification unit that identifies a scale according to the inclination angle using correlation information indicating a correlation with a scale that is a value divided by the actual size;
The area setting unit is an information processing device configured to set the area by applying the scale specified by the scale specifying unit .
クレーンのブームの傾斜角度を特定する傾斜角度特定部と、
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記領域内の検出対象を検出する対象検出部と、
上記領域内に検出対象が検出された場合に警報を行う警報部と、を備え、
上記領域設定部は、上記撮影画像から検出された上記クレーンのフックの位置を基準として上記領域を設定し、
上記領域内に検出対象が侵入した回数をカウントする侵入回数カウント部を備え、
上記侵入回数カウント部は、時系列で撮影された複数の上記撮影画像の1つにおける上記領域内に検出対象が検出された場合、当該撮影画像の直前に撮影された所定数の撮影画像で当該領域内に当該検出対象が検出されていないことを条件として、侵入回数を1回増加させる、情報処理装置。
an inclination angle identification unit that specifies the inclination angle of the boom of the crane;
By applying a scale according to the inclination angle specified by the inclination angle identification section, a predetermined actual size is obtained in a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting section for setting an area;
an object detection unit that detects a detection object within the area;
an alarm unit that issues an alarm when a detection target is detected within the area,
The area setting unit sets the area based on the position of the hook of the crane detected from the photographed image,
Equipped with an intrusion count unit that counts the number of times the detection target has intruded into the above area,
When a detection target is detected within the area in one of the plurality of photographed images taken in chronological order, the intrusion count section is configured to detect the intrusion number in a predetermined number of photographed images taken immediately before the said photographed image. An information processing device that increases the number of intrusions by one on the condition that the detection target is not detected within the area.
クレーンのブームの傾斜角度を特定する傾斜角度特定部と、
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記領域内の検出対象を検出する対象検出部と、
上記領域内に検出対象が検出された場合に警報を行う警報部と、を備え、
上記領域設定部は、上記撮影画像から検出された上記クレーンのフックの位置を基準として上記領域を設定し、
上記クレーンのフックの下方側を側方から撮影する第2の撮影装置で撮影された側方画像の画像領域中に第2の領域を設定する側方画像領域設定部と、
上記第2の領域内の検出対象を検出する側方画像対象検出部と、を備え、
上記側方画像領域設定部は、上記側方画像の画像領域の中で、上記フックが検出された位置の下方であって、上記傾斜角度特定部が特定した傾斜角度から求めた、上記第2の撮影装置から上記フックまでの水平方向の距離に対応する位置に上記第2の領域を設定する、情報処理装置。
an inclination angle identification unit that specifies the inclination angle of the boom of the crane;
By applying a scale according to the inclination angle specified by the inclination angle identification section, a predetermined actual size is obtained in a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting section for setting an area;
an object detection unit that detects a detection object within the area;
an alarm unit that issues an alarm when a detection target is detected within the area,
The area setting unit sets the area based on the position of the hook of the crane detected from the photographed image,
a side image area setting unit that sets a second area in an image area of a side image taken by a second imaging device that images the lower side of the hook of the crane from the side;
a side image object detection unit that detects a detection object in the second region,
The lateral image area setting unit is configured to set the second image area below the position where the hook is detected in the image area of the lateral image, and which is determined from the inclination angle specified by the inclination angle specifying unit. The information processing device sets the second area at a position corresponding to a horizontal distance from the photographing device to the hook.
クレーンのブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像の撮影時における上記ブームの傾斜角度を特定する傾斜角度特定部と、
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記撮影画像中に、実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定部と、
上記学習対象領域の画像を所定サイズに調整した調整画像を用いて、上記学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習部と、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記学習対象領域の上記撮影画像におけるピクセル数を当該学習対象領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を特定する縮尺特定部と、を備え
上記学習対象領域設定部は、上記縮尺特定部が特定した縮尺を適用して上記学習対象領域を設定する、
学習装置。
an inclination angle specifying unit that specifies the inclination angle of the boom at the time of photographing a photographed image of the lower side of the photographing device attached to the boom of the crane;
a learning target area setting unit that sets a learning target area having a predetermined actual size in the captured image by applying a scale according to the tilt angle specified by the tilt angle specifying unit;
a learning unit that performs machine learning of a detection model for detecting a predetermined detection target appearing in the learning target area using an adjusted image obtained by adjusting the image of the learning target area to a predetermined size;
The inclination angle and the number of pixels in the above-mentioned image of the learning target area are derived using the size of the reference object in each of the reference images in which the above-mentioned boom is taken at different inclination angles and the reference object has known dimensions. a scale specifying unit that specifies a scale corresponding to the inclination angle specified by the inclination angle specifying unit, using correlation information indicating a correlation with a scale that is a value divided by the actual size of the learning target area ,
The learning target area setting unit sets the learning target area by applying the scale specified by the scale specifying unit.
learning device.
上記検出モデルの機械学習に用いる教師データを生成する教師データ生成部を備え、
上記撮影装置で当該撮影装置の下方側を撮影した撮影画像から機械学習用の教師データを生成する場合に、
上記傾斜角度特定部は、上記ブームの傾斜角度の時系列の測定結果から、上記撮影画像の撮影時刻における上記ブームの傾斜角度を特定し、
上記教師データ生成部は、上記傾斜角度特定部が特定した傾斜角度と、上記撮影画像と、上記撮影画像において上記所定の検出対象が写る位置および範囲を示す検出対象情報とを対応付けて上記教師データを生成する、請求項4に記載の学習装置
comprising a teacher data generation unit that generates teacher data used for machine learning of the detection model,
When generating training data for machine learning from images taken from the lower side of the camera using the camera,
The inclination angle specifying unit specifies the inclination angle of the boom at the photographing time of the photographed image from the time series measurement results of the inclination angle of the boom ;
The teacher data generating section associates the tilt angle specified by the tilt angle specifying section, the photographed image, and detection target information indicating the position and range of the predetermined detection target in the photographed image, and The learning device according to claim 4, which generates data.
情報処理装置により実行される領域設定方法であって、
クレーンのブームの傾斜角度を特定する傾斜角度特定ステップと、
上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定ステップと、を含むと共に、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記領域の上記撮影画像におけるピクセル数を当該領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を特定する縮尺特定ステップをさらに含み、
上記領域設定ステップでは、上記縮尺特定ステップで特定された縮尺を適用して上記領域を設定する、領域設定方法。
An area setting method executed by an information processing device, the method comprising:
a tilt angle determining step of determining a tilt angle of a boom of the crane;
By applying a scale corresponding to the inclination angle specified in the above inclination angle specifying step, a predetermined size in actual size is added to a photographed image taken of the lower side of the photographing device with the photographing device attached to the boom. an area setting step of setting an area to be
The inclination angle and the number of pixels in the above-mentioned photographed image of the above-mentioned area are derived using the size of the reference object in each of the reference images in which the above-mentioned boom is taken at different inclination angles and a reference object of known dimensions is taken. further comprising a scale specifying step of specifying a scale corresponding to the inclination angle specified in the inclination angle specifying step, using correlation information indicating a correlation with a scale that is a value divided by the actual size,
In the area setting step, the area setting method sets the area by applying the scale specified in the scale specifying step .
学習装置により実行される学習方法であって、
クレーンのブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像の撮影時における上記ブームの傾斜角度を特定する傾斜角度特定ステップと、
上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記撮影画像中に、実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定ステップと、
上記学習対象領域の画像を所定サイズに調整した調整画像を用いて、上記学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習ステップと、を含むと共に、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記学習対象領域の上記撮影画像におけるピクセル数を当該学習対象領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、傾斜角度に応じた縮尺を特定する縮尺特定ステップをさらに含み、
上記学習対象領域設定ステップでは、上記縮尺特定ステップで特定された縮尺を適用して上記学習対象領域を設定する、学習方法。
A learning method performed by a learning device, comprising:
an inclination angle specifying step of specifying the inclination angle of the boom at the time of photographing a photographed image of the lower side of the photographing device attached to the boom of the crane;
a learning target area setting step of setting a learning target area having a predetermined actual size in the captured image by applying a scale according to the tilt angle specified in the tilt angle specifying step;
a learning step of performing machine learning of a detection model for detecting a predetermined detection target appearing in the learning target area using an adjusted image in which the image of the learning target area is adjusted to a predetermined size ;
The inclination angle and the number of pixels in the captured image of the learning target area are calculated using the size of the reference object in each of the reference images in which the boom is taken at different inclination angles and the dimensions of the reference object are known. further comprising a scale identification step of identifying a scale according to the inclination angle using correlation information indicating a correlation with a scale that is a value divided by the actual size of the learning target area,
In the learning target area setting step, the learning target area is set by applying the scale specified in the scale specifying step .
JP2020105425A 2020-06-18 2020-06-18 Information processing device, learning device, area setting method, and learning method Active JP7453072B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020105425A JP7453072B2 (en) 2020-06-18 2020-06-18 Information processing device, learning device, area setting method, and learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020105425A JP7453072B2 (en) 2020-06-18 2020-06-18 Information processing device, learning device, area setting method, and learning method

Publications (2)

Publication Number Publication Date
JP2021197083A JP2021197083A (en) 2021-12-27
JP7453072B2 true JP7453072B2 (en) 2024-03-19

Family

ID=79195768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020105425A Active JP7453072B2 (en) 2020-06-18 2020-06-18 Information processing device, learning device, area setting method, and learning method

Country Status (1)

Country Link
JP (1) JP7453072B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115594086B (en) * 2022-10-10 2023-11-24 北京迈思发展科技有限责任公司 Material tracking system of steel bar processing plant

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312004A (en) 2007-06-15 2008-12-25 Sanyo Electric Co Ltd Camera system and mechanical apparatus
JP2018080054A (en) 2017-10-02 2018-05-24 株式会社Nttファシリティーズ Work support device, and work support method
JP6551639B1 (en) 2018-02-22 2019-07-31 株式会社タダノ Camera device, suspended load monitoring system, and work machine
WO2019163875A1 (en) 2018-02-22 2019-08-29 株式会社タダノ Camera device, suspended-load monitoring system, and working machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312004A (en) 2007-06-15 2008-12-25 Sanyo Electric Co Ltd Camera system and mechanical apparatus
JP2018080054A (en) 2017-10-02 2018-05-24 株式会社Nttファシリティーズ Work support device, and work support method
JP6551639B1 (en) 2018-02-22 2019-07-31 株式会社タダノ Camera device, suspended load monitoring system, and work machine
WO2019163875A1 (en) 2018-02-22 2019-08-29 株式会社タダノ Camera device, suspended-load monitoring system, and working machine

Also Published As

Publication number Publication date
JP2021197083A (en) 2021-12-27

Similar Documents

Publication Publication Date Title
CN103613013B (en) System and method for monitoring construction safety of tower crane
KR101036947B1 (en) The automatic guard system to prevent the crime and accident using computer video image analysis technology
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
JP7505609B2 (en) Optical fiber sensing system and behavior identification method
CN112010187B (en) Monitoring method and device based on tower crane
KR101988596B1 (en) Apparatus for Monitoring Production Equipment and Driving Method Thereof
JP2020093890A (en) Crane work monitoring system, crane work monitoring method, dangerous state determination device, and program
JP7453072B2 (en) Information processing device, learning device, area setting method, and learning method
CN204265280U (en) Total management system is unified in tower machine safety and operation
CN112836563A (en) Job site classification system and method
CN113256269A (en) Engineering management system based on BIM, cloud computing and big data technology
JP2009159448A (en) Object detecting apparatus, and object detecting method
CN116416577A (en) Abnormality identification method for construction monitoring system
CN114408748A (en) State data monitoring and transmitting system and method for remote control of intelligent tower crane
CN114572845B (en) Intelligent auxiliary robot for detecting working condition of intelligent tower crane and control method thereof
CN104555740A (en) Safety management system for monitoring operation of tower crane in real time
CN111879308A (en) Intelligent tower crane safety monitoring system based on pose perception technology and implementation method
KR20210086790A (en) Risk notification system and the method thereof using virtual proxy sensor and virtual space-based danger zone setting with rtls sensor
CN114506781A (en) Intelligent remote control tower crane safety monitoring system
Mansoor et al. Conceptual framework for safety improvement in mobile cranes
KR20140056674A (en) Commnication service system, method and apparatus for supporting process of accident in the system
JP6562722B2 (en) Intrusion monitoring device and intrusion monitoring system
JP7251407B2 (en) SENSOR INSTALLATION ASSIST DEVICE, SENSOR INSTALLATION ASSIST METHOD AND PROGRAM
CN108892040A (en) Dynamic safety supervision method and system for Internet of things of crane
JP2019039850A (en) Railway facility monitoring device and railway facility monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240307

R150 Certificate of patent or registration of utility model

Ref document number: 7453072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150