JP7077356B2 - Peripheral monitoring system for work machines - Google Patents
Peripheral monitoring system for work machines Download PDFInfo
- Publication number
- JP7077356B2 JP7077356B2 JP2020075442A JP2020075442A JP7077356B2 JP 7077356 B2 JP7077356 B2 JP 7077356B2 JP 2020075442 A JP2020075442 A JP 2020075442A JP 2020075442 A JP2020075442 A JP 2020075442A JP 7077356 B2 JP7077356 B2 JP 7077356B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- helmet
- captured image
- human detection
- extraction unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、作業機械の周辺を監視する作業機械用周辺監視システムに関する。 The present invention relates to a peripheral monitoring system for a working machine that monitors the periphery of the working machine.
イメージ・センサと熱を感知するサーモパイル・アレイを持ち、撮像範囲と熱検出範囲を重複させ、サーモパイル・アレイの出力が示す人体らしき範囲のみを顔抽出範囲と限定して画像識別処理の際の不要な演算処理量を減らす人体検出装置が知られている（特許文献１参照。）。 It has an image sensor and a thermopile array that senses heat, overlaps the imaging range and heat detection range, and limits only the human body-like range indicated by the output of the thermopile array to the face extraction range, which is unnecessary for image identification processing. A human body detection device that reduces the amount of computational processing is known (see Patent Document 1).
一方で、撮像画像が人検知に不適な状態である場合に人検知結果に過度に依存しないよう注意を喚起できる作業機械用周辺監視システムの提供が望まれる。 On the other hand, it is desired to provide a peripheral monitoring system for work machines that can call attention not to be excessively dependent on the human detection result when the captured image is in an unsuitable state for human detection.
本発明の実施例に係る作業機械用周辺監視システムは、作業機械に取り付けられる撮像装置の撮像画像を用いて前記作業機械の周辺に存在する人を検知する作業機械用周辺監視システムであって、前記撮像画像から人候補画像を抽出する抽出部を有し、前記抽出部が抽出した人候補画像の数に基づいて前記撮像画像が人検知に不適な状態であるか否かを判定し、前記撮像画像が人検知に不適な状態であると判定した場合、前記撮像画像が人検知に不適な状態である旨を通知する。
The peripheral monitoring system for a work machine according to an embodiment of the present invention is a peripheral monitoring system for a work machine that detects a person existing in the vicinity of the work machine by using an image taken by an image pickup device attached to the work machine. It has an extraction unit that extracts a person candidate image from the captured image, and determines whether or not the captured image is in an unsuitable state for human detection based on the number of person candidate images extracted by the extraction unit. When it is determined that the captured image is in an unsuitable state for human detection, the captured image is notified that the captured image is in an unsuitable state for human detection.
上述の手段により、撮像画像が人検知に不適な状態である場合に人検知結果に過度に依存しないよう注意を喚起できる作業機械用周辺監視システムが提供される。 By the above-mentioned means, there is provided a peripheral monitoring system for a work machine that can call attention not to be excessively dependent on the human detection result when the captured image is in a state unsuitable for human detection.
図１は、本発明の実施例に係る周辺監視システム１００が搭載される作業機械（建設機械）としてのショベル（掘削機）の側面図である。ショベルの下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。また、上部旋回体３の上部には撮像装置４０が取り付けられる。具体的には、上部旋回体３の後端上部、左端上部、右端上部に後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒが取り付けられる。また、キャビン１０内にはコントローラ３０及び出力装置５０が設置される。
FIG. 1 is a side view of an excavator (excavator) as a work machine (construction machine) on which the
図２は、周辺監視システム１００の構成例を示す機能ブロック図である。周辺監視システム１００は、主に、コントローラ３０、撮像装置４０、入力装置４２、出力装置５０、及び機械制御装置５１を含む。本実施例では、撮像装置４０、入力装置４２、出力装置５０、及び機械制御装置５１は、ＣＡＮを介してコントローラ３０に接続されている。
FIG. 2 is a functional block diagram showing a configuration example of the
コントローラ３０は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成され、内部メモリに格納された駆動制御用のプログラムをＣＰＵに実行させて各種機能を実現する。
The
また、コントローラ３０は、各種装置の出力に基づいてショベルの周辺に人が存在するかを判定し、その判定結果に応じて各種装置を制御する。具体的には、コントローラ３０は、撮像装置４０及び入力装置４２の出力を受け、抽出部３１、識別部３２、追跡部３３、及び制御部３５のそれぞれに対応するソフトウェアプログラムを実行する。そして、その実行結果に応じて機械制御装置５１に制御指令を出力してショベルの駆動制御を実行し、或いは、出力装置５０から各種情報を出力させる。なお、コントローラ３０は、画像処理専用の制御装置であってもよい。
Further, the
撮像装置４０は、ショベルの周囲の画像を撮像する装置であり、撮像した画像をコントローラ３０に対して出力する。本実施例では、撮像装置４０は、ＣＣＤ等の撮像素子を採用するワイドカメラであり、上部旋回体３の上部において光軸が斜め下方を向くように取り付けられる。
The
入力装置４２は操作者の入力を受ける装置である。本実施例では、入力装置４２は、操作装置（操作レバー、操作ペダル等）、ゲートロックレバー、操作装置の先端に設置されたボタン、車載ディスプレイに付属のボタン、タッチパネル等を含む。 The input device 42 is a device that receives input from the operator. In this embodiment, the input device 42 includes an operation device (operation lever, operation pedal, etc.), a gate lock lever, a button installed at the tip of the operation device, a button attached to an in-vehicle display, a touch panel, and the like.
出力装置５０は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ、各種音声情報を音声出力する車載スピーカ、警報ブザー、警報ランプ等を含む。本実施例では、出力装置５０は、コントローラ３０からの制御指令に応じて各種情報を出力する。
The
機械制御装置５１は、ショベルの動きを制御する装置であり、例えば、油圧システムにおける作動油の流れを制御する制御弁、ゲートロック弁、エンジン制御装置等を含む。
The
抽出部３１は、撮像装置４０が撮像した撮像画像から識別処理対象画像を抽出する機能要素である。具体的には、抽出部３１は、局所的な輝度勾配又はエッジに基づく簡易な特徴、Hough変換等による幾何学的特徴、輝度に基づいて分割された領域の面積又はアスペクト比に関する特徴等を抽出する比較的演算量の少ない画像処理（以下、「前段画像認識処理」とする。）によって識別処理対象画像を抽出する。識別処理対象画像は、後続の画像処理の対象となる画像部分（撮像画像の一部）であり、人候補画像を含む。人候補画像は、人画像である可能性が高いとされる画像部分（撮像画像の一部）である。撮像画像はカラー画像であってもよく、グレースケール画像であってもよい。抽出部３１は、カラー画像をグレースケール化する複数種類の機能を備えていてもよい。それぞれの人候補画像は、人らしさの度合い、又はその度合いを示すレベルについて、大小の差異があると考えてもよい。その度合い、又はその度合いを示すレベルは評価値として捉えることもできる。また、抽出部３１は、それぞれで複数の絞り込みを行う複数段で構成されてもよい。例えば直列接続された前段の第１抽出部、後段の第２抽出部として構成されてもよい。
The
識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する機能要素である。具体的には、識別部３２は、ＨＯＧ（Histograms of Oriented Gradients）特徴量に代表される画像特徴量記述と機械学習により生成した識別器とを用いた画像認識処理等の比較的演算量の多い画像処理（以下、「後段画像認識処理」とする。）によって人候補画像が人画像であるかを識別する。識別部３２が人候補画像を人画像として識別する割合は、抽出部３１による識別処理対象画像の抽出が高精度であるほど高くなる。なお、識別部３２は、夜間、悪天候時等の撮像に適さない環境下で所望の品質の撮像画像を得られない場合等においては、人候補画像の全てが人画像であると識別し、抽出部３１が抽出した識別処理対象画像における人候補画像の全てを人であると識別してもよい。人の検知漏れを防止するためである。
The
次に、図３を参照し、後方カメラ４０Ｂが撮像したショベル後方の撮像画像における人画像の見え方について説明する。なお、図３の２つの撮像画像は、後方カメラ４０Ｂの撮像画像の例である。また、図３の点線円は人画像の存在を表し、実際の撮像画像には表示されない。
Next, with reference to FIG. 3, how the human image looks in the captured image behind the excavator captured by the
後方カメラ４０Ｂは、ワイドカメラであり、且つ、人を斜め上から見下ろす高さに取り付けられる。そのため、撮像画像における人画像の見え方は、後方カメラ４０Ｂから見た人の存在方向によって大きく異なる。例えば、撮像画像中の人画像は、撮像画像の左右の端部に近いほど傾いて表示される。これは、ワイドカメラの広角レンズに起因する像倒れによる。また、後方カメラ４０Ｂに近いほど頭部が大きく表示される。また、脚部がショベルの車体の死角に入って見えなくなってしまう。これらは、後方カメラ４０Ｂの設置位置に起因する。そのため、撮像画像に何らの加工を施すことなく画像処理によってその撮像画像に含まれる人画像を識別するのは困難である。
The
そこで、本発明の実施例に係る周辺監視システム１００は、識別処理対象画像を正規化することで、識別処理対象画像に含まれる人画像の識別を促進する。なお、「正規化」は、識別処理対象画像を所定サイズ及び所定形状の画像に変換することを意味する。本実施例では、撮像画像において様々な形状を取り得る識別処理対象画像は射影変換によって所定サイズの長方形画像に変換される。なお、射影変換としては例えば８変数の射影変換行列が用いられる。
Therefore, the
ここで、図４～図６を参照し、周辺監視システム１００が識別処理対象画像を正規化する処理（以下、「正規化処理」とする。）の一例について説明する。なお、図４は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図である。
Here, with reference to FIGS. 4 to 6, an example of a process (hereinafter referred to as “normalization process”) in which the
図４のボックスＢＸは、実空間における仮想立体物であり、本実施例では、８つの頂点Ａ～Ｈで定められる仮想直方体である。また、点Ｐｒは、識別処理対象画像を参照するために予め設定される参照点である。本実施例では、参照点Ｐｒは、人の想定立ち位置として予め設定される点であり、４つの頂点Ａ～Ｄで定められる四角形ＡＢＣＤの中心に位置する。また、ボックスＢＸのサイズは、人の向き、歩幅、身長等に基づいて設定される。本実施例では、四角形ＡＢＣＤ及び四角形ＥＦＧＨは正方形であり、一辺の長さは例えば８００ｍｍである。また、直方体の高さは例えば１８００ｍｍである。すなわち、ボックスＢＸは、幅８００ｍｍ×奥行８００ｍｍ×高さ１８００ｍｍの直方体である。 The box BX in FIG. 4 is a virtual three-dimensional object in real space, and in this embodiment, it is a virtual rectangular parallelepiped defined by eight vertices A to H. Further, the point Pr is a reference point set in advance for referring to the image to be identified for identification processing. In this embodiment, the reference point Pr is a point preset as an assumed standing position of a person, and is located at the center of the quadrangle ABCD defined by the four vertices A to D. The size of the box BX is set based on the direction of the person, the stride length, the height, and the like. In this embodiment, the quadrangle ABCD and the quadrangle EFGH are square, and the length of one side is, for example, 800 mm. The height of the rectangular parallelepiped is, for example, 1800 mm. That is, the box BX is a rectangular parallelepiped having a width of 800 mm, a depth of 800 mm, and a height of 1800 mm.
４つの頂点Ａ、Ｂ、Ｇ、Ｈで定められる四角形ＡＢＧＨは、撮像画像における識別処理対象画像の領域に対応する仮想平面領域ＴＲを形成する。また、仮想平面領域ＴＲとしての四角形ＡＢＧＨは、水平面である仮想地面に対して傾斜する。 The quadrangle ABGH defined by the four vertices A, B, G, and H forms a virtual plane region TR corresponding to the region of the image to be identified in the captured image. Further, the quadrangle ABGH as the virtual plane region TR is inclined with respect to the virtual ground which is a horizontal plane.
なお、本実施例では、参照点Ｐｒと仮想平面領域ＴＲとの関係を定めるために仮想直方体としてのボックスＢＸが採用される。しかしながら、撮像装置４０の方向を向き且つ仮想地面に対して傾斜する仮想平面領域ＴＲを任意の参照点Ｐｒに関連付けて定めることができるのであれば、他の仮想立体物を用いた関係等の他の幾何学的関係が採用されてもよく、関数、変換テーブル等の他の数学的関係が採用されてもよい。
In this embodiment, the box BX as a virtual rectangular parallelepiped is adopted in order to determine the relationship between the reference point Pr and the virtual plane region TR. However, if the virtual plane region TR that faces the direction of the
図５は、ショベル後方の実空間の上面視であり、参照点Ｐｒ１、Ｐｒ２を用いて仮想平面領域ＴＲ１、ＴＲ２が参照された場合における後方カメラ４０Ｂと仮想平面領域ＴＲ１、ＴＲ２との位置関係を示す。なお、本実施例では、参照点Ｐｒは、仮想地面上の仮想グリッドの格子点のそれぞれに配置可能である。但し、参照点Ｐｒは、仮想地面上に不規則に配置されてもよく、後方カメラ４０Ｂの仮想地面への投影点から放射状に伸びる線分上に等間隔に配置されてもよい。例えば、各線分は１度刻みで放射状に伸び、参照点Ｐｒは各線分上に１００ｍｍ間隔に配置される。
FIG. 5 is a top view of the real space behind the excavator, and shows the positional relationship between the
図４及び図５に示すように、四角形ＡＢＦＥ（図４参照。）で定められるボックスＢＸの第１面は、参照点Ｐｒ１を用いて仮想平面領域ＴＲ１が参照される場合、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ１とを結ぶ線分は、参照点Ｐｒ１に関連して配置されるボックスＢＸの第１面と上面視で直交する。同様に、ボックスＢＸの第１面は、参照点Ｐｒ２を用いて仮想平面領域ＴＲ２が参照される場合にも、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ２とを結ぶ線分は、参照点Ｐｒ２に関連して配置されるボックスＢＸの第１面と上面視で直交する。この関係は、参照点Ｐｒが何れの格子点上に配置された場合であっても成立する。すなわち、ボックスＢＸは、その第１面が常に後方カメラ４０Ｂに正対するように配置される。
As shown in FIGS. 4 and 5, the first surface of the box BX defined by the quadrangle ABFE (see FIG. 4) is positive to the
図６は、撮像画像から正規化画像を生成する処理の流れを示す図である。具体的には、図６（Ａ）は、後方カメラ４０Ｂの撮像画像の一例であり、実空間における参照点Ｐｒに関連して配置されるボックスＢＸを映し出す。また、図６（Ｂ）は、撮像画像における識別処理対象画像の領域（以下、「識別処理対象画像領域ＴＲｇ」とする。）を切り出した図であり、図６（Ａ）の撮像画像に映し出された仮想平面領域ＴＲに対応する。また、図６（Ｃ）は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化した正規化画像ＴＲｇｔを示す。
FIG. 6 is a diagram showing a flow of processing for generating a normalized image from a captured image. Specifically, FIG. 6A is an example of a captured image of the
図６（Ａ）に示すように、実空間上で参照点Ｐｒ１に関連して配置されるボックスＢＸは、実空間における仮想平面領域ＴＲの位置を定め、そして、仮想平面領域ＴＲに対応する撮像画像上の識別処理対象画像領域ＴＲｇを定める。 As shown in FIG. 6A, the box BX arranged in relation to the reference point Pr1 in the real space determines the position of the virtual plane region TR in the real space, and the image pickup corresponding to the virtual plane region TR. The image area TRg to be identified on the image is defined.
このように、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想平面領域ＴＲの位置が一意に決まり、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。本実施例では、正規化画像ＴＲｇｔのサイズは、例えば縦６４ピクセル×横３２ピクセルである。
In this way, if the position of the reference point Pr in the real space is determined, the position of the virtual plane region TR in the real space is uniquely determined, and the identification processing target image region TRg in the captured image is also uniquely determined. Then, the
図７は、撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。具体的には、図７（Ａ１）は、撮像画像における識別処理対象画像領域ＴＲｇ３を示し、図７（Ａ２）は、識別処理対象画像領域ＴＲｇ３を有する識別処理対象画像の正規化画像ＴＲｇｔ３を示す。また、図７（Ｂ１）は、撮像画像における識別処理対象画像領域ＴＲｇ４を示し、図７（Ｂ２）は、識別処理対象画像領域ＴＲｇ４を有する識別処理対象画像の正規化画像ＴＲｇｔ４を示す。同様に、図７（Ｃ１）は、撮像画像における識別処理対象画像領域ＴＲｇ５を示し、図７（Ｃ２）は、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を示す。 FIG. 7 is a diagram showing the relationship between the captured image, the identification processing target image area, and the normalized image. Specifically, FIG. 7 (A1) shows the identification processing target image region TRg3 in the captured image, and FIG. 7 (A2) shows the normalized image TRgt3 of the identification processing target image having the identification processing target image region TRg3. .. Further, FIG. 7 (B1) shows an identification processing target image region TRg4 in the captured image, and FIG. 7 (B2) shows a normalized image TRgt4 of the identification processing target image having the identification processing target image region TRg4. Similarly, FIG. 7 (C1) shows the identification processing target image region TRg5 in the captured image, and FIG. 7 (C2) shows the normalized image TRgt5 of the identification processing target image having the identification processing target image region TRg5.
図７に示すように、撮像画像における識別処理対象画像領域ＴＲｇ５は、撮像画像における識別処理対象画像領域ＴＲｇ４より大きい。識別処理対象画像領域ＴＲｇ５に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。同様に、撮像画像における識別処理対象画像領域ＴＲｇ４は、撮像画像における識別処理対象画像領域ＴＲｇ３より大きい。識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ３に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。すなわち、撮像画像における識別処理対象画像領域は、対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が大きいほど小さい。その一方で、正規化画像ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５は何れも同じサイズの長方形画像である。
As shown in FIG. 7, the identification processing target image region TRg5 in the captured image is larger than the identification processing target image region TRg4 in the captured image. This is because the distance between the virtual plane area corresponding to the identification processing target image area TRg5 and the
このように、抽出部３１は、撮像画像において様々な形状及びサイズを取り得る識別処理対象画像を所定サイズの長方形画像に正規化し、人画像を含む人候補画像を正規化できる。具体的には、抽出部３１は、正規化画像の所定領域に人候補画像の頭部であると推定される画像部分（以下、「頭部画像部分」とする。）を配置する。また、正規化画像の別の所定領域に人候補画像の胴体部であると推定される画像部分（以下、「胴体部画像部分」とする。）を配置し、正規化画像のさらに別の所定領域に人候補画像の脚部であると推定される画像部分（以下、「脚部画像部分」とする。）を配置する。また、抽出部３１は、正規化画像の形状に対する人候補画像の傾斜（像倒れ）を抑えた状態で正規化画像を取得できる。
In this way, the
次に、図８を参照し、識別処理対象画像領域が、人画像の識別に悪影響を与える識別に適さない画像領域（以下、「識別処理不適領域」とする。）を含む場合の正規化処理について説明する。識別処理不適領域は、人画像が存在し得ない既知の領域であり、例えば、ショベルの車体が映り込んだ領域（以下、「車体映り込み領域」とする。）、撮像画像からはみ出た領域（以下、「はみ出し領域」とする。）等を含む。なお、図８は、識別処理対象画像領域と識別処理不適領域との関係を示す図であり、図７（Ｃ１）及び図７（Ｃ２）に対応する。また、図８左図の右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２に対応する。 Next, with reference to FIG. 8, normalization processing is performed when the image area to be identified includes an image area unsuitable for identification that adversely affects the identification of human images (hereinafter referred to as “identification processing unsuitable area”). Will be explained. The region unsuitable for the identification process is a known region in which a human image cannot exist, for example, a region in which the vehicle body of the excavator is reflected (hereinafter referred to as a “vehicle body reflection region”), a region protruding from the captured image (a region protruding from the captured image). Hereinafter, it is referred to as a “protruding area”) and the like. Note that FIG. 8 is a diagram showing the relationship between the identification processing target image area and the identification processing unsuitable area, and corresponds to FIGS. 7 (C1) and 7 (C2). Further, the diagonally downward-sloping hatching area in the left figure of FIG. 8 corresponds to the protruding area R1, and the downwardly downward diagonally-sloping hatching area corresponds to the vehicle body reflection area R2.
本実施例では、抽出部３１は、識別処理対象画像領域ＴＲｇ５がはみ出し領域Ｒ１及び車体映り込み領域Ｒ２の一部を含む場合、それらの識別処理不適領域をマスク処理した後で、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を生成する。なお、抽出部３１は、正規化画像ＴＲｇｔ５を生成した後で、正規化画像ＴＲｇｔ５における識別処理不適領域に対応する部分をマスク処理してもよい。
In this embodiment, when the identification processing target image region TRg5 includes a part of the protruding region R1 and the vehicle body reflection region R2, the
図８右図は、正規化画像ＴＲｇｔ５を示す。また、図８右図において、右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応するマスク領域Ｍ１を表し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２の一部に対応するマスク領域Ｍ２を表す。 The right figure of FIG. 8 shows the normalized image TRgt5. Further, in the right figure of FIG. 8, the downward-sloping diagonal line hatch area represents the mask area M1 corresponding to the protruding area R1, and the downward-sloping diagonal line hatching area represents the mask area M2 corresponding to a part of the vehicle body reflection area R2. Represents.
このようにして、抽出部３１は、識別処理不適領域の画像をマスク処理することで、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼすのを防止する。このマスク処理により、識別部３２は、識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。なお、抽出部３１は、マスク処理以外の他の任意の公知方法で、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼさないようにしてもよい。
In this way, the
次に、図９を参照し、抽出部３１が生成する正規化画像の特徴について説明する。なお、図９は、正規化画像の例を示す図である。また、図９に示す１４枚の正規化画像は、図の左端に近い正規化画像ほど、後方カメラ４０Ｂから近い位置に存在する人候補の画像を含み、図の右端に近い正規化画像ほど、後方カメラ４０Ｂから遠い位置に存在する人候補の画像を含む。
Next, with reference to FIG. 9, the features of the normalized image generated by the
図９に示すように、抽出部３１は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離（図５に示すＹ軸方向の水平距離）に関係なく、何れの正規化画像内においてもほぼ同じ割合で頭部画像部分、胴体部画像部分、脚部画像部分等を配置できる。そのため、抽出部３１は、識別部３２が識別処理を実行する際の演算負荷を低減でき、且つ、その識別結果の信頼性を向上できる。なお、上述の後方水平距離は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の位置関係に関する情報の一例であり、抽出部３１は、抽出した識別処理対象画像にその情報を付加する。また、上述の位置関係に関する情報は、仮想平面領域ＴＲに対応する参照点Ｐｒと後方カメラ４０Ｂとを結ぶ線分の後方カメラ４０Ｂの光軸に対する上面視角度等を含む。
As shown in FIG. 9, the
次に、図１０を参照し、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係について説明する。なお、図１０上図は、後方カメラ４０Ｂからの後方水平距離がそれぞれ異なる３つの参照点Ｐｒ１０、Ｐｒ１１、Ｐ１２のところに人が存在する場合の頭部画像部分の大きさＬ１０、Ｌ１１、Ｌ１２を示す図であり、横軸が後方水平距離に対応する。また、図１０下図は、後方水平距離と頭部画像部分の大きさの関係を示すグラフであり、縦軸が頭部画像部分の大きさに対応し、横軸が後方水平距離に対応する。なお、図１０上図及び図１０下図の横軸は共通である。また、本実施例は、カメラ高さを２１００ｍｍとし、頭部ＨＤの中心の地面からの高さを１６００ｍｍとし、頭部の直径を２５０ｍｍとする。
Next, with reference to FIG. 10, the relationship between the rear horizontal distance between the virtual plane region TR and the
図１０上図に示すように、参照点Ｐｒ１０で示す位置に人が存在する場合、頭部画像部分の大きさＬ１０は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１０への投影像の大きさに相当する。同様に、参照点Ｐｒ１１、Ｐｒ１２で示す位置に人が存在する場合、頭部画像部分の大きさＬ１１、Ｌ１２は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１１、ＴＲ１２への投影像の大きさに相当する。なお、正規化画像における頭部画像部分の大きさは投影像の大きさに伴って変化する。
As shown in the upper figure of FIG. 10, when a person is present at the position indicated by the reference point Pr10, the size L10 of the head image portion is a projection image of the head HD seen from the
そして、図１０下図に示すように、正規化画像における頭部画像部分の大きさは、後方水平距離がＤ１（例えば７００ｍｍ）以上ではほぼ同じ大きさを維持するが、後方水平距離がＤ１を下回ったところで急激に増大する。 Then, as shown in the lower figure of FIG. 10, the size of the head image portion in the normalized image maintains almost the same size when the rear horizontal distance is D1 (for example, 700 mm) or more, but the rear horizontal distance is smaller than D1. It increases sharply at the point.
そこで、識別部３２は、後方水平距離に応じて識別処理の内容を変更する。例えば、識別部３２は、教師あり学習（機械学習）の手法を用いる場合、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。具体的には、近距離用グループと遠距離用グループに学習サンプルを分けるようにする。この構成により、識別部３２は、より高精度に人画像を識別できる。
Therefore, the
以上の構成により、周辺監視システム１００は、撮像装置４０の方向を向き且つ水平面である仮想地面に対して傾斜する仮想平面領域ＴＲに対応する識別処理対象画像領域ＴＲｇから正規化画像ＴＲｇｔを生成する。そのため、人の高さ方向及び奥行き方向の見え方を考慮した正規化を実現できる。その結果、人を斜め上から撮像するように建設機械に取り付けられる撮像装置４０の撮像画像を用いた場合であっても建設機械の周囲に存在する人をより確実に検知できる。特に、人が撮像装置４０に接近した場合であっても、撮像画像上の十分な大きさの領域を占める識別処理対象画像から正規化画像を生成できるため、その人を確実に検知できる。
With the above configuration, the
また、周辺監視システム１００は、実空間における仮想直方体であるボックスＢＸの４つの頂点Ａ、Ｂ、Ｇ、Ｈで形成される矩形領域として仮想平面領域ＴＲを定義する。そのため、実空間における参照点Ｐｒと仮想平面領域ＴＲとを幾何学的に対応付けることができ、さらには、実空間における仮想平面領域ＴＲと撮像画像における識別処理対象画像領域ＴＲｇとを幾何学的に対応付けることができる。
Further, the
また、抽出部３１は、識別処理対象画像領域ＴＲｇに含まれる識別処理不適領域の画像をマスク処理する。そのため、識別部３２は、車体映り込み領域Ｒ２を含む識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。
Further, the
また、抽出部３１は、識別処理対象画像を抽出した場合、仮想平面領域ＴＲと撮像装置４０との位置関係に関する情報として両者間の後方水平距離をその識別処理対象画像に付加する。そして、識別部３２は、その後方水平距離に応じて識別処理の内容を変更する。具体的には、識別部３２は、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。この構成により、識別部３２は、より高精度に人画像を識別できる。
Further, when the identification processing target image is extracted, the
また、抽出部３１は、参照点Ｐｒ毎に識別処理対象画像を抽出可能である。また、識別処理対象画像領域ＴＲｇのそれぞれは、対応する仮想平面領域ＴＲを介して、人の想定立ち位置として予め設定される参照点Ｐｒの１つに関連付けられる。そのため、周辺監視システム１００は、人が存在する可能性が高い参照点Ｐｒを任意の方法で抽出することで、人候補画像を含む可能性が高い識別処理対象画像を抽出できる。この場合、人候補画像を含む可能性が低い識別処理対象画像に対して、比較的演算量の多い画像処理による識別処理が施されてしまうのを防止でき、人検知処理の高速化を実現できる。
Further, the
次に、図１１及び図１２を参照し、人候補画像を含む可能性が高い識別処理対象画像を抽出部３１が抽出する処理の一例について説明する。なお、図１１は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図であり、図４に対応する。また、図１２は、撮像画像における特徴画像の一例を示す図である。なお、特徴画像は、人の特徴的な部分を表す画像であり、望ましくは、実空間における地面からの高さが変化し難い部分を表す画像である。そのため、特徴画像は、例えば、ヘルメットの画像、肩の画像、頭の画像、人に取り付けられる反射板若しくはマーカの画像等を含む。
Next, with reference to FIGS. 11 and 12, an example of a process in which the
本実施例では、抽出部３１は、前段画像認識処理によって、撮像画像におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。ショベルの周囲で作業する人はヘルメットを着用していると考えられるためである。そして、抽出部３１は、見つけ出したヘルメット画像の位置から最も関連性の高い参照点Ｐｒを導き出す。その上で、抽出部３１は、その参照点Ｐｒに対応する識別処理対象画像を抽出する。
In this embodiment, the
具体的には、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像におけるヘルメット画像の位置から関連性の高い参照点Ｐｒを導き出す。なお、図１１の幾何学的関係は、実空間における仮想頭部位置ＨＰを定める点で図４の幾何学的関係と相違するが、その他の点で共通する。
Specifically, the
仮想頭部位置ＨＰは、参照点Ｐｒ上に存在すると想定される人の頭部位置を表し、参照点Ｐｒの真上に配置される。本実施例では、参照点Ｐｒ上の高さ１７００ｍｍのところに配置される。そのため、実空間における仮想頭部位置ＨＰが決まれば、実空間における参照点Ｐｒの位置が一意に決まり、実空間における仮想平面領域ＴＲの位置も一意に決まる。また、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。
The virtual head position HP represents the head position of a person who is assumed to exist on the reference point Pr, and is arranged directly above the reference point Pr. In this embodiment, it is arranged at a height of 1700 mm on the reference point Pr. Therefore, if the virtual head position HP in the real space is determined, the position of the reference point Pr in the real space is uniquely determined, and the position of the virtual plane region TR in the real space is also uniquely determined. Further, the identification processing target image area TRg in the captured image is also uniquely determined. Then, the
逆に、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想頭部位置ＨＰが一意に決まり、実空間における仮想頭部位置ＨＰに対応する撮像画像上の頭部画像位置ＡＰも一意に決まる。そのため、頭部画像位置ＡＰは、予め設定されている参照点Ｐｒのそれぞれに対応付けて予め設定され得る。なお、頭部画像位置ＡＰは、参照点Ｐｒからリアルタイムに導き出されてもよい。 Conversely, if the position of the reference point Pr in the real space is determined, the virtual head position HP in the real space is uniquely determined, and the head image position AP on the captured image corresponding to the virtual head position HP in the real space is also unique. It is decided to. Therefore, the head image position AP can be preset in association with each of the preset reference points Pr. The head image position AP may be derived in real time from the reference point Pr.
そこで、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像内でヘルメット画像を探索する。図１２上図は、抽出部３１がヘルメット画像ＨＲｇを見つけ出した状態を示す。そして、抽出部３１は、ヘルメット画像ＨＲｇを見つけ出した場合、その代表位置ＲＰを決定する。なお、代表位置ＲＰは、ヘルメット画像ＨＲｇの大きさ、形状等から導き出される位置である。本実施例では、代表位置ＲＰは、ヘルメット画像ＨＲｇを含むヘルメット画像領域の中心画素の位置である。図１２下図は、図１２上図における白線で区切られた矩形画像領域であるヘルメット画像領域の拡大図であり、そのヘルメット画像領域の中心画素の位置が代表位置ＲＰであることを示す。
Therefore, the
その後、抽出部３１は、例えば最近傍探索アルゴリズムを用いて代表位置ＲＰの最も近傍にある頭部画像位置ＡＰを導き出す。図１２下図は、代表位置ＲＰの近くに６つの頭部画像位置ＡＰ１～ＡＰ６が予め設定されており、そのうちの頭部画像位置ＡＰ５が代表位置ＲＰの最も近傍にある頭部画像位置ＡＰであることを示す。
After that, the
そして、抽出部３１は、図１１に示す幾何学的関係を利用し、導き出した最近傍の頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点Ｐｒ、仮想平面領域ＴＲを辿って、対応する識別処理対象画像領域ＴＲｇを抽出する。その後、抽出部３１は、抽出した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して正規化画像ＴＲｇｔを生成する。
Then, the
このようにして、抽出部３１は、撮像画像における人の特徴画像の位置であるヘルメット画像ＨＲｇの代表位置ＲＰと、予め設定された頭部画像位置ＡＰの１つ（頭部画像位置ＡＰ５）とを対応付けることで識別処理対象画像を抽出する。
In this way, the
なお、抽出部３１は、図１１に示す幾何学的関係を利用する代わりに、頭部画像位置ＡＰと参照点Ｐｒ、仮想平面領域ＴＲ、又は識別処理対象画像領域ＴＲｇとを直接的に対応付ける参照テーブルを利用し、頭部画像位置ＡＰに対応する識別処理対象画像を抽出してもよい。
Instead of using the geometric relationship shown in FIG. 11, the
また、抽出部３１は、山登り法、Mean-shift法等の最近傍探索アルゴリズム以外の他の公知のアルゴリズムを用いて代表位置ＲＰから参照点Ｐｒを導き出してもよい。例えば、山登り法を用いる場合、抽出部３１は、代表位置ＲＰの近傍にある複数の頭部画像位置ＡＰを導き出し、代表位置ＲＰとそれら複数の頭部画像位置ＡＰのそれぞれに対応する参照点Ｐｒとを紐付ける。このとき、抽出部３１は、代表位置ＲＰと頭部画像位置ＡＰが近いほど重みが大きくなるように参照点Ｐｒに重みを付ける。そして、複数の参照点Ｐｒの重みの分布を山登りし、重みの極大点に最も近い重みを有する参照点Ｐｒから識別処理対象画像領域ＴＲｇを抽出する。
Further, the
次に、図１３を参照し、コントローラ３０の抽出部３１が識別処理対象画像を抽出する処理（以下、「画像抽出処理」とする。）の一例について説明する。なお、図１３は、画像抽出処理の一例の流れを示すフローチャートである。抽出部３１は、例えば、撮像画像を取得する度にこの画像抽出処理を実行する。
Next, with reference to FIG. 13, an example of a process (hereinafter referred to as “image extraction process”) in which the
最初に、抽出部３１は、撮像画像内でヘルメット画像を探索する（ステップＳＴ１）。本実施例では、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像をラスタスキャンしてヘルメット画像を見つけ出す。
First, the
撮像画像でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１のＹＥＳ）、抽出部３１は、ヘルメット画像ＨＲｇの代表位置ＲＰを取得する（ステップＳＴ２）。
When the helmet image HRg is found in the captured image (YES in step ST1), the
その後、抽出部３１は、取得した代表位置ＲＰの最近傍にある頭部画像位置ＡＰを取得する（ステップＳＴ３）。
After that, the
その後、抽出部３１は、取得した頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。
After that, the
なお、抽出部３１は、撮像画像でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ５に移行させる。
If the helmet image HRg is not found in the captured image (NO in step ST1), the
その後、抽出部３１は、撮像画像の全体にわたってヘルメット画像を探索したかを判定する（ステップＳＴ５）。
After that, the
撮像画像の全体を未だ探索していないと判定した場合（ステップＳＴ５のＮＯ）、抽出部３１は、撮像画像の別の領域に対し、ステップＳＴ１～ステップＳＴ４の処理を実行する。
When it is determined that the entire captured image has not been searched yet (NO in step ST5), the
一方、撮像画像の全体にわたるヘルメット画像の探索を完了したと判定した場合（ステップＳＴ５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
On the other hand, when it is determined that the search for the helmet image over the entire captured image is completed (YES in step ST5), the
このように、抽出部３１は、最初にヘルメット画像ＨＲｇを見つけ出し、見つけ出したヘルメット画像ＨＲｇの代表位置ＲＰから、頭部画像位置ＡＰ、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。
In this way, the
次に、図１４を参照し、画像抽出処理の別の一例について説明する。なお、図１４は、画像抽出処理の別の一例の流れを示すフローチャートである。 Next, another example of the image extraction process will be described with reference to FIG. Note that FIG. 14 is a flowchart showing the flow of another example of the image extraction process.
最初に、抽出部３１は、頭部画像位置ＡＰの１つを取得する（ステップＳＴ１１）。その後、抽出部３１は、その頭部画像位置ＡＰに対応するヘルメット画像領域を取得する（ステップＳＴ１２）。本実施例では、ヘルメット画像領域は、頭部画像位置ＡＰのそれぞれについて予め設定された所定サイズの画像領域である。
First, the
その後、抽出部３１は、ヘルメット画像領域内でヘルメット画像を探索する（ステップＳＴ１３）。本実施例では、抽出部３１は、前段画像認識処理によりヘルメット画像領域内をラスタスキャンしてヘルメット画像を見つけ出す。
After that, the
ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１３のＹＥＳ）、抽出部３１は、そのときの頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ１４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。
When the helmet image HRg is found in the helmet image area (YES in step ST13), the
なお、抽出部３１は、ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１３のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ１５に移行させる。
If the helmet image HRg is not found in the helmet image area (NO in step ST13), the
その後、抽出部３１は、全ての頭部画像位置ＡＰを取得したかを判定する（ステップＳＴ１５）。そして、全ての頭部画像位置ＡＰを未だ取得していないと判定した場合（ステップＳＴ１５のＮＯ）、抽出部３１は、未取得の別の頭部画像位置ＡＰを取得し、ステップＳＴ１１～ステップＳＴ１４の処理を実行する。一方、全ての頭部画像位置ＡＰを取得し終わったと判定した場合（ステップＳＴ１５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
After that, the
このように、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、取得した頭部画像位置ＡＰに対応するヘルメット画像領域でヘルメット画像ＨＲｇを見つけ出した場合に、そのときの頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て、識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。
As described above, when the
以上の構成により、周辺監視システム１００の抽出部３１は、撮像画像における特徴画像としてのヘルメット画像を見つけ出し、そのヘルメット画像の代表位置ＲＰと所定画像位置としての頭部画像位置ＡＰの１つとを対応付けることで識別処理対象画像を抽出する。そのため、簡易なシステム構成で後段画像認識処理の対象となる画像部分を絞り込むことができる。
With the above configuration, the
なお、抽出部３１は、最初に撮像画像からヘルメット画像ＨＲｇを見つけ出し、そのヘルメット画像ＨＲｇの代表位置ＲＰに対応する頭部画像位置ＡＰの１つを導き出し、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。或いは、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、その頭部画像位置ＡＰの１つに対応する特徴画像の位置を含む所定領域であるヘルメット画像領域内にヘルメット画像が存在する場合に、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。
The
また、抽出部３１は、図１１に示すような所定の幾何学的関係を利用し、撮像画像におけるヘルメット画像の代表位置ＲＰから識別処理対象画像を抽出してもよい。この場合、所定の幾何学的関係は、撮像画像における識別処理対象画像領域ＴＲｇと、識別処理対象画像領域ＴＲｇに対応する実空間における仮想平面領域ＴＲと、仮想平面領域ＴＲに対応する実空間における参照点Ｐｒ（人の想定立ち位置）と、参照点Ｐｒに対応する仮想頭部位置ＨＰ（人の想定立ち位置に対応する人の特徴的な部分の実空間における位置である仮想特徴位置）と、仮想頭部位置ＨＰに対応する撮像画像における頭部画像位置ＡＰ（仮想特徴位置に対応する撮像画像における所定画像位置）との幾何学的関係を表す。
Further, the
次に、図１５を参照し、画像抽出処理の更に別の一例について説明する。なお、図１５は、画像抽出処理の更に別の一例の流れを示すフローチャートである。図１５の画像抽出処理は、正規化画像を生成した後でその正規化画像に特徴画像としてのヘルメット画像が含まれるか否かを判定する点で図１３及び図１４のそれぞれにおける画像抽出処理と異なる。図１３及び図１４のそれぞれにおける画像抽出処理はヘルメット画像を見つけた後でそのヘルメット画像を含む画像部分を正規化するためである。 Next, still another example of the image extraction process will be described with reference to FIG. Note that FIG. 15 is a flowchart showing the flow of still another example of the image extraction process. The image extraction process of FIG. 15 is the same as the image extraction process of FIGS. 13 and 14, in that after the normalized image is generated, it is determined whether or not the normalized image includes a helmet image as a feature image. different. The image extraction process in each of FIGS. 13 and 14 is for normalizing the image portion including the helmet image after finding the helmet image.
本実施例では、抽出部３１は、撮像画像における複数の所定画像部分のそれぞれを正規化して複数の正規化画像を生成し、それら正規化画像のうちヘルメット画像を含む正規化画像を識別処理対象画像として抽出する。複数の所定画像部分は、例えば、撮像画像上に予め定められた複数の識別処理対象画像領域ＴＲｇである。識別処理対象画像領域ＴＲｇ（図６参照。）は、実空間における仮想平面領域ＴＲに対応し、仮想平面領域ＴＲは実空間における参照点Ｐｒに対応する。そして、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。
In this embodiment, the
最初に、抽出部３１は所定画像部分の１つから正規化画像を生成する（ステップＳＴ２１）。本実施例では、後方カメラ４０Ｂの撮像画像における予め設定された参照点Ｐｒの１つに対応する識別処理対象画像領域ＴＲｇの１つを所定画像部分とし、その所定画像部分を射影変換によって所定サイズの長方形画像に変換する。
First, the
その後、抽出部３１は、生成した正規化画像にヘルメット画像が含まれるか否かを判定する（ステップＳＴ２２）。本実施例では、抽出部３１は、前段画像認識処理によりその正規化画像をラスタスキャンしてヘルメット画像を見つけ出す。
After that, the
正規化画像にヘルメット画像が含まれると判定した場合（ステップＳＴ２２のＹＥＳ）、抽出部３１は、その正規化画像を識別処理対象画像として抽出する（ステップＳＴ２３）。このとき、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。すなわち、識別部３２は、抽出部３１による次の正規化が行われる前に、ヘルメット画像を含むと判定された正規化画像に対し、その正規化画像に含まれる画像が人画像であるかを識別する。そのため、周辺監視システム１００は、１つの正規化画像を記憶できるメモリ容量を有していれば撮像画像全体に対する画像抽出処理及び識別処理を実行できる。但し、識別部３２は、抽出部３１が複数の正規化画像を識別処理対象画像として抽出した後で、それら複数の識別処理対象画像のそれぞれに含まれる人候補画像が人画像であるかを識別してもよい。
When it is determined that the normalized image includes the helmet image (YES in step ST22), the
正規化画像にヘルメット画像が含まれないと判定した場合（ステップＳＴ２２のＮＯ）、抽出部３１は、その正規化画像を識別処理対象画像として抽出することなく処理を進める。
When it is determined that the normalized image does not include the helmet image (NO in step ST22), the
その後、抽出部３１は、全ての所定画像部分から正規化画像を生成したか否かを判定する（ステップＳＴ２４）。本実施例では、後方カメラ４０Ｂの撮像画像における参照点Ｐｒのそれぞれに対応する識別処理対象画像領域ＴＲｇである所定画像部分の全てから正規化画像を生成したか否かを判定する。
After that, the
全ての所定画像部分から正規化画像を生成していないと判定した場合（ステップＳＴ２４のＮＯ）、抽出部３１は、別の所定画像部分に対し、ステップＳＴ２１～ステップＳＴ２３の処理を実行する。
When it is determined that the normalized image is not generated from all the predetermined image portions (NO in step ST24), the
一方、全ての所定画像部分から正規化画像を生成したと判定した場合（ステップＳＴ２４のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
On the other hand, when it is determined that the normalized image is generated from all the predetermined image portions (YES in step ST24), the
図１５の例では、周辺監視システム１００は、１つの正規化画像を生成した段階でその正規化画像にヘルメット画像が含まれるか否かを判定する。但し、複数の正規化画像を生成した段階でそれら複数の正規化画像のそれぞれにヘルメット画像が含まれるか否かを纏めて判定してもよい。また、全ての正規化画像を生成した段階でそれら全ての正規化画像のそれぞれにヘルメット画像が含まれるか否かを纏めて判定してもよい。
In the example of FIG. 15, the
このような画像抽出処理により、周辺監視システム１００は、人検知処理の際のメモリアクセス回数を低減させることができる。ヘルメット画像を見つけ出す処理と識別処理対象画像を抽出する処理を同時に実行できるためである。
By such an image extraction process, the
また、図１５の画像抽出処理を採用する周辺監視システム１００は、図１３又は図１４の画像抽出処理を採用する場合に比べ、メモリ容量を低減させることができる。図１３又は図１４の画像抽出処理は、少なくとも、正規化される前の画像部分（正規化画像より大きい画像）を記憶できるだけのメモリ容量が必要であるが、図１５の画像抽出処理は正規化画像を最初に生成するため正規化画像を記憶できるだけのメモリ容量があれば実行可能なためである。
Further, the
また、図１５の画像抽出処理を採用する周辺監視システム１００は、正規化画像にヘルメット画像が含まれるか否かを判定する。そのため、図１３又は図１４の画像抽出処理のように正規化される前の画像にヘルメット画像が含まれるか否かを判定する構成に比べ、ヘルメット画像が含まれるか否かの判定に要する処理時間を短縮できる。探索対象となるヘルメット画像のサイズ及び歪みのばらつきを小さくできるためである。その結果、識別処理対象画像の抽出に要する時間を短縮できる。また、探索対象となるヘルメット画像のサイズ及び歪みのばらつきを小さくできるため、ヘルメット画像が含まれるか否かの判定の精度を高めることができる。
Further, the
また、図１５の画像抽出処理を採用する周辺監視システム１００は、人の足位置に対する頭部位置のバラツキが大きい場合（例えば屈んでいる人の画像が撮像画像に含まれる場合）であっても、より確実な人検知を実現できる。正規化画像にヘルメット画像が含まれるか否かを判定する構成を採用しているためである。すなわち、図１３又は図１４の画像抽出処理のようにヘルメット画像の位置に関連する頭部画像位置を用いて識別処理対象画像領域を特定する構成ではなく、正規化の対象となる所定画像部分としての識別処理対象画像領域が頭部画像位置とは無関係に設定されるためである。
Further, the
次に、図１６を参照し、画像抽出処理の更に別の一例について説明する。なお、図１６は画像抽出処理の更に別の一例の流れを示すフローチャートである。図１６の画像抽出処理は、所定画像部分の一部を正規化した段階でその部分的に正規化された画像（以下、「部分正規化画像」とする。）に特徴画像としてのヘルメット画像が含まれるか否かを判定する点で図１５の画像抽出処理と異なる。図１５の画像抽出処理は、１つの所定画像部分の全部を正規化した段階でその正規化画像にヘルメット画像が含まれるか否かを判定するためである。 Next, still another example of the image extraction process will be described with reference to FIG. Note that FIG. 16 is a flowchart showing the flow of still another example of the image extraction process. In the image extraction process of FIG. 16, a helmet image as a feature image is added to the partially normalized image (hereinafter referred to as “partially normalized image”) at the stage where a part of the predetermined image portion is normalized. It differs from the image extraction process of FIG. 15 in that it determines whether or not it is included. The image extraction process of FIG. 15 is for determining whether or not a helmet image is included in the normalized image at the stage where all of one predetermined image portion is normalized.
最初に、抽出部３１は、所定画像部分の一部から部分正規化画像を生成する（ステップＳＴ３１）。そして、抽出部３１は、部分正規化画像を生成した段階でその部分正規化画像にヘルメット画像が含まれるか否かを判定する（ステップＳＴ３２）。本実施例では、抽出部３１は、正規化画像の上半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成した段階で前段画像認識処理によりその部分正規化画像をラスタスキャンしてヘルメット画像を見つけ出す。
First, the
部分正規化画像にヘルメット画像が含まれると判定した場合（ステップＳＴ３２のＹＥＳ）、抽出部３１は、所定画像部分の残りの部分を正規化して正規化画像を生成する（ステップＳＴ３３）。本実施例では、抽出部３１は、正規化画像の下半分に対応する所定画像部分の残りの部分を正規化して正規化画像を生成する。そして、抽出部３１は、その正規化画像を識別処理対象画像として抽出する（ステップＳＴ３４）。このとき、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。但し、識別部３２は、抽出部３１が複数の正規化画像を識別処理対象画像として抽出した後で、それら複数の識別処理対象画像のそれぞれに含まれる人候補画像が人画像であるかを識別してもよい。
When it is determined that the partially normalized image includes the helmet image (YES in step ST32), the
部分正規化画像にヘルメット画像が含まれないと判定した場合（ステップＳＴ３２のＮＯ）、抽出部３１は、所定画像部分の残りの部分を正規化して正規化画像を生成することなく処理を進める。
When it is determined that the helmet image is not included in the partially normalized image (NO in step ST32), the
その後、抽出部３１は、全ての所定画像部分から部分正規化画像を生成したか否かを判定する（ステップＳＴ３５）。本実施例では、後方カメラ４０Ｂの撮像画像における参照点Ｐｒのそれぞれに対応する識別処理対象画像領域ＴＲｇである所定画像部分の全てから部分正規化画像を生成したか否かを判定する。
After that, the
全ての所定画像部分から部分正規化画像を生成していないと判定した場合（ステップＳＴ３５のＮＯ）、抽出部３１は、別の所定画像部分に対し、ステップＳＴ３１～ステップＳＴ３４の処理を実行する。
When it is determined that the partially normalized image is not generated from all the predetermined image portions (NO in step ST35), the
一方、全ての所定画像部分から部分正規化画像を生成したと判定した場合（ステップＳＴ３５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
On the other hand, when it is determined that the partially normalized image is generated from all the predetermined image portions (YES in step ST35), the
図１６の例では、周辺監視システム１００は、正規化画像の上半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成する。ヘルメット画像は正規化画像の上半分（人の上半身に対応する部分）に含まれる蓋然性が高いためである。但し、正規化画像の上半分より小さい部分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。例えば、正規化画像の上の１／３にあたる部分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。或いは、周辺監視システム１００は、正規化画像の別の一部を正規化して部分正規化画像を生成してもよい。例えば、特徴画像としての肩の画像を探索する場合、正規化画像の右半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよく、特徴画像としてのマーカの画像を探索する場合、正規化画像の中央半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。
In the example of FIG. 16, the
このような画像抽出処理により、図１６の画像抽出処理を採用する周辺監視システム１００は、図１５の画像抽出処理を採用する場合と同様の効果を実現できる。
By such an image extraction process, the
また、図１６の画像抽出処理を採用する周辺監視システム１００は、図１５の画像抽出処理を採用する場合に比べ、人検知処理に要する処理時間を更に短縮できる。部分正規化画像にヘルメット画像が含まれないと判定した場合、その所定画像部分の残りの部分を正規化することなく、次の所定画像部分の正規化を開始できるためである。
Further, the
また、図１３～図１６のそれぞれにおける画像抽出処理において、抽出部３１は、前段画像認識処理によって、撮像画像の所定画像部分におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。そして、抽出部３１は、見つけ出したヘルメット画像に対応する識別処理対象画像を抽出する。
Further, in the image extraction processing in each of FIGS. 13 to 16, the
しかしながら、背景画像が複雑な場合、抽出部３１は、ヘルメットの画像ではない画像をヘルメット画像であると誤って認識してしまうことがある。また、ヘルメットの画像をヘルメット画像として認識できずに見逃してしまうことがある。すなわち、抽出部３１は、撮像画像の内容によっては識別処理対象画像の抽出結果の信頼性を低下させてしまう場合がある。ここでのヘルメット画像は、人候補画像として考えることができる。すなわち、人検知結果の信頼性を低下させる場面である。抽出結果の信頼性を低下させてしまう撮像画像は、例えば、夜間環境、逆光環境、日陰環境等で撮像された撮像画像、カメラのレンズが汚れた状態で撮像された撮像画像、フレア、被写体ブレ等のある撮像画像を含む。
However, when the background image is complicated, the
そこで、コントローラ３０は、抽出部３１による識別処理対象画像の抽出結果の信頼性が低い状態を人検知に不適な状態（以下、「人検知不適状態」とする。）として検知できるように構成されてもよい。人検知不適状態の検知に応じて種々の対応をとることができるようにするためである。例えば、人検知不適状態が発生していることをショベルの操作者に通知できるようにするためである。或いは、人検知不適状態が発生しているときの画像特徴等を記録して周辺監視システムの改良に有効なデータを選択的に収集できるようにするためである。或いは、人検知不適状態の検知に応じて周辺監視システム１００の動作内容を変更できるようにするためである。周辺監視システム１００の動作内容の変更は、例えば、前段画像認識処理で用いられる各種パラメータの変更、後段画像認識処理で用いられる各種パラメータの変更等を含む。
Therefore, the
例えば、コントローラ３０は、所定の評価式を用いて各所定画像部分に関する評価値を算出し、その評価値の分布に基づいて撮像画像が人検知不適状態であるか否かを判定してもよい。具体的には、コントローラ３０は、ヘルメット度の分布に基づいて人検知不適状態が発生しているか否かを判定してもよい。ここでの評価値は、ヘルメット画像、すなわち人候補画像における人らしさの度合い又はその度合いを示すレベルとして捉えることもできる。この評価値には大小の差異があると考えてもよい。
For example, the
「ヘルメット度」は、評価値の一例であり、撮像画像の所定画像部分における判定対象画像のヘルメットらしさを表す値である。探索対象がヘルメットではなく頭である場合には頭らしさを表す頭度が評価値の別の一例として用いられる。 The "helmet degree" is an example of an evaluation value, and is a value representing the helmet-likeness of the determination target image in a predetermined image portion of the captured image. When the search target is not a helmet but a head, the head degree, which indicates the headiness, is used as another example of the evaluation value.
「判定対象画像」は、特徴画像（ヘルメット画像）であるか否かの判定対象となった画像を意味する。図１３～図１６のそれぞれにおける画像抽出処理での「ヘルメット画像」は、判定対象画像のうち、所定の採否判定値（例えばゼロである。）以上のヘルメット度を有するものを意味する。或いは、所定の採否判定値以上のヘルメット度を有する判定対象画像をヘルメット度が大きい順に並べたときの上位の所定数のものであってもよい。なお、判定対象画像は、採否判定値未満のヘルメット度を有する画像（ヘルメット画像以外の画像）を含む。仕様として選択可能な所定ヘルメット度が採否判定値として設定される。採否判定値は、抽出部３１が取得した判定対象画像のヘルメット度と比較される。
The “judgment target image” means an image that has been determined as to whether or not it is a feature image (helmet image). The “helmet image” in the image extraction process in each of FIGS. 13 to 16 means an image having a helmet degree equal to or higher than a predetermined acceptance / rejection determination value (for example, zero) among the images to be determined. Alternatively, it may be a higher predetermined number when the determination target images having a helmet degree equal to or higher than the predetermined acceptance / rejection determination value are arranged in descending order of the helmet degree. The determination target image includes an image having a helmet degree less than the acceptance / rejection determination value (an image other than the helmet image). A predetermined helmet degree that can be selected as a specification is set as an acceptance / rejection determination value. The acceptance / rejection determination value is compared with the helmet degree of the determination target image acquired by the
採否判定値は、判定対象画像をヘルメット画像として採用するか否かを判定するための値である。判定対象画像は、例えば、評価値としてのヘルメット度が採否判定値以上であればヘルメット画像として採用される。採否判定値は、例えば、機械学習、統計分析等により予め設定される。採否判定値は、夜間環境、逆光環境、日陰環境等のショベルの作業環境毎に別々に設定されていてもよい。ショベルの作業環境は、例えば、キャビン１０内の入力装置４２を用いて入力されてもよい。
The acceptance / rejection determination value is a value for determining whether or not the determination target image is adopted as the helmet image. The determination target image is adopted as a helmet image, for example, if the helmet degree as an evaluation value is equal to or higher than the acceptance / rejection determination value. The acceptance / rejection determination value is set in advance by, for example, machine learning, statistical analysis, or the like. The acceptance / rejection determination value may be set separately for each excavator work environment such as a night environment, a backlight environment, and a shade environment. The working environment of the excavator may be input using, for example, the input device 42 in the
ヘルメット度は、例えば、後段画像認識処理で用いられるＨＯＧ特徴量の算出よりも低い演算コストで算出される画像特徴量に基づいて導き出される。例えば、ヘルメット度は、ＨＯＧ特徴量の次元数よりも低い次元数の画像特徴量をランダムフォレスト等の機械学習アルゴリズムに入力して重回帰分析を行うことで導き出される。ヘルメット度は、例えば、－１～＋１の間の実数として導き出され、＋１に近いほどヘルメットらしさが強く、－１に近いほどヘルメットらしさが弱いことを表す。「頭画像」に関する頭らしさを表す「頭度」等の他の特徴画像に関する特徴画像らしさを表す評価値についても同様である。 The helmet degree is derived, for example, based on the image feature amount calculated at a lower calculation cost than the calculation of the HOG feature amount used in the subsequent image recognition process. For example, the helmet degree is derived by inputting an image feature quantity having a dimension number lower than the dimension number of the HOG feature quantity into a machine learning algorithm such as Random Forest and performing multiple regression analysis. The helmet degree is derived, for example, as a real number between -1 and +1. The closer it is to +1 the stronger the helmet-likeness, and the closer it is to -1, the weaker the helmet-likeness. The same applies to the evaluation value representing the characteristic image-likeness of other characteristic images such as "head degree" indicating the head-likeness of the "head image".
次に図１７を参照し、ヘルメット度の分布に基づいて撮像画像が人検知不適状態であるか否かをコントローラ３０が判定する処理（以下、「人検知適否判定処理」とする。）について説明する。図１７は人検知適否判定処理の一例の流れを示すフローチャートである。
Next, with reference to FIG. 17, a process for the
コントローラ３０は、各所定画像部分における判定対象画像のヘルメット度を画像抽出処理の際に算出して内部メモリ等に記憶する。ヘルメット度は、例えば、所定順（降順）で並べ替えできるように記憶されてもよい。そして、コントローラ３０は、例えば、所定数の所定画像部分における判定対象画像のヘルメット度を記憶した時点で人検知適否判定処理の実行を開始し、その後はヘルメット度を新たに算出する度に人検知適否判定処理の実行を繰り返す。
The
また、コントローラ３０は、画像抽出処理と人検知適否判定処理とを並列的に実行する。画像抽出処理で算出されるヘルメット度を人検知適否判定処理で利用するためである。但し、画像抽出処理が完了した後で人検知適否判定処理を実行してもよい。画像抽出処理は、例えば、図１３～図１６に示す画像抽出処理の何れかが採用される。
Further, the
図１７に示すように、コントローラ３０はまずｎ番目に高いヘルメット度を取得する（ステップＳＴ４１）。コントローラ３０は、例えば、内部メモリに記憶されたヘルメット度を参照し、所定順位のヘルメット度であるｎ番目に高いヘルメット度を取得する。「ｎ」は、適宜設定される１以上の整数であり、例えば、所定画像部分（判定対象画像）の総数の２％に相当する値が採用される。内部メモリには、例えば、判定対象画像のヘルメット度が降順に並べられて記憶されている。
As shown in FIG. 17, the
そして、ｎ番目に高いヘルメット度が所定の適否判定値以上であるか否かを判定する（ステップＳＴ４２）。仕様として選択可能な所定ヘルメット度が適否判定値として設定される。ｎ番目に高いヘルメット度は、適否判定値以上であるか判定される。 Then, it is determined whether or not the nth highest helmet degree is equal to or higher than a predetermined suitability determination value (step ST42). A predetermined helmet degree that can be selected as a specification is set as a suitability judgment value. The nth highest helmet degree is determined to be equal to or higher than the suitability determination value.
適否判定値は、撮像画像が人検知不適状態であるか人検知適合状態であるかを判定するための値である。採否判定値と同様に、適否判定値は、例えば、機械学習、統計分析等により予め設定される。適否判定値は、夜間環境、逆光環境、日陰環境等のショベルの作業環境毎に別々に設定されていてもよい。 The suitability determination value is a value for determining whether the captured image is in a human detection unsuitable state or a human detection conforming state. Similar to the acceptance / rejection determination value, the suitability determination value is preset by, for example, machine learning, statistical analysis, or the like. The suitability determination value may be set separately for each excavator work environment such as a night environment, a backlight environment, and a shade environment.
ｎ番目に高いヘルメット度が適否判定値以上であると判定した場合（ステップＳＴ４２のＹＥＳ）、コントローラ３０は、撮像画像が人検知不適状態であると判定する（ステップＳＴ４３）。適否判定値が採否判定値以上であれば、「ｎ番目に高いヘルメット度が適否判定値以上である」という条件が満たされる状態は、適否判定値以上のヘルメット度を有するヘルメット画像がｎ個以上存在する状態を意味する。図１７の例では、ヘルメット画像がｎ個以上存在する撮像画像の状態を人検知不適状態と定めている。「ｎ」は、抽出部３１から識別部３２に送られる人候補画像数の基準と考えることができる。すなわち、識別部３２で処理すべき人候補画像が多いか少ないかの判断基準となる。
When it is determined that the nth highest helmet degree is equal to or higher than the suitability determination value (YES in step ST42), the
撮像画像が人検知不適状態であると判定した場合、コントローラ３０は撮像画像が人検知不適状態である旨をショベルの操作者に通知してもよい。例えば、コントローラ３０は、出力装置５０としての車載ディスプレイに制御指令を出力してその旨を伝えるテキストメッセージを表示させてもよい。或いは、コントローラ３０は、出力装置５０としての車載スピーカに制御指令を出力してその旨を伝える音声メッセージを音声出力させてもよい。
When it is determined that the captured image is in an unsuitable state for human detection, the
また、撮像画像が人検知不適状態であると判定した場合、コントローラ３０は、周辺監視システムによる人検知を中止させてもよい。信頼性の低い抽出結果に基づく人検知結果をショベルの操作者に提示しないようにするためである。
Further, when it is determined that the captured image is in an unsuitable state for human detection, the
また、撮像画像が人検知不適状態であると判定した場合、コントローラ３０は、その撮像画像をＮＶＲＡＭ等に記録してもよい。周辺監視システムの改良に利用できるようにするためである。
Further, when it is determined that the captured image is in an unsuitable state for human detection, the
ｎ番目に高いヘルメット度が適否判定値未満であると判定した場合（ステップＳＴ４２のＮＯ）、コントローラ３０は、撮像画像が人検知に適した状態（以下、「人検知適合状態」とする。）であると判定する（ステップＳＴ４４）。適否判定値が採否判定値以上であれば、「ｎ番目に高いヘルメット度が適否判定値未満である」という条件が満たされる状態は、適否判定値以上のヘルメット度を有するヘルメット画像がｎ個未満である状態を意味する。図１７の例から考えると、この場合は人検知不適状態とはならない。識別器で処理すべき人候補画像の数が、基準である「ｎ」未満だからである。
When it is determined that the nth highest helmet degree is less than the suitability determination value (NO in step ST42), the
次に図１８を参照し、人検知適合状態及び人検知不適状態のそれぞれの特徴について説明する。図１８は、ある環境下で撮像された撮像画像における全ての所定画像部分のそれぞれから導き出された－１～＋１の間の実数値を有するヘルメット度の度数分布図（ヒストグラム）である。縦軸の度数は、ヘルメット度に対応する検出数と考えることができる。図１８（Ａ）は人検知適合状態のときの度数分布図を示し、図１８（Ｂ）は人検知不適状態のときの度数分布図を示す。図１８（Ａ）及び図１８（Ｂ）は、明瞭性を維持するため、各ビンの図示を省略して度数曲線のみを示す。度数曲線と横軸とで囲まれた範囲は、撮像画像における所定画像部分の総数を表す。 Next, with reference to FIG. 18, the characteristics of the human detection conforming state and the human detection unsuitable state will be described. FIG. 18 is a frequency distribution diagram (histogram) of a helmet degree having a real value between -1 and +1 derived from each of all predetermined image portions in a captured image captured under a certain environment. The frequency on the vertical axis can be considered as the detection frequency corresponding to the helmet degree. FIG. 18A shows a frequency distribution map in a human detection conforming state, and FIG. 18B shows a frequency distribution map in a human detection unsuitable state. 18 (A) and 18 (B) show only the frequency curve by omitting the illustration of each bin in order to maintain clarity. The range surrounded by the frequency curve and the horizontal axis represents the total number of predetermined image portions in the captured image.
図１８（Ａ）及び図１８（Ｂ）において、ヘルメット度が＋０．５（第１基準）のところに引かれた一点鎖線は適否判定値の位置を示し、ヘルメット度が＋０．２（第２基準）のところに引かれた二点鎖線は採否判定値の位置を示す。したがって、ヘルメット度が＋０．２以上の判定対象画像はヘルメット画像として採用され、ヘルメット度が＋０．２未満の判定対象画像はヘルメット画像として採用されない。以下では、判定対象画像のうちヘルメット画像として採用されなかったものを非ヘルメット画像と称する。なお、第１基準及び第２基準はそれぞれ変更され得る。図１８（Ａ）のヒストグラムのうち、＋０．２未満のヘルメット度を有する判定対象画像は人候補画像としては抽出されない。＋０．２以上のヘルメット度を有する判定対象画像は抽出部３１により人候補画像として抽出されたといえる。抽出された人候補画像は、識別部によって処理される識別処理対象画像として取り扱われる。なお、抽出部３１による識別処理対象画像の抽出は複数の段階で行われてもよい。そして、識別部３２は、抽出部３１が抽出した識別処理対象画像の全てに対して画像認識処理を施す。
In FIGS. 18 (A) and 18 (B), the alternate long and short dash line drawn at the place where the helmet degree is +0.5 (first reference) indicates the position of the suitability judgment value, and the helmet degree is +0.2 (second reference). The two-dot chain line drawn at (reference) indicates the position of the acceptance / rejection judgment value. Therefore, the determination target image having a helmet degree of +0.2 or more is adopted as a helmet image, and the determination target image having a helmet degree of less than +0.2 is not adopted as a helmet image. In the following, among the images to be determined, those not adopted as the helmet image will be referred to as a non-helmet image. The first criterion and the second criterion can be changed respectively. From the histogram of FIG. 18A, the determination target image having a helmet degree of less than +0.2 is not extracted as a human candidate image. It can be said that the determination target image having a helmet degree of +0.2 or more was extracted as a human candidate image by the
図１８（Ａ）では、ｎ番目に高いヘルメット度は－０．３であり、適否判定値（＋０．５）より小さい。すなわち、「ｎ番目に高いヘルメット度が適否判定値未満である」という条件が満たされる。適否判定値より大きいヘルメット度を有するヘルメット画像がｎ個未満である状態を意味する。基準「ｎ」の観点から考えると、識別部３２で処理すべき識別処理対象画像の数が少ない人検知適合状態ということができる。なお、ｎ番目に高いヘルメット度を有する判定対象画像が非ヘルメット画像である場合に人検知適合状態であるということもできる。したがって、コントローラ３０は、現に取得した撮像画像が人検知適合状態であると判定する。
In FIG. 18A, the nth highest helmet degree is −0.3, which is smaller than the suitability determination value (+0.5). That is, the condition that "the nth highest helmet degree is less than the suitability determination value" is satisfied. It means that the number of helmet images having a helmet degree larger than the suitability judgment value is less than n. From the viewpoint of the reference "n", it can be said that the number of the identification processing target images to be processed by the
このように、図１８（Ａ）に示すようなヘルメット度の度数分布をもたらす撮像画像は、見つけ出されたヘルメット画像の数が少なく、非ヘルメット画像の数が多いという特徴を有する。そのため識別部３２で処理する処理対象画像は相対的に少ない。
As described above, the captured image having the frequency distribution of the helmet degree as shown in FIG. 18A has a feature that the number of helmet images found is small and the number of non-helmet images is large. Therefore, the number of images to be processed by the
図１８（Ｂ）では、ｎ番目に高いヘルメット度は＋０．６であり、適否判定値（＋０．５）より大きい。すなわち、「ｎ番目に高いヘルメット度が適否判定値以上である」という条件が満たされる。適否判定値より大きいヘルメット度を有するヘルメット画像がｎ個以上である状態を意味する。基準「ｎ」の観点から考えると、識別部３２で処理すべき識別処理対象画像の数が多い、人検知不適状態ということができる。なお、ｎ番目に高いヘルメット度を有する判定対象画像がヘルメット画像である場合に人検知不適状態であるということもできる。したがって、コントローラ３０は、現に取得した撮像画像が人検知不適状態であると判定する。
In FIG. 18B, the nth highest helmet degree is +0.6, which is larger than the suitability determination value (+0.5). That is, the condition that "the nth highest helmet degree is equal to or higher than the suitability determination value" is satisfied. It means that the number of helmet images having a helmet degree larger than the suitability judgment value is n or more. From the viewpoint of the reference "n", it can be said that the number of images to be processed for identification to be processed by the
このように、図１８（Ｂ）に示すようなヘルメット度の度数分布をもたらす撮像画像は、見つけ出されたヘルメット画像の数が多く、非ヘルメット画像の数が少ないという特徴を有する。すなわち、誤認識されたヘルメット画像の数が多いという特徴を有する。そのため識別部３２で処理する処理対象画像は相対的に多い。
As described above, the captured image having the frequency distribution of the helmet degree as shown in FIG. 18B has a feature that the number of helmet images found is large and the number of non-helmet images is small. That is, it has a feature that the number of erroneously recognized helmet images is large. Therefore, the number of images to be processed by the
上述の通り、周辺監視システム１００は、作業機械の周辺の人を信頼性高く検知できる。また、コントローラ３０は、撮像装置４０の撮像画像のみに基づいて撮像画像が人検知不適状態であるか人検知適合状態であるかを判定できる。具体的には、抽出部３１が抽出した識別処理対象画像の数に基づいて撮像画像が人検知に不適な状態であるか否かを判定できる。この特徴によれば、人検知部は前段（抽出部３１）と後段（識別部３２）とを含み、後段の演算コストのほうが高いことは後段の負担を減らす契機となる。また、後段の処理に時間が掛かる場面であるかを判断することができる。
As described above, the
また、周辺監視システム１００は、撮像画像が人検知不適状態であると判定した場合にその旨をショベルの操作者に通知することで、現在の人検知結果に過度に依存しないよう注意を喚起できる。
Further, the
或いは、周辺監視システム１００は、撮像画像が人検知不適状態であると判定した場合に人検知を中止することで、信頼性の低い抽出結果に基づく人検知結果の提示を防止できる。
Alternatively, the
或いは、周辺監視システム１００は、撮像画像が人検知不適状態であると判定した場合にその撮像画像をＮＶＲＡＭ等に記録することで、その撮像画像を周辺監視システムの改良に利用できる。
Alternatively, the
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the above-mentioned examples, and various modifications and substitutions are made to the above-mentioned examples without departing from the scope of the present invention. Can be added.
例えば、上述の実施例では、周辺監視システム１００は、人の一部を表すヘルメットの画像を特徴画像として利用しながら識別処理対象画像を抽出したが、人の全身の画像を特徴画像として利用しながら識別処理対象画像を抽出してもよい。
For example, in the above embodiment, the
また、評価値は、撮像画像の一部が人の画像であるかの指標として広く用いられてもよい。評価値としてのヘルメット度は人らしさを表す値と言うこともできる。 Further, the evaluation value may be widely used as an index as to whether or not a part of the captured image is a human image. The degree of helmet as an evaluation value can also be said to be a value representing humanity.
また、上述の実施例では、ショベルの上部旋回体３の上に取り付けられる撮像装置４０の撮像画像を用いて人を検知する場合を想定するが、本発明はこの構成に限定されるものではない。移動式クレーン、固定式クレーン、リフマグ機、フォークリフト等の他の作業機械の本体部に取り付けられる撮像装置の撮像画像を用いる構成にも適用され得る。
Further, in the above-described embodiment, it is assumed that a person is detected by using an image captured by an
また、上述の実施例では、３つのカメラを用いてショベルの死角領域を撮像するが、１つ、２つ、又は４つ以上のカメラを用いてショベルの死角領域を撮像してもよい。 Further, in the above-described embodiment, the blind spot area of the excavator is imaged using three cameras, but the blind spot area of the excavator may be imaged using one, two, or four or more cameras.
また、上述の実施例では、複数の撮像画像のそれぞれに対して個別に人検知処理が適用されるが、複数の撮像画像から生成される１つの合成画像に対して人検知処理が適用されてもよい。
本発明の別の実施形態に係る作業機械用周辺監視システムは、作業機械に取り付けられる撮像装置の撮像画像を用いて前記作業機械の周辺に存在する人を検知する作業機械用周辺監視システムであって、前記撮像画像から複数の所定画像部分を識別処理対象画像として抽出する抽出部と、前記識別処理対象画像に含まれる画像が人の画像であるかを画像認識処理によって識別する識別部と、を有し、前記抽出部が抽出した前記識別処理対象画像の数が所定の基準より多いときに前記撮像画像が人検知に不適な状態であると判定するように構成されていてもよい。
また、作業機械用周辺監視システムは、前記複数の所定画像部分のそれぞれに関して算出される評価値を高い順に並べ、所定順位の前記評価値が所定の適否判定値以上の場合に前記撮像画像が人検知に不適な状態であると判定するように構成されていてもよい。この場合、前記評価値は、各所定画像部分の画像特徴量に基づいて算出され、且つ、各所定画像部分の人らしさを表していてもよく、前記抽出部は、前記評価値が所定の採否判定値以上の所定画像部分を前記識別処理対象画像として抽出するように構成されていてもよい。また、前記適否判定値は、前記採否判定値以上であってもよい。なお、各所定画像部分の画像特徴量の算出に要する演算コストは、典型的には、前記識別部が実行する画像認識処理で用いる画像特徴量の算出に要する演算コストよりも低い。
また、作業機械用周辺監視システムは、前記撮像画像が人検知に不適な状態であると判定した場合にその旨を通知するように構成されていてもよい。
また、作業機械用周辺監視システムは、前記撮像画像が人検知に不適な状態であると判定した場合に前記撮像画像を記録するように構成されていてもよい。
Further, in the above-described embodiment, the human detection process is individually applied to each of the plurality of captured images, but the human detection process is applied to one composite image generated from the plurality of captured images. May be good.
The peripheral monitoring system for a work machine according to another embodiment of the present invention is a peripheral monitoring system for a work machine that detects a person existing in the vicinity of the work machine by using an image taken by an image pickup device attached to the work machine. An extraction unit that extracts a plurality of predetermined image portions from the captured image as identification processing target images, and an identification unit that identifies whether the image included in the identification processing target image is a human image by image recognition processing. When the number of the identification processing target images extracted by the extraction unit is larger than a predetermined reference, the captured image may be determined to be in an unsuitable state for human detection.
Further, in the peripheral monitoring system for work machines, the evaluation values calculated for each of the plurality of predetermined image portions are arranged in descending order, and when the evaluation value in the predetermined order is equal to or higher than the predetermined suitability determination value, the captured image is a person. It may be configured to determine that the state is unsuitable for detection. In this case, the evaluation value may be calculated based on the image feature amount of each predetermined image portion and may represent the humanity of each predetermined image portion, and the extraction unit may accept or reject the evaluation value. A predetermined image portion equal to or larger than the determination value may be configured to be extracted as the identification processing target image. Further, the suitability determination value may be equal to or higher than the acceptance / rejection determination value. The calculation cost required for calculating the image feature amount of each predetermined image portion is typically lower than the calculation cost required for calculating the image feature amount used in the image recognition process executed by the identification unit.
Further, the peripheral monitoring system for work machines may be configured to notify when it is determined that the captured image is in an unsuitable state for human detection.
Further, the peripheral monitoring system for a work machine may be configured to record the captured image when it is determined that the captured image is in an unsuitable state for human detection.
１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン ３０・・・コントローラ ３１・・・抽出部 ３２・・・識別部 ３３・・・追跡部 ３４・・・人検知部 ３５・・・制御部 ４０・・・撮像装置 ４０Ｂ・・・後方カメラ ４０Ｌ・・・左側方カメラ ４０Ｒ・・・右側方カメラ ４２・・・入力装置 ５０・・・出力装置 ５１・・・機械制御装置 １００・・・周辺監視システム ＡＰ、ＡＰ１～ＡＰ６・・・頭部画像位置 ＢＸ・・・ボックス ＨＤ・・・頭部 ＨＰ・・・仮想頭部位置 ＨＲｇ・・・ヘルメット画像 Ｍ１、Ｍ２・・・マスク領域 Ｐｒ、Ｐｒ１、Ｐｒ２、Ｐｒ１０～Ｐｒ１２・・・参照点 Ｒ１・・・はみ出し領域 Ｒ２・・・車体映り込み領域 ＲＰ・・・代表位置 ＴＲ、ＴＲ１、ＴＲ２、ＴＲ１０～ＴＲ１２・・・仮想平面領域 ＴＲｇ、ＴＲｇ３、ＴＲｇ４、ＴＲｇ５・・・識別処理対象画像領域 ＴＲｇｔ、ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５・・・正規化画像
1 ... Lower traveling body 2 ...
Claims (8)
前記撮像画像から人候補画像を抽出する抽出部を有し、
前記抽出部が抽出した人候補画像の数に基づいて前記撮像画像が人検知に不適な状態であるか否かを判定し、
前記撮像画像が人検知に不適な状態であると判定した場合、前記撮像画像が人検知に不適な状態である旨を通知する、
作業機械用周辺監視システム。 It is a peripheral monitoring system for a work machine that detects a person existing in the vicinity of the work machine by using an image taken by an image pickup device attached to the work machine.
It has an extraction unit that extracts a person candidate image from the captured image, and has an extraction unit.
Based on the number of human candidate images extracted by the extraction unit, it is determined whether or not the captured image is in a state unsuitable for human detection.
When it is determined that the captured image is in an unsuitable state for human detection, the captured image is notified that the captured image is in an unsuitable state for human detection.
Peripheral monitoring system for work machines.
前記撮像画像に基づいて、人らしさを表す値である評価値を算出し、算出された評価値に基づいて前記撮像画像が人検知に不適な状態であるか否かを判定し、
前記撮像画像が人検知に不適な状態である場合、前記撮像画像が人検知に不適な状態である旨を通知する、
作業機械用周辺監視システム。 It is a peripheral monitoring system for a work machine that detects a person existing in the vicinity of the work machine by using an image taken by an image pickup device attached to the work machine.
Based on the captured image, an evaluation value which is a value representing humanity is calculated, and based on the calculated evaluation value, it is determined whether or not the captured image is in an unsuitable state for human detection.
When the captured image is in a state unsuitable for human detection, the captured image is notified that the captured image is in a state unsuitable for human detection.
Peripheral monitoring system for work machines.
請求項１又は２に記載の作業機械用周辺監視システム。 When the captured image is in a state unsuitable for human detection, the captured image is recorded.
Peripheral monitoring system for work machines according to claim 1 or 2 .
請求項１乃至３の何れか一項に記載の作業機械用周辺監視システム。 If the captured image is in an unsuitable state for human detection, human detection is stopped.
The peripheral monitoring system for work machines according to any one of claims 1 to 3 .
請求項１乃至４の何れか一項に記載の作業機械用周辺監視システム。 When it is determined that the captured image is in an unsuitable state for human detection, the operator of the work machine is notified that the captured image is in an unsuitable state for human detection.
The peripheral monitoring system for work machines according to any one of claims 1 to 4 .
請求項５に記載の作業機械用周辺監視システム。 As a notification to the operator of the work machine that the captured image is in an unsuitable state for human detection, a text message indicating that the captured image is in an unsuitable state for human detection is displayed.
The peripheral monitoring system for work machines according to claim 5 .
請求項５又は６に記載の作業機械用周辺監視システム。 As a notification to the operator of the work machine that the captured image is in an unsuitable state for human detection, a voice message indicating that the captured image is in an unsuitable state for human detection is output.
Peripheral monitoring system for work machines according to claim 5 or 6 .
請求項１乃至７の何れか一項に記載の作業機械用周辺監視システム。 When it is determined that the captured image is in an unsuitable state for human detection, the operation content of the peripheral monitoring system for the work machine is changed.
The peripheral monitoring system for work machines according to any one of claims 1 to 7 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020075442A JP7077356B2 (en) | 2020-04-21 | 2020-04-21 | Peripheral monitoring system for work machines |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020075442A JP7077356B2 (en) | 2020-04-21 | 2020-04-21 | Peripheral monitoring system for work machines |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016039424A Division JP2017158033A (en) | 2016-03-01 | 2016-03-01 | Periphery monitoring system for work machine |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020127225A JP2020127225A (en) | 2020-08-20 |
| JP7077356B2 true JP7077356B2 (en) | 2022-05-30 |
Family
ID=72085022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020075442A Active JP7077356B2 (en) | 2020-04-21 | 2020-04-21 | Peripheral monitoring system for work machines |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7077356B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7453125B2 (en) | 2020-11-18 | 2024-03-19 | 大成建設株式会社 | Image processing device and image processing method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2529968B2 (en) | 1987-04-24 | 1996-09-04 | 松下電工株式会社 | Image sensor |
| JP2003312408A (en) | 2002-04-17 | 2003-11-06 | Toshiba Corp | Image diagnosing device, image diagnosing system of on- vehicle image monitoring device and passing vehicle monitoring device |
| JP2012124659A (en) | 2010-12-07 | 2012-06-28 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
| JP2015153295A (en) | 2014-02-18 | 2015-08-24 | クラリオン株式会社 | Environment recognition system, vehicle, and camera dirt detection method |
| WO2015186588A1 (en) | 2014-06-03 | 2015-12-10 | 住友重機械工業株式会社 | Human detection system for construction machine |
| WO2016017340A1 (en) | 2014-07-31 | 2016-02-04 | クラリオン株式会社 | Surrounding environment recognition device |
-
2020
- 2020-04-21 JP JP2020075442A patent/JP7077356B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2529968B2 (en) | 1987-04-24 | 1996-09-04 | 松下電工株式会社 | Image sensor |
| JP2003312408A (en) | 2002-04-17 | 2003-11-06 | Toshiba Corp | Image diagnosing device, image diagnosing system of on- vehicle image monitoring device and passing vehicle monitoring device |
| JP2012124659A (en) | 2010-12-07 | 2012-06-28 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
| JP2015153295A (en) | 2014-02-18 | 2015-08-24 | クラリオン株式会社 | Environment recognition system, vehicle, and camera dirt detection method |
| WO2015186588A1 (en) | 2014-06-03 | 2015-12-10 | 住友重機械工業株式会社 | Human detection system for construction machine |
| WO2016017340A1 (en) | 2014-07-31 | 2016-02-04 | クラリオン株式会社 | Surrounding environment recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020127225A (en) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6997066B2 (en) | Human detection system | |
| JP2017158033A (en) | Periphery monitoring system for work machine | |
| JP6474396B2 (en) | Human detection system and excavator | |
| JP6755672B2 (en) | Peripheral monitoring system for work machines | |
| WO2017094626A1 (en) | Periphery monitoring system for work machine | |
| JP4930046B2 (en) | Road surface discrimination method and road surface discrimination device | |
| JP7084521B2 (en) | Excavator | |
| JP2017102604A (en) | Periphery monitoring system for work machine | |
| JP6095817B1 (en) | Object detection device | |
| JP4946878B2 (en) | Image identification apparatus and program | |
| JP7077356B2 (en) | Peripheral monitoring system for work machines | |
| JP6662622B2 (en) | Perimeter monitoring system for work machine and construction machine equipped with perimeter monitoring system for work machine | |
| Zou et al. | Path voting based pavement crack detection from laser range images | |
| JP5290915B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2014142832A (en) | Image processing apparatus, control method of image processing apparatus, and program | |
| JP4941420B2 (en) | Target detection system | |
| JP6515021B2 (en) | Peripheral monitoring system for work machine | |
| JP6350018B2 (en) | Object detection device and element selection device | |
| JP6515020B2 (en) | Peripheral monitoring system for work machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210617 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220216 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220216 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220301 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220518 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7077356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |