JP7454461B2 - excavator - Google Patents
excavator Download PDFInfo
- Publication number
- JP7454461B2 JP7454461B2 JP2020120859A JP2020120859A JP7454461B2 JP 7454461 B2 JP7454461 B2 JP 7454461B2 JP 2020120859 A JP2020120859 A JP 2020120859A JP 2020120859 A JP2020120859 A JP 2020120859A JP 7454461 B2 JP7454461 B2 JP 7454461B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- output
- coordinates
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 description 173
- 238000012544 monitoring process Methods 0.000 description 133
- 238000001514 detection method Methods 0.000 description 60
- 238000010586 diagram Methods 0.000 description 54
- 238000000034 method Methods 0.000 description 40
- 238000006243 chemical reaction Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 23
- 230000009466 transformation Effects 0.000 description 19
- 239000013598 vector Substances 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 6
- 230000002265 prevention Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 102100029058 Coagulation factor XIII B chain Human genes 0.000 description 3
- 101000918350 Homo sapiens Coagulation factor XIII B chain Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 102100029057 Coagulation factor XIII A chain Human genes 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 101000918352 Homo sapiens Coagulation factor XIII A chain Proteins 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 102220098981 rs878854155 Human genes 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、ショベルに関する。 The present invention relates to an excavator.
従来、ショベルに搭載される障害物検出器の監視範囲内で作業者が検出された場合に警報音を発する周辺監視装置が知られている(例えば、特許文献1参照。)。また、ショベルの周囲に設定した作業エリア内に進入した作業者が共同作業者であるか否かをその作業者のヘルメットに取り付けられたLEDの発光パターンから判断して警報音を出力させるか否かを決定する警報システムが知られている(例えば、特許文献2参照。)。また、フォークリフトとその近傍(周り)で作業を行う作業者との間で通信を行い、この通信に基づいて警報音の出力を制御する安全装置が知られている(例えば、特許文献3参照。)。 2. Description of the Related Art Conventionally, there has been known a surrounding monitoring device that emits an alarm when a worker is detected within the monitoring range of an obstacle detector mounted on an excavator (for example, see Patent Document 1). In addition, whether or not a worker who has entered the work area set around the excavator is a co-worker is determined from the light emission pattern of the LED attached to the worker's helmet, and whether or not an alarm is output. There is a known alarm system that determines whether the Furthermore, a safety device is known that communicates between a forklift and a worker working near the forklift and controls the output of an alarm sound based on this communication (for example, see Patent Document 3). ).
しかしながら、特許文献1~3の技術は何れも、所定範囲内に進入した作業者がショベル等の作業者から見て何れの方向に存在する場合であっても、同じブザー又はスピーカから警報音を出力する。そのため、ショベル等の操作者は、警報音を聞いたとしても、作業者が何れの方向に存在するのかを直感的に把握することができない。
However, in all of the techniques of
上述の点に鑑み、本発明は、ショベルの周囲に存在する物体の位置をショベルの操作者が直感的に把握できるようにすることを目的とする。 In view of the above-mentioned points, an object of the present invention is to enable an operator of an excavator to intuitively grasp the positions of objects existing around the excavator.
上述の目的を達成するために、本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に旋回自在に搭載される上部旋回体と、前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、前記上部旋回体の左部に搭載され、前記上部旋回体の左斜め前方、左方、及び左斜め後方を撮像範囲に含む左側方カメラと、前記上部旋回体の右部に搭載され、前記上部旋回体の右斜め前方、右方、及び右斜め後方を撮像範囲に含む左側方カメラと、前記上部旋回体の後部に搭載され、前記上部旋回体の左斜め後方、後方、及び右斜め後方を撮像範囲に含む後方カメラと、前記上部旋回体に搭載される運転室と、前記運転室内に設置される表示部と、を備え、前記表示部に、前記左側方カメラ、前記右側方カメラ、及び前記後方カメラのうちの少なくとも一つの撮像範囲に対応する第1画像と、前記左側方カメラ、前記右側方カメラ、及び前記後方カメラの撮像画像を合成して生成される、前記下部走行体の向きとは無関係に、前記上部旋回体の左斜め前方、左方、左斜め後方、右斜め前方、右方、右斜め後方、及び後方の領域を同時に表示する、前記下部走行体に対して前記上部旋回体が旋回するときに旋回軸に対応する点を中心に回転する、前記上部旋回体の近傍を上空から見下ろした第2画像と、を同時に表示させ、前記第1画像が前記左側方カメラ又は前記右側方カメラの撮像範囲に対応する画像の場合、前記第1画像に映し出される空間の鉛直上方に対応する前記第1画像の上方は前記表示部の画面上方と一致し、前記第1画像が前記右側方カメラの撮像範囲に対応する画像の場合、前記第1画像は、前記右側方カメラが撮像する前記上部旋回体の右斜め前方、右方、及び右斜め後方を映し出す画像であり、前記第1画像が前記左側方カメラの撮像範囲に対応する画像の場合、前記第1画像は、前記左側方カメラが撮像する前記上部旋回体の左斜め前方、左方、及び左斜め後方を映し出す画像であり、前記左側方カメラ、前記右側方カメラ、及び前記後方カメラ、又は、前記左側方カメラ、前記右側方カメラ、及び前記後方カメラとは別に設けられるセンサの少なくとも一方により、物体の進入の有無を判定し、前記物体が進入してきた方向を含む、前記左側方カメラ、前記右側方カメラ、及び前記後方カメラのうちの少なくとも一つの撮像範囲に対応する前記第1画像を、前記第2画像の隣に表示させ、前記物体の進入の有無の判定結果に基づいて、前記第1画像に用いられる画像を切り換え、前記第1画像が前記左側方カメラ、前記右側方カメラ、及び、前記後方カメラのうちの一つの撮像範囲に対応する画像であるときの前記第2画像のサイズは、前記第1画像が前記左側方カメラ、前記右側方カメラ、及び、前記後方カメラのうちの二つの撮像範囲に対応する画像であるときの前記第2画像のサイズよりも大きく、前記物体の進入が無いときに表示される前記第2画像のサイズよりも小さい。
In order to achieve the above object, an excavator according to an embodiment of the present invention includes a lower traveling body, an upper rotating body rotatably mounted on the lower traveling body, and an upper rotating body attached to the upper rotating body and an attachment. a boom included, an arm attached to the boom and included in the attachment, and an arm mounted on the left part of the revolving upper structure, with the imaging range being diagonally forward to the left, to the left, and diagonally to the rear of the revolving upper structure; a left side camera that is mounted on the right side of the upper revolving body and whose imaging range includes the diagonally right front, right side, and right rear of the upper revolving body; a rear camera that is mounted and includes the diagonally left rear, the rear, and the diagonally right rear of the upper revolving body in an imaging range; a driver's cab mounted on the upper revolving body; and a display unit installed in the driver's cab; The display unit includes a first image corresponding to an imaging range of at least one of the left side camera, the right side camera, and the rear camera, and the left side camera, the right side camera, and the above. Regardless of the orientation of the lower traveling body, which is generated by combining images captured by rear cameras, the upper rotating body is diagonally left forward, leftward, diagonally left rearward, diagonally right forward, rightward, and diagonally right rearward of the upper rotating body. , and a region behind the rotating upper structure, which rotates around a point corresponding to a rotation axis when the upper rotating structure rotates relative to the lower traveling structure, and which looks down from the sky in the vicinity of the upper rotating structure. 2 images are simultaneously displayed, and if the first image is an image corresponding to the imaging range of the left side camera or the right side camera, the first image corresponds to the vertically upper part of the space projected in the first image. The upper part of the image corresponds to the upper part of the screen of the display unit, and if the first image is an image corresponding to the imaging range of the right camera, the first image is the upper part of the upper rotating body imaged by the right camera. If the first image is an image that corresponds to the imaging range of the left camera, the first image is an image that is captured by the left camera. It is an image showing the diagonally left front, left, and diagonally left rear of the upper revolving body, and the left camera, the right camera, and the rear camera, or the left camera, the right camera, and at least one of the sensors provided separately from the rear camera determines whether or not an object has entered, and includes the direction in which the object has entered, among the left camera, the right camera, and the rear camera. Displaying the first image corresponding to at least one imaging range next to the second image, switching the image used for the first image based on a determination result of whether or not the object has entered, When the first image is an image corresponding to an imaging range of one of the left side camera, the right side camera, and the rear camera, the size of the second image is such that the first image corresponds to the left side camera. The size of the second image is larger than the size of the second image when the image corresponds to the imaging range of two of the camera, the right side camera, and the rear camera, and the second image is displayed when the object does not enter. 2 smaller than the size of the image .
上述の手段により、ショベルの周囲に存在する物体の位置をショベルの操作者が直感的に把握できるようにするショベルを提供することができる。 With the above-described means, it is possible to provide a shovel that allows the shovel operator to intuitively grasp the positions of objects existing around the shovel.
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。 DESCRIPTION OF THE PREFERRED EMBODIMENTS The best mode for carrying out the present invention will be described below with reference to the drawings.
図1は、本発明の実施例に係る画像生成装置100の構成例を概略的に示すブロック図である。
FIG. 1 is a block diagram schematically showing a configuration example of an
画像生成装置100は、作業機械の周辺を監視する作業機械用周辺監視装置の1例であり、制御部1、カメラ2、入力部3、記憶部4、表示部5、人検出センサ6、及び警報出力部7で構成される。具体的には、画像生成装置100は、作業機械に搭載されたカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を操作者に提示する。また、画像生成装置100は、人検出センサ6の出力に基づいて、提示すべき出力画像の内容を切り換える。
The
図2は、画像生成装置100が搭載される作業機械としてのショベル60の構成例を示す図であり、ショベル60は、クローラ式の下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。
FIG. 2 is a diagram showing a configuration example of a
また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)及び人検出センサ6(右側方人検出センサ6R、後方人検出センサ6B)を備えている。なお、キャブ64内の操作者が視認し易い位置には表示部5が設置されている。また、キャブ64内には、右側内壁及び後側内壁に警報出力部7(右側方警報出力部7R、後方警報出力部7B)が設置されている。
The upper revolving
次に、画像生成装置100の各構成要素について説明する。
Next, each component of the
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。本実施例では、制御部1は、例えば、後述する座標対応付け手段10、画像生成手段11、人存否判定手段12、及び警報制御手段13のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。
The
カメラ2は、ショベル60の周囲を映し出す入力画像を取得するための装置である。本実施例では、カメラ2は、例えば、キャブ64にいる操作者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる右側方カメラ2R及び後方カメラ2Bである(図2参照。)。また、カメラ2は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
The
また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力する。また、カメラ2は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正する。
Further, the
入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
The
記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
The
表示部5は、画像情報を表示するための装置であり、例えば、ショベル60のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。
The
人検出センサ6は、ショベル60の周囲に存在する人を検出するための装置である。本実施例では、人検出センサ6は、例えば、キャブ64にいる操作者の死角となる領域に存在する人を検出できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)。
The
人検出センサ6は、人以外の物体から人を区別して検出するセンサであり、例えば、対応する監視空間内のエネルギ変化を検出するセンサであって、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等の出力信号を利用した動体検出センサを含む。本実施例では、人検出センサ6は、焦電型赤外線センサを用いたものであり、動体(移動する熱源)を人として検出する。また、右側方人検出センサ6Rの監視空間は、右側方カメラの撮像空間に含まれ、後方人検出センサ6Bの監視空間は、後方カメラ2Bの撮像空間に含まれる。
The
なお、人検出センサ6は、カメラ2と同様、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられてもよく、上部旋回体63の前面、左側面、右側面、及び後面のうちの何れか1つに取り付けられていてもよく、全ての面に取り付けられていてもよい。
Note that, like the
警報出力部7は、ショベル60の操作者に対する警報を出力する装置である。例えば、警報出力部7は、音及び光の少なくとも一方を出力する警報装置であり、ブザー、スピーカ等の音声出力装置、LED、フラッシュライト等の発光装置を含む。本実施例では、警報出力部7は、警報音を出力するブザーであり、キャブ64の右側内壁に取り付けられる右側方警報出力部7R、及び、キャブ64の後側内壁に取り付けられる後方警報出力部7Bで構成される(図2参照。)。
The
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。
In addition, the
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。)の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって生成される。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。 The "image to be processed" is an image that is generated based on an input image and is the subject of image conversion processing (e.g., scale conversion processing, affine transformation processing, distortion conversion processing, viewpoint conversion processing, etc.). Specifically, the "image to be processed" is an image suitable for image conversion processing, generated from an input image, for example, an input image taken by a camera capturing an image of the ground from above, which includes a horizontal image (e.g., the sky) due to its wide angle of view. More specifically, the input image is projected onto a specified spatial model so that the horizontal image is not displayed unnaturally (e.g., so that the sky is not treated as being on the ground), and the projected image projected onto the spatial model is then reprojected onto another two-dimensional plane. The image to be processed may be used as an output image without undergoing image conversion processing.
「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。 The "spatial model" is the projection target of the input image. Specifically, the "spatial model" is composed of one or more planes or curved surfaces, including at least a plane or curved surface other than the processing target image plane where the processing target image is located. The plane or curved surface other than the processing target image plane, which is the plane on which the processing target image is located, is, for example, a plane parallel to the processing target image plane, or a plane or curved surface forming an angle with the processing target image plane. .
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
Note that the
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3左図は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3右図は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。
FIG. 3 is a diagram showing an example of a spatial model MD onto which an input image is projected, and the left diagram in FIG. 3 shows the relationship between the
図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内側の平面領域R1とその側面内側の曲面領域R2とを有する。 As shown in FIG. 3, the space model MD has a semi-cylindrical shape, and has a flat region R1 inside the bottom surface and a curved surface region R2 inside the side surface thereof.
また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。 Further, FIG. 4 is a diagram showing an example of the relationship between the spatial model MD and the processing target image plane R3, where the processing target image plane R3 is, for example, a plane including the plane region R1 of the spatial model MD. For clarity, FIG. 4 shows the space model MD in a cylindrical shape rather than a semi-cylindrical shape as shown in FIG. It may be. The same applies to subsequent figures. Furthermore, as described above, the processing target image plane R3 may be a circular area that includes the plane area R1 of the spatial model MD, or may be an annular area that does not include the plane area R1 of the spatial model MD.
次に、制御部1が有する各種手段について説明する。
Next, various means included in the
座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段である。本実施例では、座標対応付け手段10は、例えば、予め設定された、或いは、入力部3を介して入力されるカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。なお、カメラ2に関する各種パラメータは、例えば、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け手段10は、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
The coordinate associating
なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
Note that, when not generating a processing target image, the coordinate matching means 10 associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3, and creates a spatial model/processing target of the correspondence relationship. Storage in the
画像生成手段11は、出力画像を生成するための手段である。本実施例では、画像生成手段11は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。
The image generating means 11 is a means for generating an output image. In the present embodiment, the image generating means 11 performs scale transformation, affine transformation, or distortion transformation on the processing target image, for example, to calculate the coordinates on the processing target image plane R3 and the output image plane where the output image is located. Correlate with the coordinates. Then, the image generating means 11 stores the correspondence relationship in the processing target image/output
また、画像生成手段11は、予め設定された、或いは、入力部3を介して入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
The image generating means 11 also associates coordinates on the processing target image plane R3 with coordinates on the output image plane where the output image is located, based on various parameters related to the virtual camera that are set in advance or input via the
なお、画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。 The image generating means 11 may generate an output image by changing the scale of the image to be processed without using the concept of a virtual camera.
また、画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
Furthermore, when not generating a processing target image, the image generation means 11 associates coordinates on the spatial model MD with coordinates on the output image plane according to the image conversion processing performed. Then, the image generation means 11 generates an output image by associating the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image/spatial
また、画像生成手段11は、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成手段11は、例えば、人存否判定手段12の判定結果に基づいて出力画像の生成に用いる入力画像を切り換える。なお、出力画像の生成に用いる入力画像の切り換え、及び、切り換えた入力画像に基づいて生成される出力画像についてはその詳細を後述する。 Further, the image generation means 11 switches the content of the output image based on the determination result of the presence/absence determination means 12. Specifically, the image generation means 11 switches the input image used to generate the output image based on the determination result of the presence/absence determination means 12, for example. Note that details regarding switching of input images used to generate an output image and output images generated based on the switched input images will be described later.
人存否判定手段12は、作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定する手段である。本実施例では、人存否判定手段12は、人検出センサ6の出力に基づいてショベル60の周囲の人の存否を判定する。
The person presence/absence determination means 12 is a means for determining the presence or absence of a person in each of a plurality of monitoring spaces set around the work machine. In this embodiment, the person presence/absence determination means 12 determines the presence or absence of people around the
また、人存否判定手段12は、カメラ2が撮像した入力画像に基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。具体的には、人存否判定手段12は、オプティカルフロー、パターンマッチング等の画像処理技術を用いて作業機械の周囲の人の存否を判定してもよい。なお、人存否判定手段12は、カメラ2とは別の画像センサの出力に基づいて作業機械の周囲の人の存否を判定してもよい。
Further, the person presence/
或いは、人存否判定手段12は、人検出センサ6の出力とカメラ2等の画像センサの出力とに基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。
Alternatively, the person presence/
警報制御手段13は、警報出力部7を制御する手段である。本実施例では、警報制御手段13は、人存否判定手段12の判定結果に基づいて警報出力部7を制御する。なお、警報制御手段13による警報出力部7の制御についてはその詳細を後述する。
The alarm control means 13 is means for controlling the
次に、座標対応付け手段10及び画像生成手段11による具体的な処理の一例について説明する。 Next, an example of specific processing by the coordinate matching means 10 and the image generating means 11 will be explained.
座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。 The coordinate matching means 10 can use, for example, Hamilton's quaternion to match the coordinates on the input image plane and the coordinates on the spatial model.
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表される。空間モデルは、XYZ直交座標系における立体面として表される。
FIG. 5 is a diagram for explaining the correspondence between coordinates on the input image plane and coordinates on the spatial model. The input image plane of the
最初に、座標対応付け手段10は、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を-W軸にそれぞれ一致させるようXYZ座標系を回転させる。空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するためである。なお、「-W軸」の符号「-」は、Z軸の方向と-W軸の方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を-Z方向としていることに起因する。 First, the coordinate matching means 10 moves the origin of the XYZ coordinate system in parallel to the optical center C (the origin of the UVW coordinate system), and then moves the X axis to the U axis, the Y axis to the V axis, and the Z axis. Rotate the XYZ coordinate system so that they coincide with the -W axis. This is to convert coordinates on the spatial model (coordinates on the XYZ coordinate system) to coordinates on the input image plane (coordinates on the UVW coordinate system). Note that the symbol "-" in "-W axis" means that the direction of the Z axis and the direction of the -W axis are opposite. This is because the UVW coordinate system has the front of the camera in the +W direction, and the XYZ coordinate system has the vertically downward direction in the -Z direction.
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有するので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。
Note that when there are
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が-W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。そのため、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
The above conversion involves moving the XYZ coordinate system in parallel so that the optical center C of
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、 By the way, the rotation to make one vector A coincide with another vector B corresponds to the process of rotating by the angle formed by vector A and vector B around the normal to the plane that vectors A and B span. . Then, if that angle is θ, then from the inner product of vector A and vector B, the angle θ is
で表される。
It is expressed as
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から Also, the unit vector N of the normal to the plane that vectors A and B span is calculated from the cross product of vectors A and B.
で表されることとなる。
It will be expressed as
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、 In addition, when i, j, and k are each imaginary unit of quaternion,
を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、
In this example, the quaternion Q is a supercomplex number that satisfies the following:
で表され、四元数Qの共役四元数は、
The conjugate quaternion of the quaternion Q is
で表される。
It is expressed as
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。 The quaternion Q can express a three-dimensional vector (a, b, c) with pure imaginary components a, b, c, while setting the real component t to 0 (zero). , c can also represent a rotational motion about an arbitrary vector.
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Qは、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。 Furthermore, the quaternion Q can be expressed as a single rotational movement by integrating a plurality of consecutive rotational movements. Specifically, the quaternion Q is, for example, when an arbitrary point S (sx, sy, sz) is rotated by an angle θ around an arbitrary unit vector C (l, m, n). Point D (ex, ey, ez) can be expressed as follows.
ここで、本実施例において、Z軸を-W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、
Here, in this example, if the quaternion representing the rotation that makes the Z axis coincide with the -W axis is Qz, the point X on the X axis in the XYZ coordinate system is moved to the point X', so the point X' is
で表される。
It is expressed as
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を-W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、 In addition, in this example, if Qx is the quaternion that represents the rotation that makes the line connecting point X' on the , the quaternion R that represents the rotation that makes the X axis coincide with the U axis is
で表される。
It is expressed as
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、 From the above, when an arbitrary coordinate P on the spatial model (XYZ coordinate system) is expressed as a coordinate on the input image plane (UVW coordinate system), the coordinate P' is
で表される。また、四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け手段10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。
It is expressed as In addition, since the quaternion R is unchanged for each
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。なお、線分CP'は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分である。
After converting the coordinates on the spatial model (XYZ coordinate system) to coordinates on the input image plane (UVW coordinate system), the coordinate matching means 10 converts the coordinates formed by the line segment CP' and the optical axis G of the
また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける偏角φ、及び線分EP'の長さを算出する。なお、線分EP'は、平面Hと光軸Gとの交点Eと、座標P'とを結ぶ線分であり、偏角φは、平面HにおけるU'軸と線分EP'とが形成する角度である。 Further, the coordinate matching means 10 calculates the declination angle φ and the length of the line segment EP' in a plane H that is parallel to the input image plane R4 of the camera 2 (for example, the CCD plane) and includes the coordinate P'. Note that the line segment EP' is a line segment that connects the intersection E of the plane H and the optical axis G and the coordinate P', and the argument φ is the line segment formed by the U' axis in the plane H and the line segment EP'. This is the angle.
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。 In the optical system of a camera, the image height h is usually a function of the incident angle α and the focal length f. Therefore, the coordinate mapping means 10 uses normal projection (h=ftanα), orthogonal projection (h=fsinα), stereoscopic projection (h=2ftan(α/2)), and isometric solid angle projection (h=2fsin(α/2) )), an appropriate projection method such as equidistant projection (h=fα) is selected to calculate the image height h.
その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け手段10は、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。 Thereafter, the coordinate matching means 10 decomposes the calculated image height h into a U component and a V component on the UV coordinate system using the argument φ, and calculates the calculated image height h into a U component and a V component on the UV coordinate system, and calculates the calculated image height h into a value corresponding to the pixel size per pixel of the input image plane R4. Divide. Thereby, the coordinate association means 10 can associate the coordinates P (P') on the spatial model MD with the coordinates on the input image plane R4.
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、 Note that if the pixel size per pixel in the U-axis direction of the input image plane R4 is aU , and the pixel size per pixel in the V-axis direction of the input image plane R4 is aV , then the coordinate P on the spatial model MD is The coordinates (u, v) on the input image plane R4 corresponding to (P') are:
で表される。
It is expressed as
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
In this way, the coordinate association means 10 associates the coordinates on the spatial model MD with the coordinates on one or more input image planes R4 existing for each camera, and identifies the coordinates on the spatial model MD and the camera identifier. , and the coordinates on the input image plane R4 are stored in association with each other in the input image/spatial
また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。 Further, since the coordinate matching means 10 calculates coordinate transformation using quaternions, it has the advantage that gimbal lock does not occur, unlike when calculating coordinate transformation using Euler angles. . However, the coordinate matching means 10 is not limited to calculating coordinate transformation using quaternions, and may calculate coordinate transformation using Euler angles.
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。 Note that if it is possible to associate the coordinates with coordinates on a plurality of input image planes R4, the coordinate association means 10 associates the coordinates P (P') on the spatial model MD with the input related to the camera whose incident angle α is the smallest. It may be made to correspond to the coordinates on the image plane R4, or it may be made to correspond to the coordinates on the input image plane R4 selected by the operator.
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。 Next, a process of reprojecting the coordinates on the curved surface area R2 (coordinates having a component in the Z-axis direction) among the coordinates on the spatial model MD onto the processing target image plane R3 on the XY plane will be described.
図6は、座標対応付け手段10による座標間の対応付けを説明するための図である。F6Aは、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図である。座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
FIG. 6 is a diagram for explaining the correspondence between coordinates by the coordinate correspondence means 10. F6A is a diagram showing the correspondence between the coordinates on the input image plane R4 of the
F6Aの例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1-L1及び線分K2-L2は共にカメラ2の光学中心Cを通過する。
In the example of F6A, the coordinate association means 10 associates the coordinate K1 on the input image plane R4 of the
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。
When the
具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1-L1及び線分K2-L2がカメラ2の光学中心Cを通過することはない。
Specifically, the coordinate matching means 10 uses a predetermined function (for example, orthogonal projection (h=fsinα), stereoscopic projection (h=2ftan(α/2)), isometric solid angle projection (h=2fsin(α/2)), 2)), equidistant projection (h=fα), etc.), the coordinates on the input image plane are associated with the coordinates on the spatial model MD. In this case, the line segment K1-L1 and the line segment K2-L2 do not pass through the optical center C of the
F6Bは、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図である。座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入する。そして、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。 F6B is a diagram showing the correspondence between the coordinates on the curved surface area R2 of the spatial model MD and the coordinates on the processing target image plane R3. The coordinate matching means 10 introduces a group of parallel lines PL located on the XZ plane and forming an angle β with the processing target image plane R3. Then, the coordinate matching means 10 causes the coordinates on the curved surface area R2 of the spatial model MD and the coordinates on the processing target image plane R3 corresponding to the coordinates to both lie on one of the parallel line group PL. , associate both coordinates.
F6Bの例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付ける。
In the example of F6B, the coordinate associating
なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることも可能である。しかしながら、F6Bの例では、平面領域R1と処理対象画像平面R3とが共通の平面となっている。そのため、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有する。 Note that the coordinate mapping means 10 can also map the coordinates on the plane region R1 of the spatial model MD to the coordinates on the processing target image plane R3 using the parallel line group PL in the same way as the coordinates on the curved surface region R2. be. However, in the example of F6B, the plane region R1 and the processing target image plane R3 are a common plane. Therefore, the coordinate L1 on the plane region R1 of the spatial model MD and the coordinate M1 on the processing target image plane R3 have the same coordinate value.
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
In this way, the coordinate association means 10 associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3, and associates the coordinates on the spatial model MD and the coordinates on the processing target image plane R3. and stored in the spatial model/processing target
F6Cは、処理対象画像平面R3上の座標と、一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図である。画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
F6C is a diagram showing the correspondence between the coordinates on the processing target image plane R3 and the coordinates on the output image plane R5 of the
F6Cの例では、画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1-N1及び線分M2-N2は共に仮想カメラ2Vの光学中心CVを通過する。
In the example of F6C, the image generation means 11 associates the coordinate N1 on the output image plane R5 of the
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。
Note that when the
具体的には、画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1-N1及び線分M2-N2が仮想カメラ2Vの光学中心CVを通過することはない。
Specifically, the image generating means 11 generates a predetermined function (for example, orthogonal projection (h=fsinα), stereoscopic projection (h=2ftan(α/2)), isometric solid angle projection (h=2fsin(α/2) )), equidistant projection (h=fα), etc.), the coordinates on the output image plane R5 are associated with the coordinates on the processing target image plane R3. In this case, the line segment M1-N1 and the line segment M2-N2 do not pass through the optical center CV of the
このようにして、画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
In this way, the image generating means 11 associates the coordinates on the output image plane R5 with the coordinates on the processing target image plane R3, and the coordinates on the output image plane R5 and the coordinates on the processing target image plane R3. The images are stored in the processing target image/output
なお、F6Dは、F6A~F6Cを組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
Note that F6D is a diagram combining F6A to F6C, and shows the mutual positional relationship of the
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。 Next, with reference to FIG. 7, the effect of the group of parallel lines PL introduced by the coordinate matching means 10 in order to match the coordinates on the spatial model MD and the coordinates on the processing target image plane R3 will be explained.
図7左図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図である。一方、図7右図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7左図及び図7右図における空間モデルMDの曲面領域R2上の座標La~Ldのそれぞれは、処理対象画像平面R3上の座標Ma~Mdのそれぞれに対応する。また、図7左図における座標La~Ldのそれぞれの間隔は、図7右図における座標La~Ldのそれぞれの間隔と等しい。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。 The left diagram in FIG. 7 is a diagram when an angle β is formed between the group of parallel lines PL located on the XZ plane and the processing target image plane R3. On the other hand, the right diagram in FIG. 7 is a diagram when an angle β1 (β1>β) is formed between the parallel line group PL located on the XZ plane and the processing target image plane R3. Further, each of the coordinates La to Ld on the curved surface region R2 of the spatial model MD in the left diagram of FIG. 7 and the right diagram of FIG. 7 correspond to the coordinates Ma to Md on the processing target image plane R3, respectively. Furthermore, the intervals between the coordinates La to Ld in the left diagram of FIG. 7 are equal to the intervals between the coordinates La to Ld in the right diagram of FIG. Note that the parallel line group PL is assumed to exist on the XZ plane for the purpose of explanation, but in reality, it exists so as to extend radially from all points on the Z axis toward the processing target image plane R3. do. Note that the Z axis in this case is referred to as a "reprojection axis."
図7左図及び図7右図で示されるように、処理対象画像平面R3上の座標Ma~Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma~Mdのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。 As shown in the left diagram of FIG. 7 and the right diagram of FIG. 7, the distance between the coordinates Ma to Md on the processing target image plane R3 increases as the angle between the parallel line group PL and the processing target image plane R3 increases. decreases linearly as That is, it uniformly decreases regardless of the distance between the curved surface area R2 of the spatial model MD and each of the coordinates Ma to Md. On the other hand, in the example of FIG. 7, the coordinate group on the plane region R1 of the spatial model MD is not converted to the coordinate group on the processing target image plane R3, so the interval between the coordinate groups does not change. .
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。 The change in the interval between these coordinate groups is such that only the image portion corresponding to the image projected onto the curved surface area R2 of the spatial model MD is linearly expanded or means to be reduced.
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。 Next, with reference to FIG. 8, an alternative example of the group of parallel lines PL introduced by the coordinate matching means 10 in order to match the coordinates on the spatial model MD and the coordinates on the processing target image plane R3 will be described.
図8左図は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図である。一方、図8右図は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8左図及び図8右図における空間モデルMDの曲面領域R2上の座標La~Ldのそれぞれは、処理対象画像平面R3上の座標Ma~Mdのそれぞれに対応する。なお、図8左図の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。また、図8左図における座標La~Ldのそれぞれの間隔は、図8右図における座標La~Ldのそれぞれの間隔と等しい。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、図7と同様、この場合のZ軸を「再投影軸」と称する。 The left diagram in FIG. 8 is a diagram in which all the auxiliary line groups AL located on the XZ plane extend from the starting point T1 on the Z axis toward the processing target image plane R3. On the other hand, the right diagram in FIG. 8 is a diagram in which all the auxiliary line groups AL extend from the starting point T2 (T2>T1) on the Z-axis toward the processing target image plane R3. Further, each of the coordinates La to Ld on the curved surface area R2 of the spatial model MD in the left diagram in FIG. 8 and the right diagram in FIG. 8 corresponds to the coordinates Ma to Md on the processing target image plane R3, respectively. In the example shown in the left diagram of FIG. 8, the coordinates Mc and Md are not shown because they are outside the area of the processing target image plane R3. Further, the intervals between the coordinates La to Ld in the left diagram of FIG. 8 are equal to the intervals between the coordinates La to Ld in the right diagram of FIG. Although the auxiliary line group AL is assumed to exist on the XZ plane for the purpose of explanation, in reality, it exists so as to extend radially from an arbitrary point on the Z axis toward the processing target image plane R3. do. Note that, similarly to FIG. 7, the Z axis in this case is referred to as the "reprojection axis."
図8左図及び図8右図で示されるように、処理対象画像平面R3上の座標Ma~Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma~Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。 As shown in the left diagram of FIG. 8 and the right diagram of FIG. decreases non-linearly as increases. That is, the greater the distance between the curved surface region R2 of the spatial model MD and each of the coordinates Ma to Md, the greater the decrease in the respective intervals. On the other hand, in the example of FIG. 8, the coordinate group on the plane region R1 of the spatial model MD is not converted to the coordinate group on the processing target image plane R3, so the interval between the coordinate groups does not change. .
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。 As in the case of the parallel line group PL, the change in the interval between these coordinate groups corresponds to the image projected onto the curved surface area R2 of the spatial model MD in the image portion on the output image plane R5 (see FIG. 6). This means that only the image portion is non-linearly enlarged or reduced.
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置100は、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。
In this way, the
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1~ステップS3)及び出力画像生成処理(ステップS4~ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されている。
Next, referring to FIG. 9, the
最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
First, the
具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得する。そして、座標対応付け手段10は、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
Specifically, the coordinate matching means 10 acquires the angle formed between the group of parallel lines PL and the processing target image plane R3. Then, the coordinate matching means 10 calculates a point where one of the parallel lines PL extending from one coordinate on the processing target image plane R3 intersects with the curved surface area R2 of the spatial model MD. Then, the coordinate mapping means 10 derives the coordinate on the curved surface area R2 corresponding to the calculated point as one coordinate on the curved surface area R2 corresponding to that one coordinate on the processing target image plane R3, and calculates the correspondence relationship. It is stored in the spatial model/processing target
また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
Furthermore, when one coordinate on the processing target image plane R3 matches one coordinate on the plane region R1 of the spatial model MD, the coordinate matching means 10 converts the one coordinate on the processing target image plane R1 into the processing target image. One coordinate corresponding to that one coordinate on the plane R3 is derived, and the correspondence relationship is stored in the spatial model/processing target
その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
After that, the
具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得する。そして、座標対応付け手段10は、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
Specifically, the coordinate matching means 10 acquires the coordinates of the optical center C of the
その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。そして、制御部1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返す。
After that, the
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御部1は、画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
On the other hand, if the
具体的には、画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成手段11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
Specifically, the
或いは、画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
Alternatively, when generating an output image using the
或いは、画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得する。そして、画像生成手段11は、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出する。そして、画像生成手段11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出す。このようにして、画像生成手段11は、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
Alternatively, when generating an output image using the
その後、制御部1の画像生成手段11は、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照する。そして、画像生成手段11は、入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿る。そして、画像生成手段11は、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。
Thereafter, the image generation means 11 of the
その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。そして、制御部1は、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返す。
After that, the
一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
On the other hand, if the
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。
Note that the
以上の構成により、画像生成装置100は、ショベル60の周囲の物体とショベル60との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
With the above configuration, the
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行する。これにより、画像生成装置100は、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置100は、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。
Furthermore, the
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
Furthermore, when enlarging or reducing only the image corresponding to the curved surface region R2 of the spatial model MD, the
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
Furthermore, when changing the appearance of the output image, the
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
Similarly, when changing the viewpoint of the output image, the
図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。
FIG. 10 is a display example when the output image generated using the input images of the two cameras 2 (the
画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。そして、画像生成装置100は、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。このようにして、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する出力画像を生成する。以下では、このような出力画像を周辺監視用仮想視点画像と称する。
The
なお、周辺監視用仮想視点画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成される。
Note that when the
また、周辺監視用仮想視点画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成される。そのため、周辺監視用仮想視点画像は、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
Further, the virtual viewpoint image for surroundings monitoring is trimmed into a circle so that the image when the
なお、空間モデルMDの半径は、例えば、5メートルである。また、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に物体(例えば、作業者である。)が存在する場合にその物体が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。
Note that the radius of the spatial model MD is, for example, 5 meters. In addition, the angle formed between the parallel line group PL and the processing target image plane R3 or the starting point height of the auxiliary line group AL is the maximum reachable distance of the excavation attachment E from the turning center of the shovel 60 (for example, 12 meters). The setting is such that when an object (for example, a worker) is located at a distance of 7 mm or more, the object is displayed sufficiently large (for example, 7 mm or more) on the
更に、周辺監視用仮想視点画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置してもよい。ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、周辺監視用仮想視点画像は、方位等の各種情報を含む額縁画像をその周囲に配置してもよい。
Furthermore, in the virtual viewpoint image for surroundings monitoring, the CG image of the
次に、図11~図14を参照しながら、画像生成装置100が生成する周辺監視用仮想視点画像の詳細について説明する。
Next, details of the surroundings monitoring virtual viewpoint image generated by the
図11は、画像生成装置100を搭載するショベル60の上面図である。図11に示す実施例では、ショベル60は、3台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)と3台の人検出センサ6(左側方人検出センサ6L、右側方人検出センサ6R、及び後方人検出センサ6B)とを備える。なお、図11の一点鎖線で示す領域CL、CR、CBは、それぞれ、左側方カメラ2L、右側方カメラ2R、後方カメラ2Bの撮像空間を示す。また、図11の点線で示す領域ZL、ZR、ZBは、それぞれ、左側方人検出センサ6L、右側方人検出センサ6R、後方人検出センサ6Bの監視空間を示す。また、ショベル60は、キャブ64内に、表示部5と、3台の警報出力部7(左側方警報出力部7L、右側方警報出力部7R、及び後方警報出力部7B)とを備える。
FIG. 11 is a top view of the
なお、本実施例では、人検出センサ6の監視空間がカメラ2の撮像空間よりも狭いが、人検出センサ6の監視空間は、カメラ2の撮像空間と同じでもよく、カメラ2の撮像空間より広くてもよい。また、人検出センサ6の監視空間は、カメラ2の撮像空間内において、ショベル60の近傍に位置するが、ショベル60からより遠い領域にあってもよい。また、人検出センサ6の監視空間は、カメラ2の撮像空間が重複する部分において、重複部分を有する。例えば、右側方カメラ2Rの撮像空間CRと後方カメラ2Bの撮像空間CBとの重複部分において、右側方人検出センサ6Rの監視空間ZRは、後方人検出センサ6Bの監視空間ZBと重複する。しかしながら、人検出センサ6の監視空間は、重複が生じないように配置されてもよい。
In this embodiment, the monitoring space of the
図12は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
FIG. 12 is a diagram showing input images of the three
画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する周辺監視用仮想視点画像を生成する。なお、周辺監視用仮想視点画像の中央に表示される画像は、ショベル60のCG画像60CGである。
The
図12において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像空間と後方カメラ2Bの撮像空間との重複部分内に人物を捉えている(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)。
In FIG. 12, the input image of the
しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複部分内の人物を消失させてしまう(出力画像内の一点鎖線で囲まれる領域R12参照。)。 However, if the coordinates on the output image plane are associated with the coordinates on the input image plane for the camera with the smallest angle of incidence, the output image will eliminate the person in the overlapped area (one point in the output image will disappear). (See region R12 surrounded by a chain line.)
そこで、画像生成装置100は、重複部分に対応する出力画像部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域とを混在させ、重複部分内の物体が消失するのを防止する。
Therefore, the
図13は、2つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理の一例であるストライプパタン処理を説明するための図である。 FIG. 13 is a diagram for explaining stripe pattern processing, which is an example of image loss prevention processing that prevents objects from disappearing in overlapping portions of imaging spaces of two cameras.
F13Aは、右側方カメラ2Rの撮像空間と後方カメラ2Bの撮像空間との重複部分に対応する出力画像部分を示す図であり、図12の点線で示す矩形領域R13に対応する。
F13A is a diagram showing an output image portion corresponding to the overlapping portion of the imaging space of the
また、F13Aにおいて、灰色で塗り潰された領域PR1は、後方カメラ2Bの入力画像部分が配置される画像領域であり、領域PR1に対応する出力画像平面上の各座標には後方カメラ2Bの入力画像平面上の座標が対応付けられる。
In addition, in F13A, a gray-filled area PR1 is an image area where the input image portion of the
一方、白色で塗り潰された領域PR2は、右側方カメラ2Rの入力画像部分が配置される画像領域であり、領域PR2に対応する出力画像平面上の各座標には右側方カメラ2Rの入力画像平面上の座標が対応付けられる。
On the other hand, the area PR2 filled in white is an image area where the input image part of the
本実施例では、領域PR1と領域PR2とが縞模様(ストライプパタン処理)を形成するように配置され、領域PR1と領域PR2とが縞状に交互に並ぶ部分の境界線は、ショベル60の旋回中心を中心とする水平面上の同心円によって定められる。
In this embodiment, the region PR1 and the region PR2 are arranged to form a striped pattern (stripe pattern processing), and the boundary line of the portion where the region PR1 and the region PR2 are arranged alternately in a striped pattern is determined by the rotation of the
F13Bは、ショベル60の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ2B及び右側方カメラ2Rの双方によって撮像される空間領域の現在の状況を示す。また、F13Bは、ショベル60の右斜め後方に棒状の立体物OBが存在することを示す。
F13B is a top view showing the situation of the space area diagonally to the right rear of the
F13Cは、F13Bが示す空間領域を後方カメラ2B及び右側方カメラ2Rで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。
F13C indicates a part of the output image generated based on the input image obtained by actually capturing the spatial region indicated by F13B with the
具体的には、画像OB1は、後方カメラ2Bの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、後方カメラ2Bと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB1は、後方カメラ2Bの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。
Specifically, the image OB1 is obtained by expanding the image of the three-dimensional object OB in the input image of the
また、画像OB2は、右側方カメラ2Rの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、右側方カメラ2Rと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB2は、右側方カメラ2Rの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。
Image OB2 represents an image of the three-dimensional object OB in the input image of the
このように、画像生成装置100は、重複部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域PR1と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域PR2とを混在させる。その結果、画像生成装置100は、1つの立体物OBに関する2つの画像OB1及び画像OB2の双方を出力画像上に表示させ、立体物OBが出力画像から消失するのを防止する。
In this way, the
図14は、図12の出力画像と、図12の出力画像に画像消失防止処理(ストライプパタン処理)を適用することで得られる出力画像との違いを表す対比図であり、図14上図が図12の出力画像を示し、図14下図が画像消失防止処理(ストライプパタン処理)を適用した後の出力画像を示す。図14上図における一点鎖線で囲まれる領域R12では人物が消失しているのに対し、図14下図における一点鎖線で囲まれる領域R14では人物が消失せずに表示されている。 FIG. 14 is a comparison diagram showing the difference between the output image in FIG. 12 and the output image obtained by applying image loss prevention processing (stripe pattern processing) to the output image in FIG. The output image of FIG. 12 is shown, and the lower part of FIG. 14 shows the output image after applying the image loss prevention processing (stripe pattern processing). While the person has disappeared in the region R12 surrounded by the dashed-dotted line in the upper diagram of FIG. 14, the person is displayed without disappearing in the region R14 surrounded by the dashed-dotted line in the lower diagram of FIG.
なお、画像生成装置100は、ストライプパタン処理の代わりに、メッシュパタン処理、平均化処理等を適用して重複部分内の物体の消失を防止してもよい。具体的には、画像生成装置100は、平均化処理により、2つのカメラのそれぞれの入力画像における対応する画素の値(例えば、輝度値である。)の平均値を、重複部分に対応する出力画像部分の画素の値として採用する。或いは、画像生成装置100は、メッシュパタン処理により、重複部分に対応する出力画像部分において、一方のカメラの入力画像における画素の値が対応付けられる領域と、他方のカメラの入力画像における画素の値が対応付けられる領域とを網模様(メッシュパタン)を形成するように配置させる。これにより、画像生成装置100は、重複部分内の物体が消失するのを防止する。
Note that the
次に、図15~図17を参照して、画像生成手段11が、人存否判定手段12の判定結果に基づいて複数の入力画像から出力画像の生成に用いる入力画像を決定する処理(以下、「第1入力画像決定処理」とする。)について説明する。なお、図15は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図であり、図12に対応する。また、図16は、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表である。また、図17は、第1入力画像決定処理で決定された入力画像に基づいて生成される出力画像の表示例である。
Next, with reference to FIGS. 15 to 17, the image generation means 11 performs a process (hereinafter referred to as (hereinafter referred to as "first input image determination processing") will be explained. Note that FIG. 15 is a diagram showing input images of each of the three
図15に示すように、画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像と、ショベル60から水平方向に周囲を見た画像とを同時に表示する周辺監視用仮想視点画像を生成する。
As shown in FIG. 15, the
また、図15において、左側方カメラ2L、後方カメラ2B、及び右側方カメラ2Rのそれぞれの入力画像は、作業者が3人ずつ存在する状態を示す。また、出力画像は、ショベル60の周囲に9人の作業者が存在する状態を示す。
Moreover, in FIG. 15, each input image of the
ここで、図16の対応表を参照して、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係について説明する。なお、○印は、人存否判定手段12により人が存在すると判定されたことを表し、×印は、人が存在しないと判定されたことを表す。
Here, with reference to the correspondence table of FIG. 16, the correspondence between the determination result of the presence/
パターン1は、左側方監視空間ZLのみで人が存在すると判定され、後方監視空間ZB及び右側方監視空間ZRでは人が存在しないと判定された場合に、左側方カメラ2Lの入力画像を用いて出力画像が生成されることを表す。このパターン1は、例えば、ショベル60の左側方のみに作業者(この例では3人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D1で示すように、3人の作業者を捉えた左側方カメラ2Lの入力画像をそのまま出力画像として出力する。なお、以下では、入力画像をそのまま用いた出力画像を「スルー画像」と称する。
パターン2は、後方監視空間ZBのみで人が存在すると判定され、左側方監視空間ZL及び右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2Bの入力画像を用いて出力画像が生成されることを表す。このパターン2は、例えば、ショベル60の後方のみに作業者(この例では3人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D2で示すように、3人の作業者を捉えた後方カメラ2Bの入力画像をそのまま出力画像として出力する。
パターン3は、右側方監視空間ZRのみで人が存在すると判定され、左側方監視空間ZL及び後方監視空間ZBでは人が存在しないと判定された場合に、右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターン3は、例えば、ショベル60の右側方のみに作業者(この例では3人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D3で示すように、3人の作業者を捉えた右側方カメラ2Rの入力画像をそのまま出力画像として出力する。
パターン4は、左側方監視空間ZL及び後方監視空間ZBで人が存在すると判定され、右側方監視空間ZRでは人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン4は、例えば、ショベル60の左側方及び後方に作業者(この例では3人ずつ合計6人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D4で示すように、3つの入力画像に基づいて生成する6人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
パターン5は、後方監視空間ZB及び右側方監視空間ZRで人が存在すると判定され、左側方監視空間ZLでは人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン5は、例えば、ショベル60の後方及び右側方に作業者(この例では3人ずつ合計6人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D5で示すように、3つの入力画像に基づいて生成する6人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
パターン6は、左側方監視空間ZL及び右側方監視空間ZRで人が存在すると判定され、後方監視空間ZBでは人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン6は、例えば、ショベル60の左側方及び右側方に作業者(この例では3人ずつ合計6人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D6で示すように、3つの入力画像に基づいて生成する6人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
パターン7は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在すると判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン7は、例えば、ショベル60の左側方、後方、及び右側方に作業者(この例では3人ずつ合計9人)が存在する場合に採用される。画像生成手段11は、図15の出力画像で示すように、3つの入力画像に基づいて生成する9人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
パターン8は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン8は、例えば、ショベル60の左側方、後方、及び右側方に作業者が存在しない場合に採用される。画像生成手段11は、図17の出力画像D7で示すように、3つの入力画像に基づいて生成する、周囲に作業者が存在しない状態を映し出す周辺監視用仮想視点画像を出力画像として出力する。
In
上述のように、画像生成手段11は、3つの監視空間のうちの1つのみで人が存在すると判定された場合には、対応するカメラのスルー画像を出力画像として出力する。監視空間に存在する人を表示部5上にできるだけ大きく表示させるためである。一方で、画像生成手段11は、3つの監視空間の2つ以上で人が存在すると判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。1つのスルー画像のみではショベル60の周囲に存在する全ての人を表示部5上に表示させることができないためであり、また、周辺監視用仮想視点画像を出力すればショベル60の周囲に存在する全ての人を表示部5上に表示させることができるためである。また、画像生成手段11は、3つの監視空間の何れにも人が存在しないと判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。拡大表示すべき人が存在しないためであり、また、ショベル60の周囲に存在する人以外の他の物体を広く監視できるようにするためである。
As described above, when it is determined that a person is present in only one of the three monitoring spaces, the image generating means 11 outputs the through image of the corresponding camera as the output image. This is to display people present in the monitoring space on the
また、画像生成手段11は、スルー画像を表示する場合には、何れの入力画像が用いられたかが分かるようなテキストメッセージを表示してもよい。 Further, when displaying a through image, the image generating means 11 may display a text message that allows the user to know which input image was used.
次に、図18~図20を参照して、人存否判定手段12の判定結果に基づいて複数の入力画像から出力画像の生成に用いる入力画像を決定する処理の別の例(以下、「第2入力画像決定処理」とする。)について説明する。なお、図18は、人検出センサ6の別の配置例を示す、ショベル60の上面図であり、図11に対応する。また、図19は、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表であり、図16に対応する。また、図20は、第2入力画像決定処理で決定された入力画像に基づいて生成される出力画像の表示例である。
Next, with reference to FIGS. 18 to 20, another example of the process of determining an input image to be used for generating an output image from a plurality of input images based on the determination result of the presence/absence determining means 12 (hereinafter referred to as "No. 2-input image determination processing) will be explained. Note that FIG. 18 is a top view of the
図18に示す実施例では、ショベル60は、2台のカメラ2(右側方カメラ2R及び後方カメラ2B)と3台の人検出センサ6(右側方人検出センサ6R、右後方人検出センサ6BR、後方人検出センサ6B)とを備える。なお、図18の一点鎖線で示す領域CR、CBは、それぞれ、右側方カメラ2R、後方カメラ2Bの撮像空間を示す。また、図18の点線で示す領域ZR、ZBR、ZBは、それぞれ、右側方人検出センサ6R、右後方人検出センサ6BR、後方人検出センサ6Bの監視空間を示す。また、図18の斜線ハッチングで示す領域Xは、撮像空間CRと撮像空間CBの重複部分(以下、「重複撮像空間X」とする。)を示す。
In the embodiment shown in FIG. 18, the
図18の配置例は、監視空間ZR及び監視空間ZBが重複部分を有しない点、及び、重複撮像空間Xを含む監視空間ZBRを有する右後方人検出センサ6BRを備える点において図11の配置例と相違する。 The arrangement example of FIG. 18 is the arrangement example of FIG. 11 in that the monitoring space ZR and the monitoring space ZB do not have an overlapping part, and that the right rear person detection sensor 6BR is provided with the monitoring space ZBR including the overlapping imaging space X. It differs from
人検出センサ6のこの配置により、画像生成装置100は、重複撮像空間Xに人が存在するか否かを判定することができる。そして、画像生成装置100は、出力画像の生成に用いる入力画像の決定にその判定結果を利用し、より適切に出力画像の内容を切り換えることができる。
This arrangement of the
ここで、図19の対応表を参照して、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係について説明する。
Here, with reference to the correspondence table of FIG. 19, the correspondence between the determination result of the presence/
パターンAは、後方監視空間ZB、右後方監視空間ZBR、及び右側方監視空間ZRの全てで人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンAは、例えば、ショベル60の周囲に作業者が存在しない場合に採用される。画像生成手段11は、図17の出力画像D7で示すように、周囲に作業者が存在しない状態を映し出す周辺監視用仮想視点画像を2つの入力画像に基づいて生成し且つ出力する。
Pattern A is output using the input images of the
パターンBは、後方監視空間ZBのみで人が存在すると判定され、右後方監視空間ZBR及び右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2Bの入力画像を用いて出力画像が生成されることを表す。このパターンBは、例えば、ショベル60の後方に1人の作業者P1が存在する場合に採用される。画像生成手段11は、図20の出力画像D10で示すように、作業者P1を捉えた後方カメラ2Bの入力画像をそのまま出力画像として出力する。
Pattern B is output using the input image of the
パターンCは、右側方監視空間ZRのみで人が存在すると判定され、後方監視空間ZB及び右後方監視空間ZBRでは人が存在しないと判定された場合に、右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンCは、例えば、ショベル60の右側方に1人の作業者P2が存在する場合に採用される。画像生成手段11は、図20の出力画像D11で示すように、作業者P2を捉えた右側方カメラ2Rの入力画像をそのまま出力画像として出力する。
Pattern C uses the input image of the
パターンDは、右後方監視空間ZBRのみで人が存在すると判定され、後方監視空間ZB及び右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンDは、例えば、ショベル60の右後方の重複撮像空間X内に1人の作業者P3が存在する場合に採用される。画像生成手段11は、図20の出力画像D12で示すように、作業者P3を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、同じ作業者P3を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。
Pattern D is the input of the
パターンEは、後方監視空間ZB及び右後方監視空間ZBRで人が存在すると判定され、右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンEは、例えば、ショベル60の後方に1人の作業者P4が存在し、且つ、ショベル60の右後方の重複撮像空間X内に1人の作業者P5が存在する場合に採用される。画像生成手段11は、図20の出力画像D13で示すように、作業者P4及び作業者P5を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P4のみを捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。
Pattern E is the input image of the
パターンFは、後方監視空間ZB及び右側方監視空間ZRで人が存在すると判定され、右後方監視空間ZBRでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンFは、例えば、ショベル60の後方に1人の作業者P6が存在し、且つ、ショベル60の右側方に別の1人の作業者P7が存在する場合に採用される。画像生成手段11は、図20の出力画像D14で示すように、作業者P6を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P7を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。
Pattern F is an input image of the
パターンGは、右後方監視空間ZBR及び右側方監視空間ZRで人が存在すると判定され、後方監視空間ZBでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンGは、例えば、ショベル60の右後方の重複撮像空間X内に1人の作業者P8が存在し、且つ、ショベル60の右側方に別の1人の作業者P9が存在する場合に採用される。画像生成手段11は、図20の出力画像D15で示すように、作業者P8を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P8及び作業者P9を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。
Pattern G is the input image of the
パターンHは、後方監視空間ZB、右後方監視空間ZBR、及び右側方監視空間ZRの全てで人が存在すると判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンHは、例えば、ショベル60の右後方の重複撮像空間X内に1人の作業者P10が存在し、ショベル60の後方に別の1人の作業者P11が存在し、且つ、ショベル60の右側方にさらに別の1人の作業者P12が存在する場合に採用される。画像生成手段11は、図20の出力画像D16で示すように、作業者P10及び作業者P11を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P10及び作業者P12を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。
Pattern H is an output image using the input images of the
第2入力画像決定処理では、画像生成手段11は、1つのカメラの入力画像のみに人が写っている場合には、対応するカメラのスルー画像を出力画像として出力する。監視空間に存在する人を表示部5上にできるだけ大きく表示させるためである。一方で、画像生成手段11は、2つのカメラの入力画像の何れにも人が写っている場合には、2つのカメラのそれぞれのスルー画像を同時に且つ個別に出力する。1つのスルー画像のみではショベル60の周囲に存在する全ての人を表示部5上に表示させることができないためであり、また、周辺監視用仮想視点画像を出力すればスルー画像を出力する場合に比べて作業者を視認し難くしてしまうためである。また、画像生成手段11は、3つの監視空間の何れにも人が存在しないと判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。拡大表示すべき人が存在しないためであり、また、ショベル60の周囲に存在する人以外の他の物体を広く監視できるようにするためである。
In the second input image determination process, if a person is captured in only the input image of one camera, the image generation means 11 outputs the through image of the corresponding camera as the output image. This is to display people present in the monitoring space on the
また、画像生成手段11は、スルー画像を表示する場合には、第1入力画像決定処理のときと同様に、何れの入力画像が用いられたかが分かるようなテキストメッセージを表示してもよい。 In addition, when displaying a through image, the image generating means 11 may display a text message that makes it clear which input image was used, as in the first input image determination process.
次に、図21を参照して、第1入力画像決定処理又は第2入力画像決定処理で決定された入力画像に基づいて生成される出力画像の別の表示例について説明する。 Next, with reference to FIG. 21, another display example of an output image generated based on the input image determined in the first input image determination process or the second input image determination process will be described.
図21に示すように、画像生成手段11は、周辺監視用仮想視点画像とスルー画像とを同時に表示してもよい。例えば、画像生成手段11は、ショベル60の後方に作業者が存在する場合、図21の出力画像D20で示すように、周辺監視用仮想視点画像を第1出力画像とし、後方カメラ2Bのスルー画像を第2出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の下側に表示される。ショベル60の後方に作業者がいることをショベル60の操作者に直感的に把握させるためである。また、画像生成手段11は、ショベル60の左側方に作業者が存在する場合、図21の出力画像D21で示すように、周辺監視用仮想視点画像を第1出力画像とし、左側方カメラ2Lのスルー画像を第2出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の左側に表示される。同様に、画像生成手段11は、ショベル60の右側方に作業者が存在する場合、図21の出力画像D22で示すように、周辺監視用仮想視点画像を第1出力画像とし、右側方カメラ2Rのスルー画像を第2出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の右側に表示される。
As shown in FIG. 21, the image generating means 11 may simultaneously display the virtual viewpoint image for surroundings monitoring and the through image. For example, when there is a worker behind the
或いは、画像生成手段11は、周辺監視用仮想視点画像と複数のスルー画像とを同時に表示してもよい。例えば、画像生成手段11は、ショベル60の後方及び右側方に作業者が存在する場合、図21の出力画像D23で示すように、周辺監視用仮想視点画像を第1出力画像とし、後方カメラ2Bのスルー画像を第2出力画像とし、右側方カメラ2Rのスルー画像を第3出力画像として表示してもよい。この場合、後方カメラ2Bのスルー画像は、周辺監視用仮想視点画像の下側に表示され、右側方カメラ2Rのスルー画像は、周辺監視用仮想視点画像の右側に表示される。
Alternatively, the image generating means 11 may display the virtual viewpoint image for surroundings monitoring and a plurality of through images at the same time. For example, when there is a worker behind and on the right side of the
なお、画像生成手段11は、複数の出力画像を同時に表示する場合、出力画像の内容を表す情報を表示してもよい。例えば、画像生成手段11は、後方カメラ2Bのスルー画像の上或いはその周辺に「後方カメラスルー画像」等のテキストを表示してもよい。
Note that when displaying a plurality of output images at the same time, the image generation means 11 may display information representing the content of the output images. For example, the image generating means 11 may display text such as "rear camera through image" on or around the through image of the
また、画像生成手段11は、複数の出力画像を同時に表示する場合、周辺監視用仮想視点画像の上に1又は複数のスルー画像をポップアップ表示させてもよい。 Furthermore, when displaying a plurality of output images simultaneously, the image generation means 11 may pop-up display one or more through-the-lens images on the virtual viewpoint image for peripheral monitoring.
以上の構成により、画像生成装置100は、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成装置100は、例えば、個別の入力画像の内容を縮小し且つ変更して表示する周辺監視用仮想視点画像と、個別の入力画像の内容をそのまま表示するスルー画像とを切り換える。このように、画像生成装置100は、ショベル60の周辺に作業者を検出した場合にスルー画像を表示することによって、周辺監視用仮想視点画像のみを表示するときに比べ、ショベル60の操作者がその作業者を見落とすのをより確実に防止できる。作業者が大きく且つ分かり易く表示されるためである。
With the above configuration, the
また、上述の実施例では、画像生成手段11は、1つのカメラの入力画像に基づいて出力画像を生成する場合、そのカメラのスルー画像を出力画像とする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成手段11は、後方カメラ2Bの入力画像に基づいて後方監視用仮想視点画像を出力画像として生成してもよい。
Furthermore, in the above-described embodiment, when the image generating means 11 generates an output image based on an input image of one camera, the image generating means 11 uses a through image of that camera as the output image. However, the present invention is not limited to this configuration. For example, the image generation means 11 may generate a rearward monitoring virtual viewpoint image as an output image based on the input image of the
また、上述の実施例では、画像生成装置100は、1つのカメラの撮像空間に1つの人検出センサの監視空間を対応させるが、複数のカメラの撮像空間に1つの人検出センサの監視空間を対応させてもよく、1つのカメラの撮像空間に複数の人検出センサの監視空間を対応させてもよい。
Furthermore, in the above-described embodiment, the
また、上述の実施例では、画像生成装置100は、隣接する2つの人検出センサの監視空間の一部を重複させるが、監視空間を重複させないようにしてもよい。また、画像生成装置100は、1つの人検出センサの監視空間が別の人検出センサの監視空間に完全に含まれるようにしてもよい。
Further, in the above-described embodiment, the
また、上述の実施例では、画像生成装置100は、人存否判定手段12の判定結果が変わった瞬間に出力画像の内容を切り換える。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、人存否判定手段12の判定結果が変わってから出力画像の内容を切り換えるまでに所定の遅延時間を設定してもよい。出力画像の内容が頻繁に切り換えられるのを抑制するためである。
Furthermore, in the above-described embodiment, the
次に、図22及び図23を参照しながら、警報制御手段13が人存否判定手段12の判定結果に基づいて警報出力部7を制御する処理(以下、「警報制御処理」とする。)について説明する。なお、図22は、警報制御処理の流れを示すフローチャートであり、図23は、警報制御処理中に表示される出力画像の推移の一例である。また、警報制御手段13は、所定周期で繰り返しこの警報制御処理を実行する。また、画像生成装置100は、図11に示すショベル60に搭載される。
Next, with reference to FIGS. 22 and 23, a process in which the alarm control means 13 controls the
最初に、人存否判定手段12は、ショベル60の周囲に人が存在するか否かを判定する(ステップS11)。このとき、画像生成手段11は、例えば、図23の出力画像D31に示すような周辺監視用仮想視点画像を生成して表示する。
First, the person presence/
ショベル60の周囲に人が存在すると判定した場合(ステップS11のYES)、人存否判定手段12は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRのうちの何れの監視空間に人が存在するかを判定する(ステップS12)。
When it is determined that there is a person around the excavator 60 (YES in step S11), the person presence/
そして、人存否判定手段12は、左側方監視空間ZLのみに人が存在すると判定した場合(ステップS12の左側方)、警報制御手段13に対して左側方検出信号を出力する。そして、左側方検出信号を受けた警報制御手段13は、左側方警報出力部7Lに対して警報開始信号を出力し、左側方警報出力部7Lから警報を出力させる(ステップS13)。また、画像生成手段11は、例えば、図23の出力画像D32に示すような左側方カメラ2Lのスルー画像を出力画像として表示する。或いは、画像生成手段11は、例えば、図23の出力画像D33に示すように、周辺監視用仮想視点画像を第1出力画像(図中右側の画像)とし、左側方カメラ2Lのスルー画像を第2出力画像(図中左側の画像)として表示してもよい。
When the person presence/
また、人存否判定手段12は、後方監視空間ZBのみに人が存在すると判定した場合(ステップS12の後方)、警報制御手段13に対して後方検出信号を出力する。そして、後方検出信号を受けた警報制御手段13は、後方警報出力部7Bに対して警報開始信号を出力し、後方警報出力部7Bから警報を出力させる(ステップS14)。また、画像生成手段11は、例えば、後方カメラ2Bのスルー画像を出力画像として表示する。或いは、画像生成手段11は、周辺監視用仮想視点画像を第1出力画像とし、後方カメラ2Bのスルー画像を第2出力画像として表示してもよい。
Further, when determining that there is a person only in the rear monitoring space ZB (rear of step S12), the person presence/absence determining means 12 outputs a rear detection signal to the alarm control means 13. Then, the alarm control means 13 that receives the rear detection signal outputs an alarm start signal to the rear
また、人存否判定手段12は、右側方監視空間ZRのみに人が存在すると判定した場合(ステップS12の右側方)、警報制御手段13に対して右側方検出信号を出力する。そして、右側方検出信号を受けた警報制御手段13は、右側方警報出力部7Rに対して警報開始信号を出力し、右側方警報出力部7Rから警報を出力させる(ステップS15)。また、画像生成手段11は、例えば、右側方カメラ2Rのスルー画像を出力画像として表示する。或いは、画像生成手段11は、周辺監視用仮想視点画像を第1出力画像とし、右側方カメラ2Rのスルー画像を第2出力画像として表示してもよい。
Further, when determining that there is a person only in the right side monitoring space ZR (right side in step S12), the person presence/absence determining means 12 outputs a right side detection signal to the alarm control means 13. Then, the alarm control means 13 that receives the right side detection signal outputs an alarm start signal to the right side
一方、ショベル60の周囲に人が存在しないと判定した場合(ステップS11のNO)、人存否判定手段12は、警報制御手段13に対して検出信号を出力することなく、今回の警報制御処理を終了する。
On the other hand, if it is determined that there is no person around the excavator 60 (NO in step S11), the person presence/
なお、警報制御手段13は、人存否判定手段12により左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRのうちの2つ以上の監視空間で人が存在すると判定された場合には、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rのうちの対応する2つ以上の警報出力部から警報を出力させる。また、画像生成手段11は、人存否判定手段12により左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRのうちの2つ以上の監視空間で人が存在すると判定された場合には、上述の実施例で説明されたような方法で出力画像を表示する。具体的には、画像生成手段11は、図23の出力画像D34で示すように周辺監視用仮想視点画像のみを表示してもよい。また、画像生成手段11は、図23の出力画像D35で示すように2つ以上のスルー画像を同時に表示してもよい。また、画像生成手段11は、図23の出力画像D36で示すように周辺監視用仮想視点画像と2つ以上のスルー画像とを同時に表示してもよい。
It should be noted that the alarm control means 13 operates when the person presence/
また、画像生成装置100は、警報出力部7から警報音を出力する構成では、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rのそれぞれの警報音の内容(高低、出力間隔等)を異ならせるようにしてもよい。同様に、画像生成装置100は、警報出力部7から光を出力する構成では、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rのそれぞれの光の内容(色、発光間隔等)を異ならせるようにしてもよい。警報の内容の違いによりショベル60の周辺に存在する人の大まかな位置をショベル60の操作者がより直感的に認識できるようにするためである。
In addition, in the configuration in which the
以上の構成により、画像生成装置100は、ショベル60の周囲に存在する作業者の大まかな位置をショベル60の操作者が直感的に把握できるようにする。例えば、画像生成装置100は、作業者の正確な位置を検出しなくとも、ショベル60の左側方、後方、右側方の何れに作業者が存在するかを判定しさえすれば、その判定した方向をショベル60の操作者に直感的に伝えることができる。
With the above configuration, the
なお、上述の実施例では、警報出力部7は、独立した3つのブザーで構成されるが、複数のスピーカを含むサラウンドシステムを用いて音を定位させてもよい。
In the above embodiment, the
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the embodiments described above, and various modifications and substitutions can be made to the embodiments described above without departing from the scope of the present invention. can be added.
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
For example, in the above-described embodiment, the
また、画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及び人検出センサと共に搭載される。そして、画像生成装置100は、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置100は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。或いは、画像生成装置100は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。そして、画像生成装置100は、それら作業機械の操作を支援する操作支援システムを構成してもよい。
Further, the
また、周辺監視装置は、カメラ2及び表示部5を含む画像生成装置100を1例として説明されたが、カメラ2、表示部5等による画像表示機能を含まない装置として構成されてもよい。例えば、警報制御処理を実行する装置としての周辺監視装置100Aは、図24に示すように、カメラ2、入力部3、記憶部4、表示部5、座標対応付け手段10、及び画像生成手段11を省略してもよい。
Further, although the surrounding monitoring device has been described using the
1・・・制御部 2・・・カメラ 2L・・・左側方カメラ 2R・・右側方カメラ 2B・・後方カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 6・・・人検出センサ 6L・・・左側方人検出センサ 6R・・・右側方人検出センサ 6B・・・後方人検出センサ 7・・・警報出力部 7L・・・左側方警報出力部 7B・・・後方警報出力部 7R・・・右側方警報出力部 10・・・座標対応付け手段 11・・・画像生成手段 12・・・人存否判定手段 13・・・警報制御手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル 61・・・下部走行体 62・・・旋回機構 63・・・上部旋回体 64・・・キャブ 100・・・画像生成装置 100A・・・周辺監視装置
1...
Claims (4)
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、
前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、
前記上部旋回体の左部に搭載され、前記上部旋回体の左斜め前方、左方、及び左斜め後方を撮像範囲に含む左側方カメラと、
前記上部旋回体の右部に搭載され、前記上部旋回体の右斜め前方、右方、及び右斜め後方を撮像範囲に含む右側方カメラと、
前記上部旋回体の後部に搭載され、前記上部旋回体の左斜め後方、後方、及び右斜め後方を撮像範囲に含む後方カメラと、
前記上部旋回体に搭載される運転室と、
前記運転室内に設置される表示部と、を備え、
前記表示部に、
前記左側方カメラ、前記右側方カメラ、及び前記後方カメラのうちの少なくとも一つの撮像範囲に対応する第1画像と、
前記左側方カメラ、前記右側方カメラ、及び前記後方カメラの撮像画像を合成して生成される、前記下部走行体の向きとは無関係に、前記上部旋回体の左斜め前方、左方、左斜め後方、右斜め前方、右方、右斜め後方、及び後方の領域を同時に表示する、前記下部走行体に対して前記上部旋回体が旋回するときに旋回軸に対応する点を中心に回転する、前記上部旋回体の近傍を上空から見下ろした第2画像と、
を同時に表示させることができ、
前記第1画像が前記左側方カメラ又は前記右側方カメラの撮像範囲に対応する画像の場合、前記第1画像に映し出される空間の鉛直上方に対応する前記第1画像の上方は前記表示部の画面上方と一致し、
前記第1画像が前記右側方カメラの撮像範囲に対応する画像の場合、前記第1画像は、前記右側方カメラが撮像する前記上部旋回体の右斜め前方、右方、及び右斜め後方を映し出す画像であり、
前記第1画像が前記左側方カメラの撮像範囲に対応する画像の場合、前記第1画像は、前記左側方カメラが撮像する前記上部旋回体の左斜め前方、左方、及び左斜め後方を映し出す画像であり、
前記左側方カメラ、前記右側方カメラ、及び前記後方カメラ、又は、前記左側方カメラ、前記右側方カメラ、及び前記後方カメラとは別に設けられるセンサの少なくとも一方により、物体の進入の有無を判定し、前記物体が進入してきた方向を含む、前記左側方カメラ、前記右側方カメラ、及び前記後方カメラのうちの少なくとも一つの撮像範囲に対応する前記第1画像を、前記第2画像の隣に表示させ、
前記物体の進入の有無の判定結果に基づいて、前記第1画像に用いられる画像を切り換え、
前記第1画像が前記左側方カメラ、前記右側方カメラ、及び、前記後方カメラのうちの一つの撮像範囲に対応する画像であるときの前記第2画像のサイズは、前記第1画像が前記左側方カメラ、前記右側方カメラ、及び、前記後方カメラのうちの二つの撮像範囲に対応する画像であるときの前記第2画像のサイズよりも大きく、前記物体の進入が無いときに表示される前記第2画像のサイズよりも小さい、
ショベル。 a lower running body;
an upper rotating body rotatably mounted on the lower traveling body;
a boom attached to the upper revolving body and included in an attachment;
an arm attached to the boom and included in the attachment;
a left side camera mounted on the left side of the upper revolving body, whose imaging range includes the diagonally left front, left, and left diagonally rear of the upper revolving body;
a right side camera that is mounted on the right side of the upper revolving body and whose imaging range includes the diagonally right front, right side, and right rear of the upper revolving body;
a rear camera mounted on the rear part of the upper revolving body, whose imaging range includes the left diagonal rear, the rear, and the right diagonal rear of the upper revolving body;
a driver's cab mounted on the upper revolving body;
a display section installed in the driver's cab,
In the display section,
a first image corresponding to an imaging range of at least one of the left side camera, the right side camera, and the rear camera;
Regardless of the orientation of the lower traveling body, which is generated by combining the captured images of the left side camera, the right side camera, and the rear camera, the left diagonal forward, leftward, and left diagonal of the upper rotating body Rotating around a point corresponding to a pivot axis when the upper rotating body turns with respect to the lower traveling body, simultaneously displaying rear, right diagonally forward, right, right diagonally rear, and rear areas; a second image looking down on the vicinity of the upper revolving structure from above;
can be displayed simultaneously,
If the first image is an image corresponding to the imaging range of the left side camera or the right side camera, the screen of the display unit is above the first image, which corresponds to the vertically above the space projected in the first image. coincides with the upper
When the first image is an image corresponding to the imaging range of the right side camera, the first image shows the diagonally right front, right side, and right diagonally rear of the upper rotating body imaged by the right side camera. is an image,
When the first image corresponds to the imaging range of the left side camera, the first image shows the diagonally left front, left, and left diagonally rear of the upper revolving body imaged by the left side camera. is an image,
Determining whether an object has entered by at least one of the left camera, the right camera, and the rear camera, or a sensor provided separately from the left camera, the right camera, and the rear camera. , displaying the first image corresponding to an imaging range of at least one of the left side camera, the right side camera, and the rear camera, including the direction in which the object has entered, next to the second image. let me,
Switching the image used for the first image based on the determination result of whether or not the object has entered,
When the first image is an image corresponding to an imaging range of one of the left side camera, the right side camera, and the rear camera, the size of the second image is such that the first image is an image corresponding to the imaging range of one of the left side camera, the right side camera, and the rear camera. The size of the second image is larger than the size of the second image when the image corresponds to the imaging range of two of the front camera, the right side camera, and the rear camera, and is displayed when the object does not enter. smaller than the size of the second image ,
shovel.
請求項1に記載のショベル。 When the first image is an image corresponding to the imaging range of the right side camera, the first image is displayed on the display unit so as to be located on the right side of the second image.
The excavator according to claim 1 .
請求項1に記載のショベル。 If the first image is an image corresponding to an imaging range of the left side camera, the first image is displayed on the display unit so as to be located to the left of the second image.
The excavator according to claim 1 .
請求項1に記載のショベル。 When the first image is an image corresponding to an imaging range of the rear camera, the first image is displayed on the display unit so as to be located below the second image.
The excavator according to claim 1 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020120859A JP7454461B2 (en) | 2019-01-28 | 2020-07-14 | excavator |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019012404A JP2019071677A (en) | 2019-01-28 | 2019-01-28 | Shovel |
JP2020120859A JP7454461B2 (en) | 2019-01-28 | 2020-07-14 | excavator |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019012404A Division JP2019071677A (en) | 2019-01-28 | 2019-01-28 | Shovel |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020188474A JP2020188474A (en) | 2020-11-19 |
JP7454461B2 true JP7454461B2 (en) | 2024-03-22 |
Family
ID=90273381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020120859A Active JP7454461B2 (en) | 2019-01-28 | 2020-07-14 | excavator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7454461B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006106685A1 (en) | 2005-03-31 | 2006-10-12 | Hitachi Construction Machinery Co., Ltd. | Surrounding monitor device for construction machine |
JP2006341641A (en) | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | Image display apparatus and image display method |
JP2010183170A (en) | 2009-02-03 | 2010-08-19 | Denso Corp | Display apparatus for vehicle |
WO2012053105A1 (en) | 2010-10-22 | 2012-04-26 | 日立建機株式会社 | Work machine peripheral monitoring device |
WO2012164712A1 (en) | 2011-06-02 | 2012-12-06 | 日立建機株式会社 | Device for monitoring area around working machine |
JP2012256113A (en) | 2011-06-07 | 2012-12-27 | Komatsu Ltd | Periphery monitoring device for work vehicle |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4977667B2 (en) * | 2008-09-02 | 2012-07-18 | 日立建機株式会社 | Visual aid for work machine |
-
2020
- 2020-07-14 JP JP2020120859A patent/JP7454461B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006106685A1 (en) | 2005-03-31 | 2006-10-12 | Hitachi Construction Machinery Co., Ltd. | Surrounding monitor device for construction machine |
JP2006341641A (en) | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | Image display apparatus and image display method |
JP2010183170A (en) | 2009-02-03 | 2010-08-19 | Denso Corp | Display apparatus for vehicle |
WO2012053105A1 (en) | 2010-10-22 | 2012-04-26 | 日立建機株式会社 | Work machine peripheral monitoring device |
WO2012164712A1 (en) | 2011-06-02 | 2012-12-06 | 日立建機株式会社 | Device for monitoring area around working machine |
JP2012256113A (en) | 2011-06-07 | 2012-12-27 | Komatsu Ltd | Periphery monitoring device for work vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP2020188474A (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6545430B2 (en) | Shovel | |
JP6029306B2 (en) | Perimeter monitoring equipment for work machines | |
JP6740259B2 (en) | Work machine | |
JP6052881B2 (en) | Perimeter monitoring equipment for work machines | |
JP6456584B2 (en) | Perimeter monitoring equipment for work machines | |
JP6324665B2 (en) | Perimeter monitoring equipment for work machines | |
JP5960007B2 (en) | Perimeter monitoring equipment for work machines | |
JP6290497B2 (en) | Excavator | |
JP6169381B2 (en) | Excavator | |
JP6852026B2 (en) | Excavator | |
JP5805574B2 (en) | Perimeter monitoring equipment for work machines | |
JP6420432B2 (en) | Excavator | |
JP6091821B2 (en) | Excavator | |
JP6602936B2 (en) | Excavator | |
JP6301536B2 (en) | Excavator | |
JP6391656B2 (en) | Peripheral monitoring device for work machine and work machine | |
JP7257357B2 (en) | Excavators and systems for excavators | |
JP7454461B2 (en) | excavator | |
JP6302622B2 (en) | Perimeter monitoring equipment for work machines | |
JP2020127217A (en) | Shovel | |
JP6295026B2 (en) | Excavator | |
JP7257356B2 (en) | Excavators and systems for excavators | |
JP7263288B2 (en) | Excavators and systems for excavators | |
JP7263289B2 (en) | Excavators and systems for excavators | |
JP7263290B2 (en) | Excavators and systems for excavators |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220502 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220502 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220516 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220517 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220715 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220726 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220802 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220913 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7454461 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |