JP2020053909A - Mounting position recognition device - Google Patents
Mounting position recognition device Download PDFInfo
- Publication number
- JP2020053909A JP2020053909A JP2018183297A JP2018183297A JP2020053909A JP 2020053909 A JP2020053909 A JP 2020053909A JP 2018183297 A JP2018183297 A JP 2018183297A JP 2018183297 A JP2018183297 A JP 2018183297A JP 2020053909 A JP2020053909 A JP 2020053909A
- Authority
- JP
- Japan
- Prior art keywords
- position information
- mounting position
- mounting
- image sensor
- work machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、作業機械に取り付けられた複数の画像センサの各々の取付位置を認識する取付位置認識装置に関する。 The present invention relates to a mounting position recognition device that recognizes each mounting position of a plurality of image sensors mounted on a work machine.
特許文献１には、異なる複数の箇所にカメラを設けた作業機械が開示されている。複数のカメラで作業機械の周囲をそれぞれ撮影することで、作業機械の周囲に存在する人や物の位置を把握することができる。 Patent Document 1 discloses a working machine in which cameras are provided at a plurality of different locations. By photographing the periphery of the work machine with a plurality of cameras, it is possible to grasp the positions of persons and objects existing around the work machine.
ところで、作業機械の異なる複数の取付位置にそれぞれ取り付けられる、特許文献１のカメラのような画像センサは、同一部品であることから、どの画像センサがどの取付位置に取り付けられたかを、作業機械自身や画像センサ自身に認識させる必要がある。しかし、画像センサ毎に取付位置の情報を作業機械や画像センサに入力するのは手間である。 By the way, since the image sensors such as the camera of Patent Document 1 which are respectively attached to a plurality of different mounting positions of the work machine are the same parts, the work machine itself can determine which image sensor is mounted at which mounting position. And the image sensor itself needs to be recognized. However, it is troublesome to input information on the mounting position for each image sensor to a work machine or an image sensor.
本発明の目的は、複数の画像センサの各々の取付位置を容易に認識することが可能な取付位置認識装置を提供することである。 An object of the present invention is to provide a mounting position recognition device that can easily recognize the mounting positions of each of a plurality of image sensors.
本発明は、作業機械の異なる複数の取付位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの各々の前記取付位置を認識する取付位置認識装置であって、前記画像センサが現在取り付けられている現在位置に関する現在位置情報を取得する位置情報取得装置と、前記取付位置に関する取付位置情報を前記複数の取付位置毎に記憶する記憶装置と、前記位置情報取得装置が取得した前記現在位置情報を、前記記憶装置が記憶する前記取付位置情報と照合することで、前記複数の画像センサが、それぞれどの前記取付位置に取り付けられているのかを判定する判定手段と、を有することを特徴とする。 The present invention is a mounting position recognition device which is mounted at each of a plurality of different mounting positions of a work machine, and recognizes the mounting position of each of a plurality of image sensors each of which acquires an image, wherein the image sensor is a current one. A position information acquisition device that acquires current position information about an attached current position, a storage device that stores attachment position information about the attachment position for each of the plurality of attachment positions, and the current information acquired by the position information acquisition device. Determining a plurality of image sensors to be attached to each of the plurality of image sensors by comparing the position information with the attachment position information stored in the storage device. And
本発明によると、画像センサが現在取り付けられている現在位置に関する現在位置情報を、作業機械における複数の取付位置に関する取付位置情報と照合することで、複数の画像センサが、それぞれどの取付位置に取り付けられているのかを判定する。これにより、複数の画像センサの各々の取付位置を容易に認識することができる。よって、作業者は、画像センサ毎に取付位置の情報を作業機械や画像センサに入力する必要がない。 According to the present invention, by comparing the current position information regarding the current position where the image sensor is currently mounted with the mounting position information regarding the plurality of mounting positions on the work machine, the plurality of image sensors can be mounted at any mounting position. Is determined. This makes it possible to easily recognize the mounting position of each of the plurality of image sensors. Therefore, the worker does not need to input information on the mounting position for each image sensor to the work machine or the image sensor.
以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
（作業機械の構成）
本実施形態による取付位置認識装置は、作業機械の異なる複数の取付位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの各々の取付位置を認識するものである。作業機械１０は、作業機械１０の上面図である図１に示すように、例えば油圧ショベルである。作業機械１０は、下部走行体１１と、上部旋回体１２と、作業装置１３と、を備えている。
(Work machine configuration)
The mounting position recognizing device according to the present embodiment recognizes each mounting position of a plurality of image sensors which are respectively mounted on a plurality of different mounting positions of a work machine and each obtain an image. The work machine 10 is, for example, a hydraulic shovel, as shown in FIG. 1, which is a top view of the work machine 10. The work machine 10 includes a lower traveling body 11, an upper revolving superstructure 12, and a work device 13.
下部走行体１１は、作業機械１０を走行させる部分である。上部旋回体１２は、旋回装置を介して下部走行体１１の上部に旋回可能に設けられている。上部旋回体１２の前部には、キャブ（運転室）１４が設けられている。 The lower traveling body 11 is a part on which the work machine 10 travels. The upper revolving unit 12 is rotatably provided above the lower traveling unit 11 via a revolving device. A cab (operating cab) 14 is provided at the front of the upper revolving superstructure 12.
作業装置１３は、上部旋回体１２に取り付けられている。作業装置１３は、ブームと、アームと、バケットと、を備える。 The working device 13 is attached to the upper swing body 12. The working device 13 includes a boom, an arm, and a bucket.
作業機械１０には、複数の画像センサ２０がそれぞれ取り付けられている。これら画像センサ２０は、作業機械１０の異なる複数の取付位置にそれぞれ取り付けられており、それぞれが画像を取得する。本実施形態では、４つの画像センサ２０が、異なる４つの取付位置Ａ〜Ｄにそれぞれ取り付けられている。 A plurality of image sensors 20 are attached to the work machine 10, respectively. These image sensors 20 are attached to a plurality of different attachment positions of the work machine 10, respectively, and each acquire an image. In the present embodiment, four image sensors 20 are attached to four different attachment positions A to D, respectively.
画像センサ２０は、赤外線センサやＴＯＦ（Time of Flight）カメラ等である。画像センサ２０が取得する画像には、距離画像が含まれる。なお、画像センサ２０は、２次元平面にマトリクス状に配置した複数の赤外線センサにより垂直方向の距離を同時計測することで得られる３次元の点群データに基づいて、距離を計測するものや、カメラを２台以上使用して立体視を行うことで、対象物との距離を計測するものであってもよい。 The image sensor 20 is an infrared sensor, a TOF (Time of Flight) camera, or the like. The image acquired by the image sensor 20 includes a distance image. The image sensor 20 measures a distance based on three-dimensional point cloud data obtained by simultaneously measuring a vertical distance by a plurality of infrared sensors arranged in a matrix on a two-dimensional plane, The distance to the target object may be measured by performing stereoscopic vision using two or more cameras.
画像センサ２０の斜視図である図２に示すように、画像センサ２０は、センサ本体２１と、支持部材２２と、を有している。支持部材２２は、センサ本体２１のピッチング角度およびヨーイング角度を調整可能に、センサ本体２１を支持している。 As shown in FIG. 2 which is a perspective view of the image sensor 20, the image sensor 20 has a sensor main body 21 and a support member 22. The support member 22 supports the sensor main body 21 so that the pitching angle and the yawing angle of the sensor main body 21 can be adjusted.
（取付位置認識装置の構成）
取付位置認識装置１の回路図である図３に示すように、取付位置認識装置１は、位置情報取得装置２と、記憶装置３と、コントローラ４と、を有している。
(Configuration of mounting position recognition device)
As shown in FIG. 3 which is a circuit diagram of the mounting position recognition device 1, the mounting position recognition device 1 includes a position information acquisition device 2, a storage device 3, and a controller 4.
位置情報取得装置２は、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を取得する。本実施形態において、位置情報取得装置２は、画像センサ２０に設けられており、画像センサ２０が取得する、目印が写り込んだ画像を、現在位置情報として取得する。 The position information acquisition device 2 acquires current position information on the current position where the image sensor 20 is currently attached. In the present embodiment, the position information acquisition device 2 is provided in the image sensor 20, and acquires an image in which a mark is captured, which is acquired by the image sensor 20, as current position information.
ここで、目印には、作業機械１０の外形形状や、作業機械１０以外の風景が含まれている。作業機械１０以外の風景は、作業機械１０の組立ラインや検査ラインにおける工場の柱や壁などであってよい。 Here, the landmarks include the outer shape of the working machine 10 and the landscape other than the working machine 10. The scenery other than the work machine 10 may be a pillar or a wall of a factory in an assembly line or an inspection line of the work machine 10.
本実施形態において、記憶装置３は、作業機械１０に設けられている。記憶装置３は、取付位置に関する取付位置情報を、複数の取付位置Ａ〜Ｄ毎に記憶している。 In the present embodiment, the storage device 3 is provided in the work machine 10. The storage device 3 stores mounting position information on the mounting position for each of the plurality of mounting positions A to D.
具体的に、記憶装置３の記憶領域を示す図である図４に示すように、記憶装置３は、複数の取付位置Ａ〜Ｄ毎に、取付位置情報を記憶している。取付位置情報には、視野情報と、座標情報と、角度情報とが含まれている。 Specifically, as shown in FIG. 4, which is a diagram showing a storage area of the storage device 3, the storage device 3 stores mounting position information for each of a plurality of mounting positions A to D. The mounting position information includes field-of-view information, coordinate information, and angle information.
視野情報は、取付位置における画像センサの視野に係る情報であり、目印を含む。例えば、取付位置Ａにおける画像センサの視野には、その右下に目印が含まれている。座標情報は、取付位置における画像センサの座標に係る情報である。例えば、取付位置Ａにおける画像センサの３次元座標系における座標は、（Ｘ１，Ｙ１，Ｚ１）である。角度情報は、取付位置における画像センサの角度に係る情報である。例えば、取付位置Ａにおける画像センサのピッチング角度θ１、ローリング角度θ２、および、ヨーイング角度θ３は、それぞれＡ１、Ｂ１、Ｃ１である。 The visual field information is information relating to the visual field of the image sensor at the mounting position, and includes a mark. For example, the visual field of the image sensor at the mounting position A includes a mark at the lower right. The coordinate information is information relating to the coordinates of the image sensor at the mounting position. For example, the coordinates of the image sensor at the mounting position A in the three-dimensional coordinate system are (X1, Y1, Z1). The angle information is information relating to the angle of the image sensor at the mounting position. For example, the pitching angle θ1, the rolling angle θ2, and the yawing angle θ3 of the image sensor at the mounting position A are A1, B1, and C1, respectively.
図３に戻って、本実施形態において、コントローラ４は、作業機械１０に設けられている。コントローラ（判定手段）４は、位置情報取得装置２が取得した現在位置情報を、記憶装置３が記憶する取付位置情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置Ａ〜Ｄに取り付けられているのかを判定する。例えば、ある画像センサ２０が撮像した、目印が写り込んだ画像が、取付位置Ａに対応付けて記憶装置３に記憶された、目印を含む視野情報と一致する場合に、この画像センサ２０が取付位置Ａに取り付けられていると判定する。 Returning to FIG. 3, in the present embodiment, the controller 4 is provided on the work machine 10. The controller (determination means) 4 compares the current position information acquired by the position information acquisition device 2 with the attachment position information stored in the storage device 3 so that the plurality of image sensors 20 determine which of the attachment positions A to D respectively. It is determined whether or not it is attached to. For example, when an image captured by a certain image sensor 20 and including a mark matches the visual field information including the mark stored in the storage device 3 in association with the mounting position A, the image sensor 20 is mounted. It is determined that it is attached to position A.
このように、複数の画像センサ２０が、それぞれどの取付位置Ａ〜Ｄに取り付けられているのかを判定することで、複数の画像センサ２０の各々の取付位置を容易に認識することができる。よって、作業者は、画像センサ２０毎に取付位置の情報を作業機械１０や画像センサ２０に入力する必要がない。 In this manner, by determining at which of the mounting positions A to D the plurality of image sensors 20 are mounted, respectively, the mounting positions of the plurality of image sensors 20 can be easily recognized. Therefore, the worker does not need to input the information on the mounting position for each image sensor 20 to the work machine 10 or the image sensor 20.
また、画像センサ２０が取得する、目印が写り込んだ画像を現在位置情報として、これを、記憶装置３が取付位置情報として記憶する、目印を含む視野情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを好適に判定することができる。 Further, the image in which the mark is captured by the image sensor 20 is used as the current position information, and the current position information is compared with the visual field information including the mark stored in the storage device 3 as the mounting position information, so that a plurality of image sensors can be obtained. 20 can be suitably determined at which mounting position they are mounted.
また、目印が、作業機械１０の外形形状や、作業機械１０以外の風景を含んでいる。これにより、画像センサ２０の現在位置情報の取得専用の目印を別途用意する必要がないので、構成を簡略化することができる。 In addition, the mark includes the external shape of the work machine 10 and the scenery other than the work machine 10. Thus, it is not necessary to separately prepare a mark dedicated to acquiring the current position information of the image sensor 20, so that the configuration can be simplified.
なお、位置情報取得装置２は、画像センサ２０の姿勢を、画像センサ２０の現在位置情報として取得してもよい。具体的には、センサ本体２１のピッチング角度θ１、ローリング角度θ２、および、ヨーイング角度θ３を、画像センサ２０の姿勢として取得してよい。この場合、コントローラ４は、画像センサ２０の姿勢を、記憶装置３が記憶する角度情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置Ａ〜Ｄに取り付けられているのかを判定してよい。 The position information acquisition device 2 may acquire the orientation of the image sensor 20 as current position information of the image sensor 20. Specifically, the pitching angle θ1, the rolling angle θ2, and the yawing angle θ3 of the sensor body 21 may be acquired as the attitude of the image sensor 20. In this case, the controller 4 determines which mounting position A to D the plurality of image sensors 20 are attached to by checking the attitude of the image sensor 20 with the angle information stored in the storage device 3. May do it.
ここで、コントローラ４による判定後（画像センサ２０の組み立て後）に、作業機械１０による作業を行っているうちに、作業機械１０の振動や他の物との接触によって、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれる場合がある。 Here, after the determination by the controller 4 (after assembling the image sensor 20), the image sensor 20 is currently mounted due to the vibration of the work machine 10 or the contact with another object while the work by the work machine 10 is being performed. In some cases, the current position is shifted from the mounting position determined by the controller 4.
そこで、図３に示すように、取付位置認識装置１は、警報装置５を有している。警報装置５は、キャブ１４内に設けられたディスプレイやスピーカである。 Therefore, as shown in FIG. 3, the mounting position recognition device 1 has an alarm device 5. The alarm device 5 is a display or a speaker provided in the cab 14.
まず、コントローラ（記憶制御手段）４は、自身による画像センサ２０の取付位置の判定時に位置情報取得装置２が取得した現在位置情報を、初期位置情報として記憶装置３に記憶させる。ここで、初期位置情報としての目印が写り込んだ画像における目印として、作業機械１０の外形形状の一部を用いる。目印が作業機械１０以外の風景であれば、コントローラ４による判定後にそれを画像センサ２０で取得できないためである。 First, the controller (storage control means) 4 causes the storage device 3 to store the current position information acquired by the position information acquisition device 2 when the attachment position of the image sensor 20 is determined by itself as initial position information. Here, a part of the outer shape of the working machine 10 is used as a mark in the image in which the mark as the initial position information is reflected. This is because if the mark is a landscape other than the work machine 10, it cannot be acquired by the image sensor 20 after the determination by the controller 4.
次に、コントローラ（位置情報判定手段）４は、自身による画像センサ２０の取付位置の判定後に位置情報取得装置２が取得した現在位置情報が、初期位置情報と一致するか否かを判定する。 Next, the controller (position information determination unit) 4 determines whether the current position information acquired by the position information acquisition device 2 after the determination of the attachment position of the image sensor 20 by itself matches the initial position information.
次に、コントローラ（警報制御手段）４は、現在位置情報が初期位置情報と一致しないと自身が判定した場合に、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたと判定して、警報装置５から警報を発生させる。これにより、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたことを、作業者に知らせることができる。作業者は、手動で画像センサ２０を動かして、画像センサ２０の位置を調整することになる。 Next, when the controller (alarm control means) 4 determines that the current position information does not match the initial position information, the controller 4 determines whether the current position where the image sensor 20 is currently mounted is determined by the controller 4 at the time of determination. It is determined that the position has deviated, and an alarm is issued from the alarm device 5. Thereby, it is possible to notify the worker that the current position where the image sensor 20 is currently mounted is shifted from the mounting position determined by the controller 4. The operator manually moves the image sensor 20 to adjust the position of the image sensor 20.
ここで、上述したように、記憶装置３が作業機械１０に設けられている。また、作業機械１０に設けられたコントローラ４が、複数の画像センサ２０がそれぞれどの取付位置に取り付けられているのかを判定している。つまり、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを判定する判定手段が、作業機械１０に設けられている。これにより、記憶装置３および判定手段の少なくとも一方が画像センサ２０に設けられている場合に比べて、画像センサ２０の構成を簡略化し、画像センサ２０のコストを下げることができる。 Here, the storage device 3 is provided in the work machine 10 as described above. Further, the controller 4 provided in the work machine 10 determines which mounting position each of the plurality of image sensors 20 is mounted on. That is, the work machine 10 is provided with a determination unit that determines which mounting position each of the plurality of image sensors 20 is attached to. Thus, the configuration of the image sensor 20 can be simplified and the cost of the image sensor 20 can be reduced as compared with the case where at least one of the storage device 3 and the determination unit is provided in the image sensor 20.
なお、判定手段が作業機械１０に設けられている場合には、複数の画像センサ２０の各々の取付位置が作業機械１０側で認識される。よって、その情報を画像センサ２０に入力すれば、画像センサ２０側でも取付位置が認識されることとなる。判定手段が画像センサ２０に設けられている場合には、その逆となる。 When the determination unit is provided in the work machine 10, the mounting positions of the plurality of image sensors 20 are recognized on the work machine 10 side. Therefore, if the information is input to the image sensor 20, the mounting position is also recognized on the image sensor 20 side. If the determination means is provided in the image sensor 20, the reverse is true.
（取付位置認識装置の動作）
次に、認識処理のフローチャートである図５を用いて、取付位置認識装置１の動作を説明する。認識処理のフローチャートは、コントローラ４による判定を行う際に実行される。
(Operation of the mounting position recognition device)
Next, the operation of the attachment position recognition device 1 will be described with reference to FIG. 5 which is a flowchart of the recognition process. The flowchart of the recognition process is executed when the controller 4 makes a determination.
まず、コントローラ４は、位置情報取得装置２を介して、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を取得する（ステップＳ１）。次に、コントローラ４は、取得した現在位置情報と、記憶装置３に記憶された取付位置情報とを照合する（ステップＳ２）。 First, the controller 4 acquires, via the position information acquisition device 2, current position information on the current position where the image sensor 20 is currently attached (step S1). Next, the controller 4 collates the acquired current position information with the mounting position information stored in the storage device 3 (Step S2).
次に、コントローラ４は、現在位置情報が取付位置情報と一致するか否かを判定する（ステップＳ３）。ステップＳ３において、現在位置情報が取付位置情報と一致しないと判定した場合には（Ｓ３：ＮＯ）、コントローラ４は、ステップＳ３を繰り返す。作業者は、手動で画像センサ２０を動かして、画像センサ２０の位置を調整することになる。一方、ステップＳ３において、現在位置情報が取付位置情報と一致すると判定した場合には（Ｓ３：ＹＥＳ）、コントローラ４は、各画像センサ２０の取付位置を認識する（ステップＳ４）。 Next, the controller 4 determines whether the current position information matches the mounting position information (step S3). If it is determined in step S3 that the current position information does not match the mounting position information (S3: NO), the controller 4 repeats step S3. The operator manually moves the image sensor 20 to adjust the position of the image sensor 20. On the other hand, if it is determined in step S3 that the current position information matches the mounting position information (S3: YES), the controller 4 recognizes the mounting position of each image sensor 20 (step S4).
次に、コントローラ４は、取得した現在位置情報を初期位置情報として記憶装置３に記憶させる（ステップＳ５）。そして、本フローを終了する。 Next, the controller 4 causes the storage device 3 to store the acquired current position information as initial position information (Step S5). Then, this flow ends.
次に、報知処理のフローチャートである図６を用いて、取付位置認識装置１の動作を説明する。報知処理のフローチャートは、コントローラ４による判定後（画像センサ２０の組み立て後）に実行される。 Next, the operation of the attachment position recognition device 1 will be described with reference to FIG. 6 which is a flowchart of the notification process. The flowchart of the notification process is executed after the determination by the controller 4 (after the assembly of the image sensor 20).
まず、コントローラ４は、位置情報取得装置２を介して、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を取得する（ステップＳ１１）。次に、コントローラ４は、取得した現在位置情報と、記憶装置３に記憶された初期位置情報とを照合する（ステップＳ１２）。そして、コントローラ４は、現在位置情報が初期位置情報と一致するか否かを判定する（ステップＳ１３）。 First, the controller 4 acquires, via the position information acquiring device 2, current position information on the current position where the image sensor 20 is currently attached (step S11). Next, the controller 4 collates the acquired current position information with the initial position information stored in the storage device 3 (Step S12). Then, the controller 4 determines whether the current position information matches the initial position information (Step S13).
ステップＳ１３において、現在位置情報が初期位置情報と一致しないと判定した場合には（Ｓ１３：ＮＯ）、コントローラ４は、警報装置５から警報を発生させる（ステップＳ１４）。そして、ステップＳ１１に戻る。作業者は、手動で画像センサ２０を動かして、画像センサ２０の位置を調整することになる。 If it is determined in step S13 that the current position information does not match the initial position information (S13: NO), the controller 4 causes the alarm device 5 to generate an alarm (step S14). Then, the process returns to step S11. The operator manually moves the image sensor 20 to adjust the position of the image sensor 20.
一方、ステップＳ１３において、現在位置情報が初期位置情報と一致すると判定した場合には（Ｓ１３：ＹＥＳ）、コントローラ４は、警報装置５から警報が発生中であるか否かを判定する（ステップＳ１５）。ステップＳ１５において、警報装置５から警報が発生中であると判定した場合には（Ｓ１５：ＹＥＳ）、コントローラ４は、警報を停止させる（ステップＳ１６）。そして、ステップＳ１１に戻る。一方、ステップＳ１５において、警報装置５から警報が発生中でないと判定した場合には（Ｓ１５：ＮＯ）、コントローラ４は、ステップＳ１１に戻る。 On the other hand, if it is determined in step S13 that the current position information matches the initial position information (S13: YES), the controller 4 determines whether an alarm is being issued from the alarm device 5 (step S15). ). If it is determined in step S15 that an alarm is being issued from the alarm device 5 (S15: YES), the controller 4 stops the alarm (step S16). Then, the process returns to step S11. On the other hand, when it is determined in step S15 that the alarm is not being issued from the alarm device 5 (S15: NO), the controller 4 returns to step S11.
（効果）
以上に述べたように、本実施形態に係る取付位置認識装置１によれば、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を、作業機械１０における複数の取付位置に関する取付位置情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを判定する。これにより、複数の画像センサ２０の各々の取付位置を容易に認識することができる。よって、作業者は、画像センサ２０毎に取付位置の情報を作業機械１０や画像センサ２０に入力する必要がない。
(effect)
As described above, according to the mounting position recognition device 1 according to the present embodiment, the current position information regarding the current position where the image sensor 20 is currently mounted is attached to the mounting position information regarding the plurality of mounting positions on the work machine 10. It is determined which mounting position each of the plurality of image sensors 20 is attached to by comparing with each other. Thereby, the mounting position of each of the plurality of image sensors 20 can be easily recognized. Therefore, the worker does not need to input the information on the mounting position for each image sensor 20 to the work machine 10 or the image sensor 20.
また、画像センサ２０が現在取り付けられている位置に関する現在位置情報として、目印が写り込んだ画像を取得する。これを、記憶装置３が取付位置情報として記憶する、目印を含む視野情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを好適に判定することができる。 Further, an image in which a mark is captured is acquired as current position information regarding the position where the image sensor 20 is currently attached. By comparing this with the visual field information including the mark stored in the storage device 3 as the mounting position information, it is possible to appropriately determine at which mounting position each of the plurality of image sensors 20 is mounted. .
また、目印が、作業機械１０の外形形状を含んでいる。これにより、画像センサ２０の現在位置情報の取得専用の目印を別途用意する必要がないので、構成を簡略化することができる。 Further, the mark includes the outer shape of the work machine 10. Thus, it is not necessary to separately prepare a mark dedicated to acquiring the current position information of the image sensor 20, so that the configuration can be simplified.
また、目印が、作業機械１０以外の風景を含んでいる。これにより、画像センサ２０の現在位置情報の取得専用の目印を別途用意する必要がないので、構成を簡略化することができる。 In addition, the mark includes a landscape other than the work machine 10. Thus, it is not necessary to separately prepare a mark dedicated to acquiring the current position information of the image sensor 20, so that the configuration can be simplified.
また、コントローラ４による判定時に位置情報取得装置２が取得した現在位置情報が、初期位置情報として記憶装置３に記憶される。そして、判定後に位置情報取得装置２が取得した現在位置情報が、初期位置情報と一致するか否かが判定され、一致しない場合に、警報が発生される。作業機械１０による作業を行っているうちに、作業機械１０の振動や他の物との接触によって、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれる場合がある。コントローラ４による判定後の現在位置情報が、コントローラ４による判定時の初期位置情報と一致しない場合に、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたと判定して、警報を発生させる。これにより、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたことを、作業者に知らせることができる。 Further, the current position information acquired by the position information acquisition device 2 at the time of the determination by the controller 4 is stored in the storage device 3 as initial position information. Then, it is determined whether or not the current position information obtained by the position information obtaining device 2 after the determination matches the initial position information. If not, an alarm is issued. When the current position where the image sensor 20 is currently mounted deviates from the mounting position at the time of the determination by the controller 4 due to vibration of the work machine 10 or contact with another object while the work by the work machine 10 is being performed. There is. When the current position information after the determination by the controller 4 does not match the initial position information at the time of the determination by the controller 4, the current position where the image sensor 20 is currently mounted deviates from the mounting position at the time of the determination by the controller 4. Judge and generate an alarm. Thereby, it is possible to notify the worker that the current position where the image sensor 20 is currently mounted is shifted from the mounting position determined by the controller 4.
また、記憶装置３および判定手段が、作業機械１０に設けられている。これにより、記憶装置３および判定手段の少なくとも一方が画像センサ２０に設けられている場合に比べて、画像センサ２０の構成を簡略化し、画像センサ２０のコストを下げることができる。 Further, the storage device 3 and the determination unit are provided in the work machine 10. Thus, the configuration of the image sensor 20 can be simplified and the cost of the image sensor 20 can be reduced as compared with the case where at least one of the storage device 3 and the determination unit is provided in the image sensor 20.
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。 As described above, the embodiments of the present invention have been described, but they are merely specific examples, and do not particularly limit the present invention. The specific configuration and the like can be appropriately changed in design. Also, the actions and effects described in the embodiments of the invention merely enumerate the most preferable actions and effects resulting from the present invention, and the actions and effects according to the present invention are described in the embodiments of the present invention. It is not limited to what was done.
例えば、位置情報取得装置２が、画像センサ２０の座標を、画像センサ２０の現在位置情報として取得する場合には、位置情報取得装置２が取得したセンサ本体２１の座標を、記憶装置３が記憶する座標情報（図４参照）と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを判定してよい。 For example, when the position information acquisition device 2 acquires the coordinates of the image sensor 20 as the current position information of the image sensor 20, the storage device 3 stores the coordinates of the sensor body 21 acquired by the position information acquisition device 2. By comparing with the coordinate information (see FIG. 4), which mounting position each of the plurality of image sensors 20 may be determined.
１ 取付位置認識装置
２ 位置情報取得装置
３ 記憶装置
４ コントローラ
５ 警報装置
１０ 作業機械
１１ 下部走行体
１２ 上部旋回体
１３ 作業装置
１４ キャブ
２０ 画像センサ
２１ センサ本体
２２ 支持部材
REFERENCE SIGNS LIST 1 mounting position recognition device 2 position information acquisition device 3 storage device 4 controller 5 alarm device 10 work machine 11 lower traveling body 12 upper revolving body 13 work device 14 cab 20 image sensor 21 sensor body 22 support
Claims (6)
前記画像センサが現在取り付けられている現在位置に関する現在位置情報を取得する位置情報取得装置と、
前記取付位置に関する取付位置情報を前記複数の取付位置毎に記憶する記憶装置と、
前記位置情報取得装置が取得した前記現在位置情報を、前記記憶装置が記憶する前記取付位置情報と照合することで、前記複数の画像センサが、それぞれどの前記取付位置に取り付けられているのかを判定する判定手段と、
を有することを特徴とする取付位置認識装置。 A mounting position recognition device attached to each of a plurality of different mounting positions of the work machine, each of which recognizes the mounting position of each of a plurality of image sensors for acquiring an image,
A position information acquisition device that acquires current position information about a current position where the image sensor is currently mounted,
A storage device that stores mounting position information about the mounting position for each of the plurality of mounting positions,
By comparing the current position information acquired by the position information acquisition device with the attachment position information stored in the storage device, it is determined which of the attachment positions each of the plurality of image sensors is attached to. Means for determining
A mounting position recognition device, comprising:
前記記憶装置は、前記目印を含む視野情報を前記取付位置情報として記憶していることを特徴とする請求項１に記載の取付位置認識装置。 The position information acquisition device acquires the image sensor, acquires an image in which a mark is reflected as the current position information,
The attachment position recognition device according to claim 1, wherein the storage device stores visual field information including the mark as the attachment position information.
前記判定手段による判定後に前記位置情報取得装置が取得した前記現在位置情報が、前記初期位置情報と一致するか否かを判定する位置情報判定手段と、
警報を発することが可能な警報装置と、
前記現在位置情報が前記初期位置情報と一致しないと前記位置情報判定手段が判定した場合に、前記警報装置から警報を発生させる警報制御手段と、
をさらに有することを特徴とする請求項１〜４のいずれか１項に記載の取付位置認識装置。 Storage control means for storing the current position information acquired by the position information acquisition device at the time of the determination by the determination means in the storage device as initial position information,
Position information determining means for determining whether or not the current position information obtained by the position information obtaining device after the determination by the determining means matches the initial position information;
An alarm device that can issue an alarm,
When the position information determination unit determines that the current position information does not match the initial position information, an alarm control unit that generates an alarm from the alarm device;
The mounting position recognition device according to any one of claims 1 to 4, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018183297A JP7081425B2 (en) | 2018-09-28 | 2018-09-28 | Mounting position recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018183297A JP7081425B2 (en) | 2018-09-28 | 2018-09-28 | Mounting position recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020053909A true JP2020053909A (en) | 2020-04-02 |
| JP7081425B2 JP7081425B2 (en) | 2022-06-07 |
Family
ID=69994148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018183297A Active JP7081425B2 (en) | 2018-09-28 | 2018-09-28 | Mounting position recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7081425B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010198422A (en) * | 2009-02-26 | 2010-09-09 | Sanyo Electric Co Ltd | Image processing apparatus and method |
| JP2015149614A (en) * | 2014-02-06 | 2015-08-20 | 株式会社デンソー | image analysis apparatus, and image analysis method |
| JP2015202835A (en) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | Attachment error display control device of on-vehicle camera and attachment error detection device |
| JP2016225713A (en) * | 2015-05-27 | 2016-12-28 | 京セラ株式会社 | Imaging apparatus, vehicle, installation position discrimination system, installation position discrimination apparatus, and installation position discrimination method |
-
2018
- 2018-09-28 JP JP2018183297A patent/JP7081425B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010198422A (en) * | 2009-02-26 | 2010-09-09 | Sanyo Electric Co Ltd | Image processing apparatus and method |
| JP2015149614A (en) * | 2014-02-06 | 2015-08-20 | 株式会社デンソー | image analysis apparatus, and image analysis method |
| JP2015202835A (en) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | Attachment error display control device of on-vehicle camera and attachment error detection device |
| JP2016225713A (en) * | 2015-05-27 | 2016-12-28 | 京セラ株式会社 | Imaging apparatus, vehicle, installation position discrimination system, installation position discrimination apparatus, and installation position discrimination method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7081425B2 (en) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109552665B (en) | Method for measuring and inspecting structures using a catenary platform | |
| US11565427B2 (en) | Robot system | |
| US9667923B2 (en) | Camera attitude detection device and work region line display device | |
| RU2664257C2 (en) | Systems and methods for tracking location of mobile target objects | |
| JP5227139B2 (en) | Construction machinery | |
| JP6316568B2 (en) | Surveying system | |
| US9604363B2 (en) | Object pickup device and method for picking up object | |
| US9300954B2 (en) | Surrounding information-obtaining device for working vehicle | |
| US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
| US20180161978A1 (en) | Interference region setting apparatus for mobile robot | |
| US20160378181A1 (en) | Method for Image Stabilization | |
| US9671217B2 (en) | Structure measuring unit for tracking, measuring and marking edges and corners of adjacent surfaces | |
| JP6219043B2 (en) | Boom tip position detection device | |
| US10704891B2 (en) | Method and apparatus for determining the 3D coordinates of an object | |
| JPWO2015198410A1 (en) | External recognition device | |
| WO2019059091A1 (en) | Utility pole management system | |
| CN109715307A (en) | Bending machine with workspace image capture device and the method for indicating workspace | |
| JP7155516B2 (en) | construction machinery | |
| CN109983299A (en) | The measuring system and method for industrial robot | |
| JP6421451B2 (en) | Camera posture detection device | |
| JP6097063B2 (en) | Height measuring device and height measuring method | |
| JP7081425B2 (en) | Mounting position recognition device | |
| US11935292B2 (en) | Method and a system for analyzing a scene, room or venue | |
| JP2020066519A (en) | Deformation amount measurement device and deformation amount measurement method | |
| JP2019218198A (en) | Operation support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220509 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7081425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |