JP2022024406A - Remote control work camera, and display method for screen used for remote control using work camera - Google Patents
Remote control work camera, and display method for screen used for remote control using work camera Download PDFInfo
- Publication number
- JP2022024406A JP2022024406A JP2020126967A JP2020126967A JP2022024406A JP 2022024406 A JP2022024406 A JP 2022024406A JP 2020126967 A JP2020126967 A JP 2020126967A JP 2020126967 A JP2020126967 A JP 2020126967A JP 2022024406 A JP2022024406 A JP 2022024406A
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- construction machine
- mirror
- traveling body
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000010276 construction Methods 0.000 claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 238000009412 basement excavation Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、遠隔操縦用作業カメラ及び遠隔操縦に用いる画面の表示方法に係り、更に詳細には、建設機械の足元を視認できる遠隔操縦用作業カメラ、及び該作業カメラを用いた遠隔操縦に用いる画面の表示方法に関する。 The present invention relates to a remote-controlled work camera and a screen display method used for remote control, and more specifically, the present invention is used for a remote-controlled work camera capable of visually recognizing the feet of a construction machine, and for remote control using the work camera. Regarding how to display the screen.
土砂崩れの危険が高い所での災害復旧工事など、オペレータが建設機械に乗って操作することが危険である場合は、オペレータが工事場所から離れた安全な場所で建設機械を遠隔操作することが行われている。 When it is dangerous for the operator to get on the construction machine and operate it, such as disaster recovery work in a place where there is a high risk of landslides, the operator can remotely operate the construction machine in a safe place away from the construction site. It has been.
特に、緊急性を要する場合は、通常のオペレータが搭乗して操作する建設機械を遠隔操作する必要があり、オペレータの代わりに操作ロボットを建設機械に乗せ、オペレータが建設機械に搭載した固定カメラの映像を見ながら、上記操作ロボットを動かし間接的に建設機械を操作する。 In particular, when there is an urgent need, it is necessary to remotely control the construction machine that a normal operator is on board and operates. While watching the video, move the above operation robot to indirectly operate the construction machine.
また、安全な場所での作業であっても、建設機械を遠隔操作する場合は、建設機械を直接目視することができない場合もあることから、建設機械の足元の状況を常に把握し、建設機械が転倒しないよう注意する必要がある。 In addition, even when working in a safe place, when operating the construction machine remotely, it may not be possible to directly see the construction machine, so always keep track of the situation at the feet of the construction machine and use the construction machine. You need to be careful not to tip over.
さらに、建設機械による掘削などの作業時には、作業を行うバケットが搭載される上部旋回体と建設機械移動用履帯のある下部走行体は同じ方向を向いているとは限らないため、上部旋回体と下部走行体との相互の位置関係を常に把握しておく必要がある。 Furthermore, during work such as excavation by construction machinery, the upper swivel body on which the bucket for work is mounted and the lower traveling body with the construction machine moving cuffs do not always face the same direction. It is necessary to always keep track of the mutual positional relationship with the lower traveling body.
特許文献1の特許第6256874号公報には、複数のカメラを建設機械の陰となる部分が撮像不能とならないように配置し、複数のカメラの映像を合成することで死角領域が無い俯瞰画像を得る方法が示されている。
特許文献2の特許第3572890号公報には、雲台上にテレビカメラを搭載し、作業場所に向けるように制御する方法が示されている。
特許文献3の特開2018-121195公報には、魚眼カメラで撮像した広範囲の映像から、ヘッドマウントディスプレイを装着しオペレータの頭の動きに連動した映像の範囲の歪みを補正し表示する方法が示されている。
In Japanese Patent No. 6256874 of Patent Document 1, a plurality of cameras are arranged so that a portion behind a construction machine cannot be imaged, and images of the plurality of cameras are combined to obtain a bird's-eye view image without a blind spot area. How to get is shown.
Japanese Patent No. 3572890 of
Japanese Patent Application Laid-Open No. 2018-12195 discloses a method of correcting and displaying distortion in a range of images linked to the movement of the operator's head by attaching a head-mounted display from a wide range of images captured by a fisheye camera. It is shown.
特許文献1~3に示されたいずれの方法でも、遠隔操縦オペレータは、掘削などの作業場所、及び建設機械の転倒を予防するための自らの足元の把握、及び上部旋回体と下部走行体の位置関係の把握を行うことができる。 In any of the methods shown in Patent Documents 1 to 3, the remote control operator grasps the work place such as excavation and his / her feet to prevent the construction machine from tipping over, and the upper swivel body and the lower traveling body. It is possible to grasp the positional relationship.
しかし、特許文献1の方法では複数のカメラ映像を合成する装置が必要となる。
特許文献2の方法では、雲台と制御システムにより、自らの足元の状況把握、及び上部旋回体と下部走行体の相互関係を把握するためには雲台を下方に向ける必要がある。
特許文献3の方法では、雲台と制御システムにより、自らの足元の状況把握、及び上部旋回体と下部移動体の相互関係を把握するためヘッドマウントディスプレイと魚眼カメラ映像の歪み補正装置によりオペレータの視点を変更する必要がある。
これら特許文献1~3の方法は、高価な装置が必要となるという、さらなる問題がある。
However, the method of Patent Document 1 requires a device for synthesizing a plurality of camera images.
In the method of
In the method of
These methods of Patent Documents 1 to 3 have a further problem that an expensive device is required.
本発明は、このような従来技術の有する課題に鑑みてなされたものであり、その目的とするところは、常に建設機械のキャビンの下方の足元を視認することによって足元の状況と下部走行体の向きの把握を行うことができ、かつ画像処理によらずキャビンから見たような自然な映像を撮像できる遠隔操縦用作業カメラ、及び遠隔操縦に用いる画面の表示方法を、安価に提供することにある。 The present invention has been made in view of the problems of the prior art, and the purpose of the present invention is to always visually recognize the foot below the cabin of the construction machine to determine the condition of the foot and the lower traveling body. To provide a remote control work camera that can grasp the orientation and capture a natural image as seen from the cabin regardless of image processing, and a screen display method used for remote control at low cost. be.
本発明者は、上記目的を達成すべく鋭意検討を重ねた結果、建設機械操作者が通常搭乗した時の目の位置に撮像ユニットを設置し、建設機械の足元及び下部移動体の履帯の向きを映す下方ミラーを設置することにより、上記目的が達成できることを見出し、本発明を完成するに至った。 As a result of diligent studies to achieve the above object, the present inventor installed the image pickup unit at the position of the eyes when the construction machine operator normally boarded, and the direction of the tracks of the foot and the lower moving body of the construction machine. We have found that the above object can be achieved by installing a lower mirror that reflects the above-mentioned object, and have completed the present invention.
すなわち、上記課題は本発明の下記(1)~(3)のカメラによって解決される。
(1)少なくとも上部旋回体と、下部走行体と、を備える建設機械の遠隔操縦用作業カメラであって、
垂直画角が40°~50°の撮像ユニットと、該撮像ユニットの前方に設置された下方ミラーとを有し、
上記撮像ユニットが、上記上部旋回体の上部に上記建設機械の前方の水平線が映る向きに設置され、
上記撮像ユニットの映像に映る上記下方ミラーが、上記下部走行体を含む下方を映すことを特徴とする遠隔操縦用作業カメラ。
(2)上記下方ミラーが、左用下方ミラーと右用下方ミラーとを備え、
上記左用下方ミラーが、上記撮像ユニットの映像の左上隅に、建設機械の下部走行体の少なくとも左前端が映る角度で設置され、
上記右用下方ミラーが、上記撮像ユニットの映像の右上隅に、建設機械の下部走行体の少なくとも右前端が映る角度で設置されていることを特徴とする上記第(1)項に記載の遠隔操縦用作業カメラ。
(3)上記下方ミラーが凸面鏡であり、少なくとも下部走行体の左前端と右前端とが映る位置に設置されていることを特徴とする上記第(1)項又は第(2)項に記載の遠隔操縦用作業カメラ。
That is, the above problem is solved by the following cameras (1) to (3) of the present invention.
(1) A work camera for remote control of a construction machine including at least an upper swing body and a lower traveling body.
It has an imaging unit with a vertical angle of view of 40 ° to 50 ° and a lower mirror installed in front of the imaging unit.
The image pickup unit is installed above the upper swing body in a direction in which the horizon in front of the construction machine is reflected.
A remote-controlled work camera characterized in that the lower mirror reflected in the image of the image pickup unit reflects the lower part including the lower traveling body.
(2) The lower mirror includes a left lower mirror and a right lower mirror.
The lower left mirror is installed in the upper left corner of the image of the image pickup unit at an angle at which at least the left front end of the lower traveling body of the construction machine is reflected.
The remote according to the above item (1), wherein the lower right mirror is installed in the upper right corner of the image of the image pickup unit at an angle at which at least the right front end of the lower traveling body of the construction machine is reflected. Working camera for maneuvering.
(3) The above-mentioned item (1) or (2), wherein the lower mirror is a convex mirror and is installed at a position where at least the left front end and the right front end of the lower traveling body are reflected. Work camera for remote control.
また、上記課題は本発明の下記(4)の表示方法によって解決される。
少なくとも上部旋回体と、下部走行体と、を備える建設機械の遠隔操縦に用いる画面の表示方法であって、
上記第(1)項~第(3)項のいずれか1つの項に記載の遠隔操縦用作業カメラを用い、上記建設機械を遠隔操縦するときに作業を行う範囲から建設機械の走行に必要な前方水平線までを映すことを特徴とする遠隔操縦に用いる画面の表示方法。
Further, the above problem is solved by the display method of the following (4) of the present invention.
A screen display method used for remote control of a construction machine including at least an upper swing body and a lower traveling body.
It is necessary for the construction machine to run from the range in which the work is performed when the construction machine is remotely controlled by using the work camera for remote control according to any one of the above items (1) to (3). A screen display method used for remote control, which is characterized by displaying up to the front horizon.
本発明によれば、歪曲収差の補正が不要な広角レンズを用いた撮像ユニットの前方に下方ミラーを設置することしたため、常にキャビンの下方を視認でき、かつ画像処理によらず自然な映像を撮像できる遠隔操縦用作業カメラ、及び該作業カメラを用いた画面の表示方法を提供することができる。 According to the present invention, since the lower mirror is installed in front of the image pickup unit using a wide-angle lens that does not require correction of distortion, the lower part of the cabin can always be visually recognized and a natural image is captured regardless of image processing. It is possible to provide a work camera for remote control that can be used, and a screen display method using the work camera.
本発明の遠隔操縦用作業カメラについて詳細に説明する。
上記遠隔操縦用作業カメラ1は、建設機械10を遠隔操縦するときに掘削などの作業を行う範囲から建設機械の走行に必要な前方水平線までを映すカメラであり、撮像ユニット2と下方ミラー3とを備える。
The work camera for remote control of the present invention will be described in detail.
The remote control work camera 1 is a camera that captures the range from the range where work such as excavation is performed when the
上記建設機械10は、図1に示すように、上部旋回体11と下部走行体12とを備え、上部旋回体11は、下部走行体12の上部に旋回軸を中心に水平旋回可能に設けられる。
As shown in FIG. 1, the
上記上部旋回体11は、運転席110が設けられたキャビンまたはキャノピーを有し、必要に応じて、搖動可能に支持されたブーム111及びアーム112が設けられ、該アーム112の先端にはバケット113などの作業ツールが取り付けられる。
The
上記下部走行体12の履帯を回転させて建設機械10を移動させるときは、上部旋回体11を旋回させて上部旋回体11の正面と下部走行体12の進行方向とを合わせる必要がある。
When the track of the lower traveling
上記撮像ユニット2は、上部旋回体11の上部に、上記建設機械10の前方の水平線が映る方向に向けて、建設機械の運転席に座ったオペレータの目線の位置に設置する。
具体的には、上部旋回体11の上部に設けられた運転席の側方や前方に撮像ユニット2を設置する。このため、オペレータは運転席に座っているような自然な映像を見ながら操縦でき、遠隔操縦に不慣れなオペレータであっても建設機械10を容易に遠隔操縦できる。
The
Specifically, the
遠隔操縦時の違和感を軽減するため、撮像ユニット2のレンズは超広角レンズではないことが望ましく、垂直画角が40°~50°を用いる。
In order to reduce the discomfort during remote control, it is desirable that the lens of the
上記撮像ユニット2のレンズは、歪曲収差を利用して歪んだ状態で広い範囲を写す魚眼レンズとは異なり、垂直画角が40°~50°のレンズであるため、歪曲収差の補正が不要であり、画像処理によらずあたかも運転席に座っているような自然な映像を撮像できる。
なお、垂直画角が40°~50°の広角レンズは、35mm換算での焦点距離がおよそ24mm~35mmである。
The lens of the
A wide-angle lens having a vertical angle of view of 40 ° to 50 ° has a focal length of about 24 mm to 35 mm in terms of 35 mm.
上記撮像ユニット2の前方には、支持部材で支持された下方ミラー3を備える。
下方ミラー3は、上記下部走行体12の建設機械の履帯等、下部走行体の少なくとも一部を映すように設置される。なお、必要に応じて、水平線よりも上方を映す撮像ユニットを別に設けてもよい。
A
The
遠隔操縦者は、撮像ユニット2の映像内の下方ミラー3に映る、下部走行体12を含む下方の映像によって、下部走行体12の進行方向を確認できるため、上部旋回体11の正面を下部走行体12の進行方向に合わせることができる。したがって、建設機械10を安全かつ速やかに移動させることができ、作業性が向上する。
Since the remote operator can confirm the traveling direction of the lower traveling
また、下方ミラー3を有することで、キャビンなどの死角となって確認することができない下部走行体12を映すことができ、常に建設機械10の足元を確認できるため、移動時のみならず作業時の安全性が高まる。
Further, by having the
上記下方ミラー3は、図1に示すように、上記撮像ユニット2で撮られた映像の画角範囲と一部が重複するように設置されていることが好ましい。
As shown in FIG. 1, it is preferable that the
また、上記下方ミラー3は、撮像ユニット2で撮られた映像の左上隅及び/又は右上隅に映る位置に設置されていることが好ましい。
撮像ユニット2で撮影した画像の一例を図2に示す。
Further, it is preferable that the
FIG. 2 shows an example of an image taken by the
通常の建設機械10は、運転席110から見て右側にブームを有し、上記撮像ユニット2で撮られた映像の左上部分は、通常、空が映っている部分であり、右上部分はブームが映っている部分である。これら映像の左右の上隅部分は建設機械10を移動させる際に障害物の有無を確認する必要が少ない部分であり、下方ミラーによる死角の影響が小さい。
The
また、下方ミラーは、左用下方ミラー又は右用下方ミラーのいずれか一方のみでもよいが、左用下方ミラーと右用下方ミラーとを備えることが好ましい。 Further, the lower mirror may be either a left lower mirror or a right lower mirror, but it is preferable to include a left lower mirror and a right lower mirror.
上記左用下方ミラーは、少なくとも建設機械の左履帯など、下部走行体の左前端が映る角度で設置され、上記右用下方ミラーは、少なくとも建設機械の右履帯など、下部走行体の右前端が映る角度で設置される。 The left lower mirror is installed at an angle that reflects at least the left front end of the lower vehicle such as the left track of the construction machine, and the right lower mirror reflects at least the right front end of the lower vehicle such as the right track of the construction machine. Installed at an angle.
左用下方ミラーに加えて右用下方ミラーを備えることで、ブームや履帯などによって左用下方ミラーの死角になり易い下部走行体の右側方を、映像によって確認することができる。 By providing the lower mirror for the right in addition to the lower mirror for the left, the right side of the lower traveling body, which tends to be a blind spot of the lower mirror for the left due to booms and tracks, can be confirmed by an image.
また、上記下方ミラー3が凸面鏡であると小さな面積で広い範囲を映すことができ、下方ミラー3による死角を小さくできるため下方ミラー3が遠隔操縦の妨げになることはない。
Further, if the
上記凸面鏡は、鏡像が小さくなり実際よりも遠方にあるとの誤解が生じ易いが、上記下方ミラー3は、下部走行体12の進行方向の確認や、下方の障害物の有無を確認できればよく、距離感をつかむ必要がないため問題となることはない。
It is easy to misunderstand that the convex mirror has a smaller mirror image and is farther than it actually is, but the
上記作業カメラは安価な撮像ユニットに下方ミラーを組み合わせたものであり、上記従来技術に比べ、容易かつ簡便に遠隔操縦を実現することができる。 The above-mentioned work camera is a combination of an inexpensive imaging unit and a lower mirror, and can realize remote control more easily and easily than the above-mentioned conventional technique.
1 作業カメラ
2 撮像ユニット
3 下方ミラー
10 建設機械
11 上部旋回体
110 運転席
111 ブーム
112 アーム
113 バケット
12 下部走行体
1
Claims (4)
垂直画角が40°~50°の撮像ユニットと、該撮像ユニットの前方に設置された下方ミラーとを有し、
上記撮像ユニットが、上記上部旋回体の上部に上記建設機械の前方の水平線が映る向きに設置され、
上記撮像ユニットの映像に映る上記下方ミラーが、上記下部走行体を含む下方を映すことを特徴とする遠隔操縦用作業カメラ。 A work camera for remote control of construction machinery, including at least an upper swing body and a lower traveling body.
It has an imaging unit with a vertical angle of view of 40 ° to 50 ° and a lower mirror installed in front of the imaging unit.
The image pickup unit is installed above the upper swing body in a direction in which the horizon in front of the construction machine is reflected.
A remote-controlled work camera characterized in that the lower mirror reflected in the image of the image pickup unit reflects the lower part including the lower traveling body.
上記左用下方ミラーが、上記撮像ユニットの映像の左上隅に、建設機械の下部走行体の少なくとも左前端が映る角度で設置され、
上記右用下方ミラーが、上記撮像ユニットの映像の右上隅に、建設機械の下部走行体の少なくとも右前端が映る角度で設置されていることを特徴とする請求項1に記載の遠隔操縦用作業カメラ。 The lower mirror includes a lower mirror for the left and a lower mirror for the right.
The lower left mirror is installed in the upper left corner of the image of the image pickup unit at an angle at which at least the left front end of the lower traveling body of the construction machine is reflected.
The remote control work according to claim 1, wherein the lower right mirror is installed in the upper right corner of the image of the image pickup unit at an angle at which at least the right front end of the lower traveling body of the construction machine is reflected. camera.
上記1~3のいずれか1つの項に記載の遠隔操縦用作業カメラを用い、上記建設機械を遠隔操縦するときに作業を行う範囲から建設機械の走行に必要な前方水平線までを映すことを特徴とする遠隔操縦に用いる画面の表示方法。 A screen display method used for remote control of a construction machine including at least an upper swing body and a lower traveling body.
Using the remote-controlled work camera described in any one of the above 1 to 3, the feature is that the range from the work to be performed when the construction machine is remotely controlled to the front horizon required for the construction machine to run is projected. How to display the screen used for remote control.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020126967A JP2022024406A (en) | 2020-07-28 | 2020-07-28 | Remote control work camera, and display method for screen used for remote control using work camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020126967A JP2022024406A (en) | 2020-07-28 | 2020-07-28 | Remote control work camera, and display method for screen used for remote control using work camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022024406A true JP2022024406A (en) | 2022-02-09 |
Family
ID=80265496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020126967A Pending JP2022024406A (en) | 2020-07-28 | 2020-07-28 | Remote control work camera, and display method for screen used for remote control using work camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022024406A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7228303B1 (en) | 2022-08-12 | 2023-02-24 | Totalmasters株式会社 | Operation support device, remote control system and automatic driving system |
-
2020
- 2020-07-28 JP JP2020126967A patent/JP2022024406A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7228303B1 (en) | 2022-08-12 | 2023-02-24 | Totalmasters株式会社 | Operation support device, remote control system and automatic driving system |
JP2024025480A (en) * | 2022-08-12 | 2024-02-26 | Totalmasters株式会社 | Control support device, remote control system, and automatic operation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6909641B2 (en) | Display system | |
JP3351984B2 (en) | Apparatus and method for improving visibility of working vehicle | |
US8130270B2 (en) | Vehicle-mounted image capturing apparatus | |
JP5269026B2 (en) | Work machine ambient monitoring device | |
JP6456584B2 (en) | Perimeter monitoring equipment for work machines | |
JP5093611B2 (en) | Vehicle periphery confirmation device | |
US20140111648A1 (en) | Device For Monitoring Area Around Working Machine | |
JP6321977B2 (en) | Perimeter monitoring equipment for heavy machinery | |
JP2019062308A (en) | Mobile object with camera, mobile object with camera control system, and program | |
KR20170136057A (en) | Remote control excavator monitoring system and method for monitoring using the system | |
JP2022024406A (en) | Remote control work camera, and display method for screen used for remote control using work camera | |
JP6290497B2 (en) | Excavator | |
KR100593594B1 (en) | Vehicle driving agent with panorama camera | |
JP6041005B2 (en) | Display control apparatus and display system | |
JP2020161933A (en) | Remote control system and remote control server | |
JP6420432B2 (en) | Excavator | |
JP6713480B2 (en) | Container handling vehicle | |
JP6602936B2 (en) | Excavator | |
JP2017081535A (en) | Container handling vehicle | |
JP6799557B2 (en) | Work machine | |
WO2012066867A1 (en) | Vehicle surrounding image taking device | |
JP6391656B2 (en) | Peripheral monitoring device for work machine and work machine | |
US11590892B2 (en) | Work vehicle display systems and methods for generating visually-manipulated context views | |
JP2020032320A (en) | Dismantling system | |
JPH05147882A (en) | Crane controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230622 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230622 |
|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20231010 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20231101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240214 |