JPWO2017042873A1 - Remote operation system and operation support system - Google Patents
Remote operation system and operation support system Download PDFInfo
- Publication number
- JPWO2017042873A1 JPWO2017042873A1 JP2017538497A JP2017538497A JPWO2017042873A1 JP WO2017042873 A1 JPWO2017042873 A1 JP WO2017042873A1 JP 2017538497 A JP2017538497 A JP 2017538497A JP 2017538497 A JP2017538497 A JP 2017538497A JP WO2017042873 A1 JPWO2017042873 A1 JP WO2017042873A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- camera
- point cloud
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
作業機械などの移動体100に3次元カメラ103を設置し、移動体の前方を撮像して3次元点群データを取得する。この3次元点群データから、カメラ視点方向とは異なるアングルで移動体が作業を行う作業対象物301が写る点群レンダリング画像を生成する。さらに、移動体や作業対象物の3次元モデルデータをもとに移動体や作業対象物の人工画像100’,301’を生成して、前記点群レンダリング画像に重畳して表示する。これにより遠隔オペレータは、例えば移動体の上方からの画像や側方からの画像を参照し、移動体と作業対象物の位置関係を把握することができ、作業効率が向上する。A 3D camera 103 is installed on a moving body 100 such as a work machine, and the front of the moving body is imaged to acquire 3D point cloud data. From this three-dimensional point cloud data, a point cloud rendering image is generated in which the work object 301 on which the moving object works with an angle different from the camera viewpoint direction. Further, artificial images 100 ′ and 301 ′ of the moving object and the work object are generated based on the three-dimensional model data of the moving object and the work object, and are displayed superimposed on the point cloud rendering image. Thus, the remote operator can grasp the positional relationship between the moving body and the work object with reference to, for example, an image from above or from the side of the moving body, and work efficiency is improved.
Description
本発明は、作業機械や移動ロボットなどの移動体を遠隔地から操作する遠隔操作システムに関するものである。 The present invention relates to a remote operation system for operating a moving body such as a work machine or a mobile robot from a remote location.
作業機械や移動ロボットなどの移動体を遠隔操作したというニーズがある。例えば、災害復旧工事などの作業員が危険にさらされる環境下での作業は、作業機械に運転手が搭乗せず、無人の作業機械を遠隔地に設置した操作設備からオペレータが操作する遠隔操作システムが有効となる。移動ロボットに関しても同様である。 There is a need to remotely control a moving body such as a work machine or a mobile robot. For example, in an environment where workers are exposed to danger, such as disaster recovery work, a driver does not board the work machine, and remote operation is performed by an operator from an operation facility with an unmanned work machine installed at a remote location. The system is activated. The same applies to mobile robots.
上記のように移動体を遠隔操作する場合には、移動体にカメラを設置し、撮影されたカメラ映像を遠隔地の操作設備に有線または無線通信によって伝送し、操作設備内のモニタにその映像を映し出す。遠隔操作者は、モニタ上の映像を参照して移動体の操作を行う。 When the mobile unit is operated remotely as described above, a camera is installed on the mobile unit, and the captured camera video is transmitted to the remote control facility by wired or wireless communication, and the video is displayed on the monitor in the control facility. Is projected. The remote operator operates the moving body with reference to the video on the monitor.
その場合、一般的にモニタ上の映像では、作業機械に搭乗した時と比べて遠近感が分かりにくく、作業対象物までの距離や形を認識することが比較的困難となる。その対策として、作業現場へカメラや通信手段を持ったカメラ車を配置し、このカメラ車が作業機械や作業対象周辺を側方から撮影し、その映像を操作設備に送信する方法がある。これによれば、遠隔操作するオペレータには側方映像という形で奥行き情報が与えられ、作業対象物までの距離や形を認識し易くなる。しかし、このようなカメラ車を別途用意してその操作を行う方法は、費用や手間が増えるため実用的とは言えない。 In that case, in general, an image on a monitor makes it difficult to perceive the perspective as compared to when riding on a work machine, and it is relatively difficult to recognize the distance and shape to the work object. As a countermeasure, there is a method in which a camera car having a camera and communication means is arranged at the work site, the camera car photographs the work machine and the periphery of the work object from the side, and the image is transmitted to the operation equipment. According to this, depth information is given to the remotely operated operator in the form of a side image, and the distance and shape to the work object can be easily recognized. However, a method of separately preparing such a camera car and operating it is not practical because it increases costs and labor.
カメラ車を用いず作業機械のみでオペレータへ奥行き情報を与える方法として、特許文献1、2に記載される方法が提案されている。
As methods for providing depth information to an operator using only a work machine without using a camera car, methods described in
特許文献1には、遠隔操縦される作業機に多眼カメラを搭載し、多眼カメラから得られる複数の撮像画像から所定の視差をもとに距離画像を生成し、各画素に距離に応じた色を割り当てることで擬似的な3次元画像を合成して遠隔操縦装置へ伝送する遠隔操縦支援装置が開示されている。 In Patent Document 1, a multi-view camera is mounted on a remotely operated work machine, a distance image is generated from a plurality of captured images obtained from the multi-view camera based on a predetermined parallax, and each pixel is set according to the distance. A remote control support device that synthesizes a pseudo three-dimensional image by assigning different colors and transmits the synthesized three-dimensional image to the remote control device is disclosed.
特許文献2には、建設機械に3次元スキャナーを搭載して作業対象物の3次元距離データを取得し、これを遠隔操作装置のスキャナー画像表示部にて表示すること、また、スキャナー画像表示部では異なるアングルの3次元距離データを表示することが開示されている。
In
特許文献1の方法は、作業機に視点を置いた画像に擬似的な立体感を持たせることができるが、オペレータへ与えられる奥行き情報の精度が限られている。このため、カメラ車を用いて側方からの画像を提示する方法と比較すると、作業対象物までの距離感が正確につかめず、その結果作業の精度が低く、かつ作業効率が劣るものとなってしまう。 The method of Patent Document 1 can give a pseudo three-dimensional feeling to an image with a viewpoint on a work machine, but the accuracy of depth information given to an operator is limited. For this reason, compared with the method of presenting an image from the side using a camera car, the sense of distance to the work object cannot be accurately grasped, resulting in low work accuracy and poor work efficiency. End up.
特許文献2の方法は、3次元スキャナーを用いて作業対象物の3次元距離データ(距離画像)を取得し、取得した距離画像を用いることで、任意のアングルの画像を合成することが可能である。しかしながら、建設機械(作業機械)から測定できる距離画像は、当然ながら3次元スキャナーから見える領域に制限される。このため、作業対象物が作業機械の一部(例えばアーム部分)により遮蔽されている場合には、作業対象物を別アングルから見た画像を生成することは不可能である。その結果、例えば別のアングルからの画像が分かりにくくなるため、作業対象物の距離感が正確につかめず、作業の精度が低く、かつ作業効率が劣るものとなってしまう。
In the method of
本発明の目的は、作業対象物を任意のアングルから見た場合でも作業対象物までの距離感が正確につかめるような画像を表示する遠隔操作システムを提供することである。 An object of the present invention is to provide a remote control system that displays an image that can accurately grasp the sense of distance to a work object even when the work object is viewed from an arbitrary angle.
本発明は、作業対象物に対して作業を行う移動体を遠隔操作装置により操作する遠隔操作システムであって、移動体には、移動体の前方を撮影する3次元カメラと、3次元カメラから得た3次元点群データから3次元カメラの視点方向とは異なる角度で作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、移動体の3次元モデルデータをもとに移動体の人工画像を生成するCG画像生成部と、人工画像を点群レンダリング画像に重畳する重畳画像合成部と、重畳画像合成部で重畳した自由視点合成画像を遠隔操作装置に送信する通信部と、を備える。また遠隔操作装置には、移動体から送信された自由視点合成画像を受信する通信部と、受信した自由視点合成画像を表示する表示部と、移動体に対して操作を指示する操作入力部と、を備える構成とする。ここに重畳画像合成部は、さらに、作業対象物の3次元モデルデータをもとに作業対象物の人工画像を生成して点群レンダリング画像に重畳する構成とする。 The present invention is a remote control system for operating a moving body that performs a work on a work target by a remote control device. The moving body includes a three-dimensional camera that captures the front of the moving body and a three-dimensional camera. Based on the obtained 3D point cloud data, a free viewpoint image generation unit that generates a point cloud rendering image in which the work object is captured at an angle different from the viewpoint direction of the 3D camera, and movement based on the 3D model data of the moving object A CG image generation unit that generates an artificial image of the body, a superimposed image synthesis unit that superimposes the artificial image on the point cloud rendering image, and a communication unit that transmits the free viewpoint synthesized image superimposed by the superimposed image synthesis unit to the remote control device; . Further, the remote control device includes a communication unit that receives a free viewpoint composite image transmitted from a mobile body, a display unit that displays the received free viewpoint composite image, and an operation input unit that instructs the mobile body to perform an operation. It is set as the structure provided with these. Here, the superimposed image composition unit is further configured to generate an artificial image of the work object based on the three-dimensional model data of the work object and superimpose it on the point cloud rendering image.
本発明によれば、操作者は、任意のアングル(例えば上方や側方)からの自由視点合成画像を参照しながら作業機械を遠隔操作することができるため、作業対象物までの客観的な距離感や物の大きさ等を容易に把握することができ、遠隔作業の操作性を格段に向上させることができる。 According to the present invention, since the operator can remotely operate the work machine while referring to a free viewpoint composite image from an arbitrary angle (for example, upward or side), an objective distance to the work object is obtained. A feeling, the size of an object, etc. can be grasped easily, and the operativity of remote work can be improved remarkably.
以下、本発明の実施の形態について、図面を参照して説明する。以下の実施例では、遠隔操作を行う作業機械として油圧ショベルを例に説明する。 Embodiments of the present invention will be described below with reference to the drawings. In the following embodiments, a hydraulic excavator will be described as an example of a work machine that performs remote operation.
図1Aは、遠隔操作システムのブロック構成図であり、図1Bは、本実施例における画像処理に用いる各種プログラムと各種データの関係を示す図である。また図2は、遠隔操作システムを適用した作業機械の構成図である。本実施例では、作業機械100は無人の油圧ショベルの場合であり、遠隔地に設置した遠隔操作装置200に搭乗する操作者(オペレータ)によって操作される。もちろん、作業機械100は油圧ショベル以外の様々な作業機械であってもよい。図1Aに示すように、遠隔操作システムは、遠隔操作される作業機械100に搭載される部分と、オペレータが操作する遠隔操作装置200に搭載される部分から構成される。以下、図1A、図1Bと図2を参照して、各部の構成を説明する。
FIG. 1A is a block diagram of a remote operation system, and FIG. 1B is a diagram showing the relationship between various programs and various data used for image processing in this embodiment. FIG. 2 is a configuration diagram of a work machine to which the remote operation system is applied. In the present embodiment, the
まず、作業機械100の構成から説明する。作業機械100は、主制御部101、カメラ102、3次元カメラ103、アーム部105、アーム角度センサ104、走行部106、無線通信部107を備える。
First, the configuration of the
アーム部105は油圧ショベルとしての掘削などの様々な作業を行う部分で、走行部106は作業機械100を走行させる部分である。アーム角度センサ104は、アーム部105の各関節の角度をリアルタイムに取得する。
The
操作席(無人)にはカメラ102が設置され、作業機械100の前方を撮影する。ここで、前方とは、作業機械を有人搭乗で操作する場合に、操作者が見る方向を意味することとする。さらに3次元カメラ103が設置され、作業機械100の前方の奥行き画像を撮影する。3次元カメラ103はリアルタイムで奥行き情報を取得可能なカメラであり、例えばステレオカメラを用いる。あるいは、TOF(Time of Flight)方式のカメラ、光コーディング方式のカメラ、3Dレーザスキャナを用いることもできる。なお、3次元カメラは奥行き情報だけでなく、カラー情報も取得できると仮定する。無線通信部107は遠隔操作装置200との間で無線通信を行う。
A
主制御部101は、作業機械100を制御する。主制御部101は、情報処理装置111と記憶装置120と例えばHDD等に格納した3次元モデルデータ131とを有し、汎用的な計算機によって構成することができる。情報処理装置111は、プロセッサ(不図示)が記憶装置120に格納されたプログラムやデータを用いて、様々な処理を行う。記憶装置120には、3次元カメラ103からの入力データである3次元カメラデータ141から3次元点群データ142を生成する3次元点群生成プログラム121、3次元点群データ142を用いて自由視点からの点群レンダリング画像144を生成する自由視点画像生成プログラム122、移動体の3次元モデルデータ131からCG(Computer Graphics)画像(人工画像)145を生成するCG画像生成プログラム123、点群レンダリング画像144に人工画像145を重畳して自由視点合成画像125を合成する重畳画像合成プログラム124、アーム部および走行部を制御するアーム部・走行部制御プログラム129が格納されている。また、記憶装置120には、3次元カメラデータ141と、3次元点群データ142と、仮想カメラデータ143と、点群レンダリング画像144と、人口画像145と、移動体姿勢データ146と、自由視点合成画像125とを格納している。図1Bは、主制御部101で扱う上記した各種プログラムと各種データの関係を示す。
The
さらに主制御部101は、無線通信部107を介して前方カメラ画像や自由視点合成画像125を遠隔操作装置200に送信する。また主制御部101は、無線通信部107を介して受信した遠隔操作装置200からの操作指令によって、アーム部105や走行部106の制御を行う。
Further, the
次に、遠隔操作装置200の構成を説明する。遠隔操作装置200は、主制御部201、無線通信部202、カメラ画像表示部203、自由視点合成画像表示部204、自由視点合成画像表示制御部205、操作入力部206、操作席209を備える。
Next, the configuration of the remote operation device 200 will be described. The remote operation device 200 includes a
主制御部201は遠隔操作装置200の制御を行う部分で、プロセッサを含む情報処理装置(不図示)や記憶装置(不図示)を有する汎用の計算機で構成できる。無線通信部202は作業機械100との間で無線通信を行い、作業機械100から前方カメラ画像や自由視点合成画像125を受信し、それぞれカメラ画像表示部203と自由視点合成画像表示部204にて表示する。自由視点合成画像表示制御部205は、オペレータからの入力に従い自由視点合成画像の表示方法を設定し、その情報を無線通信部202を介して作業機械100に送信する。
The
オペレータは、カメラ画像表示部203と自由視点合成画像表示部204の画像を参照しつつ、操作入力部206から作業機械100に対する操作を行う。操作入力部206に入力された操作コマンドは、主制御部201にて処理され、無線通信部202を介して作業機械100に送信される。なお、作業機械100と遠隔操作装置200の間の送受信は、有線で行ってもよい。また、カメラ画像表示部203と自由視点合成画像表示部204は、1つの表示部で構成されて、この1つの表示部にて前方カメラ画像や自由視点合成画像125を表示する構成としてもよい。
The operator operates the
図3Aと図3Bは、遠隔操作システムによる画像表示例を示す図であり、図3Aは作業機械100による作業状態を、図3Bは遠隔操作装置200に表示される画像を示す。
3A and 3B are diagrams showing image display examples by the remote operation system. FIG. 3A shows a working state by the
図3Aに示すように、作業機械(油圧ショベル)100はバケット105aを動かしてダンプ301に対して放土作業を行っている状態である。作業機械100が行う作業の対象物を「作業対象物」と呼び、この場合、ダンプ301が作業対象物となる。この他に作業を行う空間を「作業環境」と呼び、この場合、地面302などが作業環境となる。
As shown in FIG. 3A, the work machine (hydraulic excavator) 100 is in a state where the
図3Bは、遠隔操作装置200のカメラ画像表示部203と自由視点合成画像表示部204での画像表示例である。図面下側のカメラ画像表示部203には、カメラ102によって撮影された前方カメラ画像311を無線によって受信して表示している。前方カメラ画像311には、作業対象物(ダンプ)301と作業環境(地面)302、および作業機械のアーム部105やバケット105aなどが写っている。
FIG. 3B is an image display example on the camera
従来の遠隔操作では、オペレータは前方カメラ画像311を見ながら、作業機械の遠隔操作を行っていた。しかし、前方カメラ画像311だけでは奥行き感が乏しいため、作業効率が低下する場合があった。これを解決するため、本実施例では、図面上側の自由視点合成画像表示部204に、仮想的な仮想上面画像312と仮想的な仮想側面画像313を表示している。
In the conventional remote operation, the operator remotely operates the work machine while viewing the
仮想上面画像312と仮想側面画像313は、作業機械100の3次元カメラ103で撮影した3次元点群データ142をもとに、主制御部101により合成された自由視点合成画像125を無線で受信して表示している。仮想上面画像312は、作業機械100と作業対象物301を上方から見た画像を仮想的に合成したものであり、仮想側面画像313は、作業機械100と作業対象物301を側方から見た画像を仮想的に合成したものである。ここで、上方とは作業機械に対して鉛直方向と平行で高い方向を意味する。また、側方とは作業機械の進行方向および鉛直方向と互いに直交する方向を意味する。このように仮想上面画像312と仮想側面画像313を表示することで、オペレータに作業対象物301の奥行き感を与えることができ、作業効率を向上させることができる。
The virtual
以下、仮想上面画像312と仮想側面画像313の合成方法について説明する。
図4は、仮想上面画像312の合成方法の説明図であり、その手順を(a)〜(i)に示す。Hereinafter, a method for synthesizing the virtual
FIG. 4 is an explanatory diagram of a method for synthesizing the virtual
(a)は、図3Aに示す作業状態を作業機械100の上方から撮影したと仮定した場合の上面画像であり、このような画像の生成を目標(理想)とする。しかしながら、このような理想画像を得るためには、作業機械100の上方の遠く離れた位置にカメラを設置せねばならず実用的に困難である。このため、3次元カメラ103を作業機械100に搭載して作業対象物301などの3次元点群データを取得し、その奥行き情報から仮想的に上方から見た画像を生成する。なお、3次元点群データから生成される画像を点群レンダリング画像と呼ぶ。
FIG. 3A is a top image when it is assumed that the work state shown in FIG. 3A is taken from above the
(b)は、作業機械100に搭載した3次元カメラ103から前方を撮影した状況を示す。この場合、作業対象物301を含む略三角形の領域401が3次元カメラ103で撮影可能な領域となる。(c)は、3次元カメラ103から撮影可能な領域401を抜き出して示したものである。(c)に示される撮影可能な領域401だけでは、(a)に示すような目標とする上面画像を生成することができない。なぜなら、領域401には、作業機械100の一部(例えばアーム部105)しか含まれていない。また、作業環境302についても一部しか含まれていない。
(B) shows a situation where the front is photographed from the three-
さらに(c)の領域401内であっても、3次元カメラ103から不可視の領域の3次元点群データは取得できない。この作業状態では、作業機械100のバケット105aにより作業対象物301の一部分が隠れてしまう(図3A参照)。(d)に示す領域402は、バケット105aによって隠される作業対象物301の領域であり、3次元カメラ103からは奥行きを計測できない。
Further, even within the
同様に、作業対象物301は作業環境302の一部分を隠す。このため、作業対象物301が隠した領域は計測できない。(e)に示す領域403は、作業対象物301によって隠される作業環境302の領域であり、この領域403も3次元カメラ103からは奥行きを計測できない。
Similarly, the
さらに、作業機械100のアーム部105に関しては、3次元カメラ103から可視の部分、すなわちアーム部105は左側の部分しか計測されない。その結果、(f)に示すように、アーム部105の右側の領域404(破線部分)は計測できない。
Further, with respect to the
(g)は、上記をまとめて3次元カメラ103からの画像データにより生成可能な上面点群レンダリング画像144を示したものである。この画像では、撮影可能領域401から計測不可能な領域402,403,404を除いたものとなる。このため、(a)に示す理想の上面画像と比較して、作業機械100や作業対象物301の画像の一部が欠落して、作業機械100と作業対象物301との位置関係の把握が困難となる。
(G) shows the upper surface point cloud rendered
この問題を解決するために、本実施例では、(g)の画像に欠落している作業機械100の人工画像(CG画像)145を生成して重畳させるようにした。作業機械100の人工画像を生成するには、作業機械100の3次元モデルデータ131と、アーム部105の関節部分の角度などの移動体姿勢データ146、さらに人工画像を生成するためのCGカメラの情報である仮想カメラデータ143があればよい。(h)は、生成した作業機械100の人工画像100’(上方から見た画像)を示したものである。
In order to solve this problem, in this embodiment, an artificial image (CG image) 145 of the
(i)は、(g)に示す3D画像に(h)の作業機械100の人工画像100’を重畳した画像の例を示す。これにより、点群レンダリング画像だけの場合(g)と比較し、作業機械100と作業対象物301の位置関係の把握が容易となる。
(I) shows an example of an image obtained by superimposing the
図5は、仮想側面画像313の合成方法の説明図であり、その手順を(a)〜(e)に示す。
FIG. 5 is an explanatory diagram of a method for synthesizing the
(a)は、図3Aに示す作業状態を作業機械100の側方から撮影したと仮定した場合の側面画像であり、このような画像の生成を目標(理想)とする。このような理想画像を得るためには、作業機械100の側方の遠く離れた位置にカメラを設置せねばならず実用的に困難である。この場合も、作業機械100の前面に搭載した3次元カメラ103を用いて側面画像を生成する。
(A) is a side image when it is assumed that the work state shown in FIG. 3A is taken from the side of the
(b)は、3次元カメラ103から撮影可能な領域501を示す。この場合、作業対象物301を含む上下方向の扇形領域501が3次元カメラ103で撮影可能な領域となる。(c)は、3次元カメラ103から撮影可能な領域501を抜き出して示したものである。(c)に示される撮影可能な領域501だけでは、作業機械100の全体が含まれず、(a)に示すような目標とする側面画像を生成することができない。
(B) shows the area |
さらに(c)の領域501内であっても、3次元カメラ103から不可視の領域の3次元点群データは計測できない。(d)は、3次元カメラ103により計測不可能な領域を示す図である。3次元カメラ103を作業機械100の左側に搭載した場合には、例えば、作業対象物301や作業機械のアーム部105は主に左側の部分しか計測されず、右側から見た側面画像については破線502,503で示すように不完全となる。その他、作業対象物301は作業環境302の一部分を隠すため、隠された領域504は計測できない。このため、(a)に示す理想の側面画像と比較して画像の一部が欠落して、作業機械100と作業対象物301との位置関係の把握が困難となる。
Furthermore, even within the
この問題を解決するために、本実施例では、(d)の画像に欠落している作業機械100の人工画像(CG画像)145を重畳させる。(e)は、(d)に示す点群レンダリング画像144に、作業機械100の人工画像100’(側方から見た画像)を生成し、重畳した画像の例を示す。これにより、点群レンダリング画像144だけの場合(d)と比較し、作業機械100と作業対象301の位置関係の把握が容易となる。
In order to solve this problem, in this embodiment, the missing artificial image (CG image) 145 of the
なお、仮想画像として図4では上面画像、図5では側面画像について説明したが、仮想画像はこれだけでなく任意の方向(カメラアングル)から見た場合について生成できる。以下、視点方向を変えて生成した画像を「自由視点合成画像」とも呼ぶ。重畳する人工画像についても、任意の視点方向からの画像を生成できるのは言うまでもない。 Although the top image in FIG. 4 and the side image in FIG. 5 have been described as virtual images, the virtual image can be generated not only for this but also when viewed from an arbitrary direction (camera angle). Hereinafter, an image generated by changing the viewpoint direction is also referred to as a “free viewpoint synthesized image”. Needless to say, an image from an arbitrary viewpoint direction can also be generated for the superimposed artificial image.
図6は、自由視点合成画像の生成方法を示すフローチャートである。この処理は情報処理装置111が実行するものである。
S601では、3次元カメラ103からデータを入力する。この入力データは3次元カメラの種類によって異なり、例えば、ステレオカメラの場合には左右2つの画像を3次元カメラデータ141に入力する。
S602では、3次元カメラより入力した3次元カメラデータ141から距離画像を算出する。距離画像とは、各画素(x,y)に対してカメラからの距離の情報d(x,y)を与えたものである。FIG. 6 is a flowchart showing a method for generating a free viewpoint composite image. This processing is executed by the information processing apparatus 111.
In step S <b> 601, data is input from the three-
In S602, a distance image is calculated from the three-
S603では、作業機械100のアーム角度センサ104により、アーム部105のアーム角度を検出して移動体姿勢データ146に入力する。図2に示した油圧ショベルでは、アーム角度には、旋回角、ブーム角、アーム角、バケット角が含まれ、これにより油圧ショベルの現在の姿勢を規定できる。
In step S <b> 603, the
S604では、自由視点画像を生成するための仮想カメラデータ143を参照し、自由視点画像生成プログラム122およびCG画像生成プログラム123の仮想カメラデータに設定する。仮想カメラデータ143は、仮想画像を生成するための仮想カメラの位置、方向、画角の情報から構成されている。仮想カメラデータ143は、遠隔操作装置200の自由視点合成画像表示制御部205からオペレータが設定する。図3Bの例では、仮想上面画像312に対応する上面からの仮想カメラデータと、仮想側面画像313に対応する側面からの仮想カメラデータの2つの仮想カメラの情報が仮想カメラデータ143に保存されている。S604では、初めに、仮想上面画像312に対応する上面からの仮想カメラデータを参照し、自由視点画像生成プログラム122およびCG画像生成プログラム123の仮想カメラデータに設定する。
In S604, the
S605では、前記距離画像を用いて点群レンダリング画像144を生成する。この処理では、S602で算出した距離画像d(x,y)の各画素に対して、3次元座標(X,Y,Z)と画素の色情報Cを求め、それらを点群データとして表現する。これらの点群データ142を前記設定した仮想カメラデータ143を用いてレンダリングして、上面からの点群レンダリング画像を生成する。前記図4(g)には生成された上面点群レンダリング画像を示すが、点群データだけから生成された点群レンダリング画像には、物体間の遮蔽により画像欠損領域402〜404が発生する。
In step S605, a point
なお、距離画像を用いて自由視点画像を生成するためには、3次元カメラ103の設置位置と方向の情報が必要である。3次元カメラから取得した点群データは3次元カメラのローカル座標系で定義される。この点群データを作業機械100の座標系に変換する必要がある。このためには、3次元カメラの位置と方向を作業機械の座標系で計測し、その位置と方向から座標変換行列を求めて座標変換を行う。
In addition, in order to generate a free viewpoint image using a distance image, information on the installation position and direction of the three-
S606では、3次元モデルデータ131とS603で取得したアーム角度などの移動体姿勢データ146を用いて、欠損領域にある作業機械100の人工画像145を生成する。3次元モデルデータ131には、予め作業機械100のCGモデルデータ131が格納されている。このCGモデルデータ131に対し、アーム部の角度を任意に設定することが可能であり、これにより現在の作業機械と同じ姿勢の上面から見た人工画像を生成する。前記図4(h)には生成された作業機械の人工画像(上面CG画像)100’を示す。
In S606, an
S607では、S605で生成した点群データからの点群レンダリング画像とS606で生成した作業機械100の人工画像100’を重畳合成して自由視点合成画像125を生成する。この重畳処理では、点群レンダリング画像と作業機械100の人工画像を、奥行きを考慮して重畳する。この処理は、Zバッファ法を用いた隠面消去処理によって実現できる。前記図4(i)には重畳結果の画像を示す。図4(i)に示されるように、作業機械100の人工画像を重畳した結果、図4(g)に示す点群データだけを用いた点群レンダリング画像表示と比較して、作業機械100と作業対象物301の関係を把握し易くなる。
In S607, the free viewpoint
S608では、自由視点合成画像125の転送を行う。この例では、仮想上面画像(図4(i))を遠隔操作装置200に転送する。
S609では、他の仮想カメラ情報があるかどうかを判定する。図3Bの例では、仮想側面画像313に対応する側面からの仮想カメラ情報が存在する。この場合には前記S604に戻り、側面からの仮想カメラ情報を自由視点画像生成プログラム122およびCG画像生成プログラム123の仮想カメラデータに設定する。In step S608, the free viewpoint
In step S609, it is determined whether there is other virtual camera information. In the example of FIG. 3B, virtual camera information from the side surface corresponding to the
以下、S605で生成される側面の点群レンダリング画像は前記図5(d)のようになり、S607で作業機械100の人工画像100’を重畳した仮想側面画像313は前記図5(e)のようになる。この場合も、作業機械100の人工画像を重畳した結果、作業機械100と作業対象物301の関係を把握し易くなる。
Hereinafter, the side point cloud rendering image generated in S605 is as shown in FIG. 5D, and the
S608では、自由視点合成画像125の転送を行う。この例では、仮想側面画像(図5(e))を遠隔操作装置200に転送する。
S609では、他の仮想カメラ情報があるかどうかを判定する。図3Bの例では、他の仮想カメラ情報がないので終了する。In step S608, the free viewpoint
In step S609, it is determined whether there is other virtual camera information. In the example of FIG. 3B, the process ends because there is no other virtual camera information.
S608で転送された合成画像は、図3Bのように、遠隔操作装置200の自由視点合成画像表示部204に表示される。一方遠隔操作装置200のカメラ画像表示部203には、前方カメラ102からの画像が表示されている。
The composite image transferred in S608 is displayed on the free viewpoint composite
以上のように実施例1では、3次元カメラから得られた点群レンダリング画像に、作業機械のCG画像(人工画像)を重畳表示することで、作業機械と作業対象物の位置関係が把握し易くなるという効果がある。 As described above, in the first embodiment, the CG image (artificial image) of the work machine is superimposed and displayed on the point cloud rendering image obtained from the three-dimensional camera, so that the positional relationship between the work machine and the work object can be grasped. There is an effect that it becomes easy.
実施例2は、3次元カメラから生成された点群レンダリング画像に対し、欠損領域にある作業機械の人工画像だけでなく、作業対象物の人工画像も重畳するようにしたものである。 In the second embodiment, not only the artificial image of the work machine in the defect area but also the artificial image of the work object is superimposed on the point cloud rendering image generated from the three-dimensional camera.
遠隔操作システムの構成は実施例1(図1A,1B、図2)と同様であるため、以下では動作の相違点を説明する。作業機械100の3次元モデルデータ131には、作業機械100のCGモデルデータだけでなく、作業対象物(ダンプ)301のCGモデルデータを格納している。
Since the configuration of the remote operation system is the same as that of the first embodiment (FIGS. 1A, 1B, and 2), the difference in operation will be described below. The
図7と図8は、作業対象物の人工画像を追加して重畳した例を示す図で、図7は仮想上面画像を、図8は仮想側面画像を示す。それぞれ、前記図4、図5に引き続いて行われる。 7 and 8 are diagrams showing an example in which an artificial image of a work target is added and superimposed, FIG. 7 shows a virtual top image, and FIG. 8 shows a virtual side image. This is performed subsequent to FIGS. 4 and 5, respectively.
図7において、(a)は図4(g)に対応し、3次元カメラから得られる点群データを用いた仮想上面点群レンダリング画像である。(b)は、作業機械100と作業対象物301の上方からの人工画像100’,301’を(a)の上面点群レンダリング画像に重畳表示したものである。(b)の重畳画像では、上面点群レンダリング画像(a)の表示よりも、また前記図4(i)のように作業機械100の人工画像100’だけを重畳したときよりも、作業機械100と作業対象物301の位置関係の把握が容易となる。
In FIG. 7, (a) corresponds to FIG. 4 (g), and is a virtual upper surface point group rendering image using point group data obtained from a three-dimensional camera. (B) is an image in which the
図8において、(a)は図5(d)に対応し、3次元カメラの点群データを用いた仮想側面点群レンダリング画像である。(b)は、作業機械100と作業対象物301の側方からの人工画像100’,301’を(a)の側面点群レンダリング画像に重畳表示したものである。ここではさらに作業環境302についての人工画像302’も追加している。(b)の重畳画像では、側面点群レンダリング画像(a)の表示よりも、また前記図5(e)のように作業機械100の人工画像100’だけを重畳したときよりも、作業機械100と作業対象物301の位置関係の把握が容易となる。
In FIG. 8, (a) corresponds to FIG. 5 (d), and is a virtual side surface point cloud rendering image using point cloud data of a three-dimensional camera. (B) is an image in which the
図9は、実施例2における自由視点合成画像の生成方法を示すフローチャートである。実施例1(図6)との相違点を中心に説明する。この処理は情報処理装置111が実行するものである。
S901〜S903までの処理(3次元カメラデータ入力、距離画像算出、アーム角度入力)は図6のS601〜S603と同様である。FIG. 9 is a flowchart illustrating a method for generating a free viewpoint composite image according to the second embodiment. The description will focus on differences from the first embodiment (FIG. 6). This processing is executed by the information processing apparatus 111.
The processing from S901 to S903 (3D camera data input, distance image calculation, arm angle input) is the same as S601 to S603 in FIG.
S904では作業対象物301の検出処理を行う。作業対象物301は作業内容によって様々であるが、ここでの例ではダンプが相当する。ダンプに対して放土を行う場合には、ダンプがカメラに写っているかどうかを判定する。その場合の作業対象物301の識別は、画像処理によって判定できる。また、GPS(Global Positioning System)によってダンプの位置と方向を計測できれば、作業機械100の位置と方向のデータを用いて、作業対象物301の検出が可能である。
In step S904, a process for detecting the
S905では、作業対象物301が存在するかどうかの判定を行う。作業対象物301が存在する場合にはS906に進み、存在しない場合にはS907に進む。
S906では、作業対象物301の位置と姿勢を算出する。このため、カメラの画像から作業対象物301を抽出することで、作業機械100に対する位置や姿勢の情報を得る。求めた位置と姿勢は、作業機械100の座標系に変換する。In S905, it is determined whether or not the
In step S906, the position and orientation of the
S907の仮想カメラデータ設定、S908の点群レンダリング画像生成、S909の作業機械の人工画像生成は、図6のS604〜S606と同様である。
S910では、作業対象物301が存在するかどうかにより処理の分岐を行う。作業対象物301が存在する場合にはS911に進み、存在しない場合にはS912に進む。The virtual camera data setting in S907, the point cloud rendering image generation in S908, and the artificial image generation of the work machine in S909 are the same as S604 to S606 in FIG.
In S910, the process is branched depending on whether the
S911では、作業対象物301の人工画像を生成する。すなわち、作業対象物301のCGモデルデータと、S906で求めた作業対象物301の位置、姿勢から作業対象物301の人工画像301’を生成する。
In S911, an artificial image of the
S912では、S908で生成した点群レンダリング画像にS909で生成した作業機械100の人工画像100’、およびS911で生成した作業対象物301の人工画像301’(作業対象物301ありの場合)を重畳する。
S913,S914(合成画像の転送、仮想カメラデータのチェック)は図6のS608,S609と同様である。In S912, the
S913 and S914 (transfer of composite image, check of virtual camera data) are the same as S608 and S609 in FIG.
以上のように、実施例2では、3次元カメラから得られた自由視点点群レンダリング画像に、作業機械の人工画像と作業対象物の人工画像の両方を重畳表示することで、作業機械と作業対象物の位置関係がより把握し易くなるという効果がある。 As described above, in the second embodiment, the work machine and the work are displayed by superimposing and displaying both the artificial image of the work machine and the artificial image of the work object on the free viewpoint point cloud rendering image obtained from the three-dimensional camera. There is an effect that it becomes easier to grasp the positional relationship between the objects.
実施例3は、3次元カメラから生成された自由視点合成画像に対して、画像表示範囲を所望の領域に制限するようにしたものである。 In the third embodiment, the image display range is limited to a desired region with respect to the free viewpoint composite image generated from the three-dimensional camera.
図10Aは、実施例3における作業機械100による作業状態の一例を示し、図10Bと図10Cは遠隔操作装置200に表示される画像を示す。
図10Aに示すように、作業対象物301の近傍に2つの障害物1001、1002が存在する状態を想定する。FIG. 10A shows an example of a working state by the
As shown in FIG. 10A, a state is assumed in which two
図10Bは、この状態について、前記実施例2の手法で合成した仮想上面画像1011と仮想側面画像1012を示す。いずれも作業機械100と作業対象物301の人工画像100’,301’が重畳表示されている。この図から分かるように、仮想側面画像1012では、障害物1001、1002のために作業機械100’や作業対象物301’が隠蔽され、作業状態が視認しにくい表示となっている。なお、仮想上面画像1011では、障害物1001、1002による隠蔽の問題は生じない。本実施例ではこの問題を解決するため、障害物1001、1002を含む領域の点群データを表示しないように、点群レンダリング画像の表示領域に制限を加えるようにした。
FIG. 10B shows a virtual top image 1011 and a virtual side image 1012 synthesized by the method of the second embodiment in this state. In both cases,
図10Cは、表示領域を制限して表示した画像を示す。仮想上面画像1021において、障害物1001、1002を外側に排除するような領域1003を設ける。そして、領域1003の内部だけの点群データから点群レンダリング画像を生成することで、障害物1001、1002についてはレンダリングされない。この結果、仮想側面画像1022では障害物1001、1002が除去され、障害物1001、1002による隠蔽の問題が解消される。
FIG. 10C shows an image displayed with a limited display area. In the virtual upper surface image 1021, an
点群画像の表示領域を制限するためには、図6、図9の「距離画像を用いて自由視点3D画像生成」のステップ(S605、S908)に修正を加える。すなわち、距離画像を用いた自由視点画像生成において、公知のクリッピング処理によって領域外の点群データの表示を行わないようにする。以上で、図10Cのような仮想画像が生成できる。 In order to limit the display area of the point cloud image, the step (S605, S908) of “Generate free viewpoint 3D image using distance image” in FIGS. 6 and 9 is modified. That is, when generating a free viewpoint image using a distance image, point cloud data outside the region is not displayed by a known clipping process. Thus, a virtual image as shown in FIG. 10C can be generated.
以上のように、実施例3では、3次元カメラから得られた点群データを用いて自由視点画像を生成するときに、表示する領域に制限を加える。これにより、障害物が存在しても障害物を非表示とすることができ、作業機械と作業対象物の位置関係を把握し易くなるという効果がある。 As described above, in the third embodiment, when a free viewpoint image is generated using point cloud data obtained from a three-dimensional camera, the display area is limited. Thereby, even if there is an obstacle, the obstacle can be hidden, and the positional relationship between the work machine and the work object can be easily grasped.
実施例4は、実施例2において使用する作業対象物のCGモデル(作業対象モデル)を3次元カメラの入力データを用いて生成(更新)するようにしたものである。 In the fourth embodiment, a CG model (work target model) of a work target used in the second embodiment is generated (updated) using input data of a three-dimensional camera.
図11は、作業対象モデルの生成を説明するフローチャートである。この生成処理は情報処理装置111によって実行される。
S1101では3次元カメラ103から作業対象物301の3次元カメラデータを入力し、S1102で距離画像(カメラからの距離情報)を算出する。FIG. 11 is a flowchart for explaining generation of a work target model. This generation process is executed by the information processing apparatus 111.
In S1101, 3D camera data of the
S1103では、この距離画像と既存の作業対象モデルのモデルデータを用いて、3次元カメラ103の位置・姿勢を算出する。既存の作業対象モデルのモデルデータとは、現時点で所有している当該作業対象物301のモデルデータである。
In S1103, the position / orientation of the three-
S1104では、算出された3次元カメラ103の位置・姿勢と、算出された距離画像を用いて、作業対象モデルを更新する。すなわち、3次元カメラ103の位置・姿勢の新しい情報を用いることで、作業対象モデルのデータが修正される。
S1105では所定回数この処理を繰り返して終了する。このように作業対象モデルの更新を繰り返すことで、より精密な作業対象モデルを生成できる。In step S1104, the work target model is updated using the calculated position / posture of the three-
In step S1105, this process is repeated a predetermined number of times and the process ends. By repeating the update of the work target model in this way, a more precise work target model can be generated.
上記の3次元カメラからの入力データを用いてモデルを更新する方法は、次の参考文献に記載されている。
[参考文献]R.A.Newcombe, et Al.“KinectFusion: Real−time dense surface mapping and tracking,”in Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on, 2011, pp.127−136.
以上のように、実施例4では、3次元カメラから得られた点群データを用いて作業対象モデルを構成する。このため、作業対象の正確なCGモデルを用意する必要がなく、作業対象物や特に地形などの作業環境の精密なモデルを構築でき、より自然な自由視点画像を生成することが可能である。これにより、作業機械と作業対象物の位置関係を把握し易くなるという効果がある。A method for updating a model using input data from the above three-dimensional camera is described in the following reference.
[References] A. Newcombe, et Al. “KinectFusion: Real-time dense surface mapping and tracking,” in Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on, 2011, pp. 127-136.
As described above, in the fourth embodiment, the work target model is configured using the point cloud data obtained from the three-dimensional camera. For this reason, it is not necessary to prepare an accurate CG model of the work target, a precise model of the work environment such as the work target and particularly the terrain can be constructed, and a more natural free viewpoint image can be generated. Thereby, there is an effect that it becomes easy to grasp the positional relationship between the work machine and the work object.
実施例5は、3次元カメラから生成された点群レンダリング画像に人工画像を重畳するとき、人工画像を重畳する割合(重畳度)を時間的に変化させるようにしたものである。 In the fifth embodiment, when the artificial image is superimposed on the point cloud rendering image generated from the three-dimensional camera, the ratio (superimposition degree) at which the artificial image is superimposed is temporally changed.
図12は、人工画像の重畳度を変化させて表示する例を示す図である。(a)は、作業機械100や作業対象物301の人工画像を重畳しない自由視点合成画像(重畳度=0%)を、(b)は、作業機械100や作業対象物301の人工画像100’,301’を重畳した自由視点合成画像(重畳度=100%)を示す。自由視点合成画像表示部204には、例えば時間的に(a)と(b)を切り替えて交互に表示する。あるいは、(a)と(b)の間で重畳度を徐々に変化させ、(c)のように重畳度=50%の場合を含めて表示してもよい。
FIG. 12 is a diagram illustrating an example in which the degree of superimposition of the artificial image is changed and displayed. (A) is a free viewpoint composite image (superimposition degree = 0%) that does not superimpose artificial images of the
本実施例を実現するためには、図6のS607や図9のS912の重畳画像生成の処理に修正を加える。すなわち、点群レンダリング画像と人工画像の重畳処理において、人工画像の透明度を時間的に変化させることで、重畳度を変化させた重畳画像を表示できる。 In order to realize the present embodiment, the superimposed image generation processing in S607 in FIG. 6 and S912 in FIG. 9 is modified. That is, in the process of superimposing the point cloud rendered image and the artificial image, it is possible to display a superimposed image in which the degree of superimposition is changed by temporally changing the transparency of the artificial image.
以上のように実施例5では、3次元カメラから得られた点群レンダリング画像と、CGモデルから生成した人工画像の重畳度を変化させる。これにより、点群レンダリング画像と人工画像が正しく適合しているかどうかをオペレータが把握し易くなる。もし、正しく適合せずに画像のずれなどが生じた場合には、操作を中断してカメラ位置・方向の調整などのキャリブレーション処理を行うようにする。 As described above, in the fifth embodiment, the degree of superimposition of the point cloud rendering image obtained from the three-dimensional camera and the artificial image generated from the CG model is changed. This makes it easier for the operator to know whether the point cloud rendered image and the artificial image are correctly matched. If the image does not fit properly and an image shift or the like occurs, the operation is interrupted and calibration processing such as adjustment of the camera position and direction is performed.
なお、重畳度の変化に関しては、時間的に変化させるだけでなく、例えば、オペレータの指示によって変化させることが可能である。操作入力部206を用いた指示によって重畳度を対話的に変更することが可能である。
Note that the degree of superimposition can be changed not only in terms of time but also in accordance with, for example, an operator's instruction. The degree of superimposition can be interactively changed by an instruction using the
以上の各実施例では、遠隔操作を行う作業機械100として油圧ショベルを例に説明した。作業機械100は油圧ショベルに限らず、様々な移動体に適用できる。
In each of the above embodiments, a hydraulic excavator has been described as an example of the
図13Aは、移動体が移動ロボットの例を示す図である。移動ロボット100においても、主制御部101、前方カメラ102、3次元カメラ103、アーム角度センサ104、アーム部105、走行部106、無線通信部107などを備え、同様な構成で実現できる。
FIG. 13A is a diagram illustrating an example in which the moving body is a mobile robot. The
図13Bは、移動ロボットの場合の仮想上面画像1301、仮想側面画像1302の例である。この場合も3次元カメラ103から得られる点群レンダリング画像に移動ロボット100や作業対象物301の人工画像100’,301’を重畳することで、移動ロボットと作業対象物の位置関係を把握し易くなるという効果が得られる。
FIG. 13B is an example of a virtual top image 1301 and a virtual side image 1302 in the case of a mobile robot. Also in this case, by superimposing the
以上、本発明によれば、任意のアングル(例えば上方や側方)からの自由視点合成画像を参照しながら、操作者は作業機械を遠隔操作することができるため、作業対象物までの客観的な距離感や物の大きさ等を容易に把握することができ、遠隔作業の操作性を格段に向上させることができる。 As described above, according to the present invention, an operator can remotely operate a work machine while referring to a free viewpoint composite image from an arbitrary angle (for example, from above or from the side). A sense of distance and the size of an object can be easily grasped, and the operability of remote work can be greatly improved.
本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。
上記実施例では、操作者が作業機械(移動体)に対し遠隔操作を行う場合を前提としたが、これに限定せず、操作者が作業機械に搭乗して操作する場合にも本発明は有効である。すなわち、作業機械に搭乗している操作者から周囲の作業対象物が見えにくいときは、点群レンダリング画像に人工画像(CG画像)を重畳した自由視点合成画像を表示することで、作業機械と作業対象物の位置関係が把握し易くなることは言うまでもない。よって本発明は、作業機械を操作する上での操作支援システムに拡張可能である。The present invention is not limited to the embodiments described above, and includes various modifications.
In the above embodiment, it is assumed that the operator performs a remote operation on the work machine (moving body). However, the present invention is not limited to this. It is valid. That is, when it is difficult for an operator who is on the work machine to see the surrounding work object, a free viewpoint composite image in which an artificial image (CG image) is superimposed on the point cloud rendering image is displayed. Needless to say, it becomes easier to grasp the positional relationship between the work objects. Therefore, the present invention can be extended to an operation support system for operating a work machine.
上記実施例では、点群レンダリング画像の生成と人工画像の合成は全て移動体側で実行し、遠隔操作装置は自由視点合成画像を受信して表示するものとした。これらの処理のうち、一部の画像処理を遠隔操作装置側で実施することも可能である。例えば、距離画像の点群データとCGモデルの情報(アーム部の角度情報や作業対象物の種類と位置・方向)を遠隔操作装置に転送し、遠隔操作装置側で点群レンダリング画像と人工画像の合成を実行する形態も可能である。 In the above embodiment, the generation of the point cloud rendering image and the synthesis of the artificial image are all executed on the mobile body side, and the remote control device receives and displays the free viewpoint synthesized image. Of these processes, part of the image processing can be performed on the remote control device side. For example, the point cloud data of the distance image and the information of the CG model (the angle information of the arm part and the type and position / direction of the work object) are transferred to the remote control device, and the point cloud rendering image and the artificial image are transmitted on the remote control device side. It is also possible to perform the above synthesis.
上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。 The above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described. A part of the configuration of one embodiment can be replaced with the configuration of another embodiment. The configuration of another embodiment can be added to the configuration of a certain embodiment. Further, with respect to a part of the configuration of each embodiment, another configuration can be added, deleted, or replaced.
100:作業機械(移動体)、
101:主制御部、
102:カメラ、
103:3次元カメラ、
104:アーム角度センサ、
105:アーム部、
106:走行部、
107:無線通信部、
111:情報処理装置、
120:記憶装置、
121:3次元点群生成プログラム、
122:自由視点画像生成プログラム、
123:CG画像生成プログラム、
124:重畳画像合成プログラム、
125:自由視点合成画像、
131:3次元モデルデータ、
141:3次元カメラデータ、
142:3次元点群データ、
143:仮想カメラデータ、
144:点群レンダリング画像、
145:人工画像、
146:移動体姿勢データ、
200:遠隔操作装置、
201:主制御部、
202:無線通信部、
203:カメラ画像表示部、
204:自由視点合成画像表示部、
205:自由視点合成画像表示制御部、
206:操作入力部、
301:作業対象物、
302:作業環境、
311:前方カメラ画像、
312:仮想上面画像、
313:仮想側面画像、
401,501:撮影可能領域、
402〜404,502〜504:計測不可能領域、
100’,301’,302’:CG画像(人工画像)。100: work machine (moving body),
101: Main control unit,
102: Camera,
103: 3D camera,
104: Arm angle sensor,
105: Arm part,
106: traveling part,
107: wireless communication unit,
111: Information processing device,
120: storage device,
121: 3D point cloud generation program,
122: Free viewpoint image generation program,
123: CG image generation program,
124: superimposed image synthesis program,
125: Free viewpoint composite image,
131: 3D model data,
141: 3D camera data,
142: 3D point cloud data,
143: virtual camera data,
144: Point cloud rendering image,
145: Artificial image,
146: moving body posture data,
200: remote control device,
201: main control unit,
202: wireless communication unit,
203: Camera image display unit
204: a free viewpoint composite image display unit,
205: a free viewpoint composite image display control unit,
206: operation input unit,
301: Work object
302: Working environment
311: Front camera image,
312: virtual top image,
313: Virtual side image,
401, 501: an imageable area,
402 to 404, 502 to 504: non-measurable area,
100 ′, 301 ′, 302 ′: CG image (artificial image).
Claims (9)
前記移動体には、
前記移動体の前方を撮影する3次元カメラと、
前記3次元カメラから得た3次元点群データから、前記3次元カメラの視点方向とは異なる角度で、前記作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、
前記移動体の3次元モデルデータをもとに、前記移動体の人工画像を生成するCG画像生成部と、
前記人工画像を前記点群レンダリング画像に重畳する重畳画像合成部と、
前記重畳画像合成部で重畳した自由視点合成画像を前記遠隔操作装置に送信する通信部と、
を備え、
前記遠隔操作装置には、
前記移動体から送信された前記自由視点合成画像を受信する通信部と、
前記受信した自由視点合成画像を表示する表示部と、
前記移動体に対して操作を指示する操作入力部と、
を備えることを特徴とする遠隔操作システム。In a remote control system for operating a moving body that performs work on a work target by a remote control device,
In the moving body,
A three-dimensional camera for photographing the front of the moving body;
A free viewpoint image generation unit that generates a point group rendering image in which the work object is captured at an angle different from the viewpoint direction of the three-dimensional camera from the three-dimensional point group data obtained from the three-dimensional camera;
A CG image generation unit that generates an artificial image of the moving body based on the three-dimensional model data of the moving body;
A superimposed image synthesis unit that superimposes the artificial image on the point cloud rendering image;
A communication unit for transmitting the free viewpoint synthesized image superimposed by the superimposed image synthesizing unit to the remote control device;
With
The remote control device includes
A communication unit that receives the free viewpoint composite image transmitted from the mobile body;
A display unit for displaying the received free viewpoint composite image;
An operation input unit for instructing the mobile body to perform an operation;
A remote operation system comprising:
前記CG画像生成部は、さらに、前記作業対象物の3次元モデルデータをもとに、前記作業対象物の人工画像を生成し、
前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。The remote control system according to claim 1,
The CG image generation unit further generates an artificial image of the work object based on the three-dimensional model data of the work object,
The superimposed image composition unit superimposes the generated artificial image of the work object on the point cloud rendering image.
前記移動体には、当該移動体の姿勢を検出するセンサを有し、
前記CG画像生成部は、前記センサで検出した当該移動体の姿勢に基づき当該移動体の人工画像を生成し、
前記重畳画像合成部は、生成された当該移動体の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。The remote control system according to claim 1,
The moving body has a sensor for detecting the posture of the moving body,
The CG image generation unit generates an artificial image of the moving body based on the posture of the moving body detected by the sensor,
The superimposed image composition unit superimposes the generated artificial image of the moving body on the point cloud rendering image.
前記CG画像生成部は、前記3次元カメラが撮影した3次元画像データから前記作業対象物の位置と姿勢を算出し、前記作業対象物の人工画像を生成し、
前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。The remote control system according to claim 2,
The CG image generation unit calculates the position and orientation of the work object from 3D image data captured by the 3D camera, generates an artificial image of the work object,
The superimposed image composition unit superimposes the generated artificial image of the work object on the point cloud rendering image.
前記自由視点画像生成部は、前記3次元カメラが撮影した3次元画像データのうち、所望の領域のデータを用いて前記点群レンダリング画像を生成することを特徴とする遠隔操作システム。The remote control system according to claim 1,
The remote viewpoint system, wherein the free viewpoint image generation unit generates the point cloud rendering image using data of a desired region among the 3D image data captured by the 3D camera.
前記3次元カメラを用いて前記作業対象物を撮影し、
撮影した3次元点群データと前記3次元カメラの位置と姿勢の情報を用いて、前記作業対象物の3次元モデルデータを生成することを特徴とする遠隔操作システム。The remote control system according to claim 2,
Photographing the work object using the three-dimensional camera;
A remote operation system for generating three-dimensional model data of the work object using photographed three-dimensional point cloud data and information on the position and orientation of the three-dimensional camera.
前記重畳画像合成部は、前記点群レンダリング画像に前記人工画像を重畳するとき、前記人工画像を重畳する割合を時間的に変化させることを特徴とする遠隔操作システム。The remote control system according to claim 2,
The superimposition image synthesis unit, when superimposing the artificial image on the point cloud rendering image, temporally changes a ratio of superimposing the artificial image.
前記移動体に搭載され前記移動体の前方を撮影する3次元カメラと、
前記3次元カメラから得た3次元点群データから、前記3次元カメラの視点方向とは異なる角度で、前記作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、
前記移動体の3次元モデルデータをもとに、前記移動体の人工画像を生成するCG画像生成部と、
前記人工画像を前記点群レンダリング画像に重畳する重畳画像合成部と、
前記重畳画像合成部で重畳した自由視点合成画像を表示する表示部と、
前記移動体に対して操作を指示する操作入力部と、
を備えることを特徴とする操作支援システム。In an operation support system for operating a moving object that performs work on a work object,
A three-dimensional camera mounted on the moving body and photographing the front of the moving body;
A free viewpoint image generation unit that generates a point group rendering image in which the work object is captured at an angle different from the viewpoint direction of the three-dimensional camera from the three-dimensional point group data obtained from the three-dimensional camera;
A CG image generation unit that generates an artificial image of the moving body based on the three-dimensional model data of the moving body;
A superimposed image synthesis unit that superimposes the artificial image on the point cloud rendering image;
A display unit for displaying the free viewpoint composite image superimposed by the superimposed image composition unit;
An operation input unit for instructing the mobile body to perform an operation;
An operation support system comprising:
前記CG画像生成部は、さらに、前記作業対象物の3次元モデルデータをもとに、前記作業対象物の人工画像を生成し、
前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする操作支援システム。The operation support system according to claim 8,
The CG image generation unit further generates an artificial image of the work object based on the three-dimensional model data of the work object,
The superimposed image composition unit superimposes the generated artificial image of the work object on the point cloud rendering image.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/075377 WO2017042873A1 (en) | 2015-09-08 | 2015-09-08 | Remote operation system and operation assistance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017042873A1 true JPWO2017042873A1 (en) | 2018-06-14 |
JP6474905B2 JP6474905B2 (en) | 2019-02-27 |
Family
ID=58240652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017538497A Expired - Fee Related JP6474905B2 (en) | 2015-09-08 | 2015-09-08 | Remote operation system and operation support system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6474905B2 (en) |
WO (1) | WO2017042873A1 (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6794193B2 (en) * | 2016-09-02 | 2020-12-02 | 株式会社小松製作所 | Image display system for work machines |
JP6903442B2 (en) * | 2017-02-08 | 2021-07-14 | 株式会社Ihiエアロスペース | Remote control method of remote control vehicle and control system of remote control vehicle |
WO2019012992A1 (en) * | 2017-07-14 | 2019-01-17 | 株式会社小松製作所 | Display control device, display control method, program, and display system |
JP6927821B2 (en) | 2017-09-15 | 2021-09-01 | 株式会社小松製作所 | Display system and display device |
WO2020044440A1 (en) * | 2018-08-28 | 2020-03-05 | 株式会社オプティム | Computer system, operation verification method, and program |
JP7231380B2 (en) * | 2018-10-31 | 2023-03-01 | 株式会社小松製作所 | Regeneration device, analysis support system and regeneration method |
JP7365122B2 (en) * | 2019-02-01 | 2023-10-19 | 株式会社小松製作所 | Image processing system and image processing method |
JP7099358B2 (en) * | 2019-02-20 | 2022-07-12 | コベルコ建機株式会社 | Display system for work machines |
JP7318258B2 (en) * | 2019-03-26 | 2023-08-01 | コベルコ建機株式会社 | Remote control system and remote control server |
JP7303008B2 (en) * | 2019-04-02 | 2023-07-04 | 株式会社Ihiエアロスペース | Image display method and remote control system |
JP7376264B2 (en) * | 2019-07-01 | 2023-11-08 | 株式会社小松製作所 | Systems including working machines, and working machines |
JP7424784B2 (en) * | 2019-09-30 | 2024-01-30 | 株式会社小松製作所 | Control device, working machine and control method |
US11734873B2 (en) | 2019-12-13 | 2023-08-22 | Sony Group Corporation | Real-time volumetric visualization of 2-D images |
JP6949417B1 (en) * | 2020-05-18 | 2021-10-13 | 防衛装備庁長官 | Vehicle maneuvering system and vehicle maneuvering method |
CN112884710A (en) * | 2021-01-19 | 2021-06-01 | 上海三一重机股份有限公司 | Auxiliary image generation method, remote control method and device for operation machine |
JP2022111789A (en) * | 2021-01-20 | 2022-08-01 | アジアクエスト株式会社 | 3d image display system, 3d image display method, and computer program |
WO2023100704A1 (en) * | 2021-12-01 | 2023-06-08 | ソニーグループ株式会社 | Image production system, image production method, and program |
WO2023100703A1 (en) * | 2021-12-01 | 2023-06-08 | ソニーグループ株式会社 | Image production system, image production method, and program |
JP2024007313A (en) | 2022-07-05 | 2024-01-18 | 吉谷土木株式会社 | Crop support method and field work support system or the like |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10116353A (en) * | 1996-10-11 | 1998-05-06 | Kajima Corp | Remote operation supporting image system for moving body for construction |
JP2004294067A (en) * | 2003-03-25 | 2004-10-21 | Penta Ocean Constr Co Ltd | Full automation construction system |
-
2015
- 2015-09-08 WO PCT/JP2015/075377 patent/WO2017042873A1/en active Application Filing
- 2015-09-08 JP JP2017538497A patent/JP6474905B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10116353A (en) * | 1996-10-11 | 1998-05-06 | Kajima Corp | Remote operation supporting image system for moving body for construction |
JP2004294067A (en) * | 2003-03-25 | 2004-10-21 | Penta Ocean Constr Co Ltd | Full automation construction system |
Also Published As
Publication number | Publication date |
---|---|
WO2017042873A1 (en) | 2017-03-16 |
JP6474905B2 (en) | 2019-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6474905B2 (en) | Remote operation system and operation support system | |
AU2017404218B2 (en) | Display system, display method, and remote operation system | |
EP3086283B1 (en) | Providing a point cloud using a surveying instrument and a camera device | |
EP3754122B1 (en) | Construction machine | |
JP6407663B2 (en) | Work support image generation apparatus and work machine control system including the same | |
JP5802476B2 (en) | Construction machine control system | |
JP7285051B2 (en) | Display control device and display control method | |
US10527413B2 (en) | Outside recognition device | |
EP2913796A1 (en) | Method of generating panorama views on a mobile mapping system | |
US20160301864A1 (en) | Imaging processing system for generating a surround-view image | |
US20160301863A1 (en) | Image processing system for generating a surround-view image | |
AU2019292457B2 (en) | Display control device, display control system, and display control method | |
JP2016065422A (en) | Environment recognition device and excavator of using environment recognition device | |
WO2021124654A1 (en) | Work assist server, work assist method, and work assist system | |
US20230291989A1 (en) | Display control device and display method | |
KR101611427B1 (en) | Image processing method and apparatus performing the same | |
KR101356172B1 (en) | Apparatus and method for producing three-dimensional image for remote control | |
US20230267895A1 (en) | Display control device and display control method | |
JP7351478B2 (en) | Display system, remote control system, and display method | |
JP2014127839A (en) | Image synthesizing apparatus and image synthesizing method | |
EP4324988A1 (en) | Method and system of configuring a machine control unit of a construction machine | |
KR100960368B1 (en) | System and method for providing viewing image using 3-dimension coordinates | |
KR20180060078A (en) | System for Work Monitoring in Construction Equipment | |
JP6624880B2 (en) | Image processing method and image processing apparatus | |
JP2022053421A (en) | Display system, display method, and program for remote control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6474905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |