JP6474905B2 - 遠隔操作システムおよび操作支援システム - Google Patents
遠隔操作システムおよび操作支援システム Download PDFInfo
- Publication number
- JP6474905B2 JP6474905B2 JP2017538497A JP2017538497A JP6474905B2 JP 6474905 B2 JP6474905 B2 JP 6474905B2 JP 2017538497 A JP2017538497 A JP 2017538497A JP 2017538497 A JP2017538497 A JP 2017538497A JP 6474905 B2 JP6474905 B2 JP 6474905B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- camera
- point cloud
- work object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本発明は、作業機械や移動ロボットなどの移動体を遠隔地から操作する遠隔操作システムに関するものである。
作業機械や移動ロボットなどの移動体を遠隔操作したというニーズがある。例えば、災害復旧工事などの作業員が危険にさらされる環境下での作業は、作業機械に運転手が搭乗せず、無人の作業機械を遠隔地に設置した操作設備からオペレータが操作する遠隔操作システムが有効となる。移動ロボットに関しても同様である。
上記のように移動体を遠隔操作する場合には、移動体にカメラを設置し、撮影されたカメラ映像を遠隔地の操作設備に有線または無線通信によって伝送し、操作設備内のモニタにその映像を映し出す。遠隔操作者は、モニタ上の映像を参照して移動体の操作を行う。
その場合、一般的にモニタ上の映像では、作業機械に搭乗した時と比べて遠近感が分かりにくく、作業対象物までの距離や形を認識することが比較的困難となる。その対策として、作業現場へカメラや通信手段を持ったカメラ車を配置し、このカメラ車が作業機械や作業対象周辺を側方から撮影し、その映像を操作設備に送信する方法がある。これによれば、遠隔操作するオペレータには側方映像という形で奥行き情報が与えられ、作業対象物までの距離や形を認識し易くなる。しかし、このようなカメラ車を別途用意してその操作を行う方法は、費用や手間が増えるため実用的とは言えない。
カメラ車を用いず作業機械のみでオペレータへ奥行き情報を与える方法として、特許文献1、2に記載される方法が提案されている。
特許文献1には、遠隔操縦される作業機に多眼カメラを搭載し、多眼カメラから得られる複数の撮像画像から所定の視差をもとに距離画像を生成し、各画素に距離に応じた色を割り当てることで擬似的な3次元画像を合成して遠隔操縦装置へ伝送する遠隔操縦支援装置が開示されている。
特許文献2には、建設機械に3次元スキャナーを搭載して作業対象物の3次元距離データを取得し、これを遠隔操作装置のスキャナー画像表示部にて表示すること、また、スキャナー画像表示部では異なるアングルの3次元距離データを表示することが開示されている。
特許文献1の方法は、作業機に視点を置いた画像に擬似的な立体感を持たせることができるが、オペレータへ与えられる奥行き情報の精度が限られている。このため、カメラ車を用いて側方からの画像を提示する方法と比較すると、作業対象物までの距離感が正確につかめず、その結果作業の精度が低く、かつ作業効率が劣るものとなってしまう。
特許文献2の方法は、3次元スキャナーを用いて作業対象物の3次元距離データ(距離画像)を取得し、取得した距離画像を用いることで、任意のアングルの画像を合成することが可能である。しかしながら、建設機械(作業機械)から測定できる距離画像は、当然ながら3次元スキャナーから見える領域に制限される。このため、作業対象物が作業機械の一部(例えばアーム部分)により遮蔽されている場合には、作業対象物を別アングルから見た画像を生成することは不可能である。その結果、例えば別のアングルからの画像が分かりにくくなるため、作業対象物の距離感が正確につかめず、作業の精度が低く、かつ作業効率が劣るものとなってしまう。
本発明の目的は、作業対象物を任意のアングルから見た場合でも作業対象物までの距離感が正確につかめるような画像を表示する遠隔操作システムを提供することである。
本発明は、作業対象物に対して作業を行う移動体を遠隔操作装置により操作する遠隔操作システムであって、移動体には、移動体の前方を撮影する3次元カメラと、3次元カメラから得た3次元点群データから3次元カメラの視点方向とは異なる角度で作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、移動体の3次元モデルデータをもとに移動体の人工画像を生成するCG画像生成部と、人工画像を点群レンダリング画像に重畳する重畳画像合成部と、重畳画像合成部で重畳した自由視点合成画像を遠隔操作装置に送信する通信部と、を備える。また遠隔操作装置には、移動体から送信された自由視点合成画像を受信する通信部と、受信した自由視点合成画像を表示する表示部と、移動体に対して操作を指示する操作入力部と、を備える構成とする。ここに重畳画像合成部は、さらに、作業対象物の3次元モデルデータをもとに作業対象物の人工画像を生成して点群レンダリング画像に重畳する構成とする。
本発明によれば、操作者は、任意のアングル(例えば上方や側方)からの自由視点合成画像を参照しながら作業機械を遠隔操作することができるため、作業対象物までの客観的な距離感や物の大きさ等を容易に把握することができ、遠隔作業の操作性を格段に向上させることができる。
以下、本発明の実施の形態について、図面を参照して説明する。以下の実施例では、遠隔操作を行う作業機械として油圧ショベルを例に説明する。
図1Aは、遠隔操作システムのブロック構成図であり、図1Bは、本実施例における画像処理に用いる各種プログラムと各種データの関係を示す図である。また図2は、遠隔操作システムを適用した作業機械の構成図である。本実施例では、作業機械100は無人の油圧ショベルの場合であり、遠隔地に設置した遠隔操作装置200に搭乗する操作者(オペレータ)によって操作される。もちろん、作業機械100は油圧ショベル以外の様々な作業機械であってもよい。図1Aに示すように、遠隔操作システムは、遠隔操作される作業機械100に搭載される部分と、オペレータが操作する遠隔操作装置200に搭載される部分から構成される。以下、図1A、図1Bと図2を参照して、各部の構成を説明する。
まず、作業機械100の構成から説明する。作業機械100は、主制御部101、カメラ102、3次元カメラ103、アーム部105、アーム角度センサ104、走行部106、無線通信部107を備える。
アーム部105は油圧ショベルとしての掘削などの様々な作業を行う部分で、走行部106は作業機械100を走行させる部分である。アーム角度センサ104は、アーム部105の各関節の角度をリアルタイムに取得する。
操作席(無人)にはカメラ102が設置され、作業機械100の前方を撮影する。ここで、前方とは、作業機械を有人搭乗で操作する場合に、操作者が見る方向を意味することとする。さらに3次元カメラ103が設置され、作業機械100の前方の奥行き画像を撮影する。3次元カメラ103はリアルタイムで奥行き情報を取得可能なカメラであり、例えばステレオカメラを用いる。あるいは、TOF(Time of Flight)方式のカメラ、光コーディング方式のカメラ、3Dレーザスキャナを用いることもできる。なお、3次元カメラは奥行き情報だけでなく、カラー情報も取得できると仮定する。無線通信部107は遠隔操作装置200との間で無線通信を行う。
主制御部101は、作業機械100を制御する。主制御部101は、情報処理装置111と記憶装置120と例えばHDD等に格納した3次元モデルデータ131とを有し、汎用的な計算機によって構成することができる。情報処理装置111は、プロセッサ(不図示)が記憶装置120に格納されたプログラムやデータを用いて、様々な処理を行う。記憶装置120には、3次元カメラ103からの入力データである3次元カメラデータ141から3次元点群データ142を生成する3次元点群生成プログラム121、3次元点群データ142を用いて自由視点からの点群レンダリング画像144を生成する自由視点画像生成プログラム122、移動体の3次元モデルデータ131からCG(Computer Graphics)画像(人工画像)145を生成するCG画像生成プログラム123、点群レンダリング画像144に人工画像145を重畳して自由視点合成画像125を合成する重畳画像合成プログラム124、アーム部および走行部を制御するアーム部・走行部制御プログラム129が格納されている。また、記憶装置120には、3次元カメラデータ141と、3次元点群データ142と、仮想カメラデータ143と、点群レンダリング画像144と、人口画像145と、移動体姿勢データ146と、自由視点合成画像125とを格納している。図1Bは、主制御部101で扱う上記した各種プログラムと各種データの関係を示す。
さらに主制御部101は、無線通信部107を介して前方カメラ画像や自由視点合成画像125を遠隔操作装置200に送信する。また主制御部101は、無線通信部107を介して受信した遠隔操作装置200からの操作指令によって、アーム部105や走行部106の制御を行う。
次に、遠隔操作装置200の構成を説明する。遠隔操作装置200は、主制御部201、無線通信部202、カメラ画像表示部203、自由視点合成画像表示部204、自由視点合成画像表示制御部205、操作入力部206、操作席209を備える。
主制御部201は遠隔操作装置200の制御を行う部分で、プロセッサを含む情報処理装置(不図示)や記憶装置(不図示)を有する汎用の計算機で構成できる。無線通信部202は作業機械100との間で無線通信を行い、作業機械100から前方カメラ画像や自由視点合成画像125を受信し、それぞれカメラ画像表示部203と自由視点合成画像表示部204にて表示する。自由視点合成画像表示制御部205は、オペレータからの入力に従い自由視点合成画像の表示方法を設定し、その情報を無線通信部202を介して作業機械100に送信する。
オペレータは、カメラ画像表示部203と自由視点合成画像表示部204の画像を参照しつつ、操作入力部206から作業機械100に対する操作を行う。操作入力部206に入力された操作コマンドは、主制御部201にて処理され、無線通信部202を介して作業機械100に送信される。なお、作業機械100と遠隔操作装置200の間の送受信は、有線で行ってもよい。また、カメラ画像表示部203と自由視点合成画像表示部204は、1つの表示部で構成されて、この1つの表示部にて前方カメラ画像や自由視点合成画像125を表示する構成としてもよい。
図3Aと図3Bは、遠隔操作システムによる画像表示例を示す図であり、図3Aは作業機械100による作業状態を、図3Bは遠隔操作装置200に表示される画像を示す。
図3Aに示すように、作業機械(油圧ショベル)100はバケット105aを動かしてダンプ301に対して放土作業を行っている状態である。作業機械100が行う作業の対象物を「作業対象物」と呼び、この場合、ダンプ301が作業対象物となる。この他に作業を行う空間を「作業環境」と呼び、この場合、地面302などが作業環境となる。
図3Bは、遠隔操作装置200のカメラ画像表示部203と自由視点合成画像表示部204での画像表示例である。図面下側のカメラ画像表示部203には、カメラ102によって撮影された前方カメラ画像311を無線によって受信して表示している。前方カメラ画像311には、作業対象物(ダンプ)301と作業環境(地面)302、および作業機械のアーム部105やバケット105aなどが写っている。
従来の遠隔操作では、オペレータは前方カメラ画像311を見ながら、作業機械の遠隔操作を行っていた。しかし、前方カメラ画像311だけでは奥行き感が乏しいため、作業効率が低下する場合があった。これを解決するため、本実施例では、図面上側の自由視点合成画像表示部204に、仮想的な仮想上面画像312と仮想的な仮想側面画像313を表示している。
仮想上面画像312と仮想側面画像313は、作業機械100の3次元カメラ103で撮影した3次元点群データ142をもとに、主制御部101により合成された自由視点合成画像125を無線で受信して表示している。仮想上面画像312は、作業機械100と作業対象物301を上方から見た画像を仮想的に合成したものであり、仮想側面画像313は、作業機械100と作業対象物301を側方から見た画像を仮想的に合成したものである。ここで、上方とは作業機械に対して鉛直方向と平行で高い方向を意味する。また、側方とは作業機械の進行方向および鉛直方向と互いに直交する方向を意味する。このように仮想上面画像312と仮想側面画像313を表示することで、オペレータに作業対象物301の奥行き感を与えることができ、作業効率を向上させることができる。
以下、仮想上面画像312と仮想側面画像313の合成方法について説明する。
図4は、仮想上面画像312の合成方法の説明図であり、その手順を(a)〜(i)に示す。
図4は、仮想上面画像312の合成方法の説明図であり、その手順を(a)〜(i)に示す。
(a)は、図3Aに示す作業状態を作業機械100の上方から撮影したと仮定した場合の上面画像であり、このような画像の生成を目標(理想)とする。しかしながら、このような理想画像を得るためには、作業機械100の上方の遠く離れた位置にカメラを設置せねばならず実用的に困難である。このため、3次元カメラ103を作業機械100に搭載して作業対象物301などの3次元点群データを取得し、その奥行き情報から仮想的に上方から見た画像を生成する。なお、3次元点群データから生成される画像を点群レンダリング画像と呼ぶ。
(b)は、作業機械100に搭載した3次元カメラ103から前方を撮影した状況を示す。この場合、作業対象物301を含む略三角形の領域401が3次元カメラ103で撮影可能な領域となる。(c)は、3次元カメラ103から撮影可能な領域401を抜き出して示したものである。(c)に示される撮影可能な領域401だけでは、(a)に示すような目標とする上面画像を生成することができない。なぜなら、領域401には、作業機械100の一部(例えばアーム部105)しか含まれていない。また、作業環境302についても一部しか含まれていない。
さらに(c)の領域401内であっても、3次元カメラ103から不可視の領域の3次元点群データは取得できない。この作業状態では、作業機械100のバケット105aにより作業対象物301の一部分が隠れてしまう(図3A参照)。(d)に示す領域402は、バケット105aによって隠される作業対象物301の領域であり、3次元カメラ103からは奥行きを計測できない。
同様に、作業対象物301は作業環境302の一部分を隠す。このため、作業対象物301が隠した領域は計測できない。(e)に示す領域403は、作業対象物301によって隠される作業環境302の領域であり、この領域403も3次元カメラ103からは奥行きを計測できない。
さらに、作業機械100のアーム部105に関しては、3次元カメラ103から可視の部分、すなわちアーム部105は左側の部分しか計測されない。その結果、(f)に示すように、アーム部105の右側の領域404(破線部分)は計測できない。
(g)は、上記をまとめて3次元カメラ103からの画像データにより生成可能な上面点群レンダリング画像144を示したものである。この画像では、撮影可能領域401から計測不可能な領域402,403,404を除いたものとなる。このため、(a)に示す理想の上面画像と比較して、作業機械100や作業対象物301の画像の一部が欠落して、作業機械100と作業対象物301との位置関係の把握が困難となる。
この問題を解決するために、本実施例では、(g)の画像に欠落している作業機械100の人工画像(CG画像)145を生成して重畳させるようにした。作業機械100の人工画像を生成するには、作業機械100の3次元モデルデータ131と、アーム部105の関節部分の角度などの移動体姿勢データ146、さらに人工画像を生成するためのCGカメラの情報である仮想カメラデータ143があればよい。(h)は、生成した作業機械100の人工画像100’(上方から見た画像)を示したものである。
(i)は、(g)に示す3D画像に(h)の作業機械100の人工画像100’を重畳した画像の例を示す。これにより、点群レンダリング画像だけの場合(g)と比較し、作業機械100と作業対象物301の位置関係の把握が容易となる。
図5は、仮想側面画像313の合成方法の説明図であり、その手順を(a)〜(e)に示す。
(a)は、図3Aに示す作業状態を作業機械100の側方から撮影したと仮定した場合の側面画像であり、このような画像の生成を目標(理想)とする。このような理想画像を得るためには、作業機械100の側方の遠く離れた位置にカメラを設置せねばならず実用的に困難である。この場合も、作業機械100の前面に搭載した3次元カメラ103を用いて側面画像を生成する。
(b)は、3次元カメラ103から撮影可能な領域501を示す。この場合、作業対象物301を含む上下方向の扇形領域501が3次元カメラ103で撮影可能な領域となる。(c)は、3次元カメラ103から撮影可能な領域501を抜き出して示したものである。(c)に示される撮影可能な領域501だけでは、作業機械100の全体が含まれず、(a)に示すような目標とする側面画像を生成することができない。
さらに(c)の領域501内であっても、3次元カメラ103から不可視の領域の3次元点群データは計測できない。(d)は、3次元カメラ103により計測不可能な領域を示す図である。3次元カメラ103を作業機械100の左側に搭載した場合には、例えば、作業対象物301や作業機械のアーム部105は主に左側の部分しか計測されず、右側から見た側面画像については破線502,503で示すように不完全となる。その他、作業対象物301は作業環境302の一部分を隠すため、隠された領域504は計測できない。このため、(a)に示す理想の側面画像と比較して画像の一部が欠落して、作業機械100と作業対象物301との位置関係の把握が困難となる。
この問題を解決するために、本実施例では、(d)の画像に欠落している作業機械100の人工画像(CG画像)145を重畳させる。(e)は、(d)に示す点群レンダリング画像144に、作業機械100の人工画像100’(側方から見た画像)を生成し、重畳した画像の例を示す。これにより、点群レンダリング画像144だけの場合(d)と比較し、作業機械100と作業対象301の位置関係の把握が容易となる。
なお、仮想画像として図4では上面画像、図5では側面画像について説明したが、仮想画像はこれだけでなく任意の方向(カメラアングル)から見た場合について生成できる。以下、視点方向を変えて生成した画像を「自由視点合成画像」とも呼ぶ。重畳する人工画像についても、任意の視点方向からの画像を生成できるのは言うまでもない。
図6は、自由視点合成画像の生成方法を示すフローチャートである。この処理は情報処理装置111が実行するものである。
S601では、3次元カメラ103からデータを入力する。この入力データは3次元カメラの種類によって異なり、例えば、ステレオカメラの場合には左右2つの画像を3次元カメラデータ141に入力する。
S602では、3次元カメラより入力した3次元カメラデータ141から距離画像を算出する。距離画像とは、各画素(x,y)に対してカメラからの距離の情報d(x,y)を与えたものである。
S601では、3次元カメラ103からデータを入力する。この入力データは3次元カメラの種類によって異なり、例えば、ステレオカメラの場合には左右2つの画像を3次元カメラデータ141に入力する。
S602では、3次元カメラより入力した3次元カメラデータ141から距離画像を算出する。距離画像とは、各画素(x,y)に対してカメラからの距離の情報d(x,y)を与えたものである。
S603では、作業機械100のアーム角度センサ104により、アーム部105のアーム角度を検出して移動体姿勢データ146に入力する。図2に示した油圧ショベルでは、アーム角度には、旋回角、ブーム角、アーム角、バケット角が含まれ、これにより油圧ショベルの現在の姿勢を規定できる。
S604では、自由視点画像を生成するための仮想カメラデータ143を参照し、自由視点画像生成プログラム122およびCG画像生成プログラム123の仮想カメラデータに設定する。仮想カメラデータ143は、仮想画像を生成するための仮想カメラの位置、方向、画角の情報から構成されている。仮想カメラデータ143は、遠隔操作装置200の自由視点合成画像表示制御部205からオペレータが設定する。図3Bの例では、仮想上面画像312に対応する上面からの仮想カメラデータと、仮想側面画像313に対応する側面からの仮想カメラデータの2つの仮想カメラの情報が仮想カメラデータ143に保存されている。S604では、初めに、仮想上面画像312に対応する上面からの仮想カメラデータを参照し、自由視点画像生成プログラム122およびCG画像生成プログラム123の仮想カメラデータに設定する。
S605では、前記距離画像を用いて点群レンダリング画像144を生成する。この処理では、S602で算出した距離画像d(x,y)の各画素に対して、3次元座標(X,Y,Z)と画素の色情報Cを求め、それらを点群データとして表現する。これらの点群データ142を前記設定した仮想カメラデータ143を用いてレンダリングして、上面からの点群レンダリング画像を生成する。前記図4(g)には生成された上面点群レンダリング画像を示すが、点群データだけから生成された点群レンダリング画像には、物体間の遮蔽により画像欠損領域402〜404が発生する。
なお、距離画像を用いて自由視点画像を生成するためには、3次元カメラ103の設置位置と方向の情報が必要である。3次元カメラから取得した点群データは3次元カメラのローカル座標系で定義される。この点群データを作業機械100の座標系に変換する必要がある。このためには、3次元カメラの位置と方向を作業機械の座標系で計測し、その位置と方向から座標変換行列を求めて座標変換を行う。
S606では、3次元モデルデータ131とS603で取得したアーム角度などの移動体姿勢データ146を用いて、欠損領域にある作業機械100の人工画像145を生成する。3次元モデルデータ131には、予め作業機械100のCGモデルデータ131が格納されている。このCGモデルデータ131に対し、アーム部の角度を任意に設定することが可能であり、これにより現在の作業機械と同じ姿勢の上面から見た人工画像を生成する。前記図4(h)には生成された作業機械の人工画像(上面CG画像)100’を示す。
S607では、S605で生成した点群データからの点群レンダリング画像とS606で生成した作業機械100の人工画像100’を重畳合成して自由視点合成画像125を生成する。この重畳処理では、点群レンダリング画像と作業機械100の人工画像を、奥行きを考慮して重畳する。この処理は、Zバッファ法を用いた隠面消去処理によって実現できる。前記図4(i)には重畳結果の画像を示す。図4(i)に示されるように、作業機械100の人工画像を重畳した結果、図4(g)に示す点群データだけを用いた点群レンダリング画像表示と比較して、作業機械100と作業対象物301の関係を把握し易くなる。
S608では、自由視点合成画像125の転送を行う。この例では、仮想上面画像(図4(i))を遠隔操作装置200に転送する。
S609では、他の仮想カメラ情報があるかどうかを判定する。図3Bの例では、仮想側面画像313に対応する側面からの仮想カメラ情報が存在する。この場合には前記S604に戻り、側面からの仮想カメラ情報を自由視点画像生成プログラム122およびCG画像生成プログラム123の仮想カメラデータに設定する。
S609では、他の仮想カメラ情報があるかどうかを判定する。図3Bの例では、仮想側面画像313に対応する側面からの仮想カメラ情報が存在する。この場合には前記S604に戻り、側面からの仮想カメラ情報を自由視点画像生成プログラム122およびCG画像生成プログラム123の仮想カメラデータに設定する。
以下、S605で生成される側面の点群レンダリング画像は前記図5(d)のようになり、S607で作業機械100の人工画像100’を重畳した仮想側面画像313は前記図5(e)のようになる。この場合も、作業機械100の人工画像を重畳した結果、作業機械100と作業対象物301の関係を把握し易くなる。
S608では、自由視点合成画像125の転送を行う。この例では、仮想側面画像(図5(e))を遠隔操作装置200に転送する。
S609では、他の仮想カメラ情報があるかどうかを判定する。図3Bの例では、他の仮想カメラ情報がないので終了する。
S609では、他の仮想カメラ情報があるかどうかを判定する。図3Bの例では、他の仮想カメラ情報がないので終了する。
S608で転送された合成画像は、図3Bのように、遠隔操作装置200の自由視点合成画像表示部204に表示される。一方遠隔操作装置200のカメラ画像表示部203には、前方カメラ102からの画像が表示されている。
以上のように実施例1では、3次元カメラから得られた点群レンダリング画像に、作業機械のCG画像(人工画像)を重畳表示することで、作業機械と作業対象物の位置関係が把握し易くなるという効果がある。
実施例2は、3次元カメラから生成された点群レンダリング画像に対し、欠損領域にある作業機械の人工画像だけでなく、作業対象物の人工画像も重畳するようにしたものである。
遠隔操作システムの構成は実施例1(図1A,1B、図2)と同様であるため、以下では動作の相違点を説明する。作業機械100の3次元モデルデータ131には、作業機械100のCGモデルデータだけでなく、作業対象物(ダンプ)301のCGモデルデータを格納している。
図7と図8は、作業対象物の人工画像を追加して重畳した例を示す図で、図7は仮想上面画像を、図8は仮想側面画像を示す。それぞれ、前記図4、図5に引き続いて行われる。
図7において、(a)は図4(g)に対応し、3次元カメラから得られる点群データを用いた仮想上面点群レンダリング画像である。(b)は、作業機械100と作業対象物301の上方からの人工画像100’,301’を(a)の上面点群レンダリング画像に重畳表示したものである。(b)の重畳画像では、上面点群レンダリング画像(a)の表示よりも、また前記図4(i)のように作業機械100の人工画像100’だけを重畳したときよりも、作業機械100と作業対象物301の位置関係の把握が容易となる。
図8において、(a)は図5(d)に対応し、3次元カメラの点群データを用いた仮想側面点群レンダリング画像である。(b)は、作業機械100と作業対象物301の側方からの人工画像100’,301’を(a)の側面点群レンダリング画像に重畳表示したものである。ここではさらに作業環境302についての人工画像302’も追加している。(b)の重畳画像では、側面点群レンダリング画像(a)の表示よりも、また前記図5(e)のように作業機械100の人工画像100’だけを重畳したときよりも、作業機械100と作業対象物301の位置関係の把握が容易となる。
図9は、実施例2における自由視点合成画像の生成方法を示すフローチャートである。実施例1(図6)との相違点を中心に説明する。この処理は情報処理装置111が実行するものである。
S901〜S903までの処理(3次元カメラデータ入力、距離画像算出、アーム角度入力)は図6のS601〜S603と同様である。
S901〜S903までの処理(3次元カメラデータ入力、距離画像算出、アーム角度入力)は図6のS601〜S603と同様である。
S904では作業対象物301の検出処理を行う。作業対象物301は作業内容によって様々であるが、ここでの例ではダンプが相当する。ダンプに対して放土を行う場合には、ダンプがカメラに写っているかどうかを判定する。その場合の作業対象物301の識別は、画像処理によって判定できる。また、GPS(Global Positioning System)によってダンプの位置と方向を計測できれば、作業機械100の位置と方向のデータを用いて、作業対象物301の検出が可能である。
S905では、作業対象物301が存在するかどうかの判定を行う。作業対象物301が存在する場合にはS906に進み、存在しない場合にはS907に進む。
S906では、作業対象物301の位置と姿勢を算出する。このため、カメラの画像から作業対象物301を抽出することで、作業機械100に対する位置や姿勢の情報を得る。求めた位置と姿勢は、作業機械100の座標系に変換する。
S906では、作業対象物301の位置と姿勢を算出する。このため、カメラの画像から作業対象物301を抽出することで、作業機械100に対する位置や姿勢の情報を得る。求めた位置と姿勢は、作業機械100の座標系に変換する。
S907の仮想カメラデータ設定、S908の点群レンダリング画像生成、S909の作業機械の人工画像生成は、図6のS604〜S606と同様である。
S910では、作業対象物301が存在するかどうかにより処理の分岐を行う。作業対象物301が存在する場合にはS911に進み、存在しない場合にはS912に進む。
S910では、作業対象物301が存在するかどうかにより処理の分岐を行う。作業対象物301が存在する場合にはS911に進み、存在しない場合にはS912に進む。
S911では、作業対象物301の人工画像を生成する。すなわち、作業対象物301のCGモデルデータと、S906で求めた作業対象物301の位置、姿勢から作業対象物301の人工画像301’を生成する。
S912では、S908で生成した点群レンダリング画像にS909で生成した作業機械100の人工画像100’、およびS911で生成した作業対象物301の人工画像301’(作業対象物301ありの場合)を重畳する。
S913,S914(合成画像の転送、仮想カメラデータのチェック)は図6のS608,S609と同様である。
S913,S914(合成画像の転送、仮想カメラデータのチェック)は図6のS608,S609と同様である。
以上のように、実施例2では、3次元カメラから得られた自由視点点群レンダリング画像に、作業機械の人工画像と作業対象物の人工画像の両方を重畳表示することで、作業機械と作業対象物の位置関係がより把握し易くなるという効果がある。
実施例3は、3次元カメラから生成された自由視点合成画像に対して、画像表示範囲を所望の領域に制限するようにしたものである。
図10Aは、実施例3における作業機械100による作業状態の一例を示し、図10Bと図10Cは遠隔操作装置200に表示される画像を示す。
図10Aに示すように、作業対象物301の近傍に2つの障害物1001、1002が存在する状態を想定する。
図10Aに示すように、作業対象物301の近傍に2つの障害物1001、1002が存在する状態を想定する。
図10Bは、この状態について、前記実施例2の手法で合成した仮想上面画像1011と仮想側面画像1012を示す。いずれも作業機械100と作業対象物301の人工画像100’,301’が重畳表示されている。この図から分かるように、仮想側面画像1012では、障害物1001、1002のために作業機械100’や作業対象物301’が隠蔽され、作業状態が視認しにくい表示となっている。なお、仮想上面画像1011では、障害物1001、1002による隠蔽の問題は生じない。本実施例ではこの問題を解決するため、障害物1001、1002を含む領域の点群データを表示しないように、点群レンダリング画像の表示領域に制限を加えるようにした。
図10Cは、表示領域を制限して表示した画像を示す。仮想上面画像1021において、障害物1001、1002を外側に排除するような領域1003を設ける。そして、領域1003の内部だけの点群データから点群レンダリング画像を生成することで、障害物1001、1002についてはレンダリングされない。この結果、仮想側面画像1022では障害物1001、1002が除去され、障害物1001、1002による隠蔽の問題が解消される。
点群画像の表示領域を制限するためには、図6、図9の「距離画像を用いて自由視点3D画像生成」のステップ(S605、S908)に修正を加える。すなわち、距離画像を用いた自由視点画像生成において、公知のクリッピング処理によって領域外の点群データの表示を行わないようにする。以上で、図10Cのような仮想画像が生成できる。
以上のように、実施例3では、3次元カメラから得られた点群データを用いて自由視点画像を生成するときに、表示する領域に制限を加える。これにより、障害物が存在しても障害物を非表示とすることができ、作業機械と作業対象物の位置関係を把握し易くなるという効果がある。
実施例4は、実施例2において使用する作業対象物のCGモデル(作業対象モデル)を3次元カメラの入力データを用いて生成(更新)するようにしたものである。
図11は、作業対象モデルの生成を説明するフローチャートである。この生成処理は情報処理装置111によって実行される。
S1101では3次元カメラ103から作業対象物301の3次元カメラデータを入力し、S1102で距離画像(カメラからの距離情報)を算出する。
S1101では3次元カメラ103から作業対象物301の3次元カメラデータを入力し、S1102で距離画像(カメラからの距離情報)を算出する。
S1103では、この距離画像と既存の作業対象モデルのモデルデータを用いて、3次元カメラ103の位置・姿勢を算出する。既存の作業対象モデルのモデルデータとは、現時点で所有している当該作業対象物301のモデルデータである。
S1104では、算出された3次元カメラ103の位置・姿勢と、算出された距離画像を用いて、作業対象モデルを更新する。すなわち、3次元カメラ103の位置・姿勢の新しい情報を用いることで、作業対象モデルのデータが修正される。
S1105では所定回数この処理を繰り返して終了する。このように作業対象モデルの更新を繰り返すことで、より精密な作業対象モデルを生成できる。
S1105では所定回数この処理を繰り返して終了する。このように作業対象モデルの更新を繰り返すことで、より精密な作業対象モデルを生成できる。
上記の3次元カメラからの入力データを用いてモデルを更新する方法は、次の参考文献に記載されている。
[参考文献]R.A.Newcombe, et Al.“KinectFusion: Real−time dense surface mapping and tracking,”in Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on, 2011, pp.127−136.
以上のように、実施例4では、3次元カメラから得られた点群データを用いて作業対象モデルを構成する。このため、作業対象の正確なCGモデルを用意する必要がなく、作業対象物や特に地形などの作業環境の精密なモデルを構築でき、より自然な自由視点画像を生成することが可能である。これにより、作業機械と作業対象物の位置関係を把握し易くなるという効果がある。
[参考文献]R.A.Newcombe, et Al.“KinectFusion: Real−time dense surface mapping and tracking,”in Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on, 2011, pp.127−136.
以上のように、実施例4では、3次元カメラから得られた点群データを用いて作業対象モデルを構成する。このため、作業対象の正確なCGモデルを用意する必要がなく、作業対象物や特に地形などの作業環境の精密なモデルを構築でき、より自然な自由視点画像を生成することが可能である。これにより、作業機械と作業対象物の位置関係を把握し易くなるという効果がある。
実施例5は、3次元カメラから生成された点群レンダリング画像に人工画像を重畳するとき、人工画像を重畳する割合(重畳度)を時間的に変化させるようにしたものである。
図12は、人工画像の重畳度を変化させて表示する例を示す図である。(a)は、作業機械100や作業対象物301の人工画像を重畳しない自由視点合成画像(重畳度=0%)を、(b)は、作業機械100や作業対象物301の人工画像100’,301’を重畳した自由視点合成画像(重畳度=100%)を示す。自由視点合成画像表示部204には、例えば時間的に(a)と(b)を切り替えて交互に表示する。あるいは、(a)と(b)の間で重畳度を徐々に変化させ、(c)のように重畳度=50%の場合を含めて表示してもよい。
本実施例を実現するためには、図6のS607や図9のS912の重畳画像生成の処理に修正を加える。すなわち、点群レンダリング画像と人工画像の重畳処理において、人工画像の透明度を時間的に変化させることで、重畳度を変化させた重畳画像を表示できる。
以上のように実施例5では、3次元カメラから得られた点群レンダリング画像と、CGモデルから生成した人工画像の重畳度を変化させる。これにより、点群レンダリング画像と人工画像が正しく適合しているかどうかをオペレータが把握し易くなる。もし、正しく適合せずに画像のずれなどが生じた場合には、操作を中断してカメラ位置・方向の調整などのキャリブレーション処理を行うようにする。
なお、重畳度の変化に関しては、時間的に変化させるだけでなく、例えば、オペレータの指示によって変化させることが可能である。操作入力部206を用いた指示によって重畳度を対話的に変更することが可能である。
以上の各実施例では、遠隔操作を行う作業機械100として油圧ショベルを例に説明した。作業機械100は油圧ショベルに限らず、様々な移動体に適用できる。
図13Aは、移動体が移動ロボットの例を示す図である。移動ロボット100においても、主制御部101、前方カメラ102、3次元カメラ103、アーム角度センサ104、アーム部105、走行部106、無線通信部107などを備え、同様な構成で実現できる。
図13Bは、移動ロボットの場合の仮想上面画像1301、仮想側面画像1302の例である。この場合も3次元カメラ103から得られる点群レンダリング画像に移動ロボット100や作業対象物301の人工画像100’,301’を重畳することで、移動ロボットと作業対象物の位置関係を把握し易くなるという効果が得られる。
以上、本発明によれば、任意のアングル(例えば上方や側方)からの自由視点合成画像を参照しながら、操作者は作業機械を遠隔操作することができるため、作業対象物までの客観的な距離感や物の大きさ等を容易に把握することができ、遠隔作業の操作性を格段に向上させることができる。
本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。
上記実施例では、操作者が作業機械(移動体)に対し遠隔操作を行う場合を前提としたが、これに限定せず、操作者が作業機械に搭乗して操作する場合にも本発明は有効である。すなわち、作業機械に搭乗している操作者から周囲の作業対象物が見えにくいときは、点群レンダリング画像に人工画像(CG画像)を重畳した自由視点合成画像を表示することで、作業機械と作業対象物の位置関係が把握し易くなることは言うまでもない。よって本発明は、作業機械を操作する上での操作支援システムに拡張可能である。
上記実施例では、操作者が作業機械(移動体)に対し遠隔操作を行う場合を前提としたが、これに限定せず、操作者が作業機械に搭乗して操作する場合にも本発明は有効である。すなわち、作業機械に搭乗している操作者から周囲の作業対象物が見えにくいときは、点群レンダリング画像に人工画像(CG画像)を重畳した自由視点合成画像を表示することで、作業機械と作業対象物の位置関係が把握し易くなることは言うまでもない。よって本発明は、作業機械を操作する上での操作支援システムに拡張可能である。
上記実施例では、点群レンダリング画像の生成と人工画像の合成は全て移動体側で実行し、遠隔操作装置は自由視点合成画像を受信して表示するものとした。これらの処理のうち、一部の画像処理を遠隔操作装置側で実施することも可能である。例えば、距離画像の点群データとCGモデルの情報(アーム部の角度情報や作業対象物の種類と位置・方向)を遠隔操作装置に転送し、遠隔操作装置側で点群レンダリング画像と人工画像の合成を実行する形態も可能である。
上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
100:作業機械(移動体)、
101:主制御部、
102:カメラ、
103:3次元カメラ、
104:アーム角度センサ、
105:アーム部、
106:走行部、
107:無線通信部、
111:情報処理装置、
120:記憶装置、
121:3次元点群生成プログラム、
122:自由視点画像生成プログラム、
123:CG画像生成プログラム、
124:重畳画像合成プログラム、
125:自由視点合成画像、
131:3次元モデルデータ、
141:3次元カメラデータ、
142:3次元点群データ、
143:仮想カメラデータ、
144:点群レンダリング画像、
145:人工画像、
146:移動体姿勢データ、
200:遠隔操作装置、
201:主制御部、
202:無線通信部、
203:カメラ画像表示部、
204:自由視点合成画像表示部、
205:自由視点合成画像表示制御部、
206:操作入力部、
301:作業対象物、
302:作業環境、
311:前方カメラ画像、
312:仮想上面画像、
313:仮想側面画像、
401,501:撮影可能領域、
402〜404,502〜504:計測不可能領域、
100’,301’,302’:CG画像(人工画像)。
101:主制御部、
102:カメラ、
103:3次元カメラ、
104:アーム角度センサ、
105:アーム部、
106:走行部、
107:無線通信部、
111:情報処理装置、
120:記憶装置、
121:3次元点群生成プログラム、
122:自由視点画像生成プログラム、
123:CG画像生成プログラム、
124:重畳画像合成プログラム、
125:自由視点合成画像、
131:3次元モデルデータ、
141:3次元カメラデータ、
142:3次元点群データ、
143:仮想カメラデータ、
144:点群レンダリング画像、
145:人工画像、
146:移動体姿勢データ、
200:遠隔操作装置、
201:主制御部、
202:無線通信部、
203:カメラ画像表示部、
204:自由視点合成画像表示部、
205:自由視点合成画像表示制御部、
206:操作入力部、
301:作業対象物、
302:作業環境、
311:前方カメラ画像、
312:仮想上面画像、
313:仮想側面画像、
401,501:撮影可能領域、
402〜404,502〜504:計測不可能領域、
100’,301’,302’:CG画像(人工画像)。
Claims (9)
- 作業対象物に対して作業を行う移動体を遠隔操作装置により操作する遠隔操作システムにおいて、
前記移動体には、
前記移動体の前方を撮影する3次元カメラと、
前記3次元カメラから得た3次元点群データから、前記3次元カメラの視点方向とは異なる角度で、前記作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、
前記移動体の3次元モデルデータをもとに、前記移動体の人工画像を生成するCG画像生成部と、
前記人工画像を前記点群レンダリング画像に重畳する重畳画像合成部と、
前記重畳画像合成部で重畳した自由視点合成画像を前記遠隔操作装置に送信する通信部と、
を備え、
前記遠隔操作装置には、
前記移動体から送信された前記自由視点合成画像を受信する通信部と、
前記受信した自由視点合成画像を表示する表示部と、
前記移動体に対して操作を指示する操作入力部と、
を備えることを特徴とする遠隔操作システム。 - 請求項1に記載の遠隔操作システムであって、
前記CG画像生成部は、さらに、前記作業対象物の3次元モデルデータをもとに、前記作業対象物の人工画像を生成し、
前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。 - 請求項1に記載の遠隔操作システムであって、
前記移動体には、当該移動体の姿勢を検出するセンサを有し、
前記CG画像生成部は、前記センサで検出した当該移動体の姿勢に基づき当該移動体の人工画像を生成し、
前記重畳画像合成部は、生成された当該移動体の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。 - 請求項2に記載の遠隔操作システムであって、
前記CG画像生成部は、前記3次元カメラが撮影した3次元画像データから前記作業対象物の位置と姿勢を算出し、前記作業対象物の人工画像を生成し、
前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする遠隔操作システム。 - 請求項1に記載の遠隔操作システムであって、
前記自由視点画像生成部は、前記3次元カメラが撮影した3次元画像データのうち、所望の領域のデータを用いて前記点群レンダリング画像を生成することを特徴とする遠隔操作システム。 - 請求項2に記載の遠隔操作システムであって、
前記3次元カメラを用いて前記作業対象物を撮影し、
撮影した3次元点群データと前記3次元カメラの位置と姿勢の情報を用いて、前記作業対象物の3次元モデルデータを生成することを特徴とする遠隔操作システム。 - 請求項2に記載の遠隔操作システムであって、
前記重畳画像合成部は、前記点群レンダリング画像に前記人工画像を重畳するとき、前記人工画像を重畳する割合を時間的に変化させることを特徴とする遠隔操作システム。 - 作業対象物に対して作業を行う移動体を操作する操作支援システムにおいて、
前記移動体に搭載され前記移動体の前方を撮影する3次元カメラと、
前記3次元カメラから得た3次元点群データから、前記3次元カメラの視点方向とは異なる角度で、前記作業対象物が写る点群レンダリング画像を生成する自由視点画像生成部と、
前記移動体の3次元モデルデータをもとに、前記移動体の人工画像を生成するCG画像生成部と、
前記人工画像を前記点群レンダリング画像に重畳する重畳画像合成部と、
前記重畳画像合成部で重畳した自由視点合成画像を表示する表示部と、
前記移動体に対して操作を指示する操作入力部と、
を備えることを特徴とする操作支援システム。 - 請求項8に記載の操作支援システムであって、
前記CG画像生成部は、さらに、前記作業対象物の3次元モデルデータをもとに、前記作業対象物の人工画像を生成し、
前記重畳画像合成部は、生成された前記作業対象物の人工画像を前記点群レンダリング画像に重畳することを特徴とする操作支援システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/075377 WO2017042873A1 (ja) | 2015-09-08 | 2015-09-08 | 遠隔操作システムおよび操作支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017042873A1 JPWO2017042873A1 (ja) | 2018-06-14 |
JP6474905B2 true JP6474905B2 (ja) | 2019-02-27 |
Family
ID=58240652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017538497A Expired - Fee Related JP6474905B2 (ja) | 2015-09-08 | 2015-09-08 | 遠隔操作システムおよび操作支援システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6474905B2 (ja) |
WO (1) | WO2017042873A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11634890B2 (en) * | 2016-09-02 | 2023-04-25 | Komatsu Ltd. | Image display system for work machine |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6903442B2 (ja) * | 2017-02-08 | 2021-07-14 | 株式会社Ihiエアロスペース | 遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システム |
WO2019012992A1 (ja) * | 2017-07-14 | 2019-01-17 | 株式会社小松製作所 | 表示制御装置、表示制御方法、プログラムおよび表示システム |
JP6927821B2 (ja) | 2017-09-15 | 2021-09-01 | 株式会社小松製作所 | 表示システム、及び表示装置 |
WO2020044440A1 (ja) * | 2018-08-28 | 2020-03-05 | 株式会社オプティム | コンピュータシステム、動作検証方法及びプログラム |
JP7231380B2 (ja) * | 2018-10-31 | 2023-03-01 | 株式会社小松製作所 | 再生装置、分析支援システム及び再生方法 |
JP7365122B2 (ja) * | 2019-02-01 | 2023-10-19 | 株式会社小松製作所 | 画像処理システムおよび画像処理方法 |
JP7099358B2 (ja) * | 2019-02-20 | 2022-07-12 | コベルコ建機株式会社 | 作業機械用表示システム |
JP7318258B2 (ja) * | 2019-03-26 | 2023-08-01 | コベルコ建機株式会社 | 遠隔操作システムおよび遠隔操作サーバ |
JP7303008B2 (ja) * | 2019-04-02 | 2023-07-04 | 株式会社Ihiエアロスペース | 画像表示方法及び遠隔操縦システム |
JP7376264B2 (ja) * | 2019-07-01 | 2023-11-08 | 株式会社小松製作所 | 作業機械を含むシステム、および作業機械 |
JP7424784B2 (ja) * | 2019-09-30 | 2024-01-30 | 株式会社小松製作所 | 制御装置、作業機械および制御方法 |
US11734873B2 (en) | 2019-12-13 | 2023-08-22 | Sony Group Corporation | Real-time volumetric visualization of 2-D images |
JP6949417B1 (ja) * | 2020-05-18 | 2021-10-13 | 防衛装備庁長官 | 車両操縦システムと車両操縦方法 |
CN112884710A (zh) * | 2021-01-19 | 2021-06-01 | 上海三一重机股份有限公司 | 作业机械的辅助影像生成方法、远程操控方法及其装置 |
JP2022111789A (ja) * | 2021-01-20 | 2022-08-01 | アジアクエスト株式会社 | 3d画像表示システム、3d画像表示方法及びコンピュータプログラム |
WO2023100704A1 (ja) * | 2021-12-01 | 2023-06-08 | ソニーグループ株式会社 | 画像制作システム、画像制作方法、プログラム |
WO2023100703A1 (ja) * | 2021-12-01 | 2023-06-08 | ソニーグループ株式会社 | 画像制作システム、画像制作方法、プログラム |
JP2024007313A (ja) | 2022-07-05 | 2024-01-18 | 吉谷土木株式会社 | 作付け支援方法と圃場作業支援システム等 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3344902B2 (ja) * | 1996-10-11 | 2002-11-18 | 鹿島建設株式会社 | 施工用移動体の遠隔操作支援画像システム |
JP2004294067A (ja) * | 2003-03-25 | 2004-10-21 | Penta Ocean Constr Co Ltd | 無人化施工装置 |
-
2015
- 2015-09-08 WO PCT/JP2015/075377 patent/WO2017042873A1/ja active Application Filing
- 2015-09-08 JP JP2017538497A patent/JP6474905B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11634890B2 (en) * | 2016-09-02 | 2023-04-25 | Komatsu Ltd. | Image display system for work machine |
Also Published As
Publication number | Publication date |
---|---|
WO2017042873A1 (ja) | 2017-03-16 |
JPWO2017042873A1 (ja) | 2018-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6474905B2 (ja) | 遠隔操作システムおよび操作支援システム | |
AU2017404218B2 (en) | Display system, display method, and remote operation system | |
EP3086283B1 (en) | Providing a point cloud using a surveying instrument and a camera device | |
EP3754122B1 (en) | Construction machine | |
JP6407663B2 (ja) | 作業支援画像生成装置、及びそれを備えた作業機械の操縦システム | |
JP5802476B2 (ja) | 建設機械制御システム | |
JP7285051B2 (ja) | 表示制御装置、および表示制御方法 | |
US10527413B2 (en) | Outside recognition device | |
US20160301864A1 (en) | Imaging processing system for generating a surround-view image | |
US20160301863A1 (en) | Image processing system for generating a surround-view image | |
AU2019292458B2 (en) | Display control system, display control device, and display control method | |
AU2019292457B2 (en) | Display control device, display control system, and display control method | |
JP2016065422A (ja) | 外界認識装置および外界認識装置を用いた掘削機械 | |
WO2021124654A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
KR20200037285A (ko) | 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계 | |
US20230291989A1 (en) | Display control device and display method | |
KR101611427B1 (ko) | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 | |
KR101356172B1 (ko) | 원격 제어를 위한 3차원 영상 생성 장치 및 방법 | |
JP6029459B2 (ja) | 画像合成装置、および画像合成方法 | |
JP7351478B2 (ja) | 表示システム、遠隔操作システム、及び表示方法 | |
EP4324988A1 (en) | Method and system of configuring a machine control unit of a construction machine | |
KR100960368B1 (ko) | 3차원 공간계를 이용한 항만 견시 시스템 및 항만 견시영상 제공방법 | |
JP6624880B2 (ja) | 画像処理方法および画像処理装置 | |
JP2022053421A (ja) | 遠隔操作のための表示システム、表示方法およびプログラム | |
JP2023120743A (ja) | 表示制御装置、及び遠隔操作装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6474905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |