JP7490452B2 - Working robot operation support device, method, and program - Google Patents
Working robot operation support device, method, and program Download PDFInfo
- Publication number
- JP7490452B2 JP7490452B2 JP2020087151A JP2020087151A JP7490452B2 JP 7490452 B2 JP7490452 B2 JP 7490452B2 JP 2020087151 A JP2020087151 A JP 2020087151A JP 2020087151 A JP2020087151 A JP 2020087151A JP 7490452 B2 JP7490452 B2 JP 7490452B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- shape
- cloud data
- area
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 10
- 238000005259 measurement Methods 0.000 claims description 110
- 238000011156 evaluation Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000011161 development Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明の実施形態は、遠隔操作される作業ロボットの操作支援技術に関する。 An embodiment of the present invention relates to an operation support technology for a remotely controlled work robot.
多関節マニピュレータ等といった作業ロボットの遠隔操作は、対象構造物やその周辺構造物との衝突を回避するため、作業状態を監視カメラで確認しながら行われる。このため、動作中の作業ロボットの姿勢によっては、監視カメラの視界が遮られ死角が生じることにより、作業状態の確認が困難になる場合がある。 When remotely operating a work robot such as an articulated manipulator, the work status is monitored using a surveillance camera to avoid collisions with the target structure or surrounding structures. For this reason, depending on the posture of the work robot during operation, the surveillance camera's view may be blocked, creating blind spots, making it difficult to monitor the work status.
このような監視カメラの視界の死角を解消する方法として、次のような公知技術が提案されている。一つ目として、複数の監視カメラを作業エリアに設置し、監視カメラのメイン画像の死角領域に、別の監視カメラのサブ画像を合成する公知技術が提案されている。二つ目として、作業エリアに配置されている構造物の三次元形状に基づいて、作業ロボットが衝突しない動作を仮想空間上で計画する公知技術が提案されている。この三次元形状としては、作業エリアにおける実測データや設計データが利用される。 The following known techniques have been proposed as methods for eliminating blind spots in the field of view of such surveillance cameras. The first is a known technique in which multiple surveillance cameras are installed in a work area, and a sub-image from one surveillance camera is composited into the blind spot area of the main image from another surveillance camera. The second is a known technique in which a collision-free operation of a work robot is planned in a virtual space based on the three-dimensional shape of structures placed in the work area. Actual measurement data and design data for the work area are used for this three-dimensional shape.
しかし、上述した一つ目の公知技術では、作業環境の制約を受けて、作業エリアに設置できる監視カメラの数や位置が制限される場合がある。また、メイン画像の死角領域にサブ画像を合成することは、視点の異なる画像を嵌め込むことになるため、写り込む構造物の姿勢の連続性が失われ、遠隔作業において誤操作を生じさせる懸念がある。この懸念は、複数の監視カメラの配置間隔を大きくとり互いの死角を効率的に補完できるようにする程、顕著になる。 However, in the first known technology mentioned above, the number and positions of surveillance cameras that can be installed in the work area may be limited due to constraints of the work environment. In addition, synthesizing a sub-image in the blind spot area of the main image means fitting an image from a different viewpoint, which may cause the continuity of the posture of the reflected structure to be lost, raising concerns that this may lead to erroneous operation during remote work. This concern becomes more pronounced the greater the spacing between multiple surveillance cameras so that they can efficiently complement each other's blind spots.
また上述した二つ目の公知技術では、三次元形状として設計データを利用する場合、作業エリアに配置される構造物の形状が実際と異なったり、この構造物が運搬・撤去される等の環境変化に対応できなかったりして、信頼性に欠ける課題がある。この課題の解決策の一つとして作業エリアの実測データの利用が挙げられる。しかし、この実測データの計測領域に作業ロボットの一部が含まれる場合、作業エリアに配置される構造物の形状を認識できない課題があった。 Furthermore, in the second known technology mentioned above, when design data is used as the three-dimensional shape, there is an issue of lack of reliability, as the shape of the structure placed in the work area may differ from the actual shape, and the technology may be unable to respond to environmental changes such as when the structure is transported or removed. One solution to this issue is to use actual measurement data of the work area. However, if part of the work robot is included in the measurement area of this actual measurement data, there is an issue of not being able to recognize the shape of the structure placed in the work area.
本発明の実施形態はこのような事情を考慮してなされたもので、作業エリアにおける構造物の形状を、高い信頼性で認識できる作業ロボットの操作支援技術を提供することを目的とする。 The embodiment of the present invention has been made in consideration of these circumstances, and aims to provide an operation support technology for a work robot that can recognize the shape of structures in a work area with high reliability.
実施形態に係る作業ロボットの操作支援装置において、作業エリアで形状計測センサが計測した構造物の計測信号を逐次的に受信する受信部と、前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換される座標変換部と、作業ロボットの三次元形状を示す立体データが制御情報に基づいて前記作業エリアの座標系に展開される展開部と、前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出する検出部と、前記逐次的に受信した最新タイミングの前記計測信号に基づいて前記重複領域を除く更新領域のみを上書き更新した前記点群データを前記作業エリアの形状マップとして生成する生成部と、を備えている。さらに前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算する計算部と、前記経過時間に基づいて、各々の前記点群データの信頼性を評価する信頼性評価部と、を備え、前記信頼性の評価パラメータに基づいて、前記形状計測センサの計測領域から前記作業ロボットを退避させる初期化を実行させることを特徴としている。また前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算する計算部と、前記経過時間に基づいて、各々の前記点群データの信頼性を評価する信頼性評価部と、を備え、前記信頼性の評価パラメータに基づいて、前記形状計測センサを位置変更し、計測領域を変更させることを特徴としている。また前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算する計算部と、前記経過時間に基づいて、各々の前記点群データの信頼性を評価する信頼性評価部と、を備え、前記信頼性は、前記構造物の前記点群データと前記作業ロボットの前記立体データとの距離にも基づいて評価されることを特徴としている。 In an embodiment, the operation support device for a working robot includes a receiving unit that sequentially receives measurement signals of a structure measured by a shape measuring sensor in a working area, a coordinate conversion unit that converts point cloud data including a three-dimensional shape of the structure reproduced from the measurement signals from a coordinate system of the shape measuring sensor to a coordinate system of the working area, a development unit that develops three-dimensional data indicating the three-dimensional shape of the working robot into the coordinate system of the working area based on control information, a detection unit that detects an overlapping area between the point cloud data and the three-dimensional data in the coordinate system of the working area, and a generation unit that generates the point cloud data as a shape map of the working area by overwriting and updating only an update area excluding the overlapping area based on the measurement signals of the latest timing sequentially received, a calculation unit that calculates an elapsed time obtained by taking the difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time, and a reliability evaluation unit that evaluates the reliability of each of the point cloud data based on the elapsed time, and performs initialization to evacuate the working robot from the measurement area of the shape measuring sensor based on the reliability evaluation parameter. The present invention is characterized in that it includes a calculation unit that calculates an elapsed time obtained by taking the difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time, and a reliability evaluation unit that evaluates the reliability of each of the point cloud data based on the elapsed time, and that it changes the position of the shape measuring sensor and changes the measurement area based on the reliability evaluation parameter.It is also characterized in that it includes a calculation unit that calculates an elapsed time obtained by taking the difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time, and a reliability evaluation unit that evaluates the reliability of each of the point cloud data based on the elapsed time, and that it evaluates the reliability of the point cloud data based on the elapsed time, and that the reliability is evaluated based on the distance between the point cloud data of the structure and the three-dimensional data of the work robot.
本発明の実施形態により、作業エリアにおける構造物の形状を、高い信頼性で認識できる作業ロボットの操作支援技術が提供される。 Embodiments of the present invention provide a technology to assist the operation of a work robot that can recognize the shape of structures in a work area with high reliability.
(第1実施形態)
以下、本発明の実施形態を添付図面に基づいて説明する。図1は本発明の第1実施形態に係る作業ロボットの操作支援装置10Aの構成図である。このように操作支援装置10A(10)は、作業エリア20で形状計測センサであるカメラ21が計測した構造物25(25a,25b)の計測信号26を逐次的に受信する受信部である計測信号受信部11と、この計測信号26から再現される構造物25の三次元形状を含む点群データ27がカメラ21の座標系から作業エリア20の座標系に変換される座標変換部12と、作業ロボット22の三次元形状を示す立体データ28が制御情報31に基づいて作業エリア20の座標系に展開される展開部15と、作業エリア20の座標系において点群データ27と立体データ28との重複領域35を検出する検出部である重複領域検出部16と、この重複領域35を除く更新領域36(図5)において点群データ27を更新し作業エリア20の形状マップ37を生成する生成部である形状マップ生成部17と、を備えている。
First Embodiment
Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings. Fig. 1 is a configuration diagram of a working robot
本実施形態では、作業ロボット22として多関節型のマニピュレータが例示され、作業エリア20において、作業対象となる対象構造物25a(構造物25)を把持し、移動させる作業を例示する。なお、作業ロボット22は、オペレータ(図示略)により遠隔操作されるものとし、オペレータはカメラ21からの動画像を介して対象構造物25aに対する作業状況を把握する。
In this embodiment, an articulated manipulator is exemplified as the
作業ロボット22は手先にグリッパ34を具備しており、作業エリア20に配置されている。なお、作業ロボット22は、作業エリア20の床面に一端が固定されるものが例示されているが、その設置形態に限定はない。また、多関節型のマニピュレータを台車(図示略)に設置し、作業エリア20の任意の位置に移動させることもできる。この場合は、作業エリア20の座標系における台車の移動位置を測定して、マニピュレータ等の作業ロボット22の位置情報を展開部15の処理に反映させる必要がある。
The
この作業エリア20には、対象構造物25aの他に、構造物25として周辺構造物25bも配置されている。オペレータ(図示略)は、これら周辺構造物25bと作業ロボット22との機械的干渉にも注意を払いつつ、対象構造物25aに対し操作を行う。
In addition to the
カメラ21は、作業エリア20に設置されており、構造物25の三次元形状を計測可能な機器である。カメラ21としては、複数台の光学撮像機器を組み合わせステレオ視によって形状を計測するものや、レーザレンジファインダや距離画像センサによって形状を計測するものが挙げられ、三次元形状の計測機器である形状計測センサとして一般的なものを採用することができる。
The
そして、カメラ21は、計測した構造物25の表面形状を、カメラ座標系における点群データとして処理し、計測信号26に載せて逐次的に送信する。そして、計測信号受信部11では、カメラ21から送信される計測信号26を逐次的に受信し、作業ロボット22や構造物25に動きがあるときは、点群データ27を動画像として捉える。
The
座標変換部12は、計測信号26においてカメラ21の座標系で定義されていたものを、作業エリア20の座標系で定義されるように点群データ27を変換するものである。ここで作業エリア20の座標系は、カメラ21から受信された構造物25の点群データ27と制御情報31から展開された作業ロボット22の立体データ28とを、共通の三次元空間で再現するための座標系である。なお、後述するようにこの点群データ27には、作業エリア20内の三次元形状として構造物25だけでなく、作業ロボット22の一部が写り込むことがある。
The
作業ロボット22は、複数のリンク38と、各々のリンク38の末端を接続し関節として機能するサーボモータ39と、対象構造物25aを把持するためのグリッパ34と、から構成されている。作業ロボット制御部30は、予め定められた動作計画又はオペレータ(図示略)の操作指令に従って、各関節を構成するサーボモータ39の動作を制御し、作業ロボット22の姿勢を制御する。
The
この作業ロボット制御部30は、サーボモータ39等を駆動するための制御信号33を作業ロボット22に直接送出する他に、サーボモータ39の駆動量を示す制御情報31を操作支援装置10に対しても送出する。なおこの制御情報31は、作業ロボット制御部30からではなく、作業ロボット22から直接伝送される場合もある。
The work
展開部15は、作業ロボット22のパーツ(例えばリンク38)の形状モデルであるロボットパーツ形状モデル32と、作業ロボット22のパーツ(例えばサーボモータ39)の制御情報31と、から作業ロボット22の三次元形状(姿勢)を示す立体データ28を仮想的に再現する。なおロボットパーツ形状モデル32は三次元CADデータ等の設計情報を用いて予め準備することができ、制御情報31はサーボモータ39におけるリアルタイムの角変位データを用いることができる。これにより、立体データ28を、点群データ27と共通化した作業エリア20の座標系に逐次的に更新しながら展開し、その動きが仮想的に再現される。
The
図2は、初期化された作業ロボット22を示す構成図である。図3は、作業ロボット22を初期化した直後にカメラ21で計測された点群データ27で表現される三次元形状である。初期化とは、カメラ21の計測領域から退避する姿勢を作業ロボット22にとらせることである。
Figure 2 is a configuration diagram showing an initialized
図4は、作業ロボット22の操作過程においてカメラ21で計測された点群データ27で表現される三次元形状である。このように、カメラ21と構造物25との間に作業ロボット22が入り込んだ時は、取得された点群データ27には作業ロボット22の三次元形状が含まれてしまう。つまり、カメラ21の計測領域において、作業ロボット22の死角になった構造物25の三次元形状は点群データ27に反映されないことになる。
Figure 4 shows the three-dimensional shape represented by
計測信号26から再現された点群データ27そのものからは、構造物25に対応する三次元形状か、作業ロボット22に対応する三次元形状かの区別ができない。そこでカメラ21で撮像するときは、撮像の開始前に作業ロボット22を初期化し、作業エリア20における構造物25の配置を正確に反映した点群データ27を取得することから始める。
From the
図1に戻って説明を続ける。
作業ロボット22の操作過程でカメラ21の計測領域に作業ロボット22が写り込むと、この写り込みの部分において、作業エリア20の座標系で点群データ27と立体データ28との重複領域35が発生する。重複領域検出部16は、作業エリア20の座標系において、点群データ27と立体データ28とを照合し、両者の重複領域35を検出する。
Returning to FIG.
When
図5は、作業ロボット22の操作過程において生成された作業エリア20の形状マップ37である。ここで、逐次的に受信する計測信号26において、図3に示すような構造物25のみの点群データ27から、図4に示すような作業ロボット22が写り込んだ点群データ27に、フレームが切り替わったとする。この図3から図4に切り替わるタイミングで、初めて重複領域35が検出される。
Figure 5 shows a
図1に戻って説明を続ける。
形状マップ生成部17は、図4で示されるような最新タイミングのフレームを構成する点群データ27を、重複領域35を除いた更新領域36(図5)とする。そして、その直前の図3で示されるタイミングのフレームの点群データ27に対し、更新領域36の部分のみを上書きして更新する。
Returning to FIG.
The
その結果、図5に示すように、更新領域36は最新のタイミングの点群データ27で構成され、重複領域35はその直前のタイミングの点群データ27で構成される形状マップ37が生成される。これにより、カメラ21の計測領域に作業ロボット22が写り込んだ場合であっても、その死角にある構造物25の三次元形状を把握することができる。
As a result, as shown in FIG. 5, a
また、作業ロボット22で対象構造物25aを把持し移動させるといった、構造物25の三次元形状の動きを伴う作業を想定する。この場合でも、作業ロボット22の死角に入らない更新領域36の点群データ27は最新状態に更新される。このため、把持され移動する対象構造物25aを映像により正確に追跡することができ、作業ロボット22の操作を適切に実施できる。
In addition, assume that the work involves movement of the three-dimensional shape of the
モニタ18は、形状マップ37の動画像を映すものである。オペレータは、このモニタ18の動画像を目視しながら、作業ロボット22を操作する。また、形状マップ37は、作業ロボット制御部30にフィードバックされ、作業ロボット22の死角になって計測できないエリアの近傍では、作業ロボット22を低速動作させる等の安全性を高める作業ロボット22の動作制御に関与する。
The
(第2実施形態)
次に図6を参照して本発明における第2実施形態について説明する。図6は本発明の第2実施形態に係る作業ロボットの操作支援装置10Bの構成図である。なお、図6において図1と共通の構成又は機能を有する部分は、同一符号で示し、重複する説明を省略する。
Second Embodiment
Next, a second embodiment of the present invention will be described with reference to Fig. 6. Fig. 6 is a configuration diagram of a working robot
第2実施形態の操作支援装置10B(10)は、第1実施形態の作業ロボットの操作支援装置10A(図1)の構成に加えてさらに、形状マップ37を構成する各々の点群データ27に関連付けられたカメラ計測時刻45に基づいて経過時間46を計算する計算部である経過時間計算部41と、経過時間46に基づいて各々の点群データ27の信頼性を評価する信頼性評価部42と、を備えている。
The
形状マップ生成部17は、形状マップ37を構成する点群データ27の各々に、カメラ21で計測されたときのカメラ計測時刻45を関連付けている。そして経過時間計算部41は、形状マップ37を構成する各々の点群データ27に関連付けられたカメラ計測時刻45を取得し、現在時刻との差分をとり経過時間46を計算する。
The shape
この経過時間46は、更新領域36に属する点群データ27については実質的にゼロであり、重複領域35に属する点群データ27については重複領域35に連続して長期間属している程、長くなる。つまり、この経過時間46が長い点群データ27で構成される形状マップ37の領域は、古い作業状態を反映したもので信頼性が低いといえる。
This elapsed
信頼性評価部42は、経過時間46に基づいて各々の点群データ27の信頼性を評価するものである。経過時間46の逆数を信頼性の評価パラメータ47として定義する。このように定義した評価パラメータ47に基づき、点群データ27が長期間に亘って更新されていないことを、モニタ18に表示される形状マップ37の当該領域に明示し、オペレータに注意喚起することができる。
The
また、この評価パラメータ47を作業ロボット制御部30にフィードバックし、作業ロボット22の死角になって計測できないエリアの近傍では、作業ロボット22を低速動作させる等の安全性を高めた制御を実施する。さらに評価パラメータ47が基準値を下回り、看過できないレベルに信頼性が低下した場合、作業ロボット22の初期化を実行し、作業ロボット22をカメラ21の計測領域から退避させる。これにより、形状マップ37において重複領域35は解消されて全体が更新領域36となり、全ての点群データ27における評価パラメータ47が向上し信頼性が回復する。
This
さらに第2実施形態の操作支援装置10Bにおいて、カメラ21は、計測領域を自在に調節できる調節機構部48に支持されている。この調節機構部48として、多関節型アーム機構が例示されているが、特に限定はなく、パン・チルト調整を備えた機構、直動移動機構を採用する場合もある。
Furthermore, in the
この調節機構部48は、カメラ位置駆動部40から出力される駆動信号49を入力し、作業エリア20におけるカメラ21の位置・角度を調整する。カメラ位置駆動部40は、信頼性評価部42から点群データ27の評価パラメータ47を受信し、信頼性の低い点群データ27に対応する構造物25の表面が計測領域に含まれるように、カメラ21の位置・角度を調整する。このように、評価パラメータ47は、点群データ27の信頼性を高めるために、カメラ21の計測領域を変更させる。
This
さらに第2実施形態の操作支援装置10Bは、構造物25の点群データ27と作業ロボット22の立体データ28との距離にも基づいて、各々の点群データ27の信頼性を評価することができる。作業ロボット22は、作業エリア20における稼働範囲が広いが、実際に使われる作業領域は限定的である場合が多い。特に作業ロボット22が対象構造物25aに接近して作業を行う場合、作業領域は対象構造物25aの近傍だけに限定される。
Furthermore, the
そこで,作業ロボット22の作業位置に近い点群データ27ほど重要度が高いものとして信頼性の評価パラメータ47を低めに、逆に作業位置から遠方の点群データ27の評価パラメータは高めに設定する。
Therefore, the
位置・角度が固定されたカメラ21による計測領域は、広い作業エリア20の中で限定的である。そこで、評価パラメータ47の低い(作業ロボット22に近接している)構造物25の表面領域ほど、点群データ27の更新領域36となる頻度を高め、カメラ21の位置・角度を調節し計測領域を変更する。これにより、作業エリア20が広域にわたる場合であっても、作業ロボット22の近傍の作業領域を形成する点群データ27は高い信頼性が確保される。
The measurement area by the
さらに、作業ロボット22の近傍の作業領域を形成する点群データ27は信頼性を高めつつ、広大な作業エリア20の全域にわたる形状マップ37を生成することができる。これにより、対象構造物25aの位置に遠方からアプローチするような、作業ロボット22の広範囲の動作計画にも、形状マップ37の活用の幅が広がる。なお,本実施形態において、作業ロボット22の作業対象となる対象構造物25aの近傍領域を構成する点群データ27の信頼性を高めることを目的としたが、これに限らず、作業エリア20の特性や作業目的に応じて点群データ27の信頼性を高めるエリアを個別に設定しても良い。
Furthermore, the
図7のフローチャートに基づいて作業ロボットの操作支援方法及び操作支援プログラムの実施形態を説明する(適宜、図6参照)。形状計測センサの一例であるカメラ21が計測した構造物25(25a,25b)の計測信号26を逐次的に受信する(S11)。さらに、この計測信号26から再現される構造物25の三次元形状が含まれる点群データ27をカメラ21の座標系から作業エリア20の座標系に変換する(S12)。
An embodiment of a method and program for supporting the operation of a work robot will be described based on the flowchart in Figure 7 (see Figure 6 as appropriate). Measurement signals 26 of a structure 25 (25a, 25b) measured by a
次に、作業ロボット22の三次元形状を示す立体データ28を制御情報31に基づいて作業エリア20の座標系に展開する(S13)。そして、作業エリア20の座標系において点群データ27と立体データ28との重複領域35を検出する(S14)。さらに、この重複領域35を除く更新領域36(図5)において点群データ27を更新し(S15)、作業エリア20の形状マップ37を生成しモニタ18に表示する(S16)。
Next, the
次に、形状マップ37を構成する各々の点群データ27に関連付けられたカメラ計測時刻45に基づいて経過時間46を計算し(S17)、この経過時間46に基づいて各々の点群データ27の信頼性の評価パラメータを計算する。この評価パラメータが基準値を下回る場合(S18 Yes)、モニタ18の形状マップ37の該当領域に警告を表示するとともに、作業ロボット22を初期化する(該当領域から作業ロボット22を退避させる)かもしくはカメラ21の位置・角度を調整する(S19)。そして、作業ロボット22の操作が終了するまで(S11)から(S19)のフローを繰り返す(S20 No: Yes END)。
Next, the elapsed
以上述べた少なくともひとつの実施形態の作業ロボットの操作支援装置によれば、カメラの点群データと作業ロボットの立体データとの重複領域を検出することにより、作業エリアにおける構造物の形状を高い信頼性で認識することが可能となる。 According to at least one of the embodiments of the work robot operation support device described above, it is possible to detect overlapping areas between the camera's point cloud data and the work robot's three-dimensional data, thereby making it possible to recognize the shape of structures in the work area with high reliability.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。また、操作支援装置の構成要素は、コンピュータのプロセッサで実現することも可能であり、操作支援プログラムにより動作させることが可能である。 Although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, modifications, and combinations can be made without departing from the gist of the invention. These embodiments and their variations are within the scope of the invention and its equivalents as well as the scope and gist of the invention. In addition, the components of the operation assistance device can be realized by a computer processor and can be operated by an operation assistance program.
以上説明した作業ロボットの操作支援装置10は、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、又はCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信I/Fとを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
The work robot
また作業ロボットの操作支援装置プログラムは、ROM等に予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。 The operation support device program for the work robot is provided by being pre-installed in a ROM or the like. Alternatively, the program may be provided by being stored in a computer-readable storage medium such as a CD-ROM, CD-R, memory card, DVD, or flexible disk (FD) in the form of an installable or executable file.
また、本実施形態に係る作業ロボットの操作支援プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしてもよい。また、装置10は、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワーク又は専用線で相互に接続し、組み合わせて構成することもできる。
The operation assistance program for the work robot according to this embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading it via the network. The
10(10A,10B)…操作支援装置、11…計測信号受信部(受信部)、12…座標変換部、15…展開部、16…重複領域検出部(検出部)、17…形状マップ生成部(生成部)、18…モニタ、20…作業エリア、21…カメラ(形状計測センサ)、22…作業ロボット、25…構造物、25a…対象構造物、25b…周辺構造物、26…計測信号、27…点群データ、28…立体データ、30…作業ロボット制御部、31…制御情報、32…ロボットパーツ形状モデル、33…制御信号、34…グリッパ、35…重複領域、36…更新領域、37…形状マップ、38…リンク、39…サーボモータ、40…カメラ位置駆動部、41…経過時間計算部(計算部)、42…信頼性評価部、45…カメラ計測時刻、46…経過時間、47…評価パラメータ、48…調節機構部、49…駆動信号。 10 (10A, 10B)...operation support device, 11...measurement signal receiving unit (receiving unit), 12...coordinate conversion unit, 15...expansion unit, 16...overlap area detection unit (detection unit), 17...shape map generation unit (generation unit), 18...monitor, 20...work area, 21...camera (shape measurement sensor), 22...work robot, 25...structure, 25a...target structure, 25b...surrounding structure, 26...measurement signal, 27...point cloud data, 28...three-dimensional data, 30...work robot control unit, 31...control information, 32...robot part shape model, 33...control signal, 34...gripper, 35...overlap area, 36...update area, 37...shape map, 38...link, 39...servo motor, 40...camera position drive unit, 41...elapsed time calculation unit (calculation unit), 42...reliability evaluation unit, 45...camera measurement time, 46...elapsed time, 47...evaluation parameter, 48...adjustment mechanism unit, 49...drive signal.
Claims (9)
前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換される座標変換部と、
作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開される展開部と、
前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出する検出部と、
前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成する生成部と、を備える作業ロボットの操作支援装置において、
前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算する計算部と、
前記経過時間に基づいて、各々の前記点群データの信頼性を評価する信頼性評価部と、を備え、
前記信頼性の評価パラメータに基づいて、前記形状計測センサの計測領域から前記作業ロボットを退避させる初期化を実行させる作業ロボットの操作支援装置。 a receiving unit that sequentially receives measurement signals of the structure measured by the shape measuring sensor in the work area;
a coordinate conversion unit that converts point cloud data including a three-dimensional shape of the structure reproduced from the measurement signals from a coordinate system of the shape measurement sensor into a coordinate system of the work area;
a development unit that develops stereoscopic data indicating a three-dimensional shape of the working robot into a coordinate system of the working area based on control information;
a detection unit that detects an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
a generation unit that generates, as a shape map of the work area, the point cloud data in which only an update area excluding the overlap area is overwritten and updated based on the sequentially received measurement signals at the latest timing,
a calculation unit that calculates an elapsed time by taking a difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time;
a reliability evaluation unit that evaluates reliability of each of the point cloud data based on the elapsed time,
A work robot operation support device that executes initialization to retreat the work robot from a measurement area of the shape measurement sensor based on the reliability evaluation parameter.
前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換される座標変換部と、
作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開される展開部と、
前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出する検出部と、
前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成する生成部と、を備える作業ロボットの操作支援装置において、
前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算する計算部と、
前記経過時間に基づいて、各々の前記点群データの信頼性を評価する信頼性評価部と、を備え、
前記信頼性の評価パラメータに基づいて、前記形状計測センサを位置変更し、計測領域を変更させる作業ロボットの操作支援装置。 a receiving unit that sequentially receives measurement signals of the structure measured by the shape measuring sensor in the work area;
a coordinate conversion unit that converts point cloud data including a three-dimensional shape of the structure reproduced from the measurement signals from a coordinate system of the shape measurement sensor into a coordinate system of the work area;
a development unit that develops stereoscopic data indicating a three-dimensional shape of the working robot into a coordinate system of the working area based on control information;
a detection unit that detects an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
a generation unit that generates, as a shape map of the work area, the point cloud data in which only an update area excluding the overlap area is overwritten and updated based on the sequentially received measurement signals at the latest timing,
a calculation unit that calculates an elapsed time by taking a difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time;
a reliability evaluation unit that evaluates reliability of each of the point cloud data based on the elapsed time,
An operation support device for a working robot that changes the position of the shape measurement sensor and changes the measurement area based on the reliability evaluation parameter.
前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換される座標変換部と、
作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開される展開部と、
前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出する検出部と、
前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成する生成部と、を備える作業ロボットの操作支援装置において、
前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算する計算部と、
前記経過時間に基づいて、各々の前記点群データの信頼性を評価する信頼性評価部と、を備え、
前記信頼性は、前記構造物の前記点群データと前記作業ロボットの前記立体データとの距離にも基づいて評価される作業ロボットの操作支援装置。 a receiving unit that sequentially receives measurement signals of the structure measured by the shape measuring sensor in the work area;
a coordinate conversion unit that converts point cloud data including a three-dimensional shape of the structure reproduced from the measurement signals from a coordinate system of the shape measurement sensor into a coordinate system of the work area;
a development unit that develops stereoscopic data indicating a three-dimensional shape of the working robot into a coordinate system of the working area based on control information;
a detection unit that detects an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
a generation unit that generates, as a shape map of the work area, the point cloud data in which only an update area excluding the overlap area is overwritten and updated based on the sequentially received measurement signals at the latest timing,
a calculation unit that calculates an elapsed time by taking a difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time;
a reliability evaluation unit that evaluates reliability of each of the point cloud data based on the elapsed time,
An operation support device for a working robot, wherein the reliability is evaluated also based on the distance between the point cloud data of the structure and the three-dimensional data of the working robot.
座標変換部で、前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換されるステップと、
展開部で、作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開されるステップと、
検出部が、前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出するステップと、
生成部が、前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成するステップと、を含む作業ロボットの操作支援方法において、
計算部が、前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算するステップと、
信頼性評価部が、前記経過時間に基づいて、各々の前記点群データの信頼性を評価するステップと、
前記信頼性の評価パラメータに基づいて、前記形状計測センサの計測領域から前記作業ロボットを退避させる初期化を実行させるステップと、を含む作業ロボットの操作支援方法。 A receiving unit sequentially receives measurement signals of the structure measured by the shape measurement sensor in the work area;
a step of converting point cloud data including a three-dimensional shape of the structure reproduced from the measurement signals from a coordinate system of the shape measurement sensor into a coordinate system of the work area by a coordinate conversion unit;
a developing unit developing, based on control information, stereoscopic data indicating a three-dimensional shape of the working robot into a coordinate system of the working area;
a detection unit detecting an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
a generating unit generating the point cloud data by overwriting and updating only an update area excluding the overlap area based on the sequentially received measurement signals at the latest timing, as a shape map of the work area,
a calculation unit calculating an elapsed time by taking a difference between a measurement time of the shape measurement sensor associated with each of the point cloud data constituting the shape map and a current time;
A reliability evaluation unit evaluates reliability of each of the point cloud data based on the elapsed time;
and executing an initialization step of retracting the work robot from a measurement area of the shape measurement sensor based on the reliability evaluation parameter.
座標変換部で、前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換されるステップと、
展開部で、作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開されるステップと、
検出部が、前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出するステップと、
生成部が、前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成するステップと、を含む作業ロボットの操作支援方法において、
計算部が、前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算するステップと、
信頼性評価部が、前記経過時間に基づいて、各々の前記点群データの信頼性を評価するステップと、
前記信頼性の評価パラメータに基づいて、前記形状計測センサを位置変更し、計測領域を変更させるステップと、を含む作業ロボットの操作支援方法。 A receiving unit sequentially receives measurement signals of the structure measured by the shape measurement sensor in the work area;
a step of converting point cloud data including a three-dimensional shape of the structure reproduced from the measurement signals from a coordinate system of the shape measurement sensor into a coordinate system of the work area by a coordinate conversion unit;
a developing unit developing, based on control information, stereoscopic data indicating a three-dimensional shape of the working robot into a coordinate system of the working area;
a detection unit detecting an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
a generating unit generating the point cloud data by overwriting and updating only an update area excluding the overlap area based on the sequentially received measurement signals at the latest timing, as a shape map of the work area,
a calculation unit calculating an elapsed time by taking a difference between a measurement time of the shape measurement sensor associated with each of the point cloud data constituting the shape map and a current time;
A reliability evaluation unit evaluates reliability of each of the point cloud data based on the elapsed time;
and changing the position of the shape measurement sensor and changing the measurement area based on the reliability evaluation parameter.
座標変換部で、前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換されるステップと、
展開部で、作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開されるステップと、
検出部が、前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出するステップと、
生成部が、前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成するステップと、を含む作業ロボットの操作支援方法において、
計算部が、前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算するステップと、
信頼性評価部が、前記経過時間に基づいて、各々の前記点群データの信頼性を評価するステップと、含み、
前記信頼性は、前記構造物の前記点群データと前記作業ロボットの前記立体データとの距離にも基づいて評価される作業ロボットの操作支援方法。 A receiving unit sequentially receives measurement signals of the structure measured by the shape measurement sensor in the work area;
a step of converting point cloud data including a three-dimensional shape of the structure reproduced from the measurement signals from a coordinate system of the shape measurement sensor into a coordinate system of the work area by a coordinate conversion unit;
a developing unit developing, based on control information, stereoscopic data indicating a three-dimensional shape of the working robot into a coordinate system of the working area;
a detection unit detecting an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
a generating unit generating the point cloud data by overwriting and updating only an update area excluding the overlap area based on the sequentially received measurement signals at the latest timing, as a shape map of the work area,
a calculation unit calculating an elapsed time by taking a difference between a measurement time of the shape measurement sensor associated with each of the point cloud data constituting the shape map and a current time;
A reliability evaluation unit evaluates reliability of each of the point cloud data based on the elapsed time,
A method for supporting operation of a working robot, wherein the reliability is evaluated also based on a distance between the point cloud data of the structure and the three-dimensional data of the working robot.
作業エリアで形状計測センサが計測した構造物の計測信号を逐次的に受信するステップ、
前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換されるステップ、
作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開されるステップ、
前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出
するステップ、
前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成するステップ、を実行させる作業ロボットの操作支援プログラムにおいて、
前記コンピュータに、
前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算するステップ、
前記経過時間に基づいて、各々の前記点群データの信頼性を評価するステップ、
前記信頼性の評価パラメータに基づいて、前記形状計測センサの計測領域から前記作業ロボットを退避させる初期化を実行させるステップ、を実行させる作業ロボットの操作支援プログラム。 On the computer,
Sequentially receiving measurement signals of the structure measured by the shape measurement sensor in the work area;
A step of converting point cloud data including a three-dimensional shape of the structure reconstructed from the measurement signals from a coordinate system of the shape measurement sensor to a coordinate system of the work area;
a step of expanding stereoscopic data indicating a three-dimensional shape of the working robot into a coordinate system of the working area based on control information;
detecting an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
generating, as a shape map of the work area, the point cloud data in which only an update area excluding the overlap area is overwritten and updated based on the sequentially received measurement signals at the latest timing, the point cloud data comprising:
The computer includes:
calculating an elapsed time obtained by taking a difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time;
evaluating the reliability of each of the point cloud data based on the elapsed time;
a step of executing an initialization for withdrawing the work robot from a measurement area of the shape measurement sensor based on the reliability evaluation parameter.
作業エリアで形状計測センサが計測した構造物の計測信号を逐次的に受信するステップ、
前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換されるステップ、
作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開されるステップ、
前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出
するステップ、
前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成するステップ、を実行させる作業ロボットの操作支援プログラムにおいて、
前記コンピュータに、
前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算するステップ、
前記経過時間に基づいて、各々の前記点群データの信頼性を評価するステップ、
前記信頼性の評価パラメータに基づいて、前記形状計測センサを位置変更し、計測領域を変更させるステップ、を実行させる作業ロボットの操作支援プログラム。 On the computer,
Sequentially receiving measurement signals of the structure measured by the shape measurement sensor in the work area;
A step of converting point cloud data including a three-dimensional shape of the structure reconstructed from the measurement signals from a coordinate system of the shape measurement sensor to a coordinate system of the work area;
a step of converting stereoscopic data representing a three-dimensional shape of a working robot into a coordinate system of the working area based on control information;
detecting an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
generating, as a shape map of the work area, the point cloud data in which only an update area excluding the overlap area is overwritten and updated based on the sequentially received measurement signals at the latest timing, the point cloud data comprising:
The computer includes:
calculating an elapsed time obtained by taking a difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time;
evaluating the reliability of each of the point cloud data based on the elapsed time;
A work robot operation assistance program that executes a step of changing the position of the shape measurement sensor and changing the measurement area based on the reliability evaluation parameter.
作業エリアで形状計測センサが計測した構造物の計測信号を逐次的に受信するステップ、
前記計測信号から再現される前記構造物の三次元形状を含む点群データが前記形状計測センサの座標系から前記作業エリアの座標系に変換されるステップ、
作業ロボットの三次元形状を示す立体データが、制御情報に基づいて、前記作業エリアの座標系に展開されるステップ、
前記作業エリアの座標系において前記点群データと前記立体データとの重複領域を検出
するステップ、
前記逐次的に受信した最新タイミングの前記計測信号に基づいて、前記重複領域を除く更新領域のみを上書き更新した前記点群データを、前記作業エリアの形状マップとして生成するステップ、を実行させる作業ロボットの操作支援プログラムにおいて、
前記コンピュータに、
前記形状マップを構成する各々の前記点群データに関連付けられた前記形状計測センサの計測時刻と現在時刻との差分をとった経過時間を計算するステップ、
前記経過時間に基づいて、各々の前記点群データの信頼性を評価するステップ、を実行させ、
前記信頼性は、前記構造物の前記点群データと前記作業ロボットの前記立体データとの距離にも基づいて評価される、作業ロボットの操作支援プログラム。 On the computer,
Sequentially receiving measurement signals of the structure measured by the shape measurement sensor in the work area;
A step of converting point cloud data including a three-dimensional shape of the structure reconstructed from the measurement signals from a coordinate system of the shape measurement sensor to a coordinate system of the work area;
a step of converting stereoscopic data representing a three-dimensional shape of a working robot into a coordinate system of the working area based on control information;
detecting an overlapping area between the point cloud data and the three-dimensional data in a coordinate system of the work area;
generating, as a shape map of the work area, the point cloud data in which only an update area excluding the overlap area is overwritten and updated based on the sequentially received measurement signals at the latest timing, the point cloud data comprising:
The computer includes:
calculating an elapsed time obtained by taking a difference between a measurement time of the shape measuring sensor associated with each of the point cloud data constituting the shape map and a current time;
evaluating the reliability of each of the point cloud data based on the elapsed time;
The reliability is evaluated also based on a distance between the point cloud data of the structure and the three-dimensional data of the work robot .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087151A JP7490452B2 (en) | 2020-05-19 | 2020-05-19 | Working robot operation support device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087151A JP7490452B2 (en) | 2020-05-19 | 2020-05-19 | Working robot operation support device, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021181134A JP2021181134A (en) | 2021-11-25 |
JP7490452B2 true JP7490452B2 (en) | 2024-05-27 |
Family
ID=78605908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020087151A Active JP7490452B2 (en) | 2020-05-19 | 2020-05-19 | Working robot operation support device, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7490452B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012223831A (en) | 2011-04-15 | 2012-11-15 | Mitsubishi Electric Corp | Collision avoidance device |
JP2014079824A (en) | 2012-10-15 | 2014-05-08 | Toshiba Corp | Work screen display method and work screen display device |
JP2016040890A (en) | 2014-08-13 | 2016-03-24 | 株式会社リコー | Imaging device, information processing method, and information processing program |
JP2016109630A (en) | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3376029B2 (en) * | 1993-07-15 | 2003-02-10 | 株式会社東芝 | Robot remote control device |
-
2020
- 2020-05-19 JP JP2020087151A patent/JP7490452B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012223831A (en) | 2011-04-15 | 2012-11-15 | Mitsubishi Electric Corp | Collision avoidance device |
JP2014079824A (en) | 2012-10-15 | 2014-05-08 | Toshiba Corp | Work screen display method and work screen display device |
JP2016040890A (en) | 2014-08-13 | 2016-03-24 | 株式会社リコー | Imaging device, information processing method, and information processing program |
JP2016109630A (en) | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021181134A (en) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6420229B2 (en) | A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot | |
JP4961860B2 (en) | Robot apparatus and control method of robot apparatus | |
JP2889011B2 (en) | Detection position correction method | |
US20170274532A1 (en) | Robot control device, robot, and simulation device | |
JP6816070B2 (en) | Interference avoidance device and robot system | |
WO2015198410A1 (en) | Outside recognition device | |
JP6807280B2 (en) | Remote work robot control system and remote work robot control method | |
JP6445092B2 (en) | Robot system displaying information for teaching robots | |
WO2018043525A1 (en) | Robot system, robot system control device, and robot system control method | |
JP2009006410A (en) | Remote operation support device and remote operation support program | |
WO2008047872A1 (en) | Manipulator | |
KR101951573B1 (en) | Device for detecting an obstacle by means of intersecting planes and detection method using such a device | |
JP6445151B2 (en) | Robot apparatus and movement control method of robot apparatus | |
JP2010284781A (en) | Robot system with robot abnormality monitoring function | |
US20200254610A1 (en) | Industrial robot system and method for controlling an industrial robot | |
JP2019119027A (en) | Method of controlling robot system, and robot system | |
JP6948164B2 (en) | Work robot arm attitude control system and method | |
JP7490452B2 (en) | Working robot operation support device, method, and program | |
KR101972432B1 (en) | A laser-vision sensor and calibration method thereof | |
CN114786611A (en) | System and method for mitigating collisions for robotic systems | |
JP2005161498A (en) | Robot remote operation control device | |
US11926064B2 (en) | Remote control manipulator system and remote control assistance system | |
JP2021099017A (en) | Remote operation device and remote operation system | |
JP6368503B2 (en) | Obstacle monitoring system and program | |
JP2017144490A (en) | Control device, control system, control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7490452 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |