JP2013188840A - Work support device - Google Patents

Work support device Download PDF

Info

Publication number
JP2013188840A
JP2013188840A JP2012057109A JP2012057109A JP2013188840A JP 2013188840 A JP2013188840 A JP 2013188840A JP 2012057109 A JP2012057109 A JP 2012057109A JP 2012057109 A JP2012057109 A JP 2012057109A JP 2013188840 A JP2013188840 A JP 2013188840A
Authority
JP
Japan
Prior art keywords
distance
robot
image
reachable
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012057109A
Other languages
Japanese (ja)
Other versions
JP5862382B2 (en
Inventor
Kiyohiro Sogen
清宏 宗玄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2012057109A priority Critical patent/JP5862382B2/en
Publication of JP2013188840A publication Critical patent/JP2013188840A/en
Application granted granted Critical
Publication of JP5862382B2 publication Critical patent/JP5862382B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To help a user to easily make a decision about executability of a task by a robot.SOLUTION: A work support device comprises a robot 10 transporting an object article and a display means 19. The robot 10 includes: a robot arm 11; a reachable range generator 12 calculating a range that can be reached by the robot arm 11 in voxel units; a voxel space data storage part 13 storing a reach range of the robot arm 11; a distance image sensor 14 acquiring an image and a distance of a viewpoint of the robot 10; a distance point calculation part 15 calculating a distance point on the basis of the acquired image and the distance; a reachable score extractor 16 calculating a reachable score on the basis of a comparison between the distance point and the voxel stored in the voxel space data storage part 13; and an alpha blending calculation part 17 generating an image in which a reachability score is superimposed on the image acquired by the distance image sensor 14. The display means 19 displays the image generated by the alpha blending calculation part 17.

Description

本発明は、作業支援装置に関する。   The present invention relates to a work support apparatus.

近年、ロボットを利用した物の運搬が行われている。例えば、ロボットに撮像装置を備え、撮像装置で取得した映像に基づいてユーザがロボットを遠隔操作する技術が知られている。ユーザは、撮像装置で取得された映像を表示したモニタを確認しながら、ロボットを操作する。   In recent years, things are transported using robots. For example, a technique is known in which a robot is provided with an imaging device, and a user remotely operates the robot based on an image acquired by the imaging device. The user operates the robot while checking the monitor that displays the video acquired by the imaging apparatus.

また典型的には、ロボットには撮像装置のみならず、複数のセンサが設けたものを利用する。撮像装置及び複数のセンサで取得された情報は、複数のモニタに表示させることや、１つのモニタに分割表示させる。ここでセンサにより取得される情報とは、例えばロボットから対象物体までの距離情報や、対象物体の形状情報である。したがってユーザは、モニタに表示された撮像画像やセンサから取得された情報を確認しながら、ロボットを操作することができる。   Typically, the robot uses not only an image pickup apparatus but also a plurality of sensors. Information acquired by the imaging apparatus and the plurality of sensors is displayed on a plurality of monitors or divided and displayed on one monitor. Here, the information acquired by the sensor is, for example, distance information from the robot to the target object or shape information of the target object. Therefore, the user can operate the robot while confirming the captured image displayed on the monitor and the information acquired from the sensor.

特許文献１には、作業機械を操縦するユーザに対して、距離画像のみならず、作業対象物の形状、重心といった情報を画像に重ね置きすることでユーザの作業効率を高める支援装置が開示されている。   Patent Document 1 discloses a support device that improves the user's work efficiency by superimposing not only a distance image but also information such as the shape and center of gravity of a work object on the image for a user operating a work machine. ing.

特許文献２には、ロボットの各関節の動作範囲や特異点による動作制限が、動作余裕量として数値で定量的に表示されるロボットの動作可能領域の表示方法が開示されている。   Patent Document 2 discloses a method for displaying an operable region of a robot in which motion limits of each joint of the robot and motion limitations due to singular points are quantitatively displayed as motion allowances.

特開２０１０−０６０３４４号公報JP 2010-060344 A 特開２００９−２２６５６１号公報JP 2009-226561 A

Point Cloud Library、[online]、［平成２４年２月２１日検索］、インターネット〈URL：http:// http://pointclouds.org/〉Point Cloud Library, [online], [Search February 21, 2012], Internet <URL: http: // http://pointclouds.org/>

特許文献１に示した支援装置により、ロボット搭載の距離画像センサ情報や認識物体の形状をＨＭＩ（Human Machine Interface）に表示することで、ユーザはロボットへの支持を効率的に行うことができる。しかしながらこの支援装置では、ロボットアームが指示点に到達できるか否かの観点が不足しているため、例えば、表示されている物体重心へ、ロボットハンド等のエンドエフェクターを近づけようとしても近づけられず、タスクが実行できない可能性がある。   By displaying the distance image sensor information mounted on the robot and the shape of the recognition object on the HMI (Human Machine Interface) by the support device shown in Patent Document 1, the user can efficiently support the robot. However, in this support device, since the viewpoint of whether or not the robot arm can reach the indicated point is insufficient, for example, an end effector such as a robot hand cannot be brought close to the displayed object center of gravity. There is a possibility that the task cannot be executed.

本発明にかかる作業支援装置は、対象物体を運搬するロボットと、前記ロボットから遠隔に設けられた表示手段と、を備える作業支援装置であって、前記ロボットは、対象物体を把持するロボットアームと、前記ロボットアームが到達可能な範囲をボクセル単位で算出する可到達範囲生成器と、前記可到達範囲生成器で生成した前記ロボットアームの到達範囲を記憶するボクセル空間データ記憶部と、前記ロボットの視点の画像及び前記ロボットからの距離を取得する距離画像センサと、前記距離画像センサにより取得した画像及び距離に基づいて距離点を計算する距離点計算部と、前記距離点計算部により計算された距離点と、前記ボクセル空間データ記憶部に記憶されたボクセルとの比較に基づいて、ボクセルの可到達点数を算出する可到達得点抽出器と、前記距離画像センサが取得した画像に、前記可到達性点数を重畳した画像を生成するアルファブレンディング計算部と、を有し、前記表示手段は、前記アルファブレンディング計算部で生成された画像を表示する。
これによりユーザは、ロボットアームが対象物体に到達できるか否かを、容易に判断することができる。 A work support apparatus according to the present invention is a work support apparatus including a robot that transports a target object and a display unit that is provided remotely from the robot, and the robot includes a robot arm that grips the target object; A reachable range generator for calculating a reachable range of the robot arm in units of voxels; a voxel space data storage unit for storing the reachable range of the robot arm generated by the reachable range generator; The distance image sensor that obtains the viewpoint image and the distance from the robot, the distance point calculation unit that calculates the distance point based on the image and the distance obtained by the distance image sensor, and the distance point calculation unit The number of reachable points of the voxel can be calculated based on the comparison between the distance point and the voxel stored in the voxel space data storage unit. An achievement score extractor, and an alpha blending calculation unit that generates an image obtained by superimposing the reachability score on the image acquired by the distance image sensor, and the display means is generated by the alpha blending calculation unit. Displayed images.
Thus, the user can easily determine whether or not the robot arm can reach the target object.

ロボットによるタスクの実行可能性をユーザが容易に判断できる。   The user can easily determine the feasibility of the task by the robot.

実施の形態１にかかる作業支援装置１の構成図である。1 is a configuration diagram of a work support apparatus 1 according to a first embodiment. 実施の形態１にかかる空間のボクセル単位での離散化を示す図である。It is a figure which shows the discretization in the voxel unit of the space concerning Embodiment 1. FIG. 実施の形態１にかかるボクセルの代表点を示す図である。It is a figure which shows the representative point of the voxel concerning Embodiment 1. FIG. 実施の形態１にかかる作業支援装置１の動作フローを示す図である。It is a figure which shows the operation | movement flow of the work assistance apparatus 1 concerning Embodiment 1. FIG. 実施の形態１にかかる逆運動学計算を示す図である。It is a figure which shows the inverse kinematics calculation concerning Embodiment 1. FIG. 実施の形態１にかかるＨＭＩ１９の表示を示す図である。3 is a diagram showing a display of an HMI 19 according to the first embodiment. FIG. 実施の形態２にかかる作業支援装置２の構成図である。It is a block diagram of the work assistance apparatus 2 concerning Embodiment 2. FIG. 実施の形態２にかかる作業支援装置２の動作フローを示す図である。It is a figure which shows the operation | movement flow of the work assistance apparatus 2 concerning Embodiment 2. FIG. 実施の形態２にかかるＨＭＩ１９の表示を示す図である。It is a figure which shows the display of HMI19 concerning Embodiment 2. FIG. 実施の形態３にかかる作業支援装置３の構成図である。FIG. 6 is a configuration diagram of a work support apparatus 3 according to a third embodiment. 実施の形態３にかかる作業支援装置３の動作フローを示す図である。It is a figure which shows the operation | movement flow of the work assistance apparatus 3 concerning Embodiment 3. FIG. 実施の形態３にかかるグリッド上への距離点のプロットを示す図である。It is a figure which shows the plot of the distance point on the grid concerning Embodiment 3. FIG. 実施の形態３にかかるラベリング処理の結果を示す図である。It is a figure which shows the result of the labeling process concerning Embodiment 3. FIG.

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は、作業支援装置１の構成を示した図である。作業支援装置１は、ロボット１０と、ＨＭＩ１９と、を備える。 Embodiment 1
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of the work support apparatus 1. The work support device 1 includes a robot 10 and an HMI 19.

ロボット１０は、ロボットアーム１１と、可到達範囲生成器１２と、ボクセル空間データ記憶部１３と、距離画像センサ１４と、距離点計算部１５と、可到達得点抽出器１６と、アルファブレンディング計算部１７と、画像送信部１８と、を有する。   The robot 10 includes a robot arm 11, a reachable range generator 12, a voxel space data storage unit 13, a distance image sensor 14, a distance point calculation unit 15, a reachable score extractor 16, and an alpha blending calculation unit. 17 and an image transmission unit 18.

ロボットアーム１１は、一端がロボット１０の本体部に接続しており、他端がロボットハンドであって物体の把持が可能となっている。またロボットアーム１１は複数の関節を有し、関節を駆動させることによって、ロボットハンドに対象物体を適切な角度で把持させる。ロボットアーム１１の関節やロボットハンドは、例えばアクチュエータにより駆動する。   One end of the robot arm 11 is connected to the main body of the robot 10 and the other end is a robot hand so that an object can be gripped. Further, the robot arm 11 has a plurality of joints, and by driving the joints, the robot hand grips the target object at an appropriate angle. The joint of the robot arm 11 and the robot hand are driven by an actuator, for example.

可到達範囲生成器１２は、ロボットアームが到達可能な空間情報のデータを生成する。具体的には、可到達範囲生成器１２は、空間を直方体の集合であるボクセル単位に離散化し、各ボクセルに対してボクセル中心を代表点とする。図２は、ロボット１０の前方の空間をボクセル単位に離散化した例である。図３は、ボクセルの代表点を示した図である。また可到達範囲生成器１２は、ボクセルの代表点に基づいて、ロボットアーム１１の可到達性得点を算出する。可到達点の算出方法については、後に詳述する。   The reachable range generator 12 generates spatial information data that can be reached by the robot arm. Specifically, the reachable range generator 12 discretizes the space in units of voxels that are a set of rectangular parallelepipeds, and sets the voxel center as a representative point for each voxel. FIG. 2 is an example in which the space in front of the robot 10 is discretized in units of voxels. FIG. 3 is a diagram showing representative points of voxels. The reachable range generator 12 calculates the reachability score of the robot arm 11 based on the representative points of the voxels. The method for calculating the reachable point will be described in detail later.

ボクセル空間データ記憶部１３は、可到達範囲生成器１２で取得したロボットアームが到達可能な空間情報のデータを記憶する。   The voxel space data storage unit 13 stores data of space information that can be reached by the robot arm acquired by the reachable range generator 12.

距離画像センサ１４は、ＫＩＮＥＣＴ（登録商標）等の距離センサである。距離画像センサ１４は、撮影した画像に基づいて、１ピクセル毎の(R,G,B,D)値を取得する。ここで、RGBはカラー画素値であり、Dはセンサからの距離値[m]である。
なお、距離画像センサ１４は、独立した１台の距離センサと１台のカラーカメラを使い、射影変換を用いることで１ピクセル毎の(R,G,B,D)値を得ることも可能であるが、簡単のためＫＩＮＥＣＴ（登録商標）のような距離画像センサを用いるのが好ましい。１台の距離センサと１台のカラーカメラを用いる場合の射影変換は、式（１）の方法により行う。

Figure 2013188840
ここで(X,Y,Z)は距離点、(x,y)はピクセル座標、Ｐは射影行列である。 The distance image sensor 14 is a distance sensor such as KINECT (registered trademark). The distance image sensor 14 acquires (R, G, B, D) values for each pixel based on the captured image. Here, RGB is a color pixel value, and D is a distance value [m] from the sensor.
The distance image sensor 14 can also obtain (R, G, B, D) values for each pixel by using projective transformation using one independent distance sensor and one color camera. However, for the sake of simplicity, it is preferable to use a distance image sensor such as KINECT (registered trademark). Projection conversion in the case of using one distance sensor and one color camera is performed by the method of Expression (1).
Figure 2013188840
 Here, (X, Y, Z) is a distance point, (x, y) is a pixel coordinate, and P is a projection matrix.

距離点計算部１５は、ピクセル(u,v)で計測された距離値(D)を基に、距離点(X,Y,Z)を得る計算部である。   The distance point calculation unit 15 is a calculation unit that obtains a distance point (X, Y, Z) based on the distance value (D) measured by the pixel (u, v).

可到達得点抽出器１６は、ボクセル空間データ記憶部１３に記憶されているボクセルの座標との比較に基づいて、可到達性得点を算出する。具体的には、可到達得点抽出器１６は、距離点(X,Y,Z)が、ボクセル空間データ記憶部１３に記憶しているボクセルのうち、どのボクセルに包含されるか計算し、そのボクセルの可到達性得点（０．０〜１．０）を得る。ここで可到達性得点は、点数が大きいほど到達可能性が高いものとする。   The reachable score extractor 16 calculates a reachability score based on the comparison with the voxel coordinates stored in the voxel space data storage unit 13. Specifically, the reachable score extractor 16 calculates which voxel is included in the voxels stored in the voxel space data storage unit 13 by the distance point (X, Y, Z), and Obtain the voxel reachability score (0.0-1.0). Here, it is assumed that the reachability score increases as the score increases.

アルファブレンディング計算部１７は、アルファブレンド画像を生成する。アルファブレンディング計算部１７による計算は、例えば式（２）のように行う。

Figure 2013188840
ここで、(Roriginal,Goriginal,Boriginal)は距離画像センサのカラー画素値、Reachabilityは可到達性得点、αはアルファブレンディングの具合を示す。なお、可到達性得点は青色（0,0,255）で描画する。 The alpha blending calculation unit 17 generates an alpha blend image. The calculation by the alpha blending calculation unit 17 is performed, for example, as shown in Expression (2).
Figure 2013188840
 Here, (R original , G original , B original ) is the color pixel value of the distance image sensor, Reachability is the reachability score, and α is the degree of alpha blending. The reachability score is drawn in blue (0,0,255).

画像送信部１８は、アルファブレンディング計算部１７で生成した画像を、ロボット１０から遠隔に設けられたＨＭＩ１９に送信する。   The image transmission unit 18 transmits the image generated by the alpha blending calculation unit 17 to the HMI 19 provided remotely from the robot 10.

ＨＭＩ１９は、ユーザにより操作が可能な表示手段である。ＨＭＩ１９は、画像送信部１８から受信した画像を表示する。ユーザは、ＨＭＩ１９に表示された画像上の対象物を、カーソルやタッチパネル等により選択することができる。またＨＭＩ１９は、ユーザによる操作された結果をロボット１０に送信する。   The HMI 19 is display means that can be operated by the user. The HMI 19 displays the image received from the image transmission unit 18. The user can select an object on the image displayed on the HMI 19 with a cursor, a touch panel, or the like. Further, the HMI 19 transmits the result of the operation by the user to the robot 10.

次に、作業支援装置１の動作について説明する。図４は、作業支援装置１による動作のフローチャートである。   Next, the operation of the work support apparatus 1 will be described. FIG. 4 is a flowchart of the operation performed by the work support apparatus 1.

可到達範囲生成器１２は、ロボットアーム１１の可到達範囲を生成する（ステップＳ１）。より具体的には、可到達範囲生成器１２は、空間を複数のボクセル単位に分割し、ボクセル中心点を手先位置（X,Y,Z）として、手先姿勢角ロール・ピッチ・ヨーをそれぞれL,M,N分割し、位置姿勢

Figure 2013188840
において逆運動学が解けるか、L*M*N通り計算する。可到達範囲生成器１２は、逆運動学が解けた回数をK回とすると、K/(L*M*N)をボクセルの可到達性得点とする。図５は、ロボットアーム１１の上面図であり、逆運動学計算におけるボクセル代表点と、３６０°／Ｍの関係を示したものである。 The reachable range generator 12 generates a reachable range of the robot arm 11 (step S1). More specifically, the reachable range generator 12 divides the space into a plurality of voxel units, sets the voxel center point as the hand position (X, Y, Z), and sets the hand posture angle roll, pitch, and yaw to L. , M, N division, position and orientation
Figure 2013188840
 Can calculate inverse kinematics at L * M * N. The reachable range generator 12 sets K / (L * M * N) as the voxel reachability score, where K is the number of times the inverse kinematics is solved. FIG. 5 is a top view of the robot arm 11 and shows the relationship between the voxel representative point and 360 ° / M in the inverse kinematics calculation.

可到達範囲生成器１２は、生成した可到達範囲を、ボクセル空間データ記憶部１３に記憶する（ステップＳ２）。   The reachable range generator 12 stores the generated reachable range in the voxel space data storage unit 13 (step S2).

距離画像センサ１４は、把持する対象物体の周囲のカラー画像と、距離画像を、それぞれ取得する（ステップＳ３）。   The distance image sensor 14 acquires a color image and a distance image around the target object to be grasped (step S3).

距離点計算部１５は、距離画像センサ１４により取得された画像から、ピクセル(u,v)で計測された距離値(D)に基づいて、距離点(X,Y,Z)を算出する（ステップＳ４）。   The distance point calculation unit 15 calculates the distance point (X, Y, Z) from the image acquired by the distance image sensor 14 based on the distance value (D) measured by the pixel (u, v) ( Step S4).

可到達得点抽出器１６は、距離点計算部１５により算出された距離点(X,Y,Z)が、ボクセル空間データ記憶部１３に記憶されたボクセルのうち、どのボクセルに包含されるか計算する（ステップＳ５）。   The reachable score extractor 16 calculates which voxel is included in the voxels stored in the voxel space data storage unit 13 by the distance point (X, Y, Z) calculated by the distance point calculation unit 15. (Step S5).

アルファブレンディング計算部１７は、ＨＭＩ１９に表示させるためのアルファブレンド画像を生成する（ステップＳ６）。アルファブレンディング計算部１７により生成される画像は、ロボット１０により撮影されたRGB画像に、距離情報Dの情報を重畳させたものである。   The alpha blending calculation unit 17 generates an alpha blend image to be displayed on the HMI 19 (step S6). The image generated by the alpha blending calculation unit 17 is obtained by superimposing the distance information D on the RGB image photographed by the robot 10.

画像送信部１８は、アルファブレンディング計算部１７が生成したアルファブレンド画像を、ＨＭＩ１９に送信する（ステップＳ７）。ＨＭＩ１９は、アルファブレンディング計算部１７が生成した画像を表示する。図６は、アルファブレンド画像をＨＭＩ１９に表示した例である。ＨＭＩ１９における表示では、濃い青色で表示されている領域ほど、ロボットアーム１１が到達し、タスクを実行できる可能性が高い領域となる。   The image transmission unit 18 transmits the alpha blend image generated by the alpha blending calculation unit 17 to the HMI 19 (step S7). The HMI 19 displays the image generated by the alpha blending calculation unit 17. FIG. 6 is an example in which an alpha blend image is displayed on the HMI 19. In the display in the HMI 19, the region displayed in dark blue is the region where the robot arm 11 reaches and is more likely to execute the task.

これにより作業支援装置は、ロボット可到達範囲とセンサ計測範囲を重畳し、その結果をＨＭＩの画面上に表示することができる。そのため、ユーザは指示点におけるロボットのタスク実行成功の可能性を、ＨＭＩの画面上で容易に知ることができる。
したがって作業支援装置は、ロボットにより対象物体を移動させるタスクが実行可能であるか否か判定し、判定結果をユーザにわかりやすく伝えることができる。 Thereby, the work support device can superimpose the robot reachable range and the sensor measurement range, and can display the result on the screen of the HMI. Therefore, the user can easily know the possibility of the successful task execution of the robot at the indicated point on the HMI screen.
Therefore, the work support apparatus can determine whether or not the task of moving the target object by the robot can be executed, and can easily convey the determination result to the user.

実施の形態２
図７は、作業支援装置２の構成を示した図である。作業支援装置２の構成物品については、作業支援装置１の構成物品と同様の機能を奏するものには同一の符号を付し、説明を省略する。
作業支援装置２は、ロボットアーム１１と、可到達範囲生成器１２と、ボクセル空間データ記憶部１３と、距離画像センサ１４と、距離点計算部１５と、平面距離点群抽出部１５１と、可到達得点抽出器１６と、アルファブレンディング計算部１７と、画像送信部１８と、ＨＭＩ１９と、を備える。 Embodiment 2
FIG. 7 is a diagram illustrating the configuration of the work support apparatus 2. Constituent articles of the work support apparatus 2 are given the same reference numerals to those having the same functions as the constituent articles of the work support apparatus 1, and description thereof is omitted.
The work support apparatus 2 includes a robot arm 11, a reachable range generator 12, a voxel space data storage unit 13, a distance image sensor 14, a distance point calculation unit 15, a planar distance point group extraction unit 151, A reaching score extractor 16, an alpha blending calculation unit 17, an image transmission unit 18, and an HMI 19 are provided.

平面距離点群抽出部１５１は、距離点計算部１５から得られる距離点を使用して、平面の検出を行う。ここで典型的には、平面距離点群抽出部１５１は、平面と判定された部分の距離点のみを抽出し、可到達得点抽出器１６に出力する。   The plane distance point group extraction unit 151 uses the distance points obtained from the distance point calculation unit 15 to detect a plane. Here, typically, the plane distance point group extraction unit 151 extracts only the distance points of the portion determined to be a plane, and outputs the distance points to the reachable score extractor 16.

次に、作業支援装置２の動作について説明する。図８は、作業支援装置２による動作のフローチャートである。   Next, the operation of the work support apparatus 2 will be described. FIG. 8 is a flowchart of the operation by the work support apparatus 2.

可到達範囲生成器１２は、ロボットアーム１１の可到達範囲を生成する（ステップＳ１１）。   The reachable range generator 12 generates a reachable range of the robot arm 11 (step S11).

可到達範囲生成器１２は、生成した可到達範囲を、ボクセル空間データ記憶部１３に記憶する（ステップＳ１２）。   The reachable range generator 12 stores the generated reachable range in the voxel space data storage unit 13 (step S12).

距離画像センサ１４は、把持する対象物体の周囲のカラー画像と、距離画像を、それぞれ取得する（ステップＳ１３）。   The distance image sensor 14 acquires a color image and a distance image around the target object to be grasped (step S13).

距離点計算部１５は、距離画像センサ１４により取得された画像から、ピクセル(u,v)で計測された距離値(D)に基づいて、距離点(X,Y,Z)を算出する（ステップＳ１４）。   The distance point calculation unit 15 calculates the distance point (X, Y, Z) from the image acquired by the distance image sensor 14 based on the distance value (D) measured by the pixel (u, v) ( Step S14).

平面距離点群抽出部１５１は、距離点計算部１５から得られる距離点を利用して、平面部分を抽出する（ステップＳ１５）。例えば平面距離点群抽出部１５１は、平面部以外の可到達性得点を０．０として出力する。   The plane distance point group extraction unit 151 extracts a plane part using the distance points obtained from the distance point calculation unit 15 (step S15). For example, the plane distance point group extraction unit 151 outputs the reachability score other than the plane part as 0.0.

可到達得点抽出器１６は、平面距離点群抽出部１５１により検出された平面が、ボクセル空間データ記憶部１３に記憶されたボクセルのうち、どのボクセルに包含されるか計算する（ステップＳ１６）。   The reachable score extractor 16 calculates which voxel is included in the voxels stored in the voxel space data storage unit 13 by the plane detected by the plane distance point group extraction unit 151 (step S16).

アルファブレンディング計算部１７は、距離画像センサのカラー画素値と、可到達得点抽出器１６により計算された可到達性得点に基づいて、ＨＭＩ１９に表示させるためのアルファブレンド画像を生成する（ステップＳ１７）。   The alpha blending calculation unit 17 generates an alpha blend image to be displayed on the HMI 19 based on the color pixel value of the distance image sensor and the reachability score calculated by the reachable score extractor 16 (step S17). .

画像送信部１８は、アルファブレンディング計算部１７が生成したアルファブレンド画像を、ＨＭＩ１９に送信する（ステップＳ１８）。ＨＭＩ１９は、アルファブレンディング計算部１７が生成した画像を表示する。図９は、アルファブレンド画像をＨＭＩ１９に表示した例であり、テーブル上が平面として認識されている状態を示している。ＨＭＩ１９における表示では、濃い青色で表示されている領域ほど、ロボットアーム１１が到達し、タスクを実行できる可能性が高い領域となる。すなわち、青色で表示されている領域が、対象物体を置くことが可能な範囲である。   The image transmission unit 18 transmits the alpha blend image generated by the alpha blending calculation unit 17 to the HMI 19 (step S18). The HMI 19 displays the image generated by the alpha blending calculation unit 17. FIG. 9 is an example in which an alpha blend image is displayed on the HMI 19, and shows a state where the table is recognized as a plane. In the display in the HMI 19, the region displayed in dark blue is the region where the robot arm 11 reaches and is more likely to execute the task. That is, the area displayed in blue is a range in which the target object can be placed.

これにより作業支援装置は、ロボットが把持した物体を置くタスクにおいて、平面領域の範囲を条件に入れることで、物体を置くことが可能な範囲をＨＭＩ上に描画することができる。なお、物体を置くことが可能な範囲とは、ロボットアーム１１が到達できる範囲であり、かつ、距離画像センサ１４により計測が可能な範囲であり、かつ、平面上であるものとする。
したがって作業支援装置は、ロボットによって運搬される対象物体を置くことができる範囲を、ユーザにわかりやすく伝えることができる。 Thereby, the work support apparatus can draw the range in which the object can be placed on the HMI in the task of placing the object gripped by the robot by setting the range of the plane area as a condition. The range where the object can be placed is a range where the robot arm 11 can reach, can be measured by the distance image sensor 14, and is on a plane.
Therefore, the work support device can easily convey to the user the range in which the target object to be carried by the robot can be placed.

実施の形態３
図１０は、作業支援装置３の構成を示した図である。作業支援装置３の構成物品については、作業支援装置２の構成物品と同様の機能を奏するものには同一の符号を付し、説明を省略する。
作業支援装置３は、ロボットアーム１１と、可到達範囲生成器１２と、ボクセル空間データ記憶部１３と、距離画像センサ１４と、距離点計算部１５と、平面距離点群抽出部１５１と、座標処理部１５２と、可到達得点抽出器１６と、アルファブレンディング計算部１７と、画像送信部１８と、ＨＭＩ１９と、を備える。 Embodiment 3
FIG. 10 is a diagram illustrating a configuration of the work support device 3. Constituent items of the work support device 3 are given the same reference numerals to those having the same functions as the constituent items of the work support device 2, and description thereof is omitted.
The work support device 3 includes a robot arm 11, a reachable range generator 12, a voxel space data storage unit 13, a distance image sensor 14, a distance point calculation unit 15, a plane distance point group extraction unit 151, coordinates A processing unit 152, a reachable score extractor 16, an alpha blending calculation unit 17, an image transmission unit 18, and an HMI 19 are provided.

座標処理部１５２は、平面距離点群抽出部１５１で抽出された平面についてラベリング処理を行う。これにより座標処理部１５２は、対象物体の大きさよりも大きな平面である平面Svalidを検出し、Svalidに含まれる距離点群のみ、可到達得点抽出器１６に出力する。   The coordinate processing unit 152 performs a labeling process on the plane extracted by the plane distance point group extraction unit 151. Thereby, the coordinate processing unit 152 detects a plane Svalid that is a plane larger than the size of the target object, and outputs only the distance point group included in the Svalid to the reachable score extractor 16.

次に、作業支援装置３の動作について説明する。図１１は、作業支援装置３による動作のフローチャートである。   Next, the operation of the work support device 3 will be described. FIG. 11 is a flowchart of the operation performed by the work support apparatus 3.

可到達範囲生成器１２は、ロボットアーム１１の可到達範囲を生成する（ステップＳ２１）。   The reachable range generator 12 generates a reachable range of the robot arm 11 (step S21).

可到達範囲生成器１２は、生成した可到達範囲を、ボクセル空間データ記憶部１３に記憶する（ステップＳ２２）。   The reachable range generator 12 stores the generated reachable range in the voxel space data storage unit 13 (step S22).

距離画像センサ１４は、把持する対象物体の周囲のカラー画像と、距離画像を、それぞれ取得する（ステップＳ２３）。   The distance image sensor 14 acquires a color image and a distance image around the target object to be grasped (step S23).

距離点計算部１５は、距離画像センサ１４により取得された画像から、ピクセル(u,v)で計測された距離値(D)に基づいて、距離点(X,Y,Z)を算出する（ステップＳ２４）。   The distance point calculation unit 15 calculates the distance point (X, Y, Z) from the image acquired by the distance image sensor 14 based on the distance value (D) measured by the pixel (u, v) ( Step S24).

平面距離点群抽出部１５１は、距離点計算部１５から得られる距離点を利用して、平面部分を抽出する（ステップＳ２５）。   The plane distance point group extraction unit 151 uses the distance points obtained from the distance point calculation unit 15 to extract a plane part (step S25).

座標処理部１５２は、対象物体の大きさよりも大きな平面である平面Svalidを検出する（ステップＳ２６）。具体的には、座標処理部１５２は、平面距離点群抽出部１５１で検出された平面の距離点群Dを取り出し、検出された平面に垂直な方向をZ'、平面に平行な方向をX',Y'、原点を平面上に取るΣ'座標系を定義する。また座標処理部１５２は、検出平面を一定の長さのグリッドへ分割する。その後、座標処理部１５２は、内部に距離点を含むグリッドを有効なグリッドとし、ラベリング処理によりグルーピングを行う。図１２は、一定の長さのグリッドに分割された検出平面上に、距離点をプロットした状態を示している。図１３は、有効なグリッドがラベリング処理によりグルーピングされ、第１の平面領域と第２の平面領域が生成された例を示している。座標処理部１５２は、グルーピングされた平面領域のうち、Wmax＞Wobject、Hmax＞Hobjectとなる平面Svalidを検出する。なお、Wmaxはグルーピングされた最大の平面領域のX'方向の距離、Hmaxはグルーピングされた最大の平面領域のX'方向の距離、Wobjectは対象物体の幅、Hobjectは対象物体の奥行きであり、Wobject及びHobjectは、ロボット１０において既知であるものとする。なお、図１３において、最大の平面領域は第１の平面領域である。   The coordinate processing unit 152 detects a plane Svalid that is a plane larger than the size of the target object (step S26). Specifically, the coordinate processing unit 152 extracts the distance point group D of the plane detected by the plane distance point group extraction unit 151, and Z ′ indicates the direction perpendicular to the detected plane, and X indicates the direction parallel to the plane. Define ', Y', a Σ 'coordinate system with the origin on a plane. The coordinate processing unit 152 divides the detection plane into grids having a certain length. Thereafter, the coordinate processing unit 152 sets a grid including distance points inside as an effective grid, and performs grouping by labeling processing. FIG. 12 shows a state where distance points are plotted on a detection plane divided into grids of a certain length. FIG. 13 shows an example in which effective grids are grouped by a labeling process, and a first plane area and a second plane area are generated. The coordinate processing unit 152 detects a plane Svalid where Wmax> Wobject and Hmax> Hobject among the grouped plane regions. Wmax is the distance in the X ′ direction of the largest grouped plane area, Hmax is the distance in the X ′ direction of the largest grouped plane area, Wobject is the width of the target object, and Hobject is the depth of the target object, Wobject and Hobject are assumed to be known in the robot 10. In FIG. 13, the largest planar area is the first planar area.

可到達得点抽出器１６は、座標処理部１５２により算出されたSvalidに含まれる距離点群が、ボクセル空間データ記憶部１３に記憶されたボクセルのうち、どのボクセルに包含されるか計算する（ステップＳ２７）。   The reachable score extractor 16 calculates which voxel is included in the voxels stored in the voxel space data storage unit 13 by the distance point group included in the Svalid calculated by the coordinate processing unit 152 (step) S27).

アルファブレンディング計算部１７は、距離画像センサのカラー画素値と、可到達得点抽出器１６により計算された可到達性得点に基づいて、ＨＭＩ１９に表示させるためのアルファブレンド画像を生成する（ステップＳ２８）。   The alpha blending calculation unit 17 generates an alpha blend image to be displayed on the HMI 19 based on the color pixel value of the distance image sensor and the reachability score calculated by the reachable score extractor 16 (step S28). .

画像送信部１８は、アルファブレンディング計算部１７が生成したアルファブレンド画像を、ＨＭＩ１９に送信する（ステップＳ２９）。ＨＭＩ１９は、アルファブレンディング計算部１７が生成した画像を表示する。   The image transmission unit 18 transmits the alpha blend image generated by the alpha blending calculation unit 17 to the HMI 19 (step S29). The HMI 19 displays the image generated by the alpha blending calculation unit 17.

これにより作業支援装置は、対象物体が大きく特定の面積以上の平面上でないと置けないような場合に、対象物体の大きさを考慮して、物体が置ける位置を表示させることができる。   As a result, the work support apparatus can display the position where the object can be placed in consideration of the size of the target object when the target object can only be placed on a plane that is larger than a specific area.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、距離画像センサ１４には、ステレオカメラを用いてカラー画像（R,G,B）と距離画像(D)を取得することとしても良く、カラー画像（R,G,B）と距離画像(D)を略同時に取得する方法であれば、他の方法であっても良い。また、アルファブレンド画像において、タスクの実行可能性を青色で表示するものとして説明したが、他の色で表示することとしても良い。   Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. For example, the distance image sensor 14 may acquire a color image (R, G, B) and a distance image (D) using a stereo camera, and the color image (R, G, B) and the distance image ( Any other method may be used as long as it is a method of acquiring D) almost simultaneously. In the alpha blend image, the task executability has been described as being displayed in blue, but may be displayed in another color.

１ 作業支援装置
２ 作業支援装置
３ 作業支援装置
１０ ロボット
１１ ロボットアーム
１２ 可到達範囲生成器
１３ ボクセル空間データ記憶部
１４ 距離画像センサ
１５ 距離点計算部
１６ 可到達得点抽出器
１７ アルファブレンディング計算部
１８ 画像送信部
１９ 表示手段
１５１ 平面距離点群抽出部
１５２ 座標処理部 1 Work Support Device 2 Work Support Device 3 Work Support Device 10 Robot 11 Robot Arm 12 Reachable Range Generator 13 Voxel Space Data Storage Unit 14 Distance Image Sensor 15 Distance Point Calculation Unit 16 Reachable Score Extractor 17 Alpha Blending Calculation Unit 18 Image transmission unit 19 Display unit 151 Plane distance point group extraction unit 152 Coordinate processing unit

Claims (1)

対象物体を運搬するロボットと、前記ロボットから遠隔に設けられた表示手段と、を備える作業支援装置であって、
前記ロボットは、対象物体を把持するロボットアームと、
前記ロボットアームが到達可能な範囲をボクセル単位で算出する可到達範囲生成器と、
前記可到達範囲生成器で生成した前記ロボットアームの到達範囲を記憶するボクセル空間データ記憶部と、
前記ロボットの視点の画像及び前記ロボットからの距離を取得する距離画像センサと、
前記距離画像センサにより取得した画像及び距離に基づいて距離点を計算する距離点計算部と、
前記距離点計算部により計算された距離点と、前記ボクセル空間データ記憶部に記憶されたボクセルとの比較に基づいて、ボクセルの可到達点数を算出する可到達得点抽出器と、
前記距離画像センサが取得した画像に、前記可到達性点数を重畳した画像を生成するアルファブレンディング計算部と、を有し、
前記表示手段は、前記アルファブレンディング計算部で生成された画像を表示する、作業支援装置。 A work support device comprising: a robot that carries a target object; and a display means that is provided remotely from the robot,
The robot includes a robot arm that holds a target object;
A reachable range generator for calculating a range reachable by the robot arm in units of voxels;
A voxel space data storage unit that stores the reach range of the robot arm generated by the reachable range generator;
A distance image sensor for obtaining an image of the viewpoint of the robot and a distance from the robot;
A distance point calculator for calculating a distance point based on the image and distance acquired by the distance image sensor;
A reachable score extractor that calculates the number of reachable points of a voxel based on a comparison between the distance points calculated by the distance point calculation unit and the voxels stored in the voxel space data storage unit;
An alpha blending calculation unit that generates an image obtained by superimposing the reachability score on the image acquired by the distance image sensor;
The work support device, wherein the display means displays an image generated by the alpha blending calculation unit.
JP2012057109A 2012-03-14 2012-03-14 Work support device Active JP5862382B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012057109A JP5862382B2 (en) 2012-03-14 2012-03-14 Work support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012057109A JP5862382B2 (en) 2012-03-14 2012-03-14 Work support device

Publications (2)

Publication Number Publication Date
JP2013188840A true JP2013188840A (en) 2013-09-26
JP5862382B2 JP5862382B2 (en) 2016-02-16

Family

ID=49389646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012057109A Active JP5862382B2 (en) 2012-03-14 2012-03-14 Work support device

Country Status (1)

Country Link
JP (1) JP5862382B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017504494A (en) * 2014-01-31 2017-02-09 エイ・ビー・ビー ゴムテック ゲゼルシャフト ミット ベシュレンクテル ハフツングＡＢＢ ｇｏｍｔｅｃ ＧｍｂＨ Robot control
CN108121871A (en) * 2017-12-21 2018-06-05 中国科学院遥感与数字地球研究所 A kind of interior space coverage generation method and device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242244A (en) * 2003-02-10 2004-08-26 Sony Corp Communication network system, portable terminal, and method and computer program for synthesizing panoramic image
WO2012014409A1 (en) * 2010-07-27 2012-02-02 パナソニック株式会社 Moving route searching device and moving route searching method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242244A (en) * 2003-02-10 2004-08-26 Sony Corp Communication network system, portable terminal, and method and computer program for synthesizing panoramic image
WO2012014409A1 (en) * 2010-07-27 2012-02-02 パナソニック株式会社 Moving route searching device and moving route searching method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017504494A (en) * 2014-01-31 2017-02-09 エイ・ビー・ビー ゴムテック ゲゼルシャフト ミット ベシュレンクテル ハフツングＡＢＢ ｇｏｍｔｅｃ ＧｍｂＨ Robot control
CN108121871A (en) * 2017-12-21 2018-06-05 中国科学院遥感与数字地球研究所 A kind of interior space coverage generation method and device
CN108121871B (en) * 2017-12-21 2021-05-25 中国科学院遥感与数字地球研究所 Method and device for generating reachable range of indoor space

Also Published As

Publication number Publication date
JP5862382B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
US9962839B2 (en) Robot apparatus, method for controlling the same, and computer program
US10857675B2 (en) Control device, robot, and robot system
JP5471355B2 (en) 3D visual sensor
JP5897624B2 (en) Robot simulation device for simulating workpiece removal process
US9981380B2 (en) Teaching apparatus and robot system
JP6892286B2 (en) Image processing equipment, image processing methods, and computer programs
JP5423406B2 (en) Information processing apparatus, information processing system, and information processing method
JP4850984B2 (en) Action space presentation device, action space presentation method, and program
JP4004899B2 (en) Article position / orientation detection apparatus and article removal apparatus
JP5213183B2 (en) Robot control system and robot control program
WO2009113339A1 (en) Operation teaching system and operation teaching method
JP2016107379A (en) Robot system including augmented reality corresponding display
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
JP2011175477A (en) Three-dimensional measurement apparatus, processing method and program
JP2011112402A (en) Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
JP6902369B2 (en) Presentation device, presentation method and program, and work system
JP2019209392A (en) Haptic visualization device, robot and haptic visualization program
JP5862382B2 (en) Work support device
JP7517788B2 (en) Item Removal System
JP2011177808A (en) Robot control device
TWI806761B (en) Mark detection device and robot teaching system
JP2013218423A (en) Directional video control device and method
US20130271371A1 (en) Accurate extended pointing apparatus and method thereof
JP7176148B1 (en) Weld line detection system
JP6265784B2 (en) Posture estimation system, program, and posture estimation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R151 Written notification of patent or utility model registration

Ref document number: 5862382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151