JP6631203B2

JP6631203B2 - Virtual fence display system

Info

Publication number: JP6631203B2
Application number: JP2015233296A
Authority: JP
Inventors: 正和宇都宮
Original assignee: Denso Wave Inc
Current assignee: Denso Wave Inc
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2020-01-15
Anticipated expiration: 2035-11-30
Also published as: JP2017100205A

Description

本発明は、作業者が頭部に装着する表示部に、ロボット本体の周辺に配置される安全柵を３次元でモデリングした３Ｄモデル画像データを表示させるバーチャルフェンス表示システムに関する。 The present invention relates to a virtual fence display system for displaying, on a display unit worn by an operator on a head, 3D model image data obtained by modeling a safety fence arranged around a robot body in three dimensions.

作業者が頭部に装着した状態の表示部に画像を投影可能に構成される頭部装着型ディスプレイを用いて、例えば仮想現実の画像や様々な情報を表示させる技術が例えば特許文献１等で提案されている。この技術を、ロボットが作業する領域に立ち入る可能性がある作業者の安全を確保するために適用することを想定する。 For example, Patent Literature 1 discloses a technology of displaying a virtual reality image and various information using a head-mounted display configured to project an image on a display unit in a state where the worker is mounted on the head. Proposed. It is assumed that this technique is applied to ensure the safety of a worker who may enter an area where the robot works.

例えば１つの手法として、作業者が頭部装着型ディスプレイを介してロボットを見た場合に、ロボットの周辺に仮想的な安全柵の画像を表示させることが考えられる。以下、この「仮想的な安全柵」を「バーチャルフェンス」と称する。このようなシステムを導入することで作業者の安全性を確保すると共に、実際には安全柵を配置する必要がなくなるので、ロボットと共存する環境下における作業者の作業効率が向上することも期待できる。 For example, as one method, it is conceivable to display an image of a virtual safety fence around the robot when the operator views the robot through the head-mounted display. Hereinafter, this “virtual safety fence” is referred to as “virtual fence”. By introducing such a system, it is possible to ensure the safety of workers, and it is not necessary to actually arrange a safety fence, so it is expected that the work efficiency of workers in an environment where robots coexist will be improved. it can.

特開２０１４−９５９０３号公報JP 2014-95903 A

しかしながら、その一方で、作業者がロボットを視界に捉えた場合に、バーチャルフェンスが頭部装着型ディスプレイに常に表示されていると、作業者の気が散ることで作業効率の低下を招くおそれもある。 However, on the other hand, if the virtual fence is always displayed on the head-mounted display when the worker sees the robot in the field of view, the work efficiency may be reduced due to distraction of the worker. is there.

本発明は上記事情に鑑みてなされたものであり、その目的は、頭部装着型ディスプレイにおけるバーチャルフェンスの表示態様を、作業者の作業効率に極力影響を及ぼさないように最適化できるバーチャルフェンス表示システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a virtual fence display capable of optimizing a display mode of a virtual fence on a head-mounted display so as not to affect the work efficiency of an operator as much as possible. It is to provide a system.

請求項１記載のバーチャルフェンス表示システムによれば、画像処理部は、ロボット本体の位置を中心として、そのロボット本体の周辺に配置される安全柵を３次元でモデリングした３Ｄモデル画像データ，つまりバーチャルフェンスの３Ｄモデル画像データを保持する。また、画像処理部は、バーチャルフェンスの３Ｄモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能である。尚、ここでの「直方体」には「立方体」も含む。 According to the virtual fence display system of the first aspect, the image processing unit is a 3D model image data obtained by modeling the safety fence arranged around the robot main body in three dimensions around the position of the robot main body, that is, a virtual fence. Holds 3D model image data of the fence. The image processing unit is capable of processing the 3D model image data of the virtual fence in such a form as to be divided into a plurality of rectangular parallelepipeds, and displaying each rectangular parallelepiped as an image having a predetermined transmittance. It should be noted that the term “cuboid” also includes “cube”.

そして、画像処理部は、頭部装着型ディスプレイを装着している作業者の位置及び方向の情報を取得すると、表示部に表示させるバーチャルフェンスの３Ｄモデル画像データが、作業者の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスと作業者との位置及び方向の関係に応じて、複数の直方体のうち、作業者の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工して頭部装着型ディスプレイ側に無線送信する。すると、頭部装着型ディスプレイは、受信したバーチャルフェンスの３Ｄモデル画像データを表示部に投影する。 When the image processing unit acquires the information on the position and direction of the worker wearing the head-mounted display, the 3D model image data of the virtual fence to be displayed on the display unit moves into the field of view of the worker. Process to form. At that time, depending on the relationship between the position and direction between the virtual fence and the worker, among a plurality of rectangular parallelepipeds, the one closer to the worker has a lower transmittance, and the one farther away has a lower transmittance. It is processed to be higher and wirelessly transmitted to the head-mounted display side. Then, the head-mounted display projects the received 3D model image data of the virtual fence on the display unit.

このように構成すれば、頭部装着型ディスプレイには常にバーチャルフェンス全体の画像が表示されることはなく、作業者に相対的に近い位置にある直方体部分は透過率が低くなり、バーチャルフェンスの存在を作業者により意識させる状態で表示される。一方、作業者から相対的に遠い位置にある直方体部分は透過率が高くなることで、バーチャルフェンスの存在を作業者にあまり意識させない状態で表示される。 With this configuration, the image of the entire virtual fence is not always displayed on the head-mounted display, and the rectangular parallelepiped portion relatively close to the worker has low transmittance, and the It is displayed in a state where the worker is aware of the existence. On the other hand, the rectangular parallelepiped portion at a position relatively far from the worker has a high transmittance, and is displayed in a state where the worker is not so conscious of the existence of the virtual fence.

したがって、実際のロボット本体の周囲に安全柵を配置しなくても、バーチャルフェンスを表示させることで作業者の安全を確保することができると共に、ロボットと作業者とが共存して作業する領域における作業者の作業効率を向上させることができる。また、作業者の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスの部分は透過率が高くなるので、作業者の気が散ることを防止できる。加えて、作業者は、ロボット本体やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。 Therefore, even if a safety fence is not arranged around the actual robot body, it is possible to ensure the safety of the worker by displaying the virtual fence, and in an area where the robot and the worker coexist and work. The working efficiency of the worker can be improved. In addition, the portion of the virtual fence at a relatively distant position where the safety of the worker is sufficiently ensured has a high transmittance, so that it is possible to prevent the worker from being distracted. In addition, the worker can easily visually recognize the actual scene around the robot main body and its surroundings, so that improvement in working efficiency can be expected from that point.

請求項２記載のバーチャルフェンス表示システムによれば、位置方向情報取得部を、頭部装着型ディスプレイに配置される撮像器と、撮像器が撮像した画像データに含まれているロボット本体の画像から、作業者の位置及び方向の情報を取得する画像処理部とで構成する。 According to the virtual fence display system of the second aspect, the position / direction information acquisition unit is configured to detect the position / direction information acquisition unit from the image of the robot body included in the image data captured by the imager arranged on the head-mounted display and the image data captured by the imager. , And an image processing unit that acquires information on the position and direction of the worker.

頭部装着型ディスプレイに比較的小型の撮像器を配置することは容易であり、撮像器が撮像した画像データからは、作業者の視界において、ロボット本体がどのような方向や大きさで捉えられているか等を把握できる。したがって、画像処理部が前記画像データを処理することにより作業者の位置及び方向の情報を取得できるので、前記情報を取得するためのセンサを別途用いる必要がなくなる。 It is easy to place a relatively small imager on the head-mounted display, and from the image data captured by the imager, the robot body can be captured in any direction and size in the field of view of the worker. Can be grasped. Accordingly, since the image processing unit can obtain the information on the position and direction of the worker by processing the image data, it is not necessary to use a separate sensor for obtaining the information.

請求項３記載のバーチャルフェンス表示システムによれば、画像処理部は、３Ｄモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくとも画像処理部が透過率を変化させる際の最小分解能よりも大きい段階であり、且つ、作業者が透過率の変化を認識できる程度の段階である。このように構成すれば、画像処理部における計算量を削減できると共に、作業者に対して直方体の透過率が変化する境界をより明確に認識させることが可能になる。 According to the virtual fence display system of the third aspect, the image processing unit changes the transmittance of the 3D model image data in stages. Here, the “predetermined stage” is a stage at least larger than the minimum resolution when the image processing unit changes the transmittance, and is a stage at which the operator can recognize the change in the transmittance. With this configuration, the amount of calculation in the image processing unit can be reduced, and the operator can more clearly recognize the boundary where the transmittance of the rectangular parallelepiped changes.

一実施形態であり、バーチャルフェンス表示システムの構成を概略的に示す機能ブロック図1 is a functional block diagram schematically illustrating a configuration of a virtual fence display system according to an embodiment. スマートグラスの構成を示す斜視図Perspective view showing the configuration of a smart glass スマートグラスを装着した作業者が、表示部を介して見た視界の一例を示す図FIG. 4 is a diagram illustrating an example of a field of view seen by a worker wearing smart glasses through a display unit. ロボット安全コントローラによる処理内容を中心に示すフローチャートFlow chart mainly showing the processing contents by the robot safety controller 各直方体の透過率の設定例を平面的に示す図The figure which shows the setting example of the transmittance | permeability of each rectangular parallelepiped in plane. 各直方体の透過率の設定例を立体的に示す図The figure which shows the setting example of the transmittance | permeability of each rectangular parallelepiped three-dimensionally

以下、一実施形態について図面を参照して説明する。図１に示すように、本実施形態のバーチャルフェンス表示システム１は、例えば組立用のロボットアーム２，ロボット安全コントローラ３，スマートグラス４及びカメラ５より構成されている。ロボット本体であるロボットアーム２は、例えば６軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム２は、夫々サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。 Hereinafter, an embodiment will be described with reference to the drawings. As shown in FIG. 1, the virtual fence display system 1 of the present embodiment includes, for example, a robot arm 2 for assembly, a robot safety controller 3, a smart glass 4, and a camera 5. The robot arm 2, which is a robot main body, is configured as, for example, a 6-axis vertical articulated robot. Although a detailed description of the general configuration is omitted, the robot arm 2 has six-axis arms each driven by a servomotor, and is housed at the tip of the sixth-axis arm, for example, in a pallet. A hand or the like for gripping the work is provided.

ロボットアーム２は、ロボットコントローラとしての機能も有しているロボット安全コントローラ３にケーブル６を介して接続され、前記各軸のサーボモータがこのロボット安全コントローラ３により制御される。画像処理部に相当するロボット安全コントローラ３は、予め保持しているロボットアーム２の３次元位置座標（ｘ，ｙ，ｚ）の情報を取得する。また、ロボット安全コントローラ３は、ロボットアーム２の周辺に仮想的に配置される安全柵であるバーチャルフェンスＶＦの形態を、３次元的にモデリングしたデータである３Ｄモデル画像データを内部のメモリに記憶して保持している。 The robot arm 2 is connected via a cable 6 to a robot safety controller 3 also having a function as a robot controller, and the servo motors of the respective axes are controlled by the robot safety controller 3. The robot safety controller 3 corresponding to the image processing unit acquires information on the three-dimensional position coordinates (x, y, z) of the robot arm 2 that is held in advance. Further, the robot safety controller 3 stores 3D model image data, which is data obtained by three-dimensionally modeling the form of the virtual fence VF, which is a safety fence virtually arranged around the robot arm 2, in an internal memory. And hold.

頭部装着型ディスプレイであるスマートグラス４は、図１に示すように、作業者７が頭部に眼鏡のように装着するもので、眼鏡のレンズ部分に相当する透明な表示部４Ｄに、図示しない投影部を介して画像を投影可能な所謂透過型のディスプレイである。スマートグラス４のフレームの一側部には、図２にも示すように、位置方向情報出力部及び撮像器であるカメラ５が配置されている。カメラ５は、作業者７がスマートグラス４を頭部に装着した状態で、作業者７の頭部正面が向いている方向の画像を撮像するもので、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳイメージセンサなどで構成されている。 As shown in FIG. 1, a smart glass 4 which is a head-mounted display is worn by an operator 7 like eyeglasses on a head, and is shown on a transparent display unit 4D corresponding to a lens portion of the eyeglasses. This is a so-called transmissive display capable of projecting an image via a projection unit that does not. As shown in FIG. 2, a position / direction information output unit and a camera 5 serving as an image pickup device are arranged on one side of the frame of the smart glass 4. The camera 5 captures an image in the direction in which the front of the head of the worker 7 is facing, with the worker 7 wearing the smart glass 4 on the head. For example, the camera 5 is a CCD (Charge Coupled Device) or a CMOS image. It is composed of sensors and the like.

スマートグラス４は、図１及び図２ではアンテナのシンボルで示す無線通信部８をフレームに内蔵しており、同じく図１においてアンテナのシンボルで示すロボット安全コントローラ３の無線通信部９と通信可能となっている。無線通信部８は、カメラ５により撮像された画像のデータをロボット安全コントローラ３に送信し、無線通信部９は、ロボット安全コントローラ３が保持している前記３Ｄモデル画像データをスマートグラス４に送信する。通信部８及び９は、それぞれ第１及び第２通信部に相当する。 The smart glass 4 has a built-in wireless communication unit 8 shown by an antenna symbol in FIGS. 1 and 2 in a frame, and can communicate with the wireless communication unit 9 of the robot safety controller 3 also shown by an antenna symbol in FIG. Has become. The wireless communication unit 8 transmits data of an image captured by the camera 5 to the robot safety controller 3, and the wireless communication unit 9 transmits the 3D model image data held by the robot safety controller 3 to the smart glass 4. I do. The communication units 8 and 9 correspond to the first and second communication units, respectively.

ここで、バーチャルフェンスＶＦの３Ｄモデル画像データは、図３，図５及び図６に示すように、バーチャルフェンスＶＦの全体を複数の直方体Ｃｄにより分割した状態でモデリングしている。そして、各直方体Ｃｄを、個別に異なる透過率で表示するように画像処理することができる。 Here, the 3D model image data of the virtual fence VF is modeled in a state where the entire virtual fence VF is divided by a plurality of rectangular parallelepipeds Cd, as shown in FIGS. Then, image processing can be performed so that each of the rectangular parallelepipeds Cd is individually displayed at a different transmittance.

図３は、スマートグラス４を装着した作業者７が、表示部４Ｄを介して見た視界の状態を示している。作業者７の近傍にあるロボットアーム２ＮについてはバーチャルフェンスＶＦの３Ｄモデル画像が表示される。但し、その全体が表示されることはなく、バーチャルフェンスＶＦのうち、作業者７に相対的に近い位置にある部分の直方体Ｃｄは透過率が相対的に低い設定で描画され、作業者７に相対的に遠い位置にある部分の直方体Ｃｄは透過率が相対的に高い設定で描画される。そして、作業者７の遠方にあるロボットアーム２Ｆについては、作業者７が作業するに当たって安全性に影響しないので、バーチャルフェンスＶＦの３Ｄモデル画像は表示しない。つまり、全ての直方体Ｃｄの透過率を１００％にする。上記の「遠方」とは、例えばロボットアーム２が作業する領域よりも離れた距離である。 FIG. 3 shows a state of the field of view seen by the worker 7 wearing the smart glass 4 through the display unit 4D. For the robot arm 2N near the worker 7, a 3D model image of the virtual fence VF is displayed. However, the whole is not displayed, and the rectangular parallelepiped Cd of the portion of the virtual fence VF that is relatively close to the worker 7 is drawn with a relatively low transmittance, and is given to the worker 7. The rectangular parallelepiped Cd at a relatively distant position is drawn with a relatively high transmittance. The robot arm 2F located far from the worker 7 does not affect the safety when the worker 7 works, so that the 3D model image of the virtual fence VF is not displayed. That is, the transmittance of all the rectangular parallelepipeds Cd is set to 100%. The above “distant” is, for example, a distance farther than a region where the robot arm 2 works.

次に、上記のようにスマートグラス４に画像を表示させる本実施形態の作用について、図４から図６も参照して説明する。図４は、ロボット安全コントローラ３による処理内容を中心に示すフローチャートである。ロボット安全コントローラ３は、先ずスマートグラス４から、作業者７の座標位置を取得する（Ｓ１）。具体的には、スマートグラス４は、カメラ５が撮像した画像のデータをロボット安全コントローラ３に送信する。ロボット安全コントローラ３は、その画像データにロボットアーム２が含まれていると、ロボットアーム２の３次元的な形態から、作業者７の相対的な座標位置を特定する。 Next, the operation of the present embodiment for displaying an image on the smart glass 4 as described above will be described with reference to FIGS. FIG. 4 is a flowchart mainly showing the processing contents of the robot safety controller 3. First, the robot safety controller 3 acquires the coordinate position of the worker 7 from the smart glass 4 (S1). Specifically, the smart glass 4 transmits data of an image captured by the camera 5 to the robot safety controller 3. If the image data includes the robot arm 2, the robot safety controller 3 specifies the relative coordinate position of the worker 7 from the three-dimensional form of the robot arm 2.

続いて、ロボットアーム２の座標位置を取得すると（Ｓ２）、ロボットアーム２の位置と作業者７の位置とをワールド座標上でマッチングさせて、両者の位置関係を特定する（Ｓ３）。そして、ロボットアーム２と作業者７との距離，及び作業者７の視点からロボットアーム２が見えている方向を計算する（Ｓ４）。 Subsequently, when the coordinate position of the robot arm 2 is acquired (S2), the position of the robot arm 2 is matched with the position of the worker 7 on world coordinates, and the positional relationship between them is specified (S3). Then, the distance between the robot arm 2 and the worker 7 and the direction in which the robot arm 2 is seen from the viewpoint of the worker 7 are calculated (S4).

続くステップＳ５において、計算した距離及び方向が、スマートグラス４にバーチャルフェンスＶＦを表示する必要がある範囲内にあるか否かを判断する。前記範囲内に無ければ（ＮＯ）処理を終了するが、前記範囲内にあれば（ＹＥＳ）、バーチャルフェンスＶＦの描画領域を複数のブロック，つまり直方体Ｃｄに分割する（Ｓ６）。 In the following step S5, it is determined whether or not the calculated distance and direction are within a range in which the virtual fence VF needs to be displayed on the smart glass 4. If it is not within the range (NO), the process ends. If it is within the range (YES), the drawing area of the virtual fence VF is divided into a plurality of blocks, that is, a rectangular parallelepiped Cd (S6).

以降のステップＳ７〜Ｓ１０のループは各直方体Ｃｄについての処理となる。作業者７の位置から、各直方体Ｃｄまでの距離を計算すると（Ｓ８）、計算した距離に応じて各直方体Ｃｄの透過率を決定する（Ｓ９）。全ての直方体Ｃｄについて処理すると、ロボット安全コントローラ３は、スマートグラス４にバーチャルフェンスＶＦの３Ｄモデル画像データと、その描画指令とを送信する（Ｓ１１）。それらを受信したスマートグラス４は、表示部４ＤにバーチャルフェンスＶＦの３Ｄ画像を描画して表示する（Ｓ１２）。 The subsequent loop of steps S7 to S10 is a process for each rectangular parallelepiped Cd. When the distance from the position of the worker 7 to each cuboid Cd is calculated (S8), the transmittance of each cuboid Cd is determined according to the calculated distance (S9). After processing all the rectangular parallelepipeds Cd, the robot safety controller 3 transmits the 3D model image data of the virtual fence VF and the drawing command thereof to the smart glass 4 (S11). The smart glass 4 that receives them draws and displays a 3D image of the virtual fence VF on the display unit 4D (S12).

以上の処理による具体的な透過率の設定例を、図５に平面図で示す。作業者７がロボットアーム２の正面で、バーチャルフェンスＶＦの中央に位置しており、バーチャルフェンスＶＦを表示する所定の距離範囲にあるとする。平面的にはバーチャルフェンスＶＦを直方体Ｃｄを３×４で１２分割している。このとき、作業者７に最も近い第１列の中央部にある直方体Ｃｄ（１，２）及び（１，３）の透過率を例えば２５％とすると、それらの外側にある直方体Ｃｄ（１，１）及び（１，４）の透過率を例えば５０％とする。 FIG. 5 is a plan view showing a specific example of setting the transmittance by the above processing. It is assumed that the worker 7 is located at the center of the virtual fence VF in front of the robot arm 2 and is within a predetermined distance range for displaying the virtual fence VF. In a plan view, the virtual fence VF is divided into 12 parts of 3 × 4 rectangular parallelepipeds Cd. At this time, if the transmittance of the rectangular parallelepipeds Cd (1, 2) and (1, 3) in the center of the first row closest to the worker 7 is, for example, 25%, the rectangular parallelepipeds Cd (1, The transmittances of 1) and (1, 4) are, for example, 50%.

次の第２列の中央部にある直方体Ｃｄ（２，２）及び（２，３）の透過率を例えば５０％とすると、それらの外側にある直方体Ｃｄ（２，１）及び（２，４）の透過率を例えば７５％とする。そして、ロボットアームの後方となる第３列の直方体Ｃｄ（３，１）〜（３，４）については、透過率を１００％にして非表示にする。 Assuming that the transmittance of the rectangular parallelepipeds Cd (2,2) and (2,3) at the center of the next second row is, for example, 50%, the rectangular parallelepipeds Cd (2,1) and (2,4) located outside the rectangular parallelepipeds Cd (2,2) and (2,4). ) Is, for example, 75%. Then, the third row of the rectangular parallelepipeds Cd (3, 1) to (3, 4) behind the robot arm is set to a transmittance of 100% and is not displayed.

また、図６では立体的に示しているが、この場合、バーチャルフェンスＶＦを平面的には３×３で９分割し、高さ方向に２分割することで立体的には１８分割している。図６（ｃ）に示すように、作業者７がバーチャルフェンスＶＦの中央に位置していると、第１列下方にある直方体Ｃｄ（１，１，１）〜（１，３，１）については透過率を２５％にしている。以下表的にまとめて示す。
透過率
第３列上方；（３，１，２）〜（３，３，２）１００％
第２列上方；（２，１，２）〜（２，３，２）７５％
第１列上方；（１，１，２）〜（１，３，２）５０％
第３列下方；（３，１，１）〜（３，３，１）１００％
第２列下方；（２，１，１）〜（２，３，１）５０％
第１列下方；（１，１，１）〜（１，３，１）２５％ Although FIG. 6 shows the virtual fence VF in three dimensions, in this case, the virtual fence VF is divided into nine by 3 × 3 in a plane and divided into two in the height direction to be three-dimensionally divided into eighteen. . As shown in FIG. 6C, when the worker 7 is located at the center of the virtual fence VF, the rectangular parallelepipeds Cd (1,1,1) to (1,3,1) below the first row are provided. Has a transmittance of 25%. The following is a tabulated summary.
Transmissivity Upper third row; (3,1,2) to (3,3,2) 100%
2nd row above; (2,1,2) to (2,3,2) 75%
First row above; (1,1,2) to (1,3,2) 50%
Lower third row; (3,1,1) to (3,3,1) 100%
2nd row lower; (2,1,1)-(2,3,1) 50%
First row lower; (1,1,1) to (1,3,1) 25%

図６（ｂ）に示すように、作業者７がバーチャルフェンスＶＦの左側に位置している場合は以下のようになる。
透過率
第３列上方；（３，１，２）〜（３，３，２）１００％，１００％，１００％
第２列上方；（２，１，２）〜（２，３，２）７５％，１００％，１００％
第１列上方；（１，１，２）〜（１，３，２）５０％，７５％，１００％
第３列下方；（３，１，１）〜（３，３，１）７５％，１００％，１００％
第２列下方；（２，１，１）〜（２，３，１）５０％，７５％，１００％
第１列下方；（１，１，１）〜（１，３，１）２５％，５０％，７５％ As shown in FIG. 6B, when the worker 7 is located on the left side of the virtual fence VF, the operation is as follows.
Transmissivity Upper third row; (3,1,2) to (3,3,2) 100%, 100%, 100%
(2,1,2) to (2,3,2) 75%, 100%, 100%
Upper first row; (1,1,2) to (1,3,2) 50%, 75%, 100%
(3,1,1) to (3,3,1) 75%, 100%, 100%
(2,1,1)-(2,3,1) 50%, 75%, 100%
1st row below; (1,1,1)-(1,3,1) 25%, 50%, 75%

図６（ｄ）に示すように、作業者７がバーチャルフェンスＶＦの右側に位置している場合は以下のようになる。
透過率
第３列上方；（３，１，２）〜（３，３，２）１００％，１００％，１００％
第２列上方；（２，１，２）〜（２，３，２）１００％，１００％，７５％
第１列上方；（１，１，２）〜（１，３，２）１００％，７５％，５０％
第３列下方；（３，１，１）〜（３，３，１）１００％，１００％，７５％
第２列下方；（２，１，１）〜（２，３，１）１００％，７５％，５０％
第１列下方；（１，１，１）〜（１，３，１）７５％，５０％，２５％ As shown in FIG. 6D, when the worker 7 is located on the right side of the virtual fence VF, the operation is as follows.
Transmissivity Upper third row; (3,1,2) to (3,3,2) 100%, 100%, 100%
(2,1,2) to (2,3,2) 100%, 100%, 75%
Upper first row; (1,1,2) to (1,3,2) 100%, 75%, 50%
Lower third row; (3,1,1) to (3,3,1) 100%, 100%, 75%
(2,1,1)-(2,3,1) 100%, 75%, 50%
1st row lower; (1,1,1)-(1,3,1) 75%, 50%, 25%

このように各直方体Ｃｄの透過率を設定することで、作業者７に相対的に近い位置にあるバーチャルフェンスＶＦの部分は作業者７の視界において認識され易くなり、作業者７はバーチャルフェンスＶＦの存在によって、作業時に自己の安全を確保することをより意識するようになる。一方、作業者７より相対的に遠い位置にあるバーチャルフェンスＶＦの部分は作業者７の視界において認識され難くなる。したがって、作業者７は、バーチャルフェンスＶＦに妨げられることなく、ロボットアーム２及びその周辺の実景を容易に視認できる。 By setting the transmittance of each of the rectangular parallelepipeds Cd in this manner, the portion of the virtual fence VF relatively close to the worker 7 is easily recognized in the field of view of the worker 7, and the worker 7 can recognize the virtual fence VF. Makes people more aware of ensuring their own safety during work. On the other hand, the portion of the virtual fence VF that is relatively far from the worker 7 is hardly recognized in the field of view of the worker 7. Therefore, the worker 7 can easily visually recognize the robot arm 2 and the actual scene around it without being hindered by the virtual fence VF.

以上のように本実施形態によれば、ロボット安全コントローラ３は、ロボットアーム２の位置を中心として、その周辺に仮想的に配置されるバーチャルフェンスＶＦの３Ｄモデル画像データを保持し、その３Ｄモデル画像データを、複数の直方体Ｃｄで分割した形態で、且つ各直方体Ｃｄをそれぞれ所定の透過率の画像で表示可能とする。 As described above, according to the present embodiment, the robot safety controller 3 holds the 3D model image data of the virtual fence VF that is virtually arranged around the position of the robot arm 2 and its 3D model. Image data is divided into a plurality of rectangular parallelepipeds Cd, and each rectangular parallelepiped Cd can be displayed as an image having a predetermined transmittance.

そして、ロボット安全コントローラ３は、スマートグラス４を装着している作業者７の位置及び方向の情報を取得すると、表示部４Ｄに表示させるバーチャルフェンスの３Ｄモデル画像データが作業者７の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスＶＦと作業者７との位置及び方向の関係に応じて、複数の直方体Ｃｄのうち、作業者７の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工してスマートグラス４側に送信する。すると、スマートグラス４は、受信したバーチャルフェンスの３Ｄモデル画像データを表示部４Ｄに投影して表示させる。 Then, when the robot safety controller 3 acquires the information on the position and direction of the worker 7 wearing the smart glass 4, the 3D model image data of the virtual fence to be displayed on the display unit 4D moves to the view of the worker 7. It is processed so as to be in a form to fit. At that time, depending on the relationship between the position and direction between the virtual fence VF and the worker 7, among the plurality of rectangular parallelepipeds Cd, the one closer to the worker 7 has a lower transmittance and the one farther away. The higher the transmittance, the higher the transmittance and the transmission to the smart glass 4 side. Then, the smart glass 4 projects and displays the received 3D model image data of the virtual fence on the display unit 4D.

したがって、実際のロボットアーム２の周囲に安全柵を配置しなくても、バーチャルフェンスＶＦを表示させることで作業者７の安全を確保することができると共に、ロボットと作業者７とが共存して作業する領域における作業者７の作業効率を向上させることができる。また、作業者７の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスＶＦの部分は透過率が高くなるので、作業者７の気が散ることを防止できる。加えて、作業者７は、ロボットアーム２やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。 Accordingly, the safety of the worker 7 can be ensured by displaying the virtual fence VF without disposing the safety fence around the actual robot arm 2 and the robot and the worker 7 coexist. The work efficiency of the worker 7 in the work area can be improved. Further, the portion of the virtual fence VF at a relatively distant position where the safety of the worker 7 is sufficiently ensured has a high transmittance, so that the worker 7 can be prevented from being distracted. In addition, the worker 7 can easily visually recognize the robot arm 2 and the actual scene around the robot arm 2, and from that point, an improvement in working efficiency can be expected.

そして、ロボット安全コントローラ３は、スマートグラス４に配置されるカメラ５が撮像した画像データに含まれているロボットアーム２の画像から、作業者７の位置及び方向の情報を取得する。すなわち、スマートグラス４に小型のカメラ５を配置することは容易であり、カメラ５が撮像した画像データからは、作業者７の視界において、ロボットアーム２がどのような方向や大きさで捉えられているか等を把握できる。したがって、ロボット安全コントローラ３が前記画像データを処理することで、作業者７の位置及び方向の情報を取得でき、前記情報を取得するためのセンサを別途用いる必要がなくなる。 Then, the robot safety controller 3 acquires information on the position and direction of the worker 7 from the image of the robot arm 2 included in the image data captured by the camera 5 disposed on the smart glass 4. That is, it is easy to dispose the small camera 5 on the smart glass 4, and from the image data captured by the camera 5, the robot arm 2 can be captured in any direction and size in the field of view of the worker 7. Can be grasped. Therefore, by processing the image data by the robot safety controller 3, information on the position and direction of the worker 7 can be acquired, and it is not necessary to use a separate sensor for acquiring the information.

また、ロボット安全コントローラ３は、３Ｄモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくともロボット安全コントローラ３が透過率を変化させる際の最小分解能よりも大きく、且つ、作業者７が透過率の変化を認識できる程度の段階である。このように構成すれば、ロボット安全コントローラ３における計算量を削減できると共に、作業者７に対して直方体Ｃｄの透過率が変化する境界をより明確に認識させることが可能になる。 Further, the robot safety controller 3 changes the transmittance of the 3D model image data in stages. Here, the “predetermined stage” is a stage that is at least larger than the minimum resolution when the robot safety controller 3 changes the transmittance and that the operator 7 can recognize the change in the transmittance. With this configuration, the amount of calculation in the robot safety controller 3 can be reduced, and the operator 7 can more clearly recognize the boundary where the transmittance of the rectangular parallelepiped Cd changes.

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
透過率の具体数値については、個別の設計に応じて適宜変更すれば良い。
直方体Ｃｄを、立方体としても良い。
ロボット本体はロボットアーム２に限ることなく、その他例えば水平４軸構成のロボットアーム，自走式のロボットや人型のロボットでも良い。 The present invention is not limited only to the embodiments described above or illustrated in the drawings, and the following modifications or extensions are possible.
The specific numerical value of the transmittance may be appropriately changed according to individual designs.
The rectangular parallelepiped Cd may be a cube.
The robot main body is not limited to the robot arm 2 and may be, for example, a horizontal 4-axis robot arm, a self-propelled robot, or a humanoid robot.

位置方向情報取得部に、レーザセンサや赤外センサを用いたり、ＧＰＳ，ジャイロ，加速度等の各センサを用いても良い。そして、これらのセンサ信号をロボット安全コントローラ３に直接入力しても良い。
頭部装着型ディスプレイは、必ずしもスマートグラス４である必要はなく、作業者が頭部に装着する表示部に画像を投影可能に構成されるものであれば良い。 A laser sensor or an infrared sensor, or each sensor such as a GPS, a gyro, and an acceleration may be used for the position / direction information acquisition unit. Then, these sensor signals may be directly input to the robot safety controller 3.
The head-mounted display does not necessarily need to be the smart glass 4, but may be any as long as the image can be projected on a display unit worn by the operator on the head.

図面中、１はバーチャルフェンス表示システム、２はロボットアーム、３はロボット安全コントローラ、４はスマートグラス、４Ｄは表示部、５はカメラ、７は作業者、８及び９は無線通信部を示す。 In the drawing, 1 is a virtual fence display system, 2 is a robot arm, 3 is a robot safety controller, 4 is a smart glass, 4D is a display unit, 5 is a camera, 7 is an operator, and 8 and 9 are wireless communication units.

Claims

作業者が頭部に装着する表示部を有し、当該表示部に画像を投影可能に構成される頭部装着型ディスプレイと、
ロボット本体の位置を中心として、前記ロボット本体の周辺に配置される安全柵を３次元でモデリングした３Ｄモデル画像データを保持する画像処理部と、
前記作業者の位置及び前記作業者の頭部正面が向いている方向の情報を取得する位置方向情報取得部とを備え、
前記画像処理部は、前記安全柵の３Ｄモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能であり、
前記位置方向情報取得部を介して前記作業者の位置及び方向の情報を取得すると、前記頭部装着型ディスプレイに表示させる前記安全柵の３Ｄモデル画像データが、前記作業者の視界に移り込む形態となるように加工すると共に、
前記安全柵と前記作業者との位置及び方向の関係に応じて、前記複数の直方体のうち、前記作業者の近傍側にあるものほど透過率が低くなるように、且つ、前記作業者の遠方側にあるものほど透過率が高くなるように加工して、前記頭部装着型ディスプレイ側に無線送信し、
前記頭部装着型ディスプレイは、前記加工された安全柵の３Ｄモデル画像データを受信すると、当該３Ｄモデル画像データを前記表示部に投影させるバーチャルフェンス表示システム。 A head-mounted display having a display unit worn by the operator on the head, and configured to project an image on the display unit ;
An image processing unit that holds 3D model image data obtained by modeling a safety fence three-dimensionally arranged around the robot main body around the position of the robot main body;
A position and direction information acquisition unit that acquires information on the position of the worker and the direction in which the front of the head of the worker is facing,
The image processing unit is capable of processing so that the 3D model image data of the safety fence is divided into a plurality of rectangular parallelepipeds, and each rectangular parallelepiped is displayed as an image having a predetermined transmittance.
When information on the position and direction of the worker is obtained via the position and direction information obtaining unit, the 3D model image data of the safety fence to be displayed on the head-mounted display enters the field of view of the worker. While processing to become
According to the relationship between the position and the direction of the safety fence and the worker, of the plurality of rectangular parallelepipeds, the one closer to the worker has a lower transmittance, and the cuboid is farther away from the worker. engineered that higher transmittance increases what is on the side, wirelessly transmitted before Symbol head mounted display side,
The virtual fence display system, wherein the head-mounted display receives the processed 3D model image data of the safety fence and projects the 3D model image data on the display unit .

前記位置方向情報取得部は、頭部装着型ディスプレイに、前記作業者の頭部正面方向の画像を撮像するように配置される撮像器と、
この撮像器が撮像した画像データを取得すると、当該画像データに含まれている前記ロボット本体の画像から、前記作業者の位置及び方向の情報を取得する前記画像処理部とで構成される請求項１記載のバーチャルフェンス表示システム。 The position and direction information acquisition unit, the head mounted display, an imager arranged to capture an image of the worker's head front direction,
The image processing unit configured to acquire information on a position and a direction of the worker from an image of the robot body included in the image data when the image data acquired by the imager is acquired. The virtual fence display system according to 1.

前記画像処理部は、前記３Ｄモデル画像データの透過率を、有段階で変化させる請求項１又は２記載のバーチャルフェンス表示システム。 The virtual fence display system according to claim 1, wherein the image processing unit changes the transmittance of the 3D model image data in stages.