JP2013104747A - Operation position guidance device and guidance method therefor - Google Patents

Operation position guidance device and guidance method therefor Download PDF

Info

Publication number
JP2013104747A
JP2013104747A JP2011247951A JP2011247951A JP2013104747A JP 2013104747 A JP2013104747 A JP 2013104747A JP 2011247951 A JP2011247951 A JP 2011247951A JP 2011247951 A JP2011247951 A JP 2011247951A JP 2013104747 A JP2013104747 A JP 2013104747A
Authority
JP
Japan
Prior art keywords
work
unit
guidance
pointing
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011247951A
Other languages
Japanese (ja)
Other versions
JP5750361B2 (en
Inventor
Yuji Higashi
裕司 東
Kitaro Ogushi
幾太郎 大串
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011247951A priority Critical patent/JP5750361B2/en
Publication of JP2013104747A publication Critical patent/JP2013104747A/en
Application granted granted Critical
Publication of JP5750361B2 publication Critical patent/JP5750361B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable an operator to select an operation target position by referring to a guidance image without taking his/her eyes off an operation object.SOLUTION: An operation position guidance method, which guides a point of a pointing unit 11 to reach a known operation target position on an operation plane in an operation, comprises the steps of: capturing the operation plane by a camera unit 13; displaying a guidance position navigation mark 153 and lines 151 and 152 of which orthogonal crossing point is a guidance center, while showing an operator the operation plane on a transparent screen unit 15 of which screen is transparent during the operation; calculating a position of the point of the pointing unit 11 from images captured by the camera unit 13; comparing the calculated position with position information of the known operation target position; displaying the position navigation mark for the guidance center on the transparent screen unit 15 on the basis of deviation and a direction from the calculated position to the known operation target position; and displaying indication of a moving direction on the screen so that the position navigation mark reaches the guidance center.

Description

本発明は、予め登録された電子的な作業指示データに基づく作業位置に作業設備が当接するように誘導指示を与える作業位置誘導装置及びその誘導方法に関する。   The present invention relates to a work position guidance device and a guidance method for giving a guidance instruction so that work equipment comes into contact with a work position based on electronic work instruction data registered in advance.

電気通信設備における回線開通作業や故障修理作業、運用保守作業は、先ず作業対象となる設備を正確に選別することが肝要である。もし、異なる設備を選別し、作業を継続すると、他の顧客の回線断やサービス断に至ることや、本来提供すべきサービスとは異なるサービスを提供することとなり、顧客に迷惑をかけるのは勿論のこと、その是正作業を行なわなければならず、必要以上の稼働が発生する。   For line opening work, failure repair work, and operation maintenance work in telecommunications equipment, it is important to first select the equipment to be worked correctly. If different equipment is selected and the work is continued, it will lead to disconnection and service interruption of other customers, and will provide services that are different from the services that should be provided, which will inconvenience customers. In other words, corrective work must be performed, and operation more than necessary occurs.

通常、作業誤りを避けるため、作業指示書と対象設備の目視による確認や複数人による確認などを行なう対策を行っている。しかしながら、この場合であっても、作業誤りが発生する確率は減少するものの、発生確率をゼロにすることは極めて困難である。
この様な課題を解決方法の一案として、特許文献１に示す様な技術がある。これは、高密度に配列された光配線接続架のコネクタ挿抜作業時の誤作業を回避するための技術であり、それぞれの端子個々に可視光波長領域のＬＥＤとＲＦＩＤを実装し、オペレーションシステムから作業指示データを電子的に抽出し、そのデータに基づいたＬＥＤを点滅させることで、作業端子までコネクタ挿抜工具を誘導するものである。コネクタ挿抜工具にはＲＦＩＤリーダが実装されており、該当端子のＲＦＩＤのＩＤを読み取り、オペレーションシステムに登録されている作業指示のＩＤとの照合を行ない、正しい場合はコネクタ挿抜を行なうことができ、間違っている場合はコネクタ挿抜ができない仕組みとなっている。この方法により、作業指示データどおりの高い信頼性のある作業を完遂することができる。 Usually, in order to avoid work errors, measures are taken such as visual confirmation of work instructions and target equipment and confirmation by multiple persons. However, even in this case, although the probability that an operation error occurs is reduced, it is extremely difficult to make the occurrence probability zero.
As a solution of such a problem, there is a technique as shown in Patent Document 1. This is a technique for avoiding misoperation during connector insertion / extraction work for optical wiring connection racks arranged in high density. LED and RFID in the visible light wavelength region are mounted on each terminal individually, and the operation system The work instruction data is electronically extracted, and the LED based on the data is blinked to guide the connector insertion / extraction tool to the work terminals. An RFID reader is mounted on the connector insertion / extraction tool, and the ID of the RFID of the corresponding terminal is read and collated with the ID of the work instruction registered in the operation system. If it is wrong, the connector cannot be inserted or removed. By this method, it is possible to complete highly reliable work according to work instruction data.

しかしながら、この技術においては、ＬＥＤやＲＦＩＤを光配線接続架に予め実装しておく必要や、ＲＦＩＤのＩＤを予めデータベースに登録しておく必要があり、相応の初期投資や初期作業を必要とすることから、必ずしもスムーズな適用に至る技術的対処法ではない。   However, in this technology, it is necessary to mount LEDs and RFIDs in advance on the optical wiring connection rack, and it is necessary to register RFID IDs in the database in advance, which requires corresponding initial investment and initial work. As such, it is not necessarily a technical solution that leads to a smooth application.

また、同様の他の解決技術として、特許文献２に示す様な例がある。これは、特許文献１と目的は同等であるが、ＲＦＩＤを用いず、発光するＬＥＤに端子ＩＤ情報を含む変調信号を重畳させ、コネクタ挿抜工具に実装した受光素子でその変調信号光を受光復調し、作業端子であるか否かの照合を行なう方法である。この方法は、特許文献１と同様に予めＬＥＤを実装しておく必要があるが、ＲＦＩＤの実装が無い分、初期投資や初期作業が少ない。しかし、初期投資や初期作業は少ないものの、やはりスムーズな適用に至る技術的対処法とは言い難い。   Moreover, there exists an example as shown in patent document 2 as another similar solution technique. This is equivalent in purpose to Patent Document 1, but without using RFID, a modulation signal including terminal ID information is superimposed on a light emitting LED, and the modulation signal light is received and demodulated by a light receiving element mounted on a connector insertion / extraction tool. In this method, it is verified whether the terminal is a work terminal. In this method, it is necessary to mount LEDs in advance as in Patent Document 1, but there is little initial investment and initial work because there is no RFID mounting. However, although there is little initial investment and initial work, it is still difficult to say that it is a technical countermeasure that leads to smooth application.

一方、画像処理技術や端末装置の進展により、拡張現実（AR：Argument Reality）技術によるアプリケーションが実現され、近年、その応用事例が幾つか散見される。例えば、非特許文献１に示す様に、スマートフォンを用いて、街角の景色を内蔵カメラで撮影し、ＧＰＳから取得した位置情報や、方位センサから取得した方位情報等と、ＡＴＭが配置されている位置が蓄積されたデータベースと照合し、撮影した街角の画像上に存在する銀行ＡＴＭのおよその位置情報を、実際のカメラで撮影した画像上にアイコンとして重畳させて表示させるアプリケーションがある。この様に、目視では確認することのできない情報をデータベースと連携することで、直観的に分かり易い位置ナビゲーションを実現している。   On the other hand, with the progress of image processing technology and terminal devices, applications based on augmented reality (AR) technology are realized, and in recent years, some application examples have been seen. For example, as shown in Non-Patent Document 1, a smartphone is used to photograph a street corner landscape with a built-in camera, and position information acquired from GPS, direction information acquired from an orientation sensor, and the ATM are arranged. There is an application that collates with a database in which positions are accumulated and displays approximate position information of a bank ATM existing on a photographed street corner image as an icon superimposed on an image photographed by an actual camera. In this way, intuitionally easy-to-understand position navigation is realized by linking information that cannot be confirmed visually with a database.

また、非特許文献２に示す様に、接続端子盤の特徴点を画像処理により抽出して、予め決められた寸法である接続端子盤の端子位置を特徴点との相関により算出し、任意の位置からのカメラで撮影した画像上に、接続端子盤の格子位置や、任意の端子位置を明示する画像を重畳させて表示させる方法が研究発表されている。この様に、予め決まった寸法を有する対象物に対しては、画像処理技術を駆使することで、高い精度の位置ナビゲーションと位置照合確認が可能になりつつある。   Further, as shown in Non-Patent Document 2, the feature points of the connection terminal board are extracted by image processing, the terminal position of the connection terminal board having a predetermined size is calculated by the correlation with the feature points, and an arbitrary Research has been published on a method of superimposing and displaying an image that clearly shows the grid position of the connection terminal board and an arbitrary terminal position on the image taken by the camera from the position. In this way, for an object having a predetermined size, it is becoming possible to perform highly accurate position navigation and position verification by making full use of image processing technology.

この様に、ＡＲ技術の様な画像認識処理技術を用いた位置ナビゲーションや位置照合確認は、特許文献１や特許文献２で説明した様な初期投資や初期作業工程を極限まで最小化することができるため、適用性に優れることが期待できる。
しかしながら、この様な画像認識処理技術を用いた位置ナビゲーションを実際の作業に適用する際、画像を表示させるディスプレイを傍らに見ながらの作業となるため、（１）実際の対象物を見ることなくディスプレイのみを見ながらの作業を行なうか、若しくは、（２）実際の対象物とディスプレイを交互に見ながらの作業を行なうか、の何れかを行なうことになる。（１）の場合は、作業を行なう手の位置と、ディスプレイへの視線方向が異なるため、移動する距離感等の操作性に難があることが懸念され、正確で緻密な作業を行なうには習熟するための訓練を要する。また、（２）の場合は、実際の対象物とディスプレイの間で目線を交互に動かすことから、ディスプレイに表示された対象物の映像と、実際の対象物を見比べ、常に頭の中で位置照合をしながら作業を行わなければならず、非効率な作業となり、間違いを誘引することが懸念される。 As described above, the position navigation and the position matching confirmation using the image recognition processing technique such as the AR technique can minimize the initial investment and the initial work process as described in Patent Document 1 and Patent Document 2 to the limit. It can be expected to be excellent in applicability.
However, when position navigation using such an image recognition processing technique is applied to an actual work, the work is performed while looking at a display for displaying an image. (1) Without looking at an actual object Either the operation is performed while looking at only the display, or (2) the operation is performed while alternately viewing the actual object and the display. In the case of (1), since the position of the hand performing the work and the direction of the line of sight to the display are different, there is a concern that there may be difficulty in operability such as a sense of distance to move, and in order to perform an accurate and precise work Requires training to become proficient. In the case of (2), since the line of sight is alternately moved between the actual object and the display, the image of the object displayed on the display is compared with the actual object, and the position is always in the head. There is a concern that work must be done while collating, which is inefficient work and induces mistakes.

一方、昨今、ディスプレイは液晶タイプのものが主流となり薄型化・軽量化している。更にＥＬ（エレクトロルミネセンス、Electroluminescence）ディスプレイも商品化されており、その中にはディスプレイの背景が透けたものも開発されつつあり、その応用アプリケーションが期待できる。   On the other hand, recently, liquid crystal type displays have become mainstream and are becoming thinner and lighter. In addition, EL (Electroluminescence) displays have been commercialized, and some of them have been developed with a clear background of the display, and their application can be expected.

特開２００８−１１７７１４号公報JP 2008-117714 A 特開２０１０−１７６９９０号公報JP 2010-176990 A

ＮＴＴドコモ報道発表資料(2011年5月10日)：みずほ銀行とドコモがスマートフォン向けＡＲ店舗ナビアプリケーション「ＡＴＭ・店舗検索」アプリを共同で開発，http://www.nttdocomo.co.jp/info/news_release/2011/05/10_00.htmlNTT DOCOMO press release (May 10, 2011): Mizuho Bank and DOCOMO jointly develop AR store navigation application "ATM / store search" application for smartphones, http://www.nttdocomo.co.jp/info /news_release/2011/05/10_00.html 情報処理学会ＣＶＩＭ研究会［画像の認識・理解シンポジウム(MIRU2011)］：島村・森本・小池「設備保守支援向けＡＲのための部分テンプレート検出とvSLAMの併用によるオブジェクト座標系へのレジストレーション」IS4-13, 2011 年7 月IPSJ CVIM Study Group [Image Recognition and Understanding Symposium (MIRU2011)]: Shimamura, Morimoto, Koike “Registration to Object Coordinate System Using Partial Template Detection and vSLAM for AR for Facility Maintenance Support” IS4- 13, July 2011

上述したように、電気通信設備ビル内の光配線接続架における回線開通や故障修理の保守作業は、作業対象となる設備（接続端子）を正確に選別する必要がある。そのため、光配線接続架のコネクタ端子それぞれに可視光波長領域のＬＥＤとＲＦＩＤを実装し、オペレーションシステムから作業対象端子のＬＥＤを点滅させることで、保守作業者が使用するコネクタ挿抜工具を対象端子まで誘導する技術が開示されている。しかしながら、この技術は、ＬＥＤやＲＦＩＤを光配線接続架に予め実装しておく必要がある等、設備構築に多くの費用を要するため実用化が困難であった。   As described above, maintenance work such as line opening and fault repair in an optical wiring connection in a telecommunications equipment building needs to accurately select equipment (connection terminals) to be worked. Therefore, LED and RFID in the visible light wavelength region are mounted on each connector terminal of the optical wiring connection rack, and the LED of the work target terminal is blinked from the operation system, so that the connector insertion tool used by the maintenance worker can reach the target terminal. Techniques for guiding are disclosed. However, this technology has been difficult to put into practical use because it requires a lot of cost for constructing the equipment, such as the need to mount an LED or RFID in advance on the optical wiring connection rack.

一方、拡張現実（ＡＲ：Argument Reality）技術を用い、接続端子盤を任意の位置からのカメラで撮影した画像上に、接続端子盤の格子位置や任意の端子位置を明示する画像を重畳表示させることで、対象端子の位置をナビゲーションする技術が開示されている。しかしながら、この位置ナビゲーション技術は、画像を表示させるディスプレイを傍らに見ながらの作業となるため、実作業時には、作業を行なう手元とディスプレイとの間で視線を移動させる必要があること等のため、操作には習熟が必要であるという問題があった。   On the other hand, using augmented reality (AR) technology, an image that clearly indicates the grid position of the connection terminal board and the arbitrary terminal position is superimposed and displayed on the image obtained by photographing the connection terminal board with the camera from the arbitrary position. Thus, a technique for navigating the position of the target terminal is disclosed. However, since this position navigation technology is an operation while looking at the display that displays the image beside it, it is necessary to move the line of sight between the hand performing the operation and the display at the time of actual work, etc. There was a problem that the operation required proficiency.

本発明は、上記の課題を鑑みてなされたもので、経済的に構築でき、かつ作業者が実際の作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別することが可能な作業位置誘導装置とその誘導方法を提供することを目的とする。   The present invention has been made in view of the above problems, and can be constructed economically, and the operator selects the work target position while referring to the guidance image without looking away from the actual work object. It is an object of the present invention to provide a work position guidance device capable of performing the above and a guidance method therefor.

本発明に係る作業位置誘導装置は、以下のような態様の構成とする。
（１）作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導装置であって、前記ポインティング部と一体化され、前記作業時に前記作業面を撮影するカメラ部と、前記ポインティング部と一体化され、画面が透明で前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるように配置され、誘導用の位置ナビゲーションマーク及び誘導中心を表示する透明スクリーン部と、前記作業面に設定される作業対象位置の位置情報を格納する指示情報蓄積部と、前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記指示情報蓄積部に格納された作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる情報処理部とを具備する態様とする。 The work position guidance device according to the present invention is configured as follows.
(1) A work position guidance device that guides a tip of a pointing unit toward a work target position set in advance at a known position on a work surface during work, and is integrated with the pointing unit, Sometimes it is integrated with the camera unit that captures the work surface and the pointing unit, and is arranged so that the screen is transparent and the imaging area of the camera unit and the tip of the pointing unit can be seen through during the operation. A transparent screen portion for displaying a position navigation mark and a guidance center, an instruction information storage portion for storing position information of a work target position set on the work surface, and a tip of the pointing portion from an image taken by the camera portion Is calculated with respect to the work target position and compared with the position information of the work target position stored in the instruction information storage unit. An information processing unit that displays a position navigation mark with respect to the guidance center on the transparent screen based on the amount and direction, and that indicates a movement direction on the screen so that the position navigation mark is directed toward the guidance center. It is set as the mode to do.

（２）（１）の構成において、前記作業面の既知の位置に予め基準マークが表示されてあるとき、前記情報処理部は、前記カメラ部で撮影された画像から前記作業面の基準マークを識別し、この識別結果に基づいて前記ポインティング部の先端の前記作業対象位置に対する位置を算出する態様とする。   (2) In the configuration of (1), when a reference mark is displayed in advance at a known position on the work surface, the information processing unit detects the reference mark on the work surface from an image captured by the camera unit. It is set as the aspect which identifies and calculates the position with respect to the said work target position of the front-end | tip of the said pointing part based on this identification result.

（３）（１）の構成において、前記透明スクリーン部は、画面中央で交差するように垂直方向のターゲットラインと水平方向のターゲットラインを固定表示し、その交差点を前記誘導中心とする態様とする。
（４）（３）の構成において、前記情報処理部は、前記位置ナビゲーションマークの表示に際して、前記ポインティング部から作業面までの奥行き距離の遠近に比例して前記位置ナビゲーションマークの大きさを大小に変化させ、水平方向と垂直方向の前記ポインティング部の位置ずれ距離の大小に比例して前記位置ナビゲーションマークの前記水平方向と垂直方向のターゲットラインからの位置ずれ量を遠近に変化させる態様とする。 (3) In the configuration of (1), the transparent screen unit fixedly displays a vertical target line and a horizontal target line so as to intersect at the center of the screen, and uses the intersection as the guide center. .
(4) In the configuration of (3), the information processing unit increases or decreases the size of the position navigation mark in proportion to the depth distance from the pointing unit to the work surface when displaying the position navigation mark. In this aspect, the positional deviation amount of the position navigation mark from the target line in the horizontal direction and the vertical direction is changed to the perspective in proportion to the positional deviation distance of the pointing unit in the horizontal direction and the vertical direction.

（５）（１）〜（４）の構成において、前記ポインティング部は、前記作業面の作業対象位置に配置されているコネクタアダプタ端子列のコネクタを着脱する機能を有するコネクタ挿抜工具の先端部位であり、前記作業面の作業対象は通信回線の切り替えを行なうコネクタ接続端子盤である態様とする。   (5) In the configurations of (1) to (4), the pointing portion is a tip portion of a connector insertion / extraction tool having a function of attaching / detaching a connector of a connector adapter terminal row arranged at a work target position on the work surface. In another aspect, the work target of the work surface is a connector connection terminal board for switching communication lines.

（６）（１）〜（５）の構成において、前記ポインティング部の先端を付き当てる箇所を示すポインティング部接触マークと、複数のキャリブレーションマークが表示され、前記ポインティング部接触マークおよび前記キャリブレーションマークの形状および寸法、並びに前記キャリブレーションマーク間の距離が既知の値である一つの平板からなるキャリブレーションボードを備え、前記情報処理部は、前記ポインティング部がポインティング部接触マークに付き当てた状態における前記カメラ部の撮影映像データの画素数と実際の距離の相関を取得し、前記カメラ部および前記ポインティング部の位置ずれを補正する機能を有する態様とする。   (6) In the configurations of (1) to (5), a pointing unit contact mark indicating a position to which the tip of the pointing unit is applied and a plurality of calibration marks are displayed, and the pointing unit contact mark and the calibration mark are displayed. And a calibration board made of a single flat plate whose distance between the calibration marks is a known value, and the information processing unit is in a state in which the pointing unit is in contact with the pointing unit contact mark. The camera unit has a function of acquiring a correlation between the number of pixels of the captured video data of the camera unit and an actual distance and correcting a positional deviation between the camera unit and the pointing unit.

本発明に係る作業位置誘導方法は、以下のような態様の構成とする。
（７）作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導方法であって、前記作業時にカメラ部により前記作業面を撮影し、画面が透過する透明スクリーン部により、前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるようにしながら、誘導用の位置ナビゲーションマーク及び誘導中心を表示し、前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる態様とする。 The work position guiding method according to the present invention is configured as follows.
(7) A work position guiding method for guiding the tip of the pointing unit toward a work target position set in advance at a known position of the work surface during work, wherein the work surface is moved by the camera unit during the work. The camera is configured to display a guidance position navigation mark and a guidance center while allowing a transparent screen portion through which a screen is transmitted to be seen through the photographing area of the camera portion and the tip of the pointing portion during the work. The position of the tip of the pointing unit with respect to the work target position is calculated from the image captured by the unit, compared with the position information of the known work target position, and based on the deviation amount and direction of the two, the transparent screen unit A position navigation mark for the guidance center is displayed, and the position navigation mark is directed toward the guidance center. A moving direction and manner to the instruction display on the screen to.

上記構成によれば、経済的に構築でき、かつ作業者が実際の作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別することが可能な作業位置誘導装置とその誘導方法を提供することができる。
この結果、設備の運用・保守作業時において、作業指示に基づいた正確な作業を実現するため、設備対象物のどの位置が作業指示個所かを正確に伝え、可能な限り少ない初期投資と初期稼働で構築できる技術の１つの選択肢であるＡＲ技術の様な画像認識処理技術を用いた作業位置誘導において、実際の対象物から目を逸らすことなく誘導画像を参照しながら作業を安心安全に行なうことが可能となる。 According to the above configuration, the work position guidance device that can be constructed economically and can select the work target position while referring to the guidance image without distracting the operator from the actual work target, and its A guidance method can be provided.
As a result, in order to realize accurate work based on work instructions during equipment operation / maintenance work, it accurately tells which position of the equipment object is the work instruction location, and minimizes initial investment and initial operation as much as possible. In work position guidance using image recognition processing technology such as AR technology, which is one of the options that can be constructed in, the work can be done safely and safely while referring to the guidance image without looking away from the actual object. Is possible.

具体的には、作業者が作業時に使用するコネクタ挿抜工具をベースにして、透明スクリーン部及びカメラ部が一体化された作業位置誘導装置と、カメラから得られた情報を演算処理するコンピュータから構成されるシステムであり、コネクタ挿抜工具の先端の光コネクタ把持部にポインティング部を設け、予め作業対象物の面上に具備されているマークをカメラ部で撮影した映像情報から、ポインティング部が作業対象位置から離隔する距離と方向を算出し、透明スクリーン部の画面上にナビゲーションマークを表示させることにより、ポインティング部を作業対象位置に誘導するものである。この装置を用いることにより、光配線接続架の保守作業者が操作習熟の必要がなく、経済的に誤作業を防止する環境を構築することが可能となる。   Specifically, it is composed of a work position guiding device in which a transparent screen part and a camera part are integrated based on a connector insertion / extraction tool used by an operator during work, and a computer that performs arithmetic processing on information obtained from the camera. A pointing unit is provided on the optical connector gripping part at the tip of the connector insertion / extraction tool, and the pointing unit is the work target from the video information obtained by photographing the mark provided on the surface of the work object in advance with the camera unit. The distance and direction away from the position are calculated, and a navigation mark is displayed on the screen of the transparent screen, thereby guiding the pointing unit to the work target position. By using this apparatus, it is not necessary for the maintenance worker of the optical wiring connection rack to become familiar with the operation, and it is possible to construct an environment that prevents erroneous work economically.

この装置の実現により、予め登録された作業内容を蓄積した管理データベースどおりの作業を、透明ディスプレイの背景として作業対象近傍の状況を見ながら、作業対象から目を離すことなく、作業対象箇所がどちらの方向にあるかを画像として誘導表示することができるので、作業者にとってわかり易く、かつ安心安全に作業を完遂することが可能となる。また、作業対象物には予め位置情報を導くためのマークを施すことのみで、安価に構築することができこともメリットである。   By implementing this device, work according to the management database that stores pre-registered work contents can be performed without observing the situation near the work object as the background of the transparent display. Can be guided and displayed as an image, so that it is easy for the operator to understand and can complete the work safely and safely. In addition, it is also advantageous that the work object can be constructed at low cost only by applying marks for guiding position information in advance.

本発明の一実施形態に係る作業位置誘導装置の構成を示す斜視図である。It is a perspective view showing composition of a work position guidance device concerning one embodiment of the present invention. 図１に示す作業位置誘導装置の信号系統の構成を示すブロック図である。It is a block diagram which shows the structure of the signal system | strain of the work position guidance apparatus shown in FIG. 図１に示す実施形態において、指示情報蓄積部に蓄積された作業対象位置の座標管理データベースの一例を示す図である。In the embodiment shown in FIG. 1, it is a figure which shows an example of the coordinate management database of the work target position accumulate | stored in the instruction | indication information storage part. 図１に示す実施形態において、透明スクリーン上に表示する位置ナビゲーションマークの一例を示す図である。In the embodiment shown in FIG. 1, it is a figure which shows an example of the position navigation mark displayed on a transparent screen. 図１に示す実施形態において、透明スクリーン上に表示する位置ナビゲーションマークの画面遷移例を示す図である。In the embodiment shown in FIG. 1, it is a figure which shows the example of a screen transition of the position navigation mark displayed on a transparent screen. 図１に示す実施形態において、キャリブレーションの方法を説明するための図である。In the embodiment shown in FIG. 1, it is a figure for demonstrating the method of a calibration. 図６で説明するキャリブレーションにおいて、カメラから取得した映像イメージを示す図である。It is a figure which shows the video image acquired from the camera in the calibration demonstrated in FIG. 図６で説明するキャリブレーションにおいて、カメラ取得映像位置と透明スクリーン表示位置を説明するための図である。FIG. 7 is a diagram for explaining a camera acquired video position and a transparent screen display position in the calibration described in FIG. 6. 本発明の第１の実施例として、離隔距離計算方法例を示す図である。It is a figure which shows the example of a separation distance calculation method as 1st Example of this invention. 本発明の第２の実施例として、位置を示すマークとコードが分離している場合の作業位置誘導装置を示す図である。It is a figure which shows the work position guidance apparatus in case the mark and code which show a position have isolate | separated as 2nd Example of this invention. 本発明の第３の実施例として、光コネクタ挿抜工具と光コネクタ接続端子盤に本発明に係る作業位置誘導装置を付加した場合の構成を示す図である。It is a figure which shows the structure at the time of adding the work position guidance apparatus which concerns on this invention to the optical connector insertion / extraction tool and the optical connector connection terminal board as 3rd Example of this invention.

添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。
図１は、本発明に係る作業位置誘導装置の構成を示す斜視図である。ここでは、作業面Ａにある作業対象ＴＡ〜ＴＨの何れかの対象に対し、ポインティング部１１の先端を近づける作業を想定し、作業対象Ｂを作業対象ターゲットとする。また、台座１２に固定されたカメラ部１３の位置とポインティング部１１の先端の奥行きとの距離をz0とし、作業面Ａにはユニークなコードを示すマークＡ１、マークＡ２が表示されているものとする。 Embodiments of the present invention will be described with reference to the accompanying drawings. The embodiment described below is an example of the configuration of the present invention, and the present invention is not limited to the following embodiment.
FIG. 1 is a perspective view showing a configuration of a work position guiding apparatus according to the present invention. Here, assuming that the tip of the pointing unit 11 is brought close to any one of the work targets TA to TH on the work surface A, the work target B is set as the work target. Further, the distance between the position of the camera unit 13 fixed to the base 12 and the depth of the tip of the pointing unit 11 is z 0 , and the work surface A is displayed with marks A1 and A2 indicating unique codes. And

上記ポインティング部１１は、台座１２やグリップ１４をベースとし、透明スクリーン部１５やカメラ部１３と共に一体的にマウントされている。透明スクリーン部１５は、背景が透過して見える画面上に映像を描画することができるようになされている。透過画面上には、縦横中央の定まった位置にＸ軸ターゲットライン１５１およびＹ軸ターゲットライン１５２と、ターゲットの方向や距離を示す位置ナビゲーションマーク１５３や矢印１５４が描画表示される。   The pointing part 11 is mounted integrally with the transparent screen part 15 and the camera part 13 on the basis of the base 12 and the grip 14. The transparent screen unit 15 can draw an image on a screen that allows the background to be seen through. On the transparent screen, an X-axis target line 151 and a Y-axis target line 152, a position navigation mark 153 indicating the direction and distance of the target, and an arrow 154 are drawn and displayed at fixed positions in the vertical and horizontal centers.

上記カメラ部１３、透明スクリーン部１５はいずれも電源・通信コードを介して駆動制御装置１６に接続されており、当該駆動制御装置１６からの駆動制御信号による位置ナビゲーションの指示に従って、作業対象ターゲットである作業対象ＴＢに近づける。   Both the camera unit 13 and the transparent screen unit 15 are connected to the drive control device 16 via a power supply / communication cord, and the work target target is operated according to the position navigation instruction from the drive control signal from the drive control device 16. Move closer to a certain work target TB.

図２は、作業位置誘導装置の信号処理構成を示すブロック図である。作業オーダーである作業対象位置は、駆動制御装置１６の指示情報蓄積部１６１に、図３に示す様な形式（後述）で蓄積されている。
まず、（１）駆動制御装置１６において、情報処理部１６２は指示情報蓄積部１６１から作業位置情報を取得すると共に、カメラ部１３から作業対象の画像を取得する。（２）作業対象の画像の中には１つ以上のマークＡ１，Ａ２が含まれており、そのマークＡ１，Ａ２の大きさ・寸法（既知）やマークＡ１，Ａ２間の長さ（既知）の要素から、ポインティング部１１の先端と作業位置である作業対象ＴＢとの離隔距離（x,y,z−z0）を導出する。但し、正確な離隔距離を導出するための事前のキャリブレーション方法については後述する。（３）導出された情報をもとに、作業位置を表示する信号を透明スクリーン部１５に送出し、位置ナビゲーションマーク１５３として表示する。 FIG. 2 is a block diagram showing a signal processing configuration of the work position guidance device. The work target position, which is a work order, is stored in the instruction information storage unit 161 of the drive control device 16 in a format (described later) as shown in FIG.
First, (1) in the drive control device 16, the information processing unit 162 acquires work position information from the instruction information storage unit 161 and also acquires an image of a work target from the camera unit 13. (2) One or more marks A1 and A2 are included in the work target image, and the size and dimensions (known) of the marks A1 and A2 and the length between the marks A1 and A2 (known). From this element, the separation distance (x, y, z−z 0 ) between the tip of the pointing unit 11 and the work target TB which is the work position is derived. However, a prior calibration method for deriving an accurate separation distance will be described later. (3) Based on the derived information, a signal for displaying the work position is sent to the transparent screen unit 15 and displayed as a position navigation mark 153.

ここで表示する位置ナビゲーションマーク１５３の位置および大きさは、離隔距離（x,y）に比例した量のＸ軸ターゲットライン１５１、Ｙ軸ターゲットライン１５２からの距離位置に、離隔距離（z−z0）に比例した量の画像（円形）の大きさ（半径）とする。即ち、透明スクリーン部１５の画面を見ている作業者は、画面の先の作業面が透けて見え、透明画面上には画像として表示されているＸ軸ターゲットライン１５１とＹ軸ターゲットライン１５２の交点を位置ナビゲーションマーク１５３に近づけるとともに、その位置ナビゲーションマーク１５３の大きさが最小になるように、ポインティング部１１の先端を動かすことで、ターゲットである作業対象ＴＢに到達することができることになる。 The position and size of the position navigation mark 153 displayed here is the distance (z−z) at the distance position from the X-axis target line 151 and the Y-axis target line 152 in an amount proportional to the separation distance (x, y). The size (radius) of the image (circular) in an amount proportional to 0 ). That is, an operator who is looking at the screen of the transparent screen unit 15 sees the work surface at the end of the screen, and the X-axis target line 151 and the Y-axis target line 152 displayed as images on the transparent screen. By moving the tip of the pointing unit 11 so that the intersection is close to the position navigation mark 153 and the size of the position navigation mark 153 is minimized, the target work target TB can be reached.

尚、透明スクリーン部１５には、カメラ部１３で取得した映像そのものを送出するわけではなく、あくまでも相対的な位置関係での誘導用のマークを表示するものである。
図３は、先ほど述べた指示情報蓄積部１６１に蓄積された作業対象ＴＡ〜ＴＨそれぞれの位置の座標管理データベースの一例である。基準となる図１のマークＡ１のマークコード”0005043”からの各作業対象ＴＡ〜ＴＨそれぞれの位置座標が予め登録されている。例えば、作業対象ＴＢは、”0005043”という基準マークコードからxm1=5cm、ym1=7cmの場所に存在することを表している。また、隣接するマークコードＡ１，Ａ２の間隔xmkやそれぞれの大きさxmも管理することも有効である。 It should be noted that the transparent screen portion 15 does not send the video itself acquired by the camera portion 13 but displays guidance marks in a relative positional relationship to the last.
FIG. 3 is an example of the coordinate management database of the positions of the work targets TA to TH stored in the instruction information storage unit 161 described above. Position coordinates of each of the work targets TA to TH from the mark code “0005043” of the mark A1 in FIG. 1 serving as a reference are registered in advance. For example, the work target TB is present at a location of x m1 = 5 cm and y m1 = 7 cm from the reference mark code “0005043”. It is also effective to manage the distance x mk between adjacent mark codes A1 and A2 and the size x m of each.

図４は、透明スクリーン部１５の画面上に表示する位置ナビゲーションマーク１５３を具体的に説明するための図である。前述したように透明スクリーン部１５の画面上には中央にＸ軸ターゲットライン１５１及びＹ軸ターゲットライン１５２を固定表示する。また図２の（３）で説明したように、作業位置情報をもとに位置ナビゲーションマーク１５３を表示する。作業対象ＴＢとポインティング部１１の先端との離隔位置（x,y,z−z0）をＸ軸ターゲットライン１５１とＹ軸ターゲットライン１５２との交点からの距離位置（kxx,kyy）に、および、位置ナビゲーションマーク１５３の半径kz(z−z0)として表示する。 FIG. 4 is a diagram for specifically explaining the position navigation mark 153 displayed on the screen of the transparent screen unit 15. As described above, the X-axis target line 151 and the Y-axis target line 152 are fixedly displayed at the center on the screen of the transparent screen unit 15. Further, as described in FIG. 2 (3), the position navigation mark 153 is displayed based on the work position information. The separation position (x, y, z−z 0 ) between the work target TB and the tip of the pointing unit 11 is the distance position (k x x, k y y) from the intersection of the X-axis target line 151 and the Y-axis target line 152. ) And the radius k z (z−z 0 ) of the position navigation mark 153.

尚、kx、ky、kzは各軸の位置ナビゲーションマークの感度を決める係数であり、適宜調整する。また、ポインティング部１１をどちらの方向に動かすかを補助的に明示するために、Ｘ軸ターゲットライン１５１とＹ軸ターゲットライン１５２の交点から位置ナビゲーションマーク１５３に向かって矢印１５４を表示する。これは直観的な誘導手段として非常に有効である。 Note that k x , k y , and k z are coefficients that determine the sensitivity of the position navigation mark on each axis, and are adjusted as appropriate. Further, an arrow 154 is displayed from the intersection of the X-axis target line 151 and the Y-axis target line 152 toward the position navigation mark 153 in order to clearly indicate in which direction the pointing unit 11 is moved. This is very effective as an intuitive guidance means.

図５は、透明スクリーン部１５の画面上に表示する位置ナビゲーションマーク１５３の画面遷移を説明するための図である。図５（ａ）が作業開始状態であり、上段の（ｂ）−（ｃ）は、Ｚ軸を変化させずにＸＹ軸を作業対象物の位置（面）に近づけ最後にＺ軸を近づけるパターン、中段の（ｄ）−（ｅ）は、ＸＹ軸を変化させずにＺ軸のみを作業対象物の位置に近づけ最後にＸＹ軸を近づけるパターン、下段の（ｆ）−（ｇ）は、ＸＹＺ軸とも同時に作業対象物に近づけるパターンの３種類の画面遷移を表している。この様に、ＸＹ軸を縦横座標系で、Ｚ軸を位置ナビゲーションマーク１５３の大きさで表現することで、ポインティング部１１をターゲットである作業対象ＴＢに容易に到達させることが可能である。   FIG. 5 is a diagram for explaining the screen transition of the position navigation mark 153 displayed on the screen of the transparent screen unit 15. FIG. 5A shows a work start state, and (b)-(c) in the upper stage are patterns in which the XY axis is brought closer to the position (plane) of the work object without changing the Z axis, and finally the Z axis is brought closer. Middle (d)-(e) shows a pattern in which only the Z-axis is brought closer to the position of the work object without changing the XY-axis, and finally the XY-axis is brought closer, and the lower (f)-(g) is XYZ. Both axes represent three types of screen transitions in a pattern that simultaneously approaches the work object. As described above, the pointing unit 11 can easily reach the target work target TB by expressing the XY axes in the ordinate and abscissa coordinate systems and the Z axis in the size of the position navigation mark 153.

以上の様に、透明スクリーン部１５を用いることで、作業者は対象物から目を離すことなく、作業ナビゲーションを直観的に享受することができる。
図６は、前述のキャリブレーションの方法を説明するための図である。キャリブレーションボードＢには、ポインティング部１１の先端を付き当てるポインティング部接触マークＢ１と、複数（図６では４）のキャリブレーションマークＢ２１−Ｂ２４で構成され、マークの大きさ・寸法やマーク間の距離は既知である。ここでは、キャリブレーションマーク間のＸ軸およびＹ軸の距離は、それぞれ2x0,2y0とし、ポインティング接触マークＢ１はそれぞれのキャリブレーションマークＢ２１−Ｂ２４の中央位置に配置されているとする。ポインティング部１１をポインティング部接触マークＢ１に付き当てると、z=z0となる。 As described above, by using the transparent screen unit 15, the operator can intuitively enjoy the work navigation without taking his eyes off the object.
FIG. 6 is a diagram for explaining the above-described calibration method. The calibration board B is composed of a pointing part contact mark B1 that touches the tip of the pointing part 11 and a plurality of calibration marks B21-B24 (4 in FIG. 6). The distance is known. Here, the distance of the X-axis and Y-axis between the calibration marks are respectively set to 2x 0, 2y 0, the pointing contact mark B1 is disposed at a center position of each of the calibration marks B21-B24. Shed attached pointing portion 11 to the pointing portion contact marks B1, a z = z 0.

図７はキャリブレーション時にカメラ部１３から取得される映像イメージである。キャリブレーションが正確に行えれば、キャリブレーションマークＢ２１−Ｂ２４とポインティング部接触マークＢ１に付き当てられたポインティング部１１の映像が取得できる。キャリブレーション接触マークＢ１とキャリブレーションマークＢ２１−Ｂ２４間のＸ軸方向の距離x0の実寸法は既知であり、その時の画素数との相関を取得することができる。Ｙ軸方向についても同様である。 FIG. 7 shows a video image acquired from the camera unit 13 during calibration. If the calibration can be performed accurately, an image of the pointing unit 11 applied to the calibration marks B21 to B24 and the pointing unit contact mark B1 can be acquired. Actual dimensions of the X-axis direction of the distance x 0 between the calibration contact marks B1 and calibration marks B21-B24 is known, it is possible to obtain a correlation between the number of pixels at that time. The same applies to the Y-axis direction.

図８は、キャリブレーションにおいて、カメラ部１３で取得された映像位置と透明スクリーン部１５の表示位置との関係を示す図である。すなわち、キャリブレーション時には、位置ナビゲーションマーク１５３の表示位置を、Ｘ軸ターゲットライン１５１とＹ軸ターゲットライン１５２の交点上に配置するように調整するとともに、そのマーク１５３の大きさをz=z0であること（Ｚ軸が対象面に達していること）を示す、可視できる程度の最小な大きさ（半径）に調整する。 FIG. 8 is a diagram illustrating a relationship between the video position acquired by the camera unit 13 and the display position of the transparent screen unit 15 in the calibration. That is, when the calibration, the display position of the position navigation marks 153, with adjustments to to place on the intersection of X-axis target line 151 and Y-axis target lines 152, the size of the mark 153 in z = z 0 It is adjusted to a minimum size (radius) that is visible to indicate that the Z axis has reached the target surface.

上記調整の結果、上記誘導装置を利用すれば、透明スクリーン部１５の背景として作業対象近傍の状況を見ながら指示に従った対応が可能となる。このため、予め登録された作業内容を蓄積した管理データベースどおりの作業を、作業対象から目を離すことなく、作業対象箇所がどちらの方向にあるかを画像として誘導表示することができるので、作業者にとってわかり易く、かつ安心安全に作業を完遂することが可能となる。また、作業対象物には予め位置情報を導くためのマークを施すことのみで、安価に構築することができるというメリットもある。   If the guidance device is used as a result of the adjustment, it is possible to respond according to the instruction while viewing the situation in the vicinity of the work target as the background of the transparent screen unit 15. For this reason, it is possible to guide and display the direction of the work target location as an image without leaving an eye on the work target, according to the management database in which the work contents registered in advance are stored. It is easy for the person to understand and can complete the work safely and securely. In addition, there is also an advantage that the work object can be constructed at low cost only by giving a mark for guiding position information in advance.

（第１の実施例）
図９は本発明の第１の実施例として離隔距離（作業面Ａに対して垂直に向けられたポインティング部１１の先端と作業対象ターゲットＴＢのxyz距離）を計算する例を説明するための位置関係を示す図である。ここでは、主にxz平面について、キャリブレーションのフェーズと対象物の離隔距離を検出するフェーズそれぞれについて説明する。 (First embodiment)
FIG. 9 is a diagram for explaining an example of calculating a separation distance (the xyz distance between the tip of the pointing unit 11 oriented perpendicular to the work surface A and the work target TB) as the first embodiment of the present invention. It is a figure which shows a relationship. Here, the calibration phase and the phase for detecting the separation distance of the object will be described mainly for the xz plane.

キャリブレーションボードＢの面のキャリブレーションマークＢ２１−Ｂ２４等の２つの計測基準点の距離をx0とし、この値は既知である。カメラ部１３でこれらの２つの計測基準点Ｂ３０，Ｂ３１を撮影した時のカメラ映像上の画素数をG0とし、カメラ部１３から見た２つの計測基準点Ｂ３０，Ｂ３１の角度をθ0とする。 The distance of two measurement reference points of the calibration marks, etc. B21-B24 of the surface of the calibration board B and x 0, this value is known. When the camera unit 13 captures these two measurement reference points B30 and B31, the number of pixels on the camera image is G 0, and the angle of the two measurement reference points B30 and B31 viewed from the camera unit 13 is θ 0 . To do.

また、作業対象のある作業面Ａには作業対象ターゲットＴＢとマークＡ１がある。カメラ部１３から作業対象ターゲットＴＢまでのＸ軸、Ｚ軸の距離をそれぞれ、x、zとし、カメラ部１３から見た作業対象ターゲットＴＢの角度はθxとする。また、マークＡ１の片辺までのＸ軸の距離をxm1、もう一辺までのＸ軸の距離をxm2とする。また、カメラ部１３で撮影した映像のx,xm1,xm2の距離に相応する画素数を、それぞれ、Gx,Gxm1,Gxm2とする。 In addition, the work surface A with the work target includes a work target target TB and a mark A1. The X-axis and Z-axis distances from the camera unit 13 to the work target target TB are x and z, respectively, and the angle of the work target target TB viewed from the camera unit 13 is θ x . Further, the X-axis distance to one side of the mark A1 is x m1 , and the X-axis distance to the other side is x m2 . Further, the numbers of pixels corresponding to the distances x, x m1 , and x m2 of the video imaged by the camera unit 13 are G x , G xm1 , and G xm2 , respectively.

キャリブレーションボードＢ上の計測基準点Ｂ３０，Ｂ３１の距離x0と作業対象ターゲットＴＢの位置xの相関は、
tan θ0 = x0 / z0
tan θx = x / z
であり、また、カメラ映像上の画素数Gx0はカメラ部１３からの視野角によるので、
θ0 ：θ0 ＝ Gx0 ：Gx
である。このことから、作業対象ターゲットＴＢの位置は、式（１）で表される。
x = [tan{(Gx/Gx0)tan-1(x0/z0)}]z （１）
Ｙ軸についても同様に、式（２）で表される。
y = [tan{(Gy/Gy0)tan-1(y0/z0)}]z （２）
ここで、y0, Gy, Gy0はＸ軸定義と同様である。 Correlation of the position x of the work targets TB distance x 0 of the measurement reference points B30, B31 on the calibration board B is
tan θ 0 = x 0 / z 0
tan θ x = x / z
In addition, since the number of pixels G x0 on the camera image depends on the viewing angle from the camera unit 13,
θ 0 : θ 0 = G x0 : G x
It is. From this, the position of the work target target TB is expressed by Expression (1).
x = [tan {(G x / G x0 ) tan -1 (x 0 / z 0 )}] z (1)
Similarly, the Y-axis is expressed by Expression (2).
y = [tan {(G y / G y0 ) tan -1 (y 0 / z 0 )}] z (2)
Here, y 0 , G y , and G y0 are the same as in the X-axis definition.

また、マークＡ１の位置は、式（１）より次のように表される。
xm1 = [tan{(Gxm1/Gx0)tan-1(x0/z0)}]z
xm2 = [tan{(Gxm2/Gx0)tan-1(x0/z0)}]z
ここで、xm = xm1 - xm2であるから、zは、式（３）で導くことができる。
z = xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}] （３）
よって、x,yについても、
x = [tan{(Gx/Gx0)tan-1(x0/z0)}] xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}]
y = [tan{(Gy/Gy0)tan-1(y0/z0)}] xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}]
のように導出することができる。 The position of the mark A1 is expressed as follows from the equation (1).
x m1 = [tan {(G xm1 / G x0 ) tan -1 (x 0 / z 0 )}] z
x m2 = [tan {(G xm2 / G x0 ) tan -1 (x 0 / z 0 )}] z
Here, since x m = x m1 -x m2 , z can be derived from the equation (3).
z = x m / [tan {(G xm1 / G x0 ) tan -1 (x 0 / z 0 )}
-tan {(G xm2 / G x0 ) tan -1 (x 0 / z 0 )}] (3)
Therefore, for x and y,
x = [tan {(G x / G x0 ) tan -1 (x 0 / z 0 )}] x m / [tan {(G xm1 / G x0 ) tan -1 (x 0 / z 0 )}
-tan {(G xm2 / G x0 ) tan -1 (x 0 / z 0 )}]
y = [tan {(G y / G y0 ) tan -1 (y 0 / z 0 )}] x m / [tan {(G xm1 / G x0 ) tan -1 (x 0 / z 0 )}
-tan {(G xm2 / G x0 ) tan -1 (x 0 / z 0 )}]
It can be derived as follows.

したがって、キャリブレーション時のデータをもとに、カメラ部１３の位置からマークＡ１と共に撮影された作業面Ａ上の作業対象ターゲットＴＢまでの３軸の離隔距離（x,y,z）を導出することが可能である。
但し、ポインティング部１１の先端とカメラ部１３の位置を補正することで、ポインティング部１１の先端からの離隔距離に計算することも可能である。 Therefore, based on the data at the time of calibration, the three-axis separation distance (x, y, z) from the position of the camera unit 13 to the work target target TB on the work surface A photographed together with the mark A1 is derived. It is possible.
However, it is also possible to calculate the distance from the tip of the pointing unit 11 by correcting the positions of the tip of the pointing unit 11 and the camera unit 13.

また、キャリブレーション時の計測基準点Ｂ３０，Ｂ３１は、異なるキャリブレーションマークＢ２１−Ｂ２４の２対を選択して、それぞれの実寸距離x0と画素数Gx0の相関を取得し、それぞれに対するx,y,zを導出し、平均化して、精度を向上させることも可能である。 Further, the measurement reference point during calibration B30, B31, select two pairs of different calibration marks B21-B24, obtains the correlation of the respective exact distance x 0 and pixel number G x0, x for each, It is also possible to derive and average y and z to improve accuracy.

また、上記の例では作業面Ａのマーク画像Ａ１の一辺の長さxmを既知として基準として（x,y,z）を導出したが、図１で示すマークＡ１−Ａ２間の距離xmkを用いて算出することも可能である。
また、カメラ画像や透明ディスプレイ画像の歪みがある場合は、必要に応じて歪み補正をおこなうことも可能である。 Further, in the above example, (x, y, z) is derived with the length x m of one side of the mark image A1 on the work surface A as a reference, but the distance x mk between the marks A1-A2 shown in FIG. It is also possible to calculate using
In addition, when there is distortion in the camera image or the transparent display image, distortion correction can be performed as necessary.

（第２の実施例）
図１０は、本発明の第２の実施例とする作業位置誘導装置の構成を示すもので、ここでは作業面Ａにキャリブレーションボードの機能を持たせ、キャリブレーションマークＢ２１−Ｂ２４として円形画像を用い、その横にバーコードＢ４１−Ｂ４４を配置する例である。円形のキャリブレーションマークＢ２１−Ｂ２４の方が画像処理時に中心を出し易い場合もあり、その場合はこの様な形で実施することも考えられる。 (Second embodiment)
FIG. 10 shows a configuration of a work position guiding apparatus according to the second embodiment of the present invention. Here, the work surface A has a function of a calibration board, and a circular image is used as the calibration marks B21-B24. It is an example which uses and arrange | positions barcode B41-B44 to the side. In some cases, the circular calibration marks B21 to B24 can be easily centered at the time of image processing.

（第３の実施例）
図１１は、本発明の第３の実施例とする作業位置誘導装置の構成を示す斜視図である。ここでは、作業面Ａとして、多数の光コネクタアダプタがＸ−Ｙ軸方向に並べて配置された光コネクタ接続端子盤を想定している。また、ポインティング部１１の先端には、光コネクタ挿抜工具の光コネクタ把持部１１１が装着され、この光コネクタ把持部１１１により光コード先端の光コネクタ１１２を作業面Ａの作業対象ターゲットアダプタ端子ＢＴに誘導する場合を想定している。 (Third embodiment)
FIG. 11 is a perspective view showing a configuration of a work position guiding apparatus according to the third embodiment of the present invention. Here, it is assumed that the work surface A is an optical connector connection terminal board in which a large number of optical connector adapters are arranged in the X-Y axis direction. An optical connector gripping part 111 of an optical connector insertion / extraction tool is attached to the tip of the pointing part 11, and the optical connector 112 at the tip of the optical cord is attached to the work target target adapter terminal BT on the work surface A by the optical connector gripping part 111. The case of guiding is assumed.

光コネクタ接続端子盤Ａは高密度にコネクタアダプタが配列されており、どの端子にコネクタを挿入するか（もしくは抜去するか）の確認作業が非常に面倒であり、間違いが起こり易い。この作業において、本実施例の作業位置誘導装置を適用することにより、透明スクリーン部１５に映り出される誘導画面に基づき作業を進めることで安心安全な作業を行うことが可能となる。   In the optical connector connection terminal board A, the connector adapters are arranged with high density, and it is very troublesome to confirm which terminal the connector is inserted into (or removed from). In this work, by applying the work position guidance device of the present embodiment, it is possible to perform a safe and secure work by advancing the work based on the guidance screen displayed on the transparent screen portion 15.

尚、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiments. For example, some configurations may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different example embodiments may be combined as appropriate.

１１…ポインティング部、１２…台座、１３…カメラ部、１４…グリップ、１５…透明スクリーン部、１５１…Ｘ軸ターゲットライン、１５２…Ｙ軸ターゲットライン、１５３…位置ナビゲーションマーク、１５４…矢印、１６…駆動制御装置、１６１…指示情報蓄積部、１６２…情報処理部、Ａ…作業面、Ａ１，Ａ２…マーク、Ｂ…キャリブレーションボード、Ｂ１…ポインティング部接触マーク、Ｂ２１−Ｂ２４…キャリブレーションマーク、Ｂ３０，Ｂ３１…計測基準点。   DESCRIPTION OF SYMBOLS 11 ... Pointing part, 12 ... Base, 13 ... Camera part, 14 ... Grip, 15 ... Transparent screen part, 151 ... X-axis target line, 152 ... Y-axis target line, 153 ... Position navigation mark, 154 ... Arrow, 16 ... Drive control device 161 ... Instruction information storage unit 162 ... Information processing unit A ... Work surface A1, A2 ... Mark, B ... Calibration board, B1 Pointing unit contact mark, B21-B24 ... Calibration mark, B30 , B31: Measurement reference point.

Claims (7)

作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導装置であって、
前記ポインティング部と一体化され、前記作業時に前記作業面を撮影するカメラ部と、
前記ポインティング部と一体化され、画面が透明で前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるように配置され、誘導用の位置ナビゲーションマーク及び誘導中心を表示する透明スクリーン部と、
前記作業面に設定される作業対象位置の位置情報を格納する指示情報蓄積部と、
前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記指示情報蓄積部に格納された作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる情報処理部と
を具備することを特徴とする作業位置誘導装置。 A work position guidance device that guides the tip of the pointing unit toward a work target position set in advance at a known position on the work surface during work,
A camera unit that is integrated with the pointing unit and shoots the work surface during the work;
A transparent screen that is integrated with the pointing unit, is transparent so that the imaging area of the camera unit and the tip of the pointing unit can be seen through during the work, and displays a guidance position navigation mark and a guidance center And
An instruction information storage unit that stores position information of a work target position set on the work surface;
The position of the tip of the pointing unit with respect to the work target position is calculated from the image taken by the camera unit, and compared with the position information of the work target position stored in the instruction information storage unit. An information processing unit that displays a position navigation mark for the guidance center on the transparent screen unit, and that indicates a movement direction on the screen so that the position navigation mark is directed to the guidance center. A working position guidance device. 前記作業面の既知の位置に予め基準マークが表示されてあるとき、
前記情報処理部は、前記カメラ部で撮影された画像から前記作業面の基準マークを識別し、この識別結果に基づいて前記ポインティング部の先端の前記作業対象位置に対する位置を算出することを特徴とする請求項１記載の作業位置誘導装置。 When a reference mark is displayed in advance at a known position on the work surface,
The information processing unit identifies a reference mark on the work surface from an image captured by the camera unit, and calculates a position of the tip of the pointing unit with respect to the work target position based on the identification result. The working position guidance device according to claim 1. 前記透明スクリーン部は、画面中央で交差するように垂直方向のターゲットラインと水平方向のターゲットラインを固定表示し、その交差点を前記誘導中心とすることを特徴とする請求項１記載の作業位置誘導装置。   2. The work position guidance according to claim 1, wherein the transparent screen unit displays a target line in a vertical direction and a target line in a horizontal direction so as to intersect at the center of the screen, and uses the intersection as the guidance center. apparatus. 前記情報処理部は、前記位置ナビゲーションマークの表示に際して、前記ポインティング部から作業面までの奥行き距離の遠近に比例して前記位置ナビゲーションマークの大きさを大小に変化させ、水平方向と垂直方向の前記ポインティング部の位置ずれ距離の大小に比例して前記位置ナビゲーションマークの前記水平方向と垂直方向のターゲットラインからの位置ずれ量を遠近に変化させることを特徴とする請求項３に記載の作業位置誘導装置。   When the position navigation mark is displayed, the information processing unit changes the size of the position navigation mark in proportion to the depth distance from the pointing unit to the work surface, and the horizontal and vertical directions are changed. 4. The work position guidance according to claim 3, wherein the positional deviation amount of the position navigation mark from the target line in the horizontal direction and the vertical direction is changed in the distance in proportion to the positional deviation distance of the pointing unit. apparatus. 前記ポインティング部は、前記作業面の作業対象位置に配置されているコネクタアダプタ端子列のコネクタを着脱する機能を有するコネクタ挿抜工具の先端部位であり、
前記作業面の作業対象は通信回線の切り替えを行なうコネクタ接続端子盤であることを特徴とする請求項１乃至４のいずれかに記載の作業位置誘導装置。 The pointing unit is a tip portion of a connector insertion / extraction tool having a function of attaching / detaching a connector of a connector adapter terminal row arranged at a work target position on the work surface,
5. The work position guiding apparatus according to claim 1, wherein the work target of the work surface is a connector connection terminal board for switching a communication line. 前記ポインティング部の先端を付き当てる箇所を示すポインティング部接触マークと、複数のキャリブレーションマークが表示され、前記ポインティング部接触マークおよび前記キャリブレーションマークの形状および寸法、並びに前記キャリブレーションマーク間の距離が既知の値である一つの平板からなるキャリブレーションボードを備え、
前記情報処理部は、前記ポインティング部がポインティング部接触マークに付き当てた状態における前記カメラ部の撮影映像データの画素数と実際の距離の相関を取得し、前記カメラ部および前記ポインティング部の位置ずれを補正する機能を有することを特徴とする請求項1乃至５のいずれかに記載の作業位置誘導装置。 A pointing part contact mark indicating a position where the tip of the pointing part is applied and a plurality of calibration marks are displayed, and the shape and size of the pointing part contact mark and the calibration mark, and the distance between the calibration marks are It has a calibration board consisting of a single flat plate with a known value,
The information processing unit obtains a correlation between the number of pixels of the captured video data of the camera unit and an actual distance in a state where the pointing unit is attached to the pointing unit contact mark, and a positional deviation between the camera unit and the pointing unit The work position guiding device according to claim 1, wherein the work position guiding device has a function of correcting the above. 作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導方法であって、
前記作業時にカメラ部により前記作業面を撮影し、
画面が透過する透明スクリーン部により、前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるようにしながら、誘導用の位置ナビゲーションマーク及び誘導中心を表示し、
前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させることを特徴とする作業位置誘導方法。 A work position guidance method for guiding a tip of a pointing unit to a work target position set at a known position in advance on a work surface during work,
The work surface is photographed by the camera unit during the work,
With the transparent screen portion through which the screen is transparent, the shooting area of the camera unit and the tip of the pointing unit are seen through at the time of the work, while displaying the position navigation mark for guidance and the guidance center,
The position of the tip of the pointing unit with respect to the work target position is calculated from an image photographed by the camera unit, compared with the position information of the known work target position, and the transparent screen based on the amount and direction of both of them A position navigation mark for the guidance center is displayed on a section, and a moving direction is instructed and displayed on the screen so that the position navigation mark is directed to the guidance center.
JP2011247951A 2011-11-11 2011-11-11 Work position guidance device and guidance method thereof Expired - Fee Related JP5750361B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011247951A JP5750361B2 (en) 2011-11-11 2011-11-11 Work position guidance device and guidance method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011247951A JP5750361B2 (en) 2011-11-11 2011-11-11 Work position guidance device and guidance method thereof

Publications (2)

Publication Number Publication Date
JP2013104747A true JP2013104747A (en) 2013-05-30
JP5750361B2 JP5750361B2 (en) 2015-07-22

Family

ID=48624395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011247951A Expired - Fee Related JP5750361B2 (en) 2011-11-11 2011-11-11 Work position guidance device and guidance method thereof

Country Status (1)

Country Link
JP (1) JP5750361B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014218A (en) * 2016-07-20 2018-01-25 矢崎総業株式会社 System for producing wire harness
CN108664118A (en) * 2017-03-27 2018-10-16 腾讯科技（深圳）有限公司 Eyeball tracking method and apparatus, contact lenses, virtual reality system
WO2023135697A1 (en) * 2022-01-13 2023-07-20 株式会社日立製作所 Dimension measuring method using augmented reality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160879A (en) * 1994-12-09 1996-06-21 Shimadzu Corp Head mounted display device
JPH08322120A (en) * 1995-05-23 1996-12-03 Mitsui Eng & Shipbuild Co Ltd Method for positioning boom for high-spot working and supporting system for positioning
JP2005227208A (en) * 2004-02-16 2005-08-25 Ricoh Co Ltd Navigation system, display system, navigation method and program
JP2006058248A (en) * 2004-08-23 2006-03-02 Nidek Co Ltd Lens meter
JP2010522573A (en) * 2006-03-30 2010-07-08 アクティビューズ リミテッド System and method for optical localization and guidance of a rigid or semi-flexible tool to a target
JP2010176990A (en) * 2009-01-28 2010-08-12 Nippon Telegr & Teleph Corp <Ntt> Connector insertion/extraction management system, connector insertion/extraction management method, and connector insertion/extraction tool

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160879A (en) * 1994-12-09 1996-06-21 Shimadzu Corp Head mounted display device
JPH08322120A (en) * 1995-05-23 1996-12-03 Mitsui Eng & Shipbuild Co Ltd Method for positioning boom for high-spot working and supporting system for positioning
JP2005227208A (en) * 2004-02-16 2005-08-25 Ricoh Co Ltd Navigation system, display system, navigation method and program
JP2006058248A (en) * 2004-08-23 2006-03-02 Nidek Co Ltd Lens meter
JP2010522573A (en) * 2006-03-30 2010-07-08 アクティビューズ リミテッド System and method for optical localization and guidance of a rigid or semi-flexible tool to a target
JP2010176990A (en) * 2009-01-28 2010-08-12 Nippon Telegr & Teleph Corp <Ntt> Connector insertion/extraction management system, connector insertion/extraction management method, and connector insertion/extraction tool

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014218A (en) * 2016-07-20 2018-01-25 矢崎総業株式会社 System for producing wire harness
CN108664118A (en) * 2017-03-27 2018-10-16 腾讯科技（深圳）有限公司 Eyeball tracking method and apparatus, contact lenses, virtual reality system
CN108664118B (en) * 2017-03-27 2021-06-15 腾讯科技（深圳）有限公司 Eyeball tracking method and device, contact lenses and virtual reality system
WO2023135697A1 (en) * 2022-01-13 2023-07-20 株式会社日立製作所 Dimension measuring method using augmented reality
JP7457339B2 (en) 2022-01-13 2024-03-28 株式会社日立製作所 How to measure dimensions using augmented reality

Also Published As

Publication number Publication date
JP5750361B2 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
CN109789460B (en) Bending machine with a working area image capturing device and method for improving the operational safety of a bending machine
ES2443265B1 (en) MANUFACTURING OR VERIFICATION BANK OF ELECTRIC MAZOS
US20170076504A1 (en) Hands-free asset identification, location and management system
KR102079097B1 (en) Device and method for implementing augmented reality using transparent display
US20130265393A1 (en) Image capture environment calibration method and information processing apparatus
US20210114231A1 (en) Robot system
WO2014002686A1 (en) Support device and system for article picking work
CN108030551A (en) Surgery mechanical arm stroke corrects system and method
EP2817920A1 (en) Overlay-based asset location and identification system
JP5750361B2 (en) Work position guidance device and guidance method thereof
JP2017191490A (en) Skill transmission system and method
CN109715307A (en) Bending machine with workspace image capture device and the method for indicating workspace
JP7464235B2 (en) Multi-layer viewing system and method
CN112655027A (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
CN112529856A (en) Method for determining the position of an operating object, robot and automation system
CN111265299B (en) Operation navigation system based on optical fiber shape sensing
JP6445935B2 (en) Work support device, work support method, and work support program
CN113196165A (en) Information projection system, control device, and information projection method
TW202309514A (en) Optical detection system and alignment method for a predetermined target object
US20180061135A1 (en) Image display apparatus and image display method
JP2010266750A (en) Observation device and observation system
JP2015188284A (en) Terminal, server, work support system and work support method
US20130155211A1 (en) Interactive system and interactive device thereof
JP6736204B2 (en) Work support method, work support program, and work support device
CN113383371A (en) Method and device for providing virtual content in virtual space based on common coordinate system

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150518

R150 Certificate of patent or registration of utility model

Ref document number: 5750361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees