JP6241585B2 - Display system, display method, and control program - Google Patents
Display system, display method, and control program Download PDFInfo
- Publication number
- JP6241585B2 JP6241585B2 JP2012201787A JP2012201787A JP6241585B2 JP 6241585 B2 JP6241585 B2 JP 6241585B2 JP 2012201787 A JP2012201787 A JP 2012201787A JP 2012201787 A JP2012201787 A JP 2012201787A JP 6241585 B2 JP6241585 B2 JP 6241585B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- unit
- dimensional model
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Examining Or Testing Airtightness (AREA)
Description
本発明は、配管やタンク等に生じる漏洩箇所の検出を補助する技術に関する。 The present invention relates to a technique for assisting detection of a leaking point that occurs in a pipe, a tank, or the like.
従来、発電プラントや石油プラント等のプラントや製造装置等において、多数の配管やタンクが設けられている。このような配管やタンクにおいてガス等の漏洩（リーク）が生じている箇所を検出する技術が提案されている（例えば、特許文献１参照）。特許文献１の装置は、漏洩検出の対象となる構造物を撮影した画像から速度ベクトルを算出することによって漏洩検出を行っている。 Conventionally, a large number of pipes and tanks are provided in a plant such as a power plant or a petroleum plant, a manufacturing apparatus, and the like. There has been proposed a technique for detecting a portion where leakage of gas or the like occurs in such a pipe or tank (for example, see Patent Document 1). The apparatus of Patent Document 1 performs leak detection by calculating a velocity vector from an image obtained by photographing a structure that is a target of leak detection.
しかしながら、特許文献１に記載された装置では以下のような問題がある。漏洩箇所の点検対象を撮影する際に、カメラが入り込めない場所が存在する。また、カメラが取り付けられた遠隔ロボットのアームの長さにも限度がある。そのため、所望の視点位置や角度から点検対象を撮影することが困難な場合があった。所望の視点位置や角度からの画像が得られない場合、オペレータは漏洩箇所を正確に把握することができないという問題があった。 However, the apparatus described in Patent Document 1 has the following problems. There is a place where the camera cannot enter when shooting the inspection object of the leaked part. There is also a limit on the length of the arm of the remote robot to which the camera is attached. Therefore, it may be difficult to image the inspection target from a desired viewpoint position and angle. When an image from a desired viewpoint position or angle cannot be obtained, there is a problem in that the operator cannot accurately grasp the leaked portion.
上記事情に鑑み、本発明は、漏洩箇所の視認を容易にする技術の提供を目的としている。 In view of the above circumstances, an object of the present invention is to provide a technique for facilitating the visual recognition of a leakage location.
本発明の一態様は、構造物にレーザ光を走査しながら照射することにより前記構造物を撮影装置が撮影することによって生成される第一の画像データと、前記構造物にトレーサを噴霧してレーザ光を走査しながら照射することにより可視化された前記トレーサを撮影装置が撮影することによって生成される第二の画像データとを入力する入力部と、構造物が撮影された前記第一の画像データと、トレーサと前記構造物とが撮影された前記第二の画像データと、前記第一の画像データ及び前記第二の画像データが撮影された撮影条件とを記憶する記憶部と、前記第一の画像データと前記第二の画像データとに基づいて差分画像を生成する差分画像生成部と、前記差分画像を３次元空間に投影することによって、前記トレーサの３次元位置を表わすモデルである３次元モデルを生成する３次元モデル生成部と、前記３次元モデル生成部が生成した３次元モデルを表示する表示部と、を備える表示システムである。 In one embodiment of the present invention, first image data generated by photographing an image of the structure by irradiating the structure with a laser beam is scanned, and a tracer is sprayed on the structure. an input portion to which the visualized tracer imaging apparatus inputs the second image data generated by imaging by irradiating while scanning the laser beam, the first image structure is photographed A storage unit for storing data, the second image data in which the tracer and the structure are photographed, the photographing condition in which the first image data and the second image data are photographed, and the first a differential image generating section that generates a differential image based on the as one of image data and the second image data, by projecting the difference image in 3-dimensional space, display the three-dimensional position of the tracer Model and three-dimensional model generating unit for generating a three-dimensional model is a Bei obtain display system and a display unit, the displaying the three-dimensional model in which the three-dimensional model generating unit has generated.
本発明の一態様は、上記の表示システムであって、前記表示部は、前記入力部が入力した前記第一の画像データ及び前記第二の画像データを撮影した視点位置とは異なる他の視点位置で前記３次元モデルを表示することを特徴とする。 One aspect of the present invention is the display system described above, wherein the display unit has another viewpoint different from a viewpoint position at which the first image data and the second image data input by the input unit are captured. The three-dimensional model is displayed at a position.
本発明の一態様は、上記の表示システムであって、前記表示部は、前記他の視点位置に基づく仮想シート面に前記３次元モデルを投影することによって前記３次元モデルを表示する。 One aspect of the present invention is the above-described display system, the front Symbol display unit to display the 3-dimensional model by projecting the three-dimensional model in a virtual sheet surface based on the other viewpoint position.
本発明の一態様は、構造物にレーザ光を走査しながら照射することにより前記構造物を撮影装置が撮影することによって生成される第一の画像データと、前記構造物にトレーサを噴霧してレーザ光を走査しながら照射することにより可視化された前記トレーサを撮影装置が撮影することによって生成される第二の画像データとを入力する入力ステップと、構造物が撮影された前記第一の画像データと、トレーサと前記構造物とが撮影された前記第二の画像データと、前記第一の画像データ及び前記第二の画像データが撮影された撮影条件とを記憶する記憶部に記憶されている前記第一の画像データと前記第二の画像データとに基づいて差分画像を生成する差分画像生成ステップと、前記差分画像を３次元空間に投影することによって、前記トレーサの３次元位置を表わすモデルである３次元モデルを生成する３次元モデル生成ステップと、前記３次元モデル生成ステップにおいて生成した３次元モデルを表示する表示ステップと、を有する表示方法である。 In one embodiment of the present invention, first image data generated by photographing an image of the structure by irradiating the structure with a laser beam is scanned, and a tracer is sprayed on the structure. An input step of inputting second image data generated by photographing an image of the tracer visualized by irradiating laser light while scanning, and the first image obtained by photographing the structure Stored in a storage unit for storing data, the second image data in which the tracer and the structure are photographed, and the photographing conditions in which the first image data and the second image data are photographed. A difference image generating step for generating a difference image based on the first image data and the second image data, and projecting the difference image in a three-dimensional space, And a three-dimensional model generating step of generating a three-dimensional model is a model representing a three-dimensional position of p o, and a display step of displaying a three-dimensional model generated in the three-dimensional model generating step, a display method with.
本発明の一態様は、構造物にレーザ光を走査しながら照射することにより前記構造物を撮影装置が撮影することによって生成される第一の画像データと、前記構造物にトレーサを噴霧してレーザ光を走査しながら照射することにより可視化された前記トレーサを撮影装置が撮影することによって生成される第二の画像データとを入力する入力ステップと、構造物が撮影された前記第一の画像データと、トレーサと前記構造物とが撮影された前記第二の画像データと、前記第一の画像データ及び前記第二の画像データが撮影された撮影条件とを記憶する記憶部に記憶されている前記第一の画像データと前記第二の画像データとに基づいて差分画像を生成する差分画像生成ステップと、前記差分画像を３次元空間に投影することによって、前記トレーサの３次元位置を表わすモデルである３次元モデルを生成する３次元モデル生成ステップと、前記３次元モデル生成ステップにおいて生成した３次元モデルを表示する表示ステップと、をコンピュータに実行させるための制御プログラムである。 In one embodiment of the present invention, first image data generated by photographing an image of the structure by irradiating the structure with a laser beam is scanned, and a tracer is sprayed on the structure. An input step of inputting second image data generated by photographing an image of the tracer visualized by irradiating laser light while scanning, and the first image obtained by photographing the structure Stored in a storage unit for storing data, the second image data in which the tracer and the structure are photographed, and the photographing conditions in which the first image data and the second image data are photographed. A difference image generating step for generating a difference image based on the first image data and the second image data, and projecting the difference image in a three-dimensional space, And a three-dimensional model generating step of generating a three-dimensional model is a model representing a three-dimensional position of p o, for performing display and step, to a computer to display a three-dimensional model generated in the three-dimensional model generating step It is a control program.
本発明により、漏洩箇所の視認を容易にすることが可能となる。 According to the present invention, it is possible to make it easy to visually recognize a leaked portion.
以下、本発明の実施形態について図面を参照して詳細に説明する。
図１に示すように、本実施形態の漏洩箇所検知装置１は、検知装置本体２と、制御装置９とを主な構成要素として備えている。検知装置本体２は、移動台車３と、移動台車３上に設けられた多段伸縮部材４と、多段伸縮部材４の先端に設けられたマニピュレータ５と、金属粒子等の微粒子（トレーサ粒子）を含む可視化ガスＧを噴射する散布装置である可視化ガス噴射装置６と、撮影装置１９（図３参照）等が組み込まれた可視化検出モジュール７とを有している。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
As shown in FIG. 1, the leak location detection device 1 of the present embodiment includes a detection device main body 2 and a control device 9 as main components. The detection device main body 2 includes a moving carriage 3, a multistage expansion / contraction member 4 provided on the movement carriage 3, a manipulator 5 provided at the tip of the multistage expansion / contraction member 4, and fine particles (tracer particles) such as metal particles. It has the visualization gas injection device 6 which is a spraying device which injects the visualization gas G, and the visualization detection module 7 in which the imaging device 19 (refer FIG. 3) etc. were incorporated.
可視化ガス噴射装置６は、ノズル３２と本体ユニット３３とから構成されている。可視化ガス噴射装置６の詳細は後述する。また、可視化検出モジュール７は、図３に示すように、撮影装置１９、白色照明装置２０、レーザユニット２１、ガルバノミラー３０等を有している。可視化検出モジュール７の詳細は後述する。
そして、ノズル３２と可視化検出モジュール７とが気流可視化センサ８を構成しており、マニピュレータ５の先端にブラケット１６を介して取り付けられている。
The visualization gas injection device 6 includes a nozzle 32 and a main body unit 33. Details of the visualization gas injection device 6 will be described later. Further, the visualization detection module 7 includes a photographing device 19, a white illumination device 20, a laser unit 21, a galvanometer mirror 30, and the like as shown in FIG. Details of the visualization detection module 7 will be described later.
The nozzle 32 and the visualization detection module 7 constitute an airflow visualization sensor 8 and are attached to the tip of the manipulator 5 via a bracket 16.
検知装置本体２は、移動台車３によって任意の場所に移動可能であり、多段伸縮部材４及びマニピュレータ５を用いて気流可視化センサ８を配管Ｄやタンク等の所望の検査対象を臨む位置に配置し、漏洩を検知する装置である。 The detection device main body 2 can be moved to an arbitrary place by the movable carriage 3, and the air flow visualization sensor 8 is arranged at a position facing a desired inspection target such as the pipe D or the tank by using the multistage telescopic member 4 and the manipulator 5. This is a device for detecting leakage.
制御装置９は、コンピュータであり、所定のプログラムを実行することで、遠隔操作部１０と画像処理部１７（画像処理手段）とを備えている。制御装置９は、移動台車３、多段伸縮部材４、マニピュレータ５、可視化検出モジュール７、及び可視化ガス噴射装置６と無線接続されている。なお、制御装置９と上記機構、装置は、無線接続に限らず有線にて接続されている構成としてもよい。 The control device 9 is a computer, and includes a remote operation unit 10 and an image processing unit 17 (image processing means) by executing a predetermined program. The control device 9 is wirelessly connected to the movable carriage 3, the multistage telescopic member 4, the manipulator 5, the visualization detection module 7, and the visualization gas injection device 6. The control device 9 and the mechanism and device are not limited to wireless connection, and may be configured to be connected by wire.
遠隔操作部１０は、移動台車３、多段伸縮部材４、マニピュレータ５、可視化検出モジュール７、及び可視化ガス噴射装置６の遠隔操作を行う。
画像処理部１７は、撮影装置１９によって撮影された画像に対して画像処理を行う。
The remote operation unit 10 performs remote operation of the movable carriage 3, the multistage telescopic member 4, the manipulator 5, the visualization detection module 7, and the visualization gas injection device 6.
The image processing unit 17 performs image processing on the image photographed by the photographing device 19.
移動台車３は、台車本体１１と、台車本体１１を走行させる無限軌道１２（クローラー）と、無限軌道１２を駆動させる駆動装置（図示せず）と、台車本体１１の前後方向に突出するアウトトリガ１３とを有する車両である。 The movable carriage 3 includes a carriage body 11, an endless track 12 (crawler) that drives the carriage body 11, a drive device (not shown) that drives the endless track 12, and an out trigger that protrudes in the front-rear direction of the carriage body 11. 13.
移動台車３は、遠隔操作部１０による操作により任意の位置に移動可能である。また、移動台車３の移動は、アウトトリガ１３によって制限されている。即ち、移動台車３が移動しアウトトリガ１３に外部物体が接触することによって、移動台車３の移動が停止するように設定されている。
なお、移動台車３の移動は、無限軌道１２のみならず、タイヤ車輪によってなされる構成としてもよい。
The movable carriage 3 can be moved to an arbitrary position by an operation by the remote operation unit 10. Further, the movement of the movable carriage 3 is restricted by the out trigger 13. That is, the movement of the movable carriage 3 is set to stop when the movable carriage 3 moves and an external object comes into contact with the out trigger 13.
The movement of the movable carriage 3 may be configured not only by the endless track 12 but also by tire wheels.
多段伸縮部材４は、テレスコープ状の多重筒型伸縮機構であり、移動台車３の上面に取り付けられた三段階の筒部を有している。多段伸縮部材４は、所定の油圧システムによって、伸縮自在に構成されており、マニピュレータ５、可視化検出モジュール７、及びノズル３２を任意の高さ位置へ位置決め可能としている。
多段伸縮部材４は、例えば、８，０００ｍｍ程度の到達距離を有することが好ましい。また、筒部の段数は三段階に限らず、さらに多段とすることもできる。
The multistage telescopic member 4 is a telescopic multi-tubular telescopic mechanism, and has a three-stage cylindrical portion attached to the upper surface of the movable carriage 3. The multistage extendable member 4 is configured to be extendable and retractable by a predetermined hydraulic system, and can position the manipulator 5, visualization detection module 7, and nozzle 32 at an arbitrary height position.
The multistage elastic member 4 preferably has a reach distance of about 8,000 mm, for example. Moreover, the number of stages of the cylindrical portion is not limited to three, and can be further increased.
マニピュレータ５は、７つの軸（関節）を備えた７軸（７自由度）マニピュレータ（多関節ロボット）である。マニピュレータ５は、８本のアーム１４と、各々のアーム１４を接続する７つの軸１５とを有しており、最も基端側のアーム１４が多段伸縮部材４の先端に設置されており、最も先端側のアーム１４にはブラケット１６を介して気流可視化センサ８（可視化検出モジュール７とノズル３２）が取り付けられている。なお、マニピュレータ５の自由度は７自由度に限らず、様々な自由度のマニピュレータを採用することができる。 The manipulator 5 is a seven-axis (7 degrees of freedom) manipulator (multi-joint robot) having seven axes (joints). The manipulator 5 has eight arms 14 and seven shafts 15 that connect the respective arms 14, and the most proximal arm 14 is installed at the distal end of the multistage telescopic member 4. An air flow visualization sensor 8 (a visualization detection module 7 and a nozzle 32) is attached to the distal arm 14 via a bracket 16. The degree of freedom of the manipulator 5 is not limited to 7 degrees of freedom, and manipulators with various degrees of freedom can be employed.
図２及び図３に示すように、可視化検出モジュール７は、ケーシング１８と、ケーシング１８の内部に配置された撮影装置１９と、白色照明装置２０と、レーザユニット２１とを有している。ケーシング１８は、箱形状をなし、一面にはカメラ窓２３と、白色照明光源窓２４と、シートレーザ窓２５が設けられている。 As shown in FIGS. 2 and 3, the visualization detection module 7 includes a casing 18, a photographing device 19 arranged inside the casing 18, a white illumination device 20, and a laser unit 21. The casing 18 has a box shape, and a camera window 23, a white illumination light source window 24, and a sheet laser window 25 are provided on one surface.
撮影装置１９は、撮影装置本体２６と、撮影装置本体２６を旋回可能とする旋回機構２７（旋回手段）とを有している。撮影装置本体２６は、高解像度ＣＣＤカメラであり、カメラ窓２３を介して可視化ガスＧ中の微粒子群を撮影可能とされている。撮影装置本体２６は、画像処理部１７と接続されており、撮影された画像情報を送信可能である。 The photographing device 19 includes a photographing device body 26 and a turning mechanism 27 (turning means) that enables the photographing device body 26 to turn. The imaging device main body 26 is a high-resolution CCD camera, and can capture a group of particles in the visualization gas G through the camera window 23. The photographing apparatus body 26 is connected to the image processing unit 17 and can transmit photographed image information.
旋回機構２７は、撮影装置本体２６を一方向あるいは一方向に直交する他方向に旋回させる機構である。即ち、撮影装置本体２６による撮影方向を、左右及び上下（パン・チルト）に動かすことが可能な機構である。旋回機構２７は、遠隔操作部１０と接続されており、撮影装置本体２６の方向を遠隔操作可能とされている。 The turning mechanism 27 is a mechanism for turning the photographing apparatus main body 26 in one direction or in another direction orthogonal to the one direction. That is, this is a mechanism that can move the photographing direction of the photographing apparatus body 26 left and right and up and down (pan / tilt). The turning mechanism 27 is connected to the remote control unit 10 so that the direction of the photographing apparatus body 26 can be remotely controlled.
白色照明装置２０は、白色照明光源窓２４を介して白色光を照射することによって検査対象を明るくするための装置であり、例えば、ＬＥＤを採用することができる。 The white illumination device 20 is a device for brightening an inspection object by irradiating white light through the white illumination light source window 24. For example, an LED can be employed.
レーザユニット２１は、レーザ光源２８と、レーザ光源２８より出射されるレーザをシート状のレーザ光Ｓ（図１及び図４参照。以下、シートレーザ光と呼ぶ）に変換するシート形成レンズ２９と、シートレーザ光Ｓを反射して走査する可動ミラーであるガルバノミラー３０を有している。レーザ光源２８は、レーザを出射する光源であり、レーザ光源２８より出射されたレーザがシート形成レンズ２９に入射するように方向付けられている。 The laser unit 21 includes a laser light source 28, a sheet forming lens 29 that converts a laser emitted from the laser light source 28 into a sheet-like laser light S (see FIGS. 1 and 4; hereinafter referred to as a sheet laser light), It has a galvanometer mirror 30 that is a movable mirror that reflects and scans the sheet laser beam S. The laser light source 28 is a light source that emits a laser, and is oriented so that the laser emitted from the laser light source 28 enters the sheet forming lens 29.
シート形成レンズ２９は、レーザ光源２８から出射されたレーザを扇形のシートレーザ光Ｓに変換するためのレンズであり、レーザ光源２８と協働してシートレーザ光Ｓの照射装置として機能する。
ガルバノミラー３０は、揺動軸のまわりに反射面が所定の振れ角で往復揺動することにより、シートレーザ光Ｓを反射して走査するミラー装置である。
また、可視化検出モジュール７の制御装置と電源とを収容したユニット２２（図１参照）が、多段伸縮部材４の先端部に取り付けられている。
The sheet forming lens 29 is a lens for converting the laser emitted from the laser light source 28 into a fan-shaped sheet laser light S, and functions as an irradiation device for the sheet laser light S in cooperation with the laser light source 28.
The galvanometer mirror 30 is a mirror device that reflects and scans the sheet laser light S when the reflection surface reciprocally swings around a swing axis at a predetermined swing angle.
Further, a unit 22 (see FIG. 1) that accommodates the control device and power supply of the visualization detection module 7 is attached to the distal end portion of the multistage elastic member 4.
可視化ガス噴射装置６は、可視化ガスＧを噴射するノズル３２と、本体ユニット３３から構成されている。
本体ユニット３３は、可視化ガスＧを生成するとともに、生成された可視化ガスＧを圧送するポンプと、電源と、可視化ガス噴射装置６の制御装置とを備えており、多段伸縮部材４の先端に取り付けられている。ノズル３２と本体ユニット３３とは、配管Ｄによって接続されており、可視化ガスＧは配管Ｄを介してノズル３２に供給されている。可視化ガスＧに含まれる微粒子Ｐは、アルミニウムなどの金属粉や、樹脂粉が好ましい。また、微粒子Ｐの粒径は測定対象に応じて適宜決定される。
The visualization gas injection device 6 includes a nozzle 32 that injects a visualization gas G and a main body unit 33.
The main body unit 33 includes a pump that generates the visualization gas G and pumps the generated visualization gas G, a power source, and a control device for the visualization gas injection device 6, and is attached to the tip of the multistage expansion member 4. It has been. The nozzle 32 and the main unit 33 are connected by a pipe D, and the visualization gas G is supplied to the nozzle 32 through the pipe D. The fine particles P contained in the visualization gas G are preferably metal powder such as aluminum or resin powder. Further, the particle size of the fine particles P is appropriately determined according to the measurement target.
また、本体ユニット３３に内蔵されているポンプは気体を吸引する機能も備えており、ノズル３２を介してノズル３２周辺の気体を吸引することができる。即ち、ノズル３２を微粒子を吸引する吸引装置として機能させることができる。
上述したように、ノズル３２はマニピュレータ５の先端に取り付けられており、可視化検出モジュール７とともに気流可視化センサ８を構成している。
The pump built in the main unit 33 also has a function of sucking gas, and can suck the gas around the nozzle 32 through the nozzle 32. That is, the nozzle 32 can function as a suction device that sucks fine particles.
As described above, the nozzle 32 is attached to the tip of the manipulator 5 and constitutes the air flow visualization sensor 8 together with the visualization detection module 7.
次に、本実施形態の漏洩箇所検知装置１の使用方法について説明する。
オペレータは、移動台車３を遠隔操作して、検知装置本体２を検査対象の近傍まで移動させる。具体的には、オペレータが制御装置９の遠隔操作部１０を介して移動台車３との無線通信により移動台車３を操作して、所望の位置まで検知装置本体２を移動させる。
次いで、同様に、多段伸縮部材４を遠隔操作して、気流可視化センサ８を所望の高さまで引き上げ、さらにマニピュレータ５を用いて気流可視化センサ８を測定対象である配管Ｄに向ける。この際、測定対象の周辺物の映り込みが最も少なくなる場所に撮影装置１９を位置決めする。
Next, the usage method of the leak location detection apparatus 1 of this embodiment is demonstrated.
The operator remotely operates the movable carriage 3 to move the detection device main body 2 to the vicinity of the inspection target. Specifically, the operator operates the moving carriage 3 by wireless communication with the moving carriage 3 via the remote operation unit 10 of the control device 9 to move the detection device main body 2 to a desired position.
Next, similarly, the multistage telescopic member 4 is remotely operated to pull up the air flow visualization sensor 8 to a desired height, and the manipulator 5 is used to direct the air flow visualization sensor 8 to the pipe D that is the measurement target. At this time, the photographing device 19 is positioned at a place where the reflection of the peripheral object to be measured is minimized.
次いで、図４に示すように、遠隔操作により、可視化ガスＧ（微粒子Ｐ）を可視化ガス噴射装置６から散布し、測定対象である配管Ｄの周辺に浮遊させる。
次いで、遠隔操作により、シートレーザ光Ｓをガルバノミラー３０により走査し、浮遊した微粒子Ｐに照射する。即ち、浮遊した微粒子Ｐのうち、シートレーザ光Ｓが照射されている微粒子Ｐ１が撮影装置１９によって撮影可能となる。
Next, as shown in FIG. 4, the visualization gas G (fine particles P) is dispersed from the visualization gas injection device 6 by remote control and is suspended around the pipe D that is the measurement target.
Next, the sheet laser beam S is scanned by the galvanometer mirror 30 by remote operation, and the suspended fine particles P are irradiated. That is, among the suspended fine particles P, the fine particles P 1 irradiated with the sheet laser light S can be photographed by the photographing device 19.
ここで、制御装置９の画像処理部１７は、任意の微粒子Ｐ１について、撮影装置１９によって撮影された画像上での座標位置から方位角θを算出するとともに、シートレーザ光の照射角度φとガルバノミラー３０と撮影装置１９の光軸間の距離Ｌから、三角測量の原理により三次元位置を計測する。
図５に示すように、計測された微粒子Ｐ１の三次元位置は、所定の表示装置３５に三次元的に表示されて可視化される。
Here, the image processing unit 17 of the control device 9 calculates the azimuth angle θ for the arbitrary fine particle P1 from the coordinate position on the image photographed by the photographing device 19, and the irradiation angle φ of the sheet laser light and the galvanometer. From the distance L between the optical axis of the mirror 30 and the imaging device 19, the three-dimensional position is measured by the principle of triangulation.
As shown in FIG. 5, the measured three-dimensional position of the fine particles P1 is three-dimensionally displayed on a predetermined display device 35 and visualized.
漏洩がない箇所において、微粒子Ｐ１の乱れがないのに対し、漏洩がある箇所においては、配管Ｄ等からの噴き出しによる気流の変化により微粒子の乱れが発生するため微粒子Ｐ１の乱れを可視化することによって漏洩箇所Ｃの特定が可能となる。 In the place where there is no leakage, there is no disturbance of the fine particle P1, whereas in the place where there is a leakage, the disturbance of the fine particle P1 occurs due to the change of the air flow caused by the flow of air from the pipe D, etc. It is possible to identify the leaked portion C.
また、図６に示すように、撮影装置本体２６を旋回させることによって、計測箇所である配管Ｄが遠い場合にも対応が可能である。即ち、図６（ａ）に示すように、配管Ｄと可視化検出モジュール７との距離Ｌ１が小さい場合においても、図６（ｂ）に示すように、配管Ｄと可視化検出モジュール７との距離Ｌ２が大きい場合においても、撮影装置本体２６を遠隔操作により旋回させることによって、配管Ｄを含む画像を撮影することができる。この際、フォーカス（焦点距離）の操作も同時に行うことができる。 Further, as shown in FIG. 6, by rotating the photographing apparatus main body 26, it is possible to cope with a case where the pipe D which is a measurement location is far away. That is, as shown in FIG. 6A, even when the distance L1 between the pipe D and the visualization detection module 7 is small, the distance L2 between the pipe D and the visualization detection module 7 as shown in FIG. Even when is large, an image including the pipe D can be taken by turning the photographing apparatus body 26 by remote control. At this time, a focus (focal length) operation can be performed simultaneously.
上記実施形態によれば、気流可視化センサ８と画像処理部１７を用いて、可視化ガス噴射装置６によって噴射された微粒子Ｐの乱れを可視化することにより、漏洩箇所Ｃの特定が可能となる。 According to the above embodiment, the leakage location C can be identified by visualizing the disturbance of the fine particles P injected by the visualization gas injection device 6 using the airflow visualization sensor 8 and the image processing unit 17.
また、マニピュレータ５を用いて気流可視化センサ８を測定箇所に誘導するとともに、旋回機構２７を用いて撮影装置本体２６を旋回させることにより、撮影装置１９の撮影範囲がより広範囲となるため、狭隘な場所の漏洩箇所検知が可能となる。 In addition, the manipulator 5 is used to guide the air flow visualization sensor 8 to the measurement location, and the swiveling mechanism 27 is used to swivel the photographing device main body 26, so that the photographing range of the photographing device 19 becomes wider. It is possible to detect a leaked location.
また、多段伸縮部材４を用いて気流可視化センサ８をより高い位置に位置させることができるため、より高い場所の漏洩箇所検知が可能となる。
また、移動台車３を遠隔操作することにより、気流可視化センサ８を任意の場所に移動可能となるため、人の立ち入りが制限されるような場所の漏洩箇所検知が可能となる。
さらに、検査後に微粒子Ｐを吸引することによって、微粒子Ｐによって測定対象が汚れるのを防止することができる。
In addition, since the air flow visualization sensor 8 can be positioned at a higher position using the multistage expansion / contraction member 4, it is possible to detect a leakage location at a higher location.
Further, since the airflow visualization sensor 8 can be moved to an arbitrary place by remotely operating the movable carriage 3, it is possible to detect a leaked place in a place where the entry of people is restricted.
Further, by sucking the fine particles P after the inspection, it is possible to prevent the measurement target from being contaminated by the fine particles P.
なお、本発明の技術範囲は上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、種々の変更を加えることが可能である。例えば、上記実施形態においては、一台の撮影装置１９を用いて撮影を行う構成としたが、これに限ることはなく、二台以上の撮影装置１９を用いて撮影を行い、微粒子Ｐの三次元位置の精度を向上させることができる。
以上で、漏洩箇所検知装置１の処理についての詳細な説明を終える。
The technical scope of the present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, in the above embodiment, the configuration is such that imaging is performed using one imaging device 19, but the present invention is not limited to this, and imaging is performed using two or more imaging devices 19, and the tertiary of the fine particles P The accuracy of the original position can be improved.
Above, the detailed description about the process of the leak location detection apparatus 1 is finished.
次に、図７を用いて制御装置９の詳細の説明をする。図７は、制御装置９の第一実施形態（制御装置９ａ）の機能構成を表す概略ブロック図である。制御装置９ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、制御プログラムを実行する。制御プログラムの実行によって、制御装置９ａは、遠隔操作部１０、画像処理部１７を備える装置として機能する。また、画像処理部１７は、入力部４０、３次元モデル生成部４１、操作部４２、画像生成部４３及び表示部４４として機能する。なお、制御装置９ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、制御プログラムは、電気通信回線を介して送受信されても良い。 Next, details of the control device 9 will be described with reference to FIG. FIG. 7 is a schematic block diagram showing a functional configuration of the first embodiment (control device 9a) of the control device 9. The control device 9a includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, and the like connected by a bus, and executes a control program. By executing the control program, the control device 9a functions as a device including the remote operation unit 10 and the image processing unit 17. The image processing unit 17 functions as an input unit 40, a three-dimensional model generation unit 41, an operation unit 42, an image generation unit 43, and a display unit 44. Note that all or part of each function of the control device 9a may be realized using hardware such as an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA). The control program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. Further, the control program may be transmitted / received via a telecommunication line.
遠隔操作部１０は、キーボード、マウス、ハンドル、スティック等の入力装置を備える。遠隔操作部１０は、オペレータによって入力装置が操作された内容（操作内容）に応じて、漏洩箇所検知装置１の各機構、各装置に対して制御信号を送信する。漏洩箇所検知装置１の各機構、各装置は、遠隔操作部１０が出力した制御信号に応じて動作する。このように、オペレータは、遠隔操作部１０の入力装置を操作することによって、漏洩箇所検知装置１を遠隔操作することが可能となる。 The remote control unit 10 includes input devices such as a keyboard, a mouse, a handle, and a stick. The remote operation unit 10 transmits a control signal to each mechanism and each device of the leak location detection device 1 according to the content (operation content) of the operation of the input device by the operator. Each mechanism and each device of the leak location detection device 1 operate according to a control signal output from the remote operation unit 10. In this manner, the operator can remotely operate the leak location detection device 1 by operating the input device of the remote operation unit 10.
画像処理部１７は、撮影装置１９が撮影した画像データを用いて３次元モデルを生成する。以下、画像処理部１７の具体的な構成について説明する。
入力部４０は、制御装置９ａに対して入力される画像データを受け付ける。入力部４０は、撮影装置１９によって撮影された画像データを受信し、画像処理部１７に入力する。入力部４０は、画像データの入力が可能な構成であれば、どのような態様で構成されても良い。以下の説明では、入力部４０によって入力された画像を、「入力画像」という。
The image processing unit 17 generates a three-dimensional model using the image data photographed by the photographing device 19. Hereinafter, a specific configuration of the image processing unit 17 will be described.
The input unit 40 receives image data input to the control device 9a. The input unit 40 receives image data captured by the imaging device 19 and inputs the image data to the image processing unit 17. The input unit 40 may be configured in any manner as long as image data can be input. In the following description, an image input by the input unit 40 is referred to as an “input image”.
３次元モデル生成部４１は、入力部４０から入力される複数の入力画像を３次元空間に投影することによって３次元モデルを生成する。例えば、３次元モデル生成部４１は以下のような処理で３次元モデルを生成する。まず、３次元モデル生成部４１は、入力画像毎に、画像撮影時のカメラのパラメータ（視点位置、視線方向など）を取得する。３次元モデル生成部４１は、カメラのパラメータとスクリーン座標とに基づいて、入力画像の各画素に撮影されている物体の空間座標（三次元空間の座標）を算出する。３次元モデル生成部４１は、複数の入力画像に対して上述した処理を行うことで、３次元モデルを生成する。このような処理は、例えばエピポーラ幾何拘束を用いたイメージベースドモデリング等の技術で実現されても良い。 The three-dimensional model generation unit 41 generates a three-dimensional model by projecting a plurality of input images input from the input unit 40 onto a three-dimensional space. For example, the three-dimensional model generation unit 41 generates a three-dimensional model by the following process. First, the three-dimensional model generation unit 41 acquires camera parameters (viewpoint position, line-of-sight direction, etc.) at the time of image capture for each input image. The three-dimensional model generation unit 41 calculates the spatial coordinates (coordinates of the three-dimensional space) of the object photographed at each pixel of the input image based on the camera parameters and the screen coordinates. The three-dimensional model generation unit 41 generates a three-dimensional model by performing the above-described processing on a plurality of input images. Such processing may be realized by a technique such as image-based modeling using epipolar geometric constraints, for example.
操作部４２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部４２は、オペレータの指示を制御装置９ａに入力する際にオペレータによって操作される。操作部４２は、入力装置を制御装置９ａに接続するためのインタフェースであっても良い。この場合、操作部４２は、入力装置においてユーザの入力に応じ生成された入力信号を制御装置９ａに入力する。操作部４２は、例えば表示部４４に表示される画像のパラメータ（視点位置、視線方向など：以下、「表示画像パラメータ」という。）を指定する際に操作される。 The operation unit 42 is configured using an existing input device such as a keyboard, a pointing device (such as a mouse or a tablet), a button, or a touch panel. The operation unit 42 is operated by the operator when inputting the operator's instruction to the control device 9a. The operation unit 42 may be an interface for connecting the input device to the control device 9a. In this case, the operation unit 42 inputs an input signal generated in response to a user input in the input device to the control device 9a. The operation unit 42 is operated, for example, when specifying parameters of an image displayed on the display unit 44 (viewpoint position, line-of-sight direction, etc .; hereinafter referred to as “display image parameters”).
画像生成部４３は、操作部４２によって入力された表示画像パラメータに基づいて、３次元モデル生成部４１によって生成された３次元モデルをスクリーン（仮想シート面）に投影することによって画像を生成する。例えば、画像生成部４３の処理は以下のように行われても良い。まず、画像生成部４３は、操作部４２によって入力された表示画像パラメータに基づいて、仮想シート面の位置（例えばスクリーン座標系の原点となるスクリーンの左上隅の空間座標）と、向き（例えば法線ベクトル）とを決定する。そして、画像生成部４３は、決定された仮想シート面に対して、３次元モデルを投影する。このような投影によって、画像生成部４３は表示画像を生成する。
表示部４４は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等を用いて構成される。表示部４４は、画像生成部４３によって生成された表示画面を表示する。
The image generation unit 43 generates an image by projecting the three-dimensional model generated by the three-dimensional model generation unit 41 on a screen (virtual sheet surface) based on the display image parameter input by the operation unit 42. For example, the processing of the image generation unit 43 may be performed as follows. First, the image generation unit 43, based on the display image parameters input by the operation unit 42, the position of the virtual sheet surface (for example, the spatial coordinates of the upper left corner of the screen that is the origin of the screen coordinate system) and the direction (for example, the modulus) Line vector). Then, the image generation unit 43 projects a three-dimensional model on the determined virtual sheet surface. By such projection, the image generation unit 43 generates a display image.
The display unit 44 is configured using a CRT (Cathode Ray Tube) display, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like. The display unit 44 displays the display screen generated by the image generation unit 43.
図８は、微粒子Ｐの可視化の具体例を示す図である。
図８（Ａ）は、可視化された微粒子Ｐを、配管３４（構造物）の漏洩箇所からの吐出方向に対向する方向から撮影した図である。つまり、図８（Ａ）の画像は吐出方向に直交した平面の画像である。図８（Ａ）には、可視化された微粒子Ｐが渦を巻いている姿が多く撮影されている。例えば、図８（Ａ）では円１００の位置周辺に渦を巻いている可視化された微粒子Ｐが見られる。これは、円１００の位置からガス等が漏洩しているために生じる現象である。
FIG. 8 is a diagram illustrating a specific example of visualization of the fine particles P.
FIG. 8A is a diagram in which the visualized fine particles P are photographed from the direction opposite to the discharge direction from the leaked portion of the pipe 34 (structure). That is, the image in FIG. 8A is a flat image orthogonal to the ejection direction. In FIG. 8A, many images of the visualized fine particles P swirling are taken. For example, in FIG. 8A, visualized fine particles P that are swirled around the position of the circle 100 are seen. This is a phenomenon that occurs because gas or the like leaks from the position of the circle 100.
図８（Ｂ）は、可視化された微粒子Ｐを、配管３４（構造物）の漏洩箇所からの吐出方向に対して直交する方向から撮影した図である。つまり、図８（Ｂ）の画像は吐出方向に平行した平面の画像である。図８（Ｂ）には、可視化された微粒子Ｐが右方向を頂点とした略円錐状を形成している状態が撮影されている。これは、略円錐状の頂点付近からガス等が漏洩しているために生じる現象である。
図８（Ａ）及び図８（Ｂ）を参照することによって、ガス等が漏洩している箇所や吐出方向などを容易に判断することが可能となる。
FIG. 8B is a diagram in which the visualized fine particles P are photographed from a direction orthogonal to the discharge direction from the leakage portion of the pipe 34 (structure). That is, the image in FIG. 8B is a flat image parallel to the ejection direction. FIG. 8B shows a state where the visualized fine particles P form a substantially conical shape with the right direction as the apex. This is a phenomenon that occurs because gas or the like leaks from the vicinity of a substantially conical apex.
By referring to FIGS. 8A and 8B, it is possible to easily determine the location where gas or the like leaks, the discharge direction, and the like.
図９は、入力画像を３次元空間に投影する一例を示す図である。
図９（Ａ）は、時刻Ｔ＝１に撮影された構造物の図である。図９（Ａ）の上図は、時刻Ｔ＝１の入力画像である。図９（Ａ）の下図は、３次元モデル生成部４１が時刻Ｔ＝１の入力画像を３次元空間に投影した図である。
FIG. 9 is a diagram illustrating an example of projecting an input image onto a three-dimensional space.
FIG. 9A is a diagram of the structure photographed at time T = 1. The upper diagram in FIG. 9A is an input image at time T = 1. The lower diagram of FIG. 9A is a diagram in which the three-dimensional model generation unit 41 projects an input image at time T = 1 on a three-dimensional space.
図９（Ｂ）は、時刻Ｔ＝２の時に撮影された図である。図９（Ｂ）の上図は、時刻Ｔ＝２の入力画像である。図９（Ｂ）の下図は、３次元モデル生成部４１が時刻Ｔ＝２の入力画像を３次元空間に投影した図である。 FIG. 9B is a picture taken at time T = 2. The upper diagram in FIG. 9B is an input image at time T = 2. The lower diagram of FIG. 9B is a diagram in which the three-dimensional model generation unit 41 projects an input image at time T = 2 on a three-dimensional space.
図９（Ｃ）は、時刻Ｔ＝３の時に撮影された図である。図９（Ｃ）の上図は、時刻Ｔ＝３の入力画像である。図９（Ｃ）の下図は、３次元モデル生成部４１が時刻Ｔ＝３の入力画像を３次元空間に投影した図である。 FIG. 9C is a diagram taken at time T = 3. The upper diagram in FIG. 9C is an input image at time T = 3. The lower diagram of FIG. 9C is a diagram in which the three-dimensional model generation unit 41 projects the input image at time T = 3 onto the three-dimensional space.
図１０は、本発明の第一実施形態における３次元モデル生成処理の流れを表すフローチャートである。
入力部４０は、撮影された複数の画像を入力する。具体的には、入力部４０は、可視化ガス噴射装置６が噴射した微粒子Ｐが撮影された複数の画像を入力する（ステップＳ１０１）。画像において、微粒子Ｐは、レーザユニット２１が照射したシートレーザ光Ｓが反射することによって可視化されている。
３次元モデル生成部４１は、入力された複数の入力画像を３次元空間に投影し、３次元モデルを生成する（ステップＳ１０２、ステップＳ１０３）。画像生成部４３は、操作部４２によって入力された表示画像パラメータに基づいて、表示画像を生成する。そして、表示部４４は、画像生成部４３によって生成された表示画像を表示する（ステップＳ１０４）。
FIG. 10 is a flowchart showing the flow of the three-dimensional model generation process in the first embodiment of the present invention.
The input unit 40 inputs a plurality of captured images. Specifically, the input unit 40 inputs a plurality of images taken of the fine particles P ejected by the visualization gas ejection device 6 (step S101). In the image, the fine particles P are visualized by reflecting the sheet laser light S irradiated by the laser unit 21.
The three-dimensional model generation unit 41 projects a plurality of input images input to a three-dimensional space to generate a three-dimensional model (Steps S102 and S103). The image generation unit 43 generates a display image based on the display image parameter input by the operation unit 42. Then, the display unit 44 displays the display image generated by the image generation unit 43 (step S104).
上記のように構成された制御装置９ａは、複数の入力画像を用いて３次元モデルを生成する。３次元モデルを生成することによって、撮影した視点位置と異なる視点位置で、撮像された微粒子Ｐを把握できる。例えば、狭隘空間など所望の方向や視点位置からの撮影が困難な場所においても、生成された３次元モデルに基づいて任意の視点位置から任意の視線方向で見た場合の画像を視認できる。そのため、例えば漏洩検出の対象となる構造物に対して直交方向及び平行方向からの画像を視認することができる。したがって、漏洩箇所の把握が容易になる。すなわち、オペレータは、一枚の画像から漏洩箇所を把握していた時よりも正確に漏洩箇所を把握することができる。その結果、漏洩箇所の特定作業の信頼性を向上させることができる。 The control device 9a configured as described above generates a three-dimensional model using a plurality of input images. By generating the three-dimensional model, the captured fine particles P can be grasped at a viewpoint position different from the captured viewpoint position. For example, even in a place where photographing from a desired direction or viewpoint position is difficult, such as in a narrow space, an image when viewed from an arbitrary viewpoint position in an arbitrary line-of-sight direction can be viewed based on the generated three-dimensional model. Therefore, for example, it is possible to visually recognize images from the orthogonal direction and the parallel direction with respect to the structure that is the target of leakage detection. Therefore, it becomes easy to grasp the leaked portion. That is, the operator can grasp the leakage location more accurately than when the leakage location is grasped from one image. As a result, it is possible to improve the reliability of the work for identifying the leaked portion.
＜変形例＞
本実施形態では、一台の撮影装置１９を用いて撮影を行う構成としたが、これに限定される必要はなく、二台以上の撮影装置１９を用いて撮影を行っても良い。このように構成されることによって、３次元モデルの精度を向上させることができる。
撮影装置１９が撮影した入力画像を一度ハードディスクなどの記録媒体に記録して、制御装置９ａが入力画像を読み出しながら処理を行っても良い。
本実施形態では、撮影装置１９とレーザユニット２１とが可視化検出モジュール７として一体化された構成をしているが、これに限定される必要はない。例えば、撮影装置１９とレーザユニット２１とがそれぞれ異なる装置に配置されても良い。
<Modification>
In the present embodiment, the photographing is performed using one photographing device 19, but the present invention is not limited to this, and the photographing may be performed using two or more photographing devices 19. With this configuration, the accuracy of the three-dimensional model can be improved.
The input image photographed by the photographing device 19 may be once recorded on a recording medium such as a hard disk, and the control device 9a may perform the processing while reading the input image.
In the present embodiment, the imaging device 19 and the laser unit 21 are integrated as the visualization detection module 7, but it is not necessary to be limited to this. For example, the photographing device 19 and the laser unit 21 may be arranged in different devices.
［第二実施形態］
図１１は、制御装置９の第二実施形態（制御装置９ｂ）の機能構成を表す概略ブロック図である。制御装置９ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、制御プログラムを実行する。制御プログラムの実行によって、制御装置９ｂは、遠隔操作部１０、画像処理部１７ｂ、移動先決定装置５０を備える装置として機能する。また、画像処理部１７ｂは、入力部４０、３次元モデル生成部４１、操作部４２、画像生成部４３、表示部４４及び判断部６３として機能する。また、移動先決定装置５０は、距離計測部５１及び移動先決定部５２として機能する。なお、制御装置９ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、制御プログラムは、電気通信回線を介して送受信されても良い。
[Second Embodiment]
FIG. 11 is a schematic block diagram showing a functional configuration of the second embodiment (control device 9 b) of the control device 9. The control device 9b includes a CPU, a memory, an auxiliary storage device, and the like connected by a bus, and executes a control program. By executing the control program, the control device 9b functions as a device including the remote operation unit 10, the image processing unit 17b, and the movement destination determination device 50. The image processing unit 17 b functions as the input unit 40, the three-dimensional model generation unit 41, the operation unit 42, the image generation unit 43, the display unit 44, and the determination unit 63. Further, the movement destination determination device 50 functions as a distance measurement unit 51 and a movement destination determination unit 52. Note that all or part of the functions of the control device 9b may be realized using hardware such as an ASIC, PLD, or FPGA. The control program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. Further, the control program may be transmitted / received via a telecommunication line.
制御装置９ｂは、移動先決定装置５０を備えている点、画像処理部１７ａに代えて画像処理部１７ｂを備える点で制御装置９ａと構成が異なる。画像処理部１７ｂは、判断部６３を備える点で画像処理部１７ａと異なる。制御装置９ｂ及び画像処理部１７ｂは、他の構成についてはそれぞれ制御装置９ａ及び画像処理部１７ａと同様である。そのため、制御装置９ｂ全体の説明は省略し、移動先決定装置５０及び判断部６３について説明する。
移動先決定装置５０は、配管やパイプなどの構造物を撮影する際に使用するアーム１４の移動先を決定する。以下、移動先決定装置５０の具体的な構成について説明する。
The control device 9b is different in configuration from the control device 9a in that it includes a destination determination device 50 and in that it includes an image processing unit 17b instead of the image processing unit 17a. The image processing unit 17b differs from the image processing unit 17a in that it includes a determination unit 63. The other configurations of the control device 9b and the image processing unit 17b are the same as those of the control device 9a and the image processing unit 17a, respectively. Therefore, description of the whole control apparatus 9b is abbreviate | omitted, and the movement destination determination apparatus 50 and the judgment part 63 are demonstrated.
The movement destination determination device 50 determines the movement destination of the arm 14 used when photographing structures such as pipes and pipes. Hereinafter, a specific configuration of the movement destination determination device 50 will be described.
距離計測部５１は、カメラ（撮影装置１９）と構造物との距離を測定する。距離計測部５１は、例えば複数のカメラを用いて構成され、光切断法を用いて距離を測定しても良い。また、距離計測部５１は、赤外線等の電磁波を照射し、タイムオブフライト法（Time Of Flight法）を用いて距離を測定しても良い。距離計測部５１は、他の方法を用いて距離を測定しても良い。距離計測部５１は、距離の測定結果に基づいて、構造物の３次元形状を計測する。
移動先決定部５２は、距離計測部５１の計測結果に基づいて、アーム１４の移動先を決定する。例えば、移動先決定部５２は、アーム１４と構造物との距離が一定となるように移動先を決定しても良い。
判断部６３は、構造物全体の漏洩検出を行ったか否かを判断する。
The distance measuring unit 51 measures the distance between the camera (imaging device 19) and the structure. The distance measuring unit 51 may be configured using, for example, a plurality of cameras, and may measure the distance using a light cutting method. Moreover, the distance measurement part 51 may irradiate electromagnetic waves, such as infrared rays, and may measure a distance using the time of flight method (Time Of Flight method). The distance measuring unit 51 may measure the distance using another method. The distance measuring unit 51 measures the three-dimensional shape of the structure based on the distance measurement result.
The movement destination determination unit 52 determines the movement destination of the arm 14 based on the measurement result of the distance measurement unit 51. For example, the movement destination determination unit 52 may determine the movement destination so that the distance between the arm 14 and the structure is constant.
The determination unit 63 determines whether leakage of the entire structure has been detected.
図１２は、３次元形状の計測の一例を示す図である。
レーザ光源２８は、シートレーザ光Ｓ１０４をガルバノミラー３０に照射する。ガルバノミラー３０は、揺動軸のまわりに反射面が所定の振れ角で往復揺動することにより、シートレーザ光Ｓ１０４を反射して配管３４上に走査する。撮影装置１９は、シートレーザ光Ｓ１０４が照射されている配管３４を撮影する。その後、撮影装置１９は、撮影した画像を制御装置９ｂに送信する。制御装置９ｂの距離計測部５１は、光切断法を用いて配管３４の３次元形状を計測する。
FIG. 12 is a diagram illustrating an example of measurement of a three-dimensional shape.
The laser light source 28 irradiates the galvanometer mirror 30 with the sheet laser light S104. The galvanometer mirror 30 scans the pipe 34 by reflecting the sheet laser light S104 by reciprocally swinging the reflection surface around the swing axis at a predetermined swing angle. The photographing device 19 photographs the pipe 34 irradiated with the sheet laser light S104. Thereafter, the photographing device 19 transmits the photographed image to the control device 9b. The distance measuring unit 51 of the control device 9b measures the three-dimensional shape of the pipe 34 using a light cutting method.
図１３は、本発明の第二実施形態における自動走査の処理の流れを示すフローチャートである。
気流可視化センサ８は、オペレータに遠隔操作されることによって、構造物に近い位置に設定される（ステップＳ２０１）。レーザユニット２１は、オペレータに遠隔操作されることによってシートレーザ光Ｓ１０４を照射する（ステップＳ２０２）。ガルバノミラー３０は、照射されたシートレーザ光Ｓ１０４を反射することによって構造物を走査する。撮影装置１９は、オペレータに遠隔操作されることによってシートレーザ光Ｓ１０４が照射されている構造物を撮影する。撮影装置本体２６は、撮影装置１９が撮影した複数の画像を制御装置９ｂに送信する。
FIG. 13 is a flowchart showing a flow of automatic scanning processing in the second embodiment of the present invention.
The air flow visualization sensor 8 is set at a position close to the structure by being remotely operated by the operator (step S201). The laser unit 21 irradiates the sheet laser light S104 by being remotely operated by an operator (step S202). The galvanometer mirror 30 scans the structure by reflecting the irradiated sheet laser beam S104. The imaging device 19 images the structure irradiated with the sheet laser light S104 by being remotely operated by an operator. The imaging device body 26 transmits a plurality of images taken by the imaging device 19 to the control device 9b.
入力部４０は、撮影装置本体２６が送信した複数の画像の入力を受け付ける。距離計測部５１は、入力された複数の入力画像から構造物の３次元形状を計測する（ステップＳ２０３）。距離計測部５１は、気流可視化センサ８の移動量を算出する（ステップＳ２０４）。移動先決定部５２は、距離計測部５１が計測した３次元形状のデータと気流可視化センサ８の移動量とを用いて、アーム１４の移動量を決定する（ステップＳ２０５）。 The input unit 40 receives input of a plurality of images transmitted from the imaging apparatus main body 26. The distance measuring unit 51 measures the three-dimensional shape of the structure from the plurality of input images that have been input (step S203). The distance measuring unit 51 calculates the movement amount of the airflow visualization sensor 8 (step S204). The movement destination determination unit 52 determines the movement amount of the arm 14 using the three-dimensional shape data measured by the distance measurement unit 51 and the movement amount of the airflow visualization sensor 8 (step S205).
レーザ光源２８は、シートレーザ光Ｓ１０４をガルバノミラー３０に照射する。ガルバノミラー３０は、揺動軸のまわりに反射面が所定の振れ角で往復揺動することにより、シートレーザ光Ｓ１０４を反射して配管３４上に走査する。撮影装置１９は、シートレーザ光Ｓ１０４が照射されている配管３４を撮影する。その後、撮影装置１９は、撮影した画像を制御装置９ｂに送信する。３次元モデル生成部４１は、複数の入力画像から３次元モデルを生成する。画像生成部４３は、操作部４２によって入力された表示画像パラメータに基づいて、表示画像を生成する。そして、表示部４４は、画像生成部４３によって生成された表示画像を表示する（ステップＳ２０６）。
判断部６３は、未検査領域が残っているか否かを判断する（ステップＳ２０７）。未検査領域が残っていない場合（ステップＳ２０７−ＹＥＳ）、処理を終了する。一方、未検査領域が残っている場合（ステップＳ２０７−ＮＯ）、制御装置９ｂは未検査領域に対してステップＳ２０２以降の処理を実行する。
The laser light source 28 irradiates the galvanometer mirror 30 with the sheet laser light S104. The galvanometer mirror 30 scans the pipe 34 by reflecting the sheet laser light S104 by reciprocally swinging the reflection surface around the swing axis at a predetermined swing angle. The photographing device 19 photographs the pipe 34 irradiated with the sheet laser light S104. Thereafter, the photographing device 19 transmits the photographed image to the control device 9b. The three-dimensional model generation unit 41 generates a three-dimensional model from a plurality of input images. The image generation unit 43 generates a display image based on the display image parameter input by the operation unit 42. Then, the display unit 44 displays the display image generated by the image generation unit 43 (step S206).
The determination unit 63 determines whether or not an uninspected area remains (step S207). If no uninspected area remains (step S207—YES), the process ends. On the other hand, when the uninspected area remains (NO in Step S207), the control device 9b executes the processes after Step S202 on the uninspected area.
上記のように構成された制御装置９ｂによれば、構造物の３次元形状のデータを用いてアーム１４の位置姿勢を制御することで自動走査を行わせる。制御装置９ｂは、光切断法を用いて構造物の位置や３次元形状を計測する。制御装置９ｂは、計測した３次元形状のデータに基づいて、アーム１４の位置姿勢を算出して自動走査を行わせる。構造物と気流可視化センサ８との位置や姿勢を一定の関係を保ちながら移動させることができる。そのため、オペレータは、撮影を行う度に気流可視化センサ８と構造物との位置を調整する必要がなくなる。その結果、漏洩箇所の計測を行う時間を短縮することが可能となる。
また、アーム１４を制御して自動走査を行わせることによって誤操作による周囲の構造物との干渉を避けることができる。
According to the control device 9b configured as described above, automatic scanning is performed by controlling the position and orientation of the arm 14 using the data of the three-dimensional shape of the structure. The control device 9b measures the position and three-dimensional shape of the structure using a light cutting method. The control device 9b calculates the position and orientation of the arm 14 based on the measured three-dimensional shape data, and performs automatic scanning. The position and posture between the structure and the airflow visualization sensor 8 can be moved while maintaining a certain relationship. This eliminates the need for the operator to adjust the positions of the airflow visualization sensor 8 and the structure each time shooting is performed. As a result, it is possible to shorten the time for measuring the leak location.
Further, by controlling the arm 14 to perform automatic scanning, it is possible to avoid interference with surrounding structures due to erroneous operation.
＜変形例＞
本実施形態では、一台の撮影装置１９を用いて撮影を行う構成としたが、これに限定される必要はなく、二台以上の撮影装置１９を用いて撮影を行っても良い。このように構成されることによって、３次元モデルの精度を向上させることができる。
撮影装置１９が撮影した入力画像を一度ハードディスクなどの記録媒体に記録して、制御装置９ｂが入力画像を読み出しながら処理を行っても良い。
本実施形態では、撮影装置１９とレーザユニット２１とが可視化検出モジュール７として一体化された構成をしているが、これに限定される必要はない。例えば、撮影装置１９とレーザユニット２１とがそれぞれ異なる装置に配置されても良い。
<Modification>
In the present embodiment, the photographing is performed using one photographing device 19, but the present invention is not limited to this, and the photographing may be performed using two or more photographing devices 19. With this configuration, the accuracy of the three-dimensional model can be improved.
The input image photographed by the photographing device 19 may be once recorded on a recording medium such as a hard disk, and the control device 9b may perform the processing while reading the input image.
In the present embodiment, the imaging device 19 and the laser unit 21 are integrated as the visualization detection module 7, but it is not necessary to be limited to this. For example, the photographing device 19 and the laser unit 21 may be arranged in different devices.
［第三実施形態］
図１４は、制御装置９の第三実施形態（制御装置９ｃ）の機能構成を表す概略ブロック図である。制御装置９ｃは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、制御プログラムを実行する。制御プログラムの実行によって、制御装置９ｃは、遠隔操作部１０、画像処理部１７ｃを備える装置として機能する。また、画像処理部１７ｃは、入力部４０、３次元モデル生成部４１、操作部４２、画像生成部４３、表示部４４、撮影情報記憶部６１、差分画像生成部６２及び判断部６３として機能する。なお、制御装置９ｃの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、制御プログラムは、電気通信回線を介して送受信されても良い。
[Third embodiment]
FIG. 14 is a schematic block diagram showing a functional configuration of the third embodiment (control device 9 c) of the control device 9. The control device 9c includes a CPU, a memory, an auxiliary storage device, and the like connected by a bus, and executes a control program. By executing the control program, the control device 9c functions as a device including the remote operation unit 10 and the image processing unit 17c. The image processing unit 17 c functions as the input unit 40, the three-dimensional model generation unit 41, the operation unit 42, the image generation unit 43, the display unit 44, the shooting information storage unit 61, the difference image generation unit 62, and the determination unit 63. . All or some of the functions of the control device 9c may be realized using hardware such as an ASIC, a PLD, or an FPGA. The control program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. Further, the control program may be transmitted / received via a telecommunication line.
制御装置９ｃは、画像処理部１７ａに代えて画像処理部１７ｃを備える点で制御装置９ａと構成が異なる。画像処理部１７ｃは、撮影情報記憶部６１、差分画像生成部６２及び判断部６３を備える点で画像処理部１７ａと構成が異なる。制御装置９ｃ及び画像処理部１７ｃは、他の構成についてはそれぞれ制御装置９ａ及び画像処理部１７ａと同様である。そのため、制御装置９ｃ全体の説明は省略し、撮影情報記憶部６１、差分画像生成部６２及び判断部６３について説明する。
撮影情報記憶部６１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。撮影情報記憶部６１は、撮影情報ＤＢ（Data Base：データベース）を記憶している。撮影情報ＤＢは、カメラ位置、レーザ位置、照射角度φ、撮影条件、第一の画像及び第二の画像を格納している。
差分画像生成部６２は、２枚の画像（例えば、第一の画像及び第二の画像）を用いて、差分画像を生成する。
判断部６３は、第二の画像が全ての照射角度φ及び全ての撮影座標位置で撮影されたか否かを判断する。
The control device 9c is different from the control device 9a in that an image processing unit 17c is provided instead of the image processing unit 17a. The image processing unit 17c is different from the image processing unit 17a in that it includes a shooting information storage unit 61, a difference image generation unit 62, and a determination unit 63. The other configurations of the control device 9c and the image processing unit 17c are the same as those of the control device 9a and the image processing unit 17a, respectively. Therefore, description of the whole control apparatus 9c is abbreviate | omitted, and the imaging | photography information storage part 61, the difference image generation part 62, and the judgment part 63 are demonstrated.
The photographing information storage unit 61 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device. The shooting information storage unit 61 stores a shooting information DB (Data Base). The imaging information DB stores a camera position, a laser position, an irradiation angle φ, an imaging condition, a first image, and a second image.
The difference image generation unit 62 generates a difference image using two images (for example, a first image and a second image).
The determination unit 63 determines whether or not the second image has been captured at all the irradiation angles φ and at all the imaging coordinate positions.
図１５は、差分画像を生成するための準備処理の一例を表す図である。
まず、レーザユニット２１は、オペレータに遠隔操作されることによって、配管３４にシートレーザ光Ｓ１０４を照射する。ガルバノミラー３０は、照射されたシートレーザ光Ｓ１０４を走査する。撮影装置１９は、配管３４に照射されたシートレーザ光Ｓ１０４を撮影する。具体的には、撮影装置１９は、オペレータに遠隔操作されることによって、照射角度“１度”のシートレーザ光Ｓ１０４ａから照射角度“ｎ度”のシートレーザ光Ｓ１０４ｂを“１度”毎に撮影する。
その際、オペレータは撮影する前に撮影装置１９とレーザユニット２１との撮影条件を最適化する。撮影条件とは、シャッタの速度や絞りやレーザ強度などの撮影に関する条件である。
FIG. 15 is a diagram illustrating an example of a preparation process for generating a difference image.
First, the laser unit 21 irradiates the sheet 34 with the sheet laser light S104 by being remotely operated by an operator. The galvanometer mirror 30 scans the irradiated sheet laser beam S104. The photographing device 19 photographs the sheet laser light S104 irradiated on the pipe 34. Specifically, the imaging device 19 captures the sheet laser light S104b with the irradiation angle “n degrees” from the sheet laser light S104a with the irradiation angle “1 degree” at every “1 degree” by being remotely operated by the operator. To do.
At that time, the operator optimizes the photographing conditions of the photographing device 19 and the laser unit 21 before photographing. The imaging conditions are conditions relating to imaging such as shutter speed, aperture, and laser intensity.
具体的には、以下の処理が行われる。オペレータは、撮影装置１９及びレーザユニット２１の座標位置（以下、「撮影座標位置」という。）とレーザユニット２１との撮影条件を決定する。例えば、オペレータは、配管３４を撮影した際に輝度が飽和しない明るさとなる撮影条件を最適化した撮影条件として決定する。オペレータは、決定した撮影条件に基づいて撮影装置１９及びレーザユニット２１を遠隔操作することによって配管３４を撮影する。また、この際に撮影された画像を以下の説明では、第一の画像として説明する。オペレータは、角度毎に決定した撮影条件と撮影座標位置とを第一の画像に対応付けて撮影情報ＤＢに記録する。 Specifically, the following processing is performed. The operator determines the imaging position of the laser unit 21 and the coordinate position of the imaging device 19 and the laser unit 21 (hereinafter referred to as “imaging coordinate position”). For example, the operator determines a shooting condition that optimizes a shooting condition that provides brightness that does not saturate the luminance when the pipe 34 is shot. The operator images the pipe 34 by remotely operating the imaging device 19 and the laser unit 21 based on the determined imaging conditions. Moreover, the image image | photographed at this time is demonstrated as a 1st image in the following description. The operator records the shooting conditions determined for each angle and the shooting coordinate position in the shooting information DB in association with the first image.
次に、オペレータは、可視化ガス噴射装置６を遠隔操作することによって配管３４に微粒子Ｐを噴射させる。オペレータは、撮影する角度毎に撮影情報ＤＢに記録されている撮影条件と撮影座標位置との各値を撮影装置１９及びレーザユニット２１に設定する。その後、レーザユニット２１は、オペレータに遠隔操作されることによって配管３４及び浮遊している微粒子Ｐにシートレーザ光Ｓ１０４を照射する。撮影装置１９は、オペレータに遠隔操作されることによって配管３４及び浮遊している微粒子Ｐ（以下、「漏洩検査対象物」という。）を撮影する。また、この際に撮影された画像を以下の説明では、第二の画像として説明する。オペレータは、撮影された第二の画像を角度毎に決定した撮影条件と撮影座標位置とに対応付けて撮影情報ＤＢに記録する。 Next, the operator causes the pipe 34 to inject the fine particles P by remotely operating the visualization gas injection device 6. The operator sets each value of the imaging condition and the imaging coordinate position recorded in the imaging information DB for each imaging angle in the imaging device 19 and the laser unit 21. Thereafter, the laser unit 21 irradiates the pipe 34 and the suspended fine particles P with the sheet laser light S104 by being remotely operated by an operator. The imaging device 19 images the pipe 34 and floating fine particles P (hereinafter referred to as “leakage inspection object”) by being remotely operated by an operator. Moreover, the image image | photographed at this time is demonstrated as a 2nd image in the following description. The operator records the photographed second image in the photographing information DB in association with the photographing condition determined for each angle and the photographing coordinate position.
図１６は、撮影情報ＤＢの構成図である。
撮影情報ＤＢは、撮影情報を表すレコード７０を複数有する。レコード７０は、撮影座標位置、撮影条件、第一の画像及び第二の画像の各値を有する。
カメラ位置の値は、撮影装置１９が撮影する座標位置を表す。レーザ位置の値は、レーザ光源２８の座標位置を表す。照射角度φの値は、ガルバノミラー３０に反射したシートレーザ光Ｓ１０４の角度を表す。撮影条件の値は、オペレータが遠隔操作することによって撮影装置１９に撮影させる際の条件を表す。撮影条件の具体例として、シャッタ速度、絞り、レーザ強度などがある。シャッタ速度の値は、シャッタの速度を表す。絞りの値は、光を取り込む穴の大きさ（Ｆ値）を表す。レーザ強度の値は、レーザ光源２８から照射されるシートレーザ光Ｓの強さを表す。第一の画像のデータは、レコード７０によって表される撮影情報に基づいて撮影された画像のデータを表す。第二の画像のデータは、レコード７０によって表される撮影情報に基づいて、微粒子Ｐが噴射された状態で撮影された画像のデータを表す。
FIG. 16 is a configuration diagram of the shooting information DB.
The shooting information DB has a plurality of records 70 representing shooting information. The record 70 has values of the shooting coordinate position, shooting conditions, the first image, and the second image.
The value of the camera position represents the coordinate position where the image capturing device 19 captures images. The value of the laser position represents the coordinate position of the laser light source 28. The value of the irradiation angle φ represents the angle of the sheet laser light S104 reflected by the galvanometer mirror 30. The value of the photographing condition represents a condition when the photographing device 19 is photographed by remote operation by an operator. Specific examples of shooting conditions include shutter speed, aperture, and laser intensity. The value of the shutter speed represents the shutter speed. The aperture value represents the size (F value) of a hole for taking in light. The value of the laser intensity represents the intensity of the sheet laser light S emitted from the laser light source 28. The first image data represents data of an image captured based on the imaging information represented by the record 70. The data of the second image represents data of an image captured in a state where the fine particles P are ejected based on the imaging information represented by the record 70.
次に、図１７及び図１８を用いて本発明の第三実施形態の処理の流れを説明する。
図１７は、本発明の第三実施形態における初期設定の処理の流れを示すフローチャートである。
初期設定は、例えば漏洩箇所検知装置１のオペレータによって実行されても良い。まず、オペレータは、遠隔操作部１０を操作することによって撮影座標位置を決定する（ステップＳ３０１）。オペレータは、遠隔操作部１０を操作することによってレーザユニット２１の照射角度φ（例えば、照射角度“１”）を決定する（ステップＳ３０２）。オペレータは、遠隔操作部１０を操作することによってステップＳ３０１で決定した撮影座標位置とステップＳ３０２で決定したレーザユニット２１の照射角度φとに基づいて撮影条件の最適化を行う。具体的には、オペレータは、撮影された画像の輝度が飽和しないように撮影装置１９のシャッタ速度、絞りを調整する。また、オペレータは、遠隔操作部１０を操作することによってレーザユニット２１のレーザ強度を調整する（ステップＳ３０３）。オペレータは、遠隔操作部１０を操作することによって第一の画像（配管３４）を撮影する（ステップＳ３０４）。
Next, the processing flow of the third embodiment of the present invention will be described with reference to FIGS. 17 and 18.
FIG. 17 is a flowchart showing a flow of initial setting processing in the third embodiment of the present invention.
The initial setting may be executed by, for example, an operator of the leak point detection device 1. First, the operator determines the photographing coordinate position by operating the remote operation unit 10 (step S301). The operator determines the irradiation angle φ (for example, the irradiation angle “1”) of the laser unit 21 by operating the remote control unit 10 (step S302). The operator operates the remote control unit 10 to optimize the shooting conditions based on the shooting coordinate position determined in step S301 and the irradiation angle φ of the laser unit 21 determined in step S302. Specifically, the operator adjusts the shutter speed and aperture of the photographing device 19 so that the brightness of the photographed image is not saturated. The operator adjusts the laser intensity of the laser unit 21 by operating the remote control unit 10 (step S303). The operator takes a first image (pipe 34) by operating the remote control unit 10 (step S304).
オペレータは、遠隔操作部１０を操作することによって撮影座標位置、照射角度φ及び最適化された撮影条件を撮影情報ＤＢに記録する（ステップＳ３０５）。
オペレータは、レーザユニット２１から照射されるシートレーザ光Ｓ１０４が反射される全ての照射角度φで第一の画像を撮影したか否か判断する。即ち、オペレータは、レーザユニット２１から照射されるシートレーザ光Ｓ１０４が反射される照射角度“１”から照射角度“ｎ”まで第一の画像を撮影したか否か判断する（ステップＳ３０６）。シートレーザ光Ｓ１０４が反射される全ての照射角度φで第一の画像を撮影した場合（ステップＳ３０６−ＹＥＳ）、オペレータは全ての撮影座標位置で第一の画像を撮影したか否かを判断する（ステップＳ３０７）。
The operator records the photographing coordinate position, the irradiation angle φ, and the optimized photographing condition in the photographing information DB by operating the remote control unit 10 (step S305).
The operator determines whether or not the first image has been taken at all the irradiation angles φ at which the sheet laser light S104 emitted from the laser unit 21 is reflected. That is, the operator determines whether or not the first image has been taken from the irradiation angle “1” to the irradiation angle “n” at which the sheet laser beam S104 irradiated from the laser unit 21 is reflected (step S306). When the first image is captured at all the irradiation angles φ at which the sheet laser beam S104 is reflected (step S306—YES), the operator determines whether the first image is captured at all the imaging coordinate positions. (Step S307).
全ての撮影座標位置で第一の画像を撮影した場合（ステップＳ３０７−ＹＥＳ）、オペレータは初期設定の処理を終了する。
ステップＳ３０６の処理において、シートレーザ光Ｓ１０４が反射される全ての照射角度φで第一の画像を撮影していない場合（ステップＳ３０６−ＮＯ）、オペレータは撮影装置１９及びレーザユニット２１を遠隔操作することによって、前回とは異なる照射角度φで配管３４を撮影する。
ステップＳ３０７の処理において、全ての撮影座標位置で第一の画像を撮影していない場合（ステップＳ３０７−ＮＯ）、オペレータは撮影装置１９及びレーザユニット２１を遠隔操作することによって、前回とは異なる撮影座標位置で構造物を撮影する。
When the first image is photographed at all the photographing coordinate positions (step S307—YES), the operator ends the initial setting process.
In the process of step S306, when the first image is not captured at all the irradiation angles φ at which the sheet laser light S104 is reflected (step S306-NO), the operator remotely operates the imaging device 19 and the laser unit 21. Thus, the pipe 34 is photographed at an irradiation angle φ different from the previous time.
In the process of step S307, when the first image is not captured at all the imaging coordinate positions (step S307-NO), the operator remotely operates the imaging device 19 and the laser unit 21 to perform imaging different from the previous time. Photograph the structure at the coordinate position.
図１８は、本発明の第三実施形態における外乱（構造物）除去処理の流れを示すフローチャートである。
撮影装置１９及びレーザユニット２１は、オペレータに遠隔操作されることによって撮影情報ＤＢからの撮影座標位置の各値を取得する。撮影装置１９及びレーザユニット２１は、オペレータに遠隔操作されることによって取得した撮影座標位置の各値を設定する（ステップＳ４０１）。可視化ガス噴射装置６は、オペレータに遠隔操作されることによって構造物に微粒子Ｐを噴射する（ステップＳ４０１）。レーザユニット２１は、オペレータに遠隔操作されることによって撮影情報ＤＢから瀬ってされている撮影座標位置の値に対応する照射角度φの値を取得する。レーザユニット２１は、オペレータに遠隔操作されることによって取得した照射角度φの値を設定する（ステップＳ４０３）。
FIG. 18 is a flowchart showing the flow of disturbance (structure) removal processing in the third embodiment of the present invention.
The imaging device 19 and the laser unit 21 acquire each value of the imaging coordinate position from the imaging information DB by being remotely operated by an operator. The imaging device 19 and the laser unit 21 set each value of the imaging coordinate position acquired by being remotely operated by the operator (step S401). The visualization gas injection device 6 is injected remotely by the operator to inject the fine particles P onto the structure (step S401). The laser unit 21 acquires the value of the irradiation angle φ corresponding to the value of the photographing coordinate position set from the photographing information DB by being remotely operated by the operator. The laser unit 21 sets the value of the irradiation angle φ acquired by being remotely operated by the operator (step S403).
レーザユニット２１は、オペレータに遠隔操作されることによって設定された照射角度φでシートレーザ光Ｓ１０４を漏洩検査対象物に照射する。撮影装置１９は、オペレータに遠隔操作されることによって、シートレーザ光Ｓ１０４が照射された漏洩検査対象物を撮影する（ステップＳ４０４）。撮影装置１９は、撮影した第二の画像を入力部４０に送信する。入力部４０は、撮影装置１９から送信された第二の画像を撮影情報ＤＢに記録されている撮影条件に対応付けて記録する（ステップＳ４０５）。 The laser unit 21 irradiates the leakage inspection object with the sheet laser light S104 at an irradiation angle φ set by being remotely operated by an operator. The imaging device 19 images the leakage inspection object irradiated with the sheet laser light S104 by being remotely operated by an operator (step S404). The imaging device 19 transmits the captured second image to the input unit 40. The input unit 40 records the second image transmitted from the imaging device 19 in association with the imaging conditions recorded in the imaging information DB (step S405).
差分画像生成部６２は、撮影情報ＤＢに記録されている第一の画像と第二の画像とを用いて差分画像を生成する（ステップＳ４０６）。判断部６３は、ステップＳ４０１で設定された撮影座標位置での全ての照射角度φで第二の画像が撮影されたか否かを判断する。即ち、判断部６３は、ステップＳ４０１で設定された撮影座標位置において照射角度“１”から照射角度“ｎ”まで第二の画像が撮影されたか否かを判断する（ステップＳ４０７）。全ての照射角度φで第二の画像が撮影された場合（ステップＳ４０７−ＹＥＳ）、３次元モデル生成部４１は、差分画像生成部６２が生成した差分画像を３次元空間に投影し３次元モデルを生成する（ステップＳ４０８）。 The difference image generation unit 62 generates a difference image using the first image and the second image recorded in the shooting information DB (step S406). The determination unit 63 determines whether or not the second image has been captured at all the irradiation angles φ at the imaging coordinate positions set in step S401. That is, the determination unit 63 determines whether or not a second image has been captured from the irradiation angle “1” to the irradiation angle “n” at the photographing coordinate position set in step S401 (step S407). When the second image is captured at all the irradiation angles φ (step S407—YES), the three-dimensional model generation unit 41 projects the difference image generated by the difference image generation unit 62 onto the three-dimensional space and the three-dimensional model. Is generated (step S408).
画像生成部４３は、操作部４２によって入力された表示画像パラメータに基づいて、表示画像を生成する。そして、表示部４４は、画像生成部４３によって生成された表示画像を表示する（ステップＳ４０９）。判断部６３は、全ての撮影座標位置で第二の画像が撮影されたか否かを判断する（ステップＳ４１０）。全ての撮影座標位置で第二の画像が撮影された場合（ステップＳ４１０−ＹＥＳ）、制御装置９ｃは、外乱除去処理を終了する。 The image generation unit 43 generates a display image based on the display image parameter input by the operation unit 42. Then, the display unit 44 displays the display image generated by the image generation unit 43 (step S409). The determination unit 63 determines whether or not the second image has been captured at all shooting coordinate positions (step S410). When the second image is photographed at all photographing coordinate positions (step S410—YES), the control device 9c ends the disturbance removal process.
ステップＳ４０７の処理において、全ての照射角度φで第二の画像が撮影されていない場合（ステップＳ４０７−ＮＯ）、制御装置９ｃは撮影されていない照射角度φに対してステップＳ４０３以降の処理を繰り返し実行する。
ステップＳ４１０の処理において、全ての撮影座標位置で第二の画像が撮影されていない場合（ステップＳ４１０−ＮＯ）、制御装置９ｃは撮影されていない撮影座標位置に対してステップＳ４０１以降の処理を繰り返し実行する。
In the process of step S407, when the second image has not been captured at all the irradiation angles φ (step S407—NO), the control device 9c repeats the processes after step S403 for the irradiation angle φ that has not been captured. Run.
In the process of step S410, when the second image has not been captured at all the shooting coordinate positions (step S410-NO), the control device 9c repeats the processes after step S401 on the shooting coordinate positions that have not been shot. Run.
上記のように構成された制御装置９ｃによれば、第一の画像と第二の画像との差分画像を用いて３次元モデルを構築する。このような処理を行うことによって、第一の画像に含まれるシート面上に存在する構造物の影響を削除する。そのため、オペレータは、画像中に浮遊している微粒子Ｐのみが撮像されている３次元モデルを取得できる。したがって、オペレータはこの３次元モデルを用いて微粒子Ｐの分布を視認することで漏洩箇所をより把握することが可能となる。 According to the control device 9c configured as described above, a three-dimensional model is constructed using a difference image between the first image and the second image. By performing such processing, the influence of the structure existing on the sheet surface included in the first image is deleted. Therefore, the operator can acquire a three-dimensional model in which only the fine particles P floating in the image are captured. Therefore, the operator can grasp the leakage location more by visually recognizing the distribution of the fine particles P using this three-dimensional model.
また、オペレータは画像を撮影する際、撮影装置１９やレーザユニット２１の座標位置毎に撮影条件の最適化を行う。構造物などにシートレーザ光Ｓ１０４が反射して画像が撮影されると、撮像された構造物の輝度が飽和してしまう。そのような画像を用いて差分画像を生成すると、飽和している画像部分は何も写らない。即ち、飽和している部分が黒くなって画像には何も写らない。そのため、オペレータは、撮影された画像の輝度が飽和しない撮影条件を決定することによって最適化する。その結果、構造物の反射光の影響を削除することが可能となる。 Further, the operator optimizes the photographing conditions for each coordinate position of the photographing device 19 and the laser unit 21 when photographing an image. When the sheet laser beam S104 is reflected by a structure or the like and an image is taken, the brightness of the imaged structure is saturated. When a difference image is generated using such an image, no saturated image portion is captured. That is, the saturated portion is black and nothing appears in the image. Therefore, the operator optimizes by determining a shooting condition that does not saturate the brightness of the shot image. As a result, the influence of the reflected light from the structure can be eliminated.
＜変形例＞
本実施形態では、差分画像生成部６２は、第一の画像及び第二の画像を用いて差分画像を生成しているがこれに限定される必要はなく、第一の画像及び第二の画像によって生成された３次元モデルを用いて差分画像を生成しても良い。具体的には、以下の処理が行われる。３次元モデル生成部４１は、第一の画像を３次元空間に投影することによって第一の３次元モデルを生成する。３次元モデル生成部４１は、第二の画像を３次元空間に投影することによって第二の３次元モデルを生成する。差分画像生成部６２は、生成された第一の３次元モデルと第二の３次元モデルとを用いて差分画像を生成する。
本実施形態では、一台の撮影装置１９を用いて撮影を行う構成としたが、これに限定される必要はなく、二台以上の撮影装置１９を用いて撮影を行っても良い。このように構成されることによって、３次元モデルの精度を向上させることができる。
撮影装置１９が撮影した入力画像を一度ハードディスクなどの記録媒体に記録して、制御装置９ｃが入力画像を読み出しながら処理を行っても良い。
本実施形態では、撮影装置１９とレーザユニット２１とが可視化検出モジュール７として一体化された構成をしているが、これに限定される必要はない。例えば、撮影装置１９とレーザユニット２１とがそれぞれ異なる装置に配置されても良い。
<Modification>
In the present embodiment, the difference image generation unit 62 generates a difference image using the first image and the second image, but the present invention is not limited to this, and the first image and the second image are not limited thereto. A difference image may be generated using the three-dimensional model generated by the above. Specifically, the following processing is performed. The three-dimensional model generation unit 41 generates a first three-dimensional model by projecting the first image onto a three-dimensional space. The three-dimensional model generation unit 41 generates a second three-dimensional model by projecting the second image onto a three-dimensional space. The difference image generation unit 62 generates a difference image using the generated first three-dimensional model and the second three-dimensional model.
In the present embodiment, the photographing is performed using one photographing device 19, but the present invention is not limited to this, and the photographing may be performed using two or more photographing devices 19. With this configuration, the accuracy of the three-dimensional model can be improved.
The input image photographed by the photographing device 19 may be once recorded on a recording medium such as a hard disk, and the control device 9c may perform the processing while reading the input image.
In the present embodiment, the imaging device 19 and the laser unit 21 are integrated as the visualization detection module 7, but it is not necessary to be limited to this. For example, the photographing device 19 and the laser unit 21 may be arranged in different devices.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
１…漏洩箇所検知装置 ２…検知装置本体 ３…移動台車 ４…多段伸縮部材 ５…マニピュレータ ６…可視化ガス噴射装置 ７…可視化検出モジュール ８…気流可視化センサ ９…制御装置 １０…遠隔操作部 １１…台車本体 １２…無限軌道 １３…アウトトリガ １４…アーム １５…軸 １７…画像処理部（表示システム） １８…ケーシング １９…撮影装置 ２０…白色照明装置 ２１…レーザユニット ２３…カメラ窓 ２４…白色照明光源窓 ２５…シートレーザ窓 ２６…撮影装置本体 ２７…旋回機構 ２８…レーザ光源 ２９…シート形成レンズ ３０…ガルバノミラー ３２…ノズル ３３…本体ユニット ３４…配管 ４０…入力部 ４１…３次元モデル生成部 ４２…操作部 ４３…画像生成部 ４４…表示部 ５０…移動先決定装置 ５１…距離計測部 ５２…移動先決定部 ６１…撮影情報記憶部（記憶部） ６２…差分画像生成部 ６３…判断部 DESCRIPTION OF SYMBOLS 1 ... Leak location detection apparatus 2 ... Detection apparatus main body 3 ... Moving carriage 4 ... Multistage expansion / contraction member 5 ... Manipulator 6 ... Visualization gas injection apparatus 7 ... Visualization detection module 8 ... Airflow visualization sensor 9 ... Control apparatus 10 ... Remote operation part 11 ... Cart body 12 ... Endless track 13 ... Out trigger 14 ... Arm 15 ... Shaft 17 ... Image processing unit (display system) 18 ... Casing 19 ... Shooting device 20 ... White illumination device 21 ... Laser unit 23 ... Camera window 24 ... White illumination light source Window 25 ... Sheet laser window 26 ... Imaging apparatus body 27 ... Turning mechanism 28 ... Laser light source 29 ... Sheet forming lens 30 ... Galvano mirror 32 ... Nozzle 33 ... Body unit 34 ... Piping 40 ... Input part 41 ... Three-dimensional model generation part 42 ... Operation unit 43 ... Image generation unit 44 ... Display unit 50 ... Destination determination Location 51 ... distance measuring unit 52 ... destination determining unit 61 ... photographic information storage unit (storage unit) 62 ... differential image generator 63 ... determination unit
Claims (5)
構造物が撮影された前記第一の画像データと、トレーサと前記構造物とが撮影された前記第二の画像データと、前記第一の画像データ及び前記第二の画像データが撮影された撮影条件とを記憶する記憶部と、
前記第一の画像データと前記第二の画像データとに基づいて差分画像を生成する差分画像生成部と、
前記差分画像を３次元空間に投影することによって、前記トレーサの３次元位置を表わすモデルである３次元モデルを生成する３次元モデル生成部と、
前記３次元モデル生成部が生成した３次元モデルを表示する表示部と、
を備える表示システム。 By irradiating the structure while scanning the laser beam, the first image data generated when the imaging device shoots the structure, and irradiating while scanning the laser beam by spraying a tracer on the structure An input unit for inputting second image data generated by the imaging device imaging the tracer visualized by
The first image data in which the structure is photographed, the second image data in which the tracer and the structure are photographed, and the photograph in which the first image data and the second image data are photographed. A storage unit for storing conditions;
A difference image generation unit that generates a difference image based on the first image data and the second image data;
A three-dimensional model generation unit that generates a three-dimensional model that is a model representing the three-dimensional position of the tracer by projecting the difference image into a three-dimensional space;
A display unit for displaying the three-dimensional model generated by the three-dimensional model generation unit;
A display system comprising:
構造物が撮影された前記第一の画像データと、トレーサと前記構造物とが撮影された前記第二の画像データと、前記第一の画像データ及び前記第二の画像データが撮影された撮影条件とを記憶する記憶部に記憶されている前記第一の画像データと前記第二の画像データとに基づいて差分画像を生成する差分画像生成ステップと、
前記差分画像を３次元空間に投影することによって、前記トレーサの３次元位置を表わすモデルである３次元モデルを生成する３次元モデル生成ステップと、
前記３次元モデル生成ステップにおいて生成した３次元モデルを表示する表示ステップと、
を有する表示方法。 By irradiating the structure while scanning the laser beam, the first image data generated when the imaging device shoots the structure, and irradiating while scanning the laser beam by spraying a tracer on the structure An input step of inputting second image data generated by photographing an image of the tracer visualized by the photographing device;
The first image data in which the structure is photographed, the second image data in which the tracer and the structure are photographed, and the photograph in which the first image data and the second image data are photographed. A difference image generation step for generating a difference image based on the first image data and the second image data stored in the storage unit for storing the conditions;
A three-dimensional model generation step of generating a three-dimensional model, which is a model representing the three-dimensional position of the tracer, by projecting the difference image onto a three-dimensional space;
A display step for displaying the three-dimensional model generated in the three-dimensional model generation step ;
Display method.
構造物が撮影された前記第一の画像データと、トレーサと前記構造物とが撮影された前記第二の画像データと、前記第一の画像データ及び前記第二の画像データが撮影された撮影条件とを記憶する記憶部に記憶されている前記第一の画像データと前記第二の画像データとに基づいて差分画像を生成する差分画像生成ステップと、
前記差分画像を３次元空間に投影することによって、前記トレーサの３次元位置を表わすモデルである３次元モデルを生成する３次元モデル生成ステップと、
前記３次元モデル生成ステップにおいて生成した３次元モデルを表示する表示ステップと、
をコンピュータに実行させるための制御プログラム。 By irradiating the structure while scanning the laser beam, the first image data generated when the imaging device shoots the structure, and irradiating while scanning the laser beam by spraying a tracer on the structure An input step of inputting second image data generated by photographing an image of the tracer visualized by the photographing device;
The first image data in which the structure is photographed, the second image data in which the tracer and the structure are photographed, and the photograph in which the first image data and the second image data are photographed. A difference image generation step for generating a difference image based on the first image data and the second image data stored in the storage unit for storing the conditions;
A three-dimensional model generation step of generating a three-dimensional model, which is a model representing the three-dimensional position of the tracer, by projecting the difference image onto a three-dimensional space;
A display step for displaying the three-dimensional model generated in the three-dimensional model generation step ;
A control program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012201787A JP6241585B2 (en) | 2012-09-13 | 2012-09-13 | Display system, display method, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012201787A JP6241585B2 (en) | 2012-09-13 | 2012-09-13 | Display system, display method, and control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014055898A JP2014055898A (en) | 2014-03-27 |
| JP6241585B2 true JP6241585B2 (en) | 2017-12-06 |
Family
ID=50613337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012201787A Active JP6241585B2 (en) | 2012-09-13 | 2012-09-13 | Display system, display method, and control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6241585B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10739226B2 (en) | 2016-03-03 | 2020-08-11 | Konica Minolta Opto, Inc. | Gas leak position estimation device, gas leak position estimation method and gas leak position estimation program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4897551A (en) * | 1988-04-11 | 1990-01-30 | Spectral Sciences, Inc. | Leak detector |
| JPH1019919A (en) * | 1996-06-28 | 1998-01-23 | Matsushita Electric Ind Co Ltd | Method and apparatus for measuring streamline |
| EP1736782A4 (en) * | 2004-03-31 | 2010-06-09 | Tokyo Electric Power Co | Fluid measuring system and fluid measuring method |
| US7358860B2 (en) * | 2005-03-31 | 2008-04-15 | American Air Liquide, Inc. | Method and apparatus to monitor and detect cryogenic liquefied gas leaks |
| JP2010230333A (en) * | 2009-03-25 | 2010-10-14 | Tokyo Electric Power Co Inc:The | Tracer feed device |
-
2012
- 2012-09-13 JP JP2012201787A patent/JP6241585B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014055898A (en) | 2014-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5480914B2 (en) | Point cloud data processing device, point cloud data processing method, and point cloud data processing program | |
| JP6291562B2 (en) | Diagnose and eliminate multipath interference in 3D scanners with directed probing | |
| JP5257335B2 (en) | Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor | |
| JP6642968B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6202544B2 (en) | Robot positioning system | |
| CN109079775A (en) | The method in the orientation of end effector of robot is controlled using alignment of orientation feedback | |
| US10571254B2 (en) | Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method | |
| JP2016509199A (en) | Apparatus and method for three-dimensional surface measurement | |
| JP2017528727A (en) | Augmented reality camera used in combination with a 3D meter to generate a 3D image from a 2D camera image | |
| JP2015535337A (en) | Laser scanner with dynamic adjustment of angular scan speed | |
| JP5078296B2 (en) | Photogrammetry apparatus and photogrammetry system | |
| JP2016530485A (en) | Laser line probe with improved high dynamic range | |
| TW201324258A (en) | Method for detecting motion of input body and input device using same | |
| JP2016516196A (en) | Structured optical scanner correction tracked in 6 degrees of freedom | |
| US9851720B2 (en) | Method of controlling a cleaner | |
| JP2016514271A (en) | Three-dimensional coordinate scanner and operation method | |
| CN103003666B (en) | Parallel online-offline reconstruction for three-dimensional space measurement | |
| JP2015090560A (en) | Image processing apparatus, and image processing method | |
| KR101558508B1 (en) | Cleaner | |
| JP6968568B2 (en) | Shape measurement system and shape measurement method | |
| US10893190B2 (en) | Tracking image collection for digital capture of environments, and associated systems and methods | |
| JP5698815B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP6078273B2 (en) | Leakage location detector | |
| JP6241585B2 (en) | Display system, display method, and control program | |
| JP3991040B2 (en) | Three-dimensional measuring apparatus and three-dimensional measuring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150903 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161024 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170920 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6241585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |