JP3344902B2 - Remote operation support image system for construction mobile - Google Patents
Remote operation support image system for construction mobileInfo
- Publication number
- JP3344902B2 JP3344902B2 JP26994096A JP26994096A JP3344902B2 JP 3344902 B2 JP3344902 B2 JP 3344902B2 JP 26994096 A JP26994096 A JP 26994096A JP 26994096 A JP26994096 A JP 26994096A JP 3344902 B2 JP3344902 B2 JP 3344902B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo
- construction
- pair
- guide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Operation Control Of Excavators (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は施工用移動体の遠隔操作
支援画像システムに関し、とくに撮像機による施工域の
ステレオ操作画像と三次元グラフィックによる該施工域
のステレオ案内画像との重畳によりステレオ操作支援画
像を作成する画像システムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a remote operation support image system for a construction mobile object, and more particularly to a stereo operation by superimposing a stereo operation image of a construction area by an image pickup device and a stereo guide image of the construction area by a three-dimensional graphic. The present invention relates to an image system for creating a support image.
【0002】[0002]
【従来の技術】人の立入り禁止区域や人に危険が伴う区
域で工事を行う場合に、遠隔操作可能としたブルドー
ザ、パワーショベル、ダンプトラック等の施工用機械
(以下、施工用移動体という。)を用いた遠隔施工が行
われる。例えば雲仙普賢岳周辺のように火山活動の被害
を受け且つ火山活動が継続している区域では、ダム建設
等の災害防止対策工事が遠隔施工で実施されている。2. Description of the Related Art When performing construction in an area where people are restricted or an area where there is danger to humans, construction machines such as bulldozers, power shovels and dump trucks (hereinafter referred to as construction moving bodies) which can be remotely operated. ) Is performed remotely. For example, in areas where volcanic activity has been damaged and volcanic activity continues, such as around Unzen Fugendake, disaster prevention measures such as dam construction are being implemented by remote construction.
【0003】図5は、そのような遠隔施工の一例を示
す。同図を参照するに、施工域1内で駆動させる複数の
施工用移動体2にそれぞれ撮像機5と画像送信機6を取
付け、撮像機5の画像(以下、移動体画像という。)を
遠隔操作室3の画像受信機10へ伝送し、操作室3の操作
員が移動体画像に基づいて施工用移動体2の遠隔操作を
する。撮像機5の一例は、施工用移動体2上にステレオ
方式で固定された一対の撮像機5L及び5Rからなり左右一
対の二眼視立体画像(以下、ステレオ画像という。)を
出力するものである。また同図では、施工域1内に撮像
機4と画像送信機7が取付けられた撮影用移動体13を配
置し、その撮像機4の画像(以下、監視画像という。)
も操作室3へ伝送し、施工用移動体2の遠隔操作及び施
工域1内の施工状況の監視に利用している。監視画像と
してもステレオ画像が利用される。なお各移動体2、13
には衛星航行システム(以下、GPSという。)による
座標計測手段22が取付けられ、座標計測手段22の計測座
標に基づき操作室3で各移動体2、13の施工域1内での
位置を把握している。図中の符号11はデータ伝送用タワ
ー、符号12は測量用ヘリコプターを示す。FIG. 5 shows an example of such a remote construction. Referring to FIG. 1, an image pickup device 5 and an image transmitter 6 are attached to a plurality of construction moving bodies 2 driven in a construction area 1, respectively, and an image of the imaging machine 5 (hereinafter, referred to as a moving body image) is remote. The image data is transmitted to the image receiver 10 in the operation room 3, and the operator in the operation room 3 remotely controls the construction moving body 2 based on the moving body image. An example of the imaging device 5, a pair of left and right binocular vision stereoscopic image made from a fixed pair of imaging device 5 L and 5 R stereo system on construction for mobile 2 outputs (hereinafter, referred to as stereo image.) Things. Further, in FIG. 1, a photographing moving body 13 to which the image pickup device 4 and the image transmitter 7 are attached is arranged in the construction area 1, and an image of the image pickup device 4 (hereinafter, referred to as a monitoring image).
Is also transmitted to the operation room 3 and used for remote control of the construction moving body 2 and monitoring of the construction state in the construction area 1. A stereo image is also used as the monitoring image. Each mobile unit 2, 13
Is equipped with a coordinate measuring means 22 by a satellite navigation system (hereinafter referred to as GPS), and the positions of the moving bodies 2 and 13 in the construction area 1 are grasped in the operation room 3 based on the measured coordinates of the coordinate measuring means 22. are doing. In the figure, reference numeral 11 denotes a data transmission tower, and reference numeral 12 denotes a survey helicopter.
【0004】しかし遠隔施工では、一般の施工で設計形
状等を示すために用いる縄等の指標(以下、丁張とい
う。)の設置が困難であるため、丁張を用いた施工に比
し作業効率が低下し施工品質も劣りがちとなる問題点が
あった。この問題点解決のため、本発明者らは、前記移
動体画像又は監視画像(以下、両者を纏めてステレオ操
作画像という。)上へ、丁張に代る三次元コンピュータ
グラフィックのステレオ設計画像を重畳してステレオ支
援画像とする遠隔施工用の画像システムを開発し、特願
平7-267549号に開示した。以下図6〜図8を参照して同
画像システムを簡単に説明する。[0004] However, in remote construction, it is difficult to install indices such as ropes (hereinafter referred to as swords) used to indicate a design shape or the like in general construction, and thus work is difficult as compared to construction using swords. There is a problem that the efficiency is lowered and the construction quality tends to be inferior. In order to solve this problem, the present inventors have applied a stereo design image of a three-dimensional computer graphic instead of a drawing on the moving object image or the monitoring image (hereinafter, both are collectively referred to as a stereo operation image). An image system for remote construction that is superimposed and made into a stereo support image was developed and disclosed in Japanese Patent Application No. 7-267549. Hereinafter, the image system will be briefly described with reference to FIGS.
【0005】図6は同画像システムの構成を示し、施工
対象1aのステレオ操作画像Iw(左右一対の操作画像IwL
及びIwRからなる。以下同じ。)を視点Vと光軸Oと画
角Wとに応じて与える撮像機対5(左右一対の撮像機5L
及び5Rからなる。以下同じ。)、ある座標に設計した点
のステレオ設計画像Ie(左右一対の設計画像IeL及びIeR
からなる。以下同じ。)を視点と光軸と画角とに応じて
作成する三次元グラフィック手段30、並びにステレオ操
作画像Iwとステレオ設計画像Ieとを重畳する重畳手段36
を備えてなる。ステレオ設計画像Ieの基になる「ある座
標に設計した点」とは、例えば施工対象1aの掘削位置や
切土・盛土位置、勾配等を示す丁張上の点又は設計図上
の点の群である。図6のグラフィック手段30は、設計さ
れた点の座標を記憶する記憶手段31と、その座標に基づ
き左右のグラフィック画像IkL、IkRを作成するグラフィ
ック作成装置32L、32Rと、グラフィック作成装置32L、3
2Rから同期信号SkL、SkRを入力してステレオ同期信号Se
を出力する左右同期装置33と、グラフィック画像IkL、I
kR及びステレオ同期信号Seから左右の設計画像IeL、I eR
を作成する画像変換機34L、34Rとを有する。また同図の
重畳手段36は、重畳同期手段37と画像合成手段38とを有
する。FIG. 6 shows the configuration of the image system.
Stereo operation image I of target 1aw(A pair of left and right operation images IwL
And IwRConsists of same as below. ) With the viewpoint V, the optical axis O and the image
Imager pair 5 (a pair of left and right imagers 5) given in accordance with the angle WL
And 5RConsists of same as below. ), A point designed at a certain coordinate
Stereo Design Image Ie(A pair of left and right design images IeLAnd IeR
Consists of same as below. ) According to viewpoint, optical axis and angle of view
The three-dimensional graphic means 30 to be created and the stereo operation
Image IwAnd stereo design image IeSuperimposing means 36 for superimposing
Is provided. Stereo Design Image IeThe base of
The point designed as a target '' means, for example, the excavation position of
A point on the tongue indicating the cut / embankment position, slope, etc. or on the design drawing
Is a group of points. The graphic means 30 of FIG.
Storage means 31 for storing the coordinates of the selected point, and based on the coordinates.
Left and right graphic image IkL, IkRCreate graphics
Lock making device 32L, 32RAnd the graphic creation device 32L, 3
TwoRFrom the synchronization signal SkL, SkRAnd input the stereo sync signal Se
Synchronizer 33 that outputskL, I
kRAnd stereo synchronization signal SeLeft and right design image IeL, I eR
Create image converter 34L, 34RAnd Also in the figure
The superimposing means 36 includes a superimposing synchronizing means 37 and an image synthesizing means 38.
I do.
【0006】使用に際し、図7に示すように、撮像機対
5の視野内の既知座標Pにおける視標8aの初期ステレオ
操作画像Iw1(Iw1LとIw1R)を撮像機対5により初期視
点V1と初期光軸O1と一定画角Wwとで撮影し、既知座標P
の複数の視標8aの初期ステレオ設計画像Ie1(Ie1LとI
e1R)をグラフィック手段30により初期視点V1と初期光
軸O1と任意画角Wxとで作成し、重畳手段36で初期ステレ
オ操作画像Iw1と初期ステレオ設計画像Ie1とを同一向き
で重畳し、グラフィック手段30の任意画角Wxを変化させ
て前記重畳した初期ステレオ操作画像Iw1及び初期ステ
レオ設計画像Ie1の対応視標8aの像を一致させ、一致時
のグラフィック手段30の任意画角Wxを撮像機対応画角We
とする。撮像機対5の視点V及び光軸Oは、例えば施工
用移動体2上の座標計測手段22及び姿勢計測手段23で計
測し、無線送信装置24及び無線受信装置26経由で操作室
3のグラフィック手段30に伝送する(図6参照)。In use, as shown in FIG. 7, an initial stereo operation image I w1 (I w1L and I w1R ) of the optotype 8a at a known coordinate P in the visual field of the imaging device pair 5 is used by the imaging device pair 5 as an initial viewpoint. V 1 , the initial optical axis O 1, and a fixed angle of view W w
Initial stereo design images I e1 (I e1L and I
The E1R) by the graphic means 30 created in the initial viewpoint V 1 and the initial optical axis O 1 and any angle W x, the initial stereo operation image I w1 and the initial stereo design image I e1 in the same direction in superposition means 36 superimposed, to match the image of the corresponding optotype 8a of the initial stereo operation image I w1 and the initial stereo design image I e1 which is the superimposed by changing any angle W x graphic means 30, matching the time of the graphic unit 30 any angle of view W imaging device corresponding angle of the x W e
And The viewpoint V and the optical axis O of the imaging device pair 5 are measured, for example, by the coordinate measuring means 22 and the attitude measuring means 23 on the construction moving body 2, and the graphics of the operation room 3 are transmitted via the wireless transmitting device 24 and the wireless receiving device 26. It is transmitted to the means 30 (see FIG. 6).
【0007】その後、図8に示すように、施工対象1aの
ステレオ操作画像Iw(IwLとIwR)を撮像機対5により所
定視点Viと所定光軸Oiと一定画角Wwとで撮影し、施工対
象1aのステレオ設計画像Ie(IeLとIeR)をグラフィック
手段30により所定視点Viと所定光軸Oiと撮像機対応画角
Weとで作成し、重畳手段36により施工対象1aのステレオ
操作画像Iwとステレオ設計画像Ieとを重畳してステレオ
支援画像It(左右一対の支援画像ItL及びItRからなる。
以下同じ。)を作成する。ステレオ支援画像Itをステレ
オ画像生成機42へ入力し、例えば1/120秒程度の高速度
で交互に切替えながらディスプレイ14に時分割表示す
る。操作室3の操作員は、ステレオ画像生成機42の画像
切替と同期して左眼及び右眼が交互に閉鎖される液晶シ
ャッター眼鏡16を介してディスプレイ14上のステレオ支
援画像Itを観察することにより、ステレオ支援画像Itを
立体視しながら遠隔操作をする。この画像システムを用
いた遠隔施工では、例えば図8に示すように、丁張が表
示されたステレオ支援画像Itを立体観察しながら作業を
行なえるので、作業の指標が得られると共に作業効率の
向上が期待できる。[0007] Thereafter, as shown in FIG. 8, construction stereo operation image of the target 1a I w (I wL and I wR) predetermined viewpoint by the image pickup machine-to 5 V i with a predetermined optical axis O i constant angle W w taken with a stereo design image I e (I eL and I eR) predetermined viewpoint V i with a predetermined optical axis O i and the imaging unit corresponding angle by the graphic means 30 the construction target 1a
Created in the W e, consists of a stereo operation image I w stereo design image I e by superimposing the to the stereo support image I t (a pair of right and left support image I tL and I tR construction target 1a by superposing means 36.
same as below. ) To create. Enter the stereo support image I t to the stereoscopic image generating apparatus 42, for example, a display 14 in time-division display while alternately switched at a high speed of about 1/120 sec. Operator of the operating chamber 3 via the liquid crystal shutter glasses 16 left and right eyes are alternately closed in synchronization with the image switching of the stereoscopic image generation apparatus 42 for observing the stereoscopic assistant image I t on the display 14 it allows the remote operation while stereoscopic stereo-assisted image I t. In the remote installation using an image system, for example, as shown in FIG. 8, since Zhang Zhang perform the work while the three-dimensional observation of the stereoscopic assistant image I t which is displayed, the work efficiency along with an indication of the work can be obtained Improvement can be expected.
【0008】[0008]
【発明が解決しようとする課題】図5に示すような遠隔
施工では、操作ミス等に起因して、例えば施工用移動体
2が施工域1内の盛土等(図1参照)から転落し又は施
工域1内の所定作業区域から逸脱すること(以下、纏め
て作業区域からの逸脱という。)を避ける必要がある。
施工域1を無人化した遠隔施工では逸脱した施工用移動
体2の復旧が難しく、また予定作業区域からの逸脱は施
工管理上の問題を生じることがあるからである。前記特
願平7-267549号の画像システムにおいて、施工用移動体
2の作業区域を案内点として示すグラフィック画像と操
作画像Iwとの重畳ステレオ支援画像Itが提供できれば、
操作員は作業区域を確認しながら遠隔操作ができるの
で、施工用移動体2の作業区域からの逸脱防止に貢献で
きる。In remote construction as shown in FIG. 5, for example, the construction moving body 2 falls down from the embankment or the like in the construction area 1 (see FIG. 1) due to an operation error or the like. It is necessary to avoid departure from a predetermined work area in the construction area 1 (hereinafter, referred to as a deviation from the work area collectively).
This is because remote construction in which the construction area 1 is unmanned makes it difficult to recover the construction moving body 2 that has deviated, and deviation from the planned work area may cause a problem in construction management. In the above Japanese Patent Application 7-267549 Patent imaging system, if provided superimposed stereo support image I t of a graphic image indicating the working area of the construction for mobile 2 as a guidance point and operation image I w is,
The operator can remotely control the work area while checking the work area, thereby contributing to preventing the construction moving body 2 from deviating from the work area.
【0009】しかし実際の遠隔施工では、施工域1の地
形等が工事の進捗に応じて変化するので、施工用移動体
2の作業区域もそれに応じて変らざるを得ない。例えば
施工域1内の盛土等(図1参照)から施工用移動体2が
転落するのを防止する場合において、盛土等の形状は一
定ではなく、その形状に応じて施工用移動体2の作業区
域が決まる。従って施工域1内の作業区域を案内点とし
て示す画像は、例えば図6のグラフィック手段30の記憶
手段31に記憶した「設計した点」のような一定の座標に
基づいて作成するのは難しく、施工域1の地形等の変化
に応じて案内点の座標を変更しなければならない。図6
〜図8の従来の画像システムでは、操作画像Iwに重畳さ
せるグラフィック画像を施工域1の地形等に応じて変更
することが難しい。However, in actual remote construction, since the topography of the construction area 1 changes according to the progress of the construction, the work area of the construction moving body 2 must be changed accordingly. For example, in the case where the construction moving body 2 is prevented from falling from the embankment or the like in the construction area 1 (see FIG. 1), the shape of the embankment or the like is not constant, and the work of the construction moving body 2 is performed according to the shape. The area is determined. Therefore, it is difficult to create an image showing the work area in the construction area 1 as a guide point based on fixed coordinates such as “designed points” stored in the storage means 31 of the graphic means 30 in FIG. The coordinates of the guide point must be changed according to the change in the topography and the like of the construction area 1. FIG.
In the conventional image system to 8, it is difficult to change in accordance with the graphic image to be superimposed on the operation image I w terrain like construction zone 1.
【0010】そこで本発明の目的は、進捗に応じて位置
が変化する作業区域を重畳表示するステレオ式操作支援
画像システムを提供するにある。[0010] Therefore, the object of the present invention is to determine the position according to the progress.
It is an object of the present invention to provide a stereoscopic operation support image system that superimposes and displays a work area in which changes occur .
【0011】[0011]
【課題を解決するための手段】図1及び図4の実施例を
参照するに、本発明の施工用移動体の遠隔操作支援画像
システムは、遠隔操作で駆動する施工用移動体2と該移
動体2の施工域1とに臨む視点V及び光軸Oで所定画角
Wのステレオ操作画像Iw(左右一対の操作画像IwLと
IwR)を撮影する移動式撮像機対4(左右一対の撮像機4
L及び4Rからなる。以下同じ。);撮像機対4の視点V
及び光軸Oを計測する計測手段20、23;施工域1内の作
業区域を示す板状案内点群の大きさを記憶する手段;ス
テレオ操作画像対I wL 、I wR をフレーム毎に記憶する一対
のフレームメモリ47 L 、47 R と、フレームメモリ対47 L 、4
7 R 内の画像I wL 、I wR の各々の上に指示された位置の二次
元座標T 0 を検出する座標検出手段48と、施工域1内の任
意点に対するステレオ操作画像対I wL 、I wR 上の像の二次
元座標対と該任意点の三次元座標との間の変換パラメタ
50とを有し、フレームメモリ対47 L 、47 R 内の画像対
I wL 、I wR 上に前記案内点群の位置として入力された二次
元座標対T0 、T 0 と変換パラメタ50とからステレオ画像計
測法により前記案内点群の位置の三次元座標Tを算出す
る案内点入力手段44;算出された案内点群の位置の三次
元座標Tと前記記憶した案内点群の大きさとに基づき前
記計測手段20、23の計測した視点V及び光軸Oで所定画
角Wのステレオ案内画像Ig(左右一対の案内画像IgLとI
gRからなる。以下同じ。)を作成する三次元グラフィッ
ク手段30;並びにステレオ操作画像Iwとステレオ案内画
像Igとの重畳により作業区域が明示されたステレオ操作
支援画像Is(左右一対の操作支援画像IsLとIsRからな
る。以下同じ。)を作成する画像重畳手段36を備えてな
る。Referring to the embodiment of FIGS. 1 and 4, a remote control assisting image system for a construction moving object according to the present invention comprises a construction moving object 2 driven by remote control and the movement. A stereo operation image I w (a pair of left and right operation images I wL) of a predetermined angle of view W at the viewpoint V and the optical axis O facing the construction area 1 of the body 2
I wR ) mobile imaging device pair 4 (left and right imaging device 4
Consists of L and 4R . same as below. ) ; Viewpoint V of imager pair 4
Measuring means 20 and 23 for measuring the optical axis O ; means for storing the size of a plate-like guide point group indicating the work area in the construction area 1 ;
Teleo operation image pair I wL , I wR for each frame
A frame memory 47 L, 47 R of the frame memory pair 47 L, 4
7 Secondary of the indicated position on each of the images I wL , I wR in R
A coordinate detecting means 48 for detecting the original coordinates T 0 , and a pair of stereo-operated image pairs I wL and I wR for an arbitrary point in the construction area 1 between a two-dimensional coordinate pair of an image on the I wR and a three-dimensional coordinate of the arbitrary point Conversion parameters
And a 50, the image pair of the frame memory pair in 47 L, 47 R
The three-dimensional coordinates T of the position of the guide point group are calculated by a stereo image measurement method from the two-dimensional coordinate pair T 0 , T 0 and the conversion parameter 50 input as the position of the guide point group on I wL and I wR. Guide point input means 44 ; a predetermined image is formed at the viewpoint V and the optical axis O measured by the measuring means 20 and 23 based on the three-dimensional coordinates T of the calculated position of the guide point group and the size of the stored guide point group. corner W of stereo guide image I g (a pair of left and right guide image I gL and I
Consists of gR . same as below. ) To create a three-dimensional graphics unit 30; and stereo operation image I w stereo guide image I g and the working zone explicit stereo operation supporting image I s (left and right pair of operation supporting images I sL by superimposition of the I sR , The same applies hereinafter).
【0012】撮像機対4の視点Vは、左撮像機4Lの撮影
位置(VLと表す。)と右撮像機4Rの撮影位置(VRと表
す。)とからなる。撮像機4の光軸Oは、左撮像機4Lの
撮影向き及びローリング角(両者を纏めてOLと表す。)
と、右撮像機4Rの撮影向き及びローリング角(両者を纏
めてORと表す。)とからなる。撮像機4の所定画角Wは
左撮像機4Lと右撮像機4Rとに共通の画角Wとする。[0012] viewpoint V of the imaging device pair 4, consists of the photographing position of the left imaging device 4 L and (expressed as V L.) Right imaging unit 4 R imaging position of the (expressed as V R.) And. The optical axis O of the imaging device 4, the left imaging unit 4 L photographing direction and the rolling angle (collectively both expressed as O L.)
If, consisting photographing direction and a rolling angle of the right imaging unit 4 R (collectively both expressed as O R.). Predetermined angle W of the image pickup device 4 to a common angle W to the 4 R left imaging unit 4 L and the right imaging device.
【0013】また図4を参照するに、三次元グラフィッ
ク手段30の視点Vは、左案内画像IgLに対する左視点座
標VLと右案内画像IgRに対する右視点座標VRとからな
る。また三次元グラフィック手段30の光軸は、左案内画
像IgLに対する光軸向き及びローリング角OLと、右案内
画像IgRに対する光軸向き及びローリング角ORとからな
る。三次元グラフィック手段30の画角は左案内画像IgL
と右案内画像IgRとに共通の画角Wとする。[0013] Referring to FIG. 4, the viewpoint V three-dimensional graphics unit 30 is composed of a right-viewpoint coordinate V R for the left viewpoint coordinate V L and the right guide image I gR for the left guide image I gL. The optical axis of the three-dimensional graphics unit 30 comprises an optical axis direction and the rolling angle O L for the left guide image I gL, the optical axis direction with respect to the right guide image I gR and a rolling angle O R. The angle of view of the three-dimensional graphic means 30 is the left guide image I gL
And the right guide image IgR .
【0014】[0014]
【発明の実施の形態】図1、図3(a)及び図4は、施工
域1内の盛土上で駆動する施工用移動体2の遠隔施工に
本発明を適用した実施例を示す。撮像機対4L、4Rは、例
えば撮影用移動体13(図5参照)に取付けて盛土等の作
業状況が撮影可能な位置へ移動させる。撮像機対4の所
定視点V即ち各撮像機4L、4Rの撮影位置VL、VRを移動体
13上の座標計測手段20で計測し、撮像機4の所定光軸O
即ち各撮像機4L、4Rの撮影向き及びローリング角OL、OR
を移動体13上の姿勢計測手段23で計測する。座標計測手
段20の一例はGPS利用の座標計測装置又は三次元測量
用プリズムであり、姿勢計測手段23の一例は角度計測装
置である。撮像機対4の一例は2台のCCDカメラであ
り、その画角は撮像機対4に固有とするか又は遠隔操作
で調整可能とする。撮像機対4の出力するステレオ操作
画像Iwは画像送信機7及び画像受信機10経由で操作室3
へ伝送する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIGS. 1, 3 (a) and 4 show an embodiment in which the present invention is applied to a remote construction of a construction moving body 2 driven on an embankment in a construction area 1. FIG. Imager vs. 4 L, 4 R, for example the working conditions of the embankment or the like attached to the photographing for mobile 13 (see FIG. 5) moves to a position that allows imaging. Imager pairs 4 of a predetermined view point V i.e. the imager 4 L, 4 R shooting position V L, moving the V R body
13 is measured by the coordinate measuring means 20 on the
That is, each imaging device 4 L, 4 R photographing direction and the rolling angle O L of, O R
Is measured by the posture measuring means 23 on the moving body 13. One example of the coordinate measuring means 20 is a coordinate measuring device using GPS or a three-dimensional surveying prism, and one example of the attitude measuring means 23 is an angle measuring device. An example of the imaging device pair 4 is two CCD cameras, and the angle of view is made unique to the imaging device pair 4 or can be adjusted by remote control. The stereo operation image I w output from the imaging device pair 4 is transmitted to the operation room 3 via the image transmitter 7 and the image receiver 10.
Transmit to
【0015】図1の案内点入力手段44は、ステレオ操作
画像対I wL 、I wR の各々の上に案内点群の位置として二次
元座標対T0 、T 0 を入力する座標入力手段45と、施工域1
内の任意点に対するステレオ操作画像対I wL 、I wR 上の像
の二次元座標対と該任意点の施工域1内の三次元座標と
の間の変換パラメタ50と、前記案内点群の位置の二次元
座標対T0 、T 0 及び前記変換パラメタ50からステレオ画像
計測法により該案内点群の位置の三次元座標Tを算出す
る座標算出手段52とを有する。ステレオ画像計測法とは
ステレオ画像上の対象の像の二次元座標対から該対象の
三次元座標を求める座標計測方法であり、施工域1内の
三次元座標が既知の複数の基準対象に対するステレオ画
像上の二次元座標を検出することによりステレオ画像計
測法の変換パラメタ50が求められる。本発明者らは無人
施工域で変換パラメタ50を正確に同定する方法を開発し
特開平8-101035号公報に開示した。例えば同公報の方法
で同定した変換パラメタ50を本発明で利用することがで
きる。変換パラメタ50は座標算出手段52に接続された記
憶手段49へ記憶する。The guide point input means 44 in FIG. 1 includes a coordinate input means 45 for inputting a two-dimensional coordinate pair T 0 , T 0 as the position of a guide point group on each of the stereo operation image pair I wL , I wR. , Construction area 1
A conversion parameter 50 between the stereo operation image pair I wL and the two-dimensional coordinate pair of the image on I wR and the three-dimensional coordinates of the arbitrary point in the construction area 1 and the position of the guide point group And a coordinate calculating means 52 for calculating the three-dimensional coordinates T of the position of the guide point group from the two-dimensional coordinate pair T 0 , T 0 and the conversion parameter 50 by a stereo image measuring method. The stereo image measurement method is a coordinate measurement method for obtaining three-dimensional coordinates of a target image from a two-dimensional coordinate pair of the target image on the stereo image. By detecting two-dimensional coordinates on the image, a conversion parameter 50 of the stereo image measurement method is obtained. The present inventors have developed a method for accurately identifying the conversion parameter 50 in an unmanned construction area, and disclosed it in Japanese Patent Application Laid-Open No. H8-101035. For example, the conversion parameter 50 identified by the method of the publication can be used in the present invention. The conversion parameter 50 is stored in the storage unit 49 connected to the coordinate calculation unit 52.
【0016】図1の座標入力手段45は、ステレオ操作画
像対I wL 、I wR 用の左右一対のフレームメモリ47L、47
Rと、フレームメモリ47L、47Rの各々の内容を表示する
モニタ46aと、モニタ46aに表示されたステレオ操作画像
対I wL 、I wR の各々の上に案内点群の位置を指示するライ
トペン等の座標指示手段46bと、指示された案内点群の
位置の二次元座標T 0 を検出する座標検出手段48とを有す
る。座標指示手段46bから入力された案内点群の位置指
示はフレームメモリ47L、47R経由で座標検出手段48へ送
られ、座標検出手段48がステレオ操作画像対I wL 、I wR 上
の案内点群の位置の二次元座標対T0 、T 0 を検出する。座
標算出手段52は、検出された案内点群の位置の二次元座
標対T0 、T 0 とステレオ画像計測法の変換パラメタ50とに
基づいて該案内点群の位置の三次元座標Tを算出し、三
次元グラフィック手段30へ出力する。The coordinate input means 45 shown in FIG. 1 includes a pair of left and right frame memories 47 L and 47 for the stereo operation image pair I wL and I wR .
And R, the frame memory 47 L, 47 a monitor 46a for displaying the contents of each of the R, stereo operation image displayed on the monitor 46a
Coordinate indicating means 46b such as a light pen for indicating the position of the guide point group on each of the pairs I wL and I wR , and coordinate detecting means 48 for detecting the two-dimensional coordinates T 0 of the indicated position of the guide point group. And Position indicator guidance point groups input from the coordinate pointing device 46b is sent to the coordinate detecting means 48 via the frame memory 47 L, 47 R, the coordinate detecting means 48 for stereo operation image pair I wL, guidance points on the I wR The two-dimensional coordinate pair T 0 , T 0 of the group position is detected. The coordinate calculation means 52 calculates the three-dimensional coordinates T of the position of the guide point group based on the two-dimensional coordinate pair T 0 , T 0 of the detected position of the guide point group and the conversion parameter 50 of the stereo image measurement method. Then, it outputs to the three-dimensional graphic means 30.
【0017】三次元グラフィック手段30は、案内点群の
三次元座標Tと、後述する案内点群の厚さや高さ等の大
きさと、座標計測手段20で計測した一対の視点座標すな
わち撮像機対4の視点Vと、姿勢計測手段23で計測した
一対の光軸向き及びローリング角すなわち撮像機対4の
光軸Oと、所定画角Wとに基づき、ステレオ案内画像Ig
を作成する。撮像機対4の視点V及び光軸Oの信号は、
例えば無線式又は有線式の送信装置24及び受信装置26経
由で三次元グラフィック手段30へ伝送する。ステレオ案
内画像Igの画角をステレオ操作画像Iwの画角と一致させ
るため、図6の場合と同様に、初期処理において三次元
グラフィック手段30の画角を撮像機対4の所定画角Wに
一致させることができる。図4は、画像重畳手段36が撮
像機4によるステレオ操作画像Iwと三次元グラフィック
手段30によるステレオ案内画像Igとを重畳し、ステレオ
操作支援画像Isを作成することを示す。三次元グラフィ
ック手段30及び画像重畳手段36は、図6の例と同じ構成
とすることができる。The three-dimensional graphic means 30 includes three-dimensional coordinates T of the guide point group and large values such as the thickness and height of the guide point group described later.
And a pair of viewpoint coordinates measured by the coordinate measuring means 20, that is, the viewpoint V of the imaging device pair 4, and a pair of optical axis directions and rolling angles measured by the posture measuring device 23, that is, of the imaging device pair 4. br /> and the optical axis O, based on the predetermined angle W, stereo guide image I g
Create The signals of the viewpoint V and the optical axis O of the imager pair 4 are
For example, the data is transmitted to the three-dimensional graphic means 30 via a wireless or wired transmission device 24 and a reception device 26. In order to match the angle of view of the stereo guide image Ig with the angle of view of the stereo operation image Iw , the angle of view of the three-dimensional graphic means 30 is set to the predetermined angle of view of the imaging device pair 4 in the initial processing as in the case of FIG. W can be matched. Figure 4 shows that the image superposing means 36 superimposes the stereo guide image I g by Stereo operation image I w and 3D graphics unit 30 by the image pickup device 4, to create a stereo operation supporting image I s. The three-dimensional graphic means 30 and the image superimposing means 36 can have the same configuration as the example in FIG.
【0018】図3(A)及び図4は、盛土の法肩に沿った
板状案内点群(以下、法肩案内点群という。)を表示し
たステレオ操作支援画像Isの一例を示す。このようなス
テレオ案内画像Igを作成する場合は、法肩案内点群の三
次元座標Tを三次元グラフィック手段30へ入力する。即
ち図1で説明するに、モニタ46aに表示されたステレオ
操作画像対I wL 、I wR の各々の上で盛土法肩の位置を座標
指示手段46bで指示することにより法肩案内点群を設置
すべき位置の二次元座標T0を入力し、座標検出手段48で
法肩案内点群の位置の二次元座標T0を検出する。一対の
ステレオ操作画像対I wL 、I wR 上の二次元座標対T0 、T 0 と
変換パラメタ50とから座標算出手段52で法肩案内点群の
位置の三次元座標Tを算出する。なお図示例のステレオ
案内画像Igは、法肩案内点群を所定厚さで所定高さの壁
板状案内点群として表示している。この場合は、座標算
出手段52に所定厚さ及び所定高さを記憶し、座標算出手
段52により法肩案内点群の位置の二次元座標対T0 、T 0 と
変換パラメタ50と前記所定厚さ及び所定高さとから壁板
状案内点群の位置の三次元座標Tを算出し、その三次元
座標を三次元グラフィック手段30へ出力する。但し案内
点群の像の形や大きさは図示例に限定されない。[0018] FIGS. 3 (A) and 4, Law shoulder along the plate-like guide point cloud embankment (hereinafter, referred to as legal shoulder guiding point group.) Shows an example of a stereo operation supporting image I s displaying the. To create such a stereo guide image Ig , the three-dimensional coordinates T of the staggered guide point group are input to the three-dimensional graphic means 30. That is, as shown in FIG. 1, the position of the embankment method shoulder is set by indicating the position of the embankment method shoulder on each of the stereo operation image pair I wL and I wR displayed on the monitor 46a by the coordinate indicating means 46b. enter the two-dimensional coordinates T 0 of should do position, detects the two-dimensional coordinates T 0 position law shoulder guiding point group by the coordinate detecting means 48. Pair of
The three-dimensional coordinates T of the position of the guide point group are calculated by the coordinate calculating means 52 from the two-dimensional coordinate pairs T 0 , T 0 on the stereo operation image pair I wL , I wR and the conversion parameter 50. Incidentally stereo guide image I g in the illustrated example, displaying a legal shoulder guiding point group as a wall plate shaped guide point group of a predetermined height at a predetermined thickness. In this case, a predetermined thickness and a predetermined height are stored in the coordinate calculation means 52, and the two-dimensional coordinate pair T 0 , T 0 , the conversion parameter 50, and the predetermined thickness The three-dimensional coordinates T of the position of the wall-shaped guide point group are calculated from the height and the predetermined height, and the three-dimensional coordinates are output to the three-dimensional graphic means 30. However, the shape and size of the image of the guide point group is not limited to the illustrated example.
【0019】図4を参照するに、画像重畳手段36で作成
したステレオ操作支援画像Isをステレオ画像生成機42へ
入力し、例えばディスプレイ14上に時分割表示する。操
作員はディスプレイ14上に表示されたステレオ操作支援
画像Isを液晶シャッター眼鏡16を介して立体視する。ス
テレオ画像生成機42、ディスプレイ14及び液晶シャッタ
ー眼鏡16は従来技術に属するものである。本発明によれ
ば、ステレオ案内画像Igの変更が必要な場合に、案内点
入力手段45から案内点群の三次元座標Tを入力すること
により、その変更が簡単にできる。例えば図4のように
盛土上で駆動する施工用移動体2を遠隔操作する場合に
おいて、進捗に応じて盛土の形状等が変化しても法肩案
内点群の座標を適宜入力することにより常に法肩案内点
群の明示された操作支援画像Isが提供できるので、操作
ミス等に起因する施工用移動体2の盛土からの転落その
他作業区域からの逸脱の防止が期待できる。[0019] Referring to FIG. 4, enter the stereo operation assistant image I s created by the image superimposing unit 36 to the stereoscopic image generation unit 42, time-division display example on the display 14. Operator stereoscopic viewing through the liquid crystal shutter glasses 16 stereo operation supporting image I s, which is displayed on the display 14. The stereo image generator 42, the display 14, and the liquid crystal shutter glasses 16 belong to the related art. According to the present invention, when the stereo guide image Ig needs to be changed, the change can be easily performed by inputting the three-dimensional coordinates T of the guide point group from the guide point input means 45. For example, in the case where the construction moving body 2 driven on the embankment is remotely controlled as shown in FIG. 4, even if the shape of the embankment changes in accordance with the progress, the coordinates of the slope guide point group are always input as appropriate. since it provided legal shoulder guidance point group of explicit operation supporting image I s, prevention of deviation from falling other work area from construction for mobile 2 embankment due to operation error or the like can be expected.
【0020】こうして本発明の目的である「進捗に応じ
て位置が変化する作業区域を重畳表示するステレオ式操
作支援画像システム」の提供が達成できる。[0020] is thus an object of the present invention according to the "progress
To provide a stereoscopic operation support image system that superimposes and displays a work area whose position changes .
【0021】[0021]
【実施例】図2及び図3(B)は、施工用移動体2を複数
の隣接する所定移動計画線分上で順次移動させる場合
に、その移動計画線分を板状案内点群として表示した本
発明の実施例を示す。コンクリートダムの施工等では、
打設コンクリートの仕上り品質を確保するため固化前の
コンクリート上で締固め用の施工用移動体(以下、締固
めローラという。)を転がす作業(以下、転圧作業とい
う。)が不可欠である。転圧作業は、締固めローラをコ
ンクリート打設後の所定移動計画線分(線分の集合とし
ての曲線を含む。以下同じ)上で所定回数往復させて該
移動計画線分上のローラ幅の帯状域(以下、ローラ加圧
域という。)を転圧し、続いて締固めローラを隣接移動
計画線分上へ移動させ且つ隣接移動計画線分上で再度締
固めローラを所定回数往復させて隣接移動計画線分上の
ローラー加圧域を転圧し、前記所定回数の往復移動と隣
接移動計画線分への移動とを繰返す作業である。転圧作
業はコンクリート品質を確保する重要な工程であるた
め、同一移動計画線分上での締固めローラの往復回数、
隣接するローラ加圧域の重なり幅等が施工管理の対象と
されている。しかし遠隔施工では、締固めローラを同一
移動計画線分上で移動させる操作や所定重なり幅の隣接
移動計画線分上へ移動させる操作が難しい場合があり、
締固めローラが所定移動計画線分から逸脱し易く、所望
のコンクリート品質が確保できない虞がある。移動計画
線分を板状案内画像として表示できれば、締固めローラ
の移動計画線分からの逸脱防止を図り、施工品質の向上
も期待できる。FIG. 2 and FIG. 3 (B) show a plurality of moving bodies 2 for construction.
5 shows an embodiment of the present invention in which, when sequentially moving on an adjacent predetermined movement planning line segment, the movement planning line segment is displayed as a plate-like guide point group. In the construction of concrete dams,
In order to secure the finish quality of the cast concrete, it is essential to perform a work (hereinafter, referred to as a compaction roller) for rolling a compacting work body (hereinafter, referred to as a compaction roller) on concrete before solidification. Rolling work is performed by reciprocating the compaction roller a predetermined number of times on a predetermined moving planned line segment (including a curve as a set of line segments; the same applies hereinafter) after the concrete is cast, and the roller width on the moving planned line segment is reduced. Rolling a belt-shaped area (hereinafter referred to as a roller pressing area), then moving the compaction roller onto the adjacent movement planned line segment, and reciprocating the compaction roller a predetermined number of times on the adjacent movement planned line segment to adjoin the belt. This is an operation of rolling the roller pressurized area on the movement planned line segment and repeating the predetermined number of reciprocating movements and moving to the adjacent movement planned line segment. Since the compaction work is an important process to ensure the quality of concrete, the number of reciprocations of the compaction roller on the same
The overlap width of the adjacent roller pressurized areas is subject to construction management. However, in remote construction, it may be difficult to move the compaction roller on the same movement plan line segment or to move it to an adjacent movement plan line segment with a predetermined overlap width.
The compaction roller tends to deviate from the predetermined movement planned line segment, and there is a possibility that desired concrete quality cannot be ensured. If the movement planning line segment can be displayed as a plate-like guide image, it is possible to prevent the compaction roller from deviating from the movement planning line segment and to expect improvement in construction quality.
【0022】図2の実施例では、施工域1における施工
用移動体2の位置座標を計測する座標計測手段22a及び2
2bを案内点入力手段44に接続させて設けている。また同
図の案内点入力手段44は、施工用移動体2の案内方位D
を入力する方位入力手段54と、座標計測手段22a及び22b
が計測する位置座標R及び案内方位Dから案内点群の三
次元座標Tを算出する座標算出手段55とを有する。座標
計測手段22a及び22bの一例はGPS利用による座標計測
装置であり、その場合は計測装置22bで地表既知座標の
操作室3の三次元座標を計測し、同時に計測装置22aで
移動体3の三次元座標を計測し、両計測装置22a、22bの
計測値から相対測位法で操作室3から施工用移動体2に
至る三次元ベルトルを求め、操作室3の既知座標と前記
三次元ベクトルとから施工用移動体2の位置座標Rを算
出する。但し座標計測手段22はGPS計測に限定され
ず、例えば操作室3に設けた自動追尾式トータルステー
ション等の測量機器とすることができる。In the embodiment shown in FIG. 2, coordinate measuring means 22a and 22a for measuring the position coordinates of the construction moving body 2 in the construction area 1.
2b is provided so as to be connected to the guide point input means 44. In addition, the guide point input means 44 in FIG.
Input means 54 for inputting the coordinates, and the coordinate measuring means 22a and 22b
And a coordinate calculating means 55 for calculating three-dimensional coordinates T of the guide point group from the position coordinates R and the guide azimuth D measured by. One example of the coordinate measuring means 22a and 22b is a coordinate measuring device using GPS. In this case, the measuring device 22b measures the three-dimensional coordinates of the operation room 3 of the known coordinates on the ground, and at the same time, the measuring device 22a measures the tertiary coordinates of the moving body 3. The original coordinates are measured, and a three-dimensional belt from the operation room 3 to the construction moving body 2 is obtained from the measured values of the two measurement devices 22a and 22b by a relative positioning method, and is obtained from the known coordinates of the operation room 3 and the three-dimensional vector. The position coordinates R of the construction moving body 2 are calculated. However, the coordinate measuring means 22 is not limited to the GPS measurement, and may be, for example, a surveying instrument such as an automatic tracking type total station provided in the operation room 3.
【0023】コンクリートを打込み、ブルドーザで敷均
し作業を行った後、締固めローラをコンクリート上の初
期位置へ移動させる。例えばこの初期位置の位置座標R
を座標計測手段22で計測して座標算出手段55へ入力す
る。他方、所定移動計画線分の方位を案内方位Dとして
方位入力手段54から座標算出手段55へ入力する。座標算
出手段55は位置座標Rと案内方位Dとに基づいて所定移
動計画線分上の三次元座標Tを算出し、該三次元座標T
を三次元グラフィック手段30に出力する。三次元グラフ
ィック手段30は三次元座標Tに基づいて所定移動計画線
分のステレオ案内画像Igを作成し、そのステレオ案内画
像Igとステレオ操作画像Iwとから画像重畳手段36がステ
レオ操作支援画像Isを作成する。After the concrete is poured in and the work is spread with a bulldozer, the compaction roller is moved to the initial position on the concrete. For example, the position coordinates R of this initial position
Is measured by the coordinate measuring means 22 and input to the coordinate calculating means 55. On the other hand, the azimuth of the predetermined movement planned line is input as the guidance azimuth D from the azimuth input means 54 to the coordinate calculation means 55. The coordinate calculation means 55 calculates three-dimensional coordinates T on a predetermined movement planning line segment based on the position coordinates R and the guide direction D, and calculates the three-dimensional coordinates T
Is output to the three-dimensional graphic means 30. Three-dimensional graphics unit 30 creates a stereo guide image I g of predetermined movement plan segment based on the three-dimensional coordinates T, the image superimposing unit 36 is a stereo operational support from its stereo guide image I g and stereo operation image I w to create the image I s.
【0024】なお図3(B)のステレオ案内画像Igは、案
内点群をローラ幅の帯状案内点群として表している。同
図のようなステレオ案内画像Igを作成する場合は、座標
算出手段55にローラ幅を記憶し、上記方法で算出した所
定移動計画線分の三次元座標と該ローラ幅とから帯状案
内点群の三次元座標Tを算出する。It should be noted stereo guidance image I g in FIG. 3 (B) represents a guidance point group as a belt guidance point group of roller width. When creating a stereo guide image I g as in the figure stores the roller width coordinate calculation unit 55, the strip guide point from the three-dimensional coordinates and the roller width of the predetermined movement plan segment calculated by the above method The three-dimensional coordinates T of the group are calculated.
【0025】[0025]
【発明の効果】以上説明したように本発明の施工用移動
体の遠隔操作支援画像システムは、撮像機対で撮影した
施工域のステレオ操作画像と、案内点入力手段から入力
した案内点群の三次元座標に基づき三次元グラフィック
手段が作成したステレオ案内画像との重畳によりステレ
オ操作支援画像を作成するので、次の顕著な効果を奏す
る。As described above, the remote control assisting image system for a construction moving object according to the present invention provides a stereo operation image of a construction area photographed by a pair of image pickup devices and a guide point group inputted from a guide point input means. Since the stereo operation support image is created by superimposition with the stereo guide image created by the three-dimensional graphic means based on the three-dimensional coordinates, the following remarkable effects are obtained.
【0026】(イ)案内点入力手段から案内点群の座標を
入力するだけで、ステレオ操作画像に重畳するステレオ
案内画像を比較的簡単に変更できる。 (ロ)施工用移動体の作業区域が工事の進捗に応じて変化
する場合でも、その作業区域が明示されたステレオ操作
支援画像を遠隔操作員に提供できるので、操作ミス等に
起因する作業区域からの逸脱事故の発生防止が期待でき
る。 (ハ)施工用移動体を所定移動計画線分上で移動させる場
合に、その移動計画線分を明示したステレオ操作支援画
像が提供できるので、遠隔施工における施工品質の向上
が期待できる。(A) By simply inputting the coordinates of the guide point group from the guide point input means, the stereo guide image to be superimposed on the stereo operation image can be changed relatively easily. (B) Even when the work area of the construction moving object changes in accordance with the progress of the construction, the work area caused by an operation error or the like can be provided to the remote operator with the stereo operation support image clearly indicating the work area. It can be expected to prevent the occurrence of deviation accidents. (C) When the moving object for construction is moved on the predetermined movement planning line segment, a stereo operation support image that clearly indicates the movement planning line segment can be provided, so that improvement in construction quality in remote construction can be expected.
【図1】は、本発明の一実施例の説明図であるFIG. 1 is an explanatory diagram of one embodiment of the present invention.
【図2】は、本発明の他の実施例の説明図である。FIG. 2 is an explanatory diagram of another embodiment of the present invention.
【図3】は、ステレオ操作支援画像の説明図である。FIG. 3 is an explanatory diagram of a stereo operation support image.
【図4】は、本発明による画像重畳方法の説明図であ
る。FIG. 4 is an explanatory diagram of an image superimposing method according to the present invention.
【図5】は、遠隔施工の説明図である。FIG. 5 is an explanatory diagram of remote construction.
【図6】は、従来技術の画像システムの説明図であるFIG. 6 is an explanatory diagram of a conventional image system.
【図7】は、従来の画像システムの画角決定方法の説明
図であるFIG. 7 is an explanatory diagram of a conventional method of determining an angle of view of an image system.
【図8】は、従来の画像システムにおける画像重畳方法
の説明図であるFIG. 8 is an explanatory diagram of an image superimposing method in a conventional image system.
1…施工域 1a…施工対象 2…施工用移動体 3…操作室 4、5…撮像機 6、7…画像送信機 8a…視標 10…画像受信機 11…データ伝送用タワー 12…測量用ヘリコプター 13…撮影用移動体 14…ディスプレイ 16…液晶シャッター眼鏡 20、22…座標計測手段 23…姿勢計測手段 24…無線送信装置 26…無線受信装置 30…三次元グラフィック手段 31…記憶手段 32…グラフィック作成手段 33…左右同期手段 34…画像変換機 36…重畳手段 37…重畳同期手段 38…画像合成手段 40…録画・再生手段 42…ステレオ画像生成機 44…案内点入力手段 45…座標入力手段 46a…モニタ 46b…座標指示手段 47…フレームメモリ 48…座標検出手段 49…記憶手段 50…変換パラメタ 52…座標算出手段 54…方位入力手段 55…座標算出手段 Iw…ステレオ操作画像 Ie…ステレオ設計画像 Ik…グラフィック画像 It…ステレオ支援画像 Ig…ステレオ案内画像 Is…ステレオ操作支援画像 V…視点 O…光軸 P…視標の座標 W…画角 Ww…一定画角 We…撮像機対応画角 Wx…任意画角 Sk…同期信号 Se…ステレオ同期信号 Sw…ステレオ撮影同期信号 R…移動体の座標 D…案内方位 T0…案内点群の二次元座標 T…案内点群の三次元座標。DESCRIPTION OF SYMBOLS 1 ... Construction area 1a ... Construction object 2 ... Construction moving body 3 ... Operation room 4,5 ... Imaging machine 6,7 ... Image transmitter 8a ... Target 10 ... Image receiver 11 ... Data transmission tower 12 ... Surveying Helicopter 13 ... moving object 14 ... display 16 ... liquid crystal shutter glasses 20,22 ... coordinate measuring means 23 ... posture measuring means 24 ... wireless transmitting device 26 ... wireless receiving device 30 ... three-dimensional graphic means 31 ... memory means 32 ... graphics Creating means 33 ... left-right synchronizing means 34 ... image converter 36 ... superimposing means 37 ... superimposing synchronizing means 38 ... image synthesizing means 40 ... recording / reproducing means 42 ... stereo image generator 44 ... guide point input means 45 ... coordinate input means 46a ... Monitor 46b ... Coordinate designating means 47 ... Frame memory 48 ... Coordinate detection means 49 ... Storage means 50 ... Conversion parameters 52 ... Coordinate calculation means 54 ... Coordinate calculation means 55 ... Coordinate calculation means I w ... Stereo operation image I e ... Stereo design image I k ... Traffic image I t ... stereo-assisted image I g ... stereo guide image I s ... stereo operation supporting image V ... point of view O ... optical axis P ... coordinate W ... angle of view W w ... corresponding constant angle of view W e ... imaging machine of target Angle of view W x … Arbitrary angle of view S k … Synchronization signal S e … Stereo synchronization signal S w … Stereo synchronization signal R… Coordinates of moving object D… Guidance azimuth T 0 … Two-dimensional coordinates of guide point group T… Guide point The three-dimensional coordinates of the group.
フロントページの続き (56)参考文献 特開 平4−281572(JP,A) 特開 平5−61962(JP,A) 特開 平5−143710(JP,A) 特開 平6−214639(JP,A) 特開 平6−214640(JP,A) 特開 平6−332993(JP,A) 特開 平7−141022(JP,A) 特開 平8−83398(JP,A) 特開 平8−114663(JP,A) 特開 平8−144328(JP,A) 特開 平8−189838(JP,A) 喜多信吾,青景平昌ほか,テレアース ワークシステム(遠隔土工システム)の 開発「雲仙復興工事への適用」,フジタ 技術研究所報,日本,株式会社フジタ 技術研究所,1995年9月20日,第31号, 73−78 酒向信一,テレアースワークシステム の開発と実施,第12回建設マネジメント 問題に関する研究発表・討論会講演論文 集,日本,土木学会建設マネジメント委 員会,1994年11月30日,201−208 (58)調査した分野(Int.Cl.7,DB名) G06T 17/40 E02F 9/20 JICSTファイル(JOIS)Continuation of front page (56) References JP-A-4-281572 (JP, A) JP-A-5-61962 (JP, A) JP-A-5-143710 (JP, A) JP-A-6-214639 (JP) JP-A-6-214640 (JP, A) JP-A-6-3322993 (JP, A) JP-A-7-141022 (JP, A) JP-A-8-83398 (JP, A) 8-114463 (JP, A) JP-A-8-144328 (JP, A) JP-A-8-189838 (JP, A) Shingo Kita, Heisho Aikage et al. Development of teleearth work system (remote earthwork system) Application to Unzen Reconstruction Work ”, Fujita R & D Laboratories, Japan, Fujita R & D Co., Ltd., September 20, 1995, No. 31, 73-78 Sakamu Shinichi, Development and Implementation of Teleearth Work System Proceedings of the 12th Conference on Research and Discussion on Construction Management Issues, Japan, Japan Society of Construction Engineers, Construction Management Committee, November 30, 1994, 201-208 (58) Field surveyed (Int.Cl. 7 , DB name) G06T 17/40 E02F 9/20 JICST file (JOIS)
Claims (4)
体の施工域とに臨む視点及び光軸で所定画角の一対のス
テレオ操作画像を撮影する移動式撮像機対;前記撮像機
対の視点及び光軸を計測する計測手段;施工域内の作業
区域を示す板状案内点群の大きさを記憶する手段;前記
ステレオ操作画像対をフレーム毎に記憶する一対のフレ
ームメモリと、フレームメモリ対内の画像の各々の上に
指示された位置の二次元座標を検出する座標検出手段
と、施工域内の任意点に対するステレオ操作画像対上の
像の二次元座標対と該任意点の三次元座標との間の変換
パラメタとを有し、前記フレームメモリ対内の画像対上
に案内点群の位置として入力された二次元座標対と前記
変換パラメタとからステレオ画像計測法により前記案内
点群の位置の三次元座標を算出する案内点入力手段;前
記算出された案内点群の位置の三次元座標と前記記憶し
た案内点群の大きさとに基づき前記計測手段の計測した
視点及び光軸で前記所定画角の一対のステレオ案内画像
を作成する三次元グラフィック手段;並びに前記ステレ
オ操作画像と前記ステレオ案内画像との重畳により作業
区域が明示された一対のステレオ操作支援画像を作成す
る画像重畳手段を備えてなる施工用移動体の遠隔操作支
援画像システム。1. A pair of movable imagers for photographing a pair of stereo operation images having a predetermined angle of view with a viewpoint and an optical axis facing a construction movable body driven by remote control and a construction area of the movable body ; Measuring means for measuring a pair of viewpoints and an optical axis ; means for storing the size of a plate-like guide point group indicating a work area in a construction area ;
A pair of frames that store a stereo operation image pair for each frame
Frame memory and each of the images in the frame memory pair
Coordinate detecting means for detecting two-dimensional coordinates of a designated position
When, and a transformation parameter between the three-dimensional coordinates of the two-dimensional coordinate pairs and said arbitrary point of the image on the stereo operation image pairs for any point of the construction region, image Taiue of the frame memory pairs
Guide point input means for calculating the three-dimensional coordinates of the position of the guide point group by a stereo image measurement method from the two-dimensional coordinate pair input as the position of the guide point group and the conversion parameter ; Three-dimensional graphic means for creating a pair of stereo guide images at the predetermined angle of view at the viewpoint and optical axis measured by the measuring means based on the three-dimensional coordinates of the position and the size of the stored guide point group ; and the stereo A remote operation support image system for a construction mobile object, comprising image superimposing means for creating a pair of stereo operation support images in which a work area is specified by superimposing an operation image and the stereo guide image.
状案内点群を、進捗に応じて形状が変化する作業区域に
沿った所定厚さ及び所定高さの壁板状案内点群としてな
る施工用移動体の遠隔操作支援画像システム。2. The imaging system according to claim 1, wherein said plate
Shape guide points in a work area where the shape changes according to progress
Along remote operation supporting image system having a predetermined thickness and a predetermined height of the wall plate shaped guide point group and to become in construction for mobile.
における施工用移動体の位置座標を計測する座標計測手
段を設け、前記案内点入力手段により前記案内点群を設
置すべき方位を入力し、前記三次元グラフィック手段に
より前記計測された位置座標と前記方位と前記記憶した
大きさとに基づき前記ステレオ案内画像を作成してなる
施工用移動体の遠隔操作支援画像システム。3. An imaging system according to claim 1, the coordinate measuring means for measuring the position coordinates of the construction for a mobile in the construction zone is provided, set more the guiding point group in the guide point input means
Enter the azimuth to be location, on the three-dimensional graphics unit
From the measured position coordinates and the azimuth and the stored
A remote control support image system for a construction mobile object, wherein the stereo guide image is created based on the size .
標計測手段を衛星航行システムによる座標計測装置とし
てなる施工用移動体の遠隔操作支援画像システム。4. The remote control support image system according to claim 3, wherein said coordinate measuring means is a coordinate measuring device by a satellite navigation system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26994096A JP3344902B2 (en) | 1996-10-11 | 1996-10-11 | Remote operation support image system for construction mobile |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26994096A JP3344902B2 (en) | 1996-10-11 | 1996-10-11 | Remote operation support image system for construction mobile |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10116353A JPH10116353A (en) | 1998-05-06 |
JP3344902B2 true JP3344902B2 (en) | 2002-11-18 |
Family
ID=17479329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26994096A Expired - Fee Related JP3344902B2 (en) | 1996-10-11 | 1996-10-11 | Remote operation support image system for construction mobile |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3344902B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100758608B1 (en) | 2007-03-28 | 2007-09-13 | (주)아이엠기술단 | System for remote control of construction machinary and method thereof |
JP5851431B2 (en) * | 2013-01-18 | 2016-02-03 | 日本電信電話株式会社 | Pruning support method and information processing apparatus |
CN104778740A (en) * | 2015-04-16 | 2015-07-15 | 成都中科合迅科技有限公司 | Dam construction progress three-dimensional simulation method |
WO2017042873A1 (en) * | 2015-09-08 | 2017-03-16 | 株式会社日立製作所 | Remote operation system and operation assistance system |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2720920B2 (en) * | 1991-03-11 | 1998-03-04 | 工業技術院長 | A method for synthesizing real images and computer graphics in an image processing system |
JPH0561962A (en) * | 1991-08-30 | 1993-03-12 | Hitachi Ltd | Environmental model generating device for product evaluation |
JPH05143710A (en) * | 1991-11-20 | 1993-06-11 | N T T Data Tsushin Kk | Synthesized moving image display device |
JPH06214639A (en) * | 1993-01-18 | 1994-08-05 | Fujita Corp | Travel controller for mobile object |
JPH06214640A (en) * | 1993-01-18 | 1994-08-05 | Fujita Corp | Travel controller for mobile object |
JPH06332993A (en) * | 1993-05-26 | 1994-12-02 | Fujita Corp | Scene analysis and prediction system |
JPH07141022A (en) * | 1993-11-19 | 1995-06-02 | Kokusai Electric Co Ltd | Cart operation managing device and golf cart |
JP3362976B2 (en) * | 1994-09-13 | 2003-01-07 | アルパイン株式会社 | Navigation device |
JPH08114663A (en) * | 1994-10-17 | 1996-05-07 | Casio Comput Co Ltd | Navigator |
JP3055649B2 (en) * | 1994-11-25 | 2000-06-26 | 鹿島建設株式会社 | Image system for remote construction support |
JPH08189838A (en) * | 1995-01-09 | 1996-07-23 | Matsushita Electric Ind Co Ltd | Navigation device |
-
1996
- 1996-10-11 JP JP26994096A patent/JP3344902B2/en not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
喜多信吾,青景平昌ほか,テレアースワークシステム(遠隔土工システム)の開発「雲仙復興工事への適用」,フジタ技術研究所報,日本,株式会社フジタ 技術研究所,1995年9月20日,第31号,73−78 |
酒向信一,テレアースワークシステムの開発と実施,第12回建設マネジメント問題に関する研究発表・討論会講演論文集,日本,土木学会建設マネジメント委員会,1994年11月30日,201−208 |
Also Published As
Publication number | Publication date |
---|---|
JPH10116353A (en) | 1998-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6928384B2 (en) | Image measurement and display device, image measurement and display system, construction management method, and construction status monitor system | |
US6201883B1 (en) | Topography measuring device | |
JP5802476B2 (en) | Construction machine control system | |
JP2844040B2 (en) | 3D display device | |
CA2526105C (en) | Image display method and image display apparatus | |
JP7311502B2 (en) | Slope stability visualization | |
US20120162360A1 (en) | Wide-Angle Image Pickup Unit And Measuring Device | |
JP2019148946A (en) | Construction process management system and construction process management method | |
JP4102324B2 (en) | Surveying data processing system, surveying data processing program, and electronic map display device | |
JP2007147341A (en) | Method and apparatus for creating three-dimensional data | |
JP2019184365A (en) | Device and method for presenting deformed part | |
JP3344902B2 (en) | Remote operation support image system for construction mobile | |
CN110178157B (en) | Self-position estimation device, self-position estimation method, program, and image processing device | |
JP3653769B2 (en) | Flow measuring method and apparatus | |
JP3364856B2 (en) | Work support image system for remote construction | |
JP2628004B2 (en) | Drilling rig remote control system | |
CN105592294A (en) | VSP excited cannon group monitoring system | |
JP2018168570A (en) | Measuring apparatus and measuring method of excavation bottom surface of pneumatic caisson | |
JP3014336B2 (en) | Remote construction support image system | |
JPH09115001A (en) | Image system for supporting remote construction | |
JP3055649B2 (en) | Image system for remote construction support | |
JP7330008B2 (en) | Excavation management apparatus and method | |
JP2834007B2 (en) | Remote surveying method | |
JP2968207B2 (en) | Departure monitoring method for heavy equipment for remote construction | |
JP3587585B2 (en) | Photogrammetry equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |