JP2003329448A - 現場の３次元情報生成システム - Google Patents

Abstract

(57)【要約】 【課題】 複数のステレオカメラで建設作業現場を撮影
し、建設機械と地形とが峻別可能な３次元モデルを構築
する。 【解決手段】 複数のカメラ２からなるステレオカメラ
３を備えた、複数のカメラポール１がそれぞれ異なる場
所に配置され、各カメラ２が建設作業現場の建設作業現
場５を撮影する。各ステレオカメラ３は、それぞれ、撮
影された画像をステレオ処理して距離画像を得るととも
に、建機６に取り付けられたマーカペア６１，６２の位
置座標を検出する。そして、各ステレオカメラ３から距
離画像データを取得したホスト装置４が、距離画像を統
合して建設作業現場５の３次元モデルデータを生成す
る。また、マーカペア６１，６２の位置座標から建機６
位置および向きを特定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、建設作業現場など
の現場の３次元情報を得るための技術に関する。

【０００２】

【従来の技術】例えば、建設機械が作業を行う建設現場
において、地形の計測あるいは建設機械の位置計測のた
めの技術として、特開平１１−２３７２４４号公報など
に記載されているような追尾式トータルステーション
や、ＲＴＫ−ＧＰＳが知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、追尾式
のトータルステーションは、測量機とターゲットとの間
に遮蔽物があると使用できないし、位置計測の対象物１
つにつき、１セット必要となるとなど、実用上の問題点
が多い。

【０００４】また、ＲＴＫ−ＧＰＳでは、ＧＰＳ（Glob
al Positioning System）アンテナが人工衛星からの信
号を受信しなければならないので、人工衛星からの信号
を受信できるところでないと使用できないという問題が
ある。

【０００５】そこで、本発明の目的は、現場の３次元情
報を得るための実用的なシステムを提供することであ
る。

【０００６】本発明の別の目的は、建設機械と地形のよ
うに、現場に存在する諸物体を峻別することができるシ
ステムを提供することである。

【０００７】本発明のさらに別の目的は、上空が閉鎖さ
れているような現場でも、その３次元情報が得られるシ
ステムを提供することである。

【０００８】

【課題を解決するための手段】本発明の一つの実施形態
に従う現場の３次元情報生成システムは、現場を所定の
異なる場所から眺めて得られる複数の画像を用いて、前
記現場に存在する諸物体の３次元位置に関するデータを
生成する現場３次元データ生成手段と、前記現場の諸物
体の３次元位置に関するデータから、特定物体の３次元
位置に関するデータを得る特定物体３次元データ検出手
段と、前記現場の諸物体の３次元位置に関するデータか
ら、前記特定物体以外の他物体の３次元位置に関するデ
ータを得る他物体３次元データ検出手段とを備える。

【０００９】好適な実施形態では、得られた前記特定物
体の３次元位置に関するデータと前記特定物体以外の他
物体の３次元位置に関するデータとを、分離して又は一
緒に出力するデータ出力手段を更に備える。

【００１０】好適な実施形態では、現場を所定の異なる
場所に配置された複数台のステレオカメラを備え、前記
現場３次元データ生成手段は、前記複数台のステレオカ
メラの各々が撮影した画像を用いて現場の距離画像を生
成し、前記複数台のステレオカメラからの距離画像を用
いて前記現場の３次元モデルデータを生成する。前記ス
テレオカメラの各々は、上下方向に一列に並んだ複数の
カメラを有したポール形のものである。

【００１１】好適な実施形態では、前記複数の画像は動
画像であり、前記現場３次元データ生成手段は、前記複
数の動画像を用いて、前記動画像の変化に追従して変化
する動的な３次元モデルデータを合成し、前記特定物体
３次元データ検出手段は、前記動的な３次元モデルデー
タから、特定物体の３次元位置に関する動的なデータを
得る。

【００１２】好適な実施形態では、前記検出手段は、前
記作業現場の３次元モデルデータと、前記建設機械に設
置されたマーカを検出して、前記建設機械の位置および
向きを検出する。

【００１３】好適な実施形態では、前記現場の３次元モ
デルデータと、前記特定物体の３次元位置に関するデー
タとを用いて、前記現場を所定視点から眺めた現場画像
が表示されるようになっている。

【００１４】

【発明の実施の形態】以下、本発明を建設作業現場に適
用した実施形態に係る３次元情報生成システムについ
て、図面を用いて説明する。

【００１５】図１は、本発明の第１の実施形態に係る３
次元情報生成システムにおいて、建設作業現場に設置さ
れたカメラの配置などを示す図である。

【００１６】本システムは、複数（ここでは３本）のカ
メラポール１を有し、各カメラポール１は、建設作業現
場５を撮影するために、それぞれ異なる位置に配置され
ている。各カメラポール１は、地面に固定することもで
きるし、車両などに搭載して、移動可能とすることもで
きる。各カメラポール１が配置される位置は、建設作業
現場５全体を撮影するために、死角ができないような位
置に配置され、その三次元座標は予め計測されている。
カメラポール１の本数は、必ずしも３本である必要は無
い。

【００１７】各カメラポール１は、所定の異なる相対位
置に配置された複数（ここでは５台）の動画カメラ２
（例えば、ビデオカメラ）を組み合わてなるステレオカ
メラ３を有する。１つのステレオカメラ３に含まれる５
台のカメラ２は、高さ方向に一列に並んでいるが、必ず
しもそうでなければならないわけではなく、例えばサイ
コロの５の目のように並んでいても、或いは、他の配置
であってもよく、さらに、カメラ２の台数も５台である
必要は無く、２台以上であれば５台より多くても少なく
てもよい。そして、各カメラポール１のすべてのカメラ
２が、建設作業現場の建設作業現場５を同時に撮影す
る。各カメラポール１からの５本の動画像から、後述す
るように、それぞれ距離画像が独立して生成され、それ
らの距離画像から建設作業現場５の動的な３次元モデル
が合成されることになる。

【００１８】建設作業現場５には複数箇所に丁張り７が
打ってあり、建設機械（以下、建機という）６が丁張り
７に従って所定の作業を行っている。建機６は、それぞ
れ、ステレオカメラ３から視認できる所定場所（ここで
は運転席の屋根上の所定位置）に特定形状（ここでは球
形）のマーカ６１、６２を複数（ここでは２つ）備え
る。マーカ６１および６２は、例えば、互いに異なる色
が着色されていて、カメラ２で撮影した画像から画像処
理によって識別可能である。このマーカペアは、後述す
るように、建機６の位置および向きを検出するときに利
用される。

【００１９】次に、本システムの機能構成について、図
２〜図５を用いて説明する。

【００２０】図２は、本システムの基本的な機能を説明
するものである。

【００２１】図２に示すように、建設作業現場を複数の
異なる場所から眺めた画像を用いて、建設作業現場５に
存在する全ての物体（地形、建機、丁張り、人など）の
同時計測された３次元位置関連データ１００を得る。こ
こで、同時計測された３次元位置関連データ１００と
は、この実施形態では例えば各ステレオカメラ５からの
距離画像であるが、これは例示であり、必ずしもそうで
なければならないわけではなく、要するに現場内の諸物
体の３次元位置が割り出せるデータであれば、どのよう
な形式のデータであってもよい。次に、建設作業現場の
同時計測された３次元位置関連データ１００から、事前
登録された特定物体（ここでは、例えば個々の建機６）
の３次元位置関連データ１０２、１０３と、その特定物
体以外の物体（ここでは、例えば建機６以外の地形や丁
張りなど）の３次元位置関連データ１０１が分離抽出さ
れる。ここで、特定物体の３次元位置関連データ１０
２、１０３とは、この実施形態では、後の説明から分か
るように、個々の建機６の代表部位（例えばマーカ或い
は運転席など）の３次元位置、又は個々の建機６の３次
元位置だけでなく３次元形状も表した３次元モデルデー
タであるが、これも例示であり、他の形式のデータでも
良い。また、特定物体以外の物体の３次元位置関連デー
タ１０１とは、この実施形態では、地形(丁張りを含む)
の３次元モデルデータであるが、これも例示であり、他
の形式のデータでも良い。このように分離抽出された個
々の物体の３次元位置関連データ１０１〜１０３は、別
個に出力され利用されてもよいし、一緒に出力され組み
合わせて利用されてもよい。なお、この実施形態では、
特定物体は建機であるが、これも例示にずぎず、必ずし
もそうである必要は無く、人、建造物、丁張り、資機材
或いは地面など任意の物体を特定物体とすることができ
る。

【００２２】図３は、本システムの全体の機能構成を示
す図である。本システムは、各カメラポール１に設置さ
れたステレオカメラ３と、各ステレオカメラ３で合成さ
れた距離画像を統合して建設作業現場５の３次元モデル
を求めるホスト装置４とを備える。

【００２３】図３に示すように、各ステレオカメラ３
は、それぞれ、５台のカメラ２と、その５台のカメラ２
が撮影した輝度動画像を用いてステレオ画像処理法によ
り距離動画像を生成する画像処理部３１と、画像処理部
３１の処理結果をホスト装置４へ無線で送信する無線送
受信部３２とを備える。（なお、この実施形態では、各
ステレオカメラ３において距離動画像を生成してホスト
装置４へ送信し、ホスト装置４にて、集まった複数の距
離動画像から建設作業現場５の３次元モデルを生成する
ようになっているが、必ずしもそうでなければならない
わけではない。他の方式、例えば、各ステレオカメラ３
では複雑な画像処理は行なわずに、５台のカメラ２の輝
度動画像をホスト装置４へ送信し、ホスト装置４にて、
ステレオ画像処理法でステレオカメラ３毎の距離動画像
を生成し、更に、それらの距離動画像から３次元モデル
を生成するようにしてもよい。このようなステレオカメ
ラ３とホスト装置４の処理分担には、様々なバリエーシ
ョンが採用し得るから、以下の説明は一つの例示にすぎ
ない。）

【００２４】各ステレオカメラ３毎の画像処理部３１の
詳細な機能構成を図４に示す。

【００２５】図４に示すように、画像処理部３１は、建
機位置認識部３３と、ステレオ処理部３４と、座標変換
処理部３５とを備える。

【００２６】ここで、ステレオ画像処理を行って距離画
像を得るために、１つのステレオカメラ３に含まれる５
台のカメラ２のうち１台を基準カメラ２ａとし、残りの
４台を比較カメラ２ｂとする。そして、基準カメラ２ａ
と比較カメラ２ｂの各々とで一つのカメラペアを構成す
る。すなわち、本実施形態では４つのカメラペアが構成
される。

【００２７】ステレオ処理部３４は、基準カメラ２ａお
よび比較カメラ２ｂが撮影したそれぞれの画像のノイズ
を除去し且つエッジを強調するためのＬｏＧ（ラプラシ
アン・オブ・ガウシアン）処理部３４１と、各カメラペ
アごとに、基準カメラ２ａからの画像（以下、基準画像
という）とそれぞれの比較カメラ２ｂからの画像（以
下、比較画像という）との間で、パターンマッチングを
行ってＳＡＤ（Sum of Absolute Distance）を計算する
ＳＡＤ処理部３４２と、４つのカメラペアのＳＡＤを合
計するＳＳＡＤ（Sum of SAD）処理部３４３と、距離画
像を合成する距離画像合成部３４４とを備える。

【００２８】各ＬｏＧ処理部３４１が、各カメラ２から
の画像にそれぞれＬｏＧ処理を施すと、異なるカメラ間
の画質の差を小さくすることができる。その結果、引き
続く異なるカメラの画像間でのパターンマッチング処理
を精度の良いものにすることができる。

【００２９】各ＳＡＤ処理部３４２およびＳＳＡＤ処理
部３４３は、例えば、以下のような手順で処理を行い、
いわゆる対応点探索を行う。

【００３０】(1) 基準画像内から、距離計測のターゲ
ットとなる一つの画素を選ぶ。このターゲット画素に対
応する建設作業現場内の物体までの距離として、或る距
離を仮定する。そして、その仮定された距離だけ離れた
建設作業現場空間中の座標点に対応する各比較画像内の
画素（以下「対応候補画素」という）の位置を求める。

【００３１】(2) 基準画像内に、ターゲット画素の位
置を中心とする例えば３画素×３画素というサイズのマ
ッチングウィンドウ（画素ブロック）（以下、「参照ウ
ィンドウ」という）を設定する。各比較画像内にも、対
応候補画素の位置を中心とする同サイズのマッチングウ
インドウ(以下「比較ウィンドウ」という)を設定する。

【００３２】(3) 個々のカメラペア毎に、基準画像上
の参照ウインドウ内の各画素の画素値と、比較画像上の
比較ウィンドウ内の対応する各画素の画素値とを比較
し、画素間の「相違度」を求める。なお、前記「相違度」と
しては、画素値間の差の絶対値、あるいは、画素値間の
差の二乗などを用いる。

【００３３】(4) 参照ウインドウ内の全画素について
上記「相違度」を求め、それら「相違度」を参照ウイン
ドウ内の全画素について合計（以下、ウインドウ加算と
いう）して、「ウインドウ加算した相違度」をカメラペア
毎に求める。この「ウインドウ加算した相違度」が「ＳＡ
Ｄ」である。

【００３４】ＳＳＡＤ処理部３４３は、各ＳＡＤ処理部
３４２からの各カメラペアの「ＳＡＤ」を取得し、そし
て、集まった４つのカメラペアの「ＳＡＤ」を合計し
て、「相違度の最終合計」を求める。この「相違度の最終
合計」が「ＳＳＡＤ」である。

【００３５】各ＳＡＤ処理部３４２は、ターゲット画素
に対応する建設作業現場内の物体までの距離として、他
に複数個の距離を更に仮定し、それらの距離の各々につ
いても、上述した処理により「ＳＡＤ」を求め、これに
対応して、ＳＳＡＤ処理部３４３が上述した処理を行な
って、各々の距離について「ＳＳＡＤ」を求める。そし
て、ＳＳＡＤ処理部３４３は「ＳＳＡＤ」が最小となる一
つの仮定距離を、ターゲット画素に対応する物体までの
距離として推定し、ターゲット画素および推定距離を距
離画像合成部３４４へ出力する。

【００３６】ここで、「ＳＳＡＤ」が最小となるというこ
とは、基準画像の参照ウインドウ内の画像パターンと、
比較画像の比較ウィンドウ内の画像パターンとが最も良
く類似するということを意味している。

【００３７】そして、基準画像内の全画素をターゲット
画素として上記のような処理を行って距離を推定し、距
離画像合成部３４４がこれを蓄積することにより、基準
画像に対応した距離画像が得られる。

【００３８】なお、本実施形態では、建機６の動きを実
時間で把握するために、各カメラ２は基本的に動画カメ
ラ(例えば、ビデオカメラ)であり、動画カメラ２から出
力される各時点のフレーム画像毎に対応点探索が行なわ
れる。その結果としてステレオ処理部３４から出力され
る画像も、各時点のフレーム画像が距離画像であるよう
な動画像である。

【００３９】上記の対応点探索をステレオカメラ３ごと
に行なうことで、各ステレオカメラ３ごとに距離画像が
得られるが、各ステレオカメラ３の距離画像から得られ
る対象領域５の３次元座標値（つまり、画像内の画素の
ｘ、ｙ座標値と、画素値が示す距離値（ｚ座標値））
は、そのステレオカメラ３の配置場所と方向を基準にし
たカメラ座標系で表現されたものである。従って、座標
変換処理部３５は、各ステレオカメラ３の距離画像から
得られる各カメラ座標系の座標値を、所定の共通の基準
座標系に変換する処理を行う。

【００４０】なお、座標変換処理を行なうための具体的
な装置として、例えば特開２００２−３２７４４号に開
示された装置を応用することができる。

【００４１】建機位置認識部３３は、基準カメラからの
画像中の建機に付けられたマーカを検出するマーカ座標
検出部３３１と、カメラポール１からマーカまでの距離
を決定するマーカ距離決定部３３２とを備える。

【００４２】マーカ座標検出部３３１は、５台のカメラ
２のうちの一つ、例えば基準カメラ２ａから基準画像を
受け付ける。画像上では、建機６に取り付けられた各マ
ーカ６１，６２は、それぞれ円として写っているので、
パターン認識によってそれを抽出し、各マーカ６１，６
２の基準画像上のｘ、ｙ座標値を決定する。

【００４３】マーカ距離決定部３３２は、距離画像合成
部３４４によって合成された基準画像に対応する距離画
像から、マーカ座標検出部３３１により検出された各マ
ーカ６１，６２のｘ、ｙ座標に対応するｚ座標値を求
め、カメラポール１からマーカ６１，６２までの距離を
求める。

【００４４】マーカ距離決定部３３２は、基準画像上で
の各マーカ６１，６２の座標値とカメラポール１から各
マーカ６１，６２までの距離を座標変換処理部３５へ通
知する。座標変換処理部３５は、距離画像の変換と同様
に、各マーカの位置を示す３次元座標値（画像内の画素
のｘ、ｙ座標値と、マーカまでの距離値（ｚ座標値））
を、所定の共通の基準座標系に変換する処理を行う。

【００４５】座標変換処理部３５は、各マーカの３次元
座標値および距離画像を無線送受信部３２へ渡し、無線
送受信部３２がホスト装置４へ送信する。（なお、変形
例として、座標変換処理部３５はホスト装置４に設け、
座標変換前のカメラ座標系のマーカ座標値および距離画
像を、各ステレオカメラ３からホスト装置４へ送信する
ようにしてもよい。）

【００４６】次に、図３に戻り、ホスト装置４について
説明する。

【００４７】図３に示すように、ホスト装置４は、例え
ば汎用的なコンピュータシステムにより構成され、以下
に説明するホスト装置４内の個々の構成要素または機能
は、例えば、コンピュータプログラムを実行することに
より実現される。

【００４８】ホスト装置４は、その内部機能として、ス
テレオカメラ３からの無線信号を受信する無線送受信部
４１と、複数のステレオカメラ３からのマーカの３次元
座標値に基づいて、個々の建機の位置及び方向を検出す
る建機検出部４２と、複数のステレオカメラ３からの距
離画像を統計処理して建設作業現場の地形の３次元モデ
ルデータを生成する地形生成部４３と、建機の位置及び
方向を示すデータと地形の３次元モデルデータをＧＩＳ
（Geographic Information System）データとして記憶
するためのＧＩＳデータ記憶部４４と、ＧＩＳデータを
外部へ出力するＧＩＳデータ出力部４５とを備える。

【００４９】建機検出部４２および地形生成部４３の詳
細な構成について、図５を用いて説明する。

【００５０】図５に示すように、建機検出部４２は、さ
らに、３つのステレオカメラ３がそれぞれ推定したマー
カの位置に基づいて、個々の建機に対応したマーカのペ
アを識別し、そのマーカペアの位置から建機の位置およ
び方向を決定する建機位置決定部４２１と、地形の３次
元モデル中から個々の建機の３次元モデルを認識する建
機認識部４２２と、個々の建機の３次元モデルの特徴パ
ターンを記憶した建機パターン記憶部４２３とを備え
る。

【００５１】建機位置決定部４２１は、例えば、３つの
ステレオカメラ３によって推定された各マーカの３次元
座標値に、所定の統計的処理（例えば、３つのステレオ
カメラ３からの座標値の平均値を求める、３つのステレ
オカメラ３からの座標値の多数決をとる、或いは、３つ
のステレオカメラ３からの座標値のうち最も信頼性の高
い値を選ぶ、など）を施して、各マーカの最終的な位置
座標値を決定する。そして、位置の確定した複数のマー
カを、相互位置関係が所定の関係になっているペアのマ
ーカに分類することで、個々の建機に取り付けられたペ
アのマーカ６１，６２を検出し、そのペアのマーカ６
１，６２の代表的な位置をその建機の位置とし、そし
て、そのペアのマーカ６１，６２の配列方向に基づいて
その建機の方向を決定する。この位置と方向の決定を、
全ての建機（つまり、全てのペアのマーカ）について行
なう。

【００５２】建機認識部４２２は、建機位置決定部４２
１からの個々の建機の位置および方向と、建機パターン
記憶部４２３に蓄積されている様々機種の建機の３次元
特徴パターンとを用いて、後述する距離画像統合処理部
４３１が作成した地形の３次元モデルデータの中から、
個々の建機に対応する３次元モデル部分を抽出する。例
えば、地形の３次元モデルデータの中から、建機位置決
定部４２１からの個々の建機の位置および方向によって
決まる個々の建機と推定される領域の３次元モデル部分
を取り出し、その取り出した３次元モデル部分の３次元
形状特徴を、建機パターン記憶部４２３に蓄積されてい
る様々な機種の建機の３次元特徴パターンと照合するこ
とで、個々の建機の３次元モデル部分をより正確に割出
すとともに、その建機が何の機種であるかも識別でき
る。こうして得られた個々の建機の位置および方向並び
に３次元モデルは、ＧＩＳデータの要素としてＧＩＳデ
ータ記憶部４４に格納される。（なお、建機認識部４２
２による建機の３次元モデルデータの抽出処理は省略し
てもよい。この場合、ＧＩＳデータに含まれる建機関連
のデータは、建機位置決定部４２１からの建機の位置お
よび方向だけとなる。）

【００５３】地形生成部４３は、３つのステレオカメラ
３からの距離画像を統計処理して統合する距離画像統合
処理部４３１と、距離画像統合処理部４３１の処理結果
及び上述した建機認識部４２２の処理結果に基づいて建
設作業現場の地形の３次元モデルを決定する地形決定部
４３２とを備える。

【００５４】距離画像統合処理部４３１は、３つのステ
レオカメラ３からの距離画像に、所定の統計的処理（例
えば、３つのステレオカメラ３からの座標値の多数決を
とる、或るいは、３つのステレオカメラ３からの座標値
のうち最も信頼性の高い値を選ぶ、など）を施して、地
形（建機も含んでいる）の最終的な３次元座標値（すな
わち、地形の３次元モデルデータ）を求める。

【００５５】なお、上記統計的処理のより具体的な方法
としては、特開２００２−３２７４４号に開示された方
法、すなわち、複数のステレオカメラからの距離画像に
基づいて、３次元空間のボクセルデータを求めて統合す
る方法を応用することができる。

【００５６】地形決定部４３２は、距離画像統合処理部
４３１からの地形（建機も含んでいる）の３次元モデル
データから、建機認識部４２２の決定した建機の３次元
モデルを取り除いて、建設作業現場の建機を含まない純
粋な地形（丁張りは含む）の３次元モデルデータを生成
する。この純粋な地形の３次元モデルデータは、ＧＩＳ
データの要素として、ＧＩＳデータ記憶部４４に格納さ
れる。（なお、上述したように建機認識部４２２を省略
した場合には、地形決定部４３２も省略される。その場
合には、距離画像統合処理部４３１からの建機も含んだ
地形の３次元モデルデータが、ＧＩＳデータ記憶部４４
に格納される。）

【００５７】ＧＩＳデータ出力部４５は、ＧＩＳデータ
記憶部４４内のＧＩＳデータを、外部へ出力する。出力
態様としては、例えば、ＧＩＳデータを通信ネットワー
クを通じて外部の情報処理装置へ提供したり、或るい
は、ＧＩＳデータを使って所定の視点から建設作業現場
を眺めたときの画像を描画して表示する、などの態様が
考え得る。建設作業現場の地形は３次元モデルデータと
なっているから、任意の視点から見た画像を表示するこ
とができる。また、建機の位置と方向が判明しているか
ら、その画像内で建機と建機以外の地形等とを色分けな
どで区別して表示することができる。特に、建機の３次
元モデルデータが抽出されている場合には、建機を明確
に他の地形から区別して表示することができる。地形の
３次元モデルと建機の位置、方向及び３次元モデルは、
カメラで撮影された動画像の動きに追従して動く動的な
ものであるから、それらのデータに基づいた画像表示も
動的に行なうことができる。

【００５８】次に、第２の実施形態に係る、より簡易な
構成の建設現場の３次元情報生成システムについて説明
する。

【００５９】本実施形態に係るシステムは、デジタルカ
メラ等を利用した静止画を用いて、対象領域の距離画像
を生成するシステムであり、その構成を図６に示す。

【００６０】本システムは、画像処理装置８によって構
成され、その画像処理装置８は、例えば汎用的なコンピ
ュータシステムにより構成され、以下に説明する画像処
理装置８内の個々の構成要素または機能は、例えば、コ
ンピュータプログラムを実行することにより実現され
る。

【００６１】画像処理装置８は、その内部機能として、
画像入力受付部８１と、特徴抽出部８２と、ステレオ処
理部８４と、建機認識部８５と、座標変換部８６と、デ
ータ記憶部８７とを備える。

【００６２】本実施形態では、建設作業現場を、それぞ
れ異なる複数の撮影場所からデジタルカメラなどで撮影
された静止画を用いる。これらの複数枚の静止画のう
ち、少なくとも２枚には丁張りなどの基準点が含まれる
ようにする。そして、画像入力受付部８１は、複数の撮
影場所についての一定の順序で、各撮影場所からの画像
データを一枚ずつ取り込む。

【００６３】特徴抽出部８２は、取り込まれた各画像か
ら特徴点を抽出し、抽出した特徴点のパターンを比較し
て、最低２つの画像に共通して含まれている領域を特定
する。

【００６４】ステレオ処理部８４は、特定された各共通
領域毎に、それを共有する２枚以上の画像を用いてステ
レオ処理法を行なうことにより、その共通領域の地形
（建機や丁張りを含む）の距離画像を計算し、この距離
画像から地形の３次元座標（３次元モデルデータ）を決
定する。

【００６５】建機認識部８５は、ステレオ処理部８４か
らの地形の３次元モデルデータの各部と、予め用意され
た建機の３次元モデルの特徴パターンとのパターンマッ
チングを行なうことで、地形の３次元モデルデータの中
から、建機の３次元モデル部分を認識して抽出する。或
るいは、別法として、建機を様々な方向から見たときの
建機画像の特徴パターンを予め用意しておいて、ステレ
オ処理部８４で計算された距離画像の各部と、建機画像
の特徴パターンとのパタンマッチングを行なうことで、
距離画像の中から建機の画像部分を認識して、そこから
建機の３次元位置座標を求める。

【００６６】そして、座標変換部８６は、ステレオ処理
部８４からの地形の３次元モデルデータ及び建機認識部
８５からの建機の３次元モデルデータ又は３次元位置座
標を、入力画像に含まれている丁張りなどの基準点を基
準とする建設作業現場内の基準座標系の座標値へ変換す
る。座標変換されたデータは、データ記憶部８７へ格納
され、第１の実施形態と同様に外部出力される。

【００６７】上述した本発明の実施形態は、本発明の説
明のための例示であり、本発明の範囲をそれらの実施形
態にのみ限定する趣旨ではない。当業者は、本発明の要
旨を逸脱することなしに、他の様々な態様で本発明を実
施することができる。

【００６８】例えば、上記実施形態では、建機に設けた
２個のマーカからその建機の位置と方向を検出している
が、これは単なる例示であり、建機に設けた単に１個の
マーカからその建機の位置と方向を検出することもでき
るし（方向は、マーカの形状などから検出できる）、３
個以上のマーカを用いて位置と方向を検出してもよい。
或いは、建機に設置されたマーカを利用する方法に代え
て又はこれと併用して、建機画像とのパターンマッチン
グや、建機に特有の色情報を用いた検出方法などを用い
て、建機の位置および向きの検出を行なうこともでき
る。

【００６９】また、上記の実施形態では、ステレオカメ
ラごとに距離画像を合成し、ホスト装置でこれらの統合
処理を行っているが、各カメラが撮影した画像をすべて
ホスト装置へ送信し、ホスト装置がすべての処理を一貫
して行うようにすることもできる。

【００７０】また、上記実施形態では、異なる場所に設
置された複数の多眼ステレオカメラを用いているが、こ
れに代えて、複数の単眼のカメラを異なる場所に設置し
て、それら複数の単眼カメラからの画像から現場の３次
元形状を把握することもできる。

【００７１】また、上記実施形態では、建機の形状情報
(マーカ又は建機自体の形状特徴パターンなど)を事前に
登録しておき、その登録情報を用いて、最初に得られた
現場全体の３次元位置データの中から建機を検出してい
るが、このような物体検出のための登録対象は、建機に
限られるわけではない。建機とともに又は建機に代え
て、人や建物など所望の種類の物体の情報を事前登録し
ておいて、その登録情報を用いて、パターンマッチング
などの方法により、その所望物体を検出することができ
る。また、逆に、地形や背景の情報を事前登録しておい
て、その登録情報を用いて、地形や背景以外の物体を検
出したり、その物体の動きを検出したりすることもでき
る（この方法は、セキュリティシステムなどのアプリケ
ーションで有効であろう）。

【００７２】さらに、最終的に出力されるデータはＧＩ
Ｓデータである必要は無く、他の形式のデータであって
もよい。

【００７３】画像のソースは、上述の実施形態のように
カメラである必要は必ずしも無く、ネットワークから取
得した画像や、イメージスキャナで読み取った画像を入
力してもよい。

【００７４】本発明の適用できる現場は、建設作業現場
に限られない。様々な３次元実空間に適用できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る３次元情報生成
システムのカメラの配置などを示す図である。

【図２】本発明の第１の実施形態に係る３次元情報生成
システムの基本的な機能を示す図である。

【図３】本発明の第１の実施形態に係る３次元情報生成
システムの機能構成を示す図である。

【図４】画像処理部の詳細な機能構成を示す図である。

【図５】ホスト装置の詳細な機能構成を示す図である。

【図６】本発明の第２の実施形態に係る３次元情報生成
システムの画像処理装置の構成を示す図である。

【符号の説明】

１…カメラポール ２…カメラ ３…ステレオカメラ ４…ホスト装置 ５…建設作業現場 ６…建設機械 ７…丁張り ８…画像処理装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三輪 浩史 神奈川県平塚市万田1200 株式会社小松製 作所研究所内 (72)発明者 山口 博義 神奈川県平塚市万田1200 株式会社小松製 作所研究所内 Ｆターム(参考） 5B057 AA20 BA02 DA08 DB03 DB06 DB09 DC03 DC09 DC25 DC32 DC36

Claims (3)

【特許請求の範囲】
1. 【請求項１】 現場を所定の異なる場所から眺めて得ら
   れる複数の画像を用いて、前記現場に存在する諸物体の
   ３次元位置に関するデータを生成する現場３次元データ
   生成手段と、 前記現場の諸物体の３次元位置に関するデータから、特
   定物体の３次元位置に関するデータを得る特定物体３次
   元データ検出手段と、 前記現場の諸物体の３次元位置に関するデータから、前
   記特定物体以外の他物体の３次元位置に関するデータを
   得る他物体３次元データ検出手段とを備える現場の３次
   元情報生成システム。
2. 【請求項２】 請求項１記載のシステムにおいて、得ら
   れた前記特定物体の３次元位置に関するデータと前記特
   定物体以外の他物体の３次元位置に関するデータとを、
   分離して又は一緒に出力するデータ出力手段を更に備え
   た現場の３次元情報生成システム。
3. 【請求項３】 現場を所定の異なる場所から眺めて得ら
   れる複数の画像を用いて、前記現場に存在する諸物体の
   ３次元位置に関するデータを生成するステップと、 前記現場の諸物体の３次元位置に関するデータから、特
   定物体の３次元位置に関するデータを得るステップと、 前記現場の諸物体の３次元位置に関するデータから、前
   記特定物体以外の他物体の３次元位置に関するデータを
   得るステップととを備える現場の３次元情報生成方法。