JP2003329448A - 現場の3次元情報生成システム - Google Patents
現場の3次元情報生成システムInfo
- Publication number
- JP2003329448A JP2003329448A JP2002135425A JP2002135425A JP2003329448A JP 2003329448 A JP2003329448 A JP 2003329448A JP 2002135425 A JP2002135425 A JP 2002135425A JP 2002135425 A JP2002135425 A JP 2002135425A JP 2003329448 A JP2003329448 A JP 2003329448A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- data
- image
- construction machine
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 複数のステレオカメラで建設作業現場を撮影
し、建設機械と地形とが峻別可能な3次元モデルを構築
する。 【解決手段】 複数のカメラ2からなるステレオカメラ
3を備えた、複数のカメラポール1がそれぞれ異なる場
所に配置され、各カメラ2が建設作業現場の建設作業現
場5を撮影する。各ステレオカメラ3は、それぞれ、撮
影された画像をステレオ処理して距離画像を得るととも
に、建機6に取り付けられたマーカペア61,62の位
置座標を検出する。そして、各ステレオカメラ3から距
離画像データを取得したホスト装置4が、距離画像を統
合して建設作業現場5の3次元モデルデータを生成す
る。また、マーカペア61,62の位置座標から建機6
位置および向きを特定する。
し、建設機械と地形とが峻別可能な3次元モデルを構築
する。 【解決手段】 複数のカメラ2からなるステレオカメラ
3を備えた、複数のカメラポール1がそれぞれ異なる場
所に配置され、各カメラ2が建設作業現場の建設作業現
場5を撮影する。各ステレオカメラ3は、それぞれ、撮
影された画像をステレオ処理して距離画像を得るととも
に、建機6に取り付けられたマーカペア61,62の位
置座標を検出する。そして、各ステレオカメラ3から距
離画像データを取得したホスト装置4が、距離画像を統
合して建設作業現場5の3次元モデルデータを生成す
る。また、マーカペア61,62の位置座標から建機6
位置および向きを特定する。
Description
【0001】
【発明の属する技術分野】本発明は、建設作業現場など
の現場の3次元情報を得るための技術に関する。
の現場の3次元情報を得るための技術に関する。
【0002】
【従来の技術】例えば、建設機械が作業を行う建設現場
において、地形の計測あるいは建設機械の位置計測のた
めの技術として、特開平11−237244号公報など
に記載されているような追尾式トータルステーション
や、RTK−GPSが知られている。
において、地形の計測あるいは建設機械の位置計測のた
めの技術として、特開平11−237244号公報など
に記載されているような追尾式トータルステーション
や、RTK−GPSが知られている。
【0003】
【発明が解決しようとする課題】しかしながら、追尾式
のトータルステーションは、測量機とターゲットとの間
に遮蔽物があると使用できないし、位置計測の対象物1
つにつき、1セット必要となるとなど、実用上の問題点
が多い。
のトータルステーションは、測量機とターゲットとの間
に遮蔽物があると使用できないし、位置計測の対象物1
つにつき、1セット必要となるとなど、実用上の問題点
が多い。
【0004】また、RTK−GPSでは、GPS(Glob
al Positioning System)アンテナが人工衛星からの信
号を受信しなければならないので、人工衛星からの信号
を受信できるところでないと使用できないという問題が
ある。
al Positioning System)アンテナが人工衛星からの信
号を受信しなければならないので、人工衛星からの信号
を受信できるところでないと使用できないという問題が
ある。
【0005】そこで、本発明の目的は、現場の3次元情
報を得るための実用的なシステムを提供することであ
る。
報を得るための実用的なシステムを提供することであ
る。
【0006】本発明の別の目的は、建設機械と地形のよ
うに、現場に存在する諸物体を峻別することができるシ
ステムを提供することである。
うに、現場に存在する諸物体を峻別することができるシ
ステムを提供することである。
【0007】本発明のさらに別の目的は、上空が閉鎖さ
れているような現場でも、その3次元情報が得られるシ
ステムを提供することである。
れているような現場でも、その3次元情報が得られるシ
ステムを提供することである。
【0008】
【課題を解決するための手段】本発明の一つの実施形態
に従う現場の3次元情報生成システムは、現場を所定の
異なる場所から眺めて得られる複数の画像を用いて、前
記現場に存在する諸物体の3次元位置に関するデータを
生成する現場3次元データ生成手段と、前記現場の諸物
体の3次元位置に関するデータから、特定物体の3次元
位置に関するデータを得る特定物体3次元データ検出手
段と、前記現場の諸物体の3次元位置に関するデータか
ら、前記特定物体以外の他物体の3次元位置に関するデ
ータを得る他物体3次元データ検出手段とを備える。
に従う現場の3次元情報生成システムは、現場を所定の
異なる場所から眺めて得られる複数の画像を用いて、前
記現場に存在する諸物体の3次元位置に関するデータを
生成する現場3次元データ生成手段と、前記現場の諸物
体の3次元位置に関するデータから、特定物体の3次元
位置に関するデータを得る特定物体3次元データ検出手
段と、前記現場の諸物体の3次元位置に関するデータか
ら、前記特定物体以外の他物体の3次元位置に関するデ
ータを得る他物体3次元データ検出手段とを備える。
【0009】好適な実施形態では、得られた前記特定物
体の3次元位置に関するデータと前記特定物体以外の他
物体の3次元位置に関するデータとを、分離して又は一
緒に出力するデータ出力手段を更に備える。
体の3次元位置に関するデータと前記特定物体以外の他
物体の3次元位置に関するデータとを、分離して又は一
緒に出力するデータ出力手段を更に備える。
【0010】好適な実施形態では、現場を所定の異なる
場所に配置された複数台のステレオカメラを備え、前記
現場3次元データ生成手段は、前記複数台のステレオカ
メラの各々が撮影した画像を用いて現場の距離画像を生
成し、前記複数台のステレオカメラからの距離画像を用
いて前記現場の3次元モデルデータを生成する。前記ス
テレオカメラの各々は、上下方向に一列に並んだ複数の
カメラを有したポール形のものである。
場所に配置された複数台のステレオカメラを備え、前記
現場3次元データ生成手段は、前記複数台のステレオカ
メラの各々が撮影した画像を用いて現場の距離画像を生
成し、前記複数台のステレオカメラからの距離画像を用
いて前記現場の3次元モデルデータを生成する。前記ス
テレオカメラの各々は、上下方向に一列に並んだ複数の
カメラを有したポール形のものである。
【0011】好適な実施形態では、前記複数の画像は動
画像であり、前記現場3次元データ生成手段は、前記複
数の動画像を用いて、前記動画像の変化に追従して変化
する動的な3次元モデルデータを合成し、前記特定物体
3次元データ検出手段は、前記動的な3次元モデルデー
タから、特定物体の3次元位置に関する動的なデータを
得る。
画像であり、前記現場3次元データ生成手段は、前記複
数の動画像を用いて、前記動画像の変化に追従して変化
する動的な3次元モデルデータを合成し、前記特定物体
3次元データ検出手段は、前記動的な3次元モデルデー
タから、特定物体の3次元位置に関する動的なデータを
得る。
【0012】好適な実施形態では、前記検出手段は、前
記作業現場の3次元モデルデータと、前記建設機械に設
置されたマーカを検出して、前記建設機械の位置および
向きを検出する。
記作業現場の3次元モデルデータと、前記建設機械に設
置されたマーカを検出して、前記建設機械の位置および
向きを検出する。
【0013】好適な実施形態では、前記現場の3次元モ
デルデータと、前記特定物体の3次元位置に関するデー
タとを用いて、前記現場を所定視点から眺めた現場画像
が表示されるようになっている。
デルデータと、前記特定物体の3次元位置に関するデー
タとを用いて、前記現場を所定視点から眺めた現場画像
が表示されるようになっている。
【0014】
【発明の実施の形態】以下、本発明を建設作業現場に適
用した実施形態に係る3次元情報生成システムについ
て、図面を用いて説明する。
用した実施形態に係る3次元情報生成システムについ
て、図面を用いて説明する。
【0015】図1は、本発明の第1の実施形態に係る3
次元情報生成システムにおいて、建設作業現場に設置さ
れたカメラの配置などを示す図である。
次元情報生成システムにおいて、建設作業現場に設置さ
れたカメラの配置などを示す図である。
【0016】本システムは、複数(ここでは3本)のカ
メラポール1を有し、各カメラポール1は、建設作業現
場5を撮影するために、それぞれ異なる位置に配置され
ている。各カメラポール1は、地面に固定することもで
きるし、車両などに搭載して、移動可能とすることもで
きる。各カメラポール1が配置される位置は、建設作業
現場5全体を撮影するために、死角ができないような位
置に配置され、その三次元座標は予め計測されている。
カメラポール1の本数は、必ずしも3本である必要は無
い。
メラポール1を有し、各カメラポール1は、建設作業現
場5を撮影するために、それぞれ異なる位置に配置され
ている。各カメラポール1は、地面に固定することもで
きるし、車両などに搭載して、移動可能とすることもで
きる。各カメラポール1が配置される位置は、建設作業
現場5全体を撮影するために、死角ができないような位
置に配置され、その三次元座標は予め計測されている。
カメラポール1の本数は、必ずしも3本である必要は無
い。
【0017】各カメラポール1は、所定の異なる相対位
置に配置された複数(ここでは5台)の動画カメラ2
(例えば、ビデオカメラ)を組み合わてなるステレオカ
メラ3を有する。1つのステレオカメラ3に含まれる5
台のカメラ2は、高さ方向に一列に並んでいるが、必ず
しもそうでなければならないわけではなく、例えばサイ
コロの5の目のように並んでいても、或いは、他の配置
であってもよく、さらに、カメラ2の台数も5台である
必要は無く、2台以上であれば5台より多くても少なく
てもよい。そして、各カメラポール1のすべてのカメラ
2が、建設作業現場の建設作業現場5を同時に撮影す
る。各カメラポール1からの5本の動画像から、後述す
るように、それぞれ距離画像が独立して生成され、それ
らの距離画像から建設作業現場5の動的な3次元モデル
が合成されることになる。
置に配置された複数(ここでは5台)の動画カメラ2
(例えば、ビデオカメラ)を組み合わてなるステレオカ
メラ3を有する。1つのステレオカメラ3に含まれる5
台のカメラ2は、高さ方向に一列に並んでいるが、必ず
しもそうでなければならないわけではなく、例えばサイ
コロの5の目のように並んでいても、或いは、他の配置
であってもよく、さらに、カメラ2の台数も5台である
必要は無く、2台以上であれば5台より多くても少なく
てもよい。そして、各カメラポール1のすべてのカメラ
2が、建設作業現場の建設作業現場5を同時に撮影す
る。各カメラポール1からの5本の動画像から、後述す
るように、それぞれ距離画像が独立して生成され、それ
らの距離画像から建設作業現場5の動的な3次元モデル
が合成されることになる。
【0018】建設作業現場5には複数箇所に丁張り7が
打ってあり、建設機械(以下、建機という)6が丁張り
7に従って所定の作業を行っている。建機6は、それぞ
れ、ステレオカメラ3から視認できる所定場所(ここで
は運転席の屋根上の所定位置)に特定形状(ここでは球
形)のマーカ61、62を複数(ここでは2つ)備え
る。マーカ61および62は、例えば、互いに異なる色
が着色されていて、カメラ2で撮影した画像から画像処
理によって識別可能である。このマーカペアは、後述す
るように、建機6の位置および向きを検出するときに利
用される。
打ってあり、建設機械(以下、建機という)6が丁張り
7に従って所定の作業を行っている。建機6は、それぞ
れ、ステレオカメラ3から視認できる所定場所(ここで
は運転席の屋根上の所定位置)に特定形状(ここでは球
形)のマーカ61、62を複数(ここでは2つ)備え
る。マーカ61および62は、例えば、互いに異なる色
が着色されていて、カメラ2で撮影した画像から画像処
理によって識別可能である。このマーカペアは、後述す
るように、建機6の位置および向きを検出するときに利
用される。
【0019】次に、本システムの機能構成について、図
2〜図5を用いて説明する。
2〜図5を用いて説明する。
【0020】図2は、本システムの基本的な機能を説明
するものである。
するものである。
【0021】図2に示すように、建設作業現場を複数の
異なる場所から眺めた画像を用いて、建設作業現場5に
存在する全ての物体(地形、建機、丁張り、人など)の
同時計測された3次元位置関連データ100を得る。こ
こで、同時計測された3次元位置関連データ100と
は、この実施形態では例えば各ステレオカメラ5からの
距離画像であるが、これは例示であり、必ずしもそうで
なければならないわけではなく、要するに現場内の諸物
体の3次元位置が割り出せるデータであれば、どのよう
な形式のデータであってもよい。次に、建設作業現場の
同時計測された3次元位置関連データ100から、事前
登録された特定物体(ここでは、例えば個々の建機6)
の3次元位置関連データ102、103と、その特定物
体以外の物体(ここでは、例えば建機6以外の地形や丁
張りなど)の3次元位置関連データ101が分離抽出さ
れる。ここで、特定物体の3次元位置関連データ10
2、103とは、この実施形態では、後の説明から分か
るように、個々の建機6の代表部位(例えばマーカ或い
は運転席など)の3次元位置、又は個々の建機6の3次
元位置だけでなく3次元形状も表した3次元モデルデー
タであるが、これも例示であり、他の形式のデータでも
良い。また、特定物体以外の物体の3次元位置関連デー
タ101とは、この実施形態では、地形(丁張りを含む)
の3次元モデルデータであるが、これも例示であり、他
の形式のデータでも良い。このように分離抽出された個
々の物体の3次元位置関連データ101〜103は、別
個に出力され利用されてもよいし、一緒に出力され組み
合わせて利用されてもよい。なお、この実施形態では、
特定物体は建機であるが、これも例示にずぎず、必ずし
もそうである必要は無く、人、建造物、丁張り、資機材
或いは地面など任意の物体を特定物体とすることができ
る。
異なる場所から眺めた画像を用いて、建設作業現場5に
存在する全ての物体(地形、建機、丁張り、人など)の
同時計測された3次元位置関連データ100を得る。こ
こで、同時計測された3次元位置関連データ100と
は、この実施形態では例えば各ステレオカメラ5からの
距離画像であるが、これは例示であり、必ずしもそうで
なければならないわけではなく、要するに現場内の諸物
体の3次元位置が割り出せるデータであれば、どのよう
な形式のデータであってもよい。次に、建設作業現場の
同時計測された3次元位置関連データ100から、事前
登録された特定物体(ここでは、例えば個々の建機6)
の3次元位置関連データ102、103と、その特定物
体以外の物体(ここでは、例えば建機6以外の地形や丁
張りなど)の3次元位置関連データ101が分離抽出さ
れる。ここで、特定物体の3次元位置関連データ10
2、103とは、この実施形態では、後の説明から分か
るように、個々の建機6の代表部位(例えばマーカ或い
は運転席など)の3次元位置、又は個々の建機6の3次
元位置だけでなく3次元形状も表した3次元モデルデー
タであるが、これも例示であり、他の形式のデータでも
良い。また、特定物体以外の物体の3次元位置関連デー
タ101とは、この実施形態では、地形(丁張りを含む)
の3次元モデルデータであるが、これも例示であり、他
の形式のデータでも良い。このように分離抽出された個
々の物体の3次元位置関連データ101〜103は、別
個に出力され利用されてもよいし、一緒に出力され組み
合わせて利用されてもよい。なお、この実施形態では、
特定物体は建機であるが、これも例示にずぎず、必ずし
もそうである必要は無く、人、建造物、丁張り、資機材
或いは地面など任意の物体を特定物体とすることができ
る。
【0022】図3は、本システムの全体の機能構成を示
す図である。本システムは、各カメラポール1に設置さ
れたステレオカメラ3と、各ステレオカメラ3で合成さ
れた距離画像を統合して建設作業現場5の3次元モデル
を求めるホスト装置4とを備える。
す図である。本システムは、各カメラポール1に設置さ
れたステレオカメラ3と、各ステレオカメラ3で合成さ
れた距離画像を統合して建設作業現場5の3次元モデル
を求めるホスト装置4とを備える。
【0023】図3に示すように、各ステレオカメラ3
は、それぞれ、5台のカメラ2と、その5台のカメラ2
が撮影した輝度動画像を用いてステレオ画像処理法によ
り距離動画像を生成する画像処理部31と、画像処理部
31の処理結果をホスト装置4へ無線で送信する無線送
受信部32とを備える。(なお、この実施形態では、各
ステレオカメラ3において距離動画像を生成してホスト
装置4へ送信し、ホスト装置4にて、集まった複数の距
離動画像から建設作業現場5の3次元モデルを生成する
ようになっているが、必ずしもそうでなければならない
わけではない。他の方式、例えば、各ステレオカメラ3
では複雑な画像処理は行なわずに、5台のカメラ2の輝
度動画像をホスト装置4へ送信し、ホスト装置4にて、
ステレオ画像処理法でステレオカメラ3毎の距離動画像
を生成し、更に、それらの距離動画像から3次元モデル
を生成するようにしてもよい。このようなステレオカメ
ラ3とホスト装置4の処理分担には、様々なバリエーシ
ョンが採用し得るから、以下の説明は一つの例示にすぎ
ない。)
は、それぞれ、5台のカメラ2と、その5台のカメラ2
が撮影した輝度動画像を用いてステレオ画像処理法によ
り距離動画像を生成する画像処理部31と、画像処理部
31の処理結果をホスト装置4へ無線で送信する無線送
受信部32とを備える。(なお、この実施形態では、各
ステレオカメラ3において距離動画像を生成してホスト
装置4へ送信し、ホスト装置4にて、集まった複数の距
離動画像から建設作業現場5の3次元モデルを生成する
ようになっているが、必ずしもそうでなければならない
わけではない。他の方式、例えば、各ステレオカメラ3
では複雑な画像処理は行なわずに、5台のカメラ2の輝
度動画像をホスト装置4へ送信し、ホスト装置4にて、
ステレオ画像処理法でステレオカメラ3毎の距離動画像
を生成し、更に、それらの距離動画像から3次元モデル
を生成するようにしてもよい。このようなステレオカメ
ラ3とホスト装置4の処理分担には、様々なバリエーシ
ョンが採用し得るから、以下の説明は一つの例示にすぎ
ない。)
【0024】各ステレオカメラ3毎の画像処理部31の
詳細な機能構成を図4に示す。
詳細な機能構成を図4に示す。
【0025】図4に示すように、画像処理部31は、建
機位置認識部33と、ステレオ処理部34と、座標変換
処理部35とを備える。
機位置認識部33と、ステレオ処理部34と、座標変換
処理部35とを備える。
【0026】ここで、ステレオ画像処理を行って距離画
像を得るために、1つのステレオカメラ3に含まれる5
台のカメラ2のうち1台を基準カメラ2aとし、残りの
4台を比較カメラ2bとする。そして、基準カメラ2a
と比較カメラ2bの各々とで一つのカメラペアを構成す
る。すなわち、本実施形態では4つのカメラペアが構成
される。
像を得るために、1つのステレオカメラ3に含まれる5
台のカメラ2のうち1台を基準カメラ2aとし、残りの
4台を比較カメラ2bとする。そして、基準カメラ2a
と比較カメラ2bの各々とで一つのカメラペアを構成す
る。すなわち、本実施形態では4つのカメラペアが構成
される。
【0027】ステレオ処理部34は、基準カメラ2aお
よび比較カメラ2bが撮影したそれぞれの画像のノイズ
を除去し且つエッジを強調するためのLoG(ラプラシ
アン・オブ・ガウシアン)処理部341と、各カメラペ
アごとに、基準カメラ2aからの画像(以下、基準画像
という)とそれぞれの比較カメラ2bからの画像(以
下、比較画像という)との間で、パターンマッチングを
行ってSAD(Sum of Absolute Distance)を計算する
SAD処理部342と、4つのカメラペアのSADを合
計するSSAD(Sum of SAD)処理部343と、距離画
像を合成する距離画像合成部344とを備える。
よび比較カメラ2bが撮影したそれぞれの画像のノイズ
を除去し且つエッジを強調するためのLoG(ラプラシ
アン・オブ・ガウシアン)処理部341と、各カメラペ
アごとに、基準カメラ2aからの画像(以下、基準画像
という)とそれぞれの比較カメラ2bからの画像(以
下、比較画像という)との間で、パターンマッチングを
行ってSAD(Sum of Absolute Distance)を計算する
SAD処理部342と、4つのカメラペアのSADを合
計するSSAD(Sum of SAD)処理部343と、距離画
像を合成する距離画像合成部344とを備える。
【0028】各LoG処理部341が、各カメラ2から
の画像にそれぞれLoG処理を施すと、異なるカメラ間
の画質の差を小さくすることができる。その結果、引き
続く異なるカメラの画像間でのパターンマッチング処理
を精度の良いものにすることができる。
の画像にそれぞれLoG処理を施すと、異なるカメラ間
の画質の差を小さくすることができる。その結果、引き
続く異なるカメラの画像間でのパターンマッチング処理
を精度の良いものにすることができる。
【0029】各SAD処理部342およびSSAD処理
部343は、例えば、以下のような手順で処理を行い、
いわゆる対応点探索を行う。
部343は、例えば、以下のような手順で処理を行い、
いわゆる対応点探索を行う。
【0030】(1) 基準画像内から、距離計測のターゲ
ットとなる一つの画素を選ぶ。このターゲット画素に対
応する建設作業現場内の物体までの距離として、或る距
離を仮定する。そして、その仮定された距離だけ離れた
建設作業現場空間中の座標点に対応する各比較画像内の
画素(以下「対応候補画素」という)の位置を求める。
ットとなる一つの画素を選ぶ。このターゲット画素に対
応する建設作業現場内の物体までの距離として、或る距
離を仮定する。そして、その仮定された距離だけ離れた
建設作業現場空間中の座標点に対応する各比較画像内の
画素(以下「対応候補画素」という)の位置を求める。
【0031】(2) 基準画像内に、ターゲット画素の位
置を中心とする例えば3画素×3画素というサイズのマ
ッチングウィンドウ(画素ブロック)(以下、「参照ウ
ィンドウ」という)を設定する。各比較画像内にも、対
応候補画素の位置を中心とする同サイズのマッチングウ
インドウ(以下「比較ウィンドウ」という)を設定する。
置を中心とする例えば3画素×3画素というサイズのマ
ッチングウィンドウ(画素ブロック)(以下、「参照ウ
ィンドウ」という)を設定する。各比較画像内にも、対
応候補画素の位置を中心とする同サイズのマッチングウ
インドウ(以下「比較ウィンドウ」という)を設定する。
【0032】(3) 個々のカメラペア毎に、基準画像上
の参照ウインドウ内の各画素の画素値と、比較画像上の
比較ウィンドウ内の対応する各画素の画素値とを比較
し、画素間の「相違度」を求める。なお、前記「相違度」と
しては、画素値間の差の絶対値、あるいは、画素値間の
差の二乗などを用いる。
の参照ウインドウ内の各画素の画素値と、比較画像上の
比較ウィンドウ内の対応する各画素の画素値とを比較
し、画素間の「相違度」を求める。なお、前記「相違度」と
しては、画素値間の差の絶対値、あるいは、画素値間の
差の二乗などを用いる。
【0033】(4) 参照ウインドウ内の全画素について
上記「相違度」を求め、それら「相違度」を参照ウイン
ドウ内の全画素について合計(以下、ウインドウ加算と
いう)して、「ウインドウ加算した相違度」をカメラペア
毎に求める。この「ウインドウ加算した相違度」が「SA
D」である。
上記「相違度」を求め、それら「相違度」を参照ウイン
ドウ内の全画素について合計(以下、ウインドウ加算と
いう)して、「ウインドウ加算した相違度」をカメラペア
毎に求める。この「ウインドウ加算した相違度」が「SA
D」である。
【0034】SSAD処理部343は、各SAD処理部
342からの各カメラペアの「SAD」を取得し、そし
て、集まった4つのカメラペアの「SAD」を合計し
て、「相違度の最終合計」を求める。この「相違度の最終
合計」が「SSAD」である。
342からの各カメラペアの「SAD」を取得し、そし
て、集まった4つのカメラペアの「SAD」を合計し
て、「相違度の最終合計」を求める。この「相違度の最終
合計」が「SSAD」である。
【0035】各SAD処理部342は、ターゲット画素
に対応する建設作業現場内の物体までの距離として、他
に複数個の距離を更に仮定し、それらの距離の各々につ
いても、上述した処理により「SAD」を求め、これに
対応して、SSAD処理部343が上述した処理を行な
って、各々の距離について「SSAD」を求める。そし
て、SSAD処理部343は「SSAD」が最小となる一
つの仮定距離を、ターゲット画素に対応する物体までの
距離として推定し、ターゲット画素および推定距離を距
離画像合成部344へ出力する。
に対応する建設作業現場内の物体までの距離として、他
に複数個の距離を更に仮定し、それらの距離の各々につ
いても、上述した処理により「SAD」を求め、これに
対応して、SSAD処理部343が上述した処理を行な
って、各々の距離について「SSAD」を求める。そし
て、SSAD処理部343は「SSAD」が最小となる一
つの仮定距離を、ターゲット画素に対応する物体までの
距離として推定し、ターゲット画素および推定距離を距
離画像合成部344へ出力する。
【0036】ここで、「SSAD」が最小となるというこ
とは、基準画像の参照ウインドウ内の画像パターンと、
比較画像の比較ウィンドウ内の画像パターンとが最も良
く類似するということを意味している。
とは、基準画像の参照ウインドウ内の画像パターンと、
比較画像の比較ウィンドウ内の画像パターンとが最も良
く類似するということを意味している。
【0037】そして、基準画像内の全画素をターゲット
画素として上記のような処理を行って距離を推定し、距
離画像合成部344がこれを蓄積することにより、基準
画像に対応した距離画像が得られる。
画素として上記のような処理を行って距離を推定し、距
離画像合成部344がこれを蓄積することにより、基準
画像に対応した距離画像が得られる。
【0038】なお、本実施形態では、建機6の動きを実
時間で把握するために、各カメラ2は基本的に動画カメ
ラ(例えば、ビデオカメラ)であり、動画カメラ2から出
力される各時点のフレーム画像毎に対応点探索が行なわ
れる。その結果としてステレオ処理部34から出力され
る画像も、各時点のフレーム画像が距離画像であるよう
な動画像である。
時間で把握するために、各カメラ2は基本的に動画カメ
ラ(例えば、ビデオカメラ)であり、動画カメラ2から出
力される各時点のフレーム画像毎に対応点探索が行なわ
れる。その結果としてステレオ処理部34から出力され
る画像も、各時点のフレーム画像が距離画像であるよう
な動画像である。
【0039】上記の対応点探索をステレオカメラ3ごと
に行なうことで、各ステレオカメラ3ごとに距離画像が
得られるが、各ステレオカメラ3の距離画像から得られ
る対象領域5の3次元座標値(つまり、画像内の画素の
x、y座標値と、画素値が示す距離値(z座標値))
は、そのステレオカメラ3の配置場所と方向を基準にし
たカメラ座標系で表現されたものである。従って、座標
変換処理部35は、各ステレオカメラ3の距離画像から
得られる各カメラ座標系の座標値を、所定の共通の基準
座標系に変換する処理を行う。
に行なうことで、各ステレオカメラ3ごとに距離画像が
得られるが、各ステレオカメラ3の距離画像から得られ
る対象領域5の3次元座標値(つまり、画像内の画素の
x、y座標値と、画素値が示す距離値(z座標値))
は、そのステレオカメラ3の配置場所と方向を基準にし
たカメラ座標系で表現されたものである。従って、座標
変換処理部35は、各ステレオカメラ3の距離画像から
得られる各カメラ座標系の座標値を、所定の共通の基準
座標系に変換する処理を行う。
【0040】なお、座標変換処理を行なうための具体的
な装置として、例えば特開2002−32744号に開
示された装置を応用することができる。
な装置として、例えば特開2002−32744号に開
示された装置を応用することができる。
【0041】建機位置認識部33は、基準カメラからの
画像中の建機に付けられたマーカを検出するマーカ座標
検出部331と、カメラポール1からマーカまでの距離
を決定するマーカ距離決定部332とを備える。
画像中の建機に付けられたマーカを検出するマーカ座標
検出部331と、カメラポール1からマーカまでの距離
を決定するマーカ距離決定部332とを備える。
【0042】マーカ座標検出部331は、5台のカメラ
2のうちの一つ、例えば基準カメラ2aから基準画像を
受け付ける。画像上では、建機6に取り付けられた各マ
ーカ61,62は、それぞれ円として写っているので、
パターン認識によってそれを抽出し、各マーカ61,6
2の基準画像上のx、y座標値を決定する。
2のうちの一つ、例えば基準カメラ2aから基準画像を
受け付ける。画像上では、建機6に取り付けられた各マ
ーカ61,62は、それぞれ円として写っているので、
パターン認識によってそれを抽出し、各マーカ61,6
2の基準画像上のx、y座標値を決定する。
【0043】マーカ距離決定部332は、距離画像合成
部344によって合成された基準画像に対応する距離画
像から、マーカ座標検出部331により検出された各マ
ーカ61,62のx、y座標に対応するz座標値を求
め、カメラポール1からマーカ61,62までの距離を
求める。
部344によって合成された基準画像に対応する距離画
像から、マーカ座標検出部331により検出された各マ
ーカ61,62のx、y座標に対応するz座標値を求
め、カメラポール1からマーカ61,62までの距離を
求める。
【0044】マーカ距離決定部332は、基準画像上で
の各マーカ61,62の座標値とカメラポール1から各
マーカ61,62までの距離を座標変換処理部35へ通
知する。座標変換処理部35は、距離画像の変換と同様
に、各マーカの位置を示す3次元座標値(画像内の画素
のx、y座標値と、マーカまでの距離値(z座標値))
を、所定の共通の基準座標系に変換する処理を行う。
の各マーカ61,62の座標値とカメラポール1から各
マーカ61,62までの距離を座標変換処理部35へ通
知する。座標変換処理部35は、距離画像の変換と同様
に、各マーカの位置を示す3次元座標値(画像内の画素
のx、y座標値と、マーカまでの距離値(z座標値))
を、所定の共通の基準座標系に変換する処理を行う。
【0045】座標変換処理部35は、各マーカの3次元
座標値および距離画像を無線送受信部32へ渡し、無線
送受信部32がホスト装置4へ送信する。(なお、変形
例として、座標変換処理部35はホスト装置4に設け、
座標変換前のカメラ座標系のマーカ座標値および距離画
像を、各ステレオカメラ3からホスト装置4へ送信する
ようにしてもよい。)
座標値および距離画像を無線送受信部32へ渡し、無線
送受信部32がホスト装置4へ送信する。(なお、変形
例として、座標変換処理部35はホスト装置4に設け、
座標変換前のカメラ座標系のマーカ座標値および距離画
像を、各ステレオカメラ3からホスト装置4へ送信する
ようにしてもよい。)
【0046】次に、図3に戻り、ホスト装置4について
説明する。
説明する。
【0047】図3に示すように、ホスト装置4は、例え
ば汎用的なコンピュータシステムにより構成され、以下
に説明するホスト装置4内の個々の構成要素または機能
は、例えば、コンピュータプログラムを実行することに
より実現される。
ば汎用的なコンピュータシステムにより構成され、以下
に説明するホスト装置4内の個々の構成要素または機能
は、例えば、コンピュータプログラムを実行することに
より実現される。
【0048】ホスト装置4は、その内部機能として、ス
テレオカメラ3からの無線信号を受信する無線送受信部
41と、複数のステレオカメラ3からのマーカの3次元
座標値に基づいて、個々の建機の位置及び方向を検出す
る建機検出部42と、複数のステレオカメラ3からの距
離画像を統計処理して建設作業現場の地形の3次元モデ
ルデータを生成する地形生成部43と、建機の位置及び
方向を示すデータと地形の3次元モデルデータをGIS
(Geographic Information System)データとして記憶
するためのGISデータ記憶部44と、GISデータを
外部へ出力するGISデータ出力部45とを備える。
テレオカメラ3からの無線信号を受信する無線送受信部
41と、複数のステレオカメラ3からのマーカの3次元
座標値に基づいて、個々の建機の位置及び方向を検出す
る建機検出部42と、複数のステレオカメラ3からの距
離画像を統計処理して建設作業現場の地形の3次元モデ
ルデータを生成する地形生成部43と、建機の位置及び
方向を示すデータと地形の3次元モデルデータをGIS
(Geographic Information System)データとして記憶
するためのGISデータ記憶部44と、GISデータを
外部へ出力するGISデータ出力部45とを備える。
【0049】建機検出部42および地形生成部43の詳
細な構成について、図5を用いて説明する。
細な構成について、図5を用いて説明する。
【0050】図5に示すように、建機検出部42は、さ
らに、3つのステレオカメラ3がそれぞれ推定したマー
カの位置に基づいて、個々の建機に対応したマーカのペ
アを識別し、そのマーカペアの位置から建機の位置およ
び方向を決定する建機位置決定部421と、地形の3次
元モデル中から個々の建機の3次元モデルを認識する建
機認識部422と、個々の建機の3次元モデルの特徴パ
ターンを記憶した建機パターン記憶部423とを備え
る。
らに、3つのステレオカメラ3がそれぞれ推定したマー
カの位置に基づいて、個々の建機に対応したマーカのペ
アを識別し、そのマーカペアの位置から建機の位置およ
び方向を決定する建機位置決定部421と、地形の3次
元モデル中から個々の建機の3次元モデルを認識する建
機認識部422と、個々の建機の3次元モデルの特徴パ
ターンを記憶した建機パターン記憶部423とを備え
る。
【0051】建機位置決定部421は、例えば、3つの
ステレオカメラ3によって推定された各マーカの3次元
座標値に、所定の統計的処理(例えば、3つのステレオ
カメラ3からの座標値の平均値を求める、3つのステレ
オカメラ3からの座標値の多数決をとる、或いは、3つ
のステレオカメラ3からの座標値のうち最も信頼性の高
い値を選ぶ、など)を施して、各マーカの最終的な位置
座標値を決定する。そして、位置の確定した複数のマー
カを、相互位置関係が所定の関係になっているペアのマ
ーカに分類することで、個々の建機に取り付けられたペ
アのマーカ61,62を検出し、そのペアのマーカ6
1,62の代表的な位置をその建機の位置とし、そし
て、そのペアのマーカ61,62の配列方向に基づいて
その建機の方向を決定する。この位置と方向の決定を、
全ての建機(つまり、全てのペアのマーカ)について行
なう。
ステレオカメラ3によって推定された各マーカの3次元
座標値に、所定の統計的処理(例えば、3つのステレオ
カメラ3からの座標値の平均値を求める、3つのステレ
オカメラ3からの座標値の多数決をとる、或いは、3つ
のステレオカメラ3からの座標値のうち最も信頼性の高
い値を選ぶ、など)を施して、各マーカの最終的な位置
座標値を決定する。そして、位置の確定した複数のマー
カを、相互位置関係が所定の関係になっているペアのマ
ーカに分類することで、個々の建機に取り付けられたペ
アのマーカ61,62を検出し、そのペアのマーカ6
1,62の代表的な位置をその建機の位置とし、そし
て、そのペアのマーカ61,62の配列方向に基づいて
その建機の方向を決定する。この位置と方向の決定を、
全ての建機(つまり、全てのペアのマーカ)について行
なう。
【0052】建機認識部422は、建機位置決定部42
1からの個々の建機の位置および方向と、建機パターン
記憶部423に蓄積されている様々機種の建機の3次元
特徴パターンとを用いて、後述する距離画像統合処理部
431が作成した地形の3次元モデルデータの中から、
個々の建機に対応する3次元モデル部分を抽出する。例
えば、地形の3次元モデルデータの中から、建機位置決
定部421からの個々の建機の位置および方向によって
決まる個々の建機と推定される領域の3次元モデル部分
を取り出し、その取り出した3次元モデル部分の3次元
形状特徴を、建機パターン記憶部423に蓄積されてい
る様々な機種の建機の3次元特徴パターンと照合するこ
とで、個々の建機の3次元モデル部分をより正確に割出
すとともに、その建機が何の機種であるかも識別でき
る。こうして得られた個々の建機の位置および方向並び
に3次元モデルは、GISデータの要素としてGISデ
ータ記憶部44に格納される。(なお、建機認識部42
2による建機の3次元モデルデータの抽出処理は省略し
てもよい。この場合、GISデータに含まれる建機関連
のデータは、建機位置決定部421からの建機の位置お
よび方向だけとなる。)
1からの個々の建機の位置および方向と、建機パターン
記憶部423に蓄積されている様々機種の建機の3次元
特徴パターンとを用いて、後述する距離画像統合処理部
431が作成した地形の3次元モデルデータの中から、
個々の建機に対応する3次元モデル部分を抽出する。例
えば、地形の3次元モデルデータの中から、建機位置決
定部421からの個々の建機の位置および方向によって
決まる個々の建機と推定される領域の3次元モデル部分
を取り出し、その取り出した3次元モデル部分の3次元
形状特徴を、建機パターン記憶部423に蓄積されてい
る様々な機種の建機の3次元特徴パターンと照合するこ
とで、個々の建機の3次元モデル部分をより正確に割出
すとともに、その建機が何の機種であるかも識別でき
る。こうして得られた個々の建機の位置および方向並び
に3次元モデルは、GISデータの要素としてGISデ
ータ記憶部44に格納される。(なお、建機認識部42
2による建機の3次元モデルデータの抽出処理は省略し
てもよい。この場合、GISデータに含まれる建機関連
のデータは、建機位置決定部421からの建機の位置お
よび方向だけとなる。)
【0053】地形生成部43は、3つのステレオカメラ
3からの距離画像を統計処理して統合する距離画像統合
処理部431と、距離画像統合処理部431の処理結果
及び上述した建機認識部422の処理結果に基づいて建
設作業現場の地形の3次元モデルを決定する地形決定部
432とを備える。
3からの距離画像を統計処理して統合する距離画像統合
処理部431と、距離画像統合処理部431の処理結果
及び上述した建機認識部422の処理結果に基づいて建
設作業現場の地形の3次元モデルを決定する地形決定部
432とを備える。
【0054】距離画像統合処理部431は、3つのステ
レオカメラ3からの距離画像に、所定の統計的処理(例
えば、3つのステレオカメラ3からの座標値の多数決を
とる、或るいは、3つのステレオカメラ3からの座標値
のうち最も信頼性の高い値を選ぶ、など)を施して、地
形(建機も含んでいる)の最終的な3次元座標値(すな
わち、地形の3次元モデルデータ)を求める。
レオカメラ3からの距離画像に、所定の統計的処理(例
えば、3つのステレオカメラ3からの座標値の多数決を
とる、或るいは、3つのステレオカメラ3からの座標値
のうち最も信頼性の高い値を選ぶ、など)を施して、地
形(建機も含んでいる)の最終的な3次元座標値(すな
わち、地形の3次元モデルデータ)を求める。
【0055】なお、上記統計的処理のより具体的な方法
としては、特開2002−32744号に開示された方
法、すなわち、複数のステレオカメラからの距離画像に
基づいて、3次元空間のボクセルデータを求めて統合す
る方法を応用することができる。
としては、特開2002−32744号に開示された方
法、すなわち、複数のステレオカメラからの距離画像に
基づいて、3次元空間のボクセルデータを求めて統合す
る方法を応用することができる。
【0056】地形決定部432は、距離画像統合処理部
431からの地形(建機も含んでいる)の3次元モデル
データから、建機認識部422の決定した建機の3次元
モデルを取り除いて、建設作業現場の建機を含まない純
粋な地形(丁張りは含む)の3次元モデルデータを生成
する。この純粋な地形の3次元モデルデータは、GIS
データの要素として、GISデータ記憶部44に格納さ
れる。(なお、上述したように建機認識部422を省略
した場合には、地形決定部432も省略される。その場
合には、距離画像統合処理部431からの建機も含んだ
地形の3次元モデルデータが、GISデータ記憶部44
に格納される。)
431からの地形(建機も含んでいる)の3次元モデル
データから、建機認識部422の決定した建機の3次元
モデルを取り除いて、建設作業現場の建機を含まない純
粋な地形(丁張りは含む)の3次元モデルデータを生成
する。この純粋な地形の3次元モデルデータは、GIS
データの要素として、GISデータ記憶部44に格納さ
れる。(なお、上述したように建機認識部422を省略
した場合には、地形決定部432も省略される。その場
合には、距離画像統合処理部431からの建機も含んだ
地形の3次元モデルデータが、GISデータ記憶部44
に格納される。)
【0057】GISデータ出力部45は、GISデータ
記憶部44内のGISデータを、外部へ出力する。出力
態様としては、例えば、GISデータを通信ネットワー
クを通じて外部の情報処理装置へ提供したり、或るい
は、GISデータを使って所定の視点から建設作業現場
を眺めたときの画像を描画して表示する、などの態様が
考え得る。建設作業現場の地形は3次元モデルデータと
なっているから、任意の視点から見た画像を表示するこ
とができる。また、建機の位置と方向が判明しているか
ら、その画像内で建機と建機以外の地形等とを色分けな
どで区別して表示することができる。特に、建機の3次
元モデルデータが抽出されている場合には、建機を明確
に他の地形から区別して表示することができる。地形の
3次元モデルと建機の位置、方向及び3次元モデルは、
カメラで撮影された動画像の動きに追従して動く動的な
ものであるから、それらのデータに基づいた画像表示も
動的に行なうことができる。
記憶部44内のGISデータを、外部へ出力する。出力
態様としては、例えば、GISデータを通信ネットワー
クを通じて外部の情報処理装置へ提供したり、或るい
は、GISデータを使って所定の視点から建設作業現場
を眺めたときの画像を描画して表示する、などの態様が
考え得る。建設作業現場の地形は3次元モデルデータと
なっているから、任意の視点から見た画像を表示するこ
とができる。また、建機の位置と方向が判明しているか
ら、その画像内で建機と建機以外の地形等とを色分けな
どで区別して表示することができる。特に、建機の3次
元モデルデータが抽出されている場合には、建機を明確
に他の地形から区別して表示することができる。地形の
3次元モデルと建機の位置、方向及び3次元モデルは、
カメラで撮影された動画像の動きに追従して動く動的な
ものであるから、それらのデータに基づいた画像表示も
動的に行なうことができる。
【0058】次に、第2の実施形態に係る、より簡易な
構成の建設現場の3次元情報生成システムについて説明
する。
構成の建設現場の3次元情報生成システムについて説明
する。
【0059】本実施形態に係るシステムは、デジタルカ
メラ等を利用した静止画を用いて、対象領域の距離画像
を生成するシステムであり、その構成を図6に示す。
メラ等を利用した静止画を用いて、対象領域の距離画像
を生成するシステムであり、その構成を図6に示す。
【0060】本システムは、画像処理装置8によって構
成され、その画像処理装置8は、例えば汎用的なコンピ
ュータシステムにより構成され、以下に説明する画像処
理装置8内の個々の構成要素または機能は、例えば、コ
ンピュータプログラムを実行することにより実現され
る。
成され、その画像処理装置8は、例えば汎用的なコンピ
ュータシステムにより構成され、以下に説明する画像処
理装置8内の個々の構成要素または機能は、例えば、コ
ンピュータプログラムを実行することにより実現され
る。
【0061】画像処理装置8は、その内部機能として、
画像入力受付部81と、特徴抽出部82と、ステレオ処
理部84と、建機認識部85と、座標変換部86と、デ
ータ記憶部87とを備える。
画像入力受付部81と、特徴抽出部82と、ステレオ処
理部84と、建機認識部85と、座標変換部86と、デ
ータ記憶部87とを備える。
【0062】本実施形態では、建設作業現場を、それぞ
れ異なる複数の撮影場所からデジタルカメラなどで撮影
された静止画を用いる。これらの複数枚の静止画のう
ち、少なくとも2枚には丁張りなどの基準点が含まれる
ようにする。そして、画像入力受付部81は、複数の撮
影場所についての一定の順序で、各撮影場所からの画像
データを一枚ずつ取り込む。
れ異なる複数の撮影場所からデジタルカメラなどで撮影
された静止画を用いる。これらの複数枚の静止画のう
ち、少なくとも2枚には丁張りなどの基準点が含まれる
ようにする。そして、画像入力受付部81は、複数の撮
影場所についての一定の順序で、各撮影場所からの画像
データを一枚ずつ取り込む。
【0063】特徴抽出部82は、取り込まれた各画像か
ら特徴点を抽出し、抽出した特徴点のパターンを比較し
て、最低2つの画像に共通して含まれている領域を特定
する。
ら特徴点を抽出し、抽出した特徴点のパターンを比較し
て、最低2つの画像に共通して含まれている領域を特定
する。
【0064】ステレオ処理部84は、特定された各共通
領域毎に、それを共有する2枚以上の画像を用いてステ
レオ処理法を行なうことにより、その共通領域の地形
(建機や丁張りを含む)の距離画像を計算し、この距離
画像から地形の3次元座標(3次元モデルデータ)を決
定する。
領域毎に、それを共有する2枚以上の画像を用いてステ
レオ処理法を行なうことにより、その共通領域の地形
(建機や丁張りを含む)の距離画像を計算し、この距離
画像から地形の3次元座標(3次元モデルデータ)を決
定する。
【0065】建機認識部85は、ステレオ処理部84か
らの地形の3次元モデルデータの各部と、予め用意され
た建機の3次元モデルの特徴パターンとのパターンマッ
チングを行なうことで、地形の3次元モデルデータの中
から、建機の3次元モデル部分を認識して抽出する。或
るいは、別法として、建機を様々な方向から見たときの
建機画像の特徴パターンを予め用意しておいて、ステレ
オ処理部84で計算された距離画像の各部と、建機画像
の特徴パターンとのパタンマッチングを行なうことで、
距離画像の中から建機の画像部分を認識して、そこから
建機の3次元位置座標を求める。
らの地形の3次元モデルデータの各部と、予め用意され
た建機の3次元モデルの特徴パターンとのパターンマッ
チングを行なうことで、地形の3次元モデルデータの中
から、建機の3次元モデル部分を認識して抽出する。或
るいは、別法として、建機を様々な方向から見たときの
建機画像の特徴パターンを予め用意しておいて、ステレ
オ処理部84で計算された距離画像の各部と、建機画像
の特徴パターンとのパタンマッチングを行なうことで、
距離画像の中から建機の画像部分を認識して、そこから
建機の3次元位置座標を求める。
【0066】そして、座標変換部86は、ステレオ処理
部84からの地形の3次元モデルデータ及び建機認識部
85からの建機の3次元モデルデータ又は3次元位置座
標を、入力画像に含まれている丁張りなどの基準点を基
準とする建設作業現場内の基準座標系の座標値へ変換す
る。座標変換されたデータは、データ記憶部87へ格納
され、第1の実施形態と同様に外部出力される。
部84からの地形の3次元モデルデータ及び建機認識部
85からの建機の3次元モデルデータ又は3次元位置座
標を、入力画像に含まれている丁張りなどの基準点を基
準とする建設作業現場内の基準座標系の座標値へ変換す
る。座標変換されたデータは、データ記憶部87へ格納
され、第1の実施形態と同様に外部出力される。
【0067】上述した本発明の実施形態は、本発明の説
明のための例示であり、本発明の範囲をそれらの実施形
態にのみ限定する趣旨ではない。当業者は、本発明の要
旨を逸脱することなしに、他の様々な態様で本発明を実
施することができる。
明のための例示であり、本発明の範囲をそれらの実施形
態にのみ限定する趣旨ではない。当業者は、本発明の要
旨を逸脱することなしに、他の様々な態様で本発明を実
施することができる。
【0068】例えば、上記実施形態では、建機に設けた
2個のマーカからその建機の位置と方向を検出している
が、これは単なる例示であり、建機に設けた単に1個の
マーカからその建機の位置と方向を検出することもでき
るし(方向は、マーカの形状などから検出できる)、3
個以上のマーカを用いて位置と方向を検出してもよい。
或いは、建機に設置されたマーカを利用する方法に代え
て又はこれと併用して、建機画像とのパターンマッチン
グや、建機に特有の色情報を用いた検出方法などを用い
て、建機の位置および向きの検出を行なうこともでき
る。
2個のマーカからその建機の位置と方向を検出している
が、これは単なる例示であり、建機に設けた単に1個の
マーカからその建機の位置と方向を検出することもでき
るし(方向は、マーカの形状などから検出できる)、3
個以上のマーカを用いて位置と方向を検出してもよい。
或いは、建機に設置されたマーカを利用する方法に代え
て又はこれと併用して、建機画像とのパターンマッチン
グや、建機に特有の色情報を用いた検出方法などを用い
て、建機の位置および向きの検出を行なうこともでき
る。
【0069】また、上記の実施形態では、ステレオカメ
ラごとに距離画像を合成し、ホスト装置でこれらの統合
処理を行っているが、各カメラが撮影した画像をすべて
ホスト装置へ送信し、ホスト装置がすべての処理を一貫
して行うようにすることもできる。
ラごとに距離画像を合成し、ホスト装置でこれらの統合
処理を行っているが、各カメラが撮影した画像をすべて
ホスト装置へ送信し、ホスト装置がすべての処理を一貫
して行うようにすることもできる。
【0070】また、上記実施形態では、異なる場所に設
置された複数の多眼ステレオカメラを用いているが、こ
れに代えて、複数の単眼のカメラを異なる場所に設置し
て、それら複数の単眼カメラからの画像から現場の3次
元形状を把握することもできる。
置された複数の多眼ステレオカメラを用いているが、こ
れに代えて、複数の単眼のカメラを異なる場所に設置し
て、それら複数の単眼カメラからの画像から現場の3次
元形状を把握することもできる。
【0071】また、上記実施形態では、建機の形状情報
(マーカ又は建機自体の形状特徴パターンなど)を事前に
登録しておき、その登録情報を用いて、最初に得られた
現場全体の3次元位置データの中から建機を検出してい
るが、このような物体検出のための登録対象は、建機に
限られるわけではない。建機とともに又は建機に代え
て、人や建物など所望の種類の物体の情報を事前登録し
ておいて、その登録情報を用いて、パターンマッチング
などの方法により、その所望物体を検出することができ
る。また、逆に、地形や背景の情報を事前登録しておい
て、その登録情報を用いて、地形や背景以外の物体を検
出したり、その物体の動きを検出したりすることもでき
る(この方法は、セキュリティシステムなどのアプリケ
ーションで有効であろう)。
(マーカ又は建機自体の形状特徴パターンなど)を事前に
登録しておき、その登録情報を用いて、最初に得られた
現場全体の3次元位置データの中から建機を検出してい
るが、このような物体検出のための登録対象は、建機に
限られるわけではない。建機とともに又は建機に代え
て、人や建物など所望の種類の物体の情報を事前登録し
ておいて、その登録情報を用いて、パターンマッチング
などの方法により、その所望物体を検出することができ
る。また、逆に、地形や背景の情報を事前登録しておい
て、その登録情報を用いて、地形や背景以外の物体を検
出したり、その物体の動きを検出したりすることもでき
る(この方法は、セキュリティシステムなどのアプリケ
ーションで有効であろう)。
【0072】さらに、最終的に出力されるデータはGI
Sデータである必要は無く、他の形式のデータであって
もよい。
Sデータである必要は無く、他の形式のデータであって
もよい。
【0073】画像のソースは、上述の実施形態のように
カメラである必要は必ずしも無く、ネットワークから取
得した画像や、イメージスキャナで読み取った画像を入
力してもよい。
カメラである必要は必ずしも無く、ネットワークから取
得した画像や、イメージスキャナで読み取った画像を入
力してもよい。
【0074】本発明の適用できる現場は、建設作業現場
に限られない。様々な3次元実空間に適用できる。
に限られない。様々な3次元実空間に適用できる。
【図1】本発明の第1の実施形態に係る3次元情報生成
システムのカメラの配置などを示す図である。
システムのカメラの配置などを示す図である。
【図2】本発明の第1の実施形態に係る3次元情報生成
システムの基本的な機能を示す図である。
システムの基本的な機能を示す図である。
【図3】本発明の第1の実施形態に係る3次元情報生成
システムの機能構成を示す図である。
システムの機能構成を示す図である。
【図4】画像処理部の詳細な機能構成を示す図である。
【図5】ホスト装置の詳細な機能構成を示す図である。
【図6】本発明の第2の実施形態に係る3次元情報生成
システムの画像処理装置の構成を示す図である。
システムの画像処理装置の構成を示す図である。
1…カメラポール
2…カメラ
3…ステレオカメラ
4…ホスト装置
5…建設作業現場
6…建設機械
7…丁張り
8…画像処理装置
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 三輪 浩史
神奈川県平塚市万田1200 株式会社小松製
作所研究所内
(72)発明者 山口 博義
神奈川県平塚市万田1200 株式会社小松製
作所研究所内
Fターム(参考) 5B057 AA20 BA02 DA08 DB03 DB06
DB09 DC03 DC09 DC25 DC32
DC36
Claims (3)
- 【請求項1】 現場を所定の異なる場所から眺めて得ら
れる複数の画像を用いて、前記現場に存在する諸物体の
3次元位置に関するデータを生成する現場3次元データ
生成手段と、 前記現場の諸物体の3次元位置に関するデータから、特
定物体の3次元位置に関するデータを得る特定物体3次
元データ検出手段と、 前記現場の諸物体の3次元位置に関するデータから、前
記特定物体以外の他物体の3次元位置に関するデータを
得る他物体3次元データ検出手段とを備える現場の3次
元情報生成システム。 - 【請求項2】 請求項1記載のシステムにおいて、得ら
れた前記特定物体の3次元位置に関するデータと前記特
定物体以外の他物体の3次元位置に関するデータとを、
分離して又は一緒に出力するデータ出力手段を更に備え
た現場の3次元情報生成システム。 - 【請求項3】 現場を所定の異なる場所から眺めて得ら
れる複数の画像を用いて、前記現場に存在する諸物体の
3次元位置に関するデータを生成するステップと、 前記現場の諸物体の3次元位置に関するデータから、特
定物体の3次元位置に関するデータを得るステップと、 前記現場の諸物体の3次元位置に関するデータから、前
記特定物体以外の他物体の3次元位置に関するデータを
得るステップととを備える現場の3次元情報生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002135425A JP2003329448A (ja) | 2002-05-10 | 2002-05-10 | 現場の3次元情報生成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002135425A JP2003329448A (ja) | 2002-05-10 | 2002-05-10 | 現場の3次元情報生成システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003329448A true JP2003329448A (ja) | 2003-11-19 |
Family
ID=29697754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002135425A Pending JP2003329448A (ja) | 2002-05-10 | 2002-05-10 | 現場の3次元情報生成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003329448A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010237169A (ja) * | 2009-03-31 | 2010-10-21 | Topcon Corp | 自動追尾方法及び測量装置 |
JP2012509508A (ja) * | 2008-11-20 | 2012-04-19 | ザ ジレット カンパニー | 個人衛生機器、システム、及び方法 |
JP2014222374A (ja) * | 2013-05-13 | 2014-11-27 | 大日本印刷株式会社 | 棚割情報生成装置、棚割情報生成方法、プログラム、棚割再現システム、及び、棚割情報再現装置 |
JPWO2017033991A1 (ja) * | 2015-08-26 | 2018-06-14 | 住友建機株式会社 | ショベルの計測装置 |
WO2019012993A1 (ja) * | 2017-07-14 | 2019-01-17 | 株式会社小松製作所 | 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム |
JP2019019592A (ja) * | 2017-07-19 | 2019-02-07 | 株式会社熊谷組 | 施工状況取得方法 |
JP2019190064A (ja) * | 2018-04-20 | 2019-10-31 | 株式会社安藤・間 | 建設機械の姿勢認識システム |
JP2020170431A (ja) * | 2019-04-05 | 2020-10-15 | ジャパンパイル株式会社 | 基礎杭施工作業計画書作成装置及び基礎杭施工作業計画書作成用プログラム |
JP2021018071A (ja) * | 2019-07-17 | 2021-02-15 | 日本電気株式会社 | 地形情報生成装置、地形情報生成システム、情報生成方法 |
WO2022168616A1 (ja) * | 2021-02-05 | 2022-08-11 | 株式会社アマダ | 装置判別システム、装置判別方法及び装置判別プログラム |
JP7130215B1 (ja) | 2021-12-03 | 2022-09-05 | Asatec株式会社 | 建築予定建物確認システム |
WO2022210005A1 (ja) * | 2021-03-31 | 2022-10-06 | Johnan株式会社 | 姿勢推定システム |
WO2023106323A1 (ja) * | 2021-12-10 | 2023-06-15 | 株式会社小松製作所 | 施工管理システム及び施工管理方法 |
WO2023228244A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
-
2002
- 2002-05-10 JP JP2002135425A patent/JP2003329448A/ja active Pending
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012509508A (ja) * | 2008-11-20 | 2012-04-19 | ザ ジレット カンパニー | 個人衛生機器、システム、及び方法 |
JP2010237169A (ja) * | 2009-03-31 | 2010-10-21 | Topcon Corp | 自動追尾方法及び測量装置 |
JP2014222374A (ja) * | 2013-05-13 | 2014-11-27 | 大日本印刷株式会社 | 棚割情報生成装置、棚割情報生成方法、プログラム、棚割再現システム、及び、棚割情報再現装置 |
JPWO2017033991A1 (ja) * | 2015-08-26 | 2018-06-14 | 住友建機株式会社 | ショベルの計測装置 |
JP2019214933A (ja) * | 2015-08-26 | 2019-12-19 | 住友建機株式会社 | ショベル、ショベルの計測装置、及びショベルの管理装置 |
JP2021093219A (ja) * | 2017-07-14 | 2021-06-17 | 株式会社小松製作所 | 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム |
WO2019012993A1 (ja) * | 2017-07-14 | 2019-01-17 | 株式会社小松製作所 | 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム |
JP7291739B2 (ja) | 2017-07-14 | 2023-06-15 | 株式会社小松製作所 | 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム |
JPWO2019012993A1 (ja) * | 2017-07-14 | 2019-11-07 | 株式会社小松製作所 | 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム |
US11076130B2 (en) | 2017-07-14 | 2021-07-27 | Komatsu Ltd. | Operation information transmission device, construction management system, operation information transmission method, and program |
JP2019019592A (ja) * | 2017-07-19 | 2019-02-07 | 株式会社熊谷組 | 施工状況取得方法 |
JP2019190064A (ja) * | 2018-04-20 | 2019-10-31 | 株式会社安藤・間 | 建設機械の姿勢認識システム |
JP6994427B2 (ja) | 2018-04-20 | 2022-01-14 | 株式会社安藤・間 | 建設機械の姿勢認識システム |
JP2020170431A (ja) * | 2019-04-05 | 2020-10-15 | ジャパンパイル株式会社 | 基礎杭施工作業計画書作成装置及び基礎杭施工作業計画書作成用プログラム |
JP7332853B2 (ja) | 2019-04-05 | 2023-08-24 | ジャパンパイル株式会社 | 基礎杭施工作業計画書作成装置及び基礎杭施工作業計画書作成用プログラム |
JP2021018071A (ja) * | 2019-07-17 | 2021-02-15 | 日本電気株式会社 | 地形情報生成装置、地形情報生成システム、情報生成方法 |
WO2022168616A1 (ja) * | 2021-02-05 | 2022-08-11 | 株式会社アマダ | 装置判別システム、装置判別方法及び装置判別プログラム |
WO2022210005A1 (ja) * | 2021-03-31 | 2022-10-06 | Johnan株式会社 | 姿勢推定システム |
JP2023082830A (ja) * | 2021-12-03 | 2023-06-15 | Asatec株式会社 | 建築予定建物確認システム |
JP7130215B1 (ja) | 2021-12-03 | 2022-09-05 | Asatec株式会社 | 建築予定建物確認システム |
WO2023106323A1 (ja) * | 2021-12-10 | 2023-06-15 | 株式会社小松製作所 | 施工管理システム及び施工管理方法 |
WO2023228244A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7336296B2 (en) | System and method for providing position-independent pose estimation | |
JP6129981B2 (ja) | 移動***置推定装置および移動***置推定方法 | |
JP4672175B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
CN102960036B (zh) | 众包视觉和传感器勘测绘图 | |
JP5148669B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
JP2003329448A (ja) | 現場の3次元情報生成システム | |
CN106169184A (zh) | 用于确定摄像机的空间特性的方法及*** | |
EP3818741A1 (en) | Method, apparatus and computer program for performing three dimensional radio model construction | |
JP2013539872A (ja) | マルチユーザ拡張現実におけるオンライン参照生成および追跡 | |
CN103959307A (zh) | 从灰度图像中检测和描述特征的方法 | |
US20090303348A1 (en) | Metadata adding apparatus and metadata adding method | |
WO2011043275A1 (ja) | 3次元データ作成方法及び3次元データ作成装置 | |
KR20140009737A (ko) | 하이브리드 맵 기반 로봇의 위치인식방법 | |
CN102917171A (zh) | 基于像素的小目标定位方法 | |
Ruotsalainen et al. | Heading change detection for indoor navigation with a smartphone camera | |
CN104700355A (zh) | 室内二维平面图的生成方法、装置和*** | |
Snidaro et al. | Automatic camera selection and fusion for outdoor surveillance under changing weather conditions | |
JP2003333590A (ja) | 現場の画像生成システム | |
KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
JP2881193B1 (ja) | 3次元物体認識装置および方法 | |
CN110268438B (zh) | 图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法 | |
JP2017182564A (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
Liu et al. | A low-cost and scalable framework to build large-scale localization benchmark for augmented reality | |
JP7437930B2 (ja) | 移動体及び撮像システム | |
Haala et al. | Pedestrian mobile mapping system for indoor environments based on MEMS IMU and range camera |