JP2004192076A - 画像生成装置 - Google Patents
画像生成装置 Download PDFInfo
- Publication number
- JP2004192076A JP2004192076A JP2002356090A JP2002356090A JP2004192076A JP 2004192076 A JP2004192076 A JP 2004192076A JP 2002356090 A JP2002356090 A JP 2002356090A JP 2002356090 A JP2002356090 A JP 2002356090A JP 2004192076 A JP2004192076 A JP 2004192076A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving body
- distance
- image generation
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 20
- 238000000926 separation method Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 239000003381 stabilizer Substances 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 abstract description 10
- 235000012489 doughnuts Nutrition 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 241000282412 Homo Species 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】所定方向に移動可能して当該移動領域を総合した領域画像Aを生成する移動体11と、この移動体11に設けられるとともに、周囲の視野を略同時に撮像してリング状の原画像Tを得る全周撮像器16とを備えて探索監視装置10が構成されている。移動体11には、原画像Tを略短冊状のパノラマ画像Pに展開する画像展開手段35と、移動体が移動した領域のパノラマ画像Pを総合して領域画像Aを生成する領域画像生成手段36とが設けられている。この領域画像生成手段36では、移動体11の速度に応じた幅Wのパノラマ画像Pを所定時間毎に収集し、これら各パノラマ画像Pを経時的に繋ぎ合わせる処理が行われる。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、画像生成装置に係り、更に詳しくは、人間が容易に直視することのできない空間等の様子、及び当該空間内に存在する人や物等の状況を正確に把握するのに有用な画像生成装置に関する。
【0002】
【従来の技術】
従来、大地震で倒壊の可能性のある家屋内の被災者発見、火災等で人間が侵入できない場所での生存者発見、又は、原子炉内等の人間が容易に入れない場所での機器点検時には、CCDカメラを搭載した無線操縦の移動体を進入させ、CCDカメラからの映像を外部で確認することで,遭難者の救出プランの策定や,機器の点検が実施されている。(例えば、特許文献1参照)
【0003】
【特許文献1】
特開2002−200990号公報
【0004】
【発明が解決しようとする課題】
しかしながら、前記従来技術では、リアルタイムのカメラ映像のみが得られるに過ぎず、移動体が進入する内部の状況が複雑な場合に、対象物とカメラアングル如何では、対象物等の識別や機器の点検が困難な場合がある。また、例えば、被災者を画像上で確認できても、その位置までは特定できないばかりか、その周囲の環境(例えば,天井落下の危険性,障害物の有無)の危険度に関する判断が固定カメラの瞬時映像からでは行い難いという問題がある。更に、救出のための階段や穴等をカメラで捕らえることができても、階段や穴等と被災者との位置関係が掴み難いため、救出プラン策定が行い難いという問題がある。また、カメラの映像からでは、当該カメラと被災者や点検対象機器等の対象物との離間距離が不明であり、この離間距離を簡単に把握できる装置の出現も要望されているところである。
【0005】
【発明の目的】
本発明は、以上の問題点に着目して案出されたものであり、その目的は、人間が容易に直視することのできない空間等の様子や当該空間内に存在する人、物等対象物の状況を正確に把握するのに有用な画像を得ることができる画像生成装置を提供することにある。
【0006】
また、本発明の他の目的は、カメラ等の撮像手段によって撮像された対象物と撮像手段との離間距離を画像上で簡単に把握することができる画像生成装置を提供することにある。
【0007】
【課題を解決するための手段】
前記目的を達成するため、本発明は、所定方向に移動可能な移動体と、この移動体に設けられるとともに、周囲の視野を略同時に撮像してリング状の原画像を得る撮像手段と、前記原画像を略短冊状のパノラマ画像に展開する画像展開手段と、前記移動体が移動した領域のパノラマ画像を総合した領域画像を生成する領域画像生成手段とを備え、
前記領域画像生成手段は、前記移動体の速度に応じた幅のパノラマ画像を所定時間毎に収集し、これら各パノラマ画像を経時的に繋ぎ合わることで、前記領域画像を生成する、という構成を採っている。このような構成によれば、移動体の移動領域のパノラマ画像を総合した領域画像が形成されるため、移動体が移動した空間の様子や当該空間内に存在する人や物の状況を一連の画像を用いて正確に把握することができる。従って、空間の状況が複雑であっても、空間内の人や物の識別や機器の点検等を容易に行うことができる他、被災者と、危険物及び救出のための階段、穴等との相対位置や相対姿勢が掴み易くなり、被災者の救出プランの策定を容易に行うことも可能となる。
【0008】
本発明における領域画像生成手段は、前記各パノラマ画像が略一定の向きで直線方向に繋ぎ合わされてなる帯状領域画像が生成される移動体基準画像生成部を備える、という構成を採っている。このように構成することで、比較的簡単な画像処理で領域画像を形成することができる。
【0009】
また、前記移動体の速度を検出する速度検出手段と、前記移動体の方位角及び/又は姿勢変位角を検出する角度検出手段とを備え、
前記領域画像生成手段は、方位が考慮された地図的領域画像が生成される方位基準画像生成部を備え、当該方位基準画像生成部は、前記速度検出手段及び角度検出手段の検出値に基づいて、各パノラマ画像が所定の方位を基準として繋ぎ合わされることで、前記地図的領域画像を生成する、という構成を併用できる。このような構成により、領域画像に映し出された対象物等の方位や、移動体の移動距離等が簡単に分かり、対象物等の探索や移動体の現在位置の特定等を容易に行うことができる。また、被災者や機器の周囲の環境の危険性、例えば、天井のコンクリートのひび割れ、天井落下の危険性、床面の穴や段差、床や壁面の障害物の有無等が地図に対応して表示されることになり、これら危険性のある場所や部位等を地図上で特定することができる。
【0010】
ここにおいて、前記速度検出手段は、所定の直交三軸方向の速度をそれぞれ検出可能に設けられる一方、前記角度検出手段は、前記直交三軸回りの回転角をそれぞれ検出可能に設けられ、
前記方位基準画像生成部は、前記速度検出手段及び角度検出手段からの検出値に基づいて、前記地図的領域画像を三次元的に生成する、という構成を採ることが好ましい。これにより、移動体が天地方向に移動する場合においても、移動体の移動領域の周囲の状況、対象物等の方位、移動体の移動距離、及び、移動体の現在位置等を正確に把握することができる。
【0011】
ここで、前記方位基準画像生成部は、前記移動体の移動軌跡を算出可能に設けられる、という構成を併用することができる。このような構成によれば、移動体の移動ルートを地図上で簡単に把握することが可能となる。
【0012】
また、前記方位基準画像生成部には、前記移動体の移動による画像のブレを補正するスタビライザー機能が設けられる、という構成を採るとよい。これにより、移動体の移動時に撮像手段に揺れが生じても、当該揺れによる画像のブレが補正され、より見易い領域画像を提供することができる。
【0013】
更に、前記移動体と所定の対象物との離間距離が反映された距離画像を生成する距離画像生成手段を更に備え、
前記距離画像生成手段は、前記移動体の移動による前記原画像の視差から算出された離間距離に基づいて前記距離画像を生成する、という構成も併せて採用することができる。このような構成によれば、カメラ等の撮像手段によって撮像された対象物と撮像手段との離間距離を画像上で簡単に把握することができ、移動体の移動時における障害物の回避、移動体の速度調整や進路決定等を難なく行うことができる。
【0014】
ここにおいて、前記距離画像生成手段は、前記離間距離に応じて異なる色彩が施された距離画像を生成する、という構成を採用とするとよい。これにより、対象物に対する遠近関係を視覚的に早く把握することができ、移動体の操作性を一層高めることができる。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【0016】
[第1実施例]
図1には、本実施例に係る画像生成装置としての探索監視装置の概略構成図が示されている。この図において、探索監視装置10は、人間が入れない場所等を移動しながら周囲を撮像し、当該移動領域を総合した領域画像を生成する装置である。この探索監視装置10は、所定方向に移動して前記領域画像を生成する移動体11と、この移動体11の移動を遠隔操作するための移動操作端末12と、移動体11と別個に設けられるとともに、当該移動体11からの領域画像が表示される表示手段14とを備えて構成されている。
【0017】
前記移動体11は、前方及び周囲の視野を略同時に撮像可能な撮像手段としての全周撮像器(ODV:Omni−Directional Vision)16と、この全周撮像器16の後方(図1中左方)に連なるとともに、各種センサが格納されたセンサユニット(IMU:Inertial Measurement Unit)17と、これら全周撮像器16及びセンサユニット17からの各種データに基づき、コンピュータを用いて所定の演算処理等を行うことにより前記領域画像を生成する画像処理装置18と、これら各装置16〜18が搭載されるとともに、キャタビラー等からなる移動機構20が設けられたプラットフォーム21と、前記移動操作端末12からの指令に基づいて移動機構20を駆動させる駆動装置22とを備えて構成されている。
【0018】
前記全周撮像器16は、図2に示されるように、略半球状の外観をなす本体24と、この本体24の外周部分に周方向に沿って多数設けられて図示しない電源により発光するLED等の発光体25とを備えている。
【0019】
前記本体24は、本出願人により既提案されている特開2002−325246号公報等に記載された構造が採用され、その前方(図1中右方)と側方略全周(側方約360度)とを略同時に撮像可能となっている。すなわち、本体24は、図3に示されるように、略中央に穴27が形成された凸状の主鏡28と、当該主鏡28を覆うとともに、外からの光が透過可能となる略半球状のドーム29と、このドーム29の頂部29Aに固定された凸状の副鏡30と、主鏡28の穴27の裏側(図3中左方)に相対配置されるCCDカメラ等の撮像部31とを備えている。この本体24は、図3中二点鎖線で示されるように、その前方からの光が直接、撮像部31に入射される一方、側方からの光が主鏡28、副鏡30の順で反射されて撮像部31に入射されるようになっている。この結果、図4に示される円形の原画像Tが得られるようになっている。この原画像Tは、側方略全周の画像を表すリング状のドーナツ画像Dと、このドーナツ画像Dの内側に位置するとともに、前方の画像を表す中央画像Cとにより構成されている。
【0020】
前記発光体25は、全周撮像器16の周辺が所定以下の明るさになったときに発光することで、暗所での本体24による撮像を可能にしている。この場合、特に限定されるものではないが、全周撮像器16が存在する場所の明るさ等に応じて自動若しくは手動でON−OFFできるように構成し、加えて、発光体25の照度等を調整できる構造としてもよい。
【0021】
なお、前記全周撮像器16としては、中央画像Cをも含めた原画像Tが得られる構造としたが、ドーナツ画像Dのみが得られるようにしてもよい。要するに、本発明は、周囲の視野を略同時に撮像してリング状の原画像Tを得ることができる限りにおいて、種々の構造の撮像手段を採用することができる。
【0022】
前記センサユニット17は、図5に示されるように、移動体11の進行方向の直線加速度を検出可能な直線加速度計33によって構成されている。
【0023】
前記画像処理装置18は、図5及び図6に示されるように、全周撮像器16で得られたドーナツ画像Dを短冊状のパノラマ画像Pに展開する画像展開手段35と、この画像展開手段35より展開されたパノラマ画像Pを繋ぎ合わせて、前記移動体11(図1参照)の移動領域を総合した一連の領域画像A(図7参照)を生成する領域画像生成手段36とを備えている。
【0024】
前記画像展開手段35は、図5に示されるように、全周撮像器16で得られたドーナツ画像Dに係るデータをデジタル変換する公知のフレームグラバ38と、このフレームグラバ38で変換されたデジタルデータ(例えば、ビットマップデータ)に対して所定の演算処理をすることで前記パノラマ画像Pを生成する処理部39とを備えて構成されている。
【0025】
処理部39は、前記特開2002−325246号公報において本出願人が既に提案したアルゴリズムを用いて、歪んだドーナツ画像Dから歪みが補正されたパノラマ画像Pに展開できるようになっている。なお、この展開アルゴリズムは、本発明の本質ではないため詳細な説明を省略する。
【0026】
前記領域画像生成手段36は、図7に示されるように、パノラマ画像Pを所定時間毎に収集し、これら各パノラマ画像Pを経時的に繋ぎ合わることで、帯状領域画像A1を生成するようになっている。すなわち、領域画像生成手段36は、図5に示されるように、前記直線加速度計33による検出値を時間で積分して移動速度を演算する積分器41と、この積分器41による演算値から全周撮像器16が基準となる帯状領域画像A1を生成する移動体基準画像生成部42とにより構成されている。この移動体基準画像生成部42は、単位時間毎に撮像されたパノラマ画像Pを略一定の向きで直線方向(図7中左右方向)に経時的に繋ぎ合わせることで、一連の帯状領域画像A1を生成するようになっている。つまり、ここでは、図7に示されるように、パノラマ画像Pの長寸側の辺同士が経時的に接合され、方形状の帯状領域画像A1が生成されることになる。この際、各パノラマ画像Pの短寸方向の幅Wは、積分器41で求められた移動体11の移動速度に応じて相違し、具体的には、移動体11の移動速度の増大に伴って幅Wが増大するようになっている。ここで、以上においては、直線加速度計33及び積分器41により、移動体11の速度を検出する速度検出手段を構成する。なお、この速度検出手段としては、前記構成例に限定されるものではなく、オドメータ等の他の機器を適用することもできる。
【0027】
前記表示手段14は、一若しくは二以上の液晶ディスプレイやCRTディスプレイ等により構成されており、具体的には、図5に示されるように、全周撮像器16からの原画像Tをリアルタイムで表示する第1の表示部44と、領域画像生成手段36で生成された帯状領域画像A1を表示する第2の表示部45とを備えている。
【0028】
従って、このような第1実施例によれば、第1の表示部44に表示された全周撮像器16の現在の原画像Tを見ながら、人間の入れないような場所等での移動体11の操作を簡単に行うことができる。更に、移動体11の移動領域の画像が一連の領域画像Aとして得られることになるため、人間が容易に入れないような場所等の様子やその場所に存在する対象物等を、あたかも人間が実際に見たのと略同等に把握できるという効果を得る。
【0029】
次に、本発明の前記以外の実施例について説明する。なお、以下の説明において、前述した部分と同一若しくは同等の構成部分については、同一符号を用いて説明を省略若しくは簡略にする。
【0030】
[第2実施例]
この第2実施例は、第1実施例に対し、帯状領域画像A1の他に、方位が考慮された図8の地図的領域画像A2をも生成可能としたところに特徴を有する。
【0031】
すなわち、ここでの地図的領域画像A2は、図8中北方向を上方、東方向を右方とする水平面上において、各パノラマ画像Pが、それらの中での北方向が常に同図中上を向くように、各パノラマ画像Pを適宜回転しながら繋ぎ合わされることにより形成される。従って、この地図的領域画像A2は、北基準の地図的な役割を担い、ある部分に映し出されている所定の対象物(図示省略)の位置や移動体11の出発点等からの距離の把握を可能とする。この地図的領域画像A2は、前記表示手段14の一部を構成する第3の表示部46(図9参照)で表示されるようになっている。なお、その他の第1及び第2の表示部44,45は、前記第1実施例と同様に、原画像T、帯状領域画像A1が表示されるようになっている。
【0032】
また、図9に示されるように、前記センサユニット17は、前記直線加速度計33に加え、地磁気の水平成分から移動体11のヨー方位角を検出可能な磁気方位計48を更に備えている。なお、磁気方位計48の代わりに地球の自転を検出する方式の他の方位計を適用することも可能である。
【0033】
前記領域画像生成手段36は、前記移動体基準画像生成部42及び前記積分器41に加え、当該積分器41で演算された移動体11の移動速度及び磁気方位計48で検出された方位角に基づいて、地図的領域画像A2を生成する方位基準画像生成部50を更に備えて構成されている。
【0034】
方位基準画像生成部50は、図10に示されるように、北が上方、東が右方となる地図状の北基準水平面座標系(磁北座標系)における各パノラマ画像Pの姿勢(回転角)と移動軌跡Lを求め、各パノラマ画像Pを北基準で経時的に繋ぎ合わせるようになっている。
【0035】
すなわち、方位基準画像生成部50では、図11に示されるアルゴリズムを用いて地図的領域画像A2が生成される。以下、このアルゴリズムの内容について説明する。
【0036】
先ず、前記第1実施例と同様にしてドーナツ画像Dがパノラマ画像Pに展開された後(S101)、各パノラマ画像Pは、磁気方位計48の検出値ψMAGに基づき、図12のパノラマ画像座標系P(xP(i),yP(j))から図10の磁北座標系N(xN(i),yN(j))に変換される(S102)。この際における変換式は、次の通りである。
【数1】
但し、i=1〜w(図12参照)、j=1〜h(図12参照)とする。
このようにして求められた値は、前記各パノラマ画像Pの回転角を特定するパラメータとなる。
【0037】
一方、各パノラマ画像Pの移動軌跡Lは、積分器41により演算された移動体11の直線速度ΔLPと磁気方位計48の検出値ψMAGとに基づき、次式によって求められる(S103)。
【数2】
ここで、n(n=1,2,3・・・・)は、サンプリング周期であり、L(xn,yn)は、サンプリング時の移動体11の位置を示す。
【0038】
以上の式により、各サンプルにおけるパノラマ画像Pの位置及び姿勢が特定され、それらを総合して地図的領域画像A2が生成される(S104)。
【0039】
従って、このような第2実施例によれば、前述した第1実施例の効果に加え、地図的領域画像A2も得られるため、移動体11に写し出された人や物の位置に対する外部からの正確な把握に寄与できるという効果をも得る。
【0040】
[第3実施例]
この第3実施例は、前記第2実施例に対し、前記第3の表示部46で、図13に示されるように、地図的領域画像A2及び移動体11の移動軌跡Lを三次元的に表示可能にしたところに特徴を有する。同時に、方位基準画像生成部50に、移動体11の移動による地図的領域画像A2のブレを補正するスタビライザー機能を設けたところに特徴を有する。
【0041】
ここでのセンサユニット17は、図14に示されるように、移動体11の進行方向をX軸とする直交三軸方向の移動体11の直線加速度をそれぞれ検出可能な3軸直線加速度計52と、移動体11のロール方向、ピッチ方向、及びヨー方向回りの角速度を検出可能な3軸ジャイロ53と、前記磁気方位計48とを備えて構成されている。
【0042】
また、3軸直線加速度計52で検出された各直線加速度を時間で積分して直交三軸方向の速度を演算する積分器55と、3軸ジャイロ53で検出された各角速度を時間で積分して三方向回りの回転角度を演算する積分器56とが設けられている。従って、3軸直線加速度計52と積分器55とにより、所定の直交三軸方向の移動体の速度を検出可能な速度検出手段が構成される一方、3軸ジャイロ53と積分器56とにより、前記直交三軸回りの回転角(姿勢変位角)を検出可能な角度検出手段が構成される。なお、この角度検出手段としては、ヨー方向について前記磁気方位計48を用い、他の二方向については、傾斜を検出する傾斜計等に代替させることも可能である。
【0043】
本実施例に係る方位基準画像生成部50は、前記各実施例と同様の手順で得られたパノラマ画像Pと、3軸直線加速度計52及び積分器55により得られた直交三軸方向の速度と、3軸ジャイロ53と積分器56により得られた三方向回りの回転角と、前記磁気方位計により検出された方位角とから、前記第2実施例と異なるアルゴリズムを用いることにより、前記地図的領域画像A2及び移動軌跡Lを三次元的に生成し、且つ、地図的領域画像A2のブレを補正するよう演算処理するようになっている。
【0044】
ここでのアルゴリズムにつき、図15等を用いながら以下に説明する。
【0045】
前記各実施例と同様にしてドーナツ画像Dがパノラマ画像Pに展開された後(S201)、当該パノラマ画像Pの各座標が、図12のパノラマ画像座標系P(xP(i),yP(j))から、図16の極座標系Q(θAZ_0(i),θEL_0(j))に変換される(S202)。ここでは、次の変換式が用いられる。
【数3】
但し、i=1〜w(図12参照)とする。
【数4】
但し、j=1〜h(図12参照)とする。
【0046】
そして、パノラマ画像Pの各座標が、図15及び図17に示されるように、極座標系Q(θAZ_0(i),θEL_0(j))から、直交座標系(x0,y0,z0)に変換される(S203)。ここでは、次の変換式が用いられる。
【数5】
【数6】
【数7】
ここで得られたパノラマ画像Pの各座標は、図18及び図19に示されるように、全周撮像器16(ODV)を基準としたODV基準直交座標系(x0,y0,z0)となる。
【0047】
次いで、図15に示されるように、パノラマ画像Pの各座標は、前記ODV基準直交座標系(x0,y0,z0)から、移動体11を基準とした図20の機体基準直交座標系(xP,yP,zP)に変換される(S204)。ここでは、次の変換式が用いられる。
【数8】
但し、φ0−P,θ0−P,ψ0−Pは、移動体11に対する全周撮像器16のオフセット角、つまり、ODV基準直交座標系と機体基準直交座標系とのオフセット角である。また、次式(9)〜(11)に示されるように、CX(φ)は、ロール(x)方向の回転行列であり、CY(θ)は、ピッチ(y)方向の回転行列であり、CZ(ψ)は、ヨー(z)方向の回転行列である。
【数9】
【数10】
【数11】
【0048】
そして、パノラマ画像Pの各座標は、移動体11によって動く前記機体基準直交座標系(xP,yP,zP)から、常時静止状態となる水平面基準座標系(xH,yH,zH)に変換される(S205)。ここでは、積分器56で3軸ジャイロ53の角速度を積分する(S206)ことによって得られる各方向の回転角(ロール方向φP,ピッチ方向θP,ヨー方向ψP)が用いられ、これによって、移動体11の移動によるパノラマ画像Pのブレを補正する処理が行われる。ここで、機体基準直交座標系(xP,yP,zP)から、水平面基準座標系(xH,yH,zH)への変換式は、次の通りである。
【数12】
なお、CX(φ)、CY(θ)、CZ(ψ)は、前述の式(9)〜(11)を利用して求められる。
【0049】
次に、パノラマ画像Pの各座標は、水平面基準座標系(xH,yH,zH)から、極座標系(θAZ_H(i),θEL_H(j))に変換される(S207)。ここでの変換式は、次の通りである。
【数13】
但し、xH,yHの大きさにより、図21の場合分けが行われる。
【数14】
【0050】
更に、パノラマ画像Pの各座標は、極座標系(θAZ_H(i),θEL_H(j))から、水平面基準のパノラマ画像座標系H(xH(i),yH(j))に変換される(S208)。ここでの変換式は、次の通りである。
【数15】
但し、i=1〜w(図12参照)とする。
【数16】
但し、j=1〜h(図12参照)とする。
【0051】
一方、パノラマ画像Pの移動軌跡Lは、次のようにして求められる。
【0052】
先ず、3軸直線加速度計52で検出された各方向の加速度を積分器55で積分することで、移動体の速度(ΔxP,ΔyP,ΔzP)が求められる(S209)。そして、前記機体基準直交座標系での速度(ΔxP,ΔyP,ΔzP)から、前記水平面基準座標系での速度(ΔxH,ΔyH,ΔzH)に変換される(S210)。ここでの変換式は、前述した式(12)が利用される。ここでも、前述の手順(S206)によって得られた各方向の回転角度(ロール方向φP,ピッチ方向θP,ヨー方向ψP)が用いられる。なお、CX(φ)、CY(θ)、CZ(ψ)は、前述の式(9)〜(11)を利用して求められる。
【0053】
そして、水平面基準座標系の速度(ΔxH,ΔyH)が、磁気方位計48からの検出値ψMAGに基づき、図10の磁北座標系の速度(ΔxN,ΔyN)に変換される(S211)。このときの変換式は、次の通りである。なお、ここでは、ΔzHは用いない。
【数17】
【0054】
次に、前記磁北座標系の速度(ΔxN,ΔyN)と速度ΔzHとから、次式を用いて移動体11の移動軌跡Lが求められる(S212)。
【数18】
ここで、n(n=1,2,3・・・・)は、サンプリング周期である。
【0055】
このようにして求められた移動軌跡Lは、前記第3の表示部46で、図13のように三次元的に表示される(S213)。
【0056】
また、パノラマ画像Pの各座標は、前記S208の手順で求めたパノラマ画像座標系H(xH(i),yH(j))から、前記磁北座標系に変換される(S214)。ここでは、前記S212の手順で求められた移動体11の移動軌跡Lと、磁気方位計48からの検出値ψMAGとに基づき、次式により変換される。
【数19】
但し、i=1〜w、j=1〜hとする。
【0057】
このようにして求められた北方向基準の地図的領域画像A2は、天地方向(Z軸方向)の位置(高さ・深さ位置)毎に、第3の表示部46で表示可能となる(S214)。
【0058】
従って、このような第3実施例によれば、前述した効果に加え、移動体11が天地方向に移動したときでも、その周囲の状況をより確実に把握することができるという効果を得る。
【0059】
また、方位基準画像生成部50に、移動体11の移動に伴うパノラマ画像Pのブレを補正するスタビライザー機能が設けられているため、例えば、瓦礫の上を移動体11が走行する場合等において、当該移動体11の揺れにより生じるパノラマ画像Pのブレが補正されることになり、地図的領域画像A2を一層見易くできるという効果をも得る。
【0060】
なお、第3実施例の方位基準画像生成部50に対し、スタビライザー機能を設けないようにすることも可能である。この場合は、積分器56で演算された角度変位(φP、θP、ψP)を考慮せずに、第2実施例と同様にしてパノラマ座標Pの座標変換が行われる。
【0061】
また、前記第2及び第3実施例では、北基準の地図的領域画像A2を生成できるようにしたが、本発明はこれに限らず、同様のアルゴリズムで、他の方角や方向等を基準とした地図的領域画像A2を生成するようにしてもよい。
【0062】
[第4実施例]
この第4実施例に係る探索監視装置60は、図22に示されるように、前記第1実施例の構成に加え、移動体11から所定の対象物(図示省略)までの距離が反映された距離画像を生成する距離画像生成手段62を更に備えたところに特徴を有する。なお、ここで生成された距離画像は、表示手段14の第3の表示部64で表示される。
【0063】
前記距離画像生成手段62は、図22及び図23に示されるように、距離画像を生成する際に移動体11の移動を指令する距離画像指令端末66と、当該距離画像指令端末66からの信号と前記移動指令端末12からの信号を選択的に切り替える切替部67と、フレームグラバ38からのドーナツ画像Dが記憶される画像メモリ69と、撮像タイミングの相違する二枚のドーナツ画像Dを対比することで、所定の距離画像を生成する距離画像生成部70と、これら画像メモリ69及び距離画像生成部70を指令する撮像タイミング発生部71とを備えて構成されている。
【0064】
なお、特に限定されるものではないが、本実施例では、距離画像指令端末66、切替部67、及び撮像タイミング発生部71が移動体11と別個に設けられる一方、画像メモリ69及び距離画像生成部70が移動体11の画像処理装置18に設けられている。ここで、切替部67及び撮像タイミング発生部71を、移動体11に設けてもよいし、逆に、画像メモリ69及び距離画像生成部70を、移動体11と別個に設けてもよい。
【0065】
前記距離画像指令端末66は、所定の操作を行うと、切替部67が切り替わって、移動体11を直進させる指令を駆動装置22に付与するようになっている。
【0066】
前記距離画像生成部70は、移動体11の移動により異なる角度から撮像された二つのドーナツ画像Dに対し、それぞれ写った対象物の各画素数の差である視差から、移動体11と対象物との間の最短離間距離(以下、単に、「離間距離」と称する)を算出し、当該離間距離の大きさに応じて、前記対象物の色彩を人工的に変えた距離画像を生成できるようになっている。ここで、前記離間距離の算出は、前記視差の逆数に所定の定数を乗じることにより求められる。また、距離画像の生成は、距離毎に定められた色彩から、算出された離間距離に対応する色彩を選択し、当該色彩を、前記対象物が映った画像に施す処理が行われるようになっている。なお、前記対象物が映った画像に距離を併記する処理を行ってもよい。
【0067】
前記撮像タイミング発生部71は、距離画像指令端末66の操作が行われたときに、その直後のドーナツ画像Dを記憶するように画像メモリ69に指令するとともに、距離画像指令端末66の操作が行われてから一定時間後のドーナツ画像Dを取り込むように距離画像生成部70に指令する。
【0068】
次に、前記距離画像生成手段62による処理手順を説明する。
【0069】
距離画像指令端末66の操作が行われると、移動体11が、一定時間直進する。この際、移動体11の移動直後に全周撮像器16で撮像された先のドーナツ画像Dが、フレームグラバ38から画像メモリ69に記憶される。その後、所定時間経過し、移動体11が更に直進した状態で全周撮像器16に撮像された後のドーナツ画像Dが、フレームグラバ38から距離画像生成部70に取り込まれる。すると、距離画像生成部70では、画像メモリ69から先のドーナツ画像Dが取り込まれ、後のドーナツ画像Dとともに、それらに写った所定の対象物の画素数を計測して視差を算出する。そして、当該視差に基づいて前記離間距離が求められ、更に、前記対象物に所定の色彩が人工的に施された距離画像が生成されることになる。
【0070】
従って、このような第4実施例によれば、前記第1実施例の効果に加え、対象物までの距離を距離画像で確認することができ、移動体11の操作上一層有用になる。
【0071】
なお、距離画像生成手段62は、第2及び第3実施例の構成に対しても、同様に付加することができる。
【0072】
また、前記各実施例におけるアルゴリズムや処理手順、及び装置各部の構成は、前記各実施例に限定されるものではなく、実質的に同様の結果、作用、効果等が得られる限りにおいて、種々の変更が可能である。
【0073】
更に、前記各実施例では、画像処理装置18を移動体11に設けたが、本発明はこれに限らず、画像処理装置18の一部若しくは全体の構成を移動体11と分離配置することも可能である。
【0074】
また、前記各実施例では、人間の入れない場所等の状況を把握する探索監視装置に本発明を適用したが、本発明はこれに限らず、他の用途の画像生成装置にも適用することができる。
【0075】
【発明の効果】
以上説明したように、本発明によれば、あたかも現場を直視したかのような画像を得ることができ、人間が容易に直視できない空間等の様子や当該空間内に存在する人や物等の対象物の状況を正確に把握することができる。
【0076】
また、移動体と対象物との離間距離を画像から簡単に把握することができ、当該離間距離と実際の画像とにより、移動体の操作を一層楽に行うことができる。
【図面の簡単な説明】
【図1】第1実施例に係る探索監視装置の概略構成図。
【図2】全周撮像器及びセンサユニットの概略斜視図。
【図3】全周撮像器の概略断面図。
【図4】原画像の概念図。
【図5】第1実施例に係る画像処理装置のシステム構成図。
【図6】ドーナツ画像からパノラマ画像への展開を説明するための概念図。
【図7】帯状領域画像の概念図。
【図8】地図的領域画像の概念図。
【図9】第2実施例に係る画像処理装置のシステム構成図。
【図10】北基準水平面座標系を説明するための図。
【図11】第2実施例の方位基準画像生成部で適用されるアルゴリズムを説明するためのチャート図。
【図12】パノラマ画像座標系を説明するための図。
【図13】第3実施例の方位基準画像生成部で得られる三次元的な地図的領域画像及び移動軌跡の表示態様を示す概念図。
【図14】第3実施例に係る画像処理装置のシステム構成図。
【図15】第3実施例の方位基準画像生成部で適用されるアルゴリズムを説明するためのチャート図。
【図16】パノラマ画像極座標系を説明するための図。
【図17】極座標−直交座標変換を説明するための図。
【図18】ODV基準直交座標系と機体基準直交座標系との関係を示す斜視図。
【図19】ODV基準極座標系を説明するための斜視図。
【図20】機体基準直交座標系を説明するための斜視図。
【図21】直交座標から極座標への変換の際の場合分けに用いられる図表。
【図22】第4実施例に係る探索監視装置のシステム構成図。
【図23】第4実施例に係る探索監視装置の概略構成図。
【符号の説明】
10 探索監視装置(画像生成装置)
11 移動体
16 全周撮像器(撮像手段)
17 センサユニット
18 画像処理装置
33 直線加速度計(速度検出手段)
35 画像展開手段
36 領域画像生成手段
41 積分器(速度検出手段)
42 移動体基準画像生成部
48 磁気方位計
50 方位基準画像生成部
52 三軸直線加速度計(速度検出手段)
53 三軸ジャイロ(角度検出手段)
55 積分器(速度検出手段)
56 積分器(角度検出手段)
60 探索監視装置(画像生成装置)
62 距離画像生成手段
A 領域画像
A1 帯状領域画像
A2 地図的領域画像
D ドーナツ画像
L 移動軌跡
P パノラマ画像
T 原画像
W 幅
Claims (8)
- 所定方向に移動可能な移動体と、この移動体に設けられるとともに、周囲の視野を略同時に撮像してリング状の原画像を得る撮像手段と、前記原画像を略短冊状のパノラマ画像に展開する画像展開手段と、前記移動体が移動した領域のパノラマ画像を総合した領域画像を生成する領域画像生成手段とを備え、
前記領域画像生成手段は、前記移動体の速度に応じた幅のパノラマ画像を所定時間毎に収集し、これら各パノラマ画像を経時的に繋ぎ合わることで、前記領域画像を生成することを特徴とする画像生成装置。 - 前記領域画像生成手段は、前記各パノラマ画像が略一定の向きで直線方向に繋ぎ合わされてなる帯状領域画像が生成される移動体基準画像生成部を備えたことを特徴とする請求項1記載の画像生成装置。
- 前記移動体の速度を検出する速度検出手段と、前記移動体の方位角及び/又は姿勢変位角を検出する角度検出手段とを備え、
前記領域画像生成手段は、方位が考慮された地図的領域画像が生成される方位基準画像生成部を備え、当該方位基準画像生成部は、前記速度検出手段及び角度検出手段の検出値に基づいて、各パノラマ画像が所定の方位を基準として繋ぎ合わされることで、前記地図的領域画像を生成することを特徴とする請求項1又は2記載の画像生成装置。 - 前記速度検出手段は、所定の直交三軸方向の速度をそれぞれ検出可能に設けられる一方、前記角度検出手段は、前記直交三軸回りの回転角をそれぞれ検出可能に設けられ、
前記方位基準画像生成部は、前記速度検出手段及び角度検出手段からの検出値に基づいて、前記地図的領域画像を三次元的に生成することを特徴とする請求項3記載の画像生成装置。 - 前記方位基準画像生成部は、前記移動体の移動軌跡を算出可能に設けられていることを特徴とする請求項4記載の画像生成装置。
- 前記方位基準画像生成部には、前記移動体の移動による画像のブレを補正するスタビライザー機能が設けられていることを特徴とする請求項4又は5記載の画像生成装置。
- 前記移動体と所定の対象物との離間距離が反映された距離画像を生成する距離画像生成手段を更に備え、
前記距離画像生成手段は、前記移動体の移動による前記原画像の視差から算出された離間距離に基づいて前記距離画像を生成することを特徴とする請求項1〜6の何れかに記載の画像生成装置。 - 前記距離画像生成手段は、前記離間距離に応じて異なる色彩が施された距離画像を生成することを特徴とする請求項7記載の画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002356090A JP4255272B2 (ja) | 2002-12-06 | 2002-12-06 | 画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002356090A JP4255272B2 (ja) | 2002-12-06 | 2002-12-06 | 画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004192076A true JP2004192076A (ja) | 2004-07-08 |
JP4255272B2 JP4255272B2 (ja) | 2009-04-15 |
Family
ID=32756515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002356090A Expired - Fee Related JP4255272B2 (ja) | 2002-12-06 | 2002-12-06 | 画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4255272B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017025485A (ja) * | 2015-07-16 | 2017-02-02 | 株式会社新日本コンサルタント | 構造物検査装置及び構造物検査方法 |
JP2017097871A (ja) * | 2012-11-21 | 2017-06-01 | タレス | 場面の3dパノラマモザイキングの方法 |
CN106953761A (zh) * | 2017-03-29 | 2017-07-14 | 杭州云纪网络科技有限公司 | 服务器备灾***及基于备灾***的处理消息的方法 |
JP2020063665A (ja) * | 2015-07-16 | 2020-04-23 | 株式会社新日本コンサルタント | 構造物検査装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0642300A (ja) * | 1992-07-24 | 1994-02-15 | Railway Technical Res Inst | トンネル検査装置 |
JPH11257953A (ja) * | 1998-03-06 | 1999-09-24 | Koa:Kk | トンネル壁面観察装置 |
JPH11259659A (ja) * | 1998-03-11 | 1999-09-24 | Hokkaido Prefecture | 移動ロボットの環境地図作成方法 |
-
2002
- 2002-12-06 JP JP2002356090A patent/JP4255272B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0642300A (ja) * | 1992-07-24 | 1994-02-15 | Railway Technical Res Inst | トンネル検査装置 |
JPH11257953A (ja) * | 1998-03-06 | 1999-09-24 | Koa:Kk | トンネル壁面観察装置 |
JPH11259659A (ja) * | 1998-03-11 | 1999-09-24 | Hokkaido Prefecture | 移動ロボットの環境地図作成方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017097871A (ja) * | 2012-11-21 | 2017-06-01 | タレス | 場面の3dパノラマモザイキングの方法 |
JP2017025485A (ja) * | 2015-07-16 | 2017-02-02 | 株式会社新日本コンサルタント | 構造物検査装置及び構造物検査方法 |
JP2020063665A (ja) * | 2015-07-16 | 2020-04-23 | 株式会社新日本コンサルタント | 構造物検査装置 |
CN106953761A (zh) * | 2017-03-29 | 2017-07-14 | 杭州云纪网络科技有限公司 | 服务器备灾***及基于备灾***的处理消息的方法 |
CN106953761B (zh) * | 2017-03-29 | 2020-03-10 | 恒生电子股份有限公司 | 服务器备灾***及基于备灾***的处理消息的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4255272B2 (ja) | 2009-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
JP6693765B2 (ja) | 飛行体追尾方法及び飛行体誘導システム | |
JP5383801B2 (ja) | 位置及び経路地図表示用の位置及び経路地図データを生成する装置及び当該データ提供方法 | |
JP2000097637A (ja) | 姿勢位置検出装置 | |
JP4422777B2 (ja) | 移動体姿勢検出装置 | |
JP5337658B2 (ja) | 広角撮像装置及び測定システム | |
JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
JP2002034055A (ja) | 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム | |
JP2016177640A (ja) | 映像監視システム | |
JP2006059202A (ja) | 撮像装置及び画像補正方法 | |
JP6583840B1 (ja) | 検査システム | |
JPWO2018211926A1 (ja) | 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム | |
KR20170094030A (ko) | 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 | |
CN113240615B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
JP5214355B2 (ja) | 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム | |
JP2017138947A (ja) | 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム | |
JP4077385B2 (ja) | 画像処理を用いたグローバル座標取得装置 | |
US20200366815A1 (en) | Environment acquisition system | |
JP2011095112A (ja) | 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム | |
JP6482855B2 (ja) | 監視システム | |
JP6482856B2 (ja) | 監視システム | |
JP4255272B2 (ja) | 画像生成装置 | |
JP2005277670A (ja) | 全方位映像作成装置、地図連動全方位映像記録・表示装置及び地図連動全方位映像利用装置 | |
JP7428461B2 (ja) | 無人航空機システムおよび飛行制御方法 | |
JP2020016663A (ja) | 検査システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090122 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090127 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |