JP2004086401A - 対象物認識装置および方法 - Google Patents
対象物認識装置および方法 Download PDFInfo
- Publication number
- JP2004086401A JP2004086401A JP2002244612A JP2002244612A JP2004086401A JP 2004086401 A JP2004086401 A JP 2004086401A JP 2002244612 A JP2002244612 A JP 2002244612A JP 2002244612 A JP2002244612 A JP 2002244612A JP 2004086401 A JP2004086401 A JP 2004086401A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- imaging
- lens
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000015654 memory Effects 0.000 abstract description 30
- 230000002093 peripheral effect Effects 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】ロボットに適用することによって、周辺の空間情報を高速で構築することができる。
【解決手段】撮像部６Ｒ、６Ｌからのディジタル映像信号がビデオインタフェース７Ｒ、７Ｌを介してバッファメモリ１０Ｒ、１０Ｌに書き込まれる。バッファメモリ１０Ｒ、１０Ｌの出力データがＪＰＥＧエンコーダ／メタデータ付加部１１Ｒ、１１Ｌに供給され、画像データがＪＰＥＧデータに変換され、メタデータ、位置情報が付加される。特徴抽出部１５Ｒ、１５Ｌでは、メモリ１４Ｒ、１４Ｌに記憶されたＪＰＥＧデータから特徴となる様々な情報が抽出される。識別演算部１７Ｒ、１７Ｌでは、識別辞書１８Ｒ、１８Ｌに登録されている様々な識別情報と抽出された情報とが照合される。空間マッピング計算部２０では、メモリ１４ＲからのＪＰＥＧデータと、メモリ１４ＬからのＪＰＥＧデータとから同一の対象物が抽出される。
【選択図】 図１
【解決手段】撮像部６Ｒ、６Ｌからのディジタル映像信号がビデオインタフェース７Ｒ、７Ｌを介してバッファメモリ１０Ｒ、１０Ｌに書き込まれる。バッファメモリ１０Ｒ、１０Ｌの出力データがＪＰＥＧエンコーダ／メタデータ付加部１１Ｒ、１１Ｌに供給され、画像データがＪＰＥＧデータに変換され、メタデータ、位置情報が付加される。特徴抽出部１５Ｒ、１５Ｌでは、メモリ１４Ｒ、１４Ｌに記憶されたＪＰＥＧデータから特徴となる様々な情報が抽出される。識別演算部１７Ｒ、１７Ｌでは、識別辞書１８Ｒ、１８Ｌに登録されている様々な識別情報と抽出された情報とが照合される。空間マッピング計算部２０では、メモリ１４ＲからのＪＰＥＧデータと、メモリ１４ＬからのＪＰＥＧデータとから同一の対象物が抽出される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、ロボット装置の視覚装置に用いて好適な対象物認識装置および方法に関する。
【０００２】
【従来の技術】
従来のロボット装置（以下、単に「ロボット」と称する）は、視覚装置としてカメラ部を備えたものが一般的である。成人並の大きさのロボットでは、腰下に存在する小人を発見し、移動時にぶつかることを回避し、ロボット自身が凶器とならないようにする必要がある。これは、通常の人間でもよく発生する生活上の事故であり、人間対人間の場合は、大きな問題とならないが、人間対ロボットの場合だと人間の安全確保のために非常に重要な問題となる。
【０００３】
また、現状のロボットの歩行速度もモータなどの駆動系の問題で人類の歩行速度並にも達していないが、モータの出力を上げ、歩行速度が上がるのは、時間の問題である。しかしながら、ロボットの視覚機能が人類以下であると、人類の代用として人間と同じ空間内でロボットが活動することに様々な困難が伴うのは、必然的な問題である。
【０００４】
【発明が解決しようとする課題】
このようなロボットが、その周囲の広角な範囲の情報を必要とするときには、もっとも明るい開放Ｆ値の焦点距離（例えば、ワイド端）にレンズ部を設定して画像を取り込んでいた。このとき、取り込まれた画像中の情報の大きさは、１画素以下になることがあるため、部分々々の画像情報が不足し、詳細な形状や位置を特定することができなかった。このように、レンズ部をワイド端にして取り込んだ画像では、満足する解像度を得ることができない問題があった。
【０００５】
そこで、詳細な情報を得るために、もっとも暗い開放Ｆ値の焦点距離（例えば、テレ端）側にレンズ部を設定して、取り込んだ画像では、詳細な形状や位置を特定することはできる。しかしながら、この場合、周囲の広角な範囲の空間情報を得ることはできず、その中の一部の空間情報しか得ることができない問題があった。このように、従来のロボットが備えているカメラは、限られた空間に対してのみ動作するものであり、その限られた空間上でのみの制御装置として使用されている。従って、視覚装置として備わっているカメラで撮影された画像に基づいて、ロボットの周囲にある物体をスムーズに捉え、空間情報を構築して、ロボットの動作制御に用いることは困難であった。
【０００６】
このようにロボットは、空間情報を持たないため、リアルタイムで情報を検出する必要があり、そのためゆっくりとした移動速度でしか移動できないか、別途センサを備える必要があった。そこで、高速に周辺画像を取り込み、且つ取り込んだ画像が詳細な形状確認ができるほどの解像度（詳細な情報）を備えたカメラ部が望まれている。
【０００７】
従って、この発明の目的は、ロボットに適用することによって、周辺の空間情報を高速で構築することができる対象物認識装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
上述した課題を達成するために請求項１に記載の発明は、映像を撮影する第１および第２の撮像手段と、サーボモータを駆動源として第１および第２の撮像手段の撮像方向を変化させる第１および第２の撮像方向可動手段とによって、周囲を撮像する撮像システムを有し、第１および第２の撮像手段から得られた第１および第２の画像データを蓄積する蓄積手段と、蓄積された第１および第２の画像データから対象物を抽出する対象物抽出手段と、抽出された対象物から対象物までの距離を算出し、算出された対象物までの距離から周囲の空間情報を構成する空間構成手段とを有することを特徴とする対象物認識装置である。
【０００９】
請求項５に記載の発明は、映像を撮影する第１および第２の撮像手段と、サーボモータを駆動源として第１および第２の撮像手段の撮像方向を変化させる第１および第２の撮像方向可動手段とによって、周囲を撮像する撮像システムを有し、第１および第２の撮像手段から得られた第１および第２の画像データを蓄積するステップと、蓄積された第１および第２の画像データから対象物を抽出するステップと、抽出された対象物から対象物までの距離を算出し、算出された対象物までの距離から周囲の空間情報を構成するステップとを有することを特徴とする対象物認識方法である。
【００１０】
この対象物認識装置をロボット装置の視覚装置として使用することによって、周囲の画像を素早く撮影することができるので、対象物までの距離を素早く算出し、素早く空間情報を構築することができる。
【００１１】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１および図２は、この発明の一実施形態のブロック図を示す。この一実施形態では、参照符号１で示す共通のコントローラバスに対して、右眼ユニット、左目ユニット、およびコンピュータの構成要素が接続されている。なお、右眼側の制御または信号処理を行うブロックには、参照符号の最後に「Ｒ」を付し、左眼側の制御または信号処理を行うブロックには、参照符号の最後に「Ｌ」を付す。
【００１２】
右眼ユニット２Ｒには、レンズ部３Ｒ、フォーカス・ズーム・アイリス制御部４Ｒ、トラッキング部５Ｒ、撮像部６Ｒ、ビデオインタフェース７Ｒ、パン部８Ｒ、およびチルト部９Ｒとから構成される。コントローラバス１を介してカメラコントローラＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２から供給される制御信号によって、制御される。なお、レンズ部３Ｒ、フォーカス・ズーム・アイリス制御部４Ｒ、トラッキング部５Ｒ、撮像部６Ｒ、およびビデオインタフェース７Ｒは右眼ユニット２Ｒのカメラ部として、パン部８Ｒおよびチルト部９Ｒ上に設置されている。
【００１３】
左眼ユニット２Ｌには、レンズ部３Ｌ、フォーカス・ズーム・アイリス制御部４Ｌ、トラッキング部５Ｌ、撮像部６Ｌ、ビデオインタフェース７Ｌ、パン部８Ｌ、およびチルト部９Ｌとから構成される。コントローラバス１を介してカメラコントローラＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２から供給される制御信号によって、制御される。なお、レンズ部３Ｌ、フォーカス・ズーム・アイリス制御部４Ｌ、トラッキング部５Ｌ、撮像部６Ｌ、およびビデオインタフェース７Ｌは右眼ユニット２Ｌのカメラ部として、パン部８Ｌおよびチルト部９Ｌ上に設置されている。
【００１４】
パン部８Ｒおよび８Ｌ並びにチルト部９Ｒおよび９Ｌは、それぞれ駆動源として例えばステッピングモータを有し、コントローラバス１を介してカメラコントローラＣＰＵ２２から供給される制御信号に応じてカメラ部をパンまたはチルトさせる。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が１８０°とされ、チルト角の最大値が５０°とされている。
【００１５】
後述するように、カメラ部の最大移動範囲内で、チルト角＝±１５°、パン角＝±５０°程度の範囲でカメラ部を移動させる。撮像中心を画角分移動させる毎に、シャッターがオンされ、例えば１／６０秒または１／３０秒の静止画像（以下、適宜「フレーム」と称する）が撮影される。すなわち、カメラ部では動画が撮影され、撮影された動画が１／６０秒または１／３０秒からなる１枚の静止画像として、後段に供給される。
【００１６】
縦方向でＭ枚（例えば８枚）、横方向でＮ枚（例えば１６枚）の合計（Ｍ×Ｎ＝８×１６＝１２８枚）のフレームが順番に撮影され、これらを圧縮する。各フレームが例えばＸＧＡ（１０２４×７６８ 画素）画像である。したがって、１２８枚のフレームは、重複部分を無視すると、（横方向が１０２４×１６＝１６，３８４画素で、縦方向が７６８×８＝６，１４４画素）の約１億画素の画像を形成する。なお、１２８枚のフレームを撮影するのに約５秒かかる。そして、この一実施形態では、隣り合うフレームの重複部分は縦横のそれぞれで１６画素とされる。
【００１７】
フォーカス・ズーム・アイリス制御部４Ｒおよび４Ｌは、コントローラバス１を介してコントローラＣＰＵ２２から供給される制御信号によって制御される。撮像部６Ｒおよび６Ｌは、固体撮像素子例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）とカメラ信号処理回路とを含む。撮像部６Ｒおよび６Ｌからのディジタル映像信号がビデオインタフェース７Ｒおよび７Ｌを介してバッファメモリ１０Ｒおよび１０Ｌに書き込まれる。
【００１８】
トラッキング部５Ｒでは、パン部８Ｒおよびチルト部９Ｒの動きに対応してレンズ部３Ｒの所定のレンズをシフトさせて、パン部８Ｒおよびチルト部９Ｒの動きが打ち消される。トラッキング部５Ｌでは、パン部８Ｌおよびチルト部９Ｌの動きに対応してレンズ部３Ｌの所定のレンズをシフトさせて、パン部８Ｌおよびチルト部９Ｌの動きが打ち消される。従って、ブレのない１／６０秒または１／３０秒の静止画像を撮影することができる。
【００１９】
バッファメモリ１０Ｒおよび１０Ｌの出力データがＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）エンコーダ／メタデータ付加部１１Ｒおよび１１Ｌに供給され、画像データがＪＰＥＧデータに変換される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【００２０】
右眼ユニット２Ｒおよび左眼ユニット２Ｌには、その位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１２Ｒおよび１２Ｌが備えられている。ＧＰＳ１２Ｒおよび１２Ｌを備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳ１２Ｒおよび１２Ｌは、コントローラバス１を介してカメラコントローラＣＰＵ２２から供給される制御信号によって制御される。
【００２１】
ＧＰＳ１２Ｒおよび１２Ｌの出力信号がメタデータ生成部１３Ｒおよび１３Ｌに供給され、ＧＰＳ１２Ｒおよび１２Ｌの測位結果に基づいた位置情報（緯度・経度、方位、高度等の情報）およびメタデータ（時刻、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）が生成される。位置情報およびメタデータがＪＰＥＧエンコーダ／メタデータ付加部１１Ｒおよび１１Ｌに供給され、ＪＰＥＧデータに対して位置情報およびメタデータが付加される。
【００２２】
メタデータおよび位置情報が付加されたＪＰＥＧデータがメモリ１４Ｒおよび１４Ｌへ記憶される。特徴抽出部１５Ｒおよび１５Ｌでは、メモリ１４Ｒおよび１４Ｌに記憶されたＪＰＥＧデータから特徴となる様々な情報が抽出される。例えば、色情報、エッジ情報、および形状などが抽出される。抽出された様々な情報は、識別部１６Ｒおよび１６Ｌへ供給される。
【００２３】
識別部１６Ｒは識別演算部１７Ｒおよび識別辞書１８Ｒから構成され、識別部１６Ｌは識別演算部１７Ｌおよび識別辞書１８Ｌから構成される。識別演算部１７Ｒおよび１７Ｌでは、識別辞書１８Ｒおよび１８Ｌに登録されている様々な識別情報と抽出された情報とが照合され、抽出された情報が３次元座標情報に置き換えられる。なお、識別辞書１８Ｒおよび１８Ｌには、例えば球、立方体、円柱、三角錐、円錐、目、鼻、口、耳などの座標情報が登録されている。このように、識別演算部１７Ｒおよび１７Ｌで識別された３次元座標情報は、メモリ１４Ｒおよび１４Ｌへ供給される。
【００２４】
メモリ１４Ｒおよび１４Ｌでは、識別部１６Ｒおよび１６Ｌから供給された３次元座標情報がＪＰＥＧデータに付加され、３次元座標情報が付加されたＪＰＥＧデータは空間情報検出部１９へ供給される。
【００２５】
空間情報検出部１９は、空間マッピング計算部２０および距離計算部２１から構成される。メモリ１４Ｒおよび１４Ｌから供給されたＪＰＥＧデータは、空間マッピング計算部２０へ供給される。空間マッピング計算部２０では、メモリ１４Ｒから得られたＪＰＥＧデータと、メモリ１４Ｌから得られたＪＰＥＧデータとから同一の対象物が抽出される。
【００２６】
距離計算部２１では、カメラ部の角度および抽出された対象物の位置によって抽出された対象物までの距離が測定される。この測定は、任意のタイミングで自動的に行うようにしても良いし、ロボット装置本体のロボット制御部２７からＩ／Ｏポート２３を介して伝達された指示に応じて行うようにしても良い。距離が測定され、空間の位置が特定された対象物は、空間情報としてロボット装置本体を中心点においた自由空間上に対応付けられ、配置される。
【００２７】
また、この自由空間上に対応付けられた対象物は、ロボット装置本体の移動に応じて相対的に移動し、移動した位置情報を記録し、空間情報を構築する手法と、ロボット装置本体を含めた絶対的な位置情報として空間情報を構築する手法とがある。そして、この空間上の位置情報はメインメモリ２４に格納される。メインメモリ２４に格納された位置情報は、Ｉ／Ｏポート２３を介してロボット制御部２７または外部からの情報の要求に対して送出される。
【００２８】
上述したように、コントローラバス１に接続されたカメラコントローラＣＰＵ２２は、カメラ部のレンズ制御（例えば、フォーカス等）、露出制御（例えば、絞り、ゲイン、電子シャッタースピード等）、白バランス制御、画質制御等を行うと共に、パン部８Ｒおよび８Ｌおよびチルト部９Ｒおよび９Ｌを制御する。
【００２９】
Ｉ／Ｏポート２３に対しては、メモリカード２５および時計２６が接続されている。メモリカード２５に対して、メインメモリ３０に蓄積されている位置情報およびメタデータが付加されたＪＰＥＧデータを書き込むことができる。また、時計２６から時刻データが得られる。
【００３０】
なお、メインメモリ２４は、ハードディスクなどから構成され、右眼ユニット２Ｒおよび左眼ユニット２Ｌで撮像され、メタデータおよび位置情報が付加されたＪＰＥＧデータ蓄積される。
【００３１】
この一実施形態では、バッファメモリ１０Ｒ、１０Ｌ、ＪＰＥＧエンコーダ／メタデータ付加部１１Ｒ、１１Ｌ、メモリ１４Ｒ、１４Ｌ、特徴抽出部１５Ｒ、１５Ｌ、識別部１６Ｒ、１６Ｌ、識別演算部１７Ｒ、１７Ｌ、識別辞書１８Ｒ、１８Ｌは、それぞれ右眼側の制御または信号処理を行うブロックおよび左眼側の制御または信号処理を行うブロックを設けているが、それぞれ１つのブロックで右眼側および左眼側の制御または信号処理を行うようにしても良い。
【００３２】
次に、図３を用いて、右眼ユニット２Ｒおよび左眼ユニット２Ｌによる撮影に関する動作の一例について説明する。なお、説明を容易とするために、右眼ユニット２Ｒのみの撮影に関する動作の一例について説明する。図３に示すように、右眼ユニット２Ｒは、パンチルタ部３２の雲台にカメラ部３１Ｒが設置され、ホームポジションから撮像方向が可変される。図３において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションは例えば（１，１）の座標のフレームを撮影する位置とされる。
【００３３】
（１，１）の座標位置のフレームを撮影すると、右眼ユニット２Ｒが下側にチルトされ、（２，１）の座標位置のフレームが撮影され、以下、順に（３，１）・・・・、（Ｍ，１）の座標位置のフレームが撮影され、次に第２列の一番上の座標位置（１，２）のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。上述したように、各フレームが他のフレームと１６画素分の重複部分を有する。
【００３４】
上述したように、各フレームが例えばＸＧＡ（１０２４画素×７６８画素）画の場合では、１２８枚のフレームからなる画像は、重複部分を無視すると、（横方向が１０２４画素×１６枚＝１６，３８４画素で、縦方向が７６８画素×８枚＝６，１４４画素）の約１億画素の画像である。従って、高精細な周辺画像を取り込むことができる。
【００３５】
図４に、７５倍の望遠レンズが右眼ユニット２Ｒに備えられている場合に、１フレームで撮影できる範囲を示す。右眼ユニット２Ｒから１００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦８．７ｍ×横１．１７ｍの範囲を撮影することができる。例えば、カメラ部３１Ｒの撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦０．８７ｃｍ×横１．１７ｃｍの範囲を約１画素で表すことができる。
【００３６】
カメラユニット３から２００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦１．７４ｍ×横２．３４ｍの範囲を撮影することができる。例えば、カメラ部３１Ｒの撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦１．７４ｃｍ×横２．３４ｃｍの範囲を１画素で表すことができる。
【００３７】
カメラユニット３から５００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦４．３６ｍ×横５．８４ｍの範囲を撮影することができる。例えば、カメラ部３１Ｒの撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦４．３６ｃｍ×横５．８４ｃｍの範囲を１画素で表すことができる。
【００３８】
図５および図６を参照して取得した画像データをメインメモリ２４等に蓄積する場合のデータ管理方法を説明する。図５に示すように、所定時間間隔で、（Ｍ×Ｎ）枚のフレームの画像が撮影される。撮影された画像は、圧縮されてメインメモリ２４に蓄積される。このとき、Ｍ行Ｎ列によって各フレームの位置が規定される。例えば（１，１）の位置アドレスによって、右端の最も上のフレームが規定される。
【００３９】
各フレームは、図６Ａに示すように、この位置アドレスと記録時の時間情報とをファイル名としてメインメモリ２４に蓄積される。このとき時間情報は、年月日時分秒で構成される。したがって、各フレームのファイル名は、（年月日時分秒、位置アドレス）となる。
【００４０】
さらに、図６Ｂに示すように、（Ｍ×Ｎ）枚のフレームで全体的な１枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、（１，１）の位置アドレスを有するフレームのファイル名（すなわち、年月日時分秒、位置アドレス）と同一のデータを持つことで、当該（Ｍ×Ｎ）枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部２９で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部３１Ｒのパラメータ（倍率、フォーカス値、アイリス値等）等のメタデータ情報とをディレクションファイルが有する。
【００４１】
図７を参照して、右眼ユニット２Ｒの動作の実施形態を説明する。この図７は、右眼ユニット２Ｒを真上から見たときの、カメラ部３１Ｒの平面断面図とする。またここでは、説明を容易とするために、カメラ部３１Ｒには、レンズ部３Ｒおよび撮像部６Ｒのみを図示し、このカメラ部３１Ｒを単にパンさせる。
【００４２】
カメラ部３１Ｒのパンの中心は、基準円２０２で示す中心位置とする。この一例では、説明を容易とするため撮像部６Ｒにおいて被写体の像を結像する面の中心と、基準円２０２の中心とがずれているが、それぞれが一致するように配置しても何ら問題はない。
【００４３】
カメラ部３１Ｒの光線の中心を基準線２２０で示し、撮影しようとする被写体の撮像中心を撮像中心線２１０で示す。レンズ部２Ｒは、レンズ２０３、２０４、２０６、２０７、およびシフトレンズ（光路可変素子）２０５から構成される。一例として、レンズ２０３、２０４、および２０６は、その屈折率が１より大きい凸レンズであり、シフトレンズ２０５およびレンズ２０７は、その屈折率が１より小さい凸レンズである。
【００４４】
なお、このシフトレンズ２０５は、一例としてレンズと、そのレンズを水平方向に移動させるリニアモータと、レンズを垂直方向に移動させるリニアモータとから構成される。そして、この実施形態では、レンズ自身のことをシフトレンズと称する。
【００４５】
この図７では、一例として図７Ａ、図７Ｂ、そして図７Ｃの順番にパンする。まず、図７Ａに示すように、基準線２２０と撮像中心線２１０とが角度θａとなるときに、被写体の像は光路２１１ａを経由してレンズ２０３に入射される。
【００４６】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ａを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ａを経由して被写体の像を撮像部６Ｒに供給するために位置２０５ａへ移動しているシフトレンズ２０５に入射される。
【００４７】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ａを経由してレンズ２０６に入射される。このとき、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応してシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ａにシフトレンズ２０５を移動させる。
【００４８】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部６Ｒに入射される。
【００４９】
このように、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応した位置２０５ａにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ａを経由して、撮像部６Ｒに被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【００５０】
そして、図７Ｂに示すように、基準線２２０と撮像中心線２１０とが一致するときに、被写体からの像は光路２１１ｂを経由してレンズ２０３に入射される。
【００５１】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ｂを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ｂを経由して被写体の像を撮像部６Ｒに供給するために位置２０５ｂへ移動しているシフトレンズ２０５に入射される。
【００５２】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ｂを経由してレンズ２０６に入射される。このとき、シフトレンズ２０５のレンズの中心と、基準線２２０と、撮像中心線２１０とが一致するようにシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ｂにシフトレンズ２０５を移動させる。
【００５３】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部６Ｒに入射される。
【００５４】
このように、シフトレンズ２０５の中心と、基準線２２０と、撮像中心線２１０とが一致する位置２０５ｂにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ｂを経由して、撮像部６Ｒに被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【００５５】
そして、図７Ｃに示すように、基準線２２０と撮像中心線２１０とが角度−θｃとなるときに、被写体からの像は光路２１１ｃを経由してレンズ２０３に入射される。
【００５６】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ｃを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ｃを経由して被写体の像を撮像部６Ｒに供給するために位置２０５ｃへ移動しているシフトレンズ２０５に入射される。
【００５７】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ｃを経由してレンズ２０６に入射される。このとき、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応しててシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ｃにシフトレンズ２０５を移動させる。
【００５８】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部６Ｒに入射される。
【００５９】
このように、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応した位置２０５ｃにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ｃを経由して、撮像部６Ｒに被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【００６０】
この図７に示すようにカメラ部３１Ｒの移動する方向と逆方向になるようにシフトレンズ２０５を移動させることによって、撮像部６Ｒで露光される被写体の像を同一にすることができる。
【００６１】
この実施形態では、カメラ部３１Ｒで撮影される１画面分を移動するときのパルス数を１サイクルのパルスと称する。そして、カメラ部３１Ｒが移動する方向によって、ＦＷＤサイクルおよびＲＥＶサイクルの２種類のサイクルがある。この実施形態では、ＦＷＤサイクルのときにシフトレンズ２０５が待機している位置を図７Ａに示す位置２０５ａとする。
【００６２】
また、ＦＷＤサイクルの時にシフトレンズ２０５が、シフトレンズの位置２０５ａからシフトレンズの位置２０５ｃ（図７Ｃ参照）へ移動する。このとき、一例としてカメラ部３１Ｒを移動させるサーボモータは時間によって制御される。また、カメラ部３１Ｒを移動させるモータにステッピングモータが使用されている場合、出力されるパルス数が計数され、制御される。
【００６３】
なお、ＲＥＶサイクルの時には、ＦＷＤサイクルの時の逆の制御となるようにシフトレンズ２０５が制御される。例えば、カメラ部３１Ｒが図７Ｃに示すように、基準線２２０と撮像中心線２１０とが角度−θｃに到達後、１サイクルが終了した時点で、シフトレンズ２０５は位置２０５ａになるように、シフトレンズ２０５を移動させるリニアモータに供給する電圧を瞬時に切り替える。
【００６４】
シフトレンズ２０５が位置２０５ａから位置２０５ｃへ動き出した後、シフトレンズ２０５が位置２０５ｂ（図７Ｂ参照）となるときに、撮像部６Ｒに対してシャッタパルスが出力される。このとき、一例としてシフトレンズ２０５を水平方向に移動させるリニアモータの駆動電圧によって、シャッタパルスを出力するタイミングが生成される。
【００６５】
このように、撮像部６Ｒが恰も静止状態となるようにシフトレンズ２０５を制御するためには、カメラ部３１Ｒを動かす３つのパラメータを制御する必要がある。第１のパラメータは、カメラ部３１Ｒの１サイクルが始まってからシフトレンズ２０５が位置２０５ａから位置２０５ｃへ動き始める時間である。第２のパラメータは、カメラ部３１Ｒが位置２０５ａから位置２０５ｃへ移動するためにかかる時間である。第３のパラメータは、シフトレンズ２０５が位置２０５ｂとなるときのリニアモータに供給する電圧値である。一般的には、カメラ部３１Ｒを移動させる速度と、シフトレンズ２０５を移動させる速度とが等しくなるように制御される。
【００６６】
また、カメラ部３１Ｒのパンの速度と、画像の取り込みに必要な光量とによって、シフトレンズ２０５を移動させる速度が変化する。
【００６７】
また、この図７Ａ、図７Ｂ、および図７Ｃから、光路２１４ａ、２１４ｂ、および２１４ｃは、基準線２２０と撮像中心線２１０との角度に対応して位置２０５ａ、２０５ｂ、および２０５ｃへ移動されたシフトレンズ２０５によって、レンズ２０６に常に一定の被写体の像を入射させることができる。例えば、基準線２２０と撮像中心線２１０との角度が求められると、その角度に応じた電圧がシフトレンズ２０５の位置を移動させる水平方向のリニアモータに印加される。リニアモータに電圧が印加され、所定の位置へ移動したシフトレンズ２０５によって、レンズ２０６に一定の被写体の像を入射させる光路２１４が形成される。
【００６８】
また、カメラ部３１Ｒが一定速度でパンしているので、そのパンの速度に合わせて、シフトレンズ２０５の位置を移動するようにしても良い。例えば、図８に示すシフトレンズ２０５の水平方向のリニアモータに印加される電圧を、カメラ部３１Ｒの速度対応させて、繰り返すようにしても良い。
【００６９】
この図８に示す電圧Ｖａがシフトレンズ２０５を移動させる水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ａに移動する。電圧Ｖｂがシフトレンズ２０５を移動させる水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ｂに移動する。電圧Ｖｃがシフトレンズ２０５の水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ｃに移動する。従って、この図８に示す電圧の方向は、シフトレンズ２０５の水平方向の位置を示す。なお、この図８では、電圧Ｖｂを０Ｖとしているが、電圧Ｖｃを０Ｖとするようにして、シフトレンズ２０５を制御しても良いし、電圧Ｖａを０Ｖとするようにして、シフトレンズ２０５を制御しても良い。
【００７０】
図９にカメラ部３１Ｒを移動させながら、３つの撮像範囲を撮影するときの概略図を示す。この図９では、一例としてそれぞれ隣り合う座標位置のフレーム（１，１）、（１，２）、（１，３）が順次取り込まれる。
【００７１】
この図９に示すように、図７Ａに示すカメラ部３１Ｒの位置のときの光路２１１ａから図７Ｃに示すカメラ部３１Ｒの位置のときの光路２１１ｃまでの期間であれば、同一の被写体の像を撮像部６Ｒに入射させることができる。従って、撮像部６Ｒに同一の被写体の像を入射させることができる期間であれば、どのようなタイミングでもフレームを取り込むことができる。このとき、基準円２０２を中心としてカメラ部３１Ｒは回転し、撮像する方向を変える。
【００７２】
カメラ部３１Ｒを一定速度でパンさせながら、例えば（１，１）の座標位置のフレームに続いて、（１，２）の座標位置のフレーム、そして（１，３）の隣り合う座標位置のフレームと連続して取り込む。そのために、カメラ部３１Ｒの回転方向に対応してシフトレンズ２０５を、例えば位置２０５ａから位置２０５ｃまで移動させる。従って、撮像部６Ｒに同一の被写体の像を入射することができるので、この図９の一例では、シフトレンズ２０５を移動させている期間に、３つのフレームを取り込むことができる。
【００７３】
また、参照符号２３１で示す隣り合うフレームとの重複部分は、上述したように、例えば縦横のそれぞれで１６画素とされる。従って、フレームの一辺の重複部分は、それぞれ８画素とされる。
【００７４】
なお、シフトレンズ２０５を移動させるリニアモータの動作が電圧Ｖａおよび／またはＶｃ付近では、完璧な線形にはならない。しかしながら、撮像部６Ｒに同一の被写体の像が入射され、露光されている期間は、シフトレンズ２０５を移動させるリニアモータが完璧な線形で動作する必要がある。そこで、リニアモータの動作の開始時では、その動作が安定していないため、動作が開始してから動作が安定するまでの一定期間、露光期間を待つ必要がある。従って、完璧な線形となる中心付近、すなわち電圧Ｖｂ、（位置２０５ｂ）を中心とした所定の範囲でフレームを取り込むことによって、より安定した画像を得ることができる。
【００７５】
図１０Ａは、パンチルタ部３２にカメラ部３１Ｒを設けた平面断面図であり、図１０Ｂは、カメラ部３１Ｒを横から見た側面断面図である。この図１０Ｂに示すように、カメラ部３１Ｒをチルトさせても、そのチルトされたカメラ部３１Ｒの方向に対応して、シフトレンズ２０５を所定の方向に移動することによって、同一の被写体の像を撮像部６Ｒに入射させることができる。
【００７６】
ここで、図１１を参照して、この右眼ユニット２Ｒおよび左眼ユニット２Ｌから対象物までの距離を測定する一例について説明する。この図１１は、右眼ユニット２Ｒのカメラ部３１Ｒおよび左眼ユニット２Ｌのカメラ部３１Ｌがそれぞれ配置された状態で真上から見たときの平面断面図とする。
【００７７】
基準円２０２Ｒおよび２０２Ｌとの間隔をＬとし、対象物２３１までの距離をＸとする。このとき、カメラ部３１Ｒおよび３１Ｌで対象部２３１を撮像すると、カメラ部３１Ｒは角度θＲで傾き、カメラ部３１Ｌは角度θＬで傾く。従って、上述の距離計算部２１では、下記の式で対象物２３１までの距離Ｘが求められる。
Ｘ ＝ Ｌ ×（ ｓｉｎ θＲ× ｓｉｎ θＬ ）／ｓｉｎ（ θＬ−θＲ ）
【００７８】
そして、図１２に示すように、対となるカメラ部３１Ｒおよび３１Ｌで周辺画像が取り込まれる。このとき、取り込んだ方向および角度などの情報も同時に取り込むことによって、周辺に存在する対象物までの距離を任意の時間経過した後であっても画像データから求めることが可能となる。すなわち、画像を取り込んだときに常に対象物までの距離を計算しなくても、必要になった時点で、取り込んだ画像データが蓄積されているメインメモリ２４から必要な画像データを読み出すことによって、自分の居る場所と対象物までの距離を空間情報として構築することが可能となる。
【００７９】
また、図１３に示すように、複数のフォーカスで周辺画像を取り込むようにしても良い。この図１３に示す一例では、レンズ部３Ｒおよび３Ｌで設定された無限遠に焦点が設定されたフォーカスを「フォーカスＡ」と称し、フォーカスＡより近くに焦点が設定されたフォーカスを「フォーカスＢ」と称する。フォーカスＡおよびＢで取り込まれた画像データは、メインメモリ２４に蓄積される。そして、対象物に近いフォーカスで取り込まれた画像データが使用され、対象物までの距離が計算され、空間情報として構築される。
【００８０】
このように、１つのフォーカスで取り込まれた画像データから対象物までの距離を計算するよりも、複数のフォーカスで取り込まれた画像データの中から最も対象物に近いフォーカスで取り込まれた画像データを使用して、対象物までの距離を計算した方がより精度の高い値を得ることができる。なお、この一例では、２種類のフォーカスで周辺画像を取り込むようにしているが、２種類以上のフォーカスで周辺画像を取り込むようにしても良い。
【００８１】
図１４を参照して、パンチルタ部３２とは異なる移動体にカメラ部３１Ｒを搭載したときの他の実施形態を説明する。ここでは、説明を容易とするために、水平方向にのみカメラ部３１Ｒを移動させる移動体とする。この移動体は、例えばサーボモータの回転運動を直線運動に変えることによって実現することができる。この図１４では、一例として（１，１）の座標位置のフレームに続いて、（１，２）の座標位置のフレームを連続して取り込む。
【００８２】
参照番号２４１で示す矢印の方向にカメラ部３１Ｒを一定速度で移動させる。図１４Ａに示すカメラ部３１Ｒの移動範囲内であれば、移動するカメラ部３１Ｒに対応してシフトレンズ２０５を移動させることによって、撮像部６Ｒに同一の被写体の像を入射させることができる。従って、（１，１）の座標位置のフレームを取り込むことができる。
【００８３】
そして、カメラ部３１Ｒが移動体によって隣り合う（１，２）の座標位置のフレームを取り込むことが可能な範囲に移動したとき（図１４Ｂ参照）に、移動するカメラ部３１Ｒに対応してシフトレンズ２０５を移動させることによって、撮像部６Ｒに同一の被写体の像を入射させることができる。従って、（１，２）の座標位置のフレームが取り込まれる。
【００８４】
このように、カメラ部３１Ｒを一定速度で移動させることができる移動体であれば、どのような移動体であっても、隣り合うフレームを取り込むことができる。
【００８５】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８６】
この実施形態では、右眼ユニット２Ｒおよび２Ｌを下側にチルトし、フレームを順次撮影しているが、右眼ユニット２Ｒおよび２Ｌを上側にチルトし、フレームを順次撮影するようにしても良いし、右眼ユニット２Ｒおよび２Ｌを右側にパンし、フレームを順次撮影するようにしても良いし、右眼ユニット２Ｒおよび２Ｌを左側にパンし、フレームを順次撮影するようにしても良い。
【００８７】
この実施形態では、レンズ２０３、２０４、２０６、２０７、およびシフトレンズ２０５は、全て凸レンズから構成されているが、全て凹レンズから構成されるようにしても良いし、凸レンズと凹レンズとを適宜組み合わせた構成としても良い。
【００８８】
この実施形態では、撮像された（Ｍ×Ｎ）枚のフレームをそれぞれメインメモリ２４に蓄積するようにしているが、（Ｍ×Ｎ）枚のフレームを連結させて１枚の画像としてメインメモリ２４に蓄積するようにしても良い。
【００８９】
この実施形態では、撮像部６Ｒおよび６Ｌに同一の被写体の像を入射させるために、カメラ部３１Ｒおよび３１Ｌの方向に対応してシフトレンズ２０５が所定の方向に移動するようになされているが、レンズ部２Ｒおよび２Ｌを構成するそれぞれのレンズが凸レンズか凹レンズか、そのレンズの屈折率が１より大きいか、小さいかなど、その構成によってシフトレンズ２０５の移動する方向は反対方向になることもある。
【００９０】
この実施形態では、座標位置に基づいてフレームを撮影するようにしているが、位置アドレスに基づいてフレームを撮影するようにしても良い。
【００９１】
【発明の効果】
この発明に依れば、高精細且つ広範囲な画像データを高速で取り込み、取り込まれた画像データから空間情報を高速で構築することができる。
【００９２】
また、この発明に依れば、人類の視覚機能以上の能力をロボットの視覚装置に備えることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の視覚装置のブロック図である。
【図２】この発明の一実施形態の視覚装置のブロック図である。
【図３】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図４】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図５】この発明に適用される撮影された画像の管理方法を説明するための略線図である。
【図６】この発明に適用される撮影された画像の管理方法を説明するための略線図である。
【図７】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図８】この発明に適用されるシフトレンズに印加する時間と電圧の関係を説明するための特性図である。
【図９】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図１０】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図１１】この発明の一実施形態の対となるカメラ部を適用して対象物までの距離の算出を説明するための概略図である。
【図１２】この発明の一実施形態の対となるカメラ部の動作の実施形態を説明するための概略図である。
【図１３】この発明に適用されるカメラ部を使用して複数のフォーカスの画像を取り込む方法を説明するための略線図である。
【図１４】この発明の他の実施形態となるカメラ部の動作を説明するための概略図である。
【符号の説明】
１・・・コントローラバス、２Ｒ・・・右眼ユニット、２Ｌ・・・左眼ユニット、３Ｒ、３Ｌ・・・レンズ部、４Ｒ、４Ｌ・・・フォーカス・ズーム・アイリス制御部４Ｒ、５Ｒ、５Ｌ・・・トラッキング部５Ｒ、６Ｒ、６Ｌ・・・撮像部６Ｒ、７Ｒ、７Ｌ・・・ビデオインタフェース７Ｒ、８Ｒ、８Ｌ・・・パン部８Ｒ、９Ｒ、９Ｌ・・・チルト部９Ｒ、１０Ｒ、１０Ｌ・・・バッファメモリ、１１Ｒ、１１Ｌ・・・ＪＰＥＧエンコーダ／メタデータ付加部、１２Ｒ、１２Ｌ・・・ＧＰＳ、１３Ｒ、１３Ｌ・・・メタデータ生成部、１４Ｒ、１４Ｌ・・・メモリ、１５Ｒ、１５Ｌ・・・特徴抽出部、１６Ｒ、１６Ｌ・・・識別部、１７Ｒ、１７Ｌ・・・識別演算部、１８Ｒ、１８Ｌ・・・識別辞書、１９・・・空間情報検出部１９、２０・・・空間マッピング計算部、２１・・・距離計算部２１、２２・・・カメラコントローラＣＰＵ、２３・・・Ｉ／Ｏポート、２４・・・メインメモリ、２５・・・メモリカード、２６・・・時計、２７・・・ロボット制御部
【発明の属する技術分野】
この発明は、ロボット装置の視覚装置に用いて好適な対象物認識装置および方法に関する。
【０００２】
【従来の技術】
従来のロボット装置（以下、単に「ロボット」と称する）は、視覚装置としてカメラ部を備えたものが一般的である。成人並の大きさのロボットでは、腰下に存在する小人を発見し、移動時にぶつかることを回避し、ロボット自身が凶器とならないようにする必要がある。これは、通常の人間でもよく発生する生活上の事故であり、人間対人間の場合は、大きな問題とならないが、人間対ロボットの場合だと人間の安全確保のために非常に重要な問題となる。
【０００３】
また、現状のロボットの歩行速度もモータなどの駆動系の問題で人類の歩行速度並にも達していないが、モータの出力を上げ、歩行速度が上がるのは、時間の問題である。しかしながら、ロボットの視覚機能が人類以下であると、人類の代用として人間と同じ空間内でロボットが活動することに様々な困難が伴うのは、必然的な問題である。
【０００４】
【発明が解決しようとする課題】
このようなロボットが、その周囲の広角な範囲の情報を必要とするときには、もっとも明るい開放Ｆ値の焦点距離（例えば、ワイド端）にレンズ部を設定して画像を取り込んでいた。このとき、取り込まれた画像中の情報の大きさは、１画素以下になることがあるため、部分々々の画像情報が不足し、詳細な形状や位置を特定することができなかった。このように、レンズ部をワイド端にして取り込んだ画像では、満足する解像度を得ることができない問題があった。
【０００５】
そこで、詳細な情報を得るために、もっとも暗い開放Ｆ値の焦点距離（例えば、テレ端）側にレンズ部を設定して、取り込んだ画像では、詳細な形状や位置を特定することはできる。しかしながら、この場合、周囲の広角な範囲の空間情報を得ることはできず、その中の一部の空間情報しか得ることができない問題があった。このように、従来のロボットが備えているカメラは、限られた空間に対してのみ動作するものであり、その限られた空間上でのみの制御装置として使用されている。従って、視覚装置として備わっているカメラで撮影された画像に基づいて、ロボットの周囲にある物体をスムーズに捉え、空間情報を構築して、ロボットの動作制御に用いることは困難であった。
【０００６】
このようにロボットは、空間情報を持たないため、リアルタイムで情報を検出する必要があり、そのためゆっくりとした移動速度でしか移動できないか、別途センサを備える必要があった。そこで、高速に周辺画像を取り込み、且つ取り込んだ画像が詳細な形状確認ができるほどの解像度（詳細な情報）を備えたカメラ部が望まれている。
【０００７】
従って、この発明の目的は、ロボットに適用することによって、周辺の空間情報を高速で構築することができる対象物認識装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
上述した課題を達成するために請求項１に記載の発明は、映像を撮影する第１および第２の撮像手段と、サーボモータを駆動源として第１および第２の撮像手段の撮像方向を変化させる第１および第２の撮像方向可動手段とによって、周囲を撮像する撮像システムを有し、第１および第２の撮像手段から得られた第１および第２の画像データを蓄積する蓄積手段と、蓄積された第１および第２の画像データから対象物を抽出する対象物抽出手段と、抽出された対象物から対象物までの距離を算出し、算出された対象物までの距離から周囲の空間情報を構成する空間構成手段とを有することを特徴とする対象物認識装置である。
【０００９】
請求項５に記載の発明は、映像を撮影する第１および第２の撮像手段と、サーボモータを駆動源として第１および第２の撮像手段の撮像方向を変化させる第１および第２の撮像方向可動手段とによって、周囲を撮像する撮像システムを有し、第１および第２の撮像手段から得られた第１および第２の画像データを蓄積するステップと、蓄積された第１および第２の画像データから対象物を抽出するステップと、抽出された対象物から対象物までの距離を算出し、算出された対象物までの距離から周囲の空間情報を構成するステップとを有することを特徴とする対象物認識方法である。
【００１０】
この対象物認識装置をロボット装置の視覚装置として使用することによって、周囲の画像を素早く撮影することができるので、対象物までの距離を素早く算出し、素早く空間情報を構築することができる。
【００１１】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１および図２は、この発明の一実施形態のブロック図を示す。この一実施形態では、参照符号１で示す共通のコントローラバスに対して、右眼ユニット、左目ユニット、およびコンピュータの構成要素が接続されている。なお、右眼側の制御または信号処理を行うブロックには、参照符号の最後に「Ｒ」を付し、左眼側の制御または信号処理を行うブロックには、参照符号の最後に「Ｌ」を付す。
【００１２】
右眼ユニット２Ｒには、レンズ部３Ｒ、フォーカス・ズーム・アイリス制御部４Ｒ、トラッキング部５Ｒ、撮像部６Ｒ、ビデオインタフェース７Ｒ、パン部８Ｒ、およびチルト部９Ｒとから構成される。コントローラバス１を介してカメラコントローラＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２から供給される制御信号によって、制御される。なお、レンズ部３Ｒ、フォーカス・ズーム・アイリス制御部４Ｒ、トラッキング部５Ｒ、撮像部６Ｒ、およびビデオインタフェース７Ｒは右眼ユニット２Ｒのカメラ部として、パン部８Ｒおよびチルト部９Ｒ上に設置されている。
【００１３】
左眼ユニット２Ｌには、レンズ部３Ｌ、フォーカス・ズーム・アイリス制御部４Ｌ、トラッキング部５Ｌ、撮像部６Ｌ、ビデオインタフェース７Ｌ、パン部８Ｌ、およびチルト部９Ｌとから構成される。コントローラバス１を介してカメラコントローラＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２から供給される制御信号によって、制御される。なお、レンズ部３Ｌ、フォーカス・ズーム・アイリス制御部４Ｌ、トラッキング部５Ｌ、撮像部６Ｌ、およびビデオインタフェース７Ｌは右眼ユニット２Ｌのカメラ部として、パン部８Ｌおよびチルト部９Ｌ上に設置されている。
【００１４】
パン部８Ｒおよび８Ｌ並びにチルト部９Ｒおよび９Ｌは、それぞれ駆動源として例えばステッピングモータを有し、コントローラバス１を介してカメラコントローラＣＰＵ２２から供給される制御信号に応じてカメラ部をパンまたはチルトさせる。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が１８０°とされ、チルト角の最大値が５０°とされている。
【００１５】
後述するように、カメラ部の最大移動範囲内で、チルト角＝±１５°、パン角＝±５０°程度の範囲でカメラ部を移動させる。撮像中心を画角分移動させる毎に、シャッターがオンされ、例えば１／６０秒または１／３０秒の静止画像（以下、適宜「フレーム」と称する）が撮影される。すなわち、カメラ部では動画が撮影され、撮影された動画が１／６０秒または１／３０秒からなる１枚の静止画像として、後段に供給される。
【００１６】
縦方向でＭ枚（例えば８枚）、横方向でＮ枚（例えば１６枚）の合計（Ｍ×Ｎ＝８×１６＝１２８枚）のフレームが順番に撮影され、これらを圧縮する。各フレームが例えばＸＧＡ（１０２４×７６８ 画素）画像である。したがって、１２８枚のフレームは、重複部分を無視すると、（横方向が１０２４×１６＝１６，３８４画素で、縦方向が７６８×８＝６，１４４画素）の約１億画素の画像を形成する。なお、１２８枚のフレームを撮影するのに約５秒かかる。そして、この一実施形態では、隣り合うフレームの重複部分は縦横のそれぞれで１６画素とされる。
【００１７】
フォーカス・ズーム・アイリス制御部４Ｒおよび４Ｌは、コントローラバス１を介してコントローラＣＰＵ２２から供給される制御信号によって制御される。撮像部６Ｒおよび６Ｌは、固体撮像素子例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）とカメラ信号処理回路とを含む。撮像部６Ｒおよび６Ｌからのディジタル映像信号がビデオインタフェース７Ｒおよび７Ｌを介してバッファメモリ１０Ｒおよび１０Ｌに書き込まれる。
【００１８】
トラッキング部５Ｒでは、パン部８Ｒおよびチルト部９Ｒの動きに対応してレンズ部３Ｒの所定のレンズをシフトさせて、パン部８Ｒおよびチルト部９Ｒの動きが打ち消される。トラッキング部５Ｌでは、パン部８Ｌおよびチルト部９Ｌの動きに対応してレンズ部３Ｌの所定のレンズをシフトさせて、パン部８Ｌおよびチルト部９Ｌの動きが打ち消される。従って、ブレのない１／６０秒または１／３０秒の静止画像を撮影することができる。
【００１９】
バッファメモリ１０Ｒおよび１０Ｌの出力データがＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）エンコーダ／メタデータ付加部１１Ｒおよび１１Ｌに供給され、画像データがＪＰＥＧデータに変換される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【００２０】
右眼ユニット２Ｒおよび左眼ユニット２Ｌには、その位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１２Ｒおよび１２Ｌが備えられている。ＧＰＳ１２Ｒおよび１２Ｌを備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳ１２Ｒおよび１２Ｌは、コントローラバス１を介してカメラコントローラＣＰＵ２２から供給される制御信号によって制御される。
【００２１】
ＧＰＳ１２Ｒおよび１２Ｌの出力信号がメタデータ生成部１３Ｒおよび１３Ｌに供給され、ＧＰＳ１２Ｒおよび１２Ｌの測位結果に基づいた位置情報（緯度・経度、方位、高度等の情報）およびメタデータ（時刻、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）が生成される。位置情報およびメタデータがＪＰＥＧエンコーダ／メタデータ付加部１１Ｒおよび１１Ｌに供給され、ＪＰＥＧデータに対して位置情報およびメタデータが付加される。
【００２２】
メタデータおよび位置情報が付加されたＪＰＥＧデータがメモリ１４Ｒおよび１４Ｌへ記憶される。特徴抽出部１５Ｒおよび１５Ｌでは、メモリ１４Ｒおよび１４Ｌに記憶されたＪＰＥＧデータから特徴となる様々な情報が抽出される。例えば、色情報、エッジ情報、および形状などが抽出される。抽出された様々な情報は、識別部１６Ｒおよび１６Ｌへ供給される。
【００２３】
識別部１６Ｒは識別演算部１７Ｒおよび識別辞書１８Ｒから構成され、識別部１６Ｌは識別演算部１７Ｌおよび識別辞書１８Ｌから構成される。識別演算部１７Ｒおよび１７Ｌでは、識別辞書１８Ｒおよび１８Ｌに登録されている様々な識別情報と抽出された情報とが照合され、抽出された情報が３次元座標情報に置き換えられる。なお、識別辞書１８Ｒおよび１８Ｌには、例えば球、立方体、円柱、三角錐、円錐、目、鼻、口、耳などの座標情報が登録されている。このように、識別演算部１７Ｒおよび１７Ｌで識別された３次元座標情報は、メモリ１４Ｒおよび１４Ｌへ供給される。
【００２４】
メモリ１４Ｒおよび１４Ｌでは、識別部１６Ｒおよび１６Ｌから供給された３次元座標情報がＪＰＥＧデータに付加され、３次元座標情報が付加されたＪＰＥＧデータは空間情報検出部１９へ供給される。
【００２５】
空間情報検出部１９は、空間マッピング計算部２０および距離計算部２１から構成される。メモリ１４Ｒおよび１４Ｌから供給されたＪＰＥＧデータは、空間マッピング計算部２０へ供給される。空間マッピング計算部２０では、メモリ１４Ｒから得られたＪＰＥＧデータと、メモリ１４Ｌから得られたＪＰＥＧデータとから同一の対象物が抽出される。
【００２６】
距離計算部２１では、カメラ部の角度および抽出された対象物の位置によって抽出された対象物までの距離が測定される。この測定は、任意のタイミングで自動的に行うようにしても良いし、ロボット装置本体のロボット制御部２７からＩ／Ｏポート２３を介して伝達された指示に応じて行うようにしても良い。距離が測定され、空間の位置が特定された対象物は、空間情報としてロボット装置本体を中心点においた自由空間上に対応付けられ、配置される。
【００２７】
また、この自由空間上に対応付けられた対象物は、ロボット装置本体の移動に応じて相対的に移動し、移動した位置情報を記録し、空間情報を構築する手法と、ロボット装置本体を含めた絶対的な位置情報として空間情報を構築する手法とがある。そして、この空間上の位置情報はメインメモリ２４に格納される。メインメモリ２４に格納された位置情報は、Ｉ／Ｏポート２３を介してロボット制御部２７または外部からの情報の要求に対して送出される。
【００２８】
上述したように、コントローラバス１に接続されたカメラコントローラＣＰＵ２２は、カメラ部のレンズ制御（例えば、フォーカス等）、露出制御（例えば、絞り、ゲイン、電子シャッタースピード等）、白バランス制御、画質制御等を行うと共に、パン部８Ｒおよび８Ｌおよびチルト部９Ｒおよび９Ｌを制御する。
【００２９】
Ｉ／Ｏポート２３に対しては、メモリカード２５および時計２６が接続されている。メモリカード２５に対して、メインメモリ３０に蓄積されている位置情報およびメタデータが付加されたＪＰＥＧデータを書き込むことができる。また、時計２６から時刻データが得られる。
【００３０】
なお、メインメモリ２４は、ハードディスクなどから構成され、右眼ユニット２Ｒおよび左眼ユニット２Ｌで撮像され、メタデータおよび位置情報が付加されたＪＰＥＧデータ蓄積される。
【００３１】
この一実施形態では、バッファメモリ１０Ｒ、１０Ｌ、ＪＰＥＧエンコーダ／メタデータ付加部１１Ｒ、１１Ｌ、メモリ１４Ｒ、１４Ｌ、特徴抽出部１５Ｒ、１５Ｌ、識別部１６Ｒ、１６Ｌ、識別演算部１７Ｒ、１７Ｌ、識別辞書１８Ｒ、１８Ｌは、それぞれ右眼側の制御または信号処理を行うブロックおよび左眼側の制御または信号処理を行うブロックを設けているが、それぞれ１つのブロックで右眼側および左眼側の制御または信号処理を行うようにしても良い。
【００３２】
次に、図３を用いて、右眼ユニット２Ｒおよび左眼ユニット２Ｌによる撮影に関する動作の一例について説明する。なお、説明を容易とするために、右眼ユニット２Ｒのみの撮影に関する動作の一例について説明する。図３に示すように、右眼ユニット２Ｒは、パンチルタ部３２の雲台にカメラ部３１Ｒが設置され、ホームポジションから撮像方向が可変される。図３において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションは例えば（１，１）の座標のフレームを撮影する位置とされる。
【００３３】
（１，１）の座標位置のフレームを撮影すると、右眼ユニット２Ｒが下側にチルトされ、（２，１）の座標位置のフレームが撮影され、以下、順に（３，１）・・・・、（Ｍ，１）の座標位置のフレームが撮影され、次に第２列の一番上の座標位置（１，２）のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。上述したように、各フレームが他のフレームと１６画素分の重複部分を有する。
【００３４】
上述したように、各フレームが例えばＸＧＡ（１０２４画素×７６８画素）画の場合では、１２８枚のフレームからなる画像は、重複部分を無視すると、（横方向が１０２４画素×１６枚＝１６，３８４画素で、縦方向が７６８画素×８枚＝６，１４４画素）の約１億画素の画像である。従って、高精細な周辺画像を取り込むことができる。
【００３５】
図４に、７５倍の望遠レンズが右眼ユニット２Ｒに備えられている場合に、１フレームで撮影できる範囲を示す。右眼ユニット２Ｒから１００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦８．７ｍ×横１．１７ｍの範囲を撮影することができる。例えば、カメラ部３１Ｒの撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦０．８７ｃｍ×横１．１７ｃｍの範囲を約１画素で表すことができる。
【００３６】
カメラユニット３から２００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦１．７４ｍ×横２．３４ｍの範囲を撮影することができる。例えば、カメラ部３１Ｒの撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦１．７４ｃｍ×横２．３４ｃｍの範囲を１画素で表すことができる。
【００３７】
カメラユニット３から５００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦４．３６ｍ×横５．８４ｍの範囲を撮影することができる。例えば、カメラ部３１Ｒの撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦４．３６ｃｍ×横５．８４ｃｍの範囲を１画素で表すことができる。
【００３８】
図５および図６を参照して取得した画像データをメインメモリ２４等に蓄積する場合のデータ管理方法を説明する。図５に示すように、所定時間間隔で、（Ｍ×Ｎ）枚のフレームの画像が撮影される。撮影された画像は、圧縮されてメインメモリ２４に蓄積される。このとき、Ｍ行Ｎ列によって各フレームの位置が規定される。例えば（１，１）の位置アドレスによって、右端の最も上のフレームが規定される。
【００３９】
各フレームは、図６Ａに示すように、この位置アドレスと記録時の時間情報とをファイル名としてメインメモリ２４に蓄積される。このとき時間情報は、年月日時分秒で構成される。したがって、各フレームのファイル名は、（年月日時分秒、位置アドレス）となる。
【００４０】
さらに、図６Ｂに示すように、（Ｍ×Ｎ）枚のフレームで全体的な１枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、（１，１）の位置アドレスを有するフレームのファイル名（すなわち、年月日時分秒、位置アドレス）と同一のデータを持つことで、当該（Ｍ×Ｎ）枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部２９で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部３１Ｒのパラメータ（倍率、フォーカス値、アイリス値等）等のメタデータ情報とをディレクションファイルが有する。
【００４１】
図７を参照して、右眼ユニット２Ｒの動作の実施形態を説明する。この図７は、右眼ユニット２Ｒを真上から見たときの、カメラ部３１Ｒの平面断面図とする。またここでは、説明を容易とするために、カメラ部３１Ｒには、レンズ部３Ｒおよび撮像部６Ｒのみを図示し、このカメラ部３１Ｒを単にパンさせる。
【００４２】
カメラ部３１Ｒのパンの中心は、基準円２０２で示す中心位置とする。この一例では、説明を容易とするため撮像部６Ｒにおいて被写体の像を結像する面の中心と、基準円２０２の中心とがずれているが、それぞれが一致するように配置しても何ら問題はない。
【００４３】
カメラ部３１Ｒの光線の中心を基準線２２０で示し、撮影しようとする被写体の撮像中心を撮像中心線２１０で示す。レンズ部２Ｒは、レンズ２０３、２０４、２０６、２０７、およびシフトレンズ（光路可変素子）２０５から構成される。一例として、レンズ２０３、２０４、および２０６は、その屈折率が１より大きい凸レンズであり、シフトレンズ２０５およびレンズ２０７は、その屈折率が１より小さい凸レンズである。
【００４４】
なお、このシフトレンズ２０５は、一例としてレンズと、そのレンズを水平方向に移動させるリニアモータと、レンズを垂直方向に移動させるリニアモータとから構成される。そして、この実施形態では、レンズ自身のことをシフトレンズと称する。
【００４５】
この図７では、一例として図７Ａ、図７Ｂ、そして図７Ｃの順番にパンする。まず、図７Ａに示すように、基準線２２０と撮像中心線２１０とが角度θａとなるときに、被写体の像は光路２１１ａを経由してレンズ２０３に入射される。
【００４６】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ａを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ａを経由して被写体の像を撮像部６Ｒに供給するために位置２０５ａへ移動しているシフトレンズ２０５に入射される。
【００４７】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ａを経由してレンズ２０６に入射される。このとき、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応してシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ａにシフトレンズ２０５を移動させる。
【００４８】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部６Ｒに入射される。
【００４９】
このように、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応した位置２０５ａにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ａを経由して、撮像部６Ｒに被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【００５０】
そして、図７Ｂに示すように、基準線２２０と撮像中心線２１０とが一致するときに、被写体からの像は光路２１１ｂを経由してレンズ２０３に入射される。
【００５１】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ｂを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ｂを経由して被写体の像を撮像部６Ｒに供給するために位置２０５ｂへ移動しているシフトレンズ２０５に入射される。
【００５２】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ｂを経由してレンズ２０６に入射される。このとき、シフトレンズ２０５のレンズの中心と、基準線２２０と、撮像中心線２１０とが一致するようにシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ｂにシフトレンズ２０５を移動させる。
【００５３】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部６Ｒに入射される。
【００５４】
このように、シフトレンズ２０５の中心と、基準線２２０と、撮像中心線２１０とが一致する位置２０５ｂにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ｂを経由して、撮像部６Ｒに被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【００５５】
そして、図７Ｃに示すように、基準線２２０と撮像中心線２１０とが角度−θｃとなるときに、被写体からの像は光路２１１ｃを経由してレンズ２０３に入射される。
【００５６】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ｃを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ｃを経由して被写体の像を撮像部６Ｒに供給するために位置２０５ｃへ移動しているシフトレンズ２０５に入射される。
【００５７】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ｃを経由してレンズ２０６に入射される。このとき、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応しててシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ｃにシフトレンズ２０５を移動させる。
【００５８】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部６Ｒに入射される。
【００５９】
このように、パン部８Ｒのサーボモータに供給するパルス数を計数した計数値に対応した位置２０５ｃにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ｃを経由して、撮像部６Ｒに被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【００６０】
この図７に示すようにカメラ部３１Ｒの移動する方向と逆方向になるようにシフトレンズ２０５を移動させることによって、撮像部６Ｒで露光される被写体の像を同一にすることができる。
【００６１】
この実施形態では、カメラ部３１Ｒで撮影される１画面分を移動するときのパルス数を１サイクルのパルスと称する。そして、カメラ部３１Ｒが移動する方向によって、ＦＷＤサイクルおよびＲＥＶサイクルの２種類のサイクルがある。この実施形態では、ＦＷＤサイクルのときにシフトレンズ２０５が待機している位置を図７Ａに示す位置２０５ａとする。
【００６２】
また、ＦＷＤサイクルの時にシフトレンズ２０５が、シフトレンズの位置２０５ａからシフトレンズの位置２０５ｃ（図７Ｃ参照）へ移動する。このとき、一例としてカメラ部３１Ｒを移動させるサーボモータは時間によって制御される。また、カメラ部３１Ｒを移動させるモータにステッピングモータが使用されている場合、出力されるパルス数が計数され、制御される。
【００６３】
なお、ＲＥＶサイクルの時には、ＦＷＤサイクルの時の逆の制御となるようにシフトレンズ２０５が制御される。例えば、カメラ部３１Ｒが図７Ｃに示すように、基準線２２０と撮像中心線２１０とが角度−θｃに到達後、１サイクルが終了した時点で、シフトレンズ２０５は位置２０５ａになるように、シフトレンズ２０５を移動させるリニアモータに供給する電圧を瞬時に切り替える。
【００６４】
シフトレンズ２０５が位置２０５ａから位置２０５ｃへ動き出した後、シフトレンズ２０５が位置２０５ｂ（図７Ｂ参照）となるときに、撮像部６Ｒに対してシャッタパルスが出力される。このとき、一例としてシフトレンズ２０５を水平方向に移動させるリニアモータの駆動電圧によって、シャッタパルスを出力するタイミングが生成される。
【００６５】
このように、撮像部６Ｒが恰も静止状態となるようにシフトレンズ２０５を制御するためには、カメラ部３１Ｒを動かす３つのパラメータを制御する必要がある。第１のパラメータは、カメラ部３１Ｒの１サイクルが始まってからシフトレンズ２０５が位置２０５ａから位置２０５ｃへ動き始める時間である。第２のパラメータは、カメラ部３１Ｒが位置２０５ａから位置２０５ｃへ移動するためにかかる時間である。第３のパラメータは、シフトレンズ２０５が位置２０５ｂとなるときのリニアモータに供給する電圧値である。一般的には、カメラ部３１Ｒを移動させる速度と、シフトレンズ２０５を移動させる速度とが等しくなるように制御される。
【００６６】
また、カメラ部３１Ｒのパンの速度と、画像の取り込みに必要な光量とによって、シフトレンズ２０５を移動させる速度が変化する。
【００６７】
また、この図７Ａ、図７Ｂ、および図７Ｃから、光路２１４ａ、２１４ｂ、および２１４ｃは、基準線２２０と撮像中心線２１０との角度に対応して位置２０５ａ、２０５ｂ、および２０５ｃへ移動されたシフトレンズ２０５によって、レンズ２０６に常に一定の被写体の像を入射させることができる。例えば、基準線２２０と撮像中心線２１０との角度が求められると、その角度に応じた電圧がシフトレンズ２０５の位置を移動させる水平方向のリニアモータに印加される。リニアモータに電圧が印加され、所定の位置へ移動したシフトレンズ２０５によって、レンズ２０６に一定の被写体の像を入射させる光路２１４が形成される。
【００６８】
また、カメラ部３１Ｒが一定速度でパンしているので、そのパンの速度に合わせて、シフトレンズ２０５の位置を移動するようにしても良い。例えば、図８に示すシフトレンズ２０５の水平方向のリニアモータに印加される電圧を、カメラ部３１Ｒの速度対応させて、繰り返すようにしても良い。
【００６９】
この図８に示す電圧Ｖａがシフトレンズ２０５を移動させる水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ａに移動する。電圧Ｖｂがシフトレンズ２０５を移動させる水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ｂに移動する。電圧Ｖｃがシフトレンズ２０５の水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ｃに移動する。従って、この図８に示す電圧の方向は、シフトレンズ２０５の水平方向の位置を示す。なお、この図８では、電圧Ｖｂを０Ｖとしているが、電圧Ｖｃを０Ｖとするようにして、シフトレンズ２０５を制御しても良いし、電圧Ｖａを０Ｖとするようにして、シフトレンズ２０５を制御しても良い。
【００７０】
図９にカメラ部３１Ｒを移動させながら、３つの撮像範囲を撮影するときの概略図を示す。この図９では、一例としてそれぞれ隣り合う座標位置のフレーム（１，１）、（１，２）、（１，３）が順次取り込まれる。
【００７１】
この図９に示すように、図７Ａに示すカメラ部３１Ｒの位置のときの光路２１１ａから図７Ｃに示すカメラ部３１Ｒの位置のときの光路２１１ｃまでの期間であれば、同一の被写体の像を撮像部６Ｒに入射させることができる。従って、撮像部６Ｒに同一の被写体の像を入射させることができる期間であれば、どのようなタイミングでもフレームを取り込むことができる。このとき、基準円２０２を中心としてカメラ部３１Ｒは回転し、撮像する方向を変える。
【００７２】
カメラ部３１Ｒを一定速度でパンさせながら、例えば（１，１）の座標位置のフレームに続いて、（１，２）の座標位置のフレーム、そして（１，３）の隣り合う座標位置のフレームと連続して取り込む。そのために、カメラ部３１Ｒの回転方向に対応してシフトレンズ２０５を、例えば位置２０５ａから位置２０５ｃまで移動させる。従って、撮像部６Ｒに同一の被写体の像を入射することができるので、この図９の一例では、シフトレンズ２０５を移動させている期間に、３つのフレームを取り込むことができる。
【００７３】
また、参照符号２３１で示す隣り合うフレームとの重複部分は、上述したように、例えば縦横のそれぞれで１６画素とされる。従って、フレームの一辺の重複部分は、それぞれ８画素とされる。
【００７４】
なお、シフトレンズ２０５を移動させるリニアモータの動作が電圧Ｖａおよび／またはＶｃ付近では、完璧な線形にはならない。しかしながら、撮像部６Ｒに同一の被写体の像が入射され、露光されている期間は、シフトレンズ２０５を移動させるリニアモータが完璧な線形で動作する必要がある。そこで、リニアモータの動作の開始時では、その動作が安定していないため、動作が開始してから動作が安定するまでの一定期間、露光期間を待つ必要がある。従って、完璧な線形となる中心付近、すなわち電圧Ｖｂ、（位置２０５ｂ）を中心とした所定の範囲でフレームを取り込むことによって、より安定した画像を得ることができる。
【００７５】
図１０Ａは、パンチルタ部３２にカメラ部３１Ｒを設けた平面断面図であり、図１０Ｂは、カメラ部３１Ｒを横から見た側面断面図である。この図１０Ｂに示すように、カメラ部３１Ｒをチルトさせても、そのチルトされたカメラ部３１Ｒの方向に対応して、シフトレンズ２０５を所定の方向に移動することによって、同一の被写体の像を撮像部６Ｒに入射させることができる。
【００７６】
ここで、図１１を参照して、この右眼ユニット２Ｒおよび左眼ユニット２Ｌから対象物までの距離を測定する一例について説明する。この図１１は、右眼ユニット２Ｒのカメラ部３１Ｒおよび左眼ユニット２Ｌのカメラ部３１Ｌがそれぞれ配置された状態で真上から見たときの平面断面図とする。
【００７７】
基準円２０２Ｒおよび２０２Ｌとの間隔をＬとし、対象物２３１までの距離をＸとする。このとき、カメラ部３１Ｒおよび３１Ｌで対象部２３１を撮像すると、カメラ部３１Ｒは角度θＲで傾き、カメラ部３１Ｌは角度θＬで傾く。従って、上述の距離計算部２１では、下記の式で対象物２３１までの距離Ｘが求められる。
Ｘ ＝ Ｌ ×（ ｓｉｎ θＲ× ｓｉｎ θＬ ）／ｓｉｎ（ θＬ−θＲ ）
【００７８】
そして、図１２に示すように、対となるカメラ部３１Ｒおよび３１Ｌで周辺画像が取り込まれる。このとき、取り込んだ方向および角度などの情報も同時に取り込むことによって、周辺に存在する対象物までの距離を任意の時間経過した後であっても画像データから求めることが可能となる。すなわち、画像を取り込んだときに常に対象物までの距離を計算しなくても、必要になった時点で、取り込んだ画像データが蓄積されているメインメモリ２４から必要な画像データを読み出すことによって、自分の居る場所と対象物までの距離を空間情報として構築することが可能となる。
【００７９】
また、図１３に示すように、複数のフォーカスで周辺画像を取り込むようにしても良い。この図１３に示す一例では、レンズ部３Ｒおよび３Ｌで設定された無限遠に焦点が設定されたフォーカスを「フォーカスＡ」と称し、フォーカスＡより近くに焦点が設定されたフォーカスを「フォーカスＢ」と称する。フォーカスＡおよびＢで取り込まれた画像データは、メインメモリ２４に蓄積される。そして、対象物に近いフォーカスで取り込まれた画像データが使用され、対象物までの距離が計算され、空間情報として構築される。
【００８０】
このように、１つのフォーカスで取り込まれた画像データから対象物までの距離を計算するよりも、複数のフォーカスで取り込まれた画像データの中から最も対象物に近いフォーカスで取り込まれた画像データを使用して、対象物までの距離を計算した方がより精度の高い値を得ることができる。なお、この一例では、２種類のフォーカスで周辺画像を取り込むようにしているが、２種類以上のフォーカスで周辺画像を取り込むようにしても良い。
【００８１】
図１４を参照して、パンチルタ部３２とは異なる移動体にカメラ部３１Ｒを搭載したときの他の実施形態を説明する。ここでは、説明を容易とするために、水平方向にのみカメラ部３１Ｒを移動させる移動体とする。この移動体は、例えばサーボモータの回転運動を直線運動に変えることによって実現することができる。この図１４では、一例として（１，１）の座標位置のフレームに続いて、（１，２）の座標位置のフレームを連続して取り込む。
【００８２】
参照番号２４１で示す矢印の方向にカメラ部３１Ｒを一定速度で移動させる。図１４Ａに示すカメラ部３１Ｒの移動範囲内であれば、移動するカメラ部３１Ｒに対応してシフトレンズ２０５を移動させることによって、撮像部６Ｒに同一の被写体の像を入射させることができる。従って、（１，１）の座標位置のフレームを取り込むことができる。
【００８３】
そして、カメラ部３１Ｒが移動体によって隣り合う（１，２）の座標位置のフレームを取り込むことが可能な範囲に移動したとき（図１４Ｂ参照）に、移動するカメラ部３１Ｒに対応してシフトレンズ２０５を移動させることによって、撮像部６Ｒに同一の被写体の像を入射させることができる。従って、（１，２）の座標位置のフレームが取り込まれる。
【００８４】
このように、カメラ部３１Ｒを一定速度で移動させることができる移動体であれば、どのような移動体であっても、隣り合うフレームを取り込むことができる。
【００８５】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８６】
この実施形態では、右眼ユニット２Ｒおよび２Ｌを下側にチルトし、フレームを順次撮影しているが、右眼ユニット２Ｒおよび２Ｌを上側にチルトし、フレームを順次撮影するようにしても良いし、右眼ユニット２Ｒおよび２Ｌを右側にパンし、フレームを順次撮影するようにしても良いし、右眼ユニット２Ｒおよび２Ｌを左側にパンし、フレームを順次撮影するようにしても良い。
【００８７】
この実施形態では、レンズ２０３、２０４、２０６、２０７、およびシフトレンズ２０５は、全て凸レンズから構成されているが、全て凹レンズから構成されるようにしても良いし、凸レンズと凹レンズとを適宜組み合わせた構成としても良い。
【００８８】
この実施形態では、撮像された（Ｍ×Ｎ）枚のフレームをそれぞれメインメモリ２４に蓄積するようにしているが、（Ｍ×Ｎ）枚のフレームを連結させて１枚の画像としてメインメモリ２４に蓄積するようにしても良い。
【００８９】
この実施形態では、撮像部６Ｒおよび６Ｌに同一の被写体の像を入射させるために、カメラ部３１Ｒおよび３１Ｌの方向に対応してシフトレンズ２０５が所定の方向に移動するようになされているが、レンズ部２Ｒおよび２Ｌを構成するそれぞれのレンズが凸レンズか凹レンズか、そのレンズの屈折率が１より大きいか、小さいかなど、その構成によってシフトレンズ２０５の移動する方向は反対方向になることもある。
【００９０】
この実施形態では、座標位置に基づいてフレームを撮影するようにしているが、位置アドレスに基づいてフレームを撮影するようにしても良い。
【００９１】
【発明の効果】
この発明に依れば、高精細且つ広範囲な画像データを高速で取り込み、取り込まれた画像データから空間情報を高速で構築することができる。
【００９２】
また、この発明に依れば、人類の視覚機能以上の能力をロボットの視覚装置に備えることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の視覚装置のブロック図である。
【図２】この発明の一実施形態の視覚装置のブロック図である。
【図３】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図４】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図５】この発明に適用される撮影された画像の管理方法を説明するための略線図である。
【図６】この発明に適用される撮影された画像の管理方法を説明するための略線図である。
【図７】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図８】この発明に適用されるシフトレンズに印加する時間と電圧の関係を説明するための特性図である。
【図９】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図１０】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図１１】この発明の一実施形態の対となるカメラ部を適用して対象物までの距離の算出を説明するための概略図である。
【図１２】この発明の一実施形態の対となるカメラ部の動作の実施形態を説明するための概略図である。
【図１３】この発明に適用されるカメラ部を使用して複数のフォーカスの画像を取り込む方法を説明するための略線図である。
【図１４】この発明の他の実施形態となるカメラ部の動作を説明するための概略図である。
【符号の説明】
１・・・コントローラバス、２Ｒ・・・右眼ユニット、２Ｌ・・・左眼ユニット、３Ｒ、３Ｌ・・・レンズ部、４Ｒ、４Ｌ・・・フォーカス・ズーム・アイリス制御部４Ｒ、５Ｒ、５Ｌ・・・トラッキング部５Ｒ、６Ｒ、６Ｌ・・・撮像部６Ｒ、７Ｒ、７Ｌ・・・ビデオインタフェース７Ｒ、８Ｒ、８Ｌ・・・パン部８Ｒ、９Ｒ、９Ｌ・・・チルト部９Ｒ、１０Ｒ、１０Ｌ・・・バッファメモリ、１１Ｒ、１１Ｌ・・・ＪＰＥＧエンコーダ／メタデータ付加部、１２Ｒ、１２Ｌ・・・ＧＰＳ、１３Ｒ、１３Ｌ・・・メタデータ生成部、１４Ｒ、１４Ｌ・・・メモリ、１５Ｒ、１５Ｌ・・・特徴抽出部、１６Ｒ、１６Ｌ・・・識別部、１７Ｒ、１７Ｌ・・・識別演算部、１８Ｒ、１８Ｌ・・・識別辞書、１９・・・空間情報検出部１９、２０・・・空間マッピング計算部、２１・・・距離計算部２１、２２・・・カメラコントローラＣＰＵ、２３・・・Ｉ／Ｏポート、２４・・・メインメモリ、２５・・・メモリカード、２６・・・時計、２７・・・ロボット制御部
Claims (8)
- 映像を撮影する第１および第２の撮像手段と、
サーボモータを駆動源として上記第１および第２の撮像手段の撮像方向を変化させる第１および第２の撮像方向可動手段とによって、周囲を撮像する撮像システムを有し、
上記第１および第２の撮像手段から得られた第１および第２の画像データを蓄積する蓄積手段と、
上記蓄積された第１および第２の画像データから対象物を抽出する対象物抽出手段と、
上記抽出された対象物から上記対象物までの距離を算出し、上記算出された対象物までの距離から周囲の空間情報を構成する空間構成手段と
を有することを特徴とする対象物認識装置。 - 上記空間情報は、
上記撮像システムを絶対中心とした相対的な位置関係からなる仮想空間を構成するようにしたことを特徴とする請求項１に記載の対象物認識装置。 - 上記空間情報は、
所定の位置を絶対中心とした絶対的な位置関係からなる仮想空間を構成するようにしたことを特徴とする請求項１に記載の対象物認識装置。 - 上記第１および第２の撮像手段は、
複数のフォーカスで周囲を撮影するようにしたことを特徴とする請求項１に記載の対象物認識装置。 - 映像を撮影する第１および第２の撮像手段と、
サーボモータを駆動源として上記第１および第２の撮像手段の撮像方向を変化させる第１および第２の撮像方向可動手段とによって、周囲を撮像する撮像システムを有し、
上記第１および第２の撮像手段から得られた第１および第２の画像データを蓄積するステップと、
上記蓄積された第１および第２の画像データから対象物を抽出するステップと、
上記抽出された対象物から上記対象物までの距離を算出し、上記算出された対象物までの距離から周囲の空間情報を構成するステップと
を有することを特徴とする対象物認識方法。 - 上記空間情報は、
上記撮像システムを絶対中心とした相対的な位置関係からなる仮想空間を構成するようにしたことを特徴とする請求項５に記載の対象物認識方法。 - 上記空間情報は、
所定の位置を絶対中心とした絶対的な位置関係からなる仮想空間を構成するようにしたことを特徴とする請求項５に記載の対象物認識方法。 - 上記第１および第２の撮像手段は、
複数のフォーカスで周囲を撮影するようにしたことを特徴とする請求項５に記載の対象物認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002244612A JP2004086401A (ja) | 2002-08-26 | 2002-08-26 | 対象物認識装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002244612A JP2004086401A (ja) | 2002-08-26 | 2002-08-26 | 対象物認識装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004086401A true JP2004086401A (ja) | 2004-03-18 |
| JP2004086401A5 JP2004086401A5 (ja) | 2005-11-04 |
Family
ID=32053033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002244612A Abandoned JP2004086401A (ja) | 2002-08-26 | 2002-08-26 | 対象物認識装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004086401A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009517225A (ja) * | 2005-10-11 | 2009-04-30 | ヴァンダービルト ユニバーシティー | 画像マッピング及び視覚的アテンションのためのシステム及び方法 |
| KR101459522B1 (ko) * | 2013-02-15 | 2014-11-07 | 브이앤아이 주식회사 | 모바일 기반의 부가정보를 이용한 위치 보정 방법 |
| WO2017037908A1 (ja) * | 2015-09-03 | 2017-03-09 | 富士機械製造株式会社 | ロボットシステム |
-
2002
- 2002-08-26 JP JP2002244612A patent/JP2004086401A/ja not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009517225A (ja) * | 2005-10-11 | 2009-04-30 | ヴァンダービルト ユニバーシティー | 画像マッピング及び視覚的アテンションのためのシステム及び方法 |
| KR101459522B1 (ko) * | 2013-02-15 | 2014-11-07 | 브이앤아이 주식회사 | 모바일 기반의 부가정보를 이용한 위치 보정 방법 |
| WO2017037908A1 (ja) * | 2015-09-03 | 2017-03-09 | 富士機械製造株式会社 | ロボットシステム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109155842B (zh) | 立体相机及立体相机的控制方法 | |
| JP6027560B2 (ja) | 自動追尾撮像装置 | |
| US10091408B2 (en) | Imaging apparatus and method of recognizing target object | |
| Nayar | Omnidirectional video camera | |
| TWI521255B (zh) | 自動對焦方法、其自動對焦裝置和其影像擷取裝置 | |
| Dansereau et al. | A wide-field-of-view monocentric light field camera | |
| CN110622499B (zh) | 图像生成装置、图像生成***、图像生成方法及记录介质 | |
| CN109615663A (zh) | 全景视频校正方法及终端 | |
| JP2002171537A (ja) | 複眼撮像系、撮像装置および電子機器 | |
| WO2006050430A2 (en) | Optical tracking system using variable focal length lens | |
| JP2009188973A (ja) | 撮像装置及び光軸制御方法 | |
| JP2004531113A (ja) | 注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 | |
| US20040021767A1 (en) | Image sensing apparatus and control method thereof | |
| WO2019244621A1 (ja) | 撮像装置、無人移動体、撮像方法、システム、及びプログラム | |
| JP2010130628A (ja) | 撮像装置、映像合成装置および映像合成方法 | |
| JP2018134712A (ja) | ロボットシステム及びロボットシステムの制御方法 | |
| JP2004086401A (ja) | 対象物認識装置および方法 | |
| JPH1023465A (ja) | 撮像方法及び装置 | |
| JP2016048824A (ja) | 追尾装置、追尾システム、及び表示装置 | |
| JP2015080169A (ja) | 撮像装置及びその制御方法 | |
| JP2974500B2 (ja) | 複眼撮像装置 | |
| JP2016046774A (ja) | 撮像装置 | |
| JP2016046771A (ja) | 撮像装置、撮像システム及び表示装置 | |
| TW201931304A (zh) | 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置 | |
| US20240114263A1 (en) | Multi-mode image sensor architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050816 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20070615 |