JP2006329747A - 画像撮影装置 - Google Patents

Abstract

【課題】追従撮影に置いて視標に対する誤認が少なく、中心部分の解像度を高くすることも可能で且つ追従性も高い画像撮影装置を提供する。
【解決手段】視標３０を追従撮影する画像撮影装置は、２つのカメラユニット１とカメラユニットを所定の向きに制御可能なアクチュエータ２と制御装置３とからなる。カメラユニットは、少なくとも１つの画角を有するカメラ部１０を有し、該カメラ部は撮像領域が物理的、電気的又は処理的に分割された少なくとも２つの分割領域を画定可能な撮像素子１２を有する。制御装置３は、各カメラユニットにおけるカメラ部の撮像素子のどの分割領域で視標が撮影されるかに応じて、各カメラユニットが所定の動作、例えば衝動性眼球運動に対応する動作、又は滑動性眼球運動に対応する動作を行なうようにアクチュエータを制御する。
【選択図】図１

Description

本発明は画像を撮影する画像撮影装置に関し、特に、人間の眼球に近い動きを行なうことにより移動等する視標を高精度、高精細、高速度に追従撮影可能な画像撮影装置に関する。また、人間の眼球に近い動きを行なうことでより自然な目の動きが可能なロボットにも関する。

画像を撮影する装置としては、２つのカメラを用いて視標（対象物体）を撮影するものがある。これは、例えばステレオマッチング法と呼ばれるもので、左右に配置された２つのカメラで撮影された２枚１組の画像を用いて、一方のカメラで撮影された画像が、他方のカメラで撮影された画像のどの部分に対応するかを面積相関の計算等により求め、その対応関係を使った三角測量の原理により、各点の３次元的位置を推測するものである（特許文献１−４）。

このような方式の画像撮影装置の場合、左右に配置された２つのカメラは固定されており、視軸の角度、すなわち各カメラの相対回転角度の情報は利用せず、画像処理により各カメラにより撮影された画像の対応点のみを頼りに立体情報を得ている。

特開平１１−２４８４４６ 特開２００４−０５３４０７ 特開２００４−３２６４４８ 特開２００３−０１６４２７

しかしながら、上記のような固定されたカメラでの画像撮影装置では、対応点の検出が難しく、誤認識する場合が多く、まったく異なる立体画像を生成してしまうことも少なくなかった。特に移動する視標に追従して画像を撮影しようとすると、左右の視線で異なる物体を追いかけてしまうこともあった。

さらに、捕らえた視標について、より精細な情報を得ようと思っても、２つのカメラが相対的に固定されているためその視標の部分に合わせて拡大する（ズームする）というようなことはできなかった。

また、２つのカメラが自由に制御可能に配置された画像撮影装置も一部開発されているが、個々のカメラがそれぞれ他のカメラに対して所定の関係を持って制御されるようなものではないので、視標を誤認した場合にはそのままそれぞれ別の視標を追いかけ続けてしまうこともあった。さらに、速度的にも視標に追従できず、視野から外れた場合の復帰等にも問題があった。

さらに、このようなカメラをロボットの眼球に用いた場合、２つのカメラの動きが完全に独立しているため人間の眼球とは異なる動きをしてしまい、非常に不自然な目の動きとなってしまう場合が多かった。

本発明は、斯かる実情に鑑み、追従撮影において視標に対する誤認が少なく、撮影される視標の解像度を高くすることも可能で且つ追従性も高い画像撮影装置を提供しようとするものである。また、立体画像の生成だけでなく、視標の位置座標を高精度に計測することも可能な画像撮影装置を提供しようとするものである。さらに、人間の眼球に近いより自然な目の動きが可能なロボットを提供しようとするものである。

上述した本発明の目的を達成するために、本発明による画像撮影装置は、その視野内に視標が入るような視線で視標を撮影する独立制御可能な２つのカメラユニットであって、各カメラユニットは少なくとも１つの画角を有するカメラ部を有し、該カメラ部は撮像領域が物理的、電気的又は処理的に分割された少なくとも２つの分割領域を画定可能な撮像素子を有する、２つのカメラユニットと、各カメラユニットを所定の向きにそれぞれ制御可能なアクチュエータと、各カメラユニットにおけるカメラ部の撮像素子のどの分割領域で視標が撮影されるかに応じて、各カメラユニットが所定の動作を行なうようにアクチュエータを制御する制御装置とを具備するものである。

ここで、分割領域は、カメラユニットの視野が水平になるようにカメラユニットを配置したときの撮像素子の各受光素子の縦配列方向左右に分割された領域である。また、縦配列方向は、撮像素子の中心を通る方向であれば良い。

また、制御装置は、衝動性眼球運動に対応する動作、又は滑動性眼球運動に対応する動作の少なくともどちらかの動作を各カメラユニットが行なうように、アクチュエータを制御すれば良い。

また、制御装置は、カメラ部から出力された画像の中心領域近傍に視標を捕らえるために衝動性眼球運動に対応する動作を行なうようにアクチュエータを制御した後、カメラ部から出力された画像の中心領域で視標を捕らえるために滑動性眼球運動に対応する動作を行なうようにアクチュエータを制御しても良い。

撮像素子の中心付近には分割領域が画定されないものであっても良い。また、カメラ部は広角側と狭角側の２つ以上の画角を有し、撮像素子はより広角側の画角で撮影する場合は分割領域を画定するが、より狭角側の画角で撮影する場合は分割領域を画定しないものであっても良い。

カメラユニットは、カメラ部から出力された画像の中心領域から外れたところで視標を捕らえているときは広角側の画角で撮影し、カメラ部から出力された画像の中心領域で視標を捕らえているときは狭角側の画角で撮影するものであっても良い。

ここで、カメラ部は、画角の異なる２つ以上のカメラにより構成されるか、ズームレンズを有するカメラにより構成されれば良い。

さらに、狭角側の画角で撮影しているときのカメラユニットの回転角度を用いて、視標の位置を計測しても良い。

また、アクチュエータは、各カメラユニット間の距離を制御できるようにしても良い。さらに、高速動作可能なアクチュエータと高精度動作可能なアクチュエータの２つの組み合わせからなるものであっても良い。

さらに、各カメラユニットのカメラ部が有する撮像素子は、カメラユニットの視野が水平になるようにカメラユニットを配置したときの撮像素子の各受光素子の横配列方向上下に物理的、電気的又は処理的に分割された領域をさらに有するように構成しても良い。この横配列方向は、撮像素子の中心を通る方向であれば良い。

また、本発明に係る２つの眼球を有するロボットは、その視野内に視標が入るような視野で視標を撮影する独立制御可能な２つの眼球ユニットであって、各眼球ユニットは少なくとも１つの画角を有するカメラ部を有し、該カメラ部はその撮像領域が物理的、電気的又は処理的に分割された少なくとも２つの分割領域を画定可能な撮像素子を有する、２つの眼球ユニットと、各眼球ユニットを所定の向きにそれぞれ制御可能なアクチュエータと、各眼球ユニットにおけるカメラ部の撮像素子のどの分割領域で視標が撮影されるかに応じて、各眼球ユニットが所定の動作を行なうようにアクチュエータを制御する制御装置とを具備するものである。

本発明の画像撮影装置には、移動する視標を高精度、高精細、高速度に撮影・計測可能であるという利点がある。また、自然な目の動きが可能となるため、より違和感の少ないロボットも実現可能であるという利点もある。

以下、本発明を実施するための最良の形態を図示例と共に説明する。図１は、本発明の画像撮影装置の概略を説明するためのブロック図である。図示の通り、本発明の画像撮影装置は、２つのカメラユニット１とアクチュエータ２と制御装置３とからなる。カメラユニット１は、視野内に視標３０が入るような視線で視標３０を撮影するものである。なお、本明細書中で「視標」とは、ターゲットとなる物体や、その物体の所定のポイントの部分を含む概念である。本発明の画像撮影装置は、このように２つのカメラユニットで立体画像を撮影したり視標の位置情報を検出したりするものである。

カメラユニット１は、図２に示すようなカメラ部を有する。図２は、本発明のカメラユニットに用いられるカメラ部の種々の態様を例示するものである。図２（ａ）はカメラ部１０が単焦点レンズ１１と撮像素子１２とから主に構成されるものである。単焦点レンズ１１は、視野をある程度広く取るために、広角レンズであることが好ましい。例えば人間において広い風景を眺めているような場合には眼球は６０度程度の画角を有すると言われているので、この画角になるようなレンズを用いれば良い。

また、本発明の画像撮影装置の場合、カメラ部１０は単焦点レンズにより１つの画角を実現するものに限らず、複数の画角を有するように構成しても勿論良い。図２（ｂ）は、カメラユニット１が隣接して配置される２つのカメラ部１０，１０’とから構成されるものであり、カメラ部１０が広角側の画角を有するレンズ１３から構成され、カメラ部１０’が狭角側の画角を有するレンズ１４から構成されるものである。この場合、広角側で撮影するときは撮像素子１２からの信号を出力し、狭角側で撮影するときは撮像素子１２’からの信号を出力するように適宜切り替えれば良い。また、切り替えずに、広角側と狭角側の両方のカメラ部で同時に撮影し、狭角側のカメラ部で精細データを撮りつつ、広角側のカメラ部で広範囲に視標を探して行くことも可能である。

さらに、図２（ｃ）に示すように、レンズがズームレンズ１５で構成されているものであっても良い。所定の画角になるように適宜ズームレンズ１５を制御することで、必要な画像信号が得られる。なお、この場合にもさらに広角側の画角を有するカメラ部を併用し、上記と同様に同時に撮影することも可能である。

次に、本発明の画像撮影装置に用いられる撮像素子の詳細を説明する。図３は、本発明の画像撮影装置のカメラ部に用いられる撮像素子を説明するための概略表面図である。図３（ａ）に示すように、撮像素子１２には、物理的、電気的又は処理的に分割された少なくとも２つの分割領域が画定されている。図３（ａ）の例では、分割領域を画定する分割線は、図面上縦方向にあり、これは撮像素子の各受光素子の縦配列方向に対応するものである。より正確には、分割領域は、カメラユニット１の視野が水平になるように配置したときの、撮像素子の各受光素子の縦配列方向左右に分割された領域である。また、図示例では、縦配列方向が撮像素子の中心を通る方向となるように示されている。なお、これは中心を通る方向である必要は必ずしもなく、左右どちらかに偏った分割線であっても良く、使用目的等により適宜変更可能である。人間の眼球の動きに沿った制御を行なう場合、一般的には中心を通る方向に分割されるのが都合が良いため、以下の説明では中心を通るものについて主に説明する。

また、図３（ｂ）に示すように、撮像素子１２の中心付近は分割されない領域となっていても良い。後に詳説するが、この部分で視標を捕らえているときには、滑動性眼球運動のみを行なうようにする等の制御が可能なようにこのように構成する。また、この中心領域２２は、人間の眼球における中心窩と呼ばれる場所に対応する領域として機能するように、他の部分に比べて高解像度の画像信号が得られるように構成されていても良い。具体的には、中心領域２２の受光素子密度を他の領域に比べて高く構成したり、中心領域２２以外の部分の受光素子からの画像信号は間引いて処理することで、中心領域２２の解像度を他の領域に比べて高く構成したりすれば良い。

さらに、図３（ｃ）に示すように、撮像素子１２は横方向上下にも分割されても良い。より正確には、カメラユニット１の視野が水平になるように配置したときの撮像素子の各受光素子の横配列方向上下に物理的、電気的又は処理的に分割されている。したがって、この場合には合計４つの分割領域に分けられている。図示例では横配列方向が撮像素子の中心を通る方向となるように示されているが、これも中心を通る方向である必要は必ずしもなく、上下どちらかに偏った分割線であっても良い。

ここで、上述の分割領域は、電気的に分割処理を行なうことで分離しても良いし、２つ以上の撮像素子を用いることで物理的に分割しても良い。さらに、撮影された画像をコンピュータ等に取り込んで画像処理を行なう段階で、ソフトウェアにおける処理的に分割するようにしても良い。

なお、このように分割したのは、人間の眼球の網膜の構造に着目したことによる。人間の眼球の網膜は、中心窩を中心に上下左右に４分割されており、各々の分割された網膜からの情報は神経を経由して脳内の異なる視覚野で処理されていることが知られている。本願は、この網膜の４分割構造と眼球運動制御との関係を解析し、画像処理装置におけるカメラユニットの制御に応用したものである。

そして、本発明の画像処理装置は、図１に示すように、各カメラユニット１を所定の向きに制御可能なアクチュエータ２を具備する。アクチュエータ２は、サーボ機構等からなるものであり、カメラユニット１が２自由度乃至３自由度を有するように構成する。また、カメラユニット１の向きを制御するだけでなく、各カメラユニット間の距離を近づけたり遠ざけたりするような制御を可能としても良い。このカメラユニット間の距離は、視標の位置測定を行なう場合における測定精度に影響を及ぼすものである。すなわち、カメラユニット間の距離が大きいほど精度が高くなる。但し、視標までの距離に対してカメラユニット間の距離が大き過ぎる場合には、それぞれのカメラユニットからの画像が大きく異なることになるため、画像認識等が困難になる場合がある。したがって、視標の距離に応じて、カメラユニット間の距離を調整できるようにしておけば、より高精度に視標までの距離も測定できるようになる。なお、アクチュエータ２は、高速で移動する視標を追従撮影可能なように、高速動作可能なものを用いるのが好ましいが、高速動作可能なものは一般的に精度が低い場合が多いため、高速動作可能なアクチュエータと高精度動作可能なアクチュエータの２つを組み合わせて、高速に移動させつつ、高精度に制御可能なように構成しても良い。

図１の制御装置３は、これらのアクチュエータ２を所定の動作を行なうように制御するためのものである。以下、カメラユニットをどのように制御するかについて詳説する。なお、以下の説明は最も基本的な構成である、図３（ａ）に示したような縦方向左右に分割した分割領域を有する撮像素子を用いた画像撮影装置について主に説明するが、本発明はこれに限定されず、他の例、例えば図３（ｂ）や図３（ｃ）に示した構成の撮像素子を用いたものであっても勿論構わない。

制御装置３は各カメラユニット１が所定の動作を行なうようにアクチュエータ２を制御する。動作としては、例えば人間の眼球の衝動性眼球運動に対応する動作と、滑動性眼球運動に対応する動作の２つが考えられる。ここで、衝動性眼球運動とは、視野の中にある所定の物に反応してそれに眼球を移動させるまでのすばやい動きをいう。これは視野周辺に存在するものを解像度に優れた中心窩で捕らえるために必要な眼球運動であり、非常にすばやい動き（６００°／秒程度）が可能なものである。また、滑動性眼球運動とは、動いている視標を追っていく滑らかな動きをいう。これは動いているものを追視する動きであり、衝動性眼球運動に比べるとかなり遅い動き（６０°／秒程度）である。このような衝動性眼球運動又は滑動性眼球運動に対応する動作をカメラユニット１がするように、制御装置３がアクチュエータ２を制御する。

縦方向左右に分割領域を画定した場合、図１に示すようにカメラユニットの視野は、カメラユニット１，１の視線が交差する点を基準に、４つの領域Ｉ−ＩＶに分けられる。ここで、この４つの領域Ｉ−ＩＶは、撮像素子１２の分割領域にそれぞれ対応付けて処理することが可能である。すなわち、図１の領域Ｉの位置に視標３０が存在する場合、左側のカメラユニットの左側分割領域と右側のカメラユニットの右側分割領域に視標３０が撮像されることになる。また、領域ＩＩの位置に視標３０が存在する場合、左側のカメラユニットの右側分割領域と右側のカメラユニットの右側分割領域に視標３０が撮像されることになる。また、領域ＩＩＩの位置に視標３０が存在する場合、左側のカメラユニットの右側分割領域と右側のカメラユニットの左側分割領域に視標３０が撮像されることになる。さらに、領域ＩＶの位置に視標３０が存在する場合、左側のカメラユニットの左側分割領域と右側のカメラユニットの左側分割領域に視標３０が撮像されることになる。

したがって、上記のように、撮像される視標３０が撮像素子のどの分割領域で撮影されるかに応じて、所定の動作、例えば上記の衝動性眼球運動や滑動性眼球運動に対応する動作を行なうようにアクチュエータ２を制御する。より具体的には、例えば視標３０が領域ＩＩに存在する場合、左側のカメラユニットの右側分割領域と右側のカメラユニットの右側分割領域に視標３０が撮像されることでこのことが認識でき、領域ＩＩに存在する視標３０が画像の中心領域近傍で捕らえられるように衝動性眼球運動に対応する動作を行なうようにアクチュエータを制御する。そして、カメラユニット１の視野の中心領域近傍で視標３０が捕らえられた後に、滑動性眼球運動に対応する動作を行なうようにアクチュエータを制御して、カメラ部から出力された画像の中心領域で視標３０を捕らえ続けるように制御する。視標３０が移動中は滑動性眼球運動で追従撮影し続けるが、大きく移動した場合等で中心領域から所定距離以上外れた場合、再度どの領域に視標が移動したかを、どの分割領域で撮影されているかということから検出し、それに合わせて衝動性眼球運動に対応する動作を行なうようにアクチュエータを制御し、その後中心領域で捕らえるよう滑動性眼球運動に対応する動作を行なうようにアクチュエータを制御する。

また、領域Ｉや領域ＩＩＩに視標３０が存在する場合、例えばボールがカメラユニット側に近づいてきたり又は遠ざかったりする場合等で、視野内で大きく変動しないような視標の場合、滑動性眼球運動のみで中心領域に視標を捕らえることが可能である。

ここで、カメラ部１０が広角側と狭角側の２つ以上の画角を有する構成のカメラユニットを用いた場合の制御を説明する。例えば図２（ｂ）のカメラ部の構成を用いた場合、カメラ部で撮影された画像の中心領域から外れたところで視標を捕らえているときは、カメラ部１０により広角側の画角で撮影する。そして、画像の中心領域で視標を捕らえているときには、カメラ部１０’により狭角側の画角で撮影する。これにより、注視すべき視標を大きく高解像度で撮影することが可能となる。ここで、広角側の画角で撮影しているときには衝動性眼球運動に対応する動作を行なうように制御し、狭角側の画角で撮影しているときには滑動性眼球運動に対応する動作を行なうように制御すれば、効率的に視標を捕らえつつ、高解像度での撮影が可能となる。

また、カメラ部１０が広角側と狭角側の２つ以上の画角を有する場合には、撮像素子の分割領域を以下のように画定することが可能である。すなわち、例えば図２（ｂ）に示すように２つのカメラ部１０，１０’とから構成されるものの場合、広角側のカメラ部１０は分割領域を画定する撮像素子を用いるが、狭角側のカメラ部１０’は分割領域を画定しない撮像素子を用いる。これは、広角側の画角で撮影するときには領域Ｉ−ＩＶのどこに視標が存在するかに応じて衝動性眼球運動等に対応する動作を行なうようにする必要があるが、狭角側の画角で撮影するときには、視野全体が視標となる場合もあり、また、滑動性眼球運動に対応する動作を行なうように制御すれば良いため、分割領域に応じた制御が不要だからである。

また、図２（ｃ）に示すようにズームレンズ１５を用いたカメラ部の場合には、ズームレンズ１５を広角側にセットした場合には図３（ａ）に示すように２つの分割領域が画定されるが、ズームレンズ１５を狭角側にセットした場合には、分割領域を解除するように撮像素子を構成する。図４を用いて撮像素子とレンズとの関係を説明する。図４は撮像素子とレンズとの関係を説明するための図であり、左側が撮像素子１２の表面概略図、右側がカメラ部１０の上面図である。図４（ａ）に示すように、広角側の画角で撮影するときには撮像素子１２は物理的、電気的又は処理的に分割されている。これにより、カメラユニットの視野が図１に示されるように領域Ｉ−ＩＶに分けられる。そして、図４（ｂ）に示すように、狭角側の画角で撮影するときには、撮像素子１２は分割せずに１つの領域として用いる。すなわち、狭角側の場合には分割領域に応じた所定動作を行なうのではなく、例えば常に滑動性眼球運動に対応する動作を行なうように制御する。

本発明による画像撮影装置によれば、画像の中心領域で視標を捕らえ続けることが可能であるため、狭角側の画角に切り替えて撮影しても視標を捕らえ続けることが可能となり、視標を高解像度で撮影することが可能となる。したがって、視標のうちのある点の位置座標を正確に撮影・計測することが可能となる。また、狭角側の画角で視標のある点を中心に配置して撮影しているときのカメラユニットの回転角度を利用して、視標のある点の位置座標をより正確に計測することも可能となる。これは、従来のような２つのカメラユニットが相対的に固定されておりしかも同一の視標に対して狭角側へのズームができないものでは実現不可能なことである。

以下、画像データとカメラユニットの回転角度の関係について説明する。図５は本発明の画像撮影装置のカメラユニット部分の回転角度や視線の交わる注視点、視標との位置関係を説明するための平面概略図であり、図６は左側のカメラユニットから得られる画像の位置関係を説明するための図であり、図７はｚ軸方向から見た視標の位置関係、図８はｙ軸方向から見た視標の位置関係、図９はｘ軸方向から見た視標の位置関係をそれぞれ説明するための図である。これらの図から、まず、画像データと左側カメラユニットの回転角度との間には、以下の関係を有することが分かる。
但し、δ_ｙとδ_ｘは変換係数であり、カメラユニットの種類やその設置位置に依存するパラメータである。

このような関係式から視標の位置座標が計測可能となる。なお、右側カメラユニットも同様である。また、複数の画角を有するカメラユニットの場合には、最も狭角側を基本とし、その撮像素子の中心にカメラ座標ｘ_Ｅ−ｙ_Ｅ−ｚ_Ｅの原点を設定する。ズームレンズではなくて複数のカメラ部を用いる場合には、最も狭角側のカメラ部を基本カメラ部とし、他のカメラ部はこれに平行に接近させて配置されるので、上記と同様に視標の位置を計測し、カメラ座標ｘ_Ｅ−ｙ_Ｅ−ｚ_Ｅに並行移動処理を行ない、基準となる座標ｘ_Ｅ−ｙ_Ｅ−ｚ_Ｅに対する視標の位置を算出する。本発明では視標を拡大して撮影することが可能であり、視標の所定のポイントに注視点（視線）を持っていくことが可能であるため、このようにして得られる回転角度を用いてより詳細に視標の位置座標が計測可能となる。

次に、図１０を参照して、分割された各領域の画像信号から得られた情報を、それぞれ独自の経路で制御装置に入力することにより、視標が属する領域に応じて異なる制御を行なうことを実現するための制御システムを説明する。図１０は、本発明の画像撮影装置の制御装置の動作を説明するためのブロック図である。図中、図５−９と同様の符号は同様のものを示している。また、Ｍ_ｚ−ｌ（ｓ）とＭ_ｚ−ｒ（ｓ）は、左右それぞれのカメラユニットにおいてｚ軸回転を行なうためのアクチュエータとその制御システムの伝達関数である。Ｇ_Ｉ（ｓ），Ｇ_ＩＩ（ｓ），Ｇ_ＩＩＩ（ｓ），Ｇ_ＩＶ（ｓ）は、視標が図１の領域Ｉ−ＩＶにそれぞれあるときのカメラユニットの運動制御システム（運動制御方法）を示す。また、この運動制御システムへの入力段にはＡＮＤ Ｓｗｉｔｃｈがある。これは、両方の入力のどちらも０ではないときにＯＮになり、それ以外のときはＯＦＦとなるような回路である。１（ｘ）をスイッチング関数と定義すると、入力関数ｘが正のときには１（ｘ）は１であり、負のときは０となる。すなわち、
図１０において、例えばｘ≧０のときは、１（ｘ）ブロックの出力はｘ（ｓ）となる。

このような制御ブロックにより、各カメラユニットにおける視標の位置に応じて、それぞれ所定の動作（運動制御システムＧ_Ｉ（ｓ），Ｇ_ＩＩ（ｓ），Ｇ_ＩＩＩ（ｓ），Ｇ_ＩＶ（ｓ））を行うようにすることが可能である。より具体的には、例えばＧ_Ｉ（ｓ），Ｇ_ＩＩＩ（ｓ）については非共同性眼球運動（よせ運動ともいう）に対応する動作を主に行なう制御アルゴリズムとし、Ｇ_ＩＩ（ｓ），Ｇ_ＩＶ（ｓ）については共同性眼球運動（共役運動ともいう）に対応する動作を主に行なう制御アルゴリズムとすることが可能である。

なお、横方向上下に撮像素子を分割する場合には、図１１に示すような制御装置の動作システムとすることが可能である。図中、Ｇ_Ｕ（Ｓ）は視標が各カメラユニットの横方向上下の上側分割領域にある場合の運動制御システム、Ｇ_Ｄ（Ｓ）は視標が各カメラユニットの横方向上下の下側分割領域にある場合の運動制御システムである。また、Ｍ_ｙ−ｌ（ｓ）とＭ_ｙ−ｒ（ｓ）とは、左右それぞれのカメラユニットにおいてｙ軸回転を行なうためのアクチュエータとその制御システムの伝達関数である。なお、ここでは、人間の眼球の生理的機能と同様に、両カメラユニットが同じように同時に上下運動を行なうことを前提とする。但し、本発明はこれに限定されず、特殊用途等のために異なる運動を行なうように構成しても勿論構わない。

次に、本発明の画像撮影装置により移動する視標を追従撮影する動作について、撮影される画像を用いてより具体的に説明する。図１２は、本発明の画像撮影装置により撮影された画像の模式図であり、左側が左側カメラユニットからの画像、右側が右側カメラユニットからの画像をそれぞれ示している。図１２（ａ）は初期状態の画像であり、図１２（ｂ）は衝動性眼球運動に対応する動作により画像の中心領域近傍に視標を捕らえるようにしたときの画像であり、図１２（ｃ）はさらに画像から移動する視標の運動速度や移動距離を計算し、非共同性眼球運動に対応する動作により中心領域で視標を捕らえつつ、必要により視標の移動に応じて滑動性眼球運動に対応する動作を組み合わせて追従撮影しているときの画像である。

図１の領域を用いて上記の動作を説明すると、図１２（ａ）の段階では視標が領域ＩＶにあるので、共同性の衝動性眼球運動に対応する動作を行ない、中心領域近傍に視標が来るようにする。そして、図１２（ｂ）の段階になると視標が領域ＩＩＩにあるので、非共同性眼球運動に対応する動作を行なうようにする。ここで、視標は移動しているため、それに追従するように滑動性眼球運動に対応する動作も組み合わせて追従撮影をすることで、常に中心に視標が撮影されるようにすることも可能となる。

また、複数の画角を有するカメラ部を用いた画像撮影装置の場合、図１３（ａ）に示すように初期状態では広角側で撮影し、衝動性眼球運動に対応する動作によりまず中心領域近傍に視標を捕らえる（図１３（ｂ））。そして、非共同性眼球運動に対応する動作を行なって中心領域で視標を捕らえるようにしつつ、制御システムの入力信号は狭角側の画角からの画像情報に切り替える（図１３（ｃ））。これにより視標をより詳細に捕らえることが可能となる。さらに、例えば視標の重心部分を追従撮影するのではなく、人間の頭部に対して追従撮影するように命令を与えている場合には、図１３（ｃ）の画像から人間の頭部の部分をパターンマッチング等により検出し、画像における頭部の位置を算出することで、その位置に向かって滑動性眼球運動に対応する動作を行なう（図１３（ｄ））。なお、中心領域から目的とする頭部の部分までの距離が所定量よりも大きい場合には、衝動性眼球運動に対応する動作を行なうことによって中心領域付近に頭部が来るように制御した後に、滑動性眼球運動に対応する動作を行なえば良い。なお、さらに狭角の画角で撮影可能なカメラ部であれば、図１３（ｅ）に示すように、頭部をさらに大きくより精細に撮影することが可能となる。

さて、これまで説明してきた本発明の画像撮影装置を、より具体的なシステムに組み込む一例として、本願発明者により既に出願された特願２００４−２４８８６１や特願２００４−５４５８１に係る両眼協調運動制御システムに組み込んだ場合の例を説明する。図１４は、本願発明の制御システムを両眼協調運動制御システムに組み込んだ場合の制御ブロック図である。スイッチング関数１（ｘ）の部分以外は、上記両眼協調運動制御システムと同様である。

回転角度はそれぞれ次式で求められる。

上記式（３），（４）の各式において、第１項は非共同性運動（よせ運動）、すなわち２つのカメラユニットの向きをそれぞれ他方に対して近づけたり遠ざけたりする特性を表し、第２項は共同性運動（共役運動）、すなわち２つのカメラユニットの一方の向きを他方の向きと同じように動かす特性を表している。ここで、よせ運動の時定数をＴ_ｖとし、共同運動の時定数をＴ_ｃとした場合、これらは以下の式で表される。

図１４におけるσ，ρ，ρ_ｒ，η等の入力信号の影響を考慮したパラメータは、すべて正の数なので、上記式からＴ_ｖ＞Ｔ_ｃであることが分かる。すなわち、例えば領域Ｉに視標が存在する場合、よせ運動は共同運動より整定時間が長いことを意味する。ここで、式（５），（６）において、ρ_ｒ＝０ならばＴ_ｖ＝Ｔ_ｃとなるため、次式が得られる。
この式が表している特性は、よせ運動と共同運動が完全に同じ特性を有し、２つのカメラユニットが完全に独立制御される状態を示している。

また、式（５），（６）において、ρ_ｒ＝ρならばＴ_ｖ＝∞となるため、次式が得られる。
この式が表している特性は、よせ運動がなくなり、共同運動のみが行なわれる特性を有し、２つのカメラユニットが相対的に固定されている状態を示している。

トの回転角度はそれぞれ次式で求められる。
式（１１），（１２）は、式（３），（４）と基本構造が同じであり、よってＴ_ｖ＞Ｔ_ｃであることが分かる。すなわち、領域Ｉと領域ＩＩＩは、基本制御特性は同じでありながら、σ，η及びσ_ｒ，η_ｒを調整することにより、異なるよせ運動と共同運動の特性を得ることが可能となる。もし領域Ｉと領域ＩＩＩとで、制御特性をまったく等しくしたい場合には、σ＝σ_ｒ及びη＝η_ｒと設定すれば良い。

の回転角度はそれぞれ次式で求められる。
式（１３），（１４）は、それぞれ第１項はよせ運動を表し、第２項は共同運動を表しており、共に第１項及び第２項の分母が同じである。すなわち、よせ運動と共同運動は同じ制御特性を持つが、共同運動の制御ゲインはよせ運動よりも大きいことが分かる。これは、よせ運動と共同運動は整定時間は同じであるが、運動幅は共同運動のほうが大きいことを示している。

ここで、η＝η_ｒ，σ＝σ_ｒとなると、よせ運動は完全になくなり、２つのカメラユニットが相対的に固定されている状態となる。この場合、式（１３），（１４）はそれぞれ以下のようになる。

すれば、２つのカメラユニットの回転角度はそれぞれ式（１５），（１６）と同様になる。

特殊用途以外は、一般的にはη＝η_ｒ，σ＝σ_ｒ，ρ_ｒ＜ρに設定する。すなわち、視標が領域Ｉ又はＩＩＩに存在するときは、２つのカメラユニットはよせ運動と共同運動の２つの運動を同時に行なうように制御され、視標が領域ＩＩ又はＩＶに存在するときには、２つのカメラユニットは共同運動のみを行なうようにする。

また、人間の眼球の中心窩と同じ機能を実現する場合には、式（２）のスイッチング関数１（ｘ）を、以下のΔ１（ｘ）に変更して用いる。
すなわち、入力関数ｘがある負の値−δより大きい場合には、Δ１（ｘ）は１であり、小さい場合にはΔ１（ｘ）は０である。なお、２δはカメラ部の中心窩に対応する画角を表す。すなわち、例えば広角側と狭角側の２つの画角を有するカメラ部の場合、狭角側のカメラ部の画角が２δである。また、カメラ部が１つの画角しか有さない場合には、視軸を中心に−αから＋αまでの領域が中心窩に対応する部分であるとすれば、α＝δである。これは、換言すれば視標が中心窩に対応する部分に撮像されたときには、各領域Ｉ−ＩＶに応じた制御を行なうのではなく、スイッチング関数をスルーした単純な制御システムとなるということである。

さらに、衝動性眼球運動をより顕著に得られるようにするため、すなわち視標への切り替え速度を向上するために、図１４を図１５に示すような制御ブロックとしても良い。図中、Φは、衝動性眼球運動を起こすための、中心窩に対応する中心領域からの所定距離を
値がΦよりも大きくなったときに、衝動性眼球運動に対応する動作を行なうようにする。このようにすることで、衝動性眼球運動に対応する動作を行なうときには、視覚フィードバック法等の応答の遅い制御は行なうことなく、視標と視軸との位置関係の角度を用いることにより、予め作成しておいた衝動性眼球運動制御曲線を用いて、図１５に示す制御ブロックに入力する。図１５における他の部分は、図１４に示した制御ブロックと同様であるため、説明は省略する。

本発明の画像撮影装置は、ロボットの眼球の制御にも応用可能である。すなわち、これまで説明してきた装置と同様に、視野内に視標が入るような視野で視標を撮影する独立制御可能な２つの眼球ユニットと、それを所定の向きに制御可能なアクチュエータと、アクチュエータを所定の動作を行なうように制御する制御装置とを具備したロボットである。撮像素子の分割領域に対する視標の位置に応じて所定の動作を行なう点もこれまで説明してきた通りであるため、説明は省略する。このような構成で眼球制御機構を作成すれば、人間の眼球と同じような動きを実現できるため、自然な目の動きが可能なロボットが実現可能となる。

なお、本発明の画像撮影装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

図１は、本発明の画像撮影装置の概略を説明するためのブロック図である。 図２は、本発明の画像撮影装置のカメラ部の種々の構成を説明するための図である。 図３は、本発明の画像処理装置のカメラ部の撮像素子における分割領域を説明するための図である。 図４は、本発明の画像処理装置のカメラ部の画角に対する撮像素子の分割領域の関係を説明するための図である。 図５は、本発明の画像処理装置のカメラユニット部分の回転角度や視線の交わる注視点、視標との位置関係を説明するための図である。 図６は、本発明の画像処理装置の左側のカメラユニットから得られる画像における視標の位置関係を説明するための図である。 図７は、本発明の画像処理装置のカメラユニットのｚ軸方向から見た視標の位置関係を説明するための図である。 図８は、本発明の画像処理装置のカメラユニットのｙ軸方向から見た視標の位置関係を説明するための図である。 図９は、本発明の画像処理装置のカメラユニットのｘ軸方向から見た視標の位置関係を説明するための図である。 図１０は、本発明の画像処理装置の左右に分割した場合の制御装置の動作を説明するための制御ブロック図である。 図１１は、本発明の画像処理装置の上下に分割した場合の制御装置の動作を説明するための制御ブロック図である。 図１２は、本発明の画像処理装置により撮影された画像の模式図である。 図１３は、本発明の画像処理装置のカメラ部が複数の画角を有する場合に撮影された画像の模式図である。 図１４は、本発明の画像処理装置を両眼協調運動制御システムに組み込んだ場合の制御ブロック図である。 図１５は、本発明の画像処理装置を両眼協調運動制御システムに組み込んだ場合の他の制御ブロック図である。

符号の説明

１ カメラユニット
２ アクチュエータ
３ 制御装置
１０ カメラ部
１１ 単焦点レンズ
１２ 撮像素子
１３ 広角レンズ
１４ 狭角レンズ
１５ ズームレンズ
２２ 中心領域
３０ 視標

Claims (16)

1. 視標を追従撮影する画像撮影装置であって、該装置は、
   その視野内に視標が入るような視線で視標を撮影する独立制御可能な２つのカメラユニットであって、各カメラユニットは少なくとも１つの画角を有するカメラ部を有し、該カメラ部は撮像領域が物理的、電気的又は処理的に分割された少なくとも２つの分割領域を画定可能な撮像素子を有する、２つのカメラユニットと、
   前記各カメラユニットを所定の向きにそれぞれ制御可能なアクチュエータと、
   前記各カメラユニットにおけるカメラ部の撮像素子のどの分割領域で視標が撮影されるかに応じて、各カメラユニットが所定の動作を行なうように前記アクチュエータを制御する制御装置と、
   を具備することを特徴とする画像撮影装置。
2. 請求項１に記載の画像撮影装置において、前記分割領域は、前記カメラユニットの視野が水平になるようにカメラユニットを配置したときの撮像素子の各受光素子の縦配列方向左右に分割された領域であることを特徴とする画像撮影装置。
3. 請求項２に記載の画像撮影装置において、前記縦配列方向は、撮像素子の中心を通る方向であることを特徴とする画像撮影装置。
4. 請求項１乃至請求項３の何れかに記載の画像撮影装置において、前記制御装置は、衝動性眼球運動に対応する動作、又は滑動性眼球運動に対応する動作の少なくともどちらかの動作を各カメラユニットが行なうように、前記アクチュエータを制御することを特徴とする画像撮影装置。
5. 請求項４に記載の画像撮影装置において、前記制御装置は、前記カメラ部から出力された画像の中心領域近傍に視標を捕らえるために前記衝動性眼球運動に対応する動作を行なうように前記アクチュエータを制御した後、前記カメラ部から出力された画像の中心領域で視標を捕らえるために前記滑動性眼球運動に対応する動作を行なうように前記アクチュエータを制御することを特徴とする画像撮影装置。
6. 請求項１乃至請求項５の何れかに記載の画像撮影装置において、前記撮像素子は、その中心付近には前記分割領域が画定されないことを特徴とする画像撮影装置。
7. 請求項１乃至請求項６の何れかに記載の画像撮影装置において、前記カメラ部は広角側と狭角側の２つ以上の画角を有し、前記撮像素子はより広角側の画角で撮影する場合は前記分割領域を画定するが、より狭角側の画角で撮影する場合は前記分割領域を画定しないことを特徴とする画像撮影装置。
8. 請求項７に記載の画像撮影装置において、前記カメラユニットは、前記カメラ部から出力された画像の中心領域から外れたところで視標を捕らえているときは広角側の画角で撮影し、前記カメラ部から出力された画像の中心領域で視標を捕らえているときは狭角側の画角で撮影することを特徴とする画像撮影装置。
9. 請求項７又は請求項８に記載の画像撮影装置において、前記カメラ部は、画角の異なる２つ以上のカメラにより構成されることを特徴とする画像撮影装置。
10. 請求項７乃至請求項９の何れかに記載の画像撮影装置において、前記カメラ部は、ズームレンズを有するカメラにより構成されることを特徴とする画像撮影装置。
11. 請求項７乃至請求項１０の何れかに記載の画像撮影装置であって、さらに、狭角側の画角で撮影しているときのカメラユニットの回転角度を用いて、視標の位置を計測することを特徴とする画像撮影装置。
12. 請求項１乃至請求項１１の何れかに記載の画像撮影装置において、前記アクチュエータは、さらに、前記各カメラユニット間の距離を制御可能であることを特徴とする画像撮影装置。
13. 請求項１乃至請求項１２の何れかに記載の画像撮影装置において、前記アクチュエータは、高速動作可能なアクチュエータと高精度動作可能なアクチュエータの２つの組み合わせからなることを特徴とする画像撮影装置。
14. 請求項１乃至請求項１３の何れかに記載の画像撮影装置において、前記各カメラユニットのカメラ部が有する撮像素子は、前記カメラユニットの視野が水平になるようにカメラユニットを配置したときの撮像素子の各受光素子の横配列方向上下に物理的、電気的又は処理的に分割された領域をさらに有することを特徴とする画像撮影装置。
15. 請求項１４に記載の画像撮影装置において、前記横配列方向は、撮像素子の中心を通る方向であることを特徴とする画像撮影装置。
16. ２つの眼球を有するロボットであって、該ロボットは、
    その視野内に視標が入るような視野で視標を撮影する独立制御可能な２つの眼球ユニットであって、各眼球ユニットは少なくとも１つの画角を有するカメラ部を有し、該カメラ部はその撮像領域が物理的、電気的又は処理的に分割された少なくとも２つの分割領域を画定可能な撮像素子を有する、２つの眼球ユニットと、
    前記各眼球ユニットを所定の向きにそれぞれ制御可能なアクチュエータと、
    前記各眼球ユニットにおけるカメラ部の撮像素子のどの分割領域で視標が撮影されるかに応じて、各眼球ユニットが所定の動作を行なうように前記アクチュエータを制御する制御装置と、
    を具備することを特徴とするロボット。