JP7079123B2 - 撮像装置及びその制御方法、撮像システム - Google Patents

Description

本発明は、ロボットアームと被写体との位置関係に基づいて撮像装置を制御する技術に関するものである。

例えば、組立用のロボット等においては、ロボットアームによりワークをピック＆プレイスする際に、カメラを用いてロボットを制御することが行われている。この制御は、ロボットアームの手先部に取り付けられたカメラにより、そのワークを撮影し、その撮影画像データからワークの位置を検出し、検出位置にロボットアームを移動させてハンドでワークを把持するというものである。

この種のロボット制御装置として、特許文献１には、カメラに焦点調節機能、焦点距離調節機能、絞り調整機能等を有する光学系調節手段を有し、ワークを撮影した撮影画像データに基づいて光学系調節手段を制御する装置が記載されている。

特開２００３－２１１３８２号公報

しかしながら、上記の従来技術では、ビジュアルサーボと称される視覚フィードバッグ制御により、対象物の特徴量を目標データとして記憶し、目標データ記憶時と誤差が少なくなるようにピント、焦点距離、絞りを調節する構成となっている。

この制御では、対象物を撮影し、撮影した撮影画像を視覚認識装置に送信し、視覚認識装置で目標データと現在データとを比較してその誤差を算出し、誤差を減少させる（０となる）ように再度ロボット制御およびカメラ制御を繰り返す。そのため、誤差を減少させるために時間がかかる。その場合、ロボットアームの動作のスムーズな動きを阻害してしまう。

また、対象物にピントを合わせる場合、対象物を撮影し、撮影した撮影画像からピントが合っているか否かを確認しながらピント位置を調整していると、対象物までの距離が様々である場合には、各距離で同じ制御を行う必要が出てくるので時間がかかる。

そのため、自動でピントを合わせるオートフォーカスの機能を備えることが考えられるが、合焦位置から離れた位置からピントが合う位置を探索していては、ピントが合うまでに時間がかかる。

また、対象物の画像全体がカメラの視野内に収まるように焦点距離を調節する場合、カメラの視野から対象物の画像の一部あるいは全部が外れてしまっているか否かを確認しながら焦点距離を調整していると時間がかかる。

また、対象物の露光条件を適切にする場合、対象物までの距離により周囲光の環境が異なることが想定される。撮影画像から露光条件が適切か否かを確認しながら露出を調整していると時間がかかる。

そのため、対象物の周囲の光を検出して、絞り量、シャッタースピード、ゲインを自動で調節するＡＥ機能を備えることが考えられるが、対象物に適切な露光条件に安定するまでに時間がかかるという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもカメラの制御にかかる時間を短縮できるようにすることである。

本発明に係わる撮像装置は、ロボットアームに取り付け可能な撮像装置であって、ロボットアームを制御する制御装置から前記ロボットアームの状態の情報を受信する受信手段と、被写体像を撮像する撮像手段と、被写体に対する前記撮像手段の撮像動作を制御する撮像制御手段と、被写体の第１のサイズ情報と被写体までの第１の距離情報を記憶する記憶手段と、を備え、前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、フォーカスレンズの移動を制御することで焦点状態の調節動作を制御し、前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離情報が第２の距離情報であった場合、前記第１のサイズ情報と前記第１の距離情報と前記第２の距離情報とに基づいて、焦点状態を検出するための領域を設定することを特徴とする。

本発明によれば、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもカメラの制御にかかる時間を短縮することが可能となる。

本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図。 撮像装置、画像処理コントローラ、ロボットアームの外観を模式的に表した図。 第１の実施形態における撮像装置のフォーカス制御を示すフローチャート。 第２の実施形態における撮像装置のカメラ制御を示すフローチャート。 第３の実施形態におけるキャリブレーション処理を示すフローチャート。 第３の実施形態におけるアームとカメラの構成を示す図。 第３の実施形態におけるキャリブレーション情報の例を示す図。 第３の実施形態における撮影画像の例を示す図。 第３の実施形態におけるＡＦ枠設定処理に関するフローチャート。 第３の実施形態におけるＡＦ枠オフセットとサイズを示す図。

（第１の実施形態）
＜撮像システムの構成＞
本発明の第１の実施形態における撮像システムについて説明する。この撮像システムでは、ロボットアームと被写体の位置に基づいて、ロボットアームに設置された撮像装置の制御を行う。

図１Ａは、本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図である。この撮像システムは、撮像装置１００と、画像処理コントローラ１２０と、ロボットアーム１３０とが通信可能に接続されて構成されている。

撮像装置１００には、撮像光学系として、第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４、フォーカスレンズ１０５（フォーカスコンペンセータレンズ）が配置されている。変倍レンズ（ズームレンズ）１０２を光軸に沿う方向に移動することにより変倍（ズーム調節）を行い、焦点距離を変えることができる。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

ズーム駆動源１０９は変倍レンズ１０２を移動させる駆動源である。絞り駆動源１１０は絞り１０３を動かすための駆動源である。フォーカシング駆動源１１１はフォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１０９、絞り駆動源１１０、フォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

撮像装置１００は、さらに撮像素子１０６、ＣＤＳ／ＡＧＣ回路１０７、カメラ信号処理部１０８、タイミングジェネレータ１１２、ＡＦ信号処理部１１３、記録部１１５、カメラマイクロコンピュータ１１４（以下、単にカメラマイコンという）、通信装置１１６を備える。

撮像素子１０６は被写体像を光電変換する素子であって、ＣＣＤやＣＭＯＳセンサなどから構成されている。撮像素子１０６は行列状に複数の画素部を有する。撮像光学系を通過した光束は撮像素子１０６の受光面上に結像され、各画素部が有するフォトダイオード（光電変換部）によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラマイコン１１４の指令に従ってタイミングジェネレータ１１２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子１０６から順次読み出される。

撮像素子１０６から読み出された出力信号は、サンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路１０７に入力される。カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に対して各種の画像処理を施して、画像信号を生成する。第１の実施形態における画像信号は、ロボット制御に用いるための静止画像や動画像の信号である。記憶部１１５は、カメラ信号処理部１０８からの画像信号を記憶する。

ＡＦ信号処理部１１３はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートを通過した信号から高周波成分や輝度差成分（ＡＦゲートを通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、カメラマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的にＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。

カメラマイコン１１４は、撮像装置１００全体の動作の制御を司るとともに、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御（自動焦点調節制御）を行う。カメラマイコン１１４は、ＡＦ制御として、ＴＶ－ＡＦ方式でのＡＦ制御（以下、単に「ＴＶ－ＡＦ」という。）を行う。ＴＶ－ＡＦ方式とは上記のようなコントラスト検出により焦点検出を行う焦点検出方式である。また、カメラマイコン１１４は、ズーム駆動源１０９を制御して変倍レンズ１０２を移動させ焦点距離制御を行い、絞り駆動源１１０を制御して絞り１０３を動作させる絞り制御を行う。

通信装置１１６は、画像処理コントローラ１２０と通信を行うための装置である。画像処理コントローラ１２０は、撮像装置１００への撮影指示、撮影した画像の解析、および各カメラ制御（フォーカス制御、露出制御、焦点距離制御）の指示を行う。また、ロボットアーム１３０の動作状態やロボットアーム１３０の位置状態に基づいて被写体までの距離を撮像装置１００へ送信（通知）するとともに、カメラの撮影状態の受信等を行う。さらにロボットアーム１３０への操作指示を行うものである。なお、上記のロボットアーム１３０の動作状態やロボットアーム１３０の位置状態は、ロボットアーム１３０に備えられた各種のセンサの検出値や画像処理コントローラ１２０からロボットアーム１３０に送られる指示コマンドなどから判断される。また、データの送受信は、所定の通信プロトコルに準じて行われる。ここでは、あらかじめ各種指示ごとに決められたコマンドを用いてデータの送受信を行う。

画像処理コントローラ１２０は、ＣＰＵ１２１、一次記憶装置１２２、二次記憶装置１２３、通信装置１２４、表示部１２５、操作部１２６を備える。ＣＰＵ１２１は、画像処理コントローラ１２０全体を制御する。二次記憶装置１２３は、ハードディスクなどからなり、ＣＰＵ１２１を動かすプログラムを格納する。一次記憶装置１２２は、ＲＡＭなどからなり、二次記憶装置１２３から読み込まれたプログラムが格納される。通信装置１２４は、撮像装置１００やロボットアーム１３０と通信を行う。表示部１２５は撮影画像の表示、対話的な操作のための文字表示などを行う。操作部１２６は、使用者の操作を受け付ける。

撮像装置１００はロボットアーム１３０に固定されている。ロボットアーム１３０が動くと、撮像装置１００の撮影範囲が変更される。また、ロボットアーム１３０は、アーム先端のロボットハンドを使って撮影対象物を把持することができる。ＣＰＵ１３１はロボットアーム１３０全体を制御する。通信装置１３２は、画像処理コントローラ１２０と通信を行う。

また、図１Ｂは撮像装置１００、画像処理コントローラ１２０、ロボットアーム１３０の外観を模式的に表した図である。なお、本実施形態では画像処理コントローラ１２０が親となり、撮像装置１００とロボットアーム１３０に指示を送るものとする。

＜フォーカス制御処理＞
次に、カメラマイコン１１４が実行するフォーカス制御処理について説明する。ここでは、ＴＶ－ＡＦ方式により、フォーカスレンズ１０５を移動させ、フォーカスレンズ１０５の位置ごとのＡＦ評価値信号を取得しながら、ＡＦ評価値信号が最大となるフォーカスレンズ位置を探索する。そして、最終的に、フォーカスレンズ１０５をＡＦ評価値信号が最大となるフォーカスレンズ位置へ移動させて停止させるワンショットＡＦ動作を実行する。

図２は、図１におけるカメラマイコン１１４が実行するフォーカス制御処理を示すフローチャートである。本処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。また、本処理は、例えば、１フィールド画像（以下、１フレーム、１画面ともいう）を生成するための撮像素子１０６からの画像信号の読み出し周期（垂直同期期間ごと）で実行される。ただし、垂直同期期間（Ｖレート）内に複数回繰り返すようにしてもよい。

まず、Ｓ２０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からのコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ２０１でＹｅｓ）、Ｓ２０２へ移行し、コマンドを受信していない場合（Ｓ２０１でＮｏ）、Ｓ２１３へ移行する。

Ｓ２０２では、カメラマイコン１１４は、ロボットアームの位置状態に基づく被写体までの距離情報を、画像処理コントローラ１２０から受信する受信コマンドか否かを判定する。被写体までの距離情報の受信コマンドの場合（Ｓ２０２でＹｅｓ）、画像処理コントローラ１２０から送られてくる被写体の距離情報を取得し（Ｓ２０３）、被写体の距離情報をフォーカスレンズの位置情報へ換算する（Ｓ２０４）。被写体の距離情報のフォーカスレンズの位置情報への換算は、あらかじめズーム位置に応じてフォーカスレンズ位置に対する被写体距離を記憶した不揮発性メモリ等の情報に基づいて行えばよいが、これに限定されるものではない。

Ｓ２０５では、カメラマイコン１１４は、フォーカスレンズ１０５を、Ｓ２０４で算出したフォーカスレンズ位置へ移動させ、Ｓ２０６では、ワンショットＡＦ動作中フラグをクリアしておく。

Ｓ２０２において、被写体までの距離情報の受信コマンドでない場合（Ｓ２０２でＮｏ）、Ｓ２０７において、ワンショットＡＦコマンドか否かを判定する。ワンショットＡＦコマンドでない場合（Ｓ２０７でＮｏ）は処理を終了し、ワンショットＡＦコマンドである場合（Ｓ２０７でＹｅｓ）、Ｓ２０８において、ワンショットＡＦ動作中フラグが立っているか否かを判定する。

ワンショットＡＦ動作中フラグが立っている場合（Ｓ２０８でＹｅｓ）、Ｓ２１０においてワンショットＡＦ動作処理を継続する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２０８でＮｏ）、Ｓ２０９においてワンショットＡＦ動作中フラグを立て、Ｓ２１０においてワンショットＡＦ動作を開始する。

そして、Ｓ２１１でワンショットＡＦ動作が終了したか否かを判定する。ワンショットＡＦ動作が終了していない場合（Ｓ２１１でＮｏ）は処理を終了し、ワンショットＡＦ動作が終了した場合（Ｓ２１１でＹｅｓ）、Ｓ２１２においてワンショットＡＦ動作中フラグをクリアする。

Ｓ２１３では、ワンショットＡＦ動作中フラグが立っている場合（Ｓ２１３でＹｅｓ）、Ｓ２１０においてワンショットＡＦ動作を継続する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２１３でＮｏ）、処理を終了する。

なお、本実施形態では、被写体までの距離情報の受信コマンドおよびワンショットＡＦコマンドを受信した後、各コマンド制御が終了するまで次のコマンドを受け付けないシーケンスを前提に記載しているが、本発明はこれに限定されるものではない。例えば、被写体までの距離情報の受信コマンドを所定の周期で定期的に受信するようにした場合には、ワンショットＡＦコマンド制御が実行されている際には、被写体距離情報の受信コマンドを受けつけないようにすればよい。

以上の動作により、画像処理コントローラ１２０から対象物までの距離、もしくはこれから移動しようとしている対象物までの距離を撮像装置１００が受信する。その距離に基づいてフォーカスレンズを移動することにより、ロボットアーム１３０が動作している間に、合焦位置近傍へフォーカスレンズを移動させることができ、ロボットアーム１３０が動作した後のピント合わせにかかる時間を短縮することができる。また、ワンショットＡＦ動作でのピント合わせにかかる時間も短縮することができる。

また、被写体までの距離情報の受信コマンドにより受信した被写体の距離情報の変化量が所定値以下の場合には、フォーカスレンズの移動を禁止する方法も考えられる。被写体の距離情報の変化が被写界深度内もしくは焦点深度内である場合には、フォーカスレンズを移動しなくてもピントが合っている。そのため、対象物の画像認識に対して影響を及ぼすことはなく、逆にフォーカスレンズの移動時間を短縮できる。この場合、所定値は、被写界深度もしくは焦点深度に基づいて決めればよい。また、被写体の距離情報の変化が小さい場合には、ロボットアーム１３０の移動量も小さい。このとき、ロボットアーム１３０が移動している間にフォーカスレンズが移動できないと時間の短縮にならない。この場合、所定値はロボットアーム１３０の移動速度とフォーカスレンズの移動速度とから決定すればよい。また、被写体距離ごとに被写体距離の変化量に対するフォーカスレンズの移動量が異なるため、被写体距離ごとに所定値を変更してもよい。

（第２の実施形態）
図３は、図１におけるカメラマイコン１１４が実行する焦点距離制御、絞り制御、露出制御等（撮像動作）の各種のカメラ制御処理（撮像制御）を示すフローチャートである。本処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。

まず、Ｓ３０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からのコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ３０１でＹｅｓ）、Ｓ３０２へ移行し、コマンドを受信していない場合（Ｓ３０１でＮｏ）、Ｓ３１３へ移行する。

Ｓ３０２では、カメラマイコン１１４は、ロボットアームの位置状態に基づく被写体までの距離情報を、画像処理コントローラ１２０から受信する受信コマンドか否かを判定する。被写体までの距離情報の受信コマンドの場合（Ｓ３０２でＹｅｓ）、画像処理コントローラ１２０から送られてくる被写体の距離情報を取得し（Ｓ３０３）、被写体の距離情報を各カメラ制御パラメータへ換算する（Ｓ３０４）。

ここで、各カメラ制御は、焦点距離制御、絞り制御、シャッタースピード制御（シャッタースピード変更制御）、ゲイン制御（ゲイン変更制御）を示している。被写体の距離情報に対して予め決められた焦点距離位置、絞り位置、シャッタースピード値、ゲイン値が、不図示の不揮発性メモリ等に記憶されている。そして、カメラマイコン１１４は、被写体の距離情報に対応する焦点距離位置、絞り位置、シャッタースピード値、ゲイン値をこの不揮発性メモリから取得する。

例えば、焦点距離制御では、対象物までの距離が近いほど、対象物が大きくなる。そのため、対象物までの距離が近いほど撮影範囲を広くし、撮影範囲をはみださないようにする。つまり、焦点距離制御は、対象物までの距離が近いほど、焦点距離が短くなるパラメータを記憶しておく。

また、絞り制御では、対象物までの距離が近いほど、被写界深度が狭くなってしまう。そのため、ピント位置が高精度である必要がある。そこで、絞り制御では、対象物までの距離が近いほど、小絞りになるパラメータを記憶しておく。これにより、ピント合わせの精度の厳密性を低減することが可能となる。

シャッタースピード制御およびゲイン制御では、対象物までの距離が近いほど、対象物がロボットアームで隠れてしまい、暗くなることが考えられる。そのため、適切な露光条件にするためには、対象物までの距離が近いほど、明るく撮影できるようにする必要がある。そのため、シャッタースピード制御およびゲイン制御では、対象物までの距離が近いほど、シャッタースピードが遅くなるように、またゲインが高くなるようにパラメータを記憶しておく。これにより、安定した適切な露光条件になるまでの時間を短縮することが可能となる。

Ｓ３０５において、Ｓ３０４で算出した各カメラ制御パラメータを設定し、設定されたパラメータに基づいて焦点距離制御、絞り制御およびシャッタースピード制御、ゲイン制御を行う。そして、Ｓ３０６において、各カメラ制御動作中フラグをクリアする。

一方、Ｓ３０２において、被写体までの距離情報の受信コマンドでない場合（Ｓ３０２でＮｏ）、Ｓ３０７において、焦点距離制御コマンド、絞り制御コマンド、シャッタースピード制御コマンド、ゲイン制御コマンド等のカメラ制御コマンドか否かを判定する。各カメラ制御コマンドでない場合（Ｓ３０７でＮｏ）は処理を終了し、各カメラ制御コマンドである場合（Ｓ３０７でＹｅｓ）、Ｓ３０８において、各カメラ制御動作中フラグが立っているか否かを判定する。

Ｓ３０８において、各カメラ制御動作中フラグが立っている場合（Ｓ３０８でＹｅｓ）、Ｓ３１０において各カメラ制御処理を継続する。各カメラ制御動作中フラグが立っていない場合（Ｓ３０８でＮｏ）、Ｓ３０９において各カメラ制御動作中フラグを立て、Ｓ３０において各カメラ制御動作を開始する。

そして、Ｓ３１１において、各カメラ制御動作が終了したか否かを判定し、各カメラ制御動作が終了していない場合（Ｓ３１１でＮｏ）は処理を終了する。各カメラ制御動作が終了した場合（Ｓ３１１でＹｅｓ）、Ｓ３１２において各カメラ制御動作中フラグをクリアする。

Ｓ３１３では、各カメラ制御動作中フラグが立っている場合（Ｓ３１３でＹｅｓ）、Ｓ３１０において各カメラ制御動作を継続し、各カメラ制御動作中フラグが立っていない場合（Ｓ３１３でＮｏ）、処理を終了する。

なお、本実施形態では、被写体までの距離情報の受信コマンドおよび各カメラ制御コマンドを受信した後、各コマンド制御が終了するまで次のコマンドを受け付けないシーケンスを前提に記載しているが、本発明はこれに限定されるものではない。例えば、被写体までの距離情報の受信コマンドを所定の周期で定期的に受信するようにした場合には、各カメラ制御コマンドによるカメラ制御が実行されている際には、被写体距離情報の受信コマンドを受けつけないようにすればよい。

以上の動作により、画像処理コントローラ１２０から、対象物までの距離、もしくはこれから移動しようとしている対象物までの距離を撮像装置１００が受信する。その距離に基づいて焦点距離制御、絞り制御、シャッタースピード制御、ゲイン制御を行うことにより、ロボットアーム１３０が動作している間に、対象物を画像認識するために適切な撮影範囲、ピント精度、露光条件にカメラを制御することができる。これにより、ロボットアーム１３０が動作した後の、対象物を画像認識するまでにかかる時間も短縮することができる。それにより、ロボットアーム１３０の動作もスムーズに制御することができる。

（第３の実施形態）
＜キャリブレーション処理＞
図４は、基準となるデータ（図６に示すキャリブレーション情報）を作成するための画像処理コントローラ１２０及びロボットアーム１３０の動作を示すフローチャートである。

ただし、本実施形態においては、「撮像装置１００のレンズ前玉の位置とロボットアーム１３０のハンド先端位置の距離情報」、「レンズ光軸とハンド中心軸の距離（Ｘ）３１３」は予め画像処理コントローラ１２０の二次記憶装置１２３に記憶されているものとする。一方、キャリブレーション位置に移動したときの被写体の距離情報については、ロボットアーム１３０から通知されてもよいし、予め画像処理コントローラ１２０の二次記憶装置１２３に記録されていてもよい。

まず、ユーザーが操作部１２６を介して画像処理コントローラ１２０にキャリブレーション動作指示を入力すると、Ｓ２０１において、ＣＰＵ１２１は通信装置１２４を介してロボットアーム１３０に対してキャリブレーション位置への移動を指示する。

次にＳ２０２において、ＣＰＵ１２１は通信装置１２４を介して撮像装置１００に対してワンショットＡＦの実行指示を通知する。Ｓ２０３では、ＣＰＵ１２１は通信装置１２４を介して撮像装置１００に対して、画像を撮影して送信する旨の要求を通知する。

Ｓ２０４では、ＣＰＵ１２１は撮像装置１００から画像を受信すると、被写体のサイズを算出し、二次記憶装置１２３に記憶してキャリブレーション処理を終了する。被写体のサイズの算出方法と被写体サイズの種類については図６を用いて後述する。

＜キャリブレーション情報＞
次に、上述した図４における処理の結果生成されるキャリブレーション情報について、図５と図６を用いて説明する。まず、図５について説明する。なお、図５において、図１と同様の部分は同じ符号を付して示す。

ハンド部３０１は、ロボットアーム１３０の先端で把持動作を行う可動部分である。ワーク３０２は、ロボットアーム１３０が把持動作を行う対象となる物体、及び撮像装置１００がＡＦや撮影を行う対象となる被写体である。

被写体距離（Ｌ）３１１は、ハンド部３０１の先端からワーク３０２までの距離を示している。撮像装置１００のレンズの前玉からアーム先端までの距離（Ｈ）３１２は、撮像装置１００における第１の固定レンズ群１０１の光軸に対して垂直な平面と、ハンド部３０１の先端が形成する平面との距離を示す。

レンズ光軸とハンド中心軸の距離（Ｘ）３１３は、撮像装置１００の光軸とアーム部１４２の中心軸（略ワークを把持するときの中心軸）との距離を示す。焦点距離（ｌ）３１４は、撮像装置１００の焦点距離を示す。画像中心からのオフセット量（ｘ）３１５は、撮像装置１００においてワーク３０２を撮影したときの撮影画像におけるワーク３０２の中心位置と撮像素子１０６の中心位置との差（オフセット量）を示している。ワークサイズ（Ｗ）３１６は、ワーク３０２の実サイズ（実サイズ情報）を示している。

本発明形態では、前玉からアーム先端までの距離（Ｈ）３１２を５０ｍｍ、レンズ光軸とハンド中心軸の距離（Ｘ）３１３を４０ｍｍ、焦点距離（ｌ）３１４を４．３ｍｍと定義するが、これに限定されるものではない。

次に、図６について説明する。まず、図６において、被写体距離（Ｌ）、被写体サイズ（Ｗ）はそれぞれ図４のキャリブレーション処理において記憶した情報である。また、焦点距離（ｌ）は撮像装置１００が保持している情報である。さらに、物体の矩形サイズ（Ｗ）については図６（ａ）に記載されている物体の矩形サイズ（Ｗの画像上のサイズ）と図６（ｂ）に記載されている物体の矩形サイズ（実サイズＷ）がある。

物体の矩形サイズ（Ｗの画像上のサイズ）を記憶する場合のシーケンスの一例について説明する。

図４のＳ２０２において、ワンショットＡＦ処理が実行された後、画像処理コントローラ１２０のＣＰＵ１２１から通信装置１２４を介して撮像装置１００に画像撮影要求を送信する。撮像装置１００のカメラマイコン１１４が通信装置１１６を介して画像処理コントローラ１２０からの画像撮影要求を受信すると、撮影した画像を通信装置１１６を介して画像処理コントローラ１２０に送信する。

次に、ＣＰＵ１２１は二次記憶装置１２３に記憶されているワーク３０２のサンプル画像と受信した撮影画像をマッチング処理し、類似度が最も高くなる時の撮影画像におけるサイズ情報（本実施形態においてはピクセル数）を二次記憶装置１２３に記憶する。サンプル画像はユーザーがあらかじめ二次記憶装置１２３に記憶しておいてもよいし、ＣＡＤ情報等から予めマッチングのためのサンプル画像を生成しておくようにしてもよい。

一方、物体の矩形サイズ（実サイズＷ）をキャリブレーション情報として記憶する場合は、ユーザーが予めＣＡＤ情報等からワーク３０２の最長となる箇所等をサイズ情報として二次記憶装置１２３に記憶しておく方法が考えられる。

次に、撮像装置１００によりワーク３０２を撮影したときの撮影画像に関して、図７を用いて説明する。

図７（ａ）は被写体距離（Ｌ）３１１が３５０ｍｍ（前玉からアーム先端までの距離（Ｈ）３１２を足すと４００ｍｍ）、ワークサイズ（Ｗ）３１６が１０ｍｍの場合の撮影画像を表した例である。図７（ｂ）は被写体距離（Ｌ）３１１が２５０ｍｍ（前玉からアーム先端までの距離（Ｈ）３１２を足すと３００ｍｍ）、ワークサイズ（Ｗ）３１６が１０ｍｍの場合の撮影画像を表した例である。図７（ｃ）は被写体距離（Ｌ）３１１が１５０ｍｍ（前玉からアーム先端までの距離（Ｈ）３１２を足すと２００ｍｍ）、ワークサイズ（Ｗ）３１６が１０ｍｍの場合の撮影画像を表した例である。

図７（ａ）～図７（ｃ）において、３２０は画面の中心位置を示している。３２１，３３１，３４１は、ワーク３０２を撮影したときの被写体像である。３２２，３３２，３４２は、被写体像３２１，３３１，３４１のそれぞれの中心位置と画面の中心位置３２０との画面上の距離（オフセット量）であり、図５における画像中心からのオフセット量（ｘ）３１５に相当する。

なお、図７（ｃ）のワーク３０２を撮影した被写体像である３４１は撮影画像外にフレームアウトしており、フレームアウトした部分は撮影されない。また、図中の点線で表記された３２３，３３３，３４３は、後述するＡＦ枠設定処理を実行した結果設定されたＡＦ枠である。

＜ＡＦ枠設定処理＞
次に、図８（ａ）を用いて本実施形態の特徴的な動作であるＡＦ枠の設定処理（焦点検出領域設定処理）について説明する。まず、Ｓ６０１において、カメラマイコン１１４は通信装置１１６を介して画像処理コントローラ１２０から被写体距離情報を受信したか否かを判断する。受信していた場合はＳ６０２に進み、受信していない場合は被写体距離情報を受信するまでＳ６０１を繰り返す。

次にＳ６０２において、カメラマイコン１１４は通信装置１１６を介して画像処理コントローラ１２０からキャリブレーション情報を受信したか否かを判断する。受信していた場合はＳ６０３に進み、受信していない場合はキャリブレーション情報を受信するまでＳ６０２を繰り返す。

次にＳ６０３において、カメラマイコン１１４はＳ６０２とＳ６０３において受信した被写体距離情報とキャリブレーション情報とからＡＦ枠サイズとＡＦ枠の画像中心からのオフセット量を算出する。ＡＦ枠サイズとＡＦ枠の中心からのオフセット量の算出方法については後述する。

次にＳ６０４において、カメラマイコン１１４は、Ｓ６０３において算出したＡＦ枠サイズとＡＦ枠の画像中心からのオフセット量に基づいてＡＦ信号処理部１１３に対してＡＦ信号処理を行う領域を設定する。そして、ＡＦ信号処理部１１３から受信したＡＦ評価値に基づいてワンショットＡＦ処理を実行する。

ここで、ＡＦ枠サイズとＡＦ枠の中心からのオフセット量の算出方法について、図６と図９を用いて説明する。一例として、Ｓ６０１において受信した被写体距離情報（Ｌ２とする）が５５０ｍｍ、Ｓ６０２において受信したキャリブレーション情報が図６（ａ）に示す内容である場合の算出方法について説明する。

受信した被写体距離情報（Ｌ２）とキャリブレーション情報とに基づいて、画像上のオフセット量ｘ（ｐｉｘ）およびＡＦ枠の一片のサイズｗ（ｐｉｘ）は以下の式１及び式２で求められる。

ｘ（ｐｉｘ）＝（４．３＊Ｘ）／（（Ｌ２＋Ｈ）＊０．００１５５） …（式１）
ｗ（ｐｉｘ）＝ｗ’＊（Ｌ＋Ｈ）／（Ｌ２＋Ｈ） …（式２）
上述の（式１）、（式２）において、Ｘは４０ｍｍ、ｗ’は６９ｐｉｘであるので、画像上のオフセットｘ（ｐｉｘ）≒１８５（ｐｉｘ）、ＡＦ枠の一片のサイズｗ（ｐｉｘ）≒４６（ｐｉｘ）となる。

また、Ｓ６０２において受信するキャリブレーション情報が図６（ｂ）に示す内容である場合、（式２）の代わりに下記の（式３）を用いる。

ｗ（ｐｉｘ）＝（４．３＊Ｗ）／（（Ｌ＋Ｈ）＊０．００１５５） …（式３）
Ｗは１０ｍｍであるので、ＡＦ枠の一片のサイズは（式２）の結果と同様にｗ（ｐｉｘ）≒４６（ｐｉｘ）となる。

（式１）に関して、被写体距離に応じた中心座標のオフセット量（ｐｉｘ）の関係を表したグラフを図９（ａ）に示す。図９（ａ）から、被写体距離が短くなるほどオフセット量が大きくなることがわかる。本実施形態において、画像のサイズを１９２０ｐｉｘ×１０８０ｐｉｘとすると、画像の短手方向のオフセットが５４０（ｐｉｘ）を超えると、ワーク３０２が半分以上画像の外にフレームアウトしている状態となる。

また、（式３）に関して、被写体距離に応じた画像上の物体サイズ（ｐｉｘ）の関係を表したグラフを図９（ｂ）に示す。図９（ｂ）から、被写体距離が短くなるほど物体サイズ（ｐｉｘ）が大きくなることがわかる。図９（ａ）と図９（ｂ）より、オフセット量（ｐｉｘ）＋物体サイズ（ｐｉｘ）の半分のサイズが５４０（ｐｉｘ）を超えると物体が画像の外にフレームアウトし始めることがわかる。物体が画像の外にフレームアウトした場合、図７（ｃ）に示すようにＡＦ枠はフレームアウトした物体の画像端まで設定するようにする。

ＡＦ枠は、上述の方法により求めた撮影画像上のワーク３０２のサイズがちょうど収まるサイズに設定してもよいし、アーム部１４２の駆動誤差や上述したマッチングの精度等を考慮して所定割合または所定量だけ大きいＡＦ枠を設定してもよい。

＜ＡＦ制御処理＞
次に図８（ｂ）を用いてＡＦ制御処理について説明する。まず、Ｓ６１１において、カメラマイコン１１４は画像処理コントローラ１２０からワンショットＡＦコマンドを受信したか否かを判断する。ワンショットＡＦコマンドを受信した場合はＳ６１２に進み、受信していない場合はワンショットＡＦコマンドを受信するまでＳ６１１を繰り返す。

次にＳ６１２において、ワンショットＡＦの対象となる被写体がワンショットＡＦ可能な距離にあるか否かを判断する。ワンショットＡＦ可能な距離か否かの判断の一例を以下に説明する。

カメラマイコン１１４がＳ６０１において受信した被写体距離情報に基づいて、被写体距離情報をフォーカスレンズ位置に換算した場合に、記憶部１１５に記憶されているレンズ駆動可能範囲内であるか否かを判断する。レンズ駆動可能範囲内であればワンショットＡＦ可能であると判断し、レンズ駆動可能範囲外であればワンショットＡＦ不可能であると判断する方法が考えられる。

また別の方法として、上述した図９（ａ）と図９（ｂ）から、オフセット量（ｐｉｘ）＋物体サイズ（ｐｉｘ）の半分のサイズが５４０（ｐｉｘ）を超えるか否かを判断する。超える場合は被写体が画像外にフレームアウトするため、ワンショットＡＦ不可能領域であると判断する方法がある。

さらに別の方法として、図９（ａ）から、画像の短手方向のオフセットが５４０（ｐｉｘ）を超えて、ワーク３０２が半分以上画像の外にフレームアウトした状態となった場合にワンショットＡＦ不可能距離であると判断する方法もある。

次にＳ６１３において、ワンショットＡＦを実行する。ワンショットＡＦでは、カメラマイコン１１４がＡＦ信号処理部１１３からＳ６０４において設定したＡＦ枠内の映像信号の高周波成分を抽出し、高周波成分が最も大きくなる位置にフォーカスレンズを駆動させる。ただし、ワンショットＡＦの方法については他の方法による制御を行ってもよい。

次にＳ６１４において、カメラマイコン１１４はワンショットＡＦが完了すると、通信装置１１６を介して画像処理コントローラ１２０にワンショットＡＦが完了した旨の通知をして処理を終了する。一方、Ｓ６１５では、カメラマイコン１１４はワンショットＡＦが不可能である旨の通知を通信装置１１６を介して画像処理コントローラ１２０に通知して処理を終了する。

上記のＡＦ枠設定処理とＡＦ制御処理によって、アーム部１４２と撮像装置１００のパララックスを考慮して最適な位置にＡＦ枠を設定した状態においてワンショットＡＦが実行できる。そのため、所望の被写体以外の被写体にピントが合うことを軽減することができる。

ただし、上述したＡＦ枠設定処理は、図５に示すように撮像装置１００がアーム部１４２に装着され、一体となって動作する場合にのみ適応されるものである。つまり、アーム部１４２の動作とは無関係な位置に撮像装置１００が固定設置されているような場合は、カメラマイコン１１４は、アーム部１４２とワーク３０２との距離によらず固定の位置にＡＦ枠を設定するようにＡＦ信号処理部１１３に指示を出す。

＜変形例＞
なお、本実施形態の構成においては、撮像装置１００はロボットアーム１３０に固定されている状態であり、ロボットアーム１３０に連動して移動するものであった。しかし、撮像装置１００がロボットアーム１３０に固定されておらず、定点位置に置かれている場合も考えられる。その場合は、ロボットアーム１３０の位置によらず、対象物に対するピントや明るさや撮影画角は変わらずおおよそ一定である。そのため、対象物までの距離情報に基づいてフォーカスレンズ制御、焦点距離制御、絞り制御、シャッタースピード制御およびゲイン制御を変更する必要がない。このような理由により、画像処理コントローラ１２０から撮像装置１００がロボットアーム１３０に固定されているのか、それもと定点撮影として固定されているのかを情報として撮像装置１００に送信する。そして、撮像装置１００はその情報に基づいてカメラ制御を変更する（制限する）。

また、画像処理コントローラ１２０は、ロボットアーム１３０と別々の構成としていたが、ロボットアーム１３０内に搭載されている構成でもよい。

また、本実施形態では、画像処理コントローラ１２０からロボットアーム１３０の位置状態に基づいて、対象物までの距離を示す被写体距離情報を撮像装置１００に送信する構成としていた。しかし、ロボットアーム１３０の位置状態を撮像装置１００に送信する構成でもよい。その場合、カメラマイコン１１４において、ロボットアーム１３０の位置状態から対象物までの距離を示す情報に換算すればよい。

さらに、撮像装置１００に対して送信される対象物までの距離を示す被写体距離情報は、現在のロボットアーム１３０の位置状態における対象物までの距離でなくてもかまわない。次にロボットアームが移動しようとしている位置状態での対象物までの距離を示す被写体距離情報を送信することで、ロボットアームが移動しようとしている間に、各カメラ制御を実行することができ、ロボットアーム１３０の動作をスムーズに行うことができる。

＜各実施形態の利点＞
以上説明したように、上記の実施形態では、ロボットアーム１３０の位置状態に基づいて算出した対象物までの距離を示す情報を撮像装置１００が受信する。撮像装置１００では、対象物までの距離を示す情報に基づいて各カメラ制御を実行する。

このように、ロボットアーム１３０の位置、もしくは次に移動しようとしている位置に基づいて対象物までの距離を示す情報を撮像装置１００が受信することにより、対象物の画像を取得し、画像を認識するために最適なピント、画角、明るさ等の撮影条件にカメラ制御を安定させるまでの時間を短縮することができる。これにより、ロボットアーム１３０をスムーズに動作させることが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：撮像装置、１０２：変倍レンズ、１０３：絞り、１０５：フォーカスレンズ、１０６‥‥撮像素子、１０８：カメラ信号処理部、１１３：ＡＦ信号処理部、１１４：カメラマイクロコンピュータ、１１６：通信装置、１２０：画像処理コントローラ、１３０：ロボットアーム

Claims (15)

1. ロボットアームに取り付け可能な撮像装置であって、
   ロボットアームを制御する制御装置から前記ロボットアームの状態の情報を受信する受信手段と、
   被写体像を撮像する撮像手段と、
   被写体に対する前記撮像手段の撮像動作を制御する撮像制御手段と、
   被写体の第１のサイズ情報と被写体までの第１の距離情報を記憶する記憶手段と、を備え、
   前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、フォーカスレンズの移動を制御することで焦点状態の調節動作を制御し、
   前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離情報が第２の距離情報であった場合、前記第１のサイズ情報と前記第１の距離情報と前記第２の距離情報とに基づいて、焦点状態を検出するための領域を設定することを特徴とする撮像装置。
2. 前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づくフォーカスレンズの移動量が所定値以下の場合は、フォーカスレンズを移動させないことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像動作は、焦点距離の調節動作であって、
   前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、ズームレンズの移動を制御することで前記焦点距離の調節動作を制御することを特徴とする請求項１に記載の撮像装置。
4. 前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離が第１の距離よりも近い第２の距離の場合に、前記第１の距離の場合よりも、焦点距離が短くなるようにズームレンズの移動を制御することを特徴とする請求項３に記載の撮像装置。
5. 前記撮像動作は、絞り値の調節動作であって、
   前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、絞りの駆動を制御することで前記絞り値の調節動作を制御することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離が第１の距離よりも近い第２の距離の場合に、前記第１の距離の場合よりも、絞り値が小絞りになるように、前記絞りの駆動を制御することを特徴とする請求項５に記載の撮像装置。
7. 前記撮像動作は、シャッタースピードの変更動作であって、
   前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、前記シャッタースピードを制御することを特徴とする請求項１に記載の撮像装置。
8. 前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離が第１の距離よりも近い第２の距離の場合に、前記第１の距離の場合よりも、シャッタースピードが遅くなるように、前記シャッタースピードを制御することを特徴とする請求項７に記載の撮像装置。
9. 前記撮像動作は、ゲインの変更動作であって、
   前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、前記ゲインを制御することを特徴とする請求項１に記載の撮像装置。
10. 前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離が第１の距離よりも近い第２の距離の場合に、前記第１の距離の場合よりも、ゲインが高くなるように、前記ゲインを制御することを特徴とする請求項９に記載の撮像装置。
11. 前記撮像装置が前記ロボットアームに取り付けられているか、いないかの情報を取得する取得手段を更に有し、
    前記撮像装置が前記ロボットアームに取り付けられていない場合には、前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく前記撮像動作の制御を制限することを特徴とする請求項１に記載の撮像装置。
12. 被写体の前記第１のサイズ情報は、前記撮像手段で撮像した画像に基づいた、前記第１の距離情報を受信したときの被写体のサイズ情報であることを特徴とする請求項１に記載の撮像装置。
13. 被写体の前記第１のサイズ情報は、前記制御装置に予め記憶されている被写体の実サイズ情報であることを特徴とする請求項１に記載の撮像装置。
14. ロボットアームに取り付け可能な撮像装置を制御する方法であって、
    ロボットアームを制御する制御装置から前記ロボットアームの状態の情報を受信する受信工程と、
    被写体像を撮像する撮像手段の撮像動作を制御する撮像制御工程と、
    被写体の第１のサイズ情報と被写体までの第１の距離情報を記憶する記憶工程と、を備え、
    前記撮像制御工程では、前記受信工程において前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、フォーカスレンズの移動を制御することで焦点状態の調節動作を制御し、
    前記撮像制御工程では、前記受信工程において前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離情報が第２の距離情報であった場合、前記第１のサイズ情報と前記第１の距離情報と前記第２の距離情報とに基づいて、焦点状態を検出するための領域を設定することを特徴とする撮像装置の制御方法。
15. ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、
    前記制御装置は、
    前記撮像装置に対して、前記ロボットアームの状態の情報を通知する通知手段を備え、
    前記撮像装置は、
    被写体像を撮像する撮像手段と、
    被写体に対する前記撮像手段の撮像動作を制御する撮像制御手段と、
    前記ロボットアームの状態の情報を受信する受信手段と、
    被写体の第１のサイズ情報と被写体までの第１の距離情報を記憶する記憶手段と、を備え、
    前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づいて、フォーカスレンズの移動を制御することで焦点状態の調節動作を制御し、
    前記撮像制御手段は、前記受信手段により前記制御装置から受信した前記ロボットアームの状態の情報に基づく被写体までの距離情報が第２の距離情報であった場合、前記第１のサイズ情報と前記第１の距離情報と前記第２の距離情報とに基づいて、焦点状態を検出するための領域を設定することを特徴とする撮像システム。

Images