JP2016075658A - 情報処理システムおよび情報処理方法 - Google Patents

Abstract

【課題】被写体の認識精度の低下を抑制することができる情報処理システムおよび情報処理方法を提供する。
【解決手段】パターン投光部は、被写体に対して、パターン光を照射する。撮像部３、４は、それぞれ被写体を撮像して、輝度画像を生成する。コスト算出部５３は、対応画素の候補である候補画素のコスト値を算出する。合成コスト算出部６１は、コスト値を集約させて経路コスト値を算出し、合成コスト値を算出する。サブピクセル推定部６２は、合成コスト値の最小値に対応するシフト量、およびそれに隣接するシフト量における合成コスト値に基づいて、サブピクセル推定を実行する。生成部６３は、サブピクセル単位の視差値に基づいて視差画像を生成する。解析部は、輝度画像または視差画像について画像異常があるか否かを解析する。調光制御部は、パターン光に対して調光制御を実行する。
【選択図】図１１

Description

本発明は、情報処理システムおよび情報処理方法に関する。

近年、物体との距離を測定する技術として、２つのカメラを有するステレオカメラを使用し、三角測量の原理を用いたステレオマッチング処理が使用されている。ステレオマッチング処理とは、一方のカメラで撮像された基準画像と、他方のカメラで撮像された比較画像との間で対応する領域をマッチングすることにより視差値を求め、視差値からステレオカメラと、画像に含まれる物体との距離を算出する処理である。

しかし、被写体である物体を撮像した画像においてテクスチャが弱いと、上述のステレオマッチング処理を施した場合、対応する領域を適切にマッチングさせることが困難となり、正確な視差値を導出しにくくなる。ここで、テクスチャとは、例えば、画像の各画素の明暗により現れる模様、柄、パターン、色またはドット等をいう。

そこで、投光部からパターンを有する光（以下、パターン光という）を照射してテクスチャを形成し、テクスチャが形成された被写体を撮像した画像に対して、ステレオマッチング処理を施す技術が提案されている（特許文献１）。ここで、パターン光のパターンとは、上述のテクスチャを作成するための、光の強弱の分布または色の分布等をいうものとする。このように、テクスチャが形成された画像に対してステレオマッチング処理を施すことにより、視差値の導出の精度を向上させている。

しかしながら、特許文献１に記載された技術では、例えば、被写体の設置状態によって、撮像した画像に黒潰れした状態、白飛びによる飽和状態、または投光部の光の照り返し等の画像異常が生じた場合においては、被写体の認識精度に影響が生じてしまう可能性がある。

本発明は、上記に鑑みてなされたものであって、被写体の認識精度の低下を抑制することができる情報処理システムおよび情報処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、特定のパターンを有するパターン光を被写体に照射して、前記被写体にテクスチャを形成する投光手段と、前記テクスチャが形成された前記被写体を撮像する撮像手段と、前記撮像手段により撮像された撮像画像に基づいて、前記被写体までの距離情報を導出する導出手段と、少なくとも前記撮像画像または前記距離情報に基づく画像のいずれかについて画像異常の有無を解析する解析手段と、前記解析手段により前記画像異常があると解析された場合に、調光制御を実行する調光手段と、を備えたことを特徴とする。

本発明によれば、高精度な視差値を導出することができる。

図１は、撮像装置から物体までの距離を算出する原理を説明する図である。 図２は、基準画像、高密度視差画像およびエッジ視差画像を示す概念図である。 図３は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。 図４は、シフト量とコスト値との関係の一例を示すグラフである。 図５は、合成コストを算出するための概念図である。 図６は、シフト量と合成コスト値との関係の一例を示すグラフである。 図７は、本実施の形態の搬送システムの全体構成の一例を示す図である。 図８は、本実施の形態に係る視差値導出システムのハードウェア構成の一例を示す図である。 図９は、画像におけるパターン光の照り返しの一例を示す図である。 図１０は、照り返しにより生じた視差値の不連続性の一例を示す図である。 図１１は、本実施の形態のステレオカメラの機能ブロックの構成の一例を示す図である。 図１２は、本実施の形態の搬送システムにおける被写体の視差、および背景の視差を説明する図である。 図１３は、本実施の形態におけるシフト量と合成コスト値との関係の一例を示す図である。 図１４は、パターン光を照射する場合および照射しない場合の合成コスト値のグラフを説明する図である。 図１５は、パラボラフィッティングによるサブピクセル推定を説明する図である。 図１６は、最小二乗法によるサブピクセル推定を説明する図である。 図１７は、本実施の形態の搬送システムの動作の一例を示すフローチャートである。 図１８は、本実施の形態の調光制御の動作の一例を示すフローチャートである。 図１９は、本実施の形態のステレオカメラの外観斜視図の一例である。 図２０は、本実施の形態のステレオカメラの平面図および底面図の一例である。 図２１は、本実施の形態のステレオカメラの正面図、背面図および側面図の一例である。 図２２は、本実施の形態の変形例１に係る視差値導出システムのハードウェア構成の一例を示す図である。 図２３は、本実施の形態の変形例２のステレオカメラの機能ブロックの構成の一例を示す図である。 図２４は、本実施の形態の変形例３に係る視差値導出システムの基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。 図２５は、本実施の形態の変形例４に係る視差値導出システムにおいて部品情報選択の画面の一例を示す図である。 図２６は、本実施の形態の変形例４に係る視差値導出システムの基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。 図２７は、本実施の形態の変形例５に係る視差値導出システムのハードウェア構成の一例を示す図である。 図２８は、本実施の形態の変形例５の搬送システムの動作の一例を示すフローチャートである。

［ＳＧＭ法を用いた測距方法の概略］
まず、図１〜６を用いて、本実施の形態の具体的な説明の前に、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を用いた測距方法の概略について説明する。

（測距の原理）
図１は、撮像装置から物体までの距離を算出する原理を説明する図である。図１を参照しながら、ステレオマッチング処理により、ステレオカメラにおける物体に対する視差値を導出し、この視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、以下では、説明を簡略化するため、複数の画素からなる所定領域のマッチングではなく、画素単位のマッチングの例について説明する。

図１に示す撮像システムは、平行等位に配置された撮像装置５１０ａと撮像装置５１０ｂとを有するものとする。撮像装置５１０ａ、５１０ｂは、それぞれ、入射する光を屈折させて物体の像を固体撮像素子であるイメージセンサ（図示せず）に結像させるレンズ５１１ａ、５１１ｂを有する。撮像装置５１０ａおよび撮像装置５１０ｂによって撮像された各画像を、それぞれ比較画像Ｉａおよび基準画像Ｉｂとする。図１において、３次元空間内の物体Ｅ上の点Ｓは、比較画像Ｉａおよび基準画像Ｉｂそれぞれにおいて、レンズ５１１ａとレンズ５１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、比較画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、基準画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、比較画像Ｉａ上の座標における点Ｓａ（ｘ，ｙ）および基準画像Ｉｂ上の座標における点Ｓｂ（Ｘ，ｙ）の座標値を用いて、以下の式（１）のように表される。

ｄｐ＝Ｘ−ｘ （１）

また、図１において、比較画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ５１１ａから撮像面上におろした垂線の交点との距離をΔａとし、基準画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ５１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。

次に、視差値ｄｐを用いることにより、撮像装置５１０ａ、５１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚは、レンズ５１１ａの焦点位置とレンズ５１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図１に示すように、撮像レンズ５１１ａおよび撮像レンズ５１１ｂの焦点距離ｆ、レンズ５１１ａとレンズ５１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記の式（２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／ｄｐ （２）

この式（２）により、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなることがわかる。

（ＳＧＭ法）
次に、図２〜６を用いて、ＳＧＭ法を用いた測距方法について説明する。

図２は、基準画像、高密度視差画像およびエッジ視差画像を示す概念図である。このうち、図２（ａ）は、基準画像を示し、図２（ｂ）は、図２（ａ）に示す基準画像を用いて求められた高密度視差画像を示し、図２（ｃ）は、図２（ａ）に示す基準画像を用いて求められたエッジ視差画像を示す概念図である。ここで、基準画像は、図１に示す基準画像Ｉｂに相当し、撮像された被写体が輝度値によって表された画像である。また、高密度視差画像とは、基準画像の各画素を、ＳＧＭ法によって導出された基準画像における各画素に対応する視差値で表した画像を示すものとする。そして、エッジ視差画像は、基準画像の各画素を、ブロックマッチング法によって導出された基準画像における各画素に対応する視差値で表した画像を示すものとする。ただし、ブロックマッチング法によって導出できる視差値は、後述するように、基準画像におけるエッジ部のような比較的テクスチャの強い部分であり、テクスチャの弱い部分のように視差値を導出できない場合は、例えば視差値を「０」として画像を構成する。

ＳＧＭ法は、画像におけるテクスチャが弱い部分に対しても適切に視差値を導出するための方法であり、図２（ａ）に示す基準画像に基づいて、図２（ｂ）に示す高密度視差画像を生成する方法である。なお、ブロックマッチング法は、図２（ａ）に示す基準画像に基づいて、図２（ｃ）に示すエッジ視差画像を導出する方法である。ＳＧＭ法によれば、図２（ｂ）および図２（ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等においても詳細な視差値に基づく距離を表すことができるため、より詳細な測距を行うことができる。

ＳＧＭ法は、基準画像に対する比較画像上の、一致度としてのコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、さらに、合成コスト値を算出することで視差値を導出する方法である。そして、ＳＧＭ法は、最終的に、基準画像におけるほぼ全ての画素に対応する視差値で表された視差画像（ここでは、高密度視差画像）を導出する。

なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみが導出される。

＜コスト値の算出＞
図３は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図４は、シフト量とコスト値との関係の一例を示すグラフである。図３および４を参照しながら、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以降、Ｃ（ｐ，ｄ）はＣ（ｘ，ｙ，ｄ）を表すものとして説明する。

図３のうち、図３（ａ）は、基準画像における基準画素を示す概念図を示し、図３（ｂ）は、図３（ａ）に示す基準画素に対応する比較画像における対応画素の候補を順次シフトしながら（ずらしながら）、コスト値を算出する際の概念図である。ここで、対応画素とは、基準画像における基準画素に最も類似する比較画像における画素を示す。また、コスト値とは、基準画像における基準画素に対する、比較画像における各画素の一致度を表す評価値である。以下に示すコスト値（および合成コスト値）は、値が小さいほど比較画像における画素が基準画素と類似していることを示す。

図３（ａ）に示すように、基準画像Ｉｂにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉａにおけるエピポーラ線ＥＬ上の対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、図３では、候補画素ｑ（ｘ＋ｄ，ｙ）を所定のシフト範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の一致度であるコスト値Ｃ（ｐ，ｄ）が算出される。

なお、上述のように、撮像装置５１０ａ、５１０ｂは、それぞれ平行等位に配置されるため、比較画像Ｉａおよび基準画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉｂにおける基準画素ｐに対応する比較画像Ｉａにおける対応画素は、図３の紙面視横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉａにおける対応画素を求めるためには、比較画像Ｉａのエピポーラ線ＥＬ上の画素を探索すればよい。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、シフト量ｄとの関係で、図４に示すグラフにより表される。図４の例では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が「０」となるため、最小値を求めることができない。例えば、画像におけるテクスチャが弱い部分がある場合には、このようにコスト値Ｃの最小値を求めることは困難になる。

＜合成コスト値の算出＞
図５は、合成コストを算出するための概念図である。図６は、シフト量と合成コスト値との関係の一例を示すグラフである。図５および６を参照しながら、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。

合成コスト値の算出は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出するものである。合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する。経路コスト値Ｌｒ（ｐ，ｄ）は、下記の式（３）によって算出する。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ（Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ））
（３）
（Ｐ＝０（ｄ＝ｋの場合）、
Ｐ＝Ｐ１（｜ｄ−ｋ｜＝１の場合）、
Ｐ＝Ｐ２（＞Ｐ１）（｜ｄ−ｋ｜＞１の場合））

式（３）に示すように経路コスト値Ｌｒは、再帰的に求められる。ここで、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ（）は、最小値を求める関数である。Ｌｒ（ｐ−ｒ，ｋ）は、基準画素ｐの座標からｒ方向に１画素シフトした座標の画素について、シフト量を変化させた場合（この場合のシフト量をｋとしている）のそれぞれの経路コスト値Ｌｒを示す。そして、経路コスト値Ｌｒ（ｐ，ｄ）のシフト量であるｄと、シフト量ｋとの間の関係に基づいて、下記の（ａ）〜（ｃ）のように値Ｐ（ｄ，ｋ）を求め、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）を算出している。

（ａ）ｄ＝ｋの場合、Ｐ＝０とする。すなわち、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）＝Ｌｒ（ｐ−ｒ，ｋ）となる。
（ｂ）｜ｄ−ｋ｜＝１の場合、Ｐ＝Ｐ１とする。すなわち、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）＝Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ１となる。
（ｃ）｜ｄ−ｋ｜＞１の場合、Ｐ＝Ｐ２（＞Ｐ１）とする。すなわち、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）＝Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ２となる。

そして、ｍｉｎ（Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ））は、ｋを様々な値に変化させた場合の、上述の（ａ）〜（ｃ）で算出したＬｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）のうち最小の値を抽出した値となる。すなわち、比較画像Ｉａにおける基準画素ｐの座標の位置にある画素からｒ方向において隣接する画素（ｐ−ｒ）からシフト量ｋだけシフトした画素から離れた場合に、値Ｐ１または値Ｐ２（＞Ｐ１）を加算することにより、比較画像Ｉａにおける基準画素ｐの座標から離れた画素についての、シフト量ｄが不連続な経路コスト値Ｌｒの影響を受け過ぎないようにしている。また、値Ｐ１および値Ｐ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値が連続になりやすいようなパラメータになっている。このように、比較画像Ｉａにおいてｒ方向の各画素における経路コスト値Ｌｒを求めるために、最初は、基準画素ｐ（ｘ，ｙ）の座標からｒ方向の一番端の画素から経路コスト値Ｌｒを求め、ｒ方向に沿って経路コスト値Ｌｒが求められる。

そして、図５に示すように、８方向（ｒ_０、ｒ_４５、ｒ_９０、ｒ_１３５、ｒ_１８０、ｒ_２２５、ｒ_２７０およびｒ_３１５）の経路コスト値ＬｒであるＬｒ_０、Ｌｒ_４５、Ｌｒ_９０、Ｌｒ_１３５、Ｌｒ_１８０、Ｌｒ_２２５、Ｌｒ_２７０およびＬｒ_３１５が求められ、最終的に下記の式（４）に基づいて、合成コスト値Ｌｓ（ｐ，ｄ）が求められる。

Ｌｓ（ｐ，ｄ）＝ΣＬｒ （４）

以上のようにして、算出された合成コスト値Ｌｓ（ｐ，ｄ）は、シフト量ｄとの関係で、図６に示すグラフによって表すことができる。図６の例では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値ｄｐ＝３として導出される。なお、上述の説明においては、ｒ方向の数を８個として説明しているが、これに限定されるものではない。例えば、８方向をさらに２つに分割して１６方向、または、３つに分割して２４方向等にしてもよい。あるいは、８方向のうちのいずれかの経路コスト値Ｌｒを求め、合計することによって合成コスト値Ｌｓを算出するものとしてもよい。

［本実施の形態の具体的な説明］
以下、図７〜１８を用いて、本実施の形態の具体的な説明をする。本実施の形態では、上述のようなステレオマッチング処理により視差値を導出する視差値導出システムが、ロボットアームを備えた搬送システムに搭載された場合を例に説明する。なお、以下の本実施の形態の説明によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（搬送システムの全体構成）
図７は、本実施の形態の搬送システムの全体構成の一例を示す図である。図７を参照しながら、本実施の形態に係る搬送システム１の全体構成について説明する。

図７に示すように、本実施の形態の搬送システム１は、台（以下、「背景部２１」という）に設置された部品を、ロボットのアームによって把持し、搬送先に搬送するシステムである。図７に示すように、搬送システム１は、情報処理システムの一例である視差値導出システム１５と、認識処理部７と、アーム制御部１０と、アーム１１と、を備えている。

視差値導出システム１５は、被写体である部品にパターン光を照射させた状態で、２つの撮像部により被写体を撮像した輝度画像から、被写体に対する視差画像を生成するシステムである。視差値導出システム１５は、ステレオカメラ２と、パターン投光部８（投光手段）と、調光制御部９と、を備えている。

ステレオカメラ２は、２つの撮像部により被写体である部品を撮像した輝度画像から、被写体に対する視差画像を生成する装置である。ステレオカメラ２は、撮像部３、４と、マッチング部５と、視差画像生成部６と、を備えている。撮像部３、４、マッチング部５および視差画像生成部６の機能については、図４において後述する。

パターン投光部８は、撮像部３、４の被写体となる部品２０に対して、特殊なパターンを有するパターン光を照射する装置である。特殊なパターンとしては、例えば、二次元の乱数パターン、または複数の明度を有するパターン等であることが好ましい。一方、特殊なパターンとして、繰り返し周期を有するパターンは、コスト値Ｃの値が繰り返す場合があるため、好ましくない。このように、パターン投光部８により部品２０に対してパターン光が照射されることにより、部品２０に対してテクスチャを形成することができるので、ステレオマッチング処理により導出される視差値の精度を向上させることができる。

調光制御部９は、ステレオカメラ２が出力する輝度画像および視差画像について異常があるか否かを解析し、異常があると検知した場合に、パターン投光部８が照射するパターン光の光量の調整量を決定し、決定した調整量をパターン投光部８に送信する装置である。例えば、調光制御部９は、ステレオカメラ２から受信した輝度画像について、黒潰れの状態の領域があることを検知した場合、黒潰れの状態を解消するために、パターン光の光量を上げるための調整量をパターン投光部８に送信する。また、調光制御部９は、ステレオカメラ２から受信した輝度画像について、飽和状態の領域があることを検知した場合、飽和状態を解消するために、パターン光の光量を下げるための調整量をパターン投光部８に送信する。なお、調光制御部９は、受信する輝度画像として、撮像部３の撮像画像を受信しているが、これに限定されるものではなく、撮像部４の撮像画像を受信するものとしてもよい。

なお、視差値導出システム１５のステレオカメラ２、パターン投光部８および調光制御部９の機能については、後述の図８および９で詳述する。

認識処理部７は、ステレオカメラ２が出力する輝度画像および視差画像に基づいて、ステレオカメラ２により撮像された部品２０の形状、位置および距離等を認識する装置である。アーム制御部１０は、認識処理部７による部品２０に対する認識結果に基づいて、多関節ロボット等であるアーム１１に対して、部品２０を把持させ、搬送先に搬送させる制御を行う装置である。

（視差値導出システムのハードウェア構成）
図８は、本実施の形態に係る視差値導出システムのハードウェア構成の一例を示す図である。図９は、画像におけるパターン光の照り返しの一例を示す図である。図１０は、照り返しにより生じた視差値の不連続性の一例を示す図である。図８〜１０を参照しながら、本実施の形態に係る視差値導出システム１５のハードウェア構成について主に説明する。

図８に示すように、視差値導出システム１５のステレオカメラ２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０１と、ＲＯＭＩ／Ｆ１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ＲＡＭＩ／Ｆ１０４と、画像処理部１０５と、撮像部１０６（撮像手段）と、撮像部制御用Ｉ／Ｆ１０７と、を備えている。

ＣＰＵ１００は、ステレオカメラ２の各機能を制御する演算装置である。ＲＯＭ１０１は、ＣＰＵ１００がステレオカメラ２の各機能を制御するために実行するプログラムを記憶する不揮発性記憶装置である。ＲＯＭＩ／Ｆ１０２は、ＲＯＭ１０１に対する読出しおよび書込みの動作を、ＣＰＵ１００の命令によって実現するためのＣＰＵ１００とＲＯＭ１０１とを接続するインターフェースである。

ＲＡＭ１０３は、ＣＰＵ１００のワークメモリ、および、画像処理部１０５からＲＡＭＩ／Ｆ１０４を介して入力された撮像画像のバッファ等として機能する揮発性記憶装置である。ＲＡＭＩ／Ｆ１０４は、ＲＡＭ１０３に対する読出しおよび書込みの動作を、ＣＰＵ１００の命令によって実現するためのＣＰＵ１００とＲＡＭ１０３とを接続するインターフェースである。

画像処理部１０５は、撮像部１０６により撮像された撮像画像（輝度画像）から視差画像を生成するＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア回路である。

撮像部１０６は、図２では簡略のために１つのみ記載されているが２つの撮像部によって構成されており、この２つの撮像部が所定距離だけ離間した状態で固定治具により固定され、それぞれが被写体を撮像して、アナログ形式の画像データを生成し、さらにデジタル形式の画像データに変換する装置である。撮像部１０６は、レンズ１０６ａと、絞り１０６ｂと、イメージセンサ１０６ｃと、を備える。

レンズ１０６ａは、入射する光を屈折させて物体の像をイメージセンサ１０６ｃに結像させるための光学素子である。絞り１０６ｂは、レンズ１０６ａを通過した光の一部を遮ることによって、イメージセンサ１０６ｃに結像させる光の量を調整する部材である。イメージセンサ１０６ｃは、レンズ１０６ａに入射し、絞り１０６ｂを通過した光を電気的なアナログ形式の画像データに変換する固体撮像素子である。イメージセンサ１０６ｃは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）によって実現される。

撮像部制御用Ｉ／Ｆ１０７は、撮像部１０６の露光時間を制御するためのレジスタ設定値を、調光制御部９から撮像部１０６へ中継したり、逆に、撮像部１０６からのレジスタ設定値を中継するインターフェースである。撮像部制御用Ｉ／Ｆ１０７は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）に準拠したインターフェースである。

図８に示すように、視差値導出システム１５の調光制御部９は、解析部２００（解析手段）と、調光部２０１（調光手段）と、を備えている。

解析部２００は、ステレオカメラ２の画像処理部１０５から受信した輝度画像または視差画像について画像異常があるか否かを解析する回路である。例えば、解析部２００は、受信した輝度画像から、被写体、または被写体の周囲の背景部における黒潰れ状態または飽和状態の領域の有無を検知する。また、解析部２００は、受信した視差画像から、被写体または背景部における、パターン投光部８が照射するパターン光の照り返しに伴う視差値の不連続領域の有無を検知する。ここで、図９は、例えば、解析部２００が画像処理部１０５から輝度画像として基準画像Ｉｂ＿ｅｘを受信した場合に、基準画像Ｉｂ＿ｅｘに写り込んでいる部品の周囲の背景部の領域４００に照り返しが撮像されている状態の例を示す。撮像部１０６は、上述したように、２つの撮像部が所定距離だけ離間しているため、図９に示す基準画像Ｉｂ＿ｅｘの領域４００の照り返しは、比較画像においては異なる位置に撮像されることになる。その結果、画像処理部１０５により生成された図１０に示す視差画像Ｉｐ＿ｅｘにおいては、背景部の領域４０１に不連続な視差値を生じることになる。なお、視差画像に不連続な視差値が生じる原因としては、上述のように、パターン光の照り返しが輝度画像に写り込んでいることのみに限定されない。

また、解析部２００は、後述のように、調光部２０１による調光の結果、ステレオカメラ２の画像処理部１０５から受信した輝度画像において、テクスチャが適正に形成されているか否か、すなわちテクスチャにぼやけが生じていないか否かを解析する。この場合、解析部２００は、例えば、輝度画像に対して、テクスチャの先鋭度を算出し、所定の閾値と比較して、閾値以上の場合、テクスチャが適正に形成されていると判定するものとすればよい。

調光部２０１は、解析部２００から解析結果を受け取り、その解析結果から、輝度画像に黒潰れ状態もしくは飽和状態が発生し、または、視差画像に視差値の不連続領域が発生している等の画像異常が発生していると判定した場合、画像異常の内容に応じた調整量をパターン投光部８に送信する回路である。具体的には、調光部２０１は、画像異常（黒潰れ状態、飽和状態、および視差値の不連続等）の内容と、パターン投光部８の光量に対する調整量とを関連付けた光量調整テーブル（図示せず）から、画像異常の内容に応じた調整量を決定してパターン投光部８に送信する。なお、調光部２０１は、光量調整データによって、光量調整テーブルにより画像異常の内容から調整量を決定するものとしたが、テーブル形式に限定されるものとではなく、画像異常の内容と、調整量とを関連付ける情報であればどのような形式の情報であってもよい。また、調光部２０１は、調整量をパターン投光部８に送信することによりパターン光の調光を実行した後、パターン投光部８から光量データを受信する。

調光部２０１は、パターン投光部８から受信した光量データから、調光限界に達した、すなわち、調光がこれ以上できないと判定した場合、または、解析部２００から受信した解析結果から、輝度画像にテクスチャが適正に形成されていない画像異常が発生していると判定した場合、露光調整を実行する。具体的には、調光部２０１は、露光調整として、撮像部１０６に対し露光時間を調整するための調整指示情報を送信する。撮像部１０６は、調光部２０１から受信した調整指示情報に従って、撮像における露光時間を調整する。

また、調光部２０１は、解析部２００から受信した解析結果が、輝度画像および視差画像に画像異常がないことが示されている場合、パターン投光部８に対する調光動作、および撮像部１０６に対する露光調整動作を停止する。ただし、解析部２００は、輝度画像および視差画像に画像異常があるか否かの解析を継続し、調光部２０１は、解析部２００からの解析結果の受信、およびパターン投光部８からの光量データの受信を継続する。

なお、調光部２０１は、露光調整として、撮像部１０６に対する露光時間を調整するものとしてが、これに限定されるものではない。例えば、調光部２０１は、露光調整として、複数種類の露光を撮像部１０６の撮像画像（フレーム）単位で変えることにより得られた複数のフレームを、単純に足し合わせたり、ガンマ処理等の画素値変換等を施した後に足し合わせるダイナミックレンジ拡大処理を実行するものとしてもよい。

図８に示すように、視差値導出システム１５のパターン投光部８は、光量調整部３００と、光源部３０１と、テクスチャフィルタ３０２と、レンズ３０３と、を備えている。

光量調整部３００は、調光部２０１から受信した調整量を用いて、光源部３０１から発光される光の光量を調整する装置である。また、光量調整部３００は、調光部２０１から受信した調整量を用いて、光源部３０１の光の光量を調整した後、光量データを調光部２０１に送信する。光源部３０１は、光量調整部３００により調整された光量により光を発光する光源である。テクスチャフィルタ３０２は、光源部３０１から発光された光に特殊なパターンを帯びさせるためのフィルタである。テクスチャフィルタ３０２を透過した光源部３０１からの光は、パターン光としてレンズ３０３に向かう。レンズ３０３は、テクスチャフィルタ３０２を透過したパターン光が、被写体に対して拡散して照射されるように、パターン光を屈折させる光学素子である。

なお、解析部２００、調光部２０１および光量調整部３００は、ハードウェア回路によって実現されるものとしたが、これに限定されるものではない。すなわち、解析部２００、調光部２０１および光量調整部３００の少なくともいずれかは、ソフトウェアであるプログラムがＣＰＵ等によって実行されることにより実現されてもよい。

また、図８に示した解析部２００、調光部２０１および光量調整部３００のハードウェア構成は、一例を示したものであって、このようなハードウェア構成に限定されるものではない。

（ステレオカメラの機能ブロック構成および各機能ブロックの動作）
図１１は、本実施の形態のステレオカメラの機能ブロックの構成の一例を示す図である。図１２は、本実施の形態の搬送システムにおける被写体の視差、および背景の視差を説明する図である。図１３は、本実施の形態におけるシフト量と合成コスト値との関係の一例を示す図である。図１４は、パターン光を照射する場合および照射しない場合の合成コスト値のグラフを説明する図である。図１５は、パラボラフィッティングによるサブピクセル推定を説明する図である。図１６は、最小二乗法によるサブピクセル推定を説明する図である。図１１〜１６を参照しながら、本実施の形態に係るステレオカメラ２の機能ブロック構成および各機能ブロックの動作について説明する。

図１１に示すように、ステレオカメラ２は、撮像部３、４と、マッチング部５と、視差画像生成部６と、を備えている。

また、撮像部３、４は、所定距離だけ離間した状態で固定され、それぞれが被写体を撮像して、アナログ形式の画像データを生成し、さらにデジタル形式の画像データに変換して輝度画像を生成する機能部である。撮像部３、４は、図８に示す撮像部１０６に相当するものである。

マッチング部５は、撮像部３、４により生成された輝度画像を、それぞれ基準画像および比較画像として、基準画像の基準画素に対する、比較画像における各画素の一致度であるコスト値Ｃを算出する機能部である。マッチング部５は、フィルタ部５１、５２と、コスト算出部５３（第１の算出手段）と、を備えている。マッチング部５は、図８に示す画像処理部１０５により実現される。なお、撮像部３により生成された輝度画像を比較画像として、撮像部４により生成された輝度画像を基準画像としてもよい。

視差画像生成部６は、マッチング部５から受け取ったコスト値Ｃに用いて、視差画像を生成する機能部である。視差画像生成部６は、合成コスト算出部６１（第２の算出手段）と、サブピクセル推定部６２（導出手段）と、生成部６３（生成手段）と、を備えている。視差画像生成部６は、図８に示す画像処理部１０５により実現される。

フィルタ部５１、５２は、それぞれ撮像部３、４により生成された輝度画像に対して、ノイズを除去する機能部である。ここでは、フィルタ部５１によりノイズが除去された輝度画像を基準画像Ｉｂとするものとし、フィルタ部５２によりノイズが除去された輝度画像を比較画像Ｉａとするものとする。

コスト算出部５３は、基準画像Ｉｂにおける基準画素ｐ（ｘ，ｙ）（第１の基準領域）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉａにおけるエピポーラ線上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素（対応領域）の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）（一致度）を算出する機能部である。コスト算出部５３によるコスト値Ｃの算出方法としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、またはＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等を用いるものとすればよい。

また、図７に示す搬送システム１における部品２０の搬送の場合、図１２に示すように、ステレオカメラ２から背景部２１までの距離は固定であるので、上述の式（２）により、背景部２１を撮像した基準画像Ｉｂおよび比較画像Ｉａにおける背景領域２１ａのポイント２１ｂの視差値ｄｐ２１は予め既知の情報である。したがって、コスト算出部５３が、基準画素ｐ（ｘ，ｙ）に対して、シフト量ｄによる候補画素ｑ（ｘ＋ｄ，ｙ）の探索範囲は、所定の有限範囲に決めておくことができ、その探索範囲内でコスト値Ｃを算出することが可能である。これによって、予め候補画素ｑの探索範囲を決めておくことによって、基準画像Ｉｂおよび比較画像Ｉａにおける部品領域２０ａの視差値ｄｐ２０を精度よく導出することができ、かけ離れた視差値ｄｐ２０の誤検出を抑制することができ、また、コスト算出部５３の演算負荷を低減することができる。

また、シフト量ｄと、コスト算出部５３により算出されたコスト値Ｃとの関係を示すグラフの例が、上述した図４に示すグラフである。図４に示すグラフにおいては、シフト量ｄ＝５，１２，１９において、コスト値Ｃの最小値として近似した値となっているため、コスト値Ｃの最小値を求めることによって、基準画像Ｉｂにおける基準画素に対応する比較画像Ｉａにおける対応画素を求めることは困難である。

合成コスト算出部６１は、合成コスト値Ｌｓ（ｐ，ｄ）（一致度）を算出するために、まず、上述の式（３）によって、所定のｒ方向の経路コスト値Ｌｒ（ｐ，ｄ）を算出する機能部である。経路コスト値Ｌｒ（ｐ，ｄ）は、式（３）に示すように基準画像Ｉｂにおける基準画素ｐ（ｘ，ｙ）のｒ方向で隣接する画素を基準画素（第２の基準領域）とした場合のその基準画素についての比較画像Ｉａにおけるコスト値Ｃを、コスト算出部５３により算出された候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）に集約させて算出される値である。

合成コスト算出部６１は、図５に示したように、８方向（ｒ_０、ｒ_４５、ｒ_９０、ｒ_１３５、ｒ_１８０、ｒ_２２５、ｒ_２７０およびｒ_３１５）の経路コスト値ＬｒであるＬｒ_０、Ｌｒ_４５、Ｌｒ_９０、Ｌｒ_１３５、Ｌｒ_１８０、Ｌｒ_２２５、Ｌｒ_２７０およびＬｒ_３１５を算出し、最終的に上述の式（４）に基づいて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する。そして、シフト量ｄと、合成コスト算出部６１により算出された合成コスト値Ｌｓとの関係を示すグラフが、図１３に示すグラフである。図１３に示すように、合成コスト値Ｌｓは、シフト量ｄ＝３のとき最小値となる。なお、上述の説明においては、ｒ方向の数を８個として説明しているが、これに限定されるものではない。例えば、８方向をさらに２つに分割して１６方向、または、３つに分割して２４方向等にしてもよい。あるいは、８方向のうちのいずれかの経路コスト値Ｌｒを求め、合成コスト値Ｌｓを算出するものとしてもよい。

また、図１４に示すシフト量ｄと合成コスト値Ｌｓとの関係を示すグラフは、パターン投光部８が部品２０にパターン光を照射してテクスチャを形成した場合のグラフと、パターン光を照射しないでテクスチャを形成しなかった場合のグラフである。図１４のテクスチャを形成しない場合のグラフでは、最小の合成コスト値Ｌｓに対応する視差値ｄｐ１が得られているが、視差値ｄｐ１における合成コスト値Ｌｓ以外の合成コスト値Ｌｓについても近似しており、明確な視差値を得られるとまでは言えない。一方、図１４のテクスチャを形成した場合のグラフでは、算出される合成コスト値Ｌｓのコントラストが大きくなり、最小の合成コスト値Ｌｓが明確となるので、精度よく視差値ｄｐを得ることができることになる。

サブピクセル推定部６２は、合成コスト算出部６１により算出された、基準画像Ｉｂにおける基準画素についての比較画像Ｉａにおける画素の合成コスト値Ｌｓの最小値に対応するシフト量ｄ、およびそれに隣接するシフト量ｄにおける合成コスト値Ｌｓに基づいて、サブピクセル推定を実行する。上述の図１３に示す合成コスト値Ｌｓのグラフは、画素単位のシフト量ｄに対する合成コスト値Ｌｓのグラフである。したがって、図１３に示すグラフの合成コスト値Ｌｓの最小値は、画素単位のシフト量ｄ＝３における合成コスト値Ｌｓということになる。すなわち、図１３に示すような画素単位のシフト量ｄに対する合成コスト値Ｌｓのグラフにおいては、視差値ｄｐとして画素単位の値を導出することしかできないことになる。ここで、サブピクセル推定とは、視差値ｄｐを画素単位の値ではなく、画素単位より小さい単位（以下、サブピクセル単位という）で視差値ｄｐを推定して導出するものである。この視差値ｄｐによって、対応する画素の被写体までの距離が上述の式（２）から算出できる。すなわち、視差値ｄｐは、被写体までの距離の指標値となる。

まず、図１５を参照しながら、サブピクセル推定部６２がパラボラフィッティングによるサブピクセル推定を実行する場合について説明する。サブピクセル推定部６２は、合成コスト算出部６１によって算出された合成コスト値Ｌｓのグラフ（図１３参照）において、合成コスト値Ｌｓが最小となるシフト量ｄの値を求める。図１３の例では、シフト量ｄ＝３の場合が、合成コスト値Ｌｓが最小となる。次に、サブピクセル推定部６２は、シフト量ｄ＝３に隣接するシフト量ｄを求める。具体的には、シフト量ｄ＝２，４である。次に、サブピクセル推定部６２は、図１３に示すシフト量ｄと合成コスト値Ｌｓとのグラフにおいて、図１５に示すように、シフト量ｄ＝２，３，４である３点を通る下に凸の２次曲線を求める。そして、サブピクセル推定部６２は、その２次曲線の極小値（極値）に対応するサブピクセル単位のシフト量ｄが視差値ｄｐであると推定する。

次に、図１６を参照しながら、サブピクセル推定部６２が最小二乗法によるサブピクセル推定を実行する場合について説明する。サブピクセル推定部６２は、合成コスト算出部６１によって算出された合成コスト値Ｌｓのグラフ（図１３参照）において、合成コスト値Ｌｓが最小となるシフト量ｄの値を求める。図１３の例では、シフト量ｄ＝３の場合が、合成コスト値Ｌｓが最小となる。次に、サブピクセル推定部６２は、シフト量ｄ＝３の近傍の４つのシフト量ｄを求める。具体的には、シフト量ｄ＝１，２，４，５である。次に、サブピクセル推定部６２は、図１３に示すシフト量ｄと合成コスト値Ｌｓとのグラフにおいて、図１６に示すように、最小二乗法によってシフト量ｄ＝１，２，３，４，５である５点の近傍を通る下に凸の２次曲線を求める。そして、サブピクセル推定部６２は、その２次曲線の極小値（極値）に対応するサブピクセル単位のシフト量ｄが視差値ｄｐであると推定する。

サブピクセル推定部６２は、図１５に示すパラボラフィッティングによるサブピクセル推定、または、図１６に示す最小二乗法によるサブピクセル推定のいずれかによって、視差値ｄｐを推定して導出する。これによって、画素単位より小さい単位であるサブピクセル単位で視差値ｄｐを導出することができるので、精度が高く、かつ密な視差値ｄｐを導出することができる。

なお、サブピクセル推定は、上述のパラボラフィッティングによるもの、または、最小二乗法によるものに限定されるものではなく、その他の方法によってサブピクセル推定を行うものとしてもよい。例えば、サブピクセル推定部６２は、図１５に示す３点を用いて、２次曲線ではなく、３点を通る等角直線を求めて視差値ｄｐを推定する等角直線フィッティングによりサブピクセル推定を実行するものとしてもよい。

また、最小二乗法によるサブピクセル推定において、図１６に示すグラフ上の５点を用いて２次曲線を求めるものとしたが、これに限定されるものではなく、異なる数の点を用いて２次曲線を求めるものとしてもよい。

また、サブピクセル推定部６２によるサブピクセル推定によってサブピクセル単位の視差値ｄｐを算出することに限定されるものではなく、サブピクセル推定の実行はせずに、画素単位の視差値ｄｐを算出するものとしてもよい。この場合、サブピクセル推定部６２は、合成コスト算出部６１により算出された、基準画像Ｉｂにおける基準画素についての比較画像Ｉａにおける画素の合成コスト値Ｌｓの最小値に対応するシフト量ｄを視差値ｄｐとすればよい。

また、コスト算出部５３が算出するコスト値Ｃ、および合成コスト算出部６１が算出する合成コスト値Ｌｓとして、値が小さいほど、比較画像Ｉａにおける画素が基準画像Ｉｂの基準画素と類似する評価値を用いているが、これに限定されるものではなく、値が大きいほど類似する評価値を用いてもよい。この場合、上述のサブピクセル推定部６２が求めた２次曲線では、その極大値に対応するサブピクセル単位のシフト量ｄが視差値ｄｐであるものとすればよい。

生成部６３は、サブピクセル推定部６２により導出されたサブピクセル単位の視差値ｄｐに基づいて、基準画像Ｉｂの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像Ｉｐ（高密度視差画像）を生成する機能部である。なお、この視差画像Ｉｐ（距離情報に基づく画像）は、視差値ｄｐではなく、視差値ｄｐから算出された距離情報で表した画像であってもよい。

なお、コスト算出部５３、合成コスト算出部６１、サブピクセル推定部６２および生成部６３は、ハードウェア回路によって実現されるものとしたが、これに限定されるものではない。すなわち、コスト算出部５３、合成コスト算出部６１、サブピクセル推定部６２および生成部６３の少なくともいずれかは、ソフトウェアであるプログラムがＣＰＵ１００によって実行されることにより実現されてもよい。

また、図１１に示したフィルタ部５１、フィルタ部５２、コスト算出部５３、合成コスト算出部６１、サブピクセル推定部６２および生成部６３のブロック構成は、機能を概念的に示したものであって、このようなブロック構成に限定されるものではない。

（搬送システムの全体動作）
図１７は、本実施の形態の搬送システムの動作の一例を示すフローチャートである。図１７を参照しながら、本実施の形態に係る視差値導出システム１５のステレオマッチング処理（ＳＧＭ法）に基づく画像処理を含む搬送システム１の全体的な動作について説明する。

＜ステップＳ１１＞
図１に示すように、台である背景部２１に部品２０が設置されているものとする。部品２０は、搬送システム１の前工程の設備から背景部２１に設置された場合を想定してもよく、作業者によって背景部２１に設置された場合を想定してもよい。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
視差値導出システム１５のパターン投光部８は、背景部２１に設置された部品２０に対して、特殊なパターンを有するパターン光を照射する。これによって、部品２０および背景部２１の表面にテクスチャが形成される。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
ステレオカメラ２の撮像部３、４は、それぞれ被写体を撮像して、アナログ形式の画像データを生成し、さらにデジタル形式の画像データに変換して輝度画像を生成する。ステレオカメラ２のマッチング部５のフィルタ部５１は、撮像部３（撮像手段、第１の撮像手段）により生成された輝度画像に対して、ノイズを除去し、基準画像Ｉｂを出力する。ステレオカメラ２のマッチング部５のフィルタ部５２は、撮像部４（撮像手段、第２の撮像手段）により生成された輝度画像に対して、ノイズを除去し、比較画像Ｉａを出力する。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
ステレオカメラ２のマッチング部５のコスト算出部５３は、基準画像Ｉｂにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉａにおけるエピポーラ線上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する。上述のように、ステレオカメラ２から背景部２１までの距離は固定であるので、コスト算出部５３は、シフト量ｄによる候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃを算出する探索範囲は、所定の有限範囲とすればよい。

ステレオカメラ２の視差画像生成部６の合成コスト算出部６１は、上述の式（３）により、基準画像Ｉｂにおける基準画素ｐ（ｘ，ｙ）のｒ方向で隣接する画素を基準画素とした場合のその基準画素についての比較画像Ｉａにおけるコスト値Ｃを、コスト算出部５３により算出された候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）に集約させて算出される経路コスト値Ｌｒ（ｐ，ｄ）を算出する。合成コスト算出部６１は、図５に示したように、８方向（ｒ_０、ｒ_４５、ｒ_９０、ｒ_１３５、ｒ_１８０、ｒ_２２５、ｒ_２７０およびｒ_３１５）の経路コスト値ＬｒであるＬｒ_０、Ｌｒ_４５、Ｌｒ_９０、Ｌｒ_１３５、Ｌｒ_１８０、Ｌｒ_２２５、Ｌｒ_２７０およびＬｒ_３１５を算出し、最終的に上述の式（４）に基づいて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する。そして、ステップＳ１５へ移行する。

＜ステップＳ１５＞
ステレオカメラ２の視差画像生成部６のサブピクセル推定部６２は、合成コスト算出部６１により算出された、基準画像Ｉｂにおける基準画素についての比較画像Ｉａにおける画素の合成コスト値Ｌｓの最小値に対応するシフト量ｄ、およびそれに隣接するシフト量ｄにおける合成コスト値Ｌｓに基づいて、サブピクセル推定を実行する。サブピクセル推定部６２は、サブピクセル推定によって求めた近似曲線（図１５および図１６においては下に凸の２次曲線）の極小値に対応するサブピクセル単位のシフト量ｄを視差値ｄｐであると推定して視差値ｄｐを導出する。

ステレオカメラ２の視差画像生成部６の生成部６３は、サブピクセル推定部６２により導出されたサブピクセル単位の視差値ｄｐに基づいて、基準画像Ｉｂの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像Ｉｐ（高密度視差画像）を生成する。ステレオカメラ２は、撮像部３または撮像部４から出力された輝度画像、および生成部６３により生成された視差画像Ｉｐを出力する。そして、ステップＳ１６へ移行する。

＜ステップＳ１６＞
調光制御部９の解析部２００は、ステレオカメラ２から受信した輝度画像または視差画像Ｉｐについて画像異常があるか否かを解析する。解析の結果、画像異常がある場合（ステップＳ１６：Ｙｅｓ）、ステップＳ１７へ移行し、画像異常がない場合（ステップＳ１６：Ｎｏ）、ステップＳ１８へ移行する。

＜ステップＳ１７＞
解析部２００により輝度画像または視差画像Ｉｐに画像異常があると判定された場合、調光制御部９は、パターン投光部８が部品２０に照射するパターン光に対して調光制御を実行する。調光制御の詳細については、図１８において後述する。調光制御部９による調光制御の実行後、ステップＳ１３へ戻る。

＜ステップＳ１８＞
解析部２００により輝度画像または視差画像Ｉｐに画像異常がないと判定された場合、認識処理部７は、ステレオカメラ２が出力する輝度画像および視差画像に基づいて、ステレオカメラ２により撮像された部品２０の形状、位置および距離等を認識する。そして、ステップＳ１９へ移行する。

＜ステップＳ１９＞
アーム制御部１０は、認識処理部７による部品２０に対する認識結果に基づいて、多関節ロボット等であるアーム１１に対して、部品２０を把持させ、搬送先に搬送させる制御を行う。

以上のような動作によって、視差値導出システム１５のステレオマッチング処理（ＳＧＭ法）に基づく画像処理を含む搬送システム１の全体的な動作が行われる。

（調光制御）
図１８は、本実施の形態の調光制御の動作の一例を示すフローチャートである。図１８を参照しながら、調光制御部９によるパターン投光部８に対する調光制御について説明する。

上述のように、調光制御部９は、解析部２００により輝度画像または視差画像Ｉｐに画像異常があると判定された場合、パターン投光部８が部品２０に照射するパターン光に対して調光制御を実行する。この場合、調光制御部９は、後述のように、図１８に示すステップＳ１７１、Ｓ１７２およびＳ１７３において、ステレオカメラ２から受信した輝度画像について画像異常の有無を解析する。また、調光制御部９は、図１８に示すステップＳ１７４において、ステレオカメラ２から受信した視差画像Ｉｐについて画像異常の有無を解析する。

＜ステップＳ１７１＞
調光制御部９の解析部２００は、ステレオカメラ２から受信した輝度画像から、被写体の周囲の背景部における黒潰れ状態または飽和状態の領域の有無を解析する。背景部において黒潰れ状態または飽和状態の領域がある場合（ステップＳ１７１：Ｙｅｓ）、ステップＳ１７５へ移行し、ない場合（ステップＳ１７１：Ｎｏ）、ステップＳ１７２へ移行する。

＜ステップＳ１７２＞
解析部２００は、ステレオカメラ２から受信した輝度画像から、被写体における黒潰れ状態または飽和状態の領域の有無を解析する。被写体において黒潰れ状態または飽和状態の領域がある場合（ステップＳ１７２：Ｙｅｓ）、ステップＳ１７５へ移行し、ない場合（ステップＳ１７２：Ｎｏ）、ステップＳ１７３へ移行する。

＜ステップＳ１７３＞
解析部２００は、ステレオカメラ２から受信した輝度画像において、テクスチャが適正に形成されているか否か、すなわちテクスチャにぼやけが生じていないか否かを解析する。テクスチャにぼやけが生じている場合（ステップＳ１７３：Ｙｅｓ）、ステップＳ１７７へ移行し、生じていない場合（ステップＳ１７３：Ｎｏ）、解析部２００は、輝度画像に画像異常がないと判定する。

＜ステップＳ１７４＞
解析部２００は、ステレオカメラ２から受信した視差画像Ｉｐから、被写体または背景部における、パターン投光部８が照射するパターン光の照り返しに伴う視差値の不連続領域の有無を解析する。視差値の不連続領域がある場合（ステップＳ１７４：Ｙｅｓ）、ステップＳ１７５へ進み、ない場合（ステップＳ１７４：Ｎｏ）、解析部２００は、視差画像に画像異常がないと判定する。

＜ステップＳ１７５＞
解析部２００は、輝度画像に黒潰れ状態もしくは飽和状態が発生し、または、視差画像に視差値の不連続領域が発生している等の画像異常が発生している旨の解析結果を調光部２０１に送る。調光部２０１は、解析部２００から受け取った解析結果が示す画像異常の内容に応じた調整量をパターン投光部８に送信する。具体的には、調光部２０１は、画像異常の内容と、パターン投光部８の光量に対する調整量とを関連付けた光量調整テーブルから、画像異常の内容に応じた調整量を決定してパターン投光部８に送信する。パターン投光部８の光量調整部３００は、調光部２０１から受信した調整量を用いて、光源部３０１から発光される光の光量を調整する。光源部３０１から発光された光は、テクスチャフィルタ３０２およびレンズ３０３を透過してパターン光として被写体に照射される。そして、ステップＳ１７６へ移行する。

＜ステップＳ１７６＞
調光部２０１は、調整量をパターン投光部８の光量調整部３００に送信することによりパターン光の調光を実行した後、光量調整部３００から光量データを受信する。調光部２０１は、パターン投光部８から受信した光量データから、調光限界に達したか否か、すなわち、調光がこれ以上できないか否かを判定する。調光限界に達した場合（ステップＳ１７６：Ｙｅｓ）、ステップＳ１７７へ移行し、達していない場合（ステップＳ１７６：Ｎｏ）、調光部２０１は、パターン投光部８に対する調光がまだ可能であると認識する。

＜ステップＳ１７７＞
調光部２０１は、パターン投光部８から受信した光量データから、調光限界に達した、すなわち、調光がこれ以上できないと判定した場合、または、解析部２００から受信した解析結果から、輝度画像のテクスチャにぼやけが生じている画像異常が発生していると判定した場合、露光調整を実行する。具体的には、調光部２０１は、露光調整として、撮像部１０６に対し露光時間を調整するための調整指示情報を送信する。撮像部１０６は、調光部２０１から受信した調整指示情報に従って、撮像における露光時間を調整する。

以上のような一連の動作において、輝度画像および視差画像のいずれにも画像異常がなく、または、輝度画像または視差画像の少なくともいずれかに画像異常が発生し、調光動作が行われても調光限界に達しない場合、もしくは、露光調整動作が実行された場合に、調光制御を終了する。

以上のように、パターン投光部８は、被写体に対して、特殊なパターンを有するパターン光を照射し、撮像部３、４は、それぞれ被写体を撮像して輝度画像（基準画像Ｉｂ、比較画像Ｉａ）を生成し、ステレオカメラ２は、基準画像Ｉｂおよび比較画像Ｉａからステレオマッチング処理によって視差値ｄｐを導出し、視差値ｄｐにより視差画像Ｉｐを生成している。そして、解析部２００は、輝度画像または視差画像Ｉｐについて画像異常があるか否かを解析し、画像異常があると判定した場合、調光制御部９は、パターン投光部８が照射するパターン光に対して調光制御を実行するものとしている。これによって、パターン光を照射した状態で被写体が撮像された輝度画像、およびそれに基づく視差画像に画像異常が発生しても、照射するパターン光を調光制御によって、画像異常を解消した状態で再度被写体を撮像することができる。よって、ステレオマッチング処理によって高精度な視差値を導出することができる。よって、被写体の認識精度を向上させることができる。

上述の調光制御として、具体的には、解析部２００は、輝度画像において黒潰れ状態または飽和状態の領域があることを検知し、または、視差画像においてパターン光の照り返しに伴う視差値の不連続領域があることを検知した場合、調光部２０１は、パターン投光部８に対して調光動作を実行する。また、解析部２００は、調光動作の結果、パターン投光部８から受信した光量データから、調光限界に達した場合、または、解析部２００から受信した解析結果から、輝度画像にテクスチャが適正に形成されていない画像異常が発生していると判定した場合、露光調整を実行する。このような動作によって、輝度画像および視差画像の画像異常を解消または低減することができ、高精度な視差値の導出に寄与することができる。

また、ステレオカメラ２は、上述のように、ＳＧＭ法によるステレオマッチング処理によって、合成コスト値を算出することにより、画像においてテクスチャが弱い部分がある場合においても、高精度な視差値の導出を可能としている。なお、本実施の形態においては、調光制御が施されるパターン光によって、被写体にテクスチャが形成されるので、ステレオカメラ２は、必ずしもＳＧＭ法によるステレオマッチング処理を実行する必要はなく、ＳＧＭ法ではない通常のブロックマッチング等のステレオマッチング処理を実行するものとしてもよい。

（ステレオカメラの外観構造）
図１９は、本実施の形態のステレオカメラの外観斜視図の一例である。図２０は、本実施の形態のステレオカメラの平面図および底面図の一例である。図２１は、本実施の形態のステレオカメラの正面図、背面図および側面図の一例である。図１９〜２１を参照しながら、本実施の形態のステレオカメラ２の外観構造について説明する。

図１９（ａ）は、ステレオカメラ２の前方からの斜視図の一例である。図１９（ｂ）は、ステレオカメラ２の後方からの斜視図の一例である。図２０（ａ）は、ステレオカメラ２の平面図の一例である。図２０（ｂ）は、ステレオカメラ２の底面図の一例である。図２１（ａ）は、ステレオカメラ２の正面図の一例である。図２１（ｂ）は、ステレオカメラ２の背面図の一例である。図２１（ｃ）は、ステレオカメラ２の右側面図の一例である。図２１（ｄ）は、ステレオカメラ２の左側面図の一例である。図１９〜２１に示すように、ステレオカメラ２は、その外観構造として、レンズ１０６ａ＿１、１０６ａ＿２と、撮像部制御用Ｉ／Ｆ１０７と、フロントカバー１０８と、サイドカバー１０９と、リアカバー１１０と、電源コネクタ１１１と、背面カバー１１２と、を備えている。

レンズ１０６ａ＿１、１０６ａ＿２は、図８に示す撮像部１０６のレンズ１０６ａに相当するレンズであり、入射する光を屈折させて物体の像をイメージセンサ１０６ｃ（図８参照）に結像させるための光学素子である。図１９（ａ）および２１（ａ）に示すように、レンズ１０６ａ＿１、１０６ａ＿２は、フロントカバー１０８の前面側に所定間隔に離間した状態で固定されている。

撮像部制御用Ｉ／Ｆ１０７は、ステレオカメラ２のリアカバー１１０に配置されており、その機能は図８において上述した通りである。

フロントカバー１０８は、ステレオカメラ２の上面から正面（前面）、そして背面側の一部にかけて内部を覆うカバーである。図１９（ａ）に示すように、フロントカバー１０８は、前面と上面とで形成される稜線、および前面と背面とで形成される稜線が面取りされた形状を有する。

サイドカバー１０９は、ステレオカメラ２の両側面（右側面および左側面）を覆うカバーである。図２０（ａ）および２０（ｂ）に示すように、サイドカバー１０９は、側面と、前面および背面とで形成される稜線が面取りされた形状を有する。また、図２１（ａ）および２１（ｂ）に示すように、サイドカバー１０９は、側面と、上面および底面とで形成される稜線が面取りされた形状を有する。また、サイドカバー１０９は、放熱フィン１０９ａを有する。放熱フィン１０９ａは、ステレオカメラ２が内蔵するＣＰＵ１００および画像処理部１０５等（図８参照）が発生する熱を、ステレオカメラ２外部に放熱するフィンである。

リアカバー１１０は、ステレオカメラ２の背面を覆うカバーである。図１９（ｂ）、２１（ｃ）および２１（ｄ）に示すように、リアカバー１１０およびフロントカバー１０８は、背面と上面とで稜線が形成されないように面取りされた態様で構成されている。図１９（ｂ）、２０（ｂ）、２１（ｃ）および２１（ｄ）に示すように、リアカバー１１０および背面カバー１１２は、背面と底面とで稜線が形成されないように面取りされた態様で構成されている。

電源コネクタ１１１は、ステレオカメラ２のリアカバー１１０に配置されており、図８に示すステレオカメラ２が備える各ユニットに電源を供給するためのコネクタである。

背面カバー１１２は、ステレオカメラ２の底面のうち、フロントカバー１０８で覆われていない部分を覆うカバーである。

以上のように、ステレオカメラ２は、正面（前面）および背面の周縁の稜線が全周にわたって面取りされた構造を有している。

（変形例１）
図２２は、本実施の形態の変形例１に係る視差値導出システムのハードウェア構成の一例を示す図である。図２２を参照しながら、本変形例に係る視差値導出システム１５ａについて、上述の実施の形態の視差値導出システム１５とは相違する点を中心に説明する。なお、図２２に示すステレオカメラ２および調光制御部９については、上述の実施の形態の図８において示したものと同様であるので、同一符号を付し、ここでの説明を省略する。

図２２に示すように、本変形例に係る視差値導出システム１５ａは、ステレオカメラ２と、パターン投光部８ａと、調光制御部９と、テクスチャ送信部１２（送信手段）と、を備えている。このうち、パターン投光部８ａは、撮像部３、４（図７参照）の被写体となる部品２０（図７参照）に対して、特殊なパターンを有するパターン光を照射する装置である。パターン投光部８ａは、光量調整部３００と、プロジェクタ３０４と、を備えている。

光量調整部３００は、調光部２０１から受信した調整量を用いて、プロジェクタ３０４から投影される光の光量を調整する装置である。また、光量調整部３００は、調光部２０１から受信した調整量を用いて、プロジェクタ３０４の光の光量を調整した後、光量データを調光部２０１に送信する。

プロジェクタ３０４は、光学フィルタ、マイクロミラーデバイス、レンズおよびランプ等を備え、テクスチャ送信部１２から送信されるテクスチャデータに基づいて、特殊なパターンを有するパターン光を投影する装置である。テクスチャ送信部１２は、プロジェクタ３０４から投影されるパターン光が被写体に照射されて形成されるテクスチャの模様、柄、パターン、色またはドット等を決定するためのテクスチャデータ（テクスチャ情報）をプロジェクタ３０４に送信する装置である。

以上のように、パターン光を照射する装置として、既製のプロジェクタ３０４を採用することにより、開発コストを低減することができる。また、プロジェクタ３０４は、テクスチャ送信部１２から送信されるテクスチャデータに基づいてパターン光を生成するので、被写体に形成するテクスチャを自由に変更することが可能となる。したがって、黒潰れ状態、飽和状態、または視差値の不連続等の画像異常が生じにくい態様でテクスチャを被写体に形成することができる。よって、被写体の認識精度を向上させることができる。

（変形例２）
図２３は、本実施の形態の変形例２のステレオカメラの機能ブロックの構成の一例を示す図である。図２３を参照しながら、本変形例のステレオカメラ２ａについて、上述の実施の形態のステレオカメラ２とは相違する点を中心に説明する。なお、図２３に示す撮像部３、４、マッチング部５および視差画像生成部６については、上述の実施の形態の図１１において示したものと同様であるので、同一符号を付し、ここでの説明を省略する。

図２３に示すように、ステレオカメラ２ａは、撮像部３、４と、前処理部１３、１４（第１の前処理手段、第２の前処理手段）と、マッチング部５と、視差画像生成部６と、を備えている。

前処理部１３、１４は、それぞれ撮像部３、４により生成された輝度画像に対して、前処理として歪み補正またはダイナミックレンジ拡大処理等の画像処理を実行する装置である。前処理部１３、１４は、前処理した輝度画像を、それぞれフィルタ部５１、５２に送信する。なお、図２３においては、前処理部１３と前処理部１４とが別の機能部として記載されているが、一体型の機能部であってもよい。

このように、前処理部１３、１４が、それぞれ撮像部３、４により生成された輝度画像に対して、前処理としてダイナミックレンジ拡大処理を実行することによって、マッチング部５および視差画像生成部６において視差値を導出する段階で、基準画像Ｉｂまたは比較画像Ｉａにおける黒潰れ状態および飽和状態の発生を抑制することができる。また、前処理部１３、１４が、それぞれ撮像部３、４により生成された輝度画像に対して、前処理として歪み補正を実行することによって、マッチング部５によるコスト値Ｃの算出の精度に影響を与える基準画像Ｉｂおよび比較画像Ｉａとの歪み状態を低減することができる。したがって、マッチング部５によるコスト値Ｃの算出の精度を向上させることができる。よって、被写体の認識精度を向上させることができる。

（変形例３）
図２４は、本実施の形態の変形例３に係る視差値導出システムの基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図２４を参照しながら、本変形例に係る視差値導出システムの動作について、上述の実施の形態の視差値導出システム１５と相違する点を中心に説明する。

図２４に示すように、比較画像Ｉａ＿２（または基準画像Ｉｂ＿２）における部品が撮像された部分である部品領域２０ｂにおいて、部品の照り返しにより飽和領域２２が形成されている場合を考える。基準画像Ｉｂ＿２の飽和領域２２の基準領域ｐ１に対して、比較画像Ｉａ＿２の飽和領域２２の候補領域ｑ１からコスト値Ｃを算出するための探索を実施（図２４の矢印方向）した場合、候補領域の画素値はいずれも飽和状態であるため、基準領域ｐ１に対応する対応領域（図２４の対応領域ｐ１ａ）の視差値を導出することができない。そこで、コスト算出部５３（図１１参照）は、コスト値Ｃを算出するための探索の範囲について所定範囲を決めておき、所定範囲以上、画素値（輝度値）が連続して飽和状態とみなせる所定値（第１の値）以上の値となっている場合、その所定範囲において飽和状態となっていると判定する。次に、コスト算出部５３は、判定結果を調光制御部９に送信し、調光制御部９の解析部２００は、輝度画像（比較画像Ｉａ＿２（または基準画像Ｉｂ＿２））において飽和状態の領域があると解析する。そして、解析部２００により輝度画像に画像異常がある判定されると、調光制御部９は、パターン投光部８が部品に照射するパターン光に対して調光制御を実行する。

なお、上述のように、輝度値が飽和した場合について説明したが、これに限定されるものではなく、輝度値が低い、いわゆる、黒潰れの状態が発生した場合、調光制御部９は、以下のように調光制御を実行してもよい。コスト算出部５３（図１１参照）は、コスト値Ｃを算出するための探索の範囲について所定範囲を決めておき、所定範囲以上、画素値（輝度値）が連続して黒潰れ状態とみなせる所定値（第２の値）以下の値となっている場合、その所定範囲において黒潰れ状態となっていると判定する。ここで、第２の値は、第１の値より小さい値である。次に、コスト算出部５３は、判定結果を調光制御部９に送信し、調光制御部９の解析部２００は、輝度画像（比較画像Ｉａ＿２（または基準画像Ｉｂ＿２））において黒潰れ状態の領域があると解析する。そして、解析部２００により輝度画像に画像異常がある判定されると、調光制御部９は、パターン投光部８が部品に照射するパターン光に対して調光制御を実行する。

これによって、コスト算出部５３によるコスト値Ｃの算出段階で、輝度画像に飽和状態の有無を判定することができるので、早いタイミングで調光制御を実行して、パターン投光部８に被写体の認識精度を向上させるパターン光を照射させることができる。

（変形例４）
図２５は、本実施の形態の変形例４に係る視差値導出システムにおいて部品情報選択の画面の一例を示す図である。図２６は、本実施の形態の変形例４に係る視差値導出システムの基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図２５および２６を参照しながら、本変形例に係る視差値導出システムの動作について、上述の実施の形態の視差値導出システム１５、および上述の変形例３の視差値導出システムと相違する点を中心に説明する。

本変形例に係る視差値導出システムは、ステレオカメラ２の撮像部制御用Ｉ／Ｆ１０７に通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置が接続されている。なお、上述のように撮像部制御用Ｉ／Ｆ１０７には、調光制御部９が接続されるので、情報処理装置を接続する場合は、例えば、スイッチングハブ等のネットワーク機器を介して、調光制御部９および情報処理装置を接続するものとすればよい。情報処理装置は、マウスおよびキーボード等の入力装置、設定画面等を表示する表示装置（例えば、図２５に示す表示装置１５０）、ＣＰＵ、ＲＡＭ、ＲＯＭ、およびＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の外部記憶装置等を有する。

図２５（ａ）は、被写体となる部品の材質（被写体の情報）を選択するための部品情報選択画面１５００が表示装置１５０に表示された状態を示す図である。パターン投光部８からパターン光が照射された部品は、その部品の材質（例えば、金属、アクリル、木材、ガラス等）に応じて、飽和状態となる領域の面積が異なる。例えば、部品の材質が金属である場合、金属は光を反射しやすく飽和状態となりやすいことが予め知られているので、パターン投光部８からパターン光が照射された金属である部品は、他の材質と比較して飽和領域となる面積が大きくなる傾向がある。この場合、部品情報選択画面１５００において、入力装置によりラジオボタン等で「金属」を選択し、ＯＫボタン１５００ａを選択することにより、コスト値Ｃの算出するための探索の範囲を金属に応じた範囲に設定される。逆に、部品の材質が木材である場合、木材は光を反射しにくく飽和状態となりにくいことが予め知られているので、パターン投光部８からパターン光が照射された木材である部品は、他の材質と比較して飽和領域となる面積が小さくなる傾向がある。

図２５（ｂ）は、被写体となる部品の反射レベル（被写体の情報）を選択するための部品情報選択画面１５０１が表示装置１５０に表示された状態を示す図である。パターン投光部８からパターン光が照射された部品は、その部品の反射レベル（例えば、光沢、暗い、ノーマル等）に応じて、飽和状態となる領域の面積が異なる。例えば、部品の表面が光沢状態で反射レベルが高い場合、光沢状態の部品は光を反射しやすく飽和状態となりやすいことが予め知られているので、パターン投光部８からパターン光が照射された部品は、他の反射レベルの部品と比較して飽和領域となる面積が大きくなる傾向がある。この場合、部品情報選択画面１５０１において、入力装置によりラジオボタン等で「光沢」を選択し、ＯＫボタン１５０１ａを選択することにより、コスト値Ｃの算出するための探索の範囲を「光沢」に応じた範囲に設定される。逆に、部品の表面が、光沢がなく暗い状態である場合、光を反射しにくく飽和状態となりにくいことが予め知られているので、パターン投光部８からパターン光が照射された光沢のない部品は、他の反射レベルの部品と比較して飽和領域となる面積が小さくなる傾向がある。なお、上述の表示装置１５０に表示された部品情報選択画面１５００、１５０１、およびユーザが操作する入力装置は、本発明の「設定手段」に相当する。

例えば、部品は金属、または、光沢状態を有するものとであり、表示装置１５０の部品情報選択画面１５００または部品情報選択画面１５０１において、「金属」または「光沢」が設定されたものとする。図２６に示すように、比較画像Ｉａ＿３（または基準画像Ｉｂ＿３）における部品が撮像された部分である部品領域２０ｃにおいて、部品の照り返しにより飽和領域２３が形成されているものとする。ここで、コスト算出部５３は、基準画像Ｉｂ＿３の飽和領域２３の基準領域ｐ２を、部品の材質または反射レベルに応じた大きさに変更する。ここでは、部品は金属、または、光沢状態を有するものと設定されているので、基準領域ｐ２の大きさを、他の材質、または反射レベルの部品に対応する大きさよりも大きくする。基準画像Ｉｂ＿３の飽和領域２３の基準領域ｐ２に対して、比較画像Ｉａ＿３の飽和領域２３の候補領域ｑ２（基準領域ｐ２と同じ大きさ）からコスト値Ｃを算出するための探索を実施（図２６の矢印方向）した場合、候補領域の画素値はいずれも飽和状態であるため、基準領域ｐ２に対応する対応領域（図２６の対応領域ｐ２ａ）の視差値を導出することができない。そこで、コスト算出部５３（図１１参照）は、コスト値Ｃを算出するための探索の範囲について所定範囲を決めておき、所定範囲以上、画素値が連続して飽和状態とみなせる所定値以上の値となっている場合、その所定範囲において飽和状態となっていると判定する。次に、コスト算出部５３は、判定結果を調光制御部９に送信し、調光制御部９の解析部２００は、輝度画像（比較画像Ｉａ＿３（または基準画像Ｉｂ＿３））において飽和状態の領域があると解析する。そして、解析部２００により輝度画像に画像異常がある判定されると、調光制御部９は、パターン投光部８が部品に照射するパターン光に対して調光制御を実行する。

このように、部品の材質または反射レベルに応じて、基準画像Ｉｂ＿３の基準領域ｐ２（および比較画像Ｉａ＿３の候補領域ｑ２）の大きさを設定することにより、部品における飽和状態の有無の判定精度を向上させることができる。

（変形例５）
図２７は、本実施の形態の変形例５に係る視差値導出システムのハードウェア構成の一例を示す図である。図２７を参照しながら、本変形例に係る視差値導出システム１５ｂについて、上述の実施の形態の視差値導出システム１５とは相違する点を中心に説明する。なお、図２７において、上述の実施の形態の視差値導出システム１５の各構成部の機能と同一である場合、同一符号を付し、ここでの説明を省略する。

図２７に示すように、本変形例に係る視差値導出システム１５ｂは、ステレオカメラ２と、パターン投光部８と、調光制御部９と、被写体情報設定部１６（設定手段）と、を備えている。

被写体情報設定部１６は、被写体の情報である部品の材質または反射レベルを設定する装置である。被写体情報設定部１６は、設定した被写体の情報を調光制御部９の調光部２０１に送信する。なお、被写体情報設定部１６は、上述の変形例４で説明した表示装置１５０に表示された部品情報選択画面１５００、１５０１、およびユーザが操作する入力装置を含む構成であってもよい。

調光部２０１は、被写体情報設定部１６から被写体の情報を受信し、かつ、解析部２００から解析結果を受け取り、被写体情報または解析結果に応じた調整量をパターン投光部８に送信する回路である。具体的には、調光部２０１は、被写体情報設定部１６から受信した被写体の情報から、予め部品の飽和状態または黒潰れ状態となる領域の面積の変化の傾向を予測できるので、飽和状態または黒潰れ状態を小さくするために、パターン投光部８に照射させるパターン光の光量を調整する。例えば、被写体情報設定部１６が、部品の材質として「金属」、または部品の反射レベルとして「光沢」を設定した場合、調光部２０１は、他の材質または反射レベルの場合と比較して、パターン投光部８に照射させるパターン光の光量を低下させる。

このように、予め、被写体の情報である部品の材質または反射レベルを設定し、その設定に基づきパターン投光部８に照射させるパターン光の光量を調整するため、飽和状態または黒潰れ状態の発生を抑制することができる。したがって、被写体の認識精度を向上させることができる。

なお、上述のように、調光部２０１は、解析部２００から解析結果を受け取り、解析結果に応じた調整量をパターン投光部８に送信するものとしたが、これに限定されるものではなく、調光部２０１は、解析部２００の解析結果を利用しないものとしてもよい。

図２８は、本実施の形態の変形例５の搬送システムの動作の一例を示すフローチャートである。図２８を参照しながら、上述の図１７に示す搬送システム１の全体的な動作と相違する点を中心に説明する。

＜ステップＳ２１＞
上述の実施の形態の図１と同様に、台である背景部２１に部品２０が設置されているものとする。部品２０は、搬送システム１の前工程の設備から背景部２１に設置された場合を想定してもよく、作業者によって背景部２１に設置された場合を想定してもよい。そして、ステップＳ２２へ移行する。

＜ステップＳ２２＞
被写体情報設定部１６は、被写体の情報である部品の材質または反射レベルを設定し、設定した被写体の情報を調光制御部９の調光部２０１に送信する。そして、ステップＳ２３へ移行する。

＜ステップＳ２３＞
調光部２０１は、被写体情報設定部１６から受信した被写体の情報に応じて、パターン投光部８に照射させるパターン光の光量を調整する。そして、ステップＳ２４へ移行する。

＜ステップＳ２４〜Ｓ２９＞
本変形例のステップＳ２４〜Ｓ２９の処理は、それぞれ、上述の図１７に示したステップＳ１２〜Ｓ１５、Ｓ１８、Ｓ１９の処理と同様である。

なお、上述の実施の形態（各変形例を含む）では、ステレオカメラを備えるものとして説明したが、これに限定されるものではなく、ステレオカメラに代えて、単眼カメラを備えるものとしてもよい。この場合、単眼カメラを移動させて被写体としての部品を複数回撮像し、その撮像した画像を使用して測距するものとしてもよく、また、位相シフト法を用いてもよい。

また、上述の実施の形態のコスト算出部５３、合成コスト算出部６１、サブピクセル推定部６２および生成部６３の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態のステレオカメラ２、２ａで実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態のステレオカメラ２、２ａで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態のステレオカメラ２、２ａで実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態のステレオカメラ２、２ａで実行されるプログラムは、上述したコスト算出部５３、合成コスト算出部６１、サブピクセル推定部６２および生成部６３の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１００がＲＯＭ１０１からプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。

１ 搬送システム
２、２ａ ステレオカメラ
３、４ 撮像部
５ マッチング部
６ 視差画像生成部
７ 認識処理部
８、８ａ パターン投光部
９ 調光制御部
１０ アーム制御部
１１ アーム
１２ テクスチャ送信部
１３、１４ 前処理部
１５、１５ａ、１５ｂ 視差値導出システム
１６ 被写体情報設定部
２０ 部品
２０ａ、２０ｂ、２０ｃ 部品領域
２１ 背景部
２１ａ 背景領域
２１ｂ ポイント
２２、２３ 飽和領域
５１、５２ フィルタ部
５３ コスト算出部
６１ 合成コスト算出部
６２ サブピクセル推定部
６３ 生成部
１００ ＣＰＵ
１０１ ＲＯＭ
１０２ ＲＯＭＩ／Ｆ
１０３ ＲＡＭ
１０４ ＲＡＭＩ／Ｆ
１０５ 画像処理部
１０６ 撮像部
１０６ａ、１０６ａ＿１、１０６ａ＿２ レンズ
１０６ｂ 絞り
１０６ｃ イメージセンサ
１０７ 撮像部制御用Ｉ／Ｆ
１０８ フロントカバー
１０９ サイドカバー
１０９ａ 放熱フィン
１１０ リアカバー
１１１ 電源コネクタ
１１２ 底面カバー
１５０ 表示装置
２００ 解析部
２０１ 調光部
３００ 光量調整部
３０１ 光源部
３０２ テクスチャフィルタ
３０３ レンズ
３０４ プロジェクタ
４００、４０１ 領域
５１０ａ、５１０ｂ 撮像装置
５１１ａ、５１１ｂ レンズ
１５００、１５０１ 部品情報選択画面
１５００ａ、１５０１ａ ＯＫボタン
Ｂ 基線長
Ｃ コスト値
ｄ シフト量
ｄｐ、ｄｐ１、ｄｐ２０、ｄｐ２１ 視差値
Ｅ 物体
ＥＬ エピポーラ線
ｆ 焦点距離
Ｉａ、Ｉａ＿２、Ｉａ＿３ 比較画像
Ｉｂ、Ｉｂ＿２、Ｉｂ＿３、Ｉｂ＿ｅｘ 基準画像
Ｉｐ、Ｉｐ＿ｅｘ 視差画像
Ｌｒ 経路コスト値
Ｌｓ 合成コスト値
ｐ 基準画素
ｐ１、ｐ２ 基準領域
ｐ１ａ、ｐ２ａ 対応領域
ｑ 候補画素
ｑ１、ｑ２ 候補領域
Ｓ、Ｓａ、Ｓｂ 点
Ｚ 距離

特開２０１２−１８１１４２号公報

Claims (13)

1. 特定のパターンを有するパターン光を被写体に照射して、前記被写体にテクスチャを形成する投光手段と、
   前記テクスチャが形成された前記被写体を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像に基づいて、前記被写体までの距離情報を導出する導出手段と、
   少なくとも前記撮像画像または前記距離情報に基づく画像のいずれかについて画像異常の有無を解析する解析手段と、
   前記解析手段により前記画像異常があると解析された場合に、調光制御を実行する調光手段と、
   を備えた情報処理システム。
2. 前記撮像手段は、前記被写体を撮像して基準画像を生成する第１の撮像手段と、前記第１の撮像手段と異なる位置に配置され、前記被写体を撮像して比較画像を生成する第２撮像手段と、を有し、
   前記導出手段は、前記基準画像の領域と、前記比較画像の領域との一致度を算出する算出手段を、さらに備え、
   前記導出手段は、前記算出手段により算出された前記一致度から、前記基準画像の基準領域に対応する前記比較画像の対応領域を特定する視差値を、前記距離情報として導出し、
   前記視差値に基づいて視差画像を生成する生成手段を、さらに備え、
   前記解析手段は、前記撮像画像および前記視差画像について前記画像異常の有無を解析する請求項１に記載の情報処理システム。
3. 前記調光手段は、前記解析手段により、前記画像異常として前記撮像画像における前記テクスチャのぼやけがあると解析された場合、または、前記調光手段が調光限界に達したと解析された場合、前記調光制御として、前記第１の撮像手段および前記第２の撮像手段に対する露光調整動作を実行する請求項２に記載の情報処理システム。
4. 前記調光手段は、前記露光調整動作として、前記基準画像および前記比較画像に対してダイナミックレンジ拡大処理を実行する請求項３に記載の情報処理システム。
5. 前記解析手段は、前記撮像画像の輝度値が、該撮像画像の所定範囲以上にわたって第１の値以上である場合、または、該撮像画像の所定範囲以上にわたって前記第１の値よりも小さい第２の値以下である場合、該撮像画像に前記画像異常があると解析する請求項２〜４のいずれか一項に記載の情報処理システム。
6. 前記被写体の情報を設定する設定手段を、さらに備え、
   前記算出手段は、前記被写体の情報に応じて、前記基準画像の前記基準領域の大きさを変更する請求項２〜５のいずれか一項に記載の情報処理システム。
7. 前記被写体の情報は、前記被写体の反射レベルであることを特徴とする請求項６に記載の情報処理システム。
8. 前記被写体の情報は、前記被写体の材質であることを特徴とする請求項６に記載の情報処理システム。
9. 前記調光手段は、前記設定手段により設定された前記被写体の情報に応じて、前記投光手段の前記パターン光の光量を調整する請求項６〜８のいずれか一項に記載の情報処理システム。
10. 特定のパターンを有するパターン光を被写体に照射して、前記被写体にテクスチャを形成する投光手段と、
    前記テクスチャが形成された前記被写体を撮像する撮像手段と、
    前記撮像手段により撮像された撮像画像に基づいて、前記被写体までの距離情報を導出する導出手段と、
    前記被写体の情報を設定する設定手段と、
    前記設定手段により設定された前記被写体の情報に基づいて調光制御を実行する調光手段と、
    を備えた情報処理システム。
11. 前記被写体の情報は、前記被写体の反射レベルであることを特徴とする請求項１０に記載の情報処理システム。
12. 前記被写体の情報は、前記被写体の材質であることを特徴とする請求項１０に記載の情報処理システム。
13. 特定のパターンを有するパターン光を被写体に照射して、前記被写体にテクスチャを形成する投光ステップと、
    前記テクスチャが形成された前記被写体を撮像する撮像ステップと、
    撮像した撮像画像に基づいて、前記被写体までの距離情報を導出する導出ステップと、
    少なくとも前記撮像画像または前記距離情報に基づく画像のいずれかについて画像異常の有無を解析する解析ステップと、
    前記画像異常があると解析した場合に、調光制御を実行する調光ステップと、
    を有する情報処理方法。