JP7415028B2 - 撮像条件調整装置、及び撮像条件調整方法 - Google Patents

Description

本発明は、撮像条件調整装置、及び撮像条件調整方法に関する。

３次元カメラを使ってワーク等の対象物の３次元位置を検知し、ロボットで取り出し等の作業を行う技術が知られている。例えば、特許文献１参照。

特開２０１９－５６９６６号公報

対象物の３次元位置を検知するために最も好適な画像が撮像できるように、３次元カメラによる対象物の撮像の撮像条件は、予め作業者により設定される。
撮像条件としては、露光時間、光源の光量、ブロックマッチングのサイズ、ブロックマッチングのスコアの閾値等があり、最適な設定を行うには作業者に高いスキルが求められる。このため、作業者にとって撮像条件の設定は大きな負担となっている。

そこで、作業者のスキルによらず、最適な撮像条件を自動で決定することが望まれている。

本開示の撮像条件調整装置の一態様は、対象物の距離画像を撮像する撮像条件を調整する撮像条件調整装置であって、３次元カメラの視野内に配置された前記対象物を含む距離画像を前記３次元カメラから取得する取得部と、前記対象物のＣＡＤモデルを読み込む読込部と、生成された複数の撮像条件に基づいてそれぞれ前記３次元カメラにより撮像された距離画像と前記ＣＡＤモデルとのマッチングを行い、撮像された前記距離画像と前記ＣＡＤモデルとの一致度を算出する算出処理部と、前記算出処理部により算出された一致度が予め設定された所定値以上となる撮像条件を前記３次元カメラに設定する撮像条件最適化部と、を備える。

本開示の撮像条件調整方法の一態様は、コンピュータにより実現される、対象物の距離画像を撮像する撮像条件を調整する撮像条件調整方法であって、３次元カメラの視野内に配置された前記対象物を含む距離画像を前記３次元カメラから取得する取得工程と、前記対象物のＣＡＤモデルを読み込む読込工程と、生成された複数の撮像条件に基づいてそれぞれ前記３次元カメラにより撮像された距離画像と前記ＣＡＤモデルとのマッチングを行い、撮像された前記距離画像と前記ＣＡＤモデルとの一致度を算出する算出処理工程と、算出された一致度が予め設定された所定値以上となる撮像条件を前記３次元カメラに設定する撮像条件最適化工程と、を備える。

一態様によれば、作業者のスキルによらず、最適な撮像条件を自動で決定することができる。

一実施形態に係るロボットシステムの構成の一例を示す図である。 ３次元カメラの一例を示す図である。 画像処理部の距離画像生成処理を説明する一例を示す図である。 画像処理部の距離画像生成処理を説明する一例を示す図である。 一実施形態に係る撮像条件調整装置としての情報処理装置の機能的構成例を示す機能ブロック図である。 ワークの形状の一例を示す図である。 図６のワークの形状のうち三角形部分における距離画像とＣＡＤモデルとマッチングの一例を示す図である。 ワークの形状の一例を示す図である。 情報処理装置の撮像条件調整処理の一例について説明するフローチャートである。

以下、一実施形態について図面を用いて説明する。
＜一実施形態＞
図１は、一実施形態に係るロボットシステム１の構成の一例を示す図である。
図１に示すように、ロボットシステム１は、撮像条件調整装置としての情報処理装置１０、ロボット制御装置２０、ロボット３０、３次元カメラ４０、ワーク５０、及び作業台６０を有する。
情報処理装置１０、ロボット制御装置２０、ロボット３０、及び３次元カメラ４０は、図示しない接続インタフェースを介して互いに直接接続されてもよい。なお、情報処理装置１０、ロボット制御装置２０、ロボット３０、及び３次元カメラ４０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、情報処理装置１０、ロボット制御装置２０、ロボット３０、及び３次元カメラ４０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。また、説明しやすくするために、図１は情報処理装置１０とロボット制御装置２０をそれぞれ独立に描いていて、この場合の情報処理装置１０は例えば撮像条件調整装置として動作するコンピュータより構成されてもよい。このような構成に限定されず、例えば、情報処理装置１０はロボット制御装置２０の内部に実装され、ロボット制御装置２０と一体化されてもよい。

＜ロボット制御装置２０＞
ロボット制御装置２０は、ロボット３０の動作を制御するための当業者にとって公知の装置である。ロボット制御装置２０は、例えば、後述する情報処理装置１０によって設定された撮像条件で後述する３次元カメラ４０により撮像されたワーク５０の距離画像を、情報処理装置１０から受信する。ロボット制御装置２０は、情報処理装置１０から受信した距離画像と公知の手法とに基づいて、対象物であるワーク５０の位置及び形状を特定する。ロボット制御装置２０は、特定したワーク５０の位置及び形状からワーク５０を把持したり加工したりするようにロボット３０の動作を制御するための制御信号を生成する。そして、ロボット制御装置２０は、生成した制御信号をロボット３０に対して出力する。
なお、ロボット制御装置２０は、後述するように、情報処理装置１０を含んでもよい。

＜ロボット３０＞
ロボット３０は、ロボット制御装置２０の制御に基づいて動作するロボットである。ロボット３０は、鉛直方向の軸を中心に回転するためのベース部、移動及び回転するアーム、及びアームに装着される、例えば溶接ガン、握持ハンド、レーザ照射装置等のエンドエフェクタ３１等を備える。
ロボット３０は、ロボット制御装置２０が出力する制御信号に応じて、アームやエンドエフェクタ３１を駆動して、ワーク５０を把持したり加工したりする。
なお、ロボット３０の具体的な構成については、当業者によく知られているので、詳細な説明は省略する。
また、情報処理装置１０やロボット制御装置２０は、予め行われたキャリブレーションにより、ロボット３０を制御するための機械座標系と、ワーク５０の３次元位置を示すカメラ座標系とを対応付けているものとする。

＜３次元カメラ４０＞
図２は、３次元カメラ４０の一例を示す図である。
図２に示すように、３次元カメラ４０は、２つの内部カメラ４１、４２と、プロジェクタ４３と、制御部４４と、を有する。また、制御部４４は、撮像制御部４４１、及び画像処理部４４２を有する。また、内部カメラ４１、４２とプロジェクタ４３とはそれぞれレンズを有する。
内部カメラ４１、４２は、後述する撮像制御部４４１からの制御指示に基づいて、対象物であるワーク５０にプロジェクタ４３により投影されたパターンを、内部カメラ４１、４２それぞれの光軸に対して垂直な平面に投影した２次元画像を撮像する。内部カメラ４１、４２は、撮像した２次元画像を撮像制御部４４１に出力する。
プロジェクタ４３は、後述する撮像制御部４４１からの制御指示に基づいて、予め設定された光量で所定のパターン光を対象物であるワーク５０に照射する。
なお、３次元カメラ４０は、後述するように、ステレオカメラ等でもよい。
また、３次元カメラ４０は、架台等に固定設置されてもよく、ロボット３０のアームに搭載されてもよい。

＜制御部４４＞
制御部４４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは３次元カメラ４０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従って３次元カメラ４０全体を制御することで、図２に示すように、制御部４４が、撮像制御部４４１、及び画像処理部４４２の機能を実現するように構成される。ＲＡＭには一時的な計算データや、内部カメラ４１、４２により撮像された２次元画像、後述する情報処理装置１０により設定された撮像条件等の各種データが格納される。ＣＭＯＳメモリは図示しないバッテリでバックアップされ、３次元カメラ４０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。

撮像制御部４４１は、例えば、後述する情報処理装置１０により設定された撮像条件に基づいて、内部カメラ４１、４２の撮像動作を制御する。また、撮像制御部４４１は、情報処理装置１０により設定された撮像条件に基づいて、プロジェクタ４３の光量を制御する。

画像処理部４４２は、例えば、内部カメラ４１、４２それぞれから得られた２枚の２次元画像を用いてステレオ計測を行うことで、対象物であるワーク５０までの距離を計測し距離画像を生成する。
具体的には、画像処理部４４２は、当業者にとって公知の距離の計測アルゴリズム（例えば、ブロックマッチング等）を用いて、内部カメラ４１、４２それぞれで撮像された２枚の２次元画像から距離画像を生成する。
図３及び図４は、画像処理部４４２の距離画像生成処理を説明する一例を示す図である。
図３に示すように、画像処理部４４２は、内部カメラ４１により撮像されたワーク５０の２次元画像（以下、「画像ＩＭ１」ともいう）のうち、例えば、距離の測定対象の注目画素を中心とする５画素×５画素の画像範囲（以下、「小領域Ａ」ともいう）を抽出する。画像処理部４４２は、内部カメラ４２により撮像されたワーク５０の２次元画像（以下、「画像ＩＭ２」ともいう）から、画像ＩＭ１の小領域Ａと同じパターンが映っている領域を画像ＩＭ２の探索領域から探索する。
なお、探索領域は、画像ＩＭ１の注目画素と同じＸ座標を中心とする、例えば５画素幅の領域である。また、画像ＩＭ１の小領域Ａのサイズ（５画素×５画素）は、ブロックマッチングのサイズである。

画像処理部４４２は、画像ＩＭ１の小領域Ａの各画素の濃淡値（画素値）と、画像ＩＭ２の探索領域においてＹ軸方向に１画素ずつずらしながら５画素×５画素毎の各画素の濃淡値（画素値）との差の絶対値を、ブロックマッチングのスコア（ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法）として算出する。
例えば、画像ＩＭ１の小領域Ａの５画素×５画素それぞれが図４の上段に示す濃淡値（画素値）を有し、対応する画像ＩＭ２の探索領域の各画素が図４の下段に示す濃淡値（画素値）を有する場合、画像処理部４４２は、画像ＩＭ２の探索領域のうち太い実線で示す領域と画像ＩＭ１の小領域Ａとの、｜５－４｜＋｜３－３｜＋｜４－４｜＋｜７－８｜＋｜２－２｜＋・・・＋｜４－３｜＝「１６」のブロックマッチングのスコアを算出する。また、画像処理部４４２は、太い破線で示す領域と画像ＩＭ１の小領域Ａとの、｜５－３｜＋｜３－４｜＋｜４－８｜＋｜７－２｜＋｜２－８｜＋・・・＋｜４－１｜＝「３４」のブロックマッチングのスコアを算出する。なお、濃淡値（画素値）は、例えば、０から２５５の範囲の値である。
画像処理部４４２は、画像ＩＭ２の探索領域で算出したブロックマッチングのスコア（一致度）のうち最小となる、例えば太い実線で示す領域、すなわち図３の小領域Ｂを、画像ＩＭ１の小領域Ａと最も一致度が高い領域を判定するようにしてもよい。

ここで、図２に示すように、内部カメラ４１、４２は異なる位置からワーク５０を撮像するため、図３に示すように、画像ＩＭ１、ＩＭ２上に映るパターンの位置、すなわち画像ＩＭ１の小領域Ａの位置と画像ＩＭ２の小領域Ｂの位置とが異なる。例えば、画像ＩＭ１の小領域Ａの注目画素の位置（Ｘ，Ｙ）が（２００，１５０）で、画像ＩＭ２の小領域Ｂの中心画素の位置（Ｘ，Ｙ）が（２００，３００）である場合、画像ＩＭ１の小領域Ａの位置と画像ＩＭ２の小領域Ｂの位置との差（以下、「視差」ともいう）は、１５０（＝３００－１５０）となる。
そこで、画像処理部４４２は、算出した視差に基づいて、画像ＩＭ１の小領域Ａの注目画素の位置に対応するワーク５０上の位置と、３次元カメラ４０との間の距離を算出することができる。このことから、画像処理部４４２は、画像ＩＭ１における注目画素の位置を変更しつつ、画像ＩＭ１全体に対してブロックマッチングを行うことにより、３次元カメラ４０の視野内の３次元点群を距離画像として生成することができる。画像処理部４４２は、生成した距離画像を、後述する情報処理装置１０に出力する。
なお、画像処理部４４２は、距離画像とともに、内部カメラ４１、４２により撮像された２次元画像も情報処理装置１０に出力してもよい。

ワーク５０は、例えば、作業台６０に置かれる。ワーク５０は、ロボット３０のアームに装着されたエンドエフェクタ３１で把持又は加工可能なものであればよく、その形状等は特に限定されない。

＜情報処理装置１０＞
図５は、一実施形態に係る撮像条件調整装置としての情報処理装置１０の機能的構成例を示す機能ブロック図である。
情報処理装置１０は、当業者にとって公知のコンピュータであり、撮像条件調整装置として動作する。情報処理装置１０は、図５に示すように、制御部１１、入力部１２、表示部１３、及び記憶部１４を有する。また、制御部１１は、取得部１１０、読込部１１１、撮像条件生成部１１２、算出処理部１１３、及び撮像条件最適化部１１４を有する。

＜入力部１２＞
入力部１２は、例えば、キーボードや、後述する表示部１３に配置されたタッチパネル等であり、作業者からの入力を受け付ける。具体的には、作業者は、例えば、入力部１２を介して、３次元カメラ４０の撮像条件を調整する指示等を入力する。

＜表示部１３＞
表示部１３は、例えば、液晶ディスプレイ等であり、取得部１１０が取得した３次元カメラ４０の距離画像、及び後述する読込部１１１により読み込まれたワーク５０の形状を示すＣＡＤモデル等を表示する。

＜記憶部１４＞
記憶部１４は、ＲＯＭやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であり、各種の制御用プログラムとともに、撮像条件データ１４１を記憶してもよい。
撮像条件データ１４１は、３次元カメラ４０の内部カメラ４１、４２に適用可能な撮像条件で、後述する撮像条件生成部１１２により予め生成された複数の撮像条件を格納してもよい。撮像条件データ１４１に格納される複数の撮像条件それぞれには、露光時間、光源であるプロジェクタ４３の光量、ブロックマッチングのサイズ、ブロックマッチングのスコアの閾値等の少なくとも１つを含む。
露光時間は、内部カメラ４１、４２の露光時間が短い程、明色系の対象物を認識しやすくなり、露光時間が長い程、暗色系の対象物を認識しやすくなる。
プロジェクタ４３の光量は、光量が大きくなる程外乱光の影響を受けにくくなるが、強い光線が当たる部分が白くぼやけるハレーションを起こしやすくなる。
ブロックマッチングのスコアは、小さな値に設定すると、一致度が高い小領域の３次元点からなる距離画像が得られる。ただし、ブロックマッチングのスコアは、小さくしすぎると、一致度を満たす小領域の数が減少するため、３次元点が不足する可能性がある。
小領域のサイズは、例えば、５画素×５画素等の小さく設定すると対象物であるワーク５０の細かな形状変化をとらえやすくなるが、ノイズのような３次元点が距離画像に発生する。

＜制御部１１＞
制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは情報処理装置１０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、前記システムプログラム及びアプリケーションプログラムに従って情報処理装置１０全体を制御する。これにより、図５に示すように、制御部１１が、取得部１１０、読込部１１１、撮像条件生成部１１２、算出処理部１１３、及び撮像条件最適化部１１４の機能を実現するように構成される。

取得部１１０は、３次元カメラ４０の視野内に配置された対象物としてのワーク５０を含む距離画像を３次元カメラ４０から取得する。

読込部１１１は、ＣＡＤ／ＣＡＭ装置等の外部装置（図示しない）からワーク５０の形状を示すＣＡＤモデルのデータを読み込む。

撮像条件生成部１１２は、複数の撮像条件を生成し、生成した複数の撮像条件を撮像条件データ１４１に格納する。
具体的には、撮像条件生成部１１２は、例えば、標準的な撮像条件を基準にして、撮像条件に含まれる露光時間、プロジェクタ４３の光量、ブロックマッチングのサイズ、ブロックマッチングのスコアの閾値等の少なくとも１つのパラメータを予め設定された数値の幅で変化させることにより、複数の撮像条件を生成するようにしてもよい。撮像条件生成部１１２は、生成した複数の撮像条件を撮像条件データ１４１に格納するようにしてもよい。

算出処理部１１３は、例えば、撮像条件データ１４１に格納された複数の撮像条件に基づいてそれぞれ３次元カメラ４０により撮像された距離画像とＣＡＤモデルとのマッチングを行い、撮像された距離画像とＣＡＤモデルとの一致度を算出する。
具体的には、算出処理部１１３は、例えば、複数の撮像条件から標準的な撮像条件を選択し、選択された撮像条件に基づいて３次元カメラ４０により撮像（生成）された距離画像を最初に取得部１１０を介して取得する。算出処理部１１３は、取得した距離画像と、読込部１１１により読み込まれたＣＡＤモデルとのマッチングを行い、距離画像の各３次元点と対応するＣＡＤモデルの位置との距離が予め設定された所定値（例えば、１ｍｍ等）以上離間しているか否かを判定する。算出処理部１１３は、所定値以上離間した３次元点をエラー点として累積したり、離間した長さを累積したりすることにより、距離画像とＣＡＤモデルとの一致度をＣＡＤモデルマッチングのスコアとして算出する。

次に、算出処理部１１３は、例えば、ブロックマッチングのサイズを小さくする等のパラメータが変更された撮像条件を選択し、選択された撮像条件に基づいて３次元カメラ４０により撮像（生成）された距離画像を取得するようにしてもよい。算出処理部１１３は、取得した距離画像とＣＡＤモデルとのマッチングを行い、一致度（ＣＡＤモデルマッチングのスコア）を算出する。算出処理部１１３は、後述する撮像条件最適化部１１４による今回の撮像条件での一致度が前回の撮像条件での一致度より高くなったか否かの判定に基づいて次の撮像条件を選択するようにしてもよい。例えば、今回の撮像条件での一致度が前回の撮像条件での一致度より高くなった場合、算出処理部１１３は、撮像条件が良くなっていることから、さらにブロックマッチングのサイズを小さくする等の同じ方向でパラメータが変更された撮像条件を選択し、選択された撮像条件に基づいて３次元カメラ４０により撮像（生成）された距離画像を取得してもよい。そして、算出処理部１１３は、取得した距離画像とＣＡＤモデルとのマッチングを行い、一致度（ＣＡＤモデルマッチングのスコア）を算出してもよい。
一方、今回の撮像条件での一致度が前回の撮像条件での一致度より低くなった場合、算出処理部１１３は、撮像条件が悪くなっていることから、例えばブロックマッチングのサイズを大きくする等の異なる方向でパラメータが変更された撮像条件を選択し、選択された撮像条件に基づいて３次元カメラ４０により撮像（生成）された距離画像を取得してもよい。そして、算出処理部１１３は、取得した距離画像とＣＡＤモデルとのマッチングを行い、一致度（ＣＡＤモデルマッチングのスコア）を算出してもよい。
そうすることで、情報処理装置１０は、最適な撮像条件を見つけ出すことができる。

ここで、算出処理部１１３が算出する一致度（ＣＡＤモデルマッチングのスコア）は、撮像条件が同一の場合であってもワーク５０の形状に応じて変化する。
図６は、ワーク５０の形状の一例を示す図である。図７は、図６のワーク５０の形状のうち三角形部分における距離画像とＣＡＤモデルとマッチングの一例を示す図である。
図６に示すように、ワーク５０の形状のうち破線で示すＺＸ平面の領域Ｃの三角形部分等の稜線部分、すなわち形状変化が大きい部分では、図７に示すように、実線で示すＣＡＤモデルと黒丸で示す３次元点との距離が所定値以上離間することから、ＣＡＤモデルマッチングの一致度が低くなる。
この場合、図６のワーク５０における三角形部分等の細やかな特徴を敏感に捉えるようにするには、例えば、ブロックマッチングのサイズが小さく設定された撮像条件を選択し、選択された撮像条件に基づいて３次元カメラ４０にワーク５０を撮像させてもよい。そうすることで、３次元カメラ４０は、図６のワーク５０における三角形部分等の細やかな特徴を敏感に捉えた距離画像を撮像（生成）することができ、算出処理部１１３は、より高い一致度を算出することができる。

また、例えば、図８に示すように、ワーク５０が曲面部分等の形状を有する場合、３次元カメラ４０は、曲面部分を正確に距離画像化することが難しいため、ブロックマッチングのスコアを厳しく設定した撮像条件を選択するようにしてもよい。そうすることで、３次元カメラ４０により撮像（生成）される距離画像は、曲面部分の情報があえて削減され、それ以外の平面部分が支配的になり、ＣＡＤモデルとの一致度を高くすることができる。

なお、撮像条件は、例えば、撮像条件データ１４１に格納される複数の撮像条件のうち、作業者による入力部１２を介した入力に応じて選択されるようにしてもよい。

撮像条件最適化部１１４は、算出処理部１１３により算出された一致度が予め設定された所定値以上となる撮像条件を３次元カメラ４０に設定する。
具体的には、撮像条件最適化部１１４は、例えば、算出処理部１１３により各撮像条件における一致度が順次に算出される場合に、算出された一致度が設定された所定値以上となった時点の撮像条件を最適な撮像条件として３次元カメラ４０に設定するようにしてもよい。
なお、所定値は、要求される距離画像の精度等に応じて適宜決定されることが好ましい。

＜情報処理装置１０の撮像条件調整処理＞
次に、情報処理装置１０の撮像条件調整処理に係る動作の一例について説明する。
図９は、情報処理装置１０の撮像条件調整処理の一例について説明するフローチャートである。

ステップＳ１１において、情報処理装置１０は、ロボット制御装置２０に対してロボット３０を動作させることで、３次元カメラ４０の視野内に対象物であるワーク５０を作業台６０に配置させる。

ステップＳ１２において、読込部１１１は、ＣＡＤ／ＣＡＭ装置等の外部装置（図示しない）からワーク５０の形状を示すＣＡＤモデルを読み込む。

ステップＳ１３において、撮像条件生成部１１２は、複数の撮像条件を生成し、生成した複数の撮像条件を撮像条件データ１４１に格納する。

ステップＳ１４において、算出処理部１１３は、撮像条件データ１４１に格納された複数の撮像条件から選択された撮像条件に基づいて３次元カメラ４０により撮像（生成）された距離画像と、ステップＳ１２で読み込まれたＣＡＤモデルとのマッチングを行い、距離画像とＣＡＤモデルとの一致度（ＣＡＤモデルマッチングのスコア）を算出する。

ステップＳ１５において、撮像条件最適化部１１４は、ステップＳ１４で算出された一致度が所定値以上か否かを判定する。一致度が所定値以上の場合、処理はステップＳ１６に進む。一方、一致度が所定値より小さい場合、次の撮像条件での一致度（ＣＡＤモデルマッチングのスコア）を算出するために、処理はステップＳ１４に戻る。

ステップＳ１６において、撮像条件最適化部１１４は、一致度が所定値以上の撮像条件を３次元カメラ４０に設定する。

以上により、一実施形態の情報処理装置１０は、生成した複数の撮像条件から選択された撮像条件に基づいて３次元カメラ４０により生成された距離画像と、読み込まれたＣＡＤモデルとのマッチングを行い、距離画像とＣＡＤモデルとの一致度（ＣＡＤモデルマッチングのスコア）を算出する。情報処理装置１０は、算出した一致度が所定値以上となった時点で、当該時点の撮像条件を３次元カメラ４０に設定する。
これにより、情報処理装置１０は、作業者のスキルによらず、最適な撮像条件を自動で決定することができ、作業者による撮像条件の設定作業の負担を軽減することができる。

以上、一実施形態について説明したが、情報処理装置１０は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。

＜変形例１＞
上述の実施形態では、情報処理装置１０は、ロボット制御装置２０と異なる装置としたが、これに限定されない。例えば、情報処理装置１０は、ロボット制御装置２０に含まれてもよい。

＜変形例２＞
また例えば、上述の実施形態では、撮像条件最適化部１１４は、一致度が所定値以上となった時点の撮像条件を３次元カメラ４０に設定したが、これに限定されない。例えば、算出処理部１１３は、撮像条件生成部１１２により生成され撮像条件データ１４１に格納された全ての複数の撮像条件における距離画像とＣＡＤモデルとの一致度を算出してもよい。そして、撮像条件最適化部１１４は、算出された全ての一致度のうち、最も高い一致度の撮像条件を決定するようにしてもよい。
そうすることで、情報処理装置１０は、より最適な撮像条件を３次元カメラ４０に設定することができる。

＜変形例３＞
また例えば、上述の実施形態では、複数の撮像条件を作成して、その中から随時選択された撮像条件に基づいて撮像する構成を例示したが、これに限定されない。例えば、今回の撮像条件での一致度と前回の撮像条件での一致度との比較に基づいて、次回の撮像条件を生成するようにしてもよい。具体的には、一致度が良くなっている場合は、前回と同じ方向で撮像条件を修正し、一致度が悪くなっている場合は、前回とは逆の方向で撮像条件を修正するようにしてもよい。

＜変形例４＞
また例えば、距離画像とＣＡＤモデルとの一致度の比較前に、距離画像を加工して比較を実施してもよい。例えば、距離画像の一部を切り出したり、縮小することで、一致度の計算を高速化してもよい。また、ＣＡＤモデルとの比較が効果的になるのであれば距離画像にフィルタをかけてぼかす等の加工を施してもよい。

なお、一実施形態における、情報処理装置１０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。

なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上を換言すると、本開示の撮像条件調整装置、及び撮像条件調整方法は、次のような構成を有する各種各様の実施形態を取ることができる。

（１）本開示の撮像条件調整装置（情報処理装置１０）は、ワーク５０の距離画像を撮像する撮像条件を調整する撮像条件調整装置であって、３次元カメラ４０の視野内に配置されたワーク５０を含む距離画像を３次元カメラ４０から取得する取得部１１０と、ワーク５０のＣＡＤモデルを読み込む読込部１１１と、生成された複数の撮像条件に基づいてそれぞれ３次元カメラ４０により撮像された距離画像とＣＡＤモデルとのマッチングを行い、撮像された距離画像とＣＡＤモデルとの一致度を算出する算出処理部１１３と、算出処理部１１３により算出された一致度が予め設定された所定値以上となる撮像条件を３次元カメラ４０に設定する撮像条件最適化部１１４と、を備える。
この撮像条件調整装置によれば、作業者のスキルによらず、最適な撮像条件を自動で決定することができる。

（２） （１）に記載の撮像条件調整装置において、撮像条件最適化部１１４は、算出処理部１１３により算出された複数の撮像条件それぞれの一致度のうち最も高い一致度の撮像条件を決定してもよい。
そうすることで、撮像条件調整装置は、より最適な撮像条件を３次元カメラ４０に設定することができる。

（３） （１）又は（２）に記載の撮像条件調整装置において、撮像条件は、露光時間、プロジェクタ４３の光量、ブロックマッチングのサイズ、ブロックマッチングのスコアの閾値の少なくとも１つを含んでもよい。
そうすることで、撮像条件調整装置は、より最適な距離画像を取得することができる。

（４）本開示の撮像条件調整方法は、コンピュータにより実現される、ワーク５０の距離画像を撮像する撮像条件を調整する撮像条件調整方法であって、３次元カメラ４０の視野内に配置されたワーク５０を含む距離画像を３次元カメラ４０から取得する取得工程と、ワーク５０のＣＡＤモデルを読み込む読込工程と、生成された複数の撮像条件に基づいてそれぞれ３次元カメラ４０により撮像された距離画像とＣＡＤモデルとのマッチングを行い、撮像された距離画像とＣＡＤモデルとの一致度を算出する算出処理工程と、算出された一致度が予め設定された所定値以上となる撮像条件を３次元カメラ４０に設定する撮像条件最適化工程と、を備える。
この撮像条件調整方法によれば、（１）と同様の効果を奏することができる。

１ ロボットシステム
１０ 情報処理装置
１１ 制御部
１１０ 取得部
１１１ 読込部
１１２ 撮像条件生成部
１１３ 算出処理部
１１４ 撮像条件最適化部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ 撮像条件データ
２０ ロボット制御装置
３０ ロボット
４０ ３次元カメラ

Claims (4)

1. 対象物の距離画像を撮像する撮像条件を調整する撮像条件調整装置であって、
   ３次元カメラの視野内に配置された前記対象物を含む距離画像を前記３次元カメラから取得する取得部と、
   前記対象物のＣＡＤモデルを読み込む読込部と、
   生成された複数の撮像条件に基づいてそれぞれ前記３次元カメラにより撮像された距離画像と前記ＣＡＤモデルとのマッチングを行い、撮像された前記距離画像と前記ＣＡＤモデルとの一致度を算出する算出処理部と、
   前記算出処理部により算出された一致度が予め設定された所定値以上となる撮像条件を前記３次元カメラに設定する撮像条件最適化部と、
   を備える撮像条件調整装置。
2. 前記撮像条件最適化部は、前記算出処理部により算出された前記複数の撮像条件それぞれの一致度のうち最も高い一致度の撮像条件を決定する、請求項１に記載の撮像条件調整装置。
3. 前記撮像条件は、露光時間、光源の光量、ブロックマッチングのサイズ、ブロックマッチングのスコアの閾値の少なくとも１つを含む、請求項１又は請求項２に記載の撮像条件調整装置。
4. コンピュータにより実現される、対象物の距離画像を撮像する撮像条件を調整する撮像条件調整方法であって、
   ３次元カメラの視野内に配置された前記対象物を含む距離画像を前記３次元カメラから取得する取得工程と、
   前記対象物のＣＡＤモデルを読み込む読込工程と、
   生成された複数の撮像条件に基づいてそれぞれ前記３次元カメラにより撮像された距離画像と前記ＣＡＤモデルとのマッチングを行い、撮像された前記距離画像と前記ＣＡＤモデルとの一致度を算出する算出処理工程と、
   算出された一致度が予め設定された所定値以上となる撮像条件を前記３次元カメラに設定する撮像条件最適化工程と、
   を備える撮像条件調整方法。

Images