JP5762099B2 - 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 - Google Patents
姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP5762099B2 JP5762099B2 JP2011084448A JP2011084448A JP5762099B2 JP 5762099 B2 JP5762099 B2 JP 5762099B2 JP 2011084448 A JP2011084448 A JP 2011084448A JP 2011084448 A JP2011084448 A JP 2011084448A JP 5762099 B2 JP5762099 B2 JP 5762099B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- dimensional model
- dimensional
- coordinate axis
- projection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
また、本発明の姿勢認識装置は、載置面上に載置された物体の姿勢を認識する姿勢認識装置において、前記物体を撮像する撮像部と、前記物体に対応した3次元モデルの情報を記憶する3次元モデル情報記憶部と、前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算部と、安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算部で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成部と、前記2次元投影画像生成部により生成された前記2次元投影画像を記憶する2次元投影画像記憶部と、前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合部と、前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識部と、を備え、前記安定姿勢計算部は、前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択部と、前記3次元モデル姿勢選択部で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点における前記第1の座標軸の第1の座標値を抽出する最下点座標抽出部と、前記第1の座標値と、前記第1の座標値よりも一定値大きい値に設定された第2の座標値との間に含まれる前記3次元モデルの構造点を前記第2の座標軸と前記第3の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出部と、前記投影点の凸包を計算する凸包計算部と、前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算部と、前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別部と、を有し、前記3次元モデル姿勢選択部は、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、前記最下点座標抽出部、前記投影点座標抽出部、前記凸包計算部、前記3次元モデル重心点計算部、及び前記安定姿勢判別部は、前記3次元モデル姿勢選択部により前記3次元モデルの姿勢情報の選択が変更される度に処理を実行することを特徴とする。
また、本発明の姿勢認識方法は、載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置が行う姿勢認識方法において、前記物体に対応した3次元モデルの情報を3次元モデル情報記憶部に記憶させる3次元モデル情報記憶工程と、前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算工程と、安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成工程と、前記2次元投影画像生成工程により生成された前記2次元投影画像を2次元投影画像記憶部に記憶させる2次元投影画像記憶工程と、前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合工程と、前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を備え、前記安定姿勢計算工程は、前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択工程と、前記3次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点における前記第1の座標軸の第1の座標値を抽出する最下点座標抽出工程と、前記第1の座標値と、前記第1の座標値よりも一定値大きい値に設定された第2の座標値との間に含まれる前記3次元モデルの構造点を前記第2の座標軸と前記第3の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出工程と、前記投影点の凸包を計算する凸包計算工程と、前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算工程と、前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を有し、前記3次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、前記最下点座標抽出工程、前記投影点座標抽出工程、前記凸包計算工程、前記3次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記3次元モデル姿勢選択工程により前記3次元モデルの姿勢情報の選択が変更される度に実行することを特徴とする。
また、本発明のプログラムは、載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置のコンピュータに、前記物体に対応した3次元モデルの情報を3次元モデル情報記憶部に記憶させる3次元モデル情報記憶工程と、前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算工程と、安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成工程と、前記2次元投影画像生成工程により生成された前記2次元投影画像を2次元投影画像記憶部に記憶させる2次元投影画像記憶工程と、前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合工程と、前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を実行させ、前記安定姿勢計算工程では、前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択工程と、前記3次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点における前記第1の座標軸の第1の座標値を抽出する最下点座標抽出工程と、前記第1の座標値と、前記第1の座標値よりも一定値大きい値に設定された第2の座標値との間に含まれる前記3次元モデルの構造点を前記第2の座標軸と前記第3の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出工程と、前記投影点の凸包を計算する凸包計算工程と、前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算工程と、前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を実行させ、前記3次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択させ、前記最下点座標抽出工程、前記投影点座標抽出工程、前記凸包計算工程、前記3次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記3次元モデル姿勢選択工程により前記3次元モデルの姿勢情報の選択が変更される度に実行させることを特徴とする。
図1は、本発明の第1実施形態に係る姿勢認識装置の概略構成を示す説明図であり、図1(a)は、姿勢認識装置の構成図、図1(b)は、姿勢認識装置の機能ブロック図である。図1(a)に示す姿勢認識装置100は、例えば作業ロボットのコントローラに組み込まれる。その際、姿勢認識装置100は、平面上に自由に置かれた3次元形状が既知の部品(物体)を、ハンドを有するロボット本体で拾い上げる際に、ロボット本体のハンドで部品の所定の位置を把持できるように、部品の姿勢を自動的に認識するものである。
次に、本発明の第2実施形態に係る姿勢認識装置について説明する。本第2実施形態では、図5における3次元モデル接地点計算部12、より具体的には、3次元モデル接地点計算部12の投影点座標抽出部23の動作が、上記第1実施形態と異なるものであり、それ以外の構成は、上記第1実施形態と同じである。つまり、本第2実施形態では、図6(a)のステップS3の動作が上記第1実施形態と異なるものであり、それ以外の動作は、上記第1実施形態と同じであるため、同一の動作については、詳細な説明を省略する。
Claims (8)
- 載置面上に載置された物体の姿勢を認識する姿勢認識装置において、
前記物体を撮像する撮像部と、
前記物体に対応した3次元モデルの情報を記憶する3次元モデル情報記憶部と、
前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算部と、
安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算部で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成部と、
前記2次元投影画像生成部により生成された前記2次元投影画像を記憶する2次元投影画像記憶部と、
前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合部と、
前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識部と、を備え、
前記安定姿勢計算部は、
前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択部と、
前記3次元モデル姿勢選択部で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点の位置座標を計算する3次元モデル最下点計算部と、
前記第2の座標軸及び前記第3の座標軸を含む仮想平面に前記最下点を投影した投影点の凸包を計算する凸包計算部と、
前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算部と、
前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別部と、を有し、
前記3次元モデル姿勢選択部は、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
前記3次元モデル最下点計算部、前記凸包計算部、前記3次元モデル重心点計算部、及び前記安定姿勢判別部は、前記3次元モデル姿勢選択部により姿勢情報の選択が変更される度に処理を実行することを特徴とする姿勢認識装置。 - 載置面上に載置された物体の姿勢を認識する姿勢認識装置において、
前記物体を撮像する撮像部と、
前記物体に対応した3次元モデルの情報を記憶する3次元モデル情報記憶部と、
前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算部と、
安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算部で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成部と、
前記2次元投影画像生成部により生成された前記2次元投影画像を記憶する2次元投影画像記憶部と、
前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合部と、
前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識部と、を備え、
前記安定姿勢計算部は、
前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択部と、
前記3次元モデル姿勢選択部で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点における前記第1の座標軸の第1の座標値を抽出する最下点座標抽出部と、
前記第1の座標値と、前記第1の座標値よりも一定値大きい値に設定された第2の座標値との間に含まれる前記3次元モデルの構造点を前記第2の座標軸と前記第3の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出部と、
前記投影点の凸包を計算する凸包計算部と、
前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算部と、
前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別部と、を有し、
前記3次元モデル姿勢選択部は、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
前記最下点座標抽出部、前記投影点座標抽出部、前記凸包計算部、前記3次元モデル重心点計算部、及び前記安定姿勢判別部は、前記3次元モデル姿勢選択部により前記3次元モデルの姿勢情報の選択が変更される度に処理を実行することを特徴とする姿勢認識装置。 - ロボット本体と、
前記ロボット本体を制御するコントローラと、
請求項1又は2に記載の姿勢認識装置と、を備えた作業ロボット。 - 載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置が行う姿勢認識方法において、
前記物体に対応した3次元モデルの情報を3次元モデル情報記憶部に記憶させる3次元モデル情報記憶工程と、
前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算工程と、
安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成工程と、
前記2次元投影画像生成工程により生成された前記2次元投影画像を2次元投影画像記憶部に記憶させる2次元投影画像記憶工程と、
前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合工程と、
前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を備え、
前記安定姿勢計算工程は、
前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択工程と、
前記3次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点の位置座標を計算する3次元モデル最下点計算工程と、
前記第2の座標軸及び前記第3の座標軸を含む仮想平面に前記最下点を投影した投影点の凸包を計算する凸包計算工程と、
前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算工程と、
前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を有し、
前記3次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
前記3次元モデル最下点計算工程、前記凸包計算工程、前記3次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記3次元モデル姿勢選択工程により前記3次元モデルの姿勢情報の選択が変更される度に実行することを特徴とする姿勢認識方法。 - 載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置が行う姿勢認識方法において、
前記物体に対応した3次元モデルの情報を3次元モデル情報記憶部に記憶させる3次元モデル情報記憶工程と、
前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算工程と、
安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成工程と、
前記2次元投影画像生成工程により生成された前記2次元投影画像を2次元投影画像記憶部に記憶させる2次元投影画像記憶工程と、
前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合工程と、
前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を備え、
前記安定姿勢計算工程は、
前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択工程と、
前記3次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点における前記第1の座標軸の第1の座標値を抽出する最下点座標抽出工程と、
前記第1の座標値と、前記第1の座標値よりも一定値大きい値に設定された第2の座標値との間に含まれる前記3次元モデルの構造点を前記第2の座標軸と前記第3の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出工程と、
前記投影点の凸包を計算する凸包計算工程と、
前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算工程と、
前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を有し、
前記3次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
前記最下点座標抽出工程、前記投影点座標抽出工程、前記凸包計算工程、前記3次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記3次元モデル姿勢選択工程により前記3次元モデルの姿勢情報の選択が変更される度に実行することを特徴とする姿勢認識方法。 - 載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置のコンピュータに、
前記物体に対応した3次元モデルの情報を3次元モデル情報記憶部に記憶させる3次元モデル情報記憶工程と、
前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算工程と、
安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成工程と、
前記2次元投影画像生成工程により生成された前記2次元投影画像を2次元投影画像記憶部に記憶させる2次元投影画像記憶工程と、
前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合工程と、
前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を実行させ、
前記安定姿勢計算工程では、
前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択工程と、
前記3次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点の位置座標を計算する3次元モデル最下点計算工程と、
前記第2の座標軸及び前記第3の座標軸を含む仮想平面に前記最下点を投影した投影点の凸包を計算する凸包計算工程と、
前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算工程と、
前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を実行させ、
前記3次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択させ、
前記3次元モデル最下点計算工程、前記凸包計算工程、前記3次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記3次元モデル姿勢選択工程により前記3次元モデルの姿勢情報の選択が変更される度に実行させるためのプログラム。 - 載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置のコンピュータに、
前記物体に対応した3次元モデルの情報を3次元モデル情報記憶部に記憶させる3次元モデル情報記憶工程と、
前記3次元モデル情報記憶部から前記3次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記3次元モデルの安定姿勢を計算する安定姿勢計算工程と、
安定姿勢の前記3次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記3次元モデルを観測して得られる2次元投影画像を生成する2次元投影画像生成工程と、
前記2次元投影画像生成工程により生成された前記2次元投影画像を2次元投影画像記憶部に記憶させる2次元投影画像記憶工程と、
前記撮像部により撮像されて得られた撮像画像と、前記2次元投影画像記憶部に記憶された前記2次元投影画像との一致度を計算する画像照合工程と、
前記2次元投影画像記憶部に記憶された2次元投影画像のうち、前記一致度が最も高い2次元投影画像を特定し、特定した2次元投影画像に対応する前記3次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を実行させ、
前記安定姿勢計算工程では、
前記仮想空間において重力方向に延びる第1の座標軸と、前記第1の座標軸に直交する第2の座標軸と、前記第1の座標軸及び前記第2の座標軸に直交する第3の座標軸とで表される3次元座標系を定義し、前記第1の座標軸、前記第2の座標軸及び前記第3の座標軸のそれぞれの軸まわりに0度以上360度未満の角度範囲内で前記3次元モデルを回転させる複数の姿勢情報のうち、1つの姿勢情報を選択する3次元モデル姿勢選択工程と、
前記3次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記3次元モデルの姿勢を設定して、前記3次元モデルの前記重力方向の最下点における前記第1の座標軸の第1の座標値を抽出する最下点座標抽出工程と、
前記第1の座標値と、前記第1の座標値よりも一定値大きい値に設定された第2の座標値との間に含まれる前記3次元モデルの構造点を前記第2の座標軸と前記第3の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出工程と、
前記投影点の凸包を計算する凸包計算工程と、
前記仮想空間における前記3次元モデルの重心点の位置座標を計算する3次元モデル重心点計算工程と、
前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記3次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を実行させ、
前記3次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択させ、
前記最下点座標抽出工程、前記投影点座標抽出工程、前記凸包計算工程、前記3次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記3次元モデル姿勢選択工程により前記3次元モデルの姿勢情報の選択が変更される度に実行させるためのプログラム。 - 請求項6又は7に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084448A JP5762099B2 (ja) | 2011-04-06 | 2011-04-06 | 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084448A JP5762099B2 (ja) | 2011-04-06 | 2011-04-06 | 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012220271A JP2012220271A (ja) | 2012-11-12 |
JP2012220271A5 JP2012220271A5 (ja) | 2014-05-22 |
JP5762099B2 true JP5762099B2 (ja) | 2015-08-12 |
Family
ID=47271952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011084448A Expired - Fee Related JP5762099B2 (ja) | 2011-04-06 | 2011-04-06 | 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5762099B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6112616B2 (ja) * | 2014-04-18 | 2017-04-12 | Necフィールディング株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
JP6348097B2 (ja) * | 2015-11-30 | 2018-06-27 | ファナック株式会社 | ワーク位置姿勢算出装置およびハンドリングシステム |
JP7506565B2 (ja) * | 2020-09-14 | 2024-06-26 | 株式会社Screenホールディングス | 画像処理装置、検査装置およびプログラム |
CN115422613B (zh) * | 2022-09-20 | 2023-04-07 | 国能(惠州)热电有限责任公司 | 一种三维数字化智能设计方法及*** |
CN117054047B (zh) * | 2023-10-11 | 2023-12-22 | 泰州市银杏舞台机械工程有限公司 | 一种基于检测灯内板偏转的舞台灯检测方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06180216A (ja) * | 1992-12-14 | 1994-06-28 | Mitsubishi Heavy Ind Ltd | 部品位置姿勢計測装置 |
JP2010210376A (ja) * | 2009-03-10 | 2010-09-24 | Seiko Epson Corp | テンプレートマッチングシステムおよびテンプレートマッチング方法 |
-
2011
- 2011-04-06 JP JP2011084448A patent/JP5762099B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012220271A (ja) | 2012-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
US11222471B2 (en) | Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data | |
EP2430588B1 (en) | Object recognition method, object recognition apparatus, and autonomous mobile robot | |
JP6011102B2 (ja) | 物体姿勢推定方法 | |
JP4677536B1 (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
CN110634161B (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
JP6632208B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN110176075B (zh) | 通过视觉***同时考虑图像特征中边缘和法线的***和方法 | |
CN111598946B (zh) | 一种物***姿测量方法、装置及存储介质 | |
WO2011115143A1 (en) | Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus | |
JP6054831B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2011133273A (ja) | 推定装置及びその制御方法、プログラム | |
JP5762099B2 (ja) | 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
JP2015075429A (ja) | マーカ、マーカの評価方法、情報処理装置、情報処理方法、及びプログラム | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
JP2015184054A (ja) | 同定装置、方法及びプログラム | |
JP2019211981A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
CN113228117B (zh) | 创作装置、创作方法和记录有创作程序的记录介质 | |
JP2012220271A5 (ja) | 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 | |
JP2017033556A (ja) | 画像処理方法及び電子機器 | |
JP2011174891A (ja) | 位置姿勢計測装置、位置姿勢計測方法、及びプログラム | |
KR101868520B1 (ko) | 손 제스처 인식 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140403 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150609 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5762099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |