JP2019070898A - 推定プログラム、推定装置、及び推定方法 - Google Patents
推定プログラム、推定装置、及び推定方法 Download PDFInfo
- Publication number
- JP2019070898A JP2019070898A JP2017195787A JP2017195787A JP2019070898A JP 2019070898 A JP2019070898 A JP 2019070898A JP 2017195787 A JP2017195787 A JP 2017195787A JP 2017195787 A JP2017195787 A JP 2017195787A JP 2019070898 A JP2019070898 A JP 2019070898A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- image
- information
- feature
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
図1は、物体の画像の例を示す図である。図2は、図1の物体の形状を表すCADデータのモデルの初期の姿勢(初期モデル姿勢)の例を示す図である。図3は、図1の画像から検出されたエッジ線と、図2の初期モデル姿勢の輪郭線との対応付けの例を示す図である。
このような対応付け方法によれば、以下のような問題が発生すると考えられる。
図8は、本実施形態(実施例1)における推定装置のブロック図である。推定装置21は、CADデータ読込部22、CAD画像DB生成部23、候補線抽出部24、画像取得部25、特徴検出部26、姿勢推定部27、生成部28、位置計算部29、誤差計算部30、決定部31、出力部32、及び記憶部33を含む。
CAD画像DB生成部23は、CADデータ41に基づいて、CAD物体の初期モデル姿勢候補Kiの位置姿勢(Ri,Ti)を決定する(S13)。S13では、CAD画像DB生成部23は、CAD物体を取り囲むような多面体の頂点及び面の中心からCAD物体へ向くような視点の位置姿勢のいずれから初期モデル姿勢候補Kiを決定する。例えば、CAD画像DB生成部23は、CAD物体を正八面体(図11)の中心に置き、正八面体の頂点及び面の中心からCAD物体に向くような視点の位置姿勢のいずれかから、初期モデル姿勢候補Kiを計算する。
比の最大値、patはmC5パターンIDである。
ュテーブルH1に登録する。ハッシュで衝突が起きた場合、データはリスト構造で付け加えられる。ここで、候補IDだけでなく、交点IDおよびnCmパターンIDもハッシュテーブルH1に登録するのは、検索時に特徴量の比較を行う際、順序付けられた複比の一致する個数を、候補ID、交点ID、nCmパターンIDごとに集計するためである。
A:カメラの内部パラメータ(非特許文献7の方法で予め計測しておく。)
R:算出されたR’をロドリゲス変換(Rodrigues' rotation formula)により3行3列の行列に変換したもの
T:算出されたT’
(u,v):画像平面内に投影されたCAD線分の端点2次元座標
(C11)N本の投影線のうち、所定の割合の投影線が画像821内に含まれている。
(C12)N本の投影線のうち、所定の割合の投影線が画像821内の所定位置の近傍に存在する。
(C13)画像821の面積に対するN本の投影線の分布範囲の割合が所定値以上である。
(C21)N本の候補線のうち少なくとも2本の候補線は平行ではない。
(C22)N本の候補線のうちいずれの2本の候補線も同一直線上に存在しない。
(C31)N本の特徴線のうち少なくとも2本の特徴線は平行ではない。
(C32)N本の特徴線のうちいずれの2本の特徴線も同一直線上に存在しない。
(付記1)
複数の視点のいずれかから観察される物体の姿勢毎に、該姿勢を表す姿勢情報と、該姿勢情報に対応する視点から観察された該物体の画像を示す視点画像と、該視点画像から抽出された複数の特徴点を用いて算出される該視点画像の特徴量とを関連付けた情報である複数の初期姿勢候補情報を記憶する記憶部と、
対象物を撮影した撮像画像を取得する画像取得部と、
前記撮像画像の特徴量と前記複数の初期姿勢候補情報の特徴量とを照合し、照合結果に基づいて該複数の初期姿勢候補情報から、前記撮像画像に写っている前記対象物の姿勢に類似する姿勢の姿勢情報を含む初期姿勢候補情報を抽出する照合部と、
前記照合部が抽出した初期姿勢候補情報に対応する姿勢の物体が観察される視点の位置に基づいて、前記物体の形状情報から得られる線分を絞り込む絞込部と、
絞り込んだ前記線分と前記撮像画像から検出される特徴線とを対応付ける対応付け部と、
対応付け結果に基づいて、前記対象物の画像から3次元空間内における該対象物に対する視点の位置及び方向を推定する推定部と、
を備えることを特徴とする推定装置
(付記2)
前記初期姿勢候補情報は、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する情報であり、
前記初期姿勢候補情報の数は、前記多面体の頂点及び面の中心の数に対応する
ことを特徴とする付記1に記載の勢推定装置。
(付記3)
前記推定装置は、さらに、
前記物体の形状情報に基づいて、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する前記複数の初期姿勢候補情報を生成する生成部
を備えることを特徴とする付記1または2に記載の推定装置。
(付記4)
前記特徴量は、前記視点画像または前記撮像画像から抽出した特徴線の交点それぞれについて、該交点それぞれの周囲にある複数の交点に関して幾何学的変換に対する不変量を算出することにより得られる各交点の特徴量であり、
前記照合部は、前記視点画像から抽出した特徴線の交点の前記特徴量と前記撮像画像から抽出した特徴線の交点の前記特徴量とが一致する交点の数を計測し、一致する交点の数が最も多い姿勢情報を前記初期姿勢情報として推定する
ことを特徴とする付記1〜3のうちいずれかに記載の推定装置。
(付記5)
前記視点情報は、回転成分を含む3次元座標系で表される
ことを特徴とする付記1〜4のうちいずれかに記載の推定装置。
(付記6)
コンピュータに、
対象物を撮影した撮像画像を取得し、
記憶部から、複数の視点のいずれかから観察される物体の姿勢毎に、該姿勢を表す姿勢情報と、該姿勢情報に対応する視点から観察された該物体の画像を示す視点画像と、該視点画像から抽出された複数の特徴点を用いて算出される該視点画像の特徴量とを関連付けた情報である複数の初期姿勢候補情報を取得し、
前記撮像画像の特徴量と前記複数の初期姿勢候補情報の特徴量とを照合し、照合結果に基づいて該複数の初期姿勢候補情報から、前記撮像画像に写っている前記対象物の姿勢に類似する姿勢の姿勢情報を含む初期姿勢候補情報を抽出し、
抽出した前記初期姿勢候補情報に対応する姿勢の物体が観察される視点の位置に基づいて、前記物体の形状情報から得られる線分を絞り込み、
絞り込んだ前記線分と前記撮像画像から検出される特徴線とを対応付け、
対応付け結果に基づいて、前記対象物の画像から3次元空間内における該対象物に対する視点の位置及び方向を推定する、
処理を実行させる推定プログラム。
(付記7)
前記初期姿勢候補情報は、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する情報であり、
前記初期姿勢候補情報の数は、前記多面体の頂点及び面の中心の数に対応する
ことを特徴とする付記6に記載の推定プログラム。
(付記8)
前記推定プログラムは、前記コンピュータに、さらに、
前記物体の形状情報に基づいて、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する前記複数の初期姿勢候補情報を生成する
処理を実行させることを特徴とする付記6または7に記載の推定プログラム。
(付記9)
前記特徴量は、前記視点画像または前記撮像画像から抽出した特徴線の交点それぞれについて、該交点それぞれの周囲にある複数の交点に関して幾何学的変換に対する不変量を算出することにより得られる各交点の特徴量であり、
前記初期姿勢候補情報の抽出において、前記視点画像から抽出した特徴線の交点の前記特徴量と前記撮像画像から抽出した特徴線の交点の前記特徴量とが一致する交点の数を計測し、一致する交点の数が最も多い姿勢情報を前記初期姿勢情報として推定する
ことを特徴とする付記6〜8のうちいずれかに記載の推定プログラム。
(付記10)
前記視点情報は、回転成分を含む3次元座標系で表される
ことを特徴とする付記6〜9のうちいずれかに記載の推定プログラム。
(付記11)
コンピュータが、
対象物を撮影した撮像画像を取得し、
記憶部から、複数の視点のいずれかから観察される物体の姿勢毎に、該姿勢を表す姿勢情報と、該姿勢情報に対応する視点から観察された該物体の画像を示す視点画像と、該視点画像から抽出された複数の特徴点を用いて算出される該視点画像の特徴量とを関連付けた情報である複数の初期姿勢候補情報を取得し、
前記撮像画像の特徴量と前記複数の初期姿勢候補情報の特徴量とを照合し、照合結果に基づいて該複数の初期姿勢候補情報から、前記撮像画像に写っている前記対象物の姿勢に類似する姿勢の姿勢情報を含む初期姿勢候補情報を抽出し、
抽出した前記初期姿勢候補情報に対応する姿勢の物体が観察される視点の位置に基づいて、前記物体の形状情報から得られる線分を絞り込み、
絞り込んだ前記線分と前記撮像画像から検出される特徴線とを対応付け、
対応付け結果に基づいて、前記対象物の画像から3次元空間内における該対象物に対する視点の位置及び方向を推定する、
ことを特徴とする推定方法。
(付記12)
前記初期姿勢候補情報は、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する情報であり、
前記初期姿勢候補情報の数は、前記多面体の頂点及び面の中心の数に対応する
ことを特徴とする付記11に記載の推定方法。
(付記13)
前記コンピュータは、さらに、
前記物体の形状情報に基づいて、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する前記複数の初期姿勢候補情報を生成する
ことを特徴とする付記11または12に記載の推定方法。
(付記14)
前記特徴量は、前記視点画像または前記撮像画像から抽出した特徴線の交点それぞれについて、該交点それぞれの周囲にある複数の交点に関して幾何学的変換に対する不変量を算出することにより得られる各交点の特徴量であり、
前記初期姿勢候補情報の抽出において、前記視点画像から抽出した特徴線の交点の前記特徴量と前記撮像画像から抽出した特徴線の交点の前記特徴量とが一致する交点の数を計測し、一致する交点の数が最も多い姿勢情報を前記初期姿勢情報として推定する
ことを特徴とする付記11〜13のうちいずれかに記載の推定方法。
(付記15)
前記視点情報は、回転成分を含む3次元座標系で表される
ことを特徴とする付記11〜14のうちいずれかに記載の推定方法。
2 記憶部
3 画像取得部
4 照合部
5 絞込部
6 対応付け部
7 推定部
8 生成部
9 初期姿勢候補情報
11 CAD画像DB
12 撮像画像
21 推定装置
22 CADデータ読込部
23 CAD画像DB生成部
24 候補線抽出部
25 画像取得部
26 特徴検出部
27 姿勢推定部
28 生成部
29 位置計算部
30 誤差計算部
31 決定部
32 出力部
33 記憶部
41 CADデータ
43 特徴線
44 候補線
45 対応ペア
46 パラメータ
47 指標
48 パラメータ
Claims (7)
- コンピュータに、
対象物を撮影した撮像画像を取得し、
記憶部から、複数の視点のいずれかから観察される物体の姿勢毎に、該姿勢を表す姿勢情報と、該姿勢情報に対応する視点から観察された該物体の画像を示す視点画像と、該視点画像から抽出された複数の特徴点を用いて算出される該視点画像の特徴量とを関連付けた情報である複数の初期姿勢候補情報を取得し、
前記撮像画像の特徴量と前記複数の初期姿勢候補情報の特徴量とを照合し、照合結果に基づいて該複数の初期姿勢候補情報から、前記撮像画像に写っている前記対象物の姿勢に類似する姿勢の姿勢情報を含む初期姿勢候補情報を抽出し、
抽出した前記初期姿勢候補情報に対応する姿勢の物体が観察される視点の位置に基づいて、前記物体の形状情報から得られる線分を絞り込み、
絞り込んだ前記線分と前記撮像画像から検出される特徴線とを対応付け、
対応付け結果に基づいて、前記対象物の画像から3次元空間内における該対象物に対する視点の位置及び方向を推定する、
処理を実行させる推定プログラム。 - 前記初期姿勢候補情報は、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する情報であり、
前記初期姿勢候補情報の数は、前記多面体の頂点及び面の中心の数に対応する
ことを特徴とする請求項1に記載の推定プログラム。 - 前記推定プログラムは、前記コンピュータに、さらに、
前記物体の形状情報に基づいて、前記物体を取り囲む多面体の頂点及び面の中心に前記視点を配置した場合に該視点のそれぞれから観察される該物体の姿勢に関する前記複数の初期姿勢候補情報を生成する
処理を実行させることを特徴とする請求項1または2に記載の推定プログラム。 - 前記特徴量は、前記視点画像または前記撮像画像から抽出した特徴線の交点それぞれについて、該交点それぞれの周囲にある複数の交点に関して幾何学的変換に対する不変量を算出することにより得られる各交点の特徴量であり、
前記初期姿勢候補情報の抽出において、前記視点画像から抽出した特徴線の交点の前記特徴量と前記撮像画像から抽出した特徴線の交点の前記特徴量とが一致する交点の数を計測し、一致する交点の数が最も多い姿勢情報を前記初期姿勢情報として推定する
ことを特徴とする請求項1〜3のうちいずれかに記載の推定プログラム。 - 前記初期姿勢候補情報は、回転成分を含む3次元座標系で表される
ことを特徴とする請求項1〜4のうちいずれかに記載の推定プログラム。 - 複数の視点のいずれかから観察される物体の姿勢毎に、該姿勢を表す姿勢情報と、該姿勢情報に対応する視点から観察された該物体の画像を示す視点画像と、該視点画像から抽出された複数の特徴点を用いて算出される該視点画像の特徴量とを関連付けた情報である複数の初期姿勢候補情報を記憶する記憶部と、
対象物を撮影した撮像画像を取得する画像取得部と、
前記撮像画像の特徴量と前記複数の初期姿勢候補情報の特徴量とを照合し、照合結果に基づいて該複数の初期姿勢候補情報から、前記撮像画像に写っている前記対象物の姿勢に類似する姿勢の姿勢情報を含む初期姿勢候補情報を抽出する照合部と、
前記照合部が抽出した初期姿勢候補情報に対応する姿勢の物体が観察される視点の位置に基づいて、前記物体の形状情報から得られる線分を絞り込む絞込部と、
絞り込んだ前記線分と前記撮像画像から検出される特徴線とを対応付ける対応付け部と、
対応付け結果に基づいて、前記対象物の画像から3次元空間内における該対象物に対する視点の位置及び方向を推定する推定部と、
を備えることを特徴とする推定装置。 - コンピュータが、
対象物を撮影した撮像画像を取得し、
記憶部から、複数の視点のいずれかから観察される物体の姿勢毎に、該姿勢を表す姿勢情報と、該姿勢情報に対応する視点から観察された該物体の画像を示す視点画像と、該視点画像から抽出された複数の特徴点を用いて算出される該視点画像の特徴量とを関連付けた情報である複数の初期姿勢候補情報を取得し、
前記撮像画像の特徴量と前記複数の初期姿勢候補情報の特徴量とを照合し、照合結果に基づいて該複数の初期姿勢候補情報から、前記撮像画像に写っている前記対象物の姿勢に類似する姿勢の姿勢情報を含む初期姿勢候補情報を抽出し、
抽出した前記初期姿勢候補情報に対応する姿勢の物体が観察される視点の位置に基づいて、前記物体の形状情報から得られる線分を絞り込み、
絞り込んだ前記線分と前記撮像画像から検出される特徴線とを対応付け、
対応付け結果に基づいて、前記対象物の画像から3次元空間内における該対象物に対する視点の位置及び方向を推定する、
ことを特徴とする推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017195787A JP6946912B2 (ja) | 2017-10-06 | 2017-10-06 | 推定プログラム、推定装置、及び推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017195787A JP6946912B2 (ja) | 2017-10-06 | 2017-10-06 | 推定プログラム、推定装置、及び推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019070898A true JP2019070898A (ja) | 2019-05-09 |
JP6946912B2 JP6946912B2 (ja) | 2021-10-13 |
Family
ID=66441210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017195787A Active JP6946912B2 (ja) | 2017-10-06 | 2017-10-06 | 推定プログラム、推定装置、及び推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6946912B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11145048B2 (en) | 2019-07-24 | 2021-10-12 | Fujitsu Limited | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134649A (ja) * | 2008-12-03 | 2010-06-17 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2012068772A (ja) * | 2010-09-22 | 2012-04-05 | Nippon Hoso Kyokai <Nhk> | カメラトラッキング装置およびそのプログラム |
JP2013182523A (ja) * | 2012-03-02 | 2013-09-12 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理システム、画像処理方法 |
JP2014106602A (ja) * | 2012-11-26 | 2014-06-09 | Kddi Corp | 情報端末装置 |
-
2017
- 2017-10-06 JP JP2017195787A patent/JP6946912B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134649A (ja) * | 2008-12-03 | 2010-06-17 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2012068772A (ja) * | 2010-09-22 | 2012-04-05 | Nippon Hoso Kyokai <Nhk> | カメラトラッキング装置およびそのプログラム |
JP2013182523A (ja) * | 2012-03-02 | 2013-09-12 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理システム、画像処理方法 |
JP2014106602A (ja) * | 2012-11-26 | 2014-06-09 | Kddi Corp | 情報端末装置 |
Non-Patent Citations (2)
Title |
---|
CHUANTAO ZANG ET AL: "Camera localization by CAD model matching", 2011 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION (SII), JPN7021003127, 22 December 2011 (2011-12-22), US, pages 30 - 35, XP032112653, ISSN: 0004570945, DOI: 10.1109/SII.2011.6147414 * |
内山 英昭 他: "文書を対象とした拡張現実のためのLLAHを用いたカメラトラッキング", 電子情報通信学会技術研究報告, vol. 109, no. 215, JPN6021031142, 1 October 2009 (2009-10-01), JP, pages 29 - 34, ISSN: 0004570946 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11145048B2 (en) | 2019-07-24 | 2021-10-12 | Fujitsu Limited | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program |
Also Published As
Publication number | Publication date |
---|---|
JP6946912B2 (ja) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
JP5677798B2 (ja) | 3次元シーンにおける3次元物体の認識及び位置姿勢決定方法 | |
US9177404B2 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
JP2014081347A (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
JP4900204B2 (ja) | 物体認識方法 | |
JP6880618B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP4709668B2 (ja) | 3次元物体認識システム | |
CN110675487A (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
Ozbay et al. | A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms | |
JP6017343B2 (ja) | データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム | |
JP5647072B2 (ja) | 被写体認識装置、被写体認識方法及び被写体認識プログラム | |
US11468609B2 (en) | Methods and apparatus for generating point cloud histograms | |
Ramisa et al. | Mobile robot localization using panoramic vision and combinations of feature region detectors | |
Kordelas et al. | Viewpoint independent object recognition in cluttered scenes exploiting ray-triangle intersection and SIFT algorithms | |
JP6946912B2 (ja) | 推定プログラム、推定装置、及び推定方法 | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
JP2019105992A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP6544482B2 (ja) | 物体認識装置、物体認識方法及び記憶媒体 | |
JP2019159470A (ja) | 推定装置、推定方法、及び推定プログラム | |
JP7265143B2 (ja) | 表示制御方法、表示制御プログラムおよび情報処理装置 | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
Matusiak et al. | Depth-based descriptor for matching keypoints in 3D scenes | |
JP2018142267A (ja) | 物体判定装置、物体判定方法、プログラム、および特徴量列のデータ構造 | |
CN115713504A (zh) | 六自由度透视不变性特征分析方法、装置及处理设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6946912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |