JP5263437B2 - 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム - Google Patents
三次元モデリング装置、三次元モデリング方法、ならびに、プログラム Download PDFInfo
- Publication number
- JP5263437B2 JP5263437B2 JP2012197575A JP2012197575A JP5263437B2 JP 5263437 B2 JP5263437 B2 JP 5263437B2 JP 2012197575 A JP2012197575 A JP 2012197575A JP 2012197575 A JP2012197575 A JP 2012197575A JP 5263437 B2 JP5263437 B2 JP 5263437B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature points
- feature point
- feature
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
異なる位置で被写体を撮像することにより得られる第1画像と第2画像とを取得する画像取得手段と、
前記第1画像上から複数の第1特徴点を抽出するとともに、抽出した複数の第1特徴点に対応する前記第2画像上の複数の第2特徴点を抽出する特徴点抽出手段と、
前記抽出された第1特徴点と第2特徴点とに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおけるカメラの位置関係を示す座標変換パラメータを取得する第1取得手段と、
前記座標変換パラメータに基づいて取得した前記カメラとの距離に基づいて、前記抽出された第1特徴点及び当該第1特徴点に対応する第2特徴点のうち、撮像時における前記カメラとの距離が近い第1特徴点と第2特徴点との組み合わせを選択する特徴点選択手段と、
前記選択された第1特徴点と第2特徴点との組み合わせに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおける前記カメラの位置関係を示す座標変換パラメータを再取得する第2取得手段と、
前記再取得された座標変換パラメータに基づいて、前記特徴点抽出手段が抽出した複数の第1特徴点及び第2特徴点の三次元情報を取得する三次元情報取得手段と、
前記取得された複数の第1特徴点及び第2特徴点の三次元情報に基づいて、三次元モデルを作成する三次元モデル作成手段と、
を備えることを特徴とする。
始めに、第1の実施形態について説明する。図1(A)、(B)は、第1の実施形態に係るステレオカメラ1の外観図である。図1(A)に示すように、このステレオカメラ1の前面には、レンズ111Aと、レンズ111Bと、ストロボ発光部400と、が設けられ、上面には、シャッターボタン331が設けられている。レンズ111Aとレンズ111Bは、シャッターボタン331が上になる方向で、ステレオカメラ1を水平にした場合に、各々の中心位置が水平方向で同一線上となるように、所定の間隔を隔てて配置されている。ストロボ発光部400は、必要に応じて被写体に向けてストロボ光を照射する。ストロボ発光部400の構成については、後述する。シャッターボタン331は、ユーザからのシャッタ動作指示を受け付けるためのボタンである。
X=(b*u)/(u−u’)
Y=(b*v)/(u−u’)
Z=(b*f)/(u−u’)
ここで、bは、光学装置110Aと110Bとの間の距離で、基線長と呼ばれる。(u,v)は、光学装置110Aにより撮像された被写体の画像上の座標を示し、(u’,v’)は光学装置110Bにより撮像された被写体の画像上の座標を示す。上記3つの式における(u−u’)は、光学装置110Aと光学装置110Bとから、同じ被写体を撮像したときに得られる2つの画像上における被写体の座標の差であり、視差と呼ばれる。fは、光学装置110Aの焦点距離を示す。既に説明したとおり、光学装置110Aと110Bとは同じ構成であり、焦点距離fも等しい。
第1の実施形態では、撮像部が2つあるステレオカメラ1を用いて三次元モデルを作成した。しかしながら、本発明は、撮像部が1つしか無い単眼カメラ2にも適用することが可能である。単眼カメラ2を用いて三次元モデルを作成する三次元モデリング処理について、図11、図12を参照して説明する。
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
一度の撮像により一組の画像を取得するステレオカメラを用いて、被写体を異なる角度から複数回撮像することにより得られる複数の画像の組の入力を受け付ける画像受付手段と、
前記受け付けられた複数の画像の組のそれぞれに基づいて、前記被写体の三次元モデルを複数生成する三次元モデル生成手段と、
前記生成された複数の三次元モデルの中から、被合成三次元モデルと当該被合成三次元モデルに合成する合成三次元モデルとを選択する三次元モデル選択手段と、
前記選択された被合成三次元モデルから複数の第1特徴点を抽出するとともに、前記選択された合成三次元モデルから複数の第2特徴点を抽出する特徴点抽出手段と、
前記抽出された複数の第1特徴点と第2特徴点のうち前記ステレオカメラとの距離が近い特徴点を優先的に選択する特徴点選択手段と、
前記選択された複数の第1特徴点と第2特徴点とに基づいて、当該合成三次元モデルの座標を当該被合成三次元モデルの座標系の座標に変換する座標変換パラメータを取得する座標変換パラメータ取得手段と、
前記取得された座標変換パラメータを用いて、前記合成三次元モデルの座標を前記被合成三次元モデルの座標系の座標に変換する座標変換手段と、
前記座標変換後の合成三次元モデルを前記被合成三次元モデルに合成する合成手段と、を備える、
ことを特徴とする三次元モデリング装置。
前記特徴点選択手段は、前記ステレオカメラとの距離に基づいて、前記抽出された複数の第1特徴点と第2特徴点とを2つのクラスタにクラスタリングし、前記ステレオカメラとの距離が近い方のクラスタに属する第1特徴点と第2特徴点を選択する、
ことを特徴とする付記1に記載の三次元モデリング装置。
前記特徴点選択手段は、前記抽出された複数の第1特徴点と第2特徴点とに、前記ステレオカメラとの距離が近いほど高い評価値を示す所定の評価式によるロバスト推定法を適用して推定された特徴点を選択する、
ことを特徴とする付記1又は2に記載の三次元モデリング装置。
カメラを移動させて異なる位置で被写体を撮像することにより得られる第1画像と第2画像とを取得する画像取得手段と、
前記第1画像上から複数の第1特徴点を抽出するとともに、抽出した複数の第1特徴点に対応する前記第2画像上の複数の第2特徴点を抽出する特徴点抽出手段と、
前記抽出された第1特徴点と第2特徴点のうち、撮像時における前記カメラとの距離が近い第1特徴点と第2特徴点とを優先的に選択する特徴点選択手段と、
前記選択された第1特徴点と第2特徴点とに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおける前記カメラの位置関係を示す座標変換パラメータを取得する座標変換パラメータ取得手段と、
前記取得された座標変換パラメータに基づいて、前記特徴点抽出手段が抽出した複数の第1特徴点及び第2特徴点の三次元情報を取得する三次元情報取得手段と、
前記取得された複数の第1特徴点及び第2特徴点の三次元情報に基づいて、三次元モデルを作成する三次元モデル作成手段と、
を備えることを特徴とする三次元モデリング装置。
三次元モデリング方法であって、
一度の撮像により一組の画像を取得するステレオカメラを用いて、被写体を異なる角度から複数回撮像することにより得られる複数の画像の組の入力を受け付ける画像受付ステップと、
前記受け付けられた複数の画像の組のそれぞれに基づいて、前記被写体の三次元モデルを複数生成する三次元モデル生成ステップと、
前記生成された複数の三次元モデルの中から、被合成三次元モデルと当該被合成三次元モデルに合成する合成三次元モデルとを選択する三次元モデル選択ステップと、
前記選択された被合成三次元モデルから複数の第1特徴点を抽出するとともに、前記選択された合成三次元モデルから複数の第2特徴点を抽出する特徴点抽出ステップと、
前記抽出された複数の第1特徴点と第2特徴点のうち前記ステレオカメラとの距離が近い特徴点を優先的に選択する特徴点選択ステップと、
前記選択された複数の第1特徴点と第2特徴点とに基づいて、当該合成三次元モデルの座標を当該被合成三次元モデルの座標系の座標に変換する座標変換パラメータを取得する座標変換パラメータ取得ステップと、
前記取得された座標変換パラメータを用いて、前記合成三次元モデルの座標を前記被合成三次元モデルの座標系の座標に変換する座標変換ステップと、
前記座標変換後の合成三次元モデルを前記被合成三次元モデルに合成する合成ステップと、を含む、
ことを特徴とする三次元モデリング方法。
三次元モデリング方法であって、
カメラを移動させて異なる位置で被写体を撮像することにより得られる第1画像と第2画像とを取得する画像取得ステップと、
前記第1画像上から複数の第1特徴点を抽出するとともに、抽出した複数の第1特徴点に対応する前記第2画像上の複数の第2特徴点を抽出する特徴点抽出ステップと、
前記抽出された第1特徴点と第2特徴点のうち、撮像時における前記カメラとの距離が近い第1特徴点と第2特徴点とを優先的に選択する特徴点選択ステップと、
前記選択された第1特徴点と第2特徴点とに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおける前記カメラの位置関係を示す座標変換パラメータを取得する座標変換パラメータ取得ステップと、
前記取得された座標変換パラメータに基づいて、前記特徴点抽出ステップで抽出した複数の第1特徴点及び第2特徴点の三次元情報を取得する三次元情報取得ステップと、
前記取得された複数の第1特徴点及び第2特徴点の三次元情報に基づいて、三次元モデルを作成する三次元モデル作成ステップと、を含む、
ことを特徴とする三次元モデリング方法。
コンピュータに、
一度の撮像により一組の画像を取得するステレオカメラを用いて、被写体を異なる角度から複数回撮像することにより得られる複数の画像の組の入力を受け付ける画像受付機能、
前記受け付けられた複数の画像の組のそれぞれに基づいて、前記被写体の三次元モデルを複数生成する三次元モデル生成機能、
前記生成された複数の三次元モデルの中から、被合成三次元モデルと当該被合成三次元モデルに合成する合成三次元モデルとを選択する三次元モデル選択機能、
前記選択された被合成三次元モデルから複数の第1特徴点を抽出するとともに、前記選択された合成三次元モデルから複数の第2特徴点を抽出する特徴点抽出機能、
前記抽出された複数の第1特徴点と第2特徴点のうち前記ステレオカメラとの距離が近い特徴点を優先的に選択する特徴点選択機能、
前記選択された複数の第1特徴点と第2特徴点とに基づいて、当該合成三次元モデルの座標を当該被合成三次元モデルの座標系の座標に変換する座標変換パラメータを取得する座標変換パラメータ取得機能、
前記取得された座標変換パラメータを用いて、前記合成三次元モデルの座標を前記被合成三次元モデルの座標系の座標に変換する座標変換機能、
前記座標変換後の合成三次元モデルを前記被合成三次元モデルに合成する合成機能、を実現させる、
ことを特徴とするプログラム。
コンピュータに、
カメラを移動させて異なる位置で被写体を撮像することにより得られる第1画像と第2画像とを取得する画像取得機能、
前記第1画像上から複数の第1特徴点を抽出するとともに、抽出した複数の第1特徴点に対応する前記第2画像上の複数の第2特徴点を抽出する特徴点抽出機能、
前記抽出された第1特徴点と第2特徴点のうち、撮像時における前記カメラとの距離が近い第1特徴点と第2特徴点とを優先的に選択する特徴点選択機能、
前記選択された第1特徴点と第2特徴点とに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおける前記カメラの位置関係を示す座標変換パラメータを取得する座標変換パラメータ取得機能、
前記取得された座標変換パラメータに基づいて、前記特徴点抽出機能が抽出した複数の第1特徴点及び第2特徴点の三次元情報を取得する三次元情報取得機能、
前記取得された複数の第1特徴点及び第2特徴点の三次元情報に基づいて、三次元モデルを作成する三次元モデル作成機能、を実現させる、
ことを特徴とするプログラム。
Claims (5)
- 異なる位置で被写体を撮像することにより得られる第1画像と第2画像とを取得する画像取得手段と、
前記第1画像上から複数の第1特徴点を抽出するとともに、抽出した複数の第1特徴点に対応する前記第2画像上の複数の第2特徴点を抽出する特徴点抽出手段と、
前記抽出された第1特徴点と第2特徴点とに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおけるカメラの位置関係を示す座標変換パラメータを取得する第1取得手段と、
前記座標変換パラメータに基づいて取得した前記カメラとの距離に基づいて、前記抽出された第1特徴点及び当該第1特徴点に対応する第2特徴点のうち、撮像時における前記カメラとの距離が近い第1特徴点と第2特徴点との組み合わせを選択する特徴点選択手段と、
前記選択された第1特徴点と第2特徴点との組み合わせに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおける前記カメラの位置関係を示す座標変換パラメータを再取得する第2取得手段と、
前記再取得された座標変換パラメータに基づいて、前記特徴点抽出手段が抽出した複数の第1特徴点及び第2特徴点の三次元情報を取得する三次元情報取得手段と、
前記取得された複数の第1特徴点及び第2特徴点の三次元情報に基づいて、三次元モデルを作成する三次元モデル作成手段と、
を備えることを特徴とする三次元モデリング装置。 - 前記特徴点選択手段は、前記カメラとの距離に基づいて、前記抽出された複数の第1特徴点と第2特徴点とを2つのクラスタにクラスタリングし、前記カメラとの距離が近い方のクラスタに属する第1特徴点と第2特徴点との組み合わせを選択する、
ことを特徴とする請求項1に記載の三次元モデリング装置。 - 前記特徴点選択手段は、前記抽出された複数の第1特徴点と第2特徴点とに、前記カメラとの距離が近いほど高い評価値を示す所定の評価式によるロバスト推定法を適用して推定された特徴点を選択する、
ことを特徴とする請求項1又は2に記載の三次元モデリング装置。 - 三次元モデリング方法であって、
異なる位置で被写体を撮像することにより得られる第1画像と第2画像とを取得する画像取得ステップと、
前記第1画像上から複数の第1特徴点を抽出するとともに、抽出した複数の第1特徴点に対応する前記第2画像上の複数の第2特徴点を抽出する特徴点抽出ステップと、
前記抽出された第1特徴点と第2特徴点とに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおけるカメラの位置関係を示す座標変換パラメータを取得する第1取得ステップと、
前記座標変換パラメータに基づいて取得した前記カメラとの距離に基づいて、前記抽出された第1特徴点及び当該第1特徴点に対応する第2特徴点のうち、撮像時における前記カメラとの距離が近い第1特徴点と第2特徴点との組み合わせを選択する特徴点選択ステップと、
前記選択された第1特徴点と第2特徴点との組み合わせに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおける前記カメラの位置関係を示す座標変換パラメータを再取得する第2取得ステップと、
前記再取得された座標変換パラメータに基づいて、前記特徴点抽出ステップで抽出した複数の第1特徴点及び第2特徴点の三次元情報を取得する三次元情報取得ステップと、
前記取得された複数の第1特徴点及び第2特徴点の三次元情報に基づいて、三次元モデルを作成する三次元モデル作成ステップと、を含む、
ことを特徴とする三次元モデリング方法。 - コンピュータに、
異なる位置で被写体を撮像することにより得られる第1画像と第2画像とを取得する画像取得機能、
前記第1画像上から複数の第1特徴点を抽出するとともに、抽出した複数の第1特徴点に対応する前記第2画像上の複数の第2特徴点を抽出する特徴点抽出機能、
前記抽出された第1特徴点と第2特徴点とに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおけるカメラの位置関係を示す座標変換パラメータを取得する第1取得機能、
前記座標変換パラメータに基づいて取得した前記カメラとの距離に基づいて、前記抽出された第1特徴点及び当該第1特徴点に対応する第2特徴点のうち、撮像時における前記カメラとの距離が近い第1特徴点と第2特徴点との組み合わせを選択する特徴点選択機能、
前記選択された第1特徴点と第2特徴点との組み合わせに基づいて、前記第1画像撮像時と前記第2画像撮像時とにおける前記カメラの位置関係を示す座標変換パラメータを再取得する第2取得機能、
前記再取得された座標変換パラメータに基づいて、前記特徴点抽出機能が抽出した複数の第1特徴点及び第2特徴点の三次元情報を取得する三次元情報取得機能、
前記取得された複数の第1特徴点及び第2特徴点の三次元情報に基づいて、三次元モデルを作成する三次元モデル作成機能、を実現させる、
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012197575A JP5263437B2 (ja) | 2012-09-07 | 2012-09-07 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012197575A JP5263437B2 (ja) | 2012-09-07 | 2012-09-07 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011084881A Division JP5158223B2 (ja) | 2011-04-06 | 2011-04-06 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012248221A JP2012248221A (ja) | 2012-12-13 |
JP5263437B2 true JP5263437B2 (ja) | 2013-08-14 |
Family
ID=47468535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012197575A Active JP5263437B2 (ja) | 2012-09-07 | 2012-09-07 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5263437B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016142990A1 (ja) * | 2015-03-06 | 2016-09-15 | 富士通株式会社 | 検索プログラム、検索方法および検索装置 |
JP6348093B2 (ja) * | 2015-11-06 | 2018-06-27 | ファナック株式会社 | 入力データから検出対象物の像を検出する画像処理装置および方法 |
CN108961394A (zh) * | 2018-06-29 | 2018-12-07 | 河南聚合科技有限公司 | 一种基于数字化双胞胎技术的虚实结合产品研发平台 |
CN109002597B (zh) * | 2018-06-29 | 2023-04-18 | 河南聚合科技有限公司 | 一种基于数字化双胞胎技术的虚实结合运维仿真调试平台 |
JP2020042503A (ja) | 2018-09-10 | 2020-03-19 | 株式会社MinD in a Device | 三次元表象生成システム |
JP7078173B2 (ja) | 2019-03-14 | 2022-05-31 | オムロン株式会社 | 画像処理装置及び3次元計測システム |
US11348271B2 (en) | 2019-03-14 | 2022-05-31 | Omron Corporation | Image processing device and three-dimensional measuring system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3800257B2 (ja) * | 1996-08-02 | 2006-07-26 | オムロン株式会社 | 注目情報計測方法及び装置並びにそれを用いた各種システム |
JP4847090B2 (ja) * | 2005-10-14 | 2011-12-28 | クラリオン株式会社 | 位置測位装置、および位置測位方法 |
JP4341629B2 (ja) * | 2006-01-27 | 2009-10-07 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
-
2012
- 2012-09-07 JP JP2012197575A patent/JP5263437B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012248221A (ja) | 2012-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5158223B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
JP5024410B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
JP5110138B2 (ja) | Ar処理装置、ar処理方法及びプログラム | |
JP5263437B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
US11302009B2 (en) | Method of image processing using a neural network | |
JP5035372B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
JP5018980B2 (ja) | 撮像装置、長さ測定方法、及びプログラム | |
EP3447730B9 (en) | Three-dimensional reconstruction method | |
KR101192893B1 (ko) | 촬영 장치, 컴퓨터 판독 가능한 기록 매체, 및 제어 방법 | |
US8441518B2 (en) | Imaging apparatus, imaging control method, and recording medium | |
JP2012253444A (ja) | 撮像装置、画像処理装置およびその方法 | |
JP6452360B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
WO2013190862A1 (ja) | 画像処理装置及び画像処理方法 | |
WO2021056304A1 (zh) | 图像处理方法、装置、可移动平台及机器可读存储介质 | |
WO2014002521A1 (ja) | 画像処理装置及び画像処理方法 | |
CN108280807A (zh) | 单目深度图像采集装置和***及其图像处理方法 | |
JP2012248206A (ja) | Ar処理装置、ar処理方法及びプログラム | |
JP2019062436A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012073930A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6362433B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP2010154323A (ja) | 画像処理装置、画像抽出方法、および、プログラム | |
JP2017215851A (ja) | 画像処理装置および画像処理方法、造形システム | |
WO2024135337A1 (ja) | 情報処理装置および方法 | |
WO2024135336A1 (ja) | 情報処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120924 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20120924 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20121030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5263437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |