JP7321029B2 - キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents
キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP7321029B2 JP7321029B2 JP2019145657A JP2019145657A JP7321029B2 JP 7321029 B2 JP7321029 B2 JP 7321029B2 JP 2019145657 A JP2019145657 A JP 2019145657A JP 2019145657 A JP2019145657 A JP 2019145657A JP 7321029 B2 JP7321029 B2 JP 7321029B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- hand
- image
- sensor
- experiencer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
撮像手段及び表示手段を搭載するヘッドマウントディスプレイ(HMD)であって、当該HMDを装着する体験者の手の位置及び形状を検出するためのセンサを更に搭載した前記HMDを用い、前記撮像手段で得た画像中の前記体験者の手の位置と、前記センサを用いて検出した手の位置とを一致させるためのキャリブレーションを行うキャリブレーション装置であって、
前記撮像手段で得た画像にキャリブレーションを行うための指標となる手を表すガイド画像を合成した合成画像を生成し、前記表示手段に出力するガイド画像出力手段と、
該ガイド画像出力手段による前記合成画像を前記表示手段に表示させた状態で、前記撮像手段の撮像で得た画像から前記体験者の手の輪郭線を第1の輪郭線として抽出する輪郭線抽出手段と、
前記センサで得た信号から前記体験者の手の3次元形状を計測する計測手段と、
該計測手段によって得られた3次元形状を前記画像に投影する投影手段と、
前記投影手段によって得られた3次元形状の輪郭線を第2の輪郭線とし、前記第1の輪郭線と前記第2の輪郭線の対応づけを行う対応付け手段と、
前記対応付け手段で対応付けた対応点同士の距離を算出する距離算出手段と、
前記距離を最小化する、前記撮像手段と前記センサとの間の相対的位置姿勢を算出する位置姿勢算出手段とを有する。
図1は、本第1の実施形態が適用する複合現実感システムの機能ブロック構成図を示している。図7は同システムのハードウェア構成図を示している。CPU701は本システムを動作させるためのアプリケーションを実行することでシステム全体の制御を司る。図1に示す各処理部は、CPU701により処理で実現するものである。ただし、それらの幾つかは、CPU701とは独立したハードウェアでもって実現しても構わない。
P’=Mv * Mp * P …(1)
上記第1の実施形態では、ハンドモデルをステレオ画像上に投影して2次元画像上で対応点の距離を最小にする方法で相対位置姿勢Mvを求めた。しかし、2次元画像上における対応点の距離を最小にすることに限定されるものではない。本第2の実施形態では、3次元空間上で対応点を求め、3次元上の距離を最小化する方法で相対位置姿勢Mvを求める例を説明する。
上記第1の実施形態では、体験者の「手」を計測対象としてセンサ101とカメラ107の相対位置姿勢を算出したが、対象物は手に限定されるものではなく、センサがリアルタイムに動く対象物体の形状を計測でき、ステレオカメラで輪郭線を抽出することができる物体であれば適用可能である。例えば、人体モデルを計測対象とする場合が考えられる。この場合は、センサとしては、Microsoft社のKinectを用いて人体モデル全体を計測し、ステレオカメラではグリーンバックを背景として人を撮影することで輪郭線を抽出することができる。また、顔についても同様に計測対象とすることができる。
Claims (12)
- 撮像手段及び表示手段を搭載するヘッドマウントディスプレイ(HMD)であって、当該HMDを装着する体験者の手の位置及び形状を検出するためのセンサを更に搭載した前記HMDを用い、前記撮像手段で得た画像中の前記体験者の手の位置と、前記センサを用いて検出した手の位置とを一致させるためのキャリブレーションを行うキャリブレーション装置であって、
前記撮像手段で得た画像にキャリブレーションを行うための指標となる手を表すガイド画像を合成した合成画像を生成し、前記表示手段に出力するガイド画像出力手段と、
該ガイド画像出力手段による前記合成画像を前記表示手段に表示させた状態で、前記撮像手段の撮像で得た画像から前記体験者の手の輪郭線を第1の輪郭線として抽出する輪郭線抽出手段と、
前記センサで得た信号から前記体験者の手の3次元形状を計測する計測手段と、
該計測手段によって得られた3次元形状を前記画像に投影する投影手段と、
前記投影手段によって得られた3次元形状の輪郭線を第2の輪郭線とし、前記第1の輪郭線と前記第2の輪郭線の対応づけを行う対応付け手段と、
前記対応付け手段で対応付けた対応点同士の距離を算出する距離算出手段と、
前記距離を最小化する、前記撮像手段と前記センサとの間の相対的位置姿勢を算出する位置姿勢算出手段と
を有することを特徴とするキャリブレーション装置。 - 前記輪郭線抽出手段は、予め設定した肌色の色情報を用いて、前記撮像手段で得た画像から前記体験者の手の輪郭線を抽出することを特徴とする請求項1に記載のキャリブレーション装置。
- 前記撮像手段は、前記体験者の左右の眼に提示する映像を撮像するためのステレオカメラであることを特徴とする請求項1又は2に記載のキャリブレーション装置。
- ステレオ画像を撮像するための撮像手段及び表示手段を搭載するヘッドマウントディスプレイ(HMD)であって、当該HMDを装着する体験者の手の位置及び形状を検出するためのセンサを更に搭載したHMDを用い、前記撮像手段で得た画像中の前記体験者の手の位置に、前記センサで検出した手の位置を一致させるためのキャリブレーションを行うキャリブレーション装置であって、
前記撮像手段で得たステレオ画像にキャリブレーションを行うための指標となる手を表すガイド画像を合成した合成画像を生成し、前記表示手段に出力するガイド画像出力手段と、
該ガイド画像出力手段による前記合成画像を前記表示手段に表示させた状態で、前記撮像手段の撮像で得たステレオ画像から、前記体験者の手の輪郭線を第1の輪郭線として抽出する輪郭線抽出手段と、
前記輪郭線抽出手段で抽出した第1の輪郭線に基づいてステレオマッチングを用いて3次元の輪郭モデルを生成する輪郭モデル生成手段と、
前記センサで得た信号から前記体験者の手の3次元形状を取得する取得手段と、
前記輪郭モデルの特徴点と前記3次元形状における特徴点の対応付けを行う対応付け手段と、
前記対応付け手段で対応付けた対応点同士の3次元の距離を算出する距離算出手段と、
前記距離を最小化する前記撮像手段と前記センサとの相対位置姿勢を算出する位置姿勢算出手段と
を有することを特徴とするキャリブレーション装置。 - 前記輪郭線抽出手段は、予め設定した肌色の色情報を用いて、前記撮像手段で得た画像から前記体験者の手の輪郭線を抽出することを特徴とする請求項4に記載のキャリブレーション装置。
- 撮像手段及び表示手段を搭載するヘッドマウントディスプレイ(HMD)であって、当該HMDを装着する体験者の手の位置及び形状を検出するためのセンサを更に搭載した前記HMDを用い、前記撮像手段で得た画像中の前記体験者の手の位置と、前記センサを用いて検出した手の位置とを一致させるためのキャリブレーションを行うキャリブレーション装置の制御方法であって、
前記撮像手段で得た画像にキャリブレーションを行うための指標となる手を表すガイド画像を合成した合成画像を生成し、前記表示手段に出力するガイド画像出力工程と、
該ガイド画像出力工程による前記合成画像を前記表示手段に表示させた状態で、前記撮像手段の撮像で得た画像から前記体験者の手の輪郭線を第1の輪郭線として抽出する輪郭線抽出工程と、
前記センサで得た信号から前記体験者の手の3次元形状を計測する計測工程と、
該計測工程によって得られた3次元形状を前記画像に投影する投影工程と、
前記投影工程によって得られた3次元形状の輪郭線を第2の輪郭線とし、前記第1の輪郭線と前記第2の輪郭線の対応づけを行う対応付け工程と、
前記対応付け工程で対応付けた対応点同士の距離を算出する距離算出工程と、
前記距離を最小化する、前記撮像手段と前記センサとの間の相対的位置姿勢を算出する位置姿勢算出工程と
を有することを特徴とするキャリブレーション装置の制御方法。 - 前記輪郭線抽出工程は、予め設定した肌色の色情報を用いて、前記撮像手段で得た画像から前記体験者の手の輪郭線を抽出することを特徴とする請求項6に記載のキャリブレーション装置の制御方法。
- 前記撮像手段は、前記体験者の左右の目に提示する映像を撮像するためのステレオカメラであることを特徴とする請求項6又は7に記載のキャリブレーション装置の制御方法。
- ステレオ画像を撮像するための撮像手段及び表示手段を搭載するヘッドマウントディスプレイ(HMD)であって、当該HMDを装着する体験者の手の位置及び形状を検出するためのセンサを更に搭載したHMDを用い、前記撮像手段で得た画像中の前記体験者の手の位置に、前記センサで検出した手の位置を一致させるためのキャリブレーションを行うキャリブレーション装置の制御方法であって、
前記撮像手段で得たステレオ画像にキャリブレーションを行うための指標となる手を表すガイド画像を合成した合成画像を生成し、前記表示手段に出力するガイド画像出力工程と、
該ガイド画像出力工程による前記合成画像を前記表示手段に表示させた状態で、前記撮像手段の撮像で得たステレオ画像から、前記体験者の手の輪郭線を第1の輪郭線として抽出する輪郭線抽出工程と、
前記輪郭線抽出工程で抽出した第1の輪郭線に基づいてステレオマッチングを用いて3次元の輪郭モデルを生成する輪郭モデル生成工程と、
前記センサで得た信号から前記体験者の手の3次元形状を取得する取得工程と、
前記輪郭モデルの特徴点と前記3次元形状における特徴点の対応付けを行う対応付け工程と、
前記対応付け工程で対応付けた対応点同士の3次元の距離を算出する距離算出工程と、
前記距離を最小化する前記撮像手段と前記センサとの相対位置姿勢を算出する位置姿勢算出工程と
を有することを特徴とするキャリブレーション装置の制御方法。 - 前記輪郭線抽出工程は、予め設定した肌色の色情報を用いて、前記撮像手段で得た画像から前記体験者の手の輪郭線を抽出することを特徴とする請求項9に記載のキャリブレーション装置の制御方法。
- コンピュータに、請求項6乃至請求項10のいずれか1項に記載の方法の各工程を実行させるためのプログラム。
- 請求項10に記載のプログラムを格納する、コンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145657A JP7321029B2 (ja) | 2019-08-07 | 2019-08-07 | キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145657A JP7321029B2 (ja) | 2019-08-07 | 2019-08-07 | キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021025947A JP2021025947A (ja) | 2021-02-22 |
JP7321029B2 true JP7321029B2 (ja) | 2023-08-04 |
Family
ID=74663066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145657A Active JP7321029B2 (ja) | 2019-08-07 | 2019-08-07 | キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7321029B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012013514A (ja) | 2010-06-30 | 2012-01-19 | Canon Inc | 情報処理装置、3次元位置算出方法及びプログラム |
JP2014112057A (ja) | 2012-12-05 | 2014-06-19 | Denso It Laboratory Inc | 期待結合精度のリアルタイム表示方法および形状計測システム |
JP2016170610A (ja) | 2015-03-12 | 2016-09-23 | セコム株式会社 | 三次元モデル処理装置およびカメラ校正システム |
JP2018084954A (ja) | 2016-11-24 | 2018-05-31 | セイコーエプソン株式会社 | プログラム、姿勢導出方法、姿勢導出装置 |
-
2019
- 2019-08-07 JP JP2019145657A patent/JP7321029B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012013514A (ja) | 2010-06-30 | 2012-01-19 | Canon Inc | 情報処理装置、3次元位置算出方法及びプログラム |
JP2014112057A (ja) | 2012-12-05 | 2014-06-19 | Denso It Laboratory Inc | 期待結合精度のリアルタイム表示方法および形状計測システム |
JP2016170610A (ja) | 2015-03-12 | 2016-09-23 | セコム株式会社 | 三次元モデル処理装置およびカメラ校正システム |
JP2018084954A (ja) | 2016-11-24 | 2018-05-31 | セイコーエプソン株式会社 | プログラム、姿勢導出方法、姿勢導出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021025947A (ja) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5818857B2 (ja) | 情報処理装置およびその制御方法 | |
KR101902702B1 (ko) | 치축 추정 프로그램, 치축 추정 장치 및 그 방법, 및 치형 데이터 생성 프로그램, 치형 데이터 생성 장치 및 그 방법 | |
US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
KR101707707B1 (ko) | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 | |
JP5430565B2 (ja) | 電子ミラー装置 | |
US9607439B2 (en) | Information processing apparatus and information processing method | |
KR20180112756A (ko) | 표정 검출 성능을 갖는 머리-장착형 디스플레이 | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
KR101556992B1 (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP5762600B1 (ja) | 情報処理装置及び情報処理方法 | |
JP2014106543A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009020761A (ja) | 画像処理装置及びその方法 | |
JP2016071645A (ja) | オブジェクト3次元モデル復元方法、装置およびプログラム | |
JP2017194301A (ja) | 顔形状測定装置及び方法 | |
JP7363962B2 (ja) | 処理装置、検出装置、システム及びプログラム | |
JP7321029B2 (ja) | キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 | |
JP7029253B2 (ja) | 情報処理装置及びその方法 | |
US10798360B2 (en) | Information processing system, method for controlling same, and program | |
JP2019046472A (ja) | 画像処理装置、画像処理方法 | |
US20200258193A1 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2020036114A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2022112228A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230725 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7321029 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |