JP2006302034A - 画像処理方法、画像処理装置 - Google Patents
画像処理方法、画像処理装置 Download PDFInfo
- Publication number
- JP2006302034A JP2006302034A JP2005123980A JP2005123980A JP2006302034A JP 2006302034 A JP2006302034 A JP 2006302034A JP 2005123980 A JP2005123980 A JP 2005123980A JP 2005123980 A JP2005123980 A JP 2005123980A JP 2006302034 A JP2006302034 A JP 2006302034A
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- movable part
- movable
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y80/00—Products made by additive manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】 観察者の視点の位置姿勢を取得し(2030)、可動部分の可動量を取得し(2032)、現実物体を表す仮想物体の可動部分に該当する部分を可動量に基づいて可動させ、可動部分に該当する部分を可動させた仮想物体を視点から見た場合に見える画像を生成する(2040)。
【選択図】 図4
Description
観察者の視点の位置姿勢を取得する第1の取得工程と、
可動部分を有する現実物体の位置姿勢を取得する第2の取得工程と、
前記可動部分の可動量を取得する取得工程と、
前記現実物体を表す仮想物体の前記可動部分に該当する部分を前記可動量に基づいて可動させる可動工程と、
前記可動工程で前記可動部分に該当する部分を可動させた前記仮想物体を前記視点から見た場合に見える画像を、前記観察者の視点の位置姿勢、前記現実物体の位置姿勢に基づいて生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする。
観察者の視点の位置姿勢を取得する第1の取得手段と、
可動部分を有する現実物体の位置姿勢を取得する第2の取得手段と、
前記可動部分の可動量を取得する取得手段と、
前記現実物体を表す仮想物体の前記可動部分に該当する部分を前記可動量に基づいて可動させる可動手段と、
前記可動手段によって前記可動部分に該当する部分を可動させた前記仮想物体を前記視点から見た場合に見える画像を、前記観察者の視点の位置姿勢、前記現実物体の位置姿勢に基づいて生成する生成手段と、
前記生成手段によって生成した画像を出力する出力手段と
を備えることを特徴とする。
図1は、現実空間に仮想空間を重畳させた複合現実空間を観察者(ユーザ)に提供する処理過程において、可動部分を有する現実物体(簡易試作物)にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。
また、ロータリーエンコーダ210にギア比gのギアが取り付けられている場合には、可動部分301の現在の角度θは以下の式に従って求められる。
いずれにせよ、このような計算は回転角度算出部421によって成されるものである。 図13は、本実施形態で用いている簡易試作物300における可動部分301の可動様態を示す図である。簡易試作物300は、本体1301と可動部分301とにより構成されており、この可動部分301は観察者が手に持って軸A周りに同図矢印1302で示す如く自在に角度を変更することができる。この角度はロータリーエンコーダ210により測定される。
本実施形態では、簡易試作物300(簡易モックアップ)、及び可動部分301にマーカを添付することにより、これを見る観察者の視点の位置姿勢を補正することを可能とした複合現実感システムを示す。
第1の実施形態では、簡易試作物300の位置は固定されていたが、本実施形態では観察者がこの簡易試作物300を手に持つことでその位置や姿勢が変わり、且つ可動部分301の角度も任意に変更することが可能な場合について説明する。このような場合、簡易試作物300に磁気センサ201と同様の磁気センサを取り付ける。
本実施形態では、第2,3の実施形態を組み合わせる。即ち、簡易試作物300の位置姿勢が任意に変更してもそれを取得すべく、簡易試作物300に磁気センサ202を備えると共に、簡易試作物300、可動部分301にマーカを添付する。これにより、第2の実施形態におけるシステムで、視点の位置姿勢の計測精度を向上させることができる。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (7)
- 仮想空間の画像を生成して出力する画像処理方法であって、
観察者の視点の位置姿勢を取得する第1の取得工程と、
可動部分を有する現実物体の位置姿勢を取得する第2の取得工程と、
前記可動部分の可動量を取得する取得工程と、
前記現実物体を表す仮想物体の前記可動部分に該当する部分を前記可動量に基づいて可動させる可動工程と、
前記可動工程で前記可動部分に該当する部分を可動させた前記仮想物体を前記視点から見た場合に見える画像を、前記観察者の視点の位置姿勢、前記現実物体の位置姿勢に基づいて生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする画像処理方法。 - 更に、前記視点から見える現実空間の画像を入力する入力工程を備え、
前記出力工程では、前記生成工程で生成した画像を、前記入力工程で入力した画像上に重畳させて出力することを特徴とする請求項1に記載の画像処理方法。 - 更に前記第1の取得工程で取得した前記観察者の視点の位置姿勢を補正する補正工程を備えることを特徴とする請求項2に記載の画像処理方法。
- 前記可動部分と、前記現実物体における前記可動部分以外の非可動部分のそれぞれに1以上のマーカが取り付けられている場合に、
更に、それぞれのマーカが取り付けられている位置を保持手段に保持させる保持工程を備え、
前記補正工程は、
前記入力工程で入力した現実空間の画像上における各マーカの位置を検出する検出工程と、
前記取得工程で取得した可動量に基づいて、前記可動部分に取り付けられているマーカの位置を求める計算工程とを備え、
前記検出工程で検出した各マーカの位置と、前記計算工程で計算した位置とを用いて、前記第1の取得工程で取得した前記観察者の視点の位置姿勢を補正することを特徴とする請求項3に記載の画像処理方法。 - 仮想空間の画像を生成して出力する画像処理装置であって、
観察者の視点の位置姿勢を取得する第1の取得手段と、
可動部分を有する現実物体の位置姿勢を取得する第2の取得手段と、
前記可動部分の可動量を取得する取得手段と、
前記現実物体を表す仮想物体の前記可動部分に該当する部分を前記可動量に基づいて可動させる可動手段と、
前記可動手段によって前記可動部分に該当する部分を可動させた前記仮想物体を前記視点から見た場合に見える画像を、前記観察者の視点の位置姿勢、前記現実物体の位置姿勢に基づいて生成する生成手段と、
前記生成手段によって生成した画像を出力する出力手段と
を備えることを特徴とする画像処理装置。 - コンピュータに請求項1乃至4の何れか1項に記載の画像処理方法を実行させることを特徴とするプログラム。
- 請求項6に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005123980A JP4667111B2 (ja) | 2005-04-21 | 2005-04-21 | 画像処理装置、画像処理方法 |
EP06732336A EP1886281B1 (en) | 2005-04-21 | 2006-04-19 | Image processing method and image processing apparatus |
CN2006800132930A CN101164084B (zh) | 2005-04-21 | 2006-04-19 | 图像处理方法和图像处理设备 |
US11/909,236 US8350897B2 (en) | 2005-04-21 | 2006-04-19 | Image processing method and image processing apparatus |
PCT/JP2006/308680 WO2006115261A1 (en) | 2005-04-21 | 2006-04-19 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005123980A JP4667111B2 (ja) | 2005-04-21 | 2005-04-21 | 画像処理装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006302034A true JP2006302034A (ja) | 2006-11-02 |
JP4667111B2 JP4667111B2 (ja) | 2011-04-06 |
Family
ID=37214875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005123980A Expired - Fee Related JP4667111B2 (ja) | 2005-04-21 | 2005-04-21 | 画像処理装置、画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8350897B2 (ja) |
EP (1) | EP1886281B1 (ja) |
JP (1) | JP4667111B2 (ja) |
CN (1) | CN101164084B (ja) |
WO (1) | WO2006115261A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012014406A (ja) * | 2010-06-30 | 2012-01-19 | Canon Inc | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
JP2015056179A (ja) * | 2013-09-13 | 2015-03-23 | 現代自動車株式会社 | 注文型インターフェースシステムおよびその操作方法 |
WO2018016192A1 (ja) * | 2016-07-19 | 2018-01-25 | 株式会社デンソー | 仮想感性評価支援システム |
JP2019536118A (ja) * | 2017-08-16 | 2019-12-12 | 歌爾科技有限公司GoerTek Technology Co., Ltd. | バーチャルリアリティデバイス及びそのコンテンツの調整方法 |
JP2021535523A (ja) * | 2018-08-17 | 2021-12-16 | ヒルターマン ショーン | 拡張現実人形 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
JP5269745B2 (ja) * | 2009-10-30 | 2013-08-21 | 任天堂株式会社 | オブジェクト制御プログラム、オブジェクト制御装置、オブジェクト制御システム及びオブジェクト制御方法 |
JP5728159B2 (ja) | 2010-02-02 | 2015-06-03 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US8947455B2 (en) * | 2010-02-22 | 2015-02-03 | Nike, Inc. | Augmented reality design system |
WO2011127577A1 (en) | 2010-04-13 | 2011-10-20 | Dean Stark | Interactive video shelving system |
US9733699B2 (en) | 2010-04-13 | 2017-08-15 | Dean Stark | Virtual anamorphic product display with viewer height detection |
WO2011127578A1 (en) * | 2010-04-13 | 2011-10-20 | Dean Stark | Virtual product display |
EP2673763A1 (en) | 2011-02-11 | 2013-12-18 | 4D Retail Technology Corporation | System and method for virtual shopping display |
CN102859470B (zh) * | 2011-03-15 | 2015-12-02 | 松下电器(美国)知识产权公司 | 对象控制装置、对象控制方法以及集成电路 |
FR2976681B1 (fr) * | 2011-06-17 | 2013-07-12 | Inst Nat Rech Inf Automat | Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme |
US9367869B2 (en) | 2012-02-13 | 2016-06-14 | Dean Stark | System and method for virtual display |
JP6397269B2 (ja) | 2013-09-06 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
KR102086510B1 (ko) * | 2013-09-26 | 2020-04-14 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 제어 방법 |
KR101830249B1 (ko) * | 2014-03-20 | 2018-03-29 | 한국전자통신연구원 | 이동체의 위치 인식 장치 및 방법 |
US9808213B2 (en) | 2014-08-11 | 2017-11-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, medical image diagnostic system, and storage medium |
US9778814B2 (en) * | 2014-12-19 | 2017-10-03 | Microsoft Technology Licensing, Llc | Assisted object placement in a three-dimensional visualization system |
US20170115489A1 (en) * | 2015-10-26 | 2017-04-27 | Xinda Hu | Head mounted display device with multiple segment display and optics |
JP6840481B2 (ja) | 2016-07-19 | 2021-03-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6711715B2 (ja) | 2016-07-19 | 2020-06-17 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2018110615A (ja) | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US20190057180A1 (en) * | 2017-08-18 | 2019-02-21 | International Business Machines Corporation | System and method for design optimization using augmented reality |
JP7022554B2 (ja) | 2017-10-03 | 2022-02-18 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム |
US11422530B2 (en) * | 2018-08-20 | 2022-08-23 | Dell Products, L.P. | Systems and methods for prototyping a virtual model |
ES2972869T3 (es) * | 2019-02-14 | 2024-06-17 | Braun Gmbh | Sistema para evaluar el uso de un producto de consumo móvil manualmente previsto |
CN111694432B (zh) * | 2020-06-11 | 2023-04-07 | 济南大学 | 一种基于虚拟手交互的虚拟手位置矫正方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003063086A1 (fr) * | 2002-01-23 | 2003-07-31 | Michihiko Shouji | Systeme de traitement d'images, appareil de traitement d'images, et appareil d'affichage |
JP2005083826A (ja) * | 2003-09-05 | 2005-03-31 | Canon Inc | 情報処理方法、情報処理装置、識別方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU7161598A (en) * | 1997-04-21 | 1998-11-13 | Virtual Technologies, Inc. | Goniometer-based body-tracking device and method |
US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
US6346938B1 (en) * | 1999-04-27 | 2002-02-12 | Harris Corporation | Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model |
US7411594B2 (en) | 2002-01-15 | 2008-08-12 | Canon Kabushiki Kaisha | Information processing apparatus and method |
EP1398601A3 (en) | 2002-09-13 | 2014-05-07 | Canon Kabushiki Kaisha | Head up display for navigation purposes in a vehicle |
JP2005063004A (ja) * | 2003-08-08 | 2005-03-10 | Canon Inc | 複合現実感システム |
JP3991020B2 (ja) * | 2003-09-30 | 2007-10-17 | キヤノン株式会社 | 画像表示方法及び画像表示システム |
JP4401728B2 (ja) | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
JP2005149409A (ja) | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
US7667700B1 (en) * | 2004-03-05 | 2010-02-23 | Hrl Laboratories, Llc | System and method for navigating operating in a virtual environment |
JP4726194B2 (ja) | 2005-04-01 | 2011-07-20 | キヤノン株式会社 | キャリブレーション方法及び装置 |
JP4739002B2 (ja) | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
-
2005
- 2005-04-21 JP JP2005123980A patent/JP4667111B2/ja not_active Expired - Fee Related
-
2006
- 2006-04-19 US US11/909,236 patent/US8350897B2/en not_active Expired - Fee Related
- 2006-04-19 CN CN2006800132930A patent/CN101164084B/zh not_active Expired - Fee Related
- 2006-04-19 WO PCT/JP2006/308680 patent/WO2006115261A1/en active Application Filing
- 2006-04-19 EP EP06732336A patent/EP1886281B1/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003063086A1 (fr) * | 2002-01-23 | 2003-07-31 | Michihiko Shouji | Systeme de traitement d'images, appareil de traitement d'images, et appareil d'affichage |
JP2005083826A (ja) * | 2003-09-05 | 2005-03-31 | Canon Inc | 情報処理方法、情報処理装置、識別方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012014406A (ja) * | 2010-06-30 | 2012-01-19 | Canon Inc | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
JP2015056179A (ja) * | 2013-09-13 | 2015-03-23 | 現代自動車株式会社 | 注文型インターフェースシステムおよびその操作方法 |
WO2018016192A1 (ja) * | 2016-07-19 | 2018-01-25 | 株式会社デンソー | 仮想感性評価支援システム |
JP2019536118A (ja) * | 2017-08-16 | 2019-12-12 | 歌爾科技有限公司GoerTek Technology Co., Ltd. | バーチャルリアリティデバイス及びそのコンテンツの調整方法 |
JP2021535523A (ja) * | 2018-08-17 | 2021-12-16 | ヒルターマン ショーン | 拡張現実人形 |
Also Published As
Publication number | Publication date |
---|---|
US20090051758A1 (en) | 2009-02-26 |
EP1886281B1 (en) | 2012-11-21 |
EP1886281A1 (en) | 2008-02-13 |
CN101164084A (zh) | 2008-04-16 |
EP1886281A4 (en) | 2010-03-10 |
JP4667111B2 (ja) | 2011-04-06 |
CN101164084B (zh) | 2010-08-04 |
US8350897B2 (en) | 2013-01-08 |
WO2006115261A1 (en) | 2006-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4667111B2 (ja) | 画像処理装置、画像処理方法 | |
JP4401727B2 (ja) | 画像表示装置及び方法 | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
KR102517876B1 (ko) | 증강 현실 데이터를 레코딩하기 위한 기술 | |
JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
JP3991020B2 (ja) | 画像表示方法及び画像表示システム | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
JP2008210276A (ja) | 三次元モデル情報の生成方法及び装置 | |
JP7182976B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2006048639A (ja) | 情報処理方法および情報処理装置 | |
KR20150085797A (ko) | 정보처리장치 및 정보처리방법 | |
JP2008146497A (ja) | 画像処理装置、画像処理方法 | |
JP6295296B2 (ja) | 複合システム及びターゲットマーカ | |
JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
JP2006012042A (ja) | 画像生成方法及び装置 | |
JP2006085375A (ja) | 画像処理方法、画像処理装置 | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
JP4343744B2 (ja) | 画像処理方法、画像処理装置 | |
JP7465133B2 (ja) | 情報処理装置、情報処理方法 | |
JP2006252059A (ja) | 画像処理方法、画像処理装置 | |
JP6890524B2 (ja) | 姿勢制御システム | |
JP2022112228A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |