JP2005327204A - 画像合成システムおよび画像合成方法、および画像合成装置 - Google Patents
画像合成システムおよび画像合成方法、および画像合成装置 Download PDFInfo
- Publication number
- JP2005327204A JP2005327204A JP2004146640A JP2004146640A JP2005327204A JP 2005327204 A JP2005327204 A JP 2005327204A JP 2004146640 A JP2004146640 A JP 2004146640A JP 2004146640 A JP2004146640 A JP 2004146640A JP 2005327204 A JP2005327204 A JP 2005327204A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- index
- additional
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 撮像部101によって撮影された現実世界の撮像画像内において、体験者が操作入力部104により追加マーカを指定すると、マーカ抽出・管理部106は該追加マーカの世界座標を、撮像画像内にある既知マーカ群情報を用いて算出し、既知マーカ群情報として登録、管理する。
【選択図】 図3
Description
本実施形態に係る映像合成装置の一例は、体験者が表示装置を装着して風景を眺めると、体験者の位置や姿勢(視野)に応じてCGが表示されるMRシステムである。なお、本実施形態におけるシステム構成の詳細については後述する。
マーカ抽出・管理部106は、撮像映像取込部102から読み込まれる撮像画像から、既にマーカ登録メモリに登録されているマーカ情報(マーカID、色、形、大きさ、世界座標等)に従って、登録マーカを抽出する。なおこのとき、世界座標が未知であるあいまいマーカも抽出される。以下、登録されたマーカのうちあいまいマーカでないものを、その区別を明確にするために「正規マーカ」と称する。なお、抽出されたマーカが「正規マーカ」であるか「あいまいマーカ」であるかは、そのマーカIDによって識別される。
マーカ抽出・管理部106は、抽出登録マーカにあいまいマーカが含まれ、かつ抽出された正規マーカ数が、あいまいマーカの世界座標を算出するのに十分(本実施形態では3個以上)であれば、あいまいマーカの世界座標を算出する。また、マーカとして単体のマーカで位置姿勢が算出可能なものを用いる場合には、1つのマーカがHMD撮像装置に完全に写っている場合に、あいまいマーカの世界座標を算出するようにしてもよい。
マーカ抽出・管理部106は、操作入力部104からマーカ追加登録コマンドが入力されると、操作入力部位置演算部105からHMD撮像画像上のスタイラス位置情報を入力し、HMD撮像画像上のスタイラスの先端付近から上記規定の形を持つマーカ領域を検出し、その領域の色を登録マーカの色として抽出する。例えば、図1Cに示す追加マーカ50がスタイラス60によって指示され、抽出される。
以下、本発明に係る第2実施形態について説明する。なお、第2実施形態におけるMRシステムの構成は、第1実施形態で示した図3と同様であるため、説明を省略する。
以下、本発明に係る第3実施形態について説明する。なお、第3実施形態におけるMRシステムの構成は、第1実施形態で示した図3と同様であるため、説明を省略する。
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、カメラ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、HMDなど)に適用してもよい。
Claims (13)
- 撮像手段によって撮影された現実世界の撮像画像に対して仮想画像を重畳する際に、前記現実世界にあって世界座標が既知である既知指標情報を用いて位置合わせを行う画像合成方法であって、
前記撮像画像内において追加指標を指定し、
前記追加指標の世界座標を、前記撮像画像内にある前記既知指標情報を用いて算出し、
前記追加指標の世界座標を、前記既知指標情報として登録する
ことを特徴とする画像合成方法。 - 前記追加指標の世界座標を、前記既知指標情報、前記撮像画像における既知指標の座標値、および前記撮像画像における前記追加指標の座標値、を用いて算出する
ことを特徴とする請求項1記載の画像合成方法。 - 前記撮像手段は、ビデオシースルーHMDであることを特徴とする請求項1記載の画像合成方法。
- 前記撮像手段の位置および姿勢情報を、前記撮像画像内にある前記既知指標情報を用いて算出し、
前記撮像手段の位置および姿勢情報に基づいて、前記仮想画像を生成する
ことを特徴とする請求項1記載の画像合成方法。 - 前記追加指標の世界座標が算出できない場合に、該追加指標を仮登録することを特徴とする請求項1記載の画像合成方法。
- 前記仮登録された追加指標は、前記撮像画像内にある前記既知指標情報が所定条件を満たした場合に、その世界座標が算出されて前記既知指標情報として登録される
ことを特徴とする請求項5記載の画像合成方法。 - 前記撮像画像内における前記追加指標の指定は、スタイラスを用いて行われる
ことを特徴とする請求項1記載の画像合成方法。 - 前記撮像画像内における前記追加指標の指定は、該追加指標上に所定枠をかざすことによって行われる
ことを特徴とする請求項1記載の画像合成方法。 - 前記所定枠は、操作者の手指によって形成されることを特徴とする請求項8記載の画像合成方法。
- 情報処理装置を制御して、請求項1から請求項9の何れかに記載された画像合成方法を実現することを特徴とするプログラム。
- 請求項10に記載されたプログラムが記録されたことを特徴とする記録媒体。
- 撮像手段によって撮影された現実世界の撮像画像に対して仮想画像を重畳する際に、前記現実世界にあって世界座標が既知である既知指標情報を用いて位置合わせを行う画像合成システムであって、
前記撮像画像内において追加指標を指定し、
前記追加指標の世界座標を、前記撮像画像内にある前記既知指標情報を用いて算出し、
前記追加指標の世界座標を、前記既知指標情報として登録する
ことを特徴とする画像合成システム。 - 現実世界を撮影して撮像画像を得る撮像手段と、
前記現実世界にあって世界座標が既知である既知指標情報を管理する指標管理手段と、
前記撮像手段の位置および姿勢情報を、前記撮像画像内にある前記既知指標情報を用いて算出する撮像位置算出手段と、
前記撮像手段の位置および姿勢情報に基づいて、前記仮想画像を生成する仮想画像生成手段と、
前記撮像画像に対して前記仮想画像を重畳する合成手段と、
前記合成画像を表示する表示手段と、
を有する画像合成装置であって、
前記撮像画像内において追加指標を指定する指標指定手段と、
前記追加指標の世界座標を、前記撮像画像内にある前記既知指標情報を用いて算出する座標算出手段と、を有し、
前記指標管理手段は、前記追加指標の世界座標を、前記既知指標情報として登録、管理することを特徴とする画像合成装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004146640A JP4367926B2 (ja) | 2004-05-17 | 2004-05-17 | 画像合成システムおよび画像合成方法、および画像合成装置 |
US11/128,366 US7627137B2 (en) | 2004-05-17 | 2005-05-13 | Image composition system, image composition method, and image composition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004146640A JP4367926B2 (ja) | 2004-05-17 | 2004-05-17 | 画像合成システムおよび画像合成方法、および画像合成装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005327204A true JP2005327204A (ja) | 2005-11-24 |
JP2005327204A5 JP2005327204A5 (ja) | 2007-06-07 |
JP4367926B2 JP4367926B2 (ja) | 2009-11-18 |
Family
ID=35310315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004146640A Expired - Fee Related JP4367926B2 (ja) | 2004-05-17 | 2004-05-17 | 画像合成システムおよび画像合成方法、および画像合成装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7627137B2 (ja) |
JP (1) | JP4367926B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008039611A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
JP2009157526A (ja) * | 2007-12-25 | 2009-07-16 | Canon Inc | 画像処理システム、画像処理システムの制御方法及びコンピュータプログラム |
JP2012175665A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
JP2012175666A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
JP2015048171A (ja) * | 2013-08-30 | 2015-03-16 | 学校法人立命館 | ピッキングシステム |
JP2016017757A (ja) * | 2014-07-04 | 2016-02-01 | Kddi株式会社 | 情報登録装置及び情報継続登録装置並びに方法及びプログラム |
JP2016200686A (ja) * | 2015-04-09 | 2016-12-01 | 株式会社テレパシージャパン | 調整指標を有する頭部装着型画像表示装置 |
JP2016220198A (ja) * | 2015-05-20 | 2016-12-22 | キヤノン株式会社 | 情報処理装置、方法、プログラム |
WO2017191703A1 (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4599184B2 (ja) * | 2005-02-02 | 2010-12-15 | キヤノン株式会社 | 指標配置計測方法、指標配置計測装置 |
JP5063023B2 (ja) * | 2006-03-31 | 2012-10-31 | キヤノン株式会社 | 位置姿勢補正装置、位置姿勢補正方法 |
US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
JP4976756B2 (ja) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
US20080218331A1 (en) | 2007-03-08 | 2008-09-11 | Itt Manufacturing Enterprises, Inc. | Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness |
JP5247590B2 (ja) * | 2009-05-21 | 2013-07-24 | キヤノン株式会社 | 情報処理装置及びキャリブレーション処理方法 |
US8668342B2 (en) | 2011-11-30 | 2014-03-11 | Izi Medical Products | Material thickness control over retro-reflective marker |
US8661573B2 (en) | 2012-02-29 | 2014-03-04 | Izi Medical Products | Protective cover for medical device having adhesive mechanism |
WO2016185704A1 (en) * | 2015-05-20 | 2016-11-24 | Canon Kabushiki Kaisha | Information processing apparatus, method, and program |
RU2660631C1 (ru) * | 2017-04-26 | 2018-07-06 | Общество с ограниченной ответственностью "ТрансИнжКом" | Способ и система для формирования изображений совмещенной реальности |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5631973A (en) * | 1994-05-05 | 1997-05-20 | Sri International | Method for telemanipulation with telepresence |
US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
US6049622A (en) * | 1996-12-05 | 2000-04-11 | Mayo Foundation For Medical Education And Research | Graphic navigational guides for accurate image orientation and navigation |
US6094625A (en) * | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
JP3467017B2 (ja) | 2000-11-30 | 2003-11-17 | キヤノン株式会社 | 位置姿勢の決定方法及び装置並びに記憶媒体 |
CA2486525C (en) * | 2001-06-13 | 2009-02-24 | Volume Interactions Pte. Ltd. | A guide system and a probe therefor |
US20030210812A1 (en) * | 2002-02-26 | 2003-11-13 | Ali Khamene | Apparatus and method for surgical navigation |
JP3817505B2 (ja) | 2002-09-27 | 2006-09-06 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
EP1349114A3 (en) | 2002-03-19 | 2011-06-15 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
US7190331B2 (en) * | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
JP4298407B2 (ja) | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
US7120875B2 (en) * | 2002-10-29 | 2006-10-10 | X-Labs Holdings, Llc | Method and apparatus for augmented reality hybrid tracking system with fiducial-based heading correction |
-
2004
- 2004-05-17 JP JP2004146640A patent/JP4367926B2/ja not_active Expired - Fee Related
-
2005
- 2005-05-13 US US11/128,366 patent/US7627137B2/en not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008039611A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
JP2009157526A (ja) * | 2007-12-25 | 2009-07-16 | Canon Inc | 画像処理システム、画像処理システムの制御方法及びコンピュータプログラム |
JP2012175665A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
JP2012175666A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
JP2015048171A (ja) * | 2013-08-30 | 2015-03-16 | 学校法人立命館 | ピッキングシステム |
JP2016017757A (ja) * | 2014-07-04 | 2016-02-01 | Kddi株式会社 | 情報登録装置及び情報継続登録装置並びに方法及びプログラム |
JP2016200686A (ja) * | 2015-04-09 | 2016-12-01 | 株式会社テレパシージャパン | 調整指標を有する頭部装着型画像表示装置 |
JP2016220198A (ja) * | 2015-05-20 | 2016-12-22 | キヤノン株式会社 | 情報処理装置、方法、プログラム |
WO2017191703A1 (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
JPWO2017191703A1 (ja) * | 2016-05-02 | 2018-10-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4367926B2 (ja) | 2009-11-18 |
US7627137B2 (en) | 2009-12-01 |
US20050256396A1 (en) | 2005-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4367926B2 (ja) | 画像合成システムおよび画像合成方法、および画像合成装置 | |
EP1404126B1 (en) | Video combining apparatus and method | |
JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
JP4401727B2 (ja) | 画像表示装置及び方法 | |
JP3991020B2 (ja) | 画像表示方法及び画像表示システム | |
JP4434890B2 (ja) | 画像合成方法及び装置 | |
EP1596329B1 (en) | Marker placement information estimating method and information processing device | |
JP4926817B2 (ja) | 指標配置情報計測装置および方法 | |
JP5084167B2 (ja) | 位置姿勢計測方法及び装置 | |
JP2006048639A (ja) | 情報処理方法および情報処理装置 | |
JP4847195B2 (ja) | 画像からの色情報の取得方法 | |
JP2008046750A (ja) | 画像処理装置および方法 | |
WO2006082825A1 (ja) | 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置 | |
JP2002259992A (ja) | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 | |
JP2007064684A (ja) | マーカ配置補助方法及び装置 | |
JP2005326275A (ja) | 情報処理方法および装置 | |
JP4835243B2 (ja) | 画像合成装置及び画像合成プログラム | |
JP2006012042A (ja) | 画像生成方法及び装置 | |
JP2008046749A (ja) | 画像処理方法および装置 | |
JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
JP3817505B2 (ja) | 情報処理方法及び情報処理装置 | |
JP2006293485A (ja) | 指標表示方法及び画像表示装置 | |
JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
JP2008140047A (ja) | 情報処理方法、情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070413 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090529 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090824 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130904 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |