JP2006126936A - 画像処理方法、画像処理装置 - Google Patents
画像処理方法、画像処理装置 Download PDFInfo
- Publication number
- JP2006126936A JP2006126936A JP2004311037A JP2004311037A JP2006126936A JP 2006126936 A JP2006126936 A JP 2006126936A JP 2004311037 A JP2004311037 A JP 2004311037A JP 2004311037 A JP2004311037 A JP 2004311037A JP 2006126936 A JP2006126936 A JP 2006126936A
- Authority
- JP
- Japan
- Prior art keywords
- image
- real space
- space
- touch panel
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Abstract
【解決手段】 タッチパネル302上に仮想メニューを配置し、配置した操作パネルの映像を含む仮想空間の映像を現実空間の映像上に重畳して外部に出力する場合に、タッチパネル302上で指示された位置に対応する仮想メニュー上の操作部分に対応する動作を実行する。
【選択図】 図1
Description
現実空間の画像を取得する取得工程と、
前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
前記取得工程で取得された現実空間の画像上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする。
現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
現実空間上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする。
現実空間の画像を取得する取得手段と、
前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置手段と、
前記取得手段が取得した現実空間の画像上に、前記配置手段が配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成手段と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定手段と、
前記特定手段が特定した操作部分に対応する動作を実行する実行手段と
を備えることを特徴とする。
<複合現実感提示システム>
図1は、本実施形態に係る複合現実感提示システムの基本構成を示すブロック図である。同図に示す如く、本実施形態に係る複合現実感提示システムは、コンピュータ100(複合現実感提示装置と呼称する場合もある)、HMD(HMD:Head Mounted Display)200、及び操作部300により構成されている。
本実施形態では、仮想物体としての操作パネルを操作部300が備えるLCD301上(タッチパネル302上)に配置する。即ち、予めLCD301上のセンサ座標系における座標値を求めておき、求めた座標値にこの操作パネルを配置する。この予め求めておいた座標値はデータとしてディスク装置105に保存されているものとする。
図6は、本実施形態に係る複合現実感提示システムが、HMD200を頭部に装着している観察者に対して複合現実空間の画像を提示するために、コンピュータ100が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をCPU101に実行させるためのプログラムやデータはディスク装置105に保存されており、これをCPU101の制御に基づいてRAM102にロードし、CPU101がこれを用いて処理を行うことで、コンピュータ100は以下説明する各処理を行うことになる。
図1に示した構成を有するシステムにおいて、実写画像から肌色の領域を抽出する為には例えば以下のようにしても良い。即ち、LCD301上に単一色の背景画像を表示する。この背景画像は青・緑など、肌色との分離が容易であるような色で塗りつぶされた画像である。
更に、操作部300にセンサ203と同様のセンサを取り付ければ、センサ座標系における操作部300の位置姿勢を計測することができるので、操作部300の位置姿勢を任意に変更しても構わない。また、操作部300のサイズが比較的小さい場合には、観察者が手に持って用いることができるので、例えば一方の手に操作部300を持ち、他方の手の指でもって操作部300のタッチパネル302上に配置される仮想メニューを操作するようにしても良い。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (9)
- 画像処理方法であって、
現実空間の画像を取得する取得工程と、
前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
前記取得工程で取得された現実空間の画像上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする画像処理方法。 - 前記取得工程では、ヘッドマウントディスプレイに備わっているビデオカメラにより撮像された現実空間の画像を取得することを特徴とする請求項1に記載の画像処理方法。
- 前記生成工程で生成された前記複合現実空間画像をヘッドマウントディスプレイに備わっている表示装置に出力することを特徴とする請求項1に記載の画像処理方法。
- 前記生成工程では、前記取得工程で入力された現実空間の映像において肌色の領域以外の領域上に、前記配置工程で配置した操作パネルの映像を含む仮想空間の映像を重畳し、複合現実空間映像を生成することを特徴とする請求項1に記載の画像処理方法。
- 前記タッチパネルは現実空間中に配置された表示装置の表示画面上に設けられたものであり、
当該表示装置の全表示画面上に単一色を表示し、
前記生成工程では、前記取得工程で入力された現実空間の画像に含まれている当該表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、当該現実空間の画像における当該見なした領域以外の領域上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間を生成することを特徴とする請求項1に記載の画像処理方法。 - 画像処理方法であって、
現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
現実空間上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする画像処理方法。 - 画像処理装置であって、
現実空間の画像を取得する取得手段と、
前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置手段と、
前記取得手段が取得した現実空間の画像上に、前記配置手段が配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成手段と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定手段と、
前記特定手段が特定した操作部分に対応する動作を実行する実行手段と
を備えることを特徴とする画像処理装置。 - コンピュータに請求項1乃至6の何れか1項に記載の画像処理方法を実行させる為のプログラム。
- 請求項8に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004311037A JP4574323B2 (ja) | 2004-10-26 | 2004-10-26 | 画像処理方法、画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004311037A JP4574323B2 (ja) | 2004-10-26 | 2004-10-26 | 画像処理方法、画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006126936A true JP2006126936A (ja) | 2006-05-18 |
JP2006126936A5 JP2006126936A5 (ja) | 2007-12-06 |
JP4574323B2 JP4574323B2 (ja) | 2010-11-04 |
Family
ID=36721666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004311037A Expired - Fee Related JP4574323B2 (ja) | 2004-10-26 | 2004-10-26 | 画像処理方法、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4574323B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009130985A1 (ja) * | 2008-04-23 | 2009-10-29 | コニカミノルタホールディングス株式会社 | 情報入力システム |
JP2010145861A (ja) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010145860A (ja) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2011008350A (ja) * | 2009-06-23 | 2011-01-13 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2012008745A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | ユーザインターフェース装置及び電子機器 |
JP2012138011A (ja) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | 情報処理システム、情報処理方法及びプログラム |
KR20140036859A (ko) * | 2012-09-18 | 2014-03-26 | 삼성전자주식회사 | 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치 |
JP2014157482A (ja) * | 2013-02-15 | 2014-08-28 | Konica Minolta Inc | 操作表示システム |
JP2015194954A (ja) * | 2014-03-31 | 2015-11-05 | コニカミノルタ株式会社 | 表示制御装置および表示制御装置の制御プログラム |
JP2017016572A (ja) * | 2015-07-06 | 2017-01-19 | デュプロ精工株式会社 | 処理装置、端末装置及び処理システム |
JP6373537B1 (ja) * | 2017-09-04 | 2018-08-15 | 株式会社ワコム | 空間位置指示システム |
JP2018534643A (ja) * | 2015-09-16 | 2018-11-22 | グーグル エルエルシー | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
JPWO2017169158A1 (ja) * | 2016-03-29 | 2019-02-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JPWO2017187708A1 (ja) * | 2016-04-26 | 2019-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020161177A (ja) * | 2016-05-20 | 2020-10-01 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | ユーザインターフェースメニューのコンテキスト認識 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6789377B2 (ja) * | 2017-03-27 | 2020-11-25 | サン電子株式会社 | 画像表示システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021363A (ja) * | 1996-06-28 | 1998-01-23 | Sanyo Electric Co Ltd | 評価支援方法及び装置 |
JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
-
2004
- 2004-10-26 JP JP2004311037A patent/JP4574323B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021363A (ja) * | 1996-06-28 | 1998-01-23 | Sanyo Electric Co Ltd | 評価支援方法及び装置 |
JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5029759B2 (ja) * | 2008-04-23 | 2012-09-19 | コニカミノルタホールディングス株式会社 | 情報入力システム |
WO2009130985A1 (ja) * | 2008-04-23 | 2009-10-29 | コニカミノルタホールディングス株式会社 | 情報入力システム |
JP2010145861A (ja) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010145860A (ja) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
US8994729B2 (en) | 2009-06-23 | 2015-03-31 | Canon Kabushiki Kaisha | Method for simulating operation of object and apparatus for the same |
JP2011008350A (ja) * | 2009-06-23 | 2011-01-13 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2012008745A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | ユーザインターフェース装置及び電子機器 |
JP2012138011A (ja) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | 情報処理システム、情報処理方法及びプログラム |
KR101985674B1 (ko) * | 2012-09-18 | 2019-06-04 | 삼성전자 주식회사 | 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치 |
KR20140036859A (ko) * | 2012-09-18 | 2014-03-26 | 삼성전자주식회사 | 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치 |
US9778738B2 (en) | 2013-02-15 | 2017-10-03 | Konica Minolta, Inc. | Operation display system and operation display method |
JP2014157482A (ja) * | 2013-02-15 | 2014-08-28 | Konica Minolta Inc | 操作表示システム |
JP2015194954A (ja) * | 2014-03-31 | 2015-11-05 | コニカミノルタ株式会社 | 表示制御装置および表示制御装置の制御プログラム |
JP2017016572A (ja) * | 2015-07-06 | 2017-01-19 | デュプロ精工株式会社 | 処理装置、端末装置及び処理システム |
JP2018534643A (ja) * | 2015-09-16 | 2018-11-22 | グーグル エルエルシー | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
JP2020113298A (ja) * | 2015-09-16 | 2020-07-27 | グーグル エルエルシー | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
US10928919B2 (en) | 2016-03-29 | 2021-02-23 | Sony Corporation | Information processing device and information processing method for virtual objects operability |
EP3438789A4 (en) * | 2016-03-29 | 2019-03-27 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
JPWO2017169158A1 (ja) * | 2016-03-29 | 2019-02-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JPWO2017187708A1 (ja) * | 2016-04-26 | 2019-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11017257B2 (en) | 2016-04-26 | 2021-05-25 | Sony Corporation | Information processing device, information processing method, and program |
JP7092028B2 (ja) | 2016-04-26 | 2022-06-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020161177A (ja) * | 2016-05-20 | 2020-10-01 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | ユーザインターフェースメニューのコンテキスト認識 |
US11328484B2 (en) | 2016-05-20 | 2022-05-10 | Magic Leap, Inc. | Contextual awareness of user interface menus |
JP7168612B2 (ja) | 2016-05-20 | 2022-11-09 | マジック リープ, インコーポレイテッド | ユーザインターフェースメニューのコンテキスト認識 |
US12014464B2 (en) | 2016-05-20 | 2024-06-18 | Magic Leap, Inc. | Contextual awareness of user interface menus |
JP6373537B1 (ja) * | 2017-09-04 | 2018-08-15 | 株式会社ワコム | 空間位置指示システム |
Also Published As
Publication number | Publication date |
---|---|
JP4574323B2 (ja) | 2010-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
JP4227561B2 (ja) | 画像処理方法、画像処理装置 | |
JP4574323B2 (ja) | 画像処理方法、画像処理装置 | |
JP4950834B2 (ja) | 画像処理装置、画像処理方法 | |
JP4401728B2 (ja) | 複合現実空間画像生成方法及び複合現実感システム | |
JP4522129B2 (ja) | 画像処理方法および画像処理装置 | |
JP4883774B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
JP5871345B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
US7952594B2 (en) | Information processing method, information processing apparatus, and image sensing apparatus | |
US8098263B2 (en) | Image processing method and image processing apparatus | |
JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
JP2022540315A (ja) | 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース | |
US8207909B2 (en) | Image processing apparatus and image processing method | |
JP2009025918A (ja) | 画像処理装置、画像処理方法 | |
JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
JP4217661B2 (ja) | 画像処理方法、画像処理装置 | |
JP7279113B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2006343954A (ja) | 画像処理方法、画像処理装置 | |
JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
JP4343744B2 (ja) | 画像処理方法、画像処理装置 | |
JP7148779B2 (ja) | 画像処理装置と、その処理方法、プログラム | |
JP2006309459A (ja) | 画像処理方法、画像処理装置 | |
JP2024079124A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2007004716A (ja) | 画像処理方法、画像処理装置 | |
EP3410256A1 (en) | Method for outputting of combined 2d and 3d imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071024 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071024 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |