JP3486575B2 - 複合現実感提示装置およびその方法並びに記憶媒体 - Google Patents

複合現実感提示装置およびその方法並びに記憶媒体

Info

Publication number
JP3486575B2
JP3486575B2 JP24677099A JP24677099A JP3486575B2 JP 3486575 B2 JP3486575 B2 JP 3486575B2 JP 24677099 A JP24677099 A JP 24677099A JP 24677099 A JP24677099 A JP 24677099A JP 3486575 B2 JP3486575 B2 JP 3486575B2
Authority
JP
Japan
Prior art keywords
image
illumination
lighting
mixed reality
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24677099A
Other languages
English (en)
Other versions
JP2001078230A (ja
Inventor
真和 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP24677099A priority Critical patent/JP3486575B2/ja
Priority to EP00103803A priority patent/EP1074943A3/en
Priority to US09/512,836 priority patent/US6930685B1/en
Publication of JP2001078230A publication Critical patent/JP2001078230A/ja
Application granted granted Critical
Publication of JP3486575B2 publication Critical patent/JP3486575B2/ja
Priority to US11/115,162 priority patent/US20050190181A1/en
Priority to US11/115,344 priority patent/US20050195332A1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は照明条件変更可能な
複合現実感提示装置及びその方法に関し、現実の照明の
条件をリアルタイムに変化させて、その条件変更に応じ
て複合現実画像を生成する複合現実感提示装置等に関す
る。
【0002】
【従来の技術】複合現実空間は、現実空間と仮想空間と
を融合することを目的とする。そのために、画像生成に
関して現実空間単独或いは仮想空間単独では容易であっ
ことが困難であることが多い。
【0003】 困難であることの1つに現実の照明の照
明条件を変更させ、その変更に応じてリアルタイムに仮
想画像を現実空間に融合させることある。
【0004】従来では、現実空間の明るさをバッチ方式
で測定し、検出した照明条件を複合現実空間に反映させ
ることを行っていた。
【0005】
【発明が解決しようとする問題点】本発明の目的は、現
実の照明の照明条件を変化させたときに、その変更にリ
アルタイム応答して複合現実空間を構築する複合現実感
提示装置を提案するものである。
【0006】
【課題を解決するための手段】上記課題を達成するため
の、本発明による複合現実感提示装置は、現実の照明装
置によって照明された現実空間に仮想空間を融合する複
合現実感提示装置であって、現実空間を照明する照明装
置の照明条件を変更する変更手段と、前記変更された照
明条件に基づき前記現実空間を照明する照明手段と、前
記現実空間の画像を入力する入力手段と、前記変更され
た照明条件の値に対応した照明条件パラメータの値を設
定する設定手段と、前記設定された照明条件パラメータ
を用いて仮想画像を生成する生成手段と、前記生成され
た仮想画像と前記入力された現実空間の画像とを合成す
る合成手段とを備える。
【0007】
【0008】
【0009】
【0010】
【0011】本発明の好適な一態様である請求項2に拠
れば、前記照明条件は、照度、色、照明方向のいずれか
である。
【0012】複合現実空間ではユーザインタフェースが
重要である。そこで、請求項3によれば、前記変更手段
は、ユーザにより操作されるGUI手段であって、前記照
明装置の照度、色、照明方向をグラフィカルに変更する
コントロールボタンを表示画面に表示する。
【0013】 上記課題は、上記装置に組み込まれた例
えば請求項5の複合現実感提示方法、更には記憶媒体
よっても達成可能である。
【0014】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明の好適に実施形態に関わる複合現実感提示装置を
詳細に説明する。
【0015】第1図は、実施形態の複合現実感提示シス
テムの全体構成を示すブロック図である。
【0016】同図において、106はユーザの視点位置
及び視線方向を計測するセンサである。このセンサは、
ユーザの外部に設けた磁気センサや光学的センサ、或い
はユーザのHMD(Head Mounted Display)に装着された
センサであってもよい。計測された視点位置及び姿勢は
画像生成モジュール103に送られる。画像生成モジュ
ール103は、ユーザの視点位置及び視線を考慮したC
G画像を生成する。
【0017】一方、撮影装置105は、現実空間を撮影
するビデオカメラ等の撮影装置である。この撮影装置1
05はユーザの頭部に装着するのが、ユーザの視点位置
及び視線方向が変化する場合に好ましい。画像入力モジ
ュール104は、撮影装置104が撮影した画像をオブ
ジェクト化すると共に、その画像中の物体の奥行き値を
も生成して画像合成モジュール102に渡す。
【0018】 画像合成モジュール102は、画像生成
モジュール103が生成したCG画像と、画像入力モジ
ュール104からのビデオ画像とを合成する。この合成
は周知のように、CG画像の奥行き値とビデオ画像との
奥行き値とを比較することにより前後判定を行い、後方
にある物体の隠れる部分に相当するマスクを生成して、
これらビデオ画像とCG画像とを融合する。
【0019】 尚、画像生成モジュール103は、複合
現実空間管理モジュール108から照明条件についての
情報を貰う。即ち、画像生成モジュール103は、この
照明条件に応じた陰影を有するCGを生成する。
【0020】 本実施形態では、照明は現実の照明装置
107を用いる。管理モジュール107は、照明装置の
照度・照射方向等を変えることができる。管理モジュー
ル107は、照明装置107の変更条件を、所定のパラ
メータ値に変更して画像生成モジュール103に渡す。
【0021】 第2図は、照明装置107の一例を示
す。この照明装置は調光ユニット206を有し、調光ユ
ニット206は不図示のジョイントを介してブーム20
5に回動可能に支持されている。ブーム205はジョイ
ント204を介して支持軸柱202に固定されている。
その支持軸202は、回転ステージ203上に回動自在
に固定され、回転ステージ203はスライド台201上
に摺動可能に載置されている。従って、調光ユニット
は、スライド動作、パニング動作、チルト動作、ローテ
ート動作が可能である。しかも、ジョイント部や回転ス
テージなどはモータにより駆動されるので、複合現実空
管理モジュール108からの信号により制御可能であ
る。また、調光ユニットに加える電圧・電流を制御する
ことにより光量を制御することが可能である。また、モ
ータにはロータリエンコーダが、ジョイント部にはゴニ
オメータが、スライド台にはリニア距離センサが設けら
れ、調光ユニットには照度センサが設けられているの
で、夫々の位置や姿勢情報を取得することができる。
【0022】 第3図は、照明装置107と、複合現実
空間管理モジュール108と、画像生成モジュール10
3との関係を説明する。
【0023】 GUI120は、複合現実空間管理モジュ
ール108が表示装置に表示する照明条件を変更するた
めのグラフィックユーザインタフェースである。GUIの
具体例を第4図に示す。同図で、矢印は、マウスなどに
よって変更可能なコントロールボタンである。例えば、
照明ユニットを横にスライドさせたいときには、左右の
いずれかの矢印をマウスでクリックし、その矢印を目的
の方向に移動する。角度を調整したいときには、その変
更部分の矢印をマウスでクリックして選択し、ジョイス
ティックなどで回転する。このGUIを用いれば、第2図
の照明ユニットの各部の操作角度、照明の明るさ、色な
どをキーボード若しくはジョイスティックなどを用いて
変更することができる。
【0024】ユーザがこのGUIを介して設定した照明条
件は、照明装置のコントローラに送られる。コントロー
ラは、この照明条件を、第2図の照明ユニットのモータ
の駆動量等に変換して送る。こうして、照明ユニットは
ユーザがGUIを介して設定した照度などに設定される。
【0025】 一方、GUIによって設定された照明条件
複合現実空間管理モジュール108により、画像生成
モジュール103が用いる空間言語によって規定されて
いる照明条件パラメータ、例えば、angle, specular, a
mbient, position, diffusion等に変換される。但し、
これらのパラメータ値は、種々の照明条件下での実験に
基づいて前もって決められている。画像生成モジュール
103は、受け取ったパラメータ値を描画ルーチンに設
定する。
【0026】 第5図は複合現実空間管理モジュール1
08の制御手順を、第6図は画像生成モジュール103
の制御手順を、夫々示す。複合現実空間管理モジュール
108と画像生成モジュール103とは共にプログラム
モジュールであるが、その間は所定のプロトコルのAPI
(Application Program Interface)によって通信され
る。即ち、複合現実空間管理モジュールでは、ステップ
S102において、ユーザがGUIを用いて照明条件を変
更したかを監視している。条件が変更されたならばステ
ップS104で、照明ユニットのための各種制御量を演
算し、ステップS106でコントローラ107bに送
る。ステップS108では、angle等の照明パラメータ
を生成してAPIを介して画像生成モジュール103に送
る。ステップS112ではイベントを発生させて、画像
生成モジュール103に知らせる。
【0027】 第6図のフローチャートで、画像生成モ
ジュール103は、イベント発生を待っている。イベン
トの発生があったならば、ステップS204で、そのイ
ベントが照明条件変更イベントであることを確認して、
ステップS206で、APIを介して照明パラメータを受
信する。ステップS208では、描画ルーチン内のパラ
メータ部分を受信したパラメータで置き換える。ステッ
プS210では、受信したパラメータに従ってCG画像
を描画する。描画されたCG画像は変更された照明条件
に従って陰影などが変化されている。
【0028】上記実施形態は本発明の趣旨を逸脱しない
範囲内で種々変形が可能である。
【0029】第7図は、照明ユニット107aの変形例
を説明する。この例では、調光ユニット206は、チル
ト可能に軸支されたチルトユニット301に支持されて
いる。チルトユニット301は上下動可能である。支持
シャフト304はモータ303に接続されており、支持
シャフトを回転させることにより調光ユニットをパン回
転させることにより、調光ユニットをパン回転させるこ
とができる。支持シャフト304はスライド台302上
を平行に移動可能である。また、そのスライド台302
は、シャフト302の移動方向と垂直な方向と平行に移
動可能である。
【0030】また上記実施形態では、照明条件の変更は
GUIを用いていたが、ボリュームやスライドスイッチ、
ジョイスティックなどのハードデバイスを用いてもよ
い。このようなハードデバイスを用いる場合には、その
デバイスの出力信号を管理モジュールを有する装置に通
信する必要があろう。
【0031】前記実施形態装置では、照明条件の変更を
コンピュータコントロールとしていたが、本発明はその
ようなものに限定されず、例えば、手動による変更にも
適用可能である。また、GUI120による条件変更値を
ソフト的にコントローラ107bが読み取るように変形
することもできる。この変形例では、上記実施形態のロ
ータリエンコーダを不要にすることができる。但し、照
明条件がどのように変更されたかを検知するために、照
度センサや照明方向を検知するセンサなどを設け、これ
らのセンサ出力を管理モジュールに導くようにする。
【0032】また、上記実施形態では、照明用のプログ
ラムパラメータは前もって所定のメモリ121に記憶す
るようにしていたが、パラメータを、検出された照度や
照明の方向などに基づいてリアルタイムで演算するよう
にしてもよい。このためには、照明条件の検出値からパ
ラメータ値を導出するための演算用の変換式を前もって
メモリに記憶し、この変換式を用いてリアルタイムにパ
ラメータを導出するようにしてもよい。
【0033】
【発明の効果】以上詳述したように、本発明によれば、
仮想画像の照明条件が、現実の照明の変更に応じてリア
ルタイムに修正される。このために、現実画像と仮想画
像との間の照明条件の構造に起因する画質的ズレが軽減
される。
【図面の簡単な説明】
【図1】 実施形態に関わる複合現実感提示装置の構成
を説明する図。
【図2】 実施形態の装置に用いられる照明ユニットの
構成を説明する図。
【図3】 複合現実感提示装置の主要部分における動作
を機能的に表したブロック図。
【図4】 照明条件を変更するためのGUIを説明する
図。
【図5】 複合現実空間管理モジュールの制御手順を示
すフローチャート。
【図6】 CG画像生成モジュールの制御手順を示すフ
ローチャート。
【図7】 照明装置の変形例の構成を示す図。

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 現実の照明装置によって照明された現実
    空間に仮想空間を融合する複合現実感提示装置であっ
    て、現実空間を照明する 照明装置の照明条件を変更する変更
    手段と、前記変更された照明条件に基づき前記現実空間を照明す
    る照明手段と、 前記現実空間の画像を入力する入力手段と、 前記 変更された照明条件の値に対応した照明条件パラメ
    ータの値を設定する設定手段と、前記設定された照明条件 パラメータを用いて仮想画像を
    生成する生成手段と、 前記生成された仮想画像と前記入力された現実空間の画
    像とを合成する合成手段とを備える ことを特徴とする複
    合現実感提示装置。
  2. 【請求項2】 前記照明条件は、照度、色、照明方向の
    いずれかであることを特徴とする請求項1に記載の複合
    現実感提示装置。
  3. 【請求項3】 前記変更手段は、ユーザにより操作され
    るGUI手段であって、前記照明装置の照度、色、照明方
    向をグラフィカルに変更するコントロールボタンを表示
    画面に表示することを特徴とする請求項1に記載の複合
    現実感提示装置。
  4. 【請求項4】 前記合成手段は、前記現実空間の画像の
    奥行き値と、前記仮想画像の奥行き値とを比較すること
    により前後判定を行い、該前後判定の結果に応じて前記
    現実空間の画像と前記仮想画像とを合成することを特徴
    とする請求項1乃至3のいずれかに記載の複合現実感提
    示装置。
  5. 【請求項5】 現実の照明装置によって照明された現実
    空間に仮想空間を融合する画像処理方法であって、現実空間を照明する 照明装置の照明条件を変更する変更
    工程と、前記照明装置によって照明された現実空間の画像を入力
    する入力工程と、 前記 変更された照明条件の値に対応した照明条件パラメ
    ータの値を設定する設定工程と、前記設定された照明条件 パラメータを用いて仮想画像を
    生成する生成工程と前記生成された仮想画像と前記入力された現実空間の画
    像とを合成する合成工程とを備える ことを特徴とする画
    像処理方法。
  6. 【請求項6】 請求項5の方法を実行するコンピュータ
    プログラムを記憶する記憶媒体
JP24677099A 1999-08-06 1999-08-31 複合現実感提示装置およびその方法並びに記憶媒体 Expired - Fee Related JP3486575B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP24677099A JP3486575B2 (ja) 1999-08-31 1999-08-31 複合現実感提示装置およびその方法並びに記憶媒体
EP00103803A EP1074943A3 (en) 1999-08-06 2000-02-23 Image processing method and apparatus
US09/512,836 US6930685B1 (en) 1999-08-06 2000-02-25 Image processing method and apparatus
US11/115,162 US20050190181A1 (en) 1999-08-06 2005-04-27 Image processing method and apparatus
US11/115,344 US20050195332A1 (en) 1999-08-06 2005-04-27 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24677099A JP3486575B2 (ja) 1999-08-31 1999-08-31 複合現実感提示装置およびその方法並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2001078230A JP2001078230A (ja) 2001-03-23
JP3486575B2 true JP3486575B2 (ja) 2004-01-13

Family

ID=17153418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24677099A Expired - Fee Related JP3486575B2 (ja) 1999-08-06 1999-08-31 複合現実感提示装置およびその方法並びに記憶媒体

Country Status (1)

Country Link
JP (1) JP3486575B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004047426A2 (en) * 2002-11-15 2004-06-03 Esc Entertainment, A California Corporation Reality-based light environment for digital imaging in motion pictures
WO2006040200A1 (de) * 2004-10-13 2006-04-20 Siemens Aktiengesellschaft Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP2013250773A (ja) * 2012-05-31 2013-12-12 Sega Corp ステージ装置及びステージ施設

Also Published As

Publication number Publication date
JP2001078230A (ja) 2001-03-23

Similar Documents

Publication Publication Date Title
CN102455575B (zh) 投影型显示装置及其控制方法
JP4770493B2 (ja) 遠隔指示システム及び遠隔指示方法
US7675542B2 (en) Camera controller
US20040179121A1 (en) System and method for displaying captured images according to imaging device position
JP2006163360A (ja) 投影装置、投影方法、投影制御プログラム
JP6307852B2 (ja) 画像表示装置、及び、画像表示装置の制御方法
JP4770197B2 (ja) プレゼンテーション制御装置およびプログラム
US7027041B2 (en) Presentation system
CN104284117B (zh) 图像投影装置以及图像投影装置的控制方法
JP5162839B2 (ja) 表示装置及びプログラム
JP4243883B2 (ja) リモコン雲台システム
JP2012124839A (ja) 画像監視装置
JP2002297119A (ja) 画像表示装置および画像表示システム
JP3486575B2 (ja) 複合現実感提示装置およびその方法並びに記憶媒体
KR20050103597A (ko) 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
JP2008158540A (ja) 投影装置、投影方法、投影制御プログラム
JP2004140845A (ja) プロジェクタ装置
US20200184222A1 (en) Augmented reality tools for lighting design
JP2003348385A (ja) 書画カメラ装置およびこれを用いたプレゼンテーション方法
JP2007094661A (ja) プレゼンテーション制御装置およびプレゼンテーションシステム
JP5742379B2 (ja) 投影システムおよび投影方法
JP2018132769A (ja) 画像表示装置、及び、画像表示装置の制御方法
JP2004023359A (ja) 資料提示装置を用いたプレゼンテーションシステム
JP4839858B2 (ja) 遠隔指示システム及び遠隔指示方法
KR20070106209A (ko) 팬틸트 카메라의 제어장치 및 그 기록매체

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031014

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071024

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081024

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101024

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101024

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees