JP2003256876A - 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents
複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムInfo
- Publication number
- JP2003256876A JP2003256876A JP2002057838A JP2002057838A JP2003256876A JP 2003256876 A JP2003256876 A JP 2003256876A JP 2002057838 A JP2002057838 A JP 2002057838A JP 2002057838 A JP2002057838 A JP 2002057838A JP 2003256876 A JP2003256876 A JP 2003256876A
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- identification information
- teaching index
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
の大きさや色などといった外観と周囲環境との調和が図
られた仮想現実世界をユーザに提示する。 【解決手段】 それぞれ識別情報を持つとともに互いの
位置関係が既知である複数のマーカが配設された物体教
示指標をカメラで撮影して、この撮影画像を基に物体教
示指標を特定するとともに、現実空間に配置された3次
元位置・姿勢を取得する。さらに、仮想空間において、
検出した識別情報に対応する3次元モデルを、物体教示
指標から求められた3次元位置・姿勢に配置することに
よって、複合現実空間を作成する。
Description
ットワーク上で実装された仮想空間上で実世界の様相を
組み込む複合現実感表示装置及び方法、記憶媒体、並び
にコンピュータ・プログラムに係り、特に、ユーザが存
在する場所や実世界オブジェクトの実空間上の位置・姿
勢などの実世界状況を積極的に利用して仮想空間を現実
世界に拡張する複合現実感表示装置及び方法、記憶媒
体、並びにコンピュータ・プログラムに関する。
物体を配置することなく実物体の大きさや色などといっ
た外観と周囲環境との調和が図られた仮想現実世界をユ
ーザに提示する複合現実感表示装置及び方法、記憶媒
体、並びにコンピュータ・プログラムに係り、特に、実
物体を模倣した仮想物体を現実空間に合成して表示する
複合現実感表示装置及び方法、記憶媒体、並びにコンピ
ュータ・プログラムに関する。
達した現代においては、パーソナル・コンピュータや携
帯情報端末を始めとする情報機器がオフィスや家庭内な
どの実世界上のいたるところに遍在する。このような環
境下では、機器どうしを接続して、いつでもどこでも欲
しい情報を入手する「ユビキタス(Ubiquitous)・コン
ピューティング」や、実世界の状況(実世界の事物やユ
ーザの位置など)を積極的に利用した拡張現実システム
(Augmented Reality:AR)の実現が期待される。
は、人がどこに移動しても利用できるコンピュータの環
境が同じであることである。すなわち、「いつでもどこ
でも」なのだから、究極のユビキタス・コンピューティ
ングは、必ずしもコンピュータやPDA(Personal Dig
ital Assistant)や携帯電話機などの情報端末を必要と
はしない。
の位置などの実世界状況を利用したサービスを提供する
ことができる。この場合、ユーザは携帯端末を保持する
だけで、システムはユーザの近傍や視界中にある実世界
の事物に応じた情報を提示して、ネットワーク上にある
膨大な情報を利用して日常生活のあらゆる局面を支援す
ることができる。例えば、ショッピング・モールでカメ
ラ付き携帯端末をかざしてCDショップを訪ねると、お
薦めの新譜が端末上で表示される。また、レストランの
看板を見ると、料理の感想が表示される。
リアなどを購入する際、それらが部屋の大きさに合って
いるのか、部屋や他の家具などの色と調和しているのか
など、実際に購入する前に調べたいことが多々ある。ま
た、部屋の模様替えを行う際、実際に家具や家電製品、
インテリアなどの配置をいろいろと変更し、試したいも
のである。
入前に実際に自宅の部屋に実物を配置することは困難で
ある。また、一般に家具や電化製品、インテリアなどは
大きく重いので、実際に実物を動かしたり、室内でさま
ざまな配置を試みることは重労働であり現実的でない。
を模倣した3次元の仮想住居を構築して、この仮想住居
の中に家具や電化製品、インテリアなどの3次元モデル
を配置して、さまざまな視点から住居を眺めることがで
きるアプリケーションが考案されている。これらのアプ
リケーションは、近年におけるコンピュータの処理速度
の向上や、3次元コンピュータ・グラフィックス(3D
CG)技術の発展に伴い、リアリティ溢れる表現力を可
能にしている。
ーションを実際に利用する場合、いくつかの問題点があ
る。
築しなければならない点である。住んでいる部屋の間取
りを、瞬時に、かつ正確に作成できる人は稀であり、一
般にはメジャー等で実際に部屋を計測したり、家を購入
する際に入手した間取り図を参考に構築しなければなら
ない。概略的な部屋の雰囲気を表現したいのであれば大
まかな部屋モデルで十分であるが、家具や電化製品、イ
ンテリアなどのサイズを調べるには正確な部屋モデルの
構築が不可欠となる。
具や電化製品、インテリアなどの3次元モデルが必要で
あるが、これらの完全なモデルを作成あるいは入手する
ことは困難であり、複数の3次元モデル素材の中から最
も近似しているモデルを選択するのが現状である。この
ため、現実の住居とは異なる仮想住居が構築されてしま
う。
ともに、CG技術が発展し、表現力が格段に向上された
とは言え、現実と見間違えるような表現は難しく、可能
であっても多大な計算時間を要するのがほとんどであ
る。
ピュータやネットワーク上で実装された仮想空間上で実
世界の様相を組み込むことができる、優れた複合現実感
表示装置及び方法、並びにコンピュータ・プログラムを
提供することにある。
る場所や実世界オブジェクトの実空間上の位置・姿勢な
どの実世界状況を積極的に利用して仮想空間を現実世界
に拡張することができる、優れた複合現実感表示装置及
び方法、並びにコンピュータ・プログラムを提供するこ
とにある。
体を配置することなく実物体の大きさや色などといった
外観と周囲環境との調和が図られた仮想現実世界をユー
ザに提示することができる、優れた複合現実感表示装置
及び方法、並びにコンピュータ・プログラムを提供する
ことにある。
た仮想物体を現実空間に合成して表示することができ
る、優れた複合現実感表示装置及び方法、並びにコンピ
ュータ・プログラムを提供することにある。
課題を参酌してなされたものであり、その第1の側面
は、仮想物体を現実空間に合成して表示する複合現実感
表示装置又は方法であって、物体教示指標を含んだ現実
空間上のシーンを捕捉する画像入力部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記
物体教示指標の空間的位置及び姿勢を計算する位置・姿
勢計算部又はステップと、前記画像入力部又はステップ
による入力画像を基に前記物体教示指標が持つ識別情報
を認識して対応する現実物体を認識する物体認識部又は
ステップと、前記物体認識部又はステップにより認識さ
れた現実物体についての3次元モデルからなる仮想物体
を前記位置・姿勢計算部又はステップにより算出された
空間的な位置及び姿勢に応じて回転・移動させて入力画
像上に合成する画像合成部又はステップと、を具備する
ことを特徴とする複合現実感表示装置又は方法である。
装置又は方法によれば、物体教示指標をカメラで撮影し
て、この撮影画像を基に物体教示指標が持つ識別情報を
取得するとともに、物体教示指標が現実空間に配置され
た3次元位置・姿勢を取得する。さらに、仮想空間にお
いて、検出した識別情報に対応する3次元モデルを、物
体教示指標から求められた3次元位置・姿勢に配置する
ことによって、複合現実空間を比較的短時間で且つ低コ
ストに作成することができる。
リアなどを購入する際、それらが部屋の大きさに合って
いるのか、部屋や他の家具などの色と調和しているのか
など、実際に購入する前に調べたいことが多々ある。ま
た、部屋の模様替えを行う際、実際に家具や家電製品、
インテリアなどの配置をいろいろと変更し、試したいも
のである。ところが、購入前に実際に自宅の部屋に実物
を配置することは困難である。また、一般に家具や電化
製品、インテリアなどは大きく重いので、実際に実物を
動かしたり、室内でさまざまな配置を試みることは重労
働であり現実的でない。
合現実感表示装置又は方法によれば、家具や家電製品、
インテリアなどの現実の物体を配置してみたい場合に
は、現実の物体に代えて、物体教示指標を設置するだけ
で、現実空間に実物体を配置することなく実物体の大き
さや色などといった外観と周囲環境との調和が図られた
仮想現実世界をユーザに提示することができる。
に仮想物体が合成された複合現実感画像を基に、家庭内
の家具や電化製品、インテリアなどが部屋の大きさに合
っているのか、部屋や他の家具などの色と調和している
のかなどを、実際に購入する前に判断することが可能と
なる。また、家具や電化製品、インテリアなどの仮想物
体以外の室内の風景や物体は、カメラから取り込まれた
現実の画像をそのまま利用する。すなわち、現実空間に
ついて完全なモデルを作成あるいは入手する必要がな
く、容易に拡張現実感画像を生成することができる。
前記物体認識部により認識された現実物体に関する料金
や仕様、あるいはその他の関連情報を入力画像上にさら
に合成するようにしてもよい。
を測定する距離測定部又はステップを備えていてもよ
い。このような場合、前記画像合成部又はステップは、
前記距離測定部又はステップにより得られた距離に基づ
いて前記仮想物体に陰面処理を適用することにより、よ
り自然な合成画像を得ることができる。
設されている。光学的識別情報とは、例えば、固有の
色、形状、又はバーコードなどのビジュアルコード、あ
るいは識別情報やその他のデータを符号化した光の点滅
パターンなどで構成される。
ップは、入力画像から光学的識別情報を抽出して物体の
識別情報を取得することができる。
知である複数の光学的識別情報を配設するようにしても
よい。このような場合、前記位置・姿勢計算部又はステ
ップは、入力画像から光学的識別情報を抽出して、該入
力画像における各光学的識別情報の検出位置に基づいて
その空間的な位置及び姿勢を算出することができる。
Lee、Karsten Ottenberg、及びMichael Nolle共著の論
文"Analysis and Solutions of The Three Point Persp
ective Pose Estimation Problem"(In Proceedings of
the Conference on ComputerVision and Pattern Reco
gnition, Maui, Hawaii, USA, pp.592-598, 1991)に
は、対象物体上に配設された既知の3点の位置から該物
体の3次元位置及び姿勢を計測する方法について記述さ
れている。したがって、3個以上の光学的識別情報を物
体教示指標に配設しておけば、前記位置・姿勢計算部又
はステップは、このRobert外著の方法を用いて、
入力画像上で抽出される3つの光学的識別情報の検出位
置を基に対応する3次元位置及び姿勢を数学的に算出す
ることができる。
野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡
張現実感システムとそのキャリブレーション』(日本バ
ーチャルリアリティ学会論文誌, Vol.4, No.4, 1999)
には、平行四辺形の各頂点に配置された4つのマーカを
基に平行四辺形の3次元位置及び姿勢を計測する方法に
ついて記載されている。したがって、平行四辺形の頂点
をなす4個以上の光学的識別情報を物体教示指標に配設
しておけば、前記位置・姿勢計算部又はステップは、こ
の加藤外著の方法を用いて、入力画像上で抽出される4
つの光学的識別情報の検出位置を基に対応する3次元位
置及び姿勢を数学的に算出する選択することができる。
表されている場合には、前記物体認識部又はステップ
は、入力画像を基に各点滅光源からの点滅パターンを抽
出するとともにこれらを復号化して前記物体教示指標が
持つ識別情報を認識することができる。
算部又はステップは、入力画像を基に各点滅光源からの
点滅パターンを抽出しこれらを復号化して各々を識別す
るとともに、該入力画像における各点滅光源の検出位置
に基づいてその空間的な位置及び姿勢を算出することが
できる。
現実空間に合成して表示するための処理をコンピュータ
・システム上で実行するように記述されたコンピュータ
・ソフトウェアをコンピュータ可読形式で物理的に格納
した記憶媒体であって、前記コンピュータ・ソフトウェ
アは、物体教示指標を含んだ現実空間上のシーンを捕捉
する画像入力ステップと、前記画像入力ステップにおけ
る入力画像を基に前記物体教示指標の空間的位置及び姿
勢を計算する位置・姿勢計算ステップと、前記画像入力
ステップにおける入力画像を基に前記物体教示指標が持
つ識別情報を認識して対応する現実物体を認識する物体
認識ステップと、前記物体認識ステップにおいて認識さ
れた現実物体についての3次元モデルからなる仮想物体
を前記位置・姿勢計算ステップにおいて算出された空間
的な位置及び姿勢に応じて回転・移動させて入力画像上
に合成する画像合成ステップと、を具備することを特徴
とする記憶媒体である。
えば、さまざまなプログラム・コードを実行可能な汎用
コンピュータ・システムに対して、コンピュータ・ソフ
トウェアをコンピュータ可読な形式で提供する媒体であ
る。このような媒体は、例えば、DVD(Digital Vers
atile Disc)やCD(Compact Disc)、FD(Flexible
Disk)、MO(Magneto-Optical disc)などの着脱自
在で可搬性の記憶媒体である。あるいは、ネットワーク
(ネットワークは無線、有線の区別を問わない)などの
伝送媒体などを経由してコンピュータ・ソフトウェアを
特定のコンピュータ・システムに提供することも技術的
に可能である。
は、コンピュータ・システム上で所定のコンピュータ・
ソフトウェアの機能を実現するための、コンピュータ・
ソフトウェアと記憶媒体との構造上又は機能上の協働的
関係を定義したものである。換言すれば、本発明の第2
の側面に係る記憶媒体を介して所定のコンピュータ・ソ
フトウェアをコンピュータ・システムにインストールす
ることによって、コンピュータ・システム上では協働的
作用が発揮され、本発明の第1の側面に係る複合現実感
表示装置又はその方法と同様の作用効果を得ることがで
きる。
現実空間に合成して表示するための処理をコンピュータ
・システム上で実行するようにコンピュータ可読形式で
記述されたコンピュータ・プログラムであって、物体教
示指標を含んだ現実空間上のシーンを捕捉する画像入力
ステップと、前記画像入力ステップにおける入力画像を
基に前記物体教示指標の空間的位置及び姿勢を計算する
位置・姿勢計算ステップと、前記画像入力ステップにお
ける入力画像を基に前記物体教示指標が持つ識別情報を
認識して対応する現実物体を認識する物体認識ステップ
と、前記物体認識ステップにおいて認識された現実物体
についての3次元モデルからなる仮想物体を前記位置・
姿勢計算ステップにおいて算出された空間的な位置及び
姿勢に応じて回転・移動させて入力画像上に合成する画
像合成ステップと、を具備することを特徴とするコンピ
ュータ・プログラムである。
プログラムは、コンピュータ・システム上で所定の処理
を実現するようにコンピュータ可読形式で記述されたコ
ンピュータ・プログラムを定義したものである。換言す
れば、本発明の第3の側面に係るコンピュータ・プログ
ラムをコンピュータ・システムにインストールすること
によって、コンピュータ・システム上では協働的作用が
発揮され、本発明の第1側面に係る複合現実感表示装置
又はその方法と同様の作用効果を得ることができる。
後述する本発明の実施形態や添付する図面に基づくより
詳細な説明によって明らかになるであろう。
の実施形態について詳解する。
実世界上に存在する物理オブジェクトに対して複数の光
学的な識別情報を取り付けるとともに、これを2次元イ
メージ・センサを利用して撮影して画像処理・画像認識
により、オブジェクトの同定するとともにその3次元的
な位置や姿勢などのオブジェクトが持つ実世界状況を基
にした拡張現実(AR:Augmented Reality)サービス
を実現するものであり、例えば、現実空間の一部が仮想
世界に拡張された複合現実感画像を提供する。
識別情報として、色の空間パターンに符号化されたビジ
ュアル・コードの他に、LEDのような点滅する光源か
らなる光学信号を利用することができる。後者の場合、
距離に応じてデータが変化しない点滅パターンなどの時
系列の光学信号に符号化して、データを送信することが
できる。
S(Complementary Metal Oxide Semiconductor:相補
性金属酸化膜半導体)センサやCCD(Charge Coupled
Device:電荷結合素子)センサなどのように、無数の
受光素子すなわち画素が2次元アレイ上に配置された構
成であり、光学信号並びにその空間的情報を全画素でデ
コードする。イメージ・センサは、普通のカメラとして
シーンを撮影するとともに、そのイメージ・センサの視
界中に配置された光学信号を長距離から受信することが
できる。したがって、光学的な識別情報を備えた実世界
オブジェクトを、実世界状況を発信するための送信機と
しても利用することができる。
の光学的識別情報は、互いに識別可能であるだけでな
く、互いの空間的な位置関係があらかじめ分かっている
ものとする。このような場合、空間的な解像度を持つ測
定装置により実世界オブジェクトを認識することによ
り、単にその実世界オブジェクトを同定するだけでな
く、その3次元的な位置や姿勢などを測定することがで
きる。実世界オブジェクトが持つ空間的な位置や姿勢
は、言わば実世界状況に相当する。
位置・姿勢の計測結果を実世界の状況(実世界の事物や
ユーザの位置など)として積極的に利用することによ
り、拡張現実システム(Augmented Reality:AR)の
実現に役立てることができる。
などの実世界情報を利用したサービスを提供することが
できる。この場合、ユーザは携帯端末を保持するだけ
で、システムはユーザの近傍や視界中にある実世界の事
物に応じた情報を提示して、ネットワーク上にある膨大
な情報を利用して日常生活のあらゆる局面で支援を享受
することができる。例えば、ショッピング・モールでカ
メラ付き携帯端末をかざしてCDショップを訪ねると、
お薦めの新譜が端末上で表示される。また、レストラン
の看板を見ると、料理の感想が表示される。
2001−325356号明細書には光学的な形式で識
別情報やその他のデータを担持又は伝送する光学信号
と、これを捕捉する高速な2次元イメージ・センサを利
用することで、空間解像度を持つとともに、遠距離でも
利用可能なデータ伝送を実現するデータ通信システムに
ついて開示している。同明細書に記載のデータ通信シス
テムでは、LEDのような点滅する光源を光学信号と
し、ビジュアル・コードのように色の空間パターンに符
号化するのではなく、距離に応じてデータが変化しない
点滅パターンなどの時系列の光学信号に符号化してデー
タを送信する。イメージ・センサは、例えばCMOSセ
ンサやCCDセンサなどのように無数の受光素子すなわ
ち画素が2次元アレイ上に配置された構成であり、光学
信号並びにその空間的情報を全画素でデコードする。し
たがって、イメージ・センサは、普通のカメラとしてシ
ーンを撮影するとともに、そのイメージ・センサの視界
中に配置された光学信号を長距離から受信することがで
きる。
ムの構成を模式的に示している。同図に示すように、こ
のシステムは、カメラ101と、複合現実感装置102
と、画像表示装置103と、物体教示指標104とで構
成される。
置・姿勢計測を可能にするため、それぞれ識別可能な複
数個のマーカが取り付けられている(後述)。各マーカ
は、それぞれ固有の色、形状、パターン、又は光の点滅
パターンなどからなる視覚的な識別情報を持ち、マーカ
毎に識別可能であるとする。また、各マーカが持つこれ
らの視覚的識別情報や各マーカ間の空間的な位置関係
は、複合現実感システムにおいて既知であるとする。
い理想的なピンホール・レンズを使用して、CCDやC
MOSなどの2次元イメージ・センサにより物体教示指
標104を含む風景やその他のシーンを撮像することが
できる。カメラ101により撮像された画像フレームは
空間的分解能を持つ受信データとして複合現実感装置1
02に入力される。
ル・コンピュータ(PC)などの計算機システムで構成
され、USB(Universal Serial Bus)あるいはその他
の外部インターフェースを介してカメラ101を接続し
て、撮影画像をコンピュータ・ファイルの形式で取り込
むことができる。該装置102上では、画像フレーム中
からマーカ検出に基づく3次元位置・姿勢計測処理を行
なうアプリケーションが起動しており、物体教示指標1
03を含むシーン画像からマーカを3次元位置及び入力
画像上の位置を基にその3次元位置及び姿勢などの実世
界状況を測定する。そして、複合現実感装置102は、
実世界状況に応じた拡張現実感サービス(後述)を提供
する。
は、リビング内でスピーカに挟まれたテレビ台の上に配
置されて、仮想的にテレビ受像機(以下、「テレビ」と
する)の存在を代行する。このとき、カメラ101を用
いて物体教示指標104を含んだ領域(シーン)が撮影
される。
空間分解能を持ち、複合現実感装置102へ入力され
て、物体教示指標104の識別情報とその空間的位置や
姿勢が抽出される。そして、抽出された物体教示指標1
04の識別情報に対応した仮想物体105(ここではテ
レビの3次元モデル)を入力された画像データに合成し
て、画像表示装置103に出力する。このとき、テレビ
の3次元モデルは、物体教示指標104から得られた空
間的位置や姿勢などの実世界状況に基づいて現実空間の
座標系にマッピングされる。
画像を表示出力する画像表示装置103の表示スクリー
ン上には、実際に存在しない仮想物体105(テレビ)
が現実空間を撮影した画像上に現れる(重畳表示され
る)。したがって、ユーザは、現実空間内に家具や電化
製品などの実物体を配置することなく、その大きさや色
などといった外観が周囲環境に調和しているかを表示す
ることが可能である。
置102のハードウェア構成を模式的に示している。
ral Processing Unit)1は、オペレーティング・システ
ム(OS)の制御下で、各種のアプリケーションを実行
する。
メラ101の撮影画像のような空間的解像度を持つデー
タを基に物体教示指標104の空間的な位置や姿勢を計
測するための3次元位置・姿勢計測アプリケーション
や、物体教示指標104の空間的な位置や姿勢などを始
めとする実世界オブジェクトについての実世界状況を利
用した拡張現実感(AR)サービスを提供するARサー
ビス・アプリケーションなどを実行することができる。
他の機器類(後述)と相互接続されている。
るプログラム・コードをロードしたり、実行プログラム
の作業データを一時保管するために使用される記憶装置
であり、例えばDRAM(Dynamic RAM)のような半導
体メモリが使用される。例えば、カメラ101の撮影画
像のような空間的解像度を持つデータを基に物体教示指
標104の空間的な位置や姿勢を計測するための3次元
位置・姿勢計測アプリケーションや、物体教示指標10
4の空間的な位置や姿勢などを始めとする実世界オブジ
ェクトについての実世界状況に応じた拡張現実感(A
R)サービスを提供するARサービス・アプリケーショ
ンなどが主メモリ2にロードされる。また、カメラ10
1による撮影画像に基づく物体教示指標104の空間的
位置や姿勢に関する計算結果や、この計算結果から得ら
れた実世界状況に応じて生成される各種のARサービス
・コンテンツ(例えば、家具や電化製品、インテリアな
ど仮想物体の3次元モデル)などが作業データとして主
メモリ2に一時的に格納される。
データを恒久的に格納する半導体メモリであり、例え
ば、起動時の自己診断テスト(POST:Power On Sel
f Test)や、ハードウェア入出力用のプログラム・コー
ド(BIOS:Basic Input/Output System)などが書
き込まれている。
1が発行する描画命令を実際に処理するための専用コン
トローラである。ディスプレイ・コントローラ4におい
て処理された描画データは、例えばフレーム・バッファ
(図示しない)に一旦書き込まれた後、CRT(Cathod
e Ray Tube:陰極線管)ディスプレイやLCD(Liquid
Crystal Display:液晶表示ディスプレイ)などからな
る画像表示装置103によって画面出力される。
に、ユーザからの入力内容やその処理結果、あるいはエ
ラーその他のシステム・メッセージをユーザに視覚的に
フィードバックする役割を持つ。また、本実施形態にお
いては、画像表示装置103の表示画面には、物体教示
指標104に対応した仮想物体105をカメラ101に
よる撮影画像に合成した拡張現実感シーンのようなAR
サービス・コンテンツなどを表示出力するために利用さ
れる。ここで言うARサービス・コンテンツには、例え
ば、家具や電化製品、インテリアなど仮想物体の3次元
モデルがカメラ101による撮影画像に組み込まれた複
合現実感画像を挙げることができる。複合現実感画像の
生成方法の詳細については後述に譲る。
ド12やマウス13などのユーザ入力機器を複合現実感
装置102に接続するための装置である。
コマンドなどのユーザ入力をシステムに取り込む役割を
持つ。本実施形態では、キーボード12やマウス13
は、3次元位置・姿勢計測アプリケーションの起動、A
Rサービス・アプリケーションの起動、ARサービスの
指定などをユーザが指示するために使用される。
thernet(登録商標)などの所定の通信プロトコ
ルに従って、システム102をLAN(Local Area Net
work)などの局所的ネットワーク、さらにはインターネ
ットのような広域ネットワークに接続することができ
る。
(図示しない)がトランスペアレントな状態で接続さ
れ、分散コンピューティング環境が構築されている。ネ
ットワーク上では、ソフトウェア・プログラムやデータ
・コンテンツなどの配信サービスを行なうことができ
る。例えば、カメラ101の撮影画像のような空間的解
像度を持つデータを基に物体教示指標104の空間的な
位置や姿勢を計測するための3次元位置・姿勢計測アプ
リケーションや、撮影画像から検出された複数点のマー
カを基に3次元位置・推定を行なう複数のアルゴリズム
(例えばライブラリ化されている)、物体教示指標10
4の空間的な位置や姿勢などを始めとする実世界オブジ
ェクトについての実世界状況に応じた拡張現実感(A
R)サービスを提供するARサービス・アプリケーショ
ンなどを、ネットワーク経由でダウンロードすることが
できる。また、ARサービス・アプリケーションにおい
て利用されるARサービス・コンテンツ(例えば、家具
や電化製品、インテリアなど仮想物体の3次元モデル)
などを、ネットワーク経由で他のホスト装置との間で配
信・配布することができる。また、複合現実感画像を提
供するARサービスとして、家具や電化製品、インテリ
アなどの商品を取り扱う場合には、その価格(若しくは
拡張現実感サービスの利用料金)や製品仕様、在庫数な
ど、実物体に関する付加情報をネットワーク経由でダウ
ンロードしてもよい。
ディスク・ドライブ(HDD)14やメディア・ドライブ
15などの外部装置を複合現実感装置102に接続する
ための装置である。
スクを固定的に搭載した外部記憶装置であり(周知)、
記憶容量やデータ転送速度などの点で他の外部記憶装置
よりも優れている。ソフトウェア・プログラムを実行可
能な状態でHDD14上に置くことを、プログラムのシ
ステムへの「インストール」と呼ぶ。通常、HDD14
には、CPU1が実行すべきオペレーティング・システ
ムのプログラム・コードや、アプリケーション・プログラ
ム、デバイス・ドライバなどが不揮発的に格納されてい
る。例えば、カメラ101の撮影画像のような空間的解
像度を持つデータを基に物体教示指標104の空間的な
位置や姿勢を計測するための3次元位置・姿勢計測アプ
リケーションや、物体教示指標104の空間的な位置や
姿勢などを始めとする実世界オブジェクトについての実
世界状況に応じた拡張現実感(AR)サービスを提供す
るARサービス・アプリケーションなどを、HDD14
上にインストールすることができる。また、撮影画像か
ら検出された複数点のマーカを基に3次元位置・姿勢推
定を行なう複数のアルゴリズム(例えばライブラリ化さ
れている)や、ARサービス・アプリケーションにおい
て利用されるARサービス・コンテンツ(例えば、家具
や電化製品、インテリアなど仮想物体の3次元モデル)
などをHDD14上に蓄積しておいてもよい。また、複
合現実感画像を提供するARサービスとして、家具や電
化製品、インテリアなどの商品を取り扱う場合には、そ
の価格(若しくは拡張現実感サービスの利用料金)や製
品仕様、在庫数など、実物体に関する付加情報を蓄積し
ていてもよい。
Disc)やMO(Magneto-Optical disc)、DVD(Dig
ital Versatile Disc)などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動(すなわち販売・流通・配布を含む)
する目的で使用される。例えば、カメラ101の撮影画
像のような空間的解像度を持つデータを基に物体教示指
標104の空間的な位置や姿勢を計測するための3次元
位置・姿勢計測アプリケーションや、物体教示指標10
4の空間的な位置や姿勢などを始めとする実世界オブジ
ェクトについての実世界状況に応じた拡張現実感(A
R)サービスを提供するARサービス・アプリケーショ
ンなどを、これら可搬型メディアを利用して複数の機器
間で物理的に流通・配布することができる。また、撮影
画像から検出された複数点のマーカを基に3次元位置・
姿勢推定を行なう複数のアルゴリズム(例えばライブラ
リ化されている)や、ARサービス・アプリケーション
において利用されるARサービス・コンテンツ(例え
ば、家具や電化製品、インテリアなど仮想物体の3次元
モデル)などを他の装置との間で交換するために、可搬
型メディアを利用することができる。また、複合現実感
画像を提供するARサービスとして、家具や電化製品、
インテリアなどの商品を取り扱う場合には、その価格
(若しくは拡張現実感サービスの利用料金)や製品仕
様、在庫数など、実物体に関する付加情報を可搬型メデ
ィア経由で流通させてもよい。
01を接続するための装置であり、例えばUSBインタ
ーフェースで構成される。あるいはビデオ・キャプチャ
・カードのようにカメラ101から動画像を取得するイ
ンターフェースで構成されていてもよい。カメラ101
は、画素が2次元アレイ上に配置された構成で、物体教
示指標104から光学信号並びにその空間的情報を全画
素でデコードする。
02の一例は、米IBM社のパーソナル・コンピュータ"
PC/AT(Personal Computer/Advanced Technolog
y)"の互換機又は後継機である。勿論、他のアーキテク
チャで構成されるコンピュータを、本実施形態に係る複
合現実感装置102として適用することも可能である。
される複合現実感表示の処理手順をフローチャートの形
式で示している。この処理手順は、実際には、CPU1
が所定の複合現実感処理アプリケーションを起動して、
カメラ101からの入力画像を処理して、画面表示装置
103に処理結果を表示出力するという形態で実現され
る。以下、このフローチャートを参照しながら、複合現
実感表示処理について詳解する。
と(ステップS1)、別途定義されている「物体教示指
標の抽出、その識別情報、3次元位置・姿勢情報の取
得」処理ルーチン(後述)により、撮影された画像デー
タ中の物体教示指標104が抽出され、さらにその識別
情報並びに3次元位置・姿勢情報が取得される(ステッ
プS2)。
(ステップS7,S8)において、画像データ中の物体
教示指標104の位置にその識別情報に対応した2次元
画像を単に重ねて表示する場合には、ステップS2にお
ける処理ルーチンでは、物体教示指標104の3次元位
置・姿勢情報の取得は省略してもよい。物体教示指標1
04の識別情報並びに3次元位置・姿勢情報の取得方法
は物体教示指標104の態様に依存する処理であるの
で、後述で物体教示指標104の実施形態とともに詳細
に説明する。
から物体教示指標104が抽出されたがどうかを判定す
る(ステップS3)。抽出された場合には、後続のステ
ップS4へ進み、抽出された物体教示指標104の識別
情報に対応した実物体についての3次元モデルの取得を
試みる。
あるいは3次元モデル作成サービスを行なう第3者など
が実物体を模倣し作成したものであり、例えばハード・
ディスク装置14上にあらかじめ格納されていたり、あ
るいはネットワークを介して所定の情報提供サーバ(例
えば、3次元モデル・データベース)から逐次的にダウ
ンロードするようにしてもよい。また、実物体が家具や
電化製品、インテリアなどの商品である場合にはその価
格(若しくは拡張現実感サービスの利用料金)や製品仕
様、在庫数など、実物体に関する付加情報やその他のリ
アルタイム・コンテンツなどを同時にダウンロードして
もよい。
たがどうかを判定する(ステップS5)。
た場合には、さらに次ステップS6に進み、取得した3
次元モデルを、先行ステップS2で取得した物体教示指
標104の3次元位置・姿勢情報に合わせて回転・移動
させる。そして、ステップS1においてカメラ101か
ら入力された現実空間のシーンである画像データと3次
元モデルとを合成して、複合現実空間画像を作成する
(ステップS7)。このとき、ARサービスに関連する
料金や商品の仕様、在庫数など、実物体に関する付加情
報と画像データとをさらに合成してもよい。
た複合現実空間画像を画像表示装置103で表示出力す
る(ステップS8)。実空間上のシーンに仮想物体が合
成された複合現実感画像を基に、家庭内の家具や電化製
品、インテリアなどが部屋の大きさに合っているのか、
部屋や他の家具などの色と調和しているのかなどを、実
際に購入する前に判断することが可能となる。
物体教示指標104が抽出されないと判定された場合
や、ステップS5において3次元モデルを取得すること
ができなかった場合には、ステップS1で取得された画
像データをそのまま画像表示装置103で表示出力する
ようにしてもよい。
せるかどうか判定する(ステップS9)。そして、本処
理ルーチンを続行するならば、ステップS1へ戻って上
述と同様の動作を繰り返し実行する。他方、非続行なら
ば、ここで本処理ルーチン全体を終了させる。
ボード12やマウス13を介したユーザ入力であっても
よいし、アプリケーション内であらかじめ定められたル
ール(例えばゲームにおけるゲーム・オーバー)であって
もよい。また、メモリフルなどのハードウェア又はソフ
トウェア上の制約を終了条件にしてもよい。
の構成例を示している。同図に示すように、物体教示指
標104は板状の三角形をしており、その各頂点には光
学的に識別可能なマーカ105a〜105cが配置され
ている。各マーカ105a〜105cが持つ識別情報の
組み合わせにより対応する実物体を特定することができ
る。また、物体教示指標104には、対応する実物体に
関連した情報(例えば、製品型番の文字情報など)が明
記(印字)されている。
固有の色、形状、パターンなどからなる光学的に一意な
識別情報を持ち、マーカ毎に識別可能である。また、各
マーカ105a〜105cが持つこれらの視覚的識別情
報や各マーカ間の空間的な位置関係は、本システムにお
いて既知であるとする。したがって、物体教示指標10
4は、ある実物体に取り付けられることにより、各マー
カ105a〜105cが持つ識別情報の組み合わせによ
りこのオブジェクトを特定するための情報を与えるとと
もに、空間的な位置や姿勢などの実世界状況に関する情
報を与えることができる。
れているカメラ101は、例えばCMOSセンサやCC
Dセンサなどのように、無数の受光素子すなわち画素が
2次元アレイ上に配置されたイメージ・センサ(図示し
ない)を備えており、物体教示指標104上の各マーカ
105a〜105cに対して空間的な分解能を持つ。
ているすべてのマーカ105a〜105cの3次元的な
位置関係は既知である。物体教示指標104を例えばX
軸回りにα、Y軸回りにβ、Z軸回りにγだけそれぞれ
回転したものとすると、計測対象物体101の回転行列
Rは以下のように表される。
の位置(Xt,Yt,Zt)に移動したものとすると、平
行移動行列Tは以下のように表される。
Ym,Zm)に位置するマーカ105が回転及び平行移動
した後、点(Xc,Yc,Zc)に変換されたものとする
と、これらの関係は以下のように表される。
上から空間的な位置関係が既知である3点のマーカを検
出することができれば、連立方程式の解としてR及び
T、すなわち物体教示指標104の3次元位置及び姿勢
を求められることを示している。例えば、Robert M. Ha
ralick、Chung-nan Lee、Karsten Ottenberg、及びMich
ael Nolle共著の論文"Analysis and Solutions of The
Three Point Perspective Pose Estimation Problem"
(In Proceedings of the Conference on ComputerVisi
on and Pattern Recognition, Maui, Hawaii, USA, pp.
592-598, 1991)には対象物体上に配設された既知の3
点の位置から該物体の3次元位置及び姿勢を計測する方
法について記述されている。
ーカ105の2次元撮像画像上の座標値(X,Y)は以
下の通りとなる。
関係が既知である3点のマーカを検出することができれ
ば、連立方程式の解としてR及びT、すなわち物体教示
指標104の3次元位置及び姿勢を数学的な算出により
求めることができる。
野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡
張現実感システムとそのキャリブレーション』(日本バ
ーチャルリアリティ学会論文誌, Vol.4, No.4, 1999)
には、平行四辺形の各頂点に配置された4つのマーカを
基に平行四辺形の3次元位置及び姿勢を計測する方法に
ついて記載されている。したがって、物体教示指標10
4に4つのマーカ105a〜105dを平行四辺形状に
配置することによって、加藤外著の論文で記述された方
法に従って、物体教示指標104の位置・姿勢を数学的
に算出することもできる。3点より4点の情報を用いた
方が、より精度の高い計測が期待できるということを充
分理解されたい。
4を用いた場合の物体教示指標104の抽出、並びにそ
の識別情報及び3次元位置・姿勢情報を取得するための
処理手順をフローチャートの形式で示している。この処
理手順は、図3に示した処理ルーチンのステップS2に
相当し、実際には、CPU1が所定の物体教示指標の抽
出、並びにその識別情報及び3次元位置・姿勢情報の取
得処理アプリケーションを起動して、カメラ101から
の入力画像を処理するという形態で実現される。以下、
このフローチャートを参照しながら、物体教示指標10
4の認識処理について詳解する。
抽出されると(ステップS11)、抽出されたマーカが
3つかどうかを判定する(ステップS12)。これは、
Robert外著の論文(前述)に記述された数学的算
出方法によれば3点の画像座標から3次元位置及び姿勢
を推定できることに依拠する。物体教示指標104上に
3点以上のマーカを設置した場合、3次元位置及び姿勢
を推定するアルゴリズムによっては、必要なマーカの数
は3つ以上に設定してもよい。
カの数は3つと判定された場合には、次いで、Robe
rt外著の論文(前述)に記述されている数学的算出方
法に従い3次元位置及び姿勢を推定する(ステップS1
3)。
3次元位置及び姿勢の代替的な処理として、物体教示指
標104上に平行四辺形を形成するように4つのマーカ
を配設しておき、カメラ101からの入力画像から平行
四辺形状に4つのマーカを抽出することができたとき
に、加藤外著の論文(前述)に記載されている方法に従
い、数学的算出により物体教示指標104の3次元位置
及び姿勢を推定する。また、この場合で3つのマーカし
か抽出できないときに、Robert外著の論文(前
述)に記述されている数学的算出方法に従い3次元位置
及び姿勢を推定するようにしてもよい。
認識する(ステップS14)。物体教示指標104には
型番などの識別情報が例えば文字情報の形式で明記され
ているので、これを文字認識技術などを用いて認識す
る。あるいは、物体教示指標104には文字ではなくバ
ーコードやその他のビジュアル・コードの形式で識別情
報が明記されている場合には、そのパターン認識によっ
て識別情報を認識することも可能である。
たマーカの個数が3つに満たないと判定された場合に
は、物体教示指標104の識別は不可能という結果を返
して、本処理ルーチンを終了する。
実感表示装置102からなる本実施形態に係るシステム
によれば、物体教示指標104からその識別情報及び3
次元位置・姿勢情報を同時に取得することができる。
複数のマーカ105a〜105cを設置するのは、カメ
ラ101による撮像画像に対する物体教示指標104の
3次元位置及び姿勢を推定したいため(言い換えれば、
物体認識においてカメラ101が持つ空間的分解能を活
用したいため)である。したがって、物体教示指標10
4の認識において3次元位置及び姿勢が必要でない場
合、例えば、画像データ中の物体教示指標104の位置
に識別情報に対応した2次元画像を単に重ねて表示する
場合には、識別情報を得るための単一のマーカのみを物
体教示指標104に配設しておけば充分である。
が1つであっても、カメラ101を複数用いることによ
って、三角測量の原理(周知)より物体教示指標104
の3次元位置および姿勢を推定することが可能である。
104の他の構成例を示している。同図において、物体
教示指標104の各頂点に配設されているマーカは、
色、形状、パターンなどの静的な光学識別情報の代わり
に、パルス発信が可能なLEDなどの光源105a’〜
105c’が設置されている。これらの光源はそれぞれ
識別可能なようにIDを持っており、各IDに応じた点
滅パターンに従って、光源を点滅させる。また、各光源
105a’〜105c’は、ID以外の送信データを点
滅パターンに符号化して送信することもできる。
対応する実物体に関連した情報(例えば、製品型番の文
字情報など)が明記(印字)されている。但し、各光源
105a’〜105c’のIDと物体教示指標の識別情
報をともに点滅パターンに符号化して同時に送信するこ
とも可能である。例えば、8ビットのデータを送信する
場合、上位6ビットを物体教示指標104が持つ識別情
報に割り当て、下位2ビットを各光源105a’〜10
5c’のIDに割り当てることができる。このような場
合、物体教示指標104本体への情報の印字(並びに印
字情報の画像認識)を省略することができる。
るカメラ101は、例えばCMOSセンサやCCDセン
サなどのように、無数の受光素子すなわち画素が2次元
アレイ上に配置されたイメージ・センサ(図示しない)
を備えており、物体教示指標104上の点滅光源からな
る各マーカ105a’〜105c’に対して空間的な分
解能を持つ。そして、カメラ101で捕捉される動画像
を基に各光源105a’〜105c’の点滅パターンを
空間的に認識して、それぞれの点滅パターンの受光位置
及び点滅パターンによって表されるIDを認識すること
ができる。
c’がLEDのように光の点滅するデバイスで構成され
ている場合、各マーカ105a’〜105c ’は、デ
ータを点滅パターンなどの時系列の光学信号に符号化し
て送信することができる。このような場合、各マーカ1
05a’〜105c’を備えた物体教示指標104は、
単に実物体の識別情報や空間的な位置や姿勢を計測する
ための指標としてだけでなく、送信装置としても機能す
ることができる。また、光学信号は距離に応じてデータ
が変化しないことから、距離に関しロバストなデータ伝
送を行なうことができる。このような光の点滅パターン
を利用したデータ通信システムに関しては、本出願人に
既に譲渡されている特願2001−325356号明細
書(前述)に開示されている。
105a’〜105c’として3個の発光ダイオードを
装備したときのカメラ101及び複合現実感表示装置1
02側での動作特性を模式的に示している。それぞれの
発光ダイオード105a’〜105c ’は識別情報等
の送信したいデータを光の点滅パターンに符号化して光
学信号として送出することができる。勿論、送信データ
からなるベースバンド信号をそのまま光の点滅パターン
で表してもよいし、あるいは周波数変調や振幅変調など
の変調処理を施した後に光学信号を出力するようにして
もよい。
ンは、集光レンズ系(図示しない)によってカメラ10
1側の2次元イメージ・センサの受光面上に結像され
て、物体教示指標104の実空間上の位置や姿勢に対応
した位置の受光素子で検出される。
光面において各発光ダイオード105a’〜105c
’の点灯光が結像される受光素子(画素)の座標値を
それぞれ(10,10)、(90,90)、(40,7
0)とすると、各画素位置では対応する発光ダイオード
の点滅パターンが受光強度(明るさ)の時間的変化とし
て検出される。受光強度を所定の閾値で2値化処理する
ことにより、元の送信データに相当する1/0のビット
列を復元することができる。
は、カメラ101によって測定対象物体101を含んだ
シーンの撮影画像を全画素でデコードすることによっ
て、各マーカ105a’〜105c ’から送出される
光学信号、並びに物体教示指標104の空間的情報をす
ることができる。すなわち、光学信号により物体教示指
標104との間でデータ伝送を行なうことができるとと
もに、空間的情報が意味する実世界状況に基づく拡張現
実サービスを提供することができる。
4を用いた場合の物体教示指標104の抽出、並びにそ
の識別情報及び3次元位置・姿勢情報を取得するための
処理手順をフローチャートの形式で示している。この処
理手順は、図3に示した処理ルーチンのステップS2に
相当し、実際には、CPU1が所定の物体教示指標の抽
出、並びにその識別情報及び3次元位置・姿勢情報の取
得処理アプリケーションを起動して、カメラ101から
の入力画像を処理するという形態で実現される。以下、
このフローチャートを参照しながら、物体教示指標10
4の認識処理について詳解する。
処理して、点滅パターンの抽出、並びに点滅パターンに
よって表される送信データのデコードを行なう(ステッ
プS21)
どうかを判定する(ステップS22)。これは、Rob
ert外著の論文(前述)に記述された数学的算出方法
によれば3点の画像座標から3次元位置及び姿勢を推定
できることに依拠する。
カの数は3つと判定された場合には、次いで、Robe
rt外著の論文(前述)に記述されている数学的算出方
法に従い3次元位置及び姿勢を推定する(ステップS2
3)。また、点滅パターンの形式で物体教示指標104
からデータが送られてくる場合には、そのデコード結果
と統合して、3次元位置及び姿勢を推定するようにして
もよい。
3次元位置及び姿勢の代替的な処理として、物体教示指
標104上に平行四辺形を形成するように4つの点滅光
源を配設しておき、カメラ101からの入力画像から平
行四辺形状に4つの点滅パターンを抽出することができ
たときに、加藤外著の論文(前述)に記載されている方
法に従い、数学的算出により物体教示指標104の3次
元位置及び姿勢を推定する。
認識する(ステップS24)。物体教示指標104には
型番などの識別情報が例えば文字情報の形式で明記され
ているので、これを文字認識技術などを用いて認識す
る。あるいは、物体教示指標104には文字ではなくバ
ーコードやその他のビジュアル・コードの形式で識別情
報が明記されている場合には、そのパターン認識によっ
て識別情報を認識することも可能である。
104からデータが送られてくる場合には、ステップS
24では、そのデコード結果と統合して、識別情報を認
識するようにしてもよい。
により点滅パターンの形式で送信されるIDのみで情報
が伝達され、物体教示指標104に情報の印字がない場
合には、ステップS24では各光源105a’〜105
c’における点滅パターンのデコード結果のみにより識
別情報の認識を行なう。例えば、各光源105a’〜1
05c’からは上位6ビットを物体教示指標104が持
つ識別情報に割り当て、下位2ビットを各光源105
a’〜105c’のIDに割り当てた8ビットのデータ
が送信されており、これをデコード処理する。
4の変形例を示している。同図において、物体教示指標
104の各頂点には、パルス発信が可能なLEDなどの
光源105a’〜105c’が設置されている。また、
物体教示指標104の略中央には、対応する実物体に関
連した情報(例えば、製品型番の文字情報など)を印字
する代わりに、これらの情報を光の点滅パターンに符号
化して送信する光源106が追加して配設されている。
2側では、カメラ101からの入力画像を基に、光源1
06の点滅パターンを空間的に認識することによって、
物体教示指標104における識別情報をデコードするこ
とができる。
標104の他の構成例を示している。同図に示す物体教
示指標104の光学的な識別情報は、「サイバーコード
(Cybercode)」で構成されている。
アル・コードの一種であり、サイバーコードの所在を表
すための「ガイド・バー表示領域」と、2次元状のコー
ド・パターンを表示する「コード・パターン表示領域」
とで構成されてモザイク状の模様をなす。コード・パタ
ーン表示領域内は、n×mマトリックス(同図では7×
7)に配列されたセルで構成され、各セルを白又は黒の
2値表現することで識別情報を付与することができる。
但し、コード・パターン表示領域の4隅のコーナー・セ
ルは、識別情報としてではなく位置合わせ(Image Regi
stration)パターンとして、常に黒パターンとなってい
る。
2値化するステップと、2値画像中からガイド・バー1
002の候補を発見するステップと、ガイド・バー10
02の位置や方向に基づいてコーナー・セル1003を
探索するステップと、ガイド・バー1002及びコーナ
ー・セル1003を検出したことに応答して画像ビット
マップ・パターンを復号化するステップとに大別され
る。さらに、エラービットの検査を行うことで、撮像画
像中に正しいサイバー・コードが含まれていることを確
認して、該コードの識別情報や位置情報を導出すること
ができる。また、コーナー・セル1003の位置に基づ
いて、カメラやオブジェクトの傾きによって生じる歪み
を算出して補償することができる。
ば、本出願人に既に譲渡されている特開2000−82
108号公報(「2次元コ―ド認識処理方法、2次元コ
―ド認識処理装置、および媒体」)にも開示されてい
る。
104を用いた場合の物体教示指標104の抽出、並び
にその識別情報及び3次元位置・姿勢情報を取得するた
めの処理手順をフローチャートの形式で示している。こ
の処理手順は、図3に示した処理ルーチンのステップS
2に相当し、実際には、CPU1が所定の物体教示指標
の抽出、並びにその識別情報及び3次元位置・姿勢情報
の取得処理アプリケーションを起動して、カメラ101
からの入力画像を処理するという形態で実現される。以
下、このフローチャートを参照しながら、物体教示指標
104の認識処理について詳解する。
化処理を行ない(ステップS31)、次いでこの2値化
画像中からガイド・バー1002の候補を抽出する(ス
テップS32)。そして、ガイド・バー1002が抽出
されたかどうかを判定する(ステップS33)。
ば、後続のステップS34へ進み、ガイド・バー100
2の位置や方向を基準にして、さらにコーナー・セル1
003を探索する。そして、コーナー・セル1003が
抽出されたかどうかを判定する(ステップS35)。
ることができたならば、さらに後続のステップS36へ
進んで、ガイド・バー1002及びコーナー・セル10
03を検出したことに応答して画像ビットマップ・パタ
ーンを復号化して、物体教示指標1001の識別情報を
取得する。
バー1002及びコーナー・セル1003の位置から物
体教示指標1001のカメラ101に対する3次元位置
及び姿勢を推定する(ステップS37)。
ー・セル1003の画像座標から3次元位置及び姿勢を
推定するためには、例えば、加藤博一、Mark Billinghu
rst、浅野浩一、橘啓八郎共著の論文“マーカー追跡に
基づく拡張現実感システムとそのキャリブレーション”
(日本バーチャルリアリティ学会論文誌, Vol.4, No.4,
1999)(前述)に記載されているような、識別可能な
平行四辺形の4頂点に基づいてその3次元位置及び姿勢
を数学的に算出する方法を適用することができる。
04では、各コーナー・セル1003を単体では識別す
ることはできないが、ガイド・バー1002との位置関
係を用いると識別することができ、同様の手法により3
次元位置及び姿勢を推定することが可能である。
ー1002を発見することができなかった場合、及びス
テップS35においてコーナー・セル1003を認識す
ることができなかった場合には、物体教示指標104の
3次元位置及び姿勢の取得が不能である旨の結果を返し
て、本処理ルーチン全体を終了する。
物体教示指標104の識別情報及びカメラ101に対す
る3次元位置・姿勢を取得することができる。さらに、
仮想空間において、検出した識別情報に対応する3次元
モデルを、物体教示指標104から求められた3次元位
置・姿勢に配置することによって、複合現実空間を作成
することができる。
に物体教示指標104を作成することが望ましい。例え
ば、図12に示すような商品パンフレット1201の一
部に物体教示指標1202を貼り付ける。
入しなくても、商品パンフレット1201だけを持ち帰
ればよい。そして、自宅の部屋の所望の位置に、該当す
る商品についての物体教示指標1202を配置して、カ
メラ101で室内の風景を撮影する。
に投入すると、現実空間に配置した物体教示指標104
の識別情報及びカメラ101に対する3次元位置・姿勢
を取得する。さらに、仮想空間において、検出した識別
情報に対応する商品の3次元モデルを、物体教示指標1
04から求められた3次元位置・姿勢に配置することに
よって、複合現実空間画像を作成して、画面表示装置1
03に出力する。この結果、消費者は、実際に商品を室
内に配置することなく、複合現実空間画像の表示出力を
基に、商品のサイズや色など、部屋との調和を購入前に
確認することが可能となる。
成する処理は、図3に示したフローチャートのステップ
S7で行われる処理に相当する。以下、画像データと3
次元モデルの合成方法について、再び図3を参照しなが
ら説明する。
ータを出力画像に相当するフレームバッファに描画する
(ステップS1)。このとき、入力画像の大きさと出力
画像の大きさが異なる場合には、入力画像を縮小又は拡
大して、出力画像の大きさに合わせる。
報、3次元位置・姿勢情報の取得処理ルーチンにより、
撮影された画像データ中の物体教示指標104を抽出し
て(ステップS2,S3)、さらに、抽出された物体教
示指標104の識別情報に対応した実物体(家具、家電
製品、インテリアなど)についての3次元モデルを取得
する(ステップS4)。
モデルを、カメラ101の入力画像で示される現実空間
上でステップS2で取得された3次元位置・姿勢に配置
して(ステップS6)、レンダリングする。このとき、
画角などといった仮想空間上のカメラの属性を現実世界
のカメラの属性(カメラの種類やレンズ歪など)に合わ
せなければならない。
に仮想的な3次元モデルを重ねて表示することによっ
て、複合現実空間画像を作成することが可能である。
ルを重ねて描画しているだけである。このため、例えば
図13に示すように、カメラ101と物体教示指標10
4の間にユーザの手などの障害物がある場合(但し、物
体教示指標104のマーカ105a〜105cは手で隠
れていないものとする)、合成画像A03は、図示のよ
うに、手の上に仮想物体A02が表示され、不自然な画
像になる。
or"のようなカメラからの距離情報を検出できる3次元
計測機能を搭載したイメージセンサを用いた場合には、
画像データと同時にカメラに対する物体の距離情報を取
得することができるので、上記の問題を回避することが
できる。あるいは、カメラ101に対する物体教示指標
104の位置関係が既知である空間内では、カメラ10
1からの距離情報に基づいて描画する物体を判断するこ
とができるので、同様に上記の問題を回避することがで
きる。
に近い物体を選択し描画することによって、図14に示
すような自然な合成画像B01を得ることが可能であ
る。
は、1チップでカラー動画像と3次元距離情報の両方
を、毎秒15フレーム又は30フレームで取得可能な高
機能CMOSイメージ・センサである。これら動画像と
距離情報を同時に利用することにより、画像認識、物体
認識、動き検出など、これまで外部に複雑な情報処理を
必要としていた機能を小規模なシステムで実現すること
ができます。これにより、PC、ゲームなどのユーザ・
インターフェースや3次元モデリング、ロボットの障害
物検知・人物検知、セキュリティ・システムにおける個
人認証、テレビ電話の画像抽出機能など、さまざまな分
野において多様なアプリケーションを提供することがで
きる(http://www.sony.co.jp/SonyInfo/News/Press
/)。
がら、本発明について詳解してきた。しかしながら、本
発明の要旨を逸脱しない範囲で当業者が該実施形態の修
正や代用を成し得ることは自明である。すなわち、例示
という形態で本発明を開示してきたのであり、本明細書
の記載内容を限定的に解釈するべきではない。本発明の
要旨を判断するためには、冒頭に記載した特許請求の範
囲の欄を参酌すべきである。
コンピュータやネットワーク上で実装された仮想空間上
で実世界の様相を組み込むことができる、優れた複合現
実感表示装置及び方法、記憶媒体、並びにコンピュータ
・プログラムを提供することができる。
場所や実世界オブジェクトの実空間上の位置・姿勢など
の実世界状況を積極的に利用して仮想空間を現実世界に
拡張することができる、優れた複合現実感表示装置及び
方法、記憶媒体、並びにコンピュータ・プログラムを提
供することができる。
を配置することなく実物体の大きさや色などといった外
観と周囲環境との調和が図られた仮想現実世界をユーザ
に提示することができる、優れた複合現実感表示装置及
び方法、記憶媒体、並びにコンピュータ・プログラムを
提供することができる。
仮想物体を現実空間に合成して表示することができる、
優れた複合現実感表示装置及び方法、記憶媒体、並びに
コンピュータ・プログラムを提供することができる。
ば、実空間上のシーンに仮想物体が合成された複合現実
感画像を基に、家庭内の家具や電化製品、インテリアな
どが部屋の大きさに合っているのか、部屋や他の家具な
どの色と調和しているのかなどを、実際に購入する前に
判断することが可能である。また、家具や電化製品、イ
ンテリアなどの仮想物体以外の室内の風景や物体は、カ
メラから取り込まれた現実の画像をそのまま利用する。
すなわち、現実空間について完全なモデルを作成あるい
は入手する必要がなく、容易に拡張現実感画像を生成す
ることができる。
の構成を模式的に示した図である。
ドウェア構成を模式的に示した図である。
感表示の処理手順を示したフローチャートである。
である。
の物体教示指標の抽出、並びにその識別情報及び3次元
位置・姿勢情報を取得するための処理手順を示したフロ
ーチャートである。
ある。
05c’として3個の発光ダイオードを装備したときの
カメラ101及び複合現実感表示装置102側での動作
特性を模式的に示した図である。
の物体教示指標104の抽出、並びにその識別情報及び
3次元位置・姿勢情報を取得するための処理手順を示し
たフローチャートである。
した図である。
である。
場合の物体教示指標104の抽出、並びにその識別情報
及び3次元位置・姿勢情報を取得するための処理手順を
示したフローチャートである。
Claims (18)
- 【請求項1】仮想物体を現実空間に合成して表示する複
合現実感表示装置であって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
像入力部と、 前記画像入力部による入力画像を基に前記物体教示指標
の空間的位置及び姿勢を計算する位置・姿勢計算部と、 前記画像入力部による入力画像を基に前記物体教示指標
が持つ識別情報を認識して対応する現実物体を認識する
物体認識部と、 前記物体認識部により認識された現実物体についての3
次元モデルからなる仮想物体を前記位置・姿勢計算部に
より算出された空間的な位置及び姿勢に応じて回転・移
動させて入力画像上に合成する画像合成部と、を具備す
ることを特徴とする複合現実感表示装置。 - 【請求項2】前記画像合成部は、前記物体認識部により
認識された現実物体に関する料金や仕様、あるいはその
他の関連情報を入力画像上にさらに合成する、ことを特
徴とする請求項1に記載の複合現実感表示装置。 - 【請求項3】さらに前記物体教示指標までの距離を測定
する距離測定部を備え、 前記画像合成部は、前記距離測定部により得られた距離
に基づいて前記仮想物体に陰面処理を適用する、ことを
特徴とする請求項1に記載の複合現実感表示装置。 - 【請求項4】前記物体教示指標には光学的識別情報が配
設されており、 前記物体認識部は、入力画像から光学的識別情報を抽出
して物体の識別情報を取得する、ことを特徴とする請求
項1に記載の複合現実感表示装置。 - 【請求項5】前記物体教示指標には互いの位置関係が既
知である複数の光学的識別情報が配設されており、 前記位置・姿勢計算部は、入力画像から光学的識別情報
を抽出して、該入力画像における各光学的識別情報の検
出位置に基づいてその空間的な位置及び姿勢を算出す
る、ことを特徴とする請求項1に記載の複合現実感表示
装置。 - 【請求項6】前記物体教示指標には互いの位置関係が既
知である複数の点滅光源が配設されて、各点滅光源は識
別情報又はその他のデータを光の点滅パターンに符号化
して送信する、ことを特徴とする請求項1に記載の複合
現実感表示装置。 - 【請求項7】前記物体認識部は、入力画像を基に各点滅
光源からの点滅パターンを抽出するとともにこれらを復
号化して前記物体教示指標が持つ識別情報を認識する、
ことを特徴とする請求項6に記載の複合現実感表示装
置。 - 【請求項8】前記位置・姿勢計算部は、入力画像を基に
各点滅光源からの点滅パターンを抽出しこれらを復号化
して各々を識別するとともに、該入力画像における各点
滅光源の検出位置に基づいてその空間的な位置及び姿勢
を算出する、ことを特徴とする請求項6に記載の複合現
実感表示装置。 - 【請求項9】仮想物体を現実空間に合成して表示する複
合現実感表示方法であって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
教示指標の空間的位置及び姿勢を計算する位置・姿勢計
算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
教示指標が持つ識別情報を認識して対応する現実物体を
認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体につ
いての3次元モデルからなる仮想物体を前記位置・姿勢
計算ステップにおいて算出された空間的な位置及び姿勢
に応じて回転・移動させて入力画像上に合成する画像合
成ステップと、を具備することを特徴とする複合現実感
表示方法。 - 【請求項10】前記画像合成ステップでは、前記物体認
識ステップにおいて認識された現実物体に関する料金や
仕様、あるいはその他の関連情報を入力画像上にさらに
合成する、ことを特徴とする請求項9に記載の複合現実
感表示方法。 - 【請求項11】さらに前記物体教示指標までの距離を測
定する距離測定ステップを備え、 前記画像合成ステップでは、前記距離測定ステップにお
いて得られた距離に基づいて前記仮想物体に陰面処理を
適用する、ことを特徴とする請求項9に記載の複合現実
感表示方法。 - 【請求項12】前記物体教示指標には光学的識別情報が
配設されており、 前記物体認識ステップでは、入力画像から光学的識別情
報を抽出して物体の識別情報を取得する、ことを特徴と
する請求項9に記載の複合現実感表示方法。 - 【請求項13】前記物体教示指標には互いの位置関係が
既知である複数の光学的識別情報が配設されており、 前記位置・姿勢計算ステップでは、入力画像から光学的
識別情報を抽出して、該入力画像における各光学的識別
情報の検出位置に基づいてその空間的な位置及び姿勢を
算出する、ことを特徴とする請求項9に記載の複合現実
感表示方法。 - 【請求項14】前記物体教示指標には互いの位置関係が
既知である複数の点滅光源が配設されて、各点滅光源は
識別情報又はその他のデータを光の点滅パターンに符号
化して送信する、ことを特徴とする請求項9に記載の複
合現実感表示方法。 - 【請求項15】前記物体認識ステップでは、入力画像を
基に各点滅光源からの点滅パターンを抽出するとともに
これらを復号化して前記物体教示指標が持つ識別情報を
認識する、ことを特徴とする請求項14に記載の複合現
実感表示方法。 - 【請求項16】前記位置・姿勢計算ステップは、入力画
像を基に各点滅光源からの点滅パターンを抽出しこれら
を復号化して各々を識別するとともに、該入力画像にお
ける各点滅光源の検出位置に基づいてその空間的な位置
及び姿勢を算出する、ことを特徴とする請求項14に記
載の複合現実感表示方法。 - 【請求項17】仮想物体を現実空間に合成して表示する
ための処理をコンピュータ・システム上で実行するよう
に記述されたコンピュータ・ソフトウェアをコンピュー
タ可読形式で物理的に格納した記憶媒体であって、前記
コンピュータ・ソフトウェアは、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
教示指標の空間的位置及び姿勢を計算する位置・姿勢計
算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
教示指標が持つ識別情報を認識して対応する現実物体を
認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体につ
いての3次元モデルからなる仮想物体を前記位置・姿勢
計算ステップにおいて算出された空間的な位置及び姿勢
に応じて回転・移動させて入力画像上に合成する画像合
成ステップと、を具備することを特徴とする記憶媒体。 - 【請求項18】仮想物体を現実空間に合成して表示する
ための処理をコンピュータ・システム上で実行するよう
にコンピュータ可読形式で記述されたコンピュータ・プ
ログラムであって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
教示指標の空間的位置及び姿勢を計算する位置・姿勢計
算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
教示指標が持つ識別情報を認識して対応する現実物体を
認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体につ
いての3次元モデルからなる仮想物体を前記位置・姿勢
計算ステップにおいて算出された空間的な位置及び姿勢
に応じて回転・移動させて入力画像上に合成する画像合
成ステップと、を具備することを特徴とするコンピュー
タ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002057838A JP4032776B2 (ja) | 2002-03-04 | 2002-03-04 | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002057838A JP4032776B2 (ja) | 2002-03-04 | 2002-03-04 | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003256876A true JP2003256876A (ja) | 2003-09-12 |
JP4032776B2 JP4032776B2 (ja) | 2008-01-16 |
Family
ID=28668010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002057838A Expired - Fee Related JP4032776B2 (ja) | 2002-03-04 | 2002-03-04 | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4032776B2 (ja) |
Cited By (102)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107968A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 画像表示装置及び方法並びに情報処理方法 |
WO2006025137A1 (ja) * | 2004-09-01 | 2006-03-09 | Sony Computer Entertainment Inc. | 画像処理装置、ゲーム装置および画像処理方法 |
WO2006041149A1 (ja) * | 2004-10-15 | 2006-04-20 | Sony Computer Entertainment Inc. | 物体、画像データ、画像データ伝送方法、カード、ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法 |
JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
WO2006109829A1 (ja) * | 2005-04-12 | 2006-10-19 | Pioneer Corporation | 通信システム、通信装置及び方法、並びにコンピュータプログラム |
JP2007058296A (ja) * | 2005-08-22 | 2007-03-08 | Fujifilm Holdings Corp | 情報提供システム |
JP2007206807A (ja) * | 2006-01-31 | 2007-08-16 | Nippon Hoso Kyokai <Nhk> | 映像合成装置及び映像合成プログラム |
JP2007219082A (ja) * | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
JP2007286851A (ja) * | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP2009087176A (ja) * | 2007-10-02 | 2009-04-23 | Casio Comput Co Ltd | オブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラム |
JP2009150883A (ja) * | 2007-12-18 | 2009-07-09 | General Electric Co <Ge> | 拡張現実検査およびデータ可視化のシステムおよび方法 |
JP2009271822A (ja) * | 2008-05-09 | 2009-11-19 | Dainippon Printing Co Ltd | 室内調度品購入支援システム、方法、プログラム、媒体 |
JP2010045621A (ja) * | 2008-08-13 | 2010-02-25 | Casio Comput Co Ltd | 撮像装置 |
JP2010515189A (ja) * | 2007-01-05 | 2010-05-06 | トタル イメルシオン | 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置 |
JP2010157034A (ja) * | 2008-12-26 | 2010-07-15 | Ritsumeikan | 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム |
JP2010157035A (ja) * | 2008-12-26 | 2010-07-15 | Ritsumeikan | 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム |
JP2010170316A (ja) * | 2009-01-22 | 2010-08-05 | Konami Digital Entertainment Co Ltd | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
JP2010179403A (ja) * | 2009-02-05 | 2010-08-19 | Denso Wave Inc | ロボットシミュレーション画像表示システム |
JP2010257359A (ja) * | 2009-04-28 | 2010-11-11 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
JP2010541054A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
JP2010540973A (ja) * | 2007-10-05 | 2010-12-24 | ヴォルカノ コーポレイション | 分散型の取得および処理を用いるリアルタイム型スペクトル領域光コヒーレンストモグラフィ |
JP2010541053A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
JP2011095964A (ja) * | 2009-10-29 | 2011-05-12 | Toppan Printing Co Ltd | 携帯端末及び方法並びプログラム |
WO2011065680A2 (en) * | 2009-11-25 | 2011-06-03 | Lg Electronics Inc. | Managing multimedia contents using general objects |
JP2011198150A (ja) * | 2010-03-19 | 2011-10-06 | Fujifilm Corp | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
JP2011242934A (ja) * | 2010-05-17 | 2011-12-01 | Ntt Docomo Inc | オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 |
EP2434458A2 (en) | 2010-09-27 | 2012-03-28 | Nintendo Co., Ltd. | Image processing program, apparatus, system, and method for mixed reality |
JP2012202876A (ja) * | 2011-03-25 | 2012-10-22 | Fuji Xerox Co Ltd | 認識対象物、対象物認識装置およびプログラム、対象物認識システム |
JP2013024586A (ja) * | 2011-07-15 | 2013-02-04 | Univ Of Yamanashi | モノスペクトル・マーカならびにその検出方法および装置 |
JP2013515275A (ja) * | 2010-03-08 | 2013-05-02 | エンパイア テクノロジー ディベロップメント エルエルシー | 拡張現実のためのブロードバンドパッシブ追跡 |
WO2013061504A1 (en) * | 2011-10-27 | 2013-05-02 | Sony Corporation | Image processing apparatus, image processing method, and program |
WO2013069189A1 (en) | 2011-11-11 | 2013-05-16 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2013069196A1 (en) | 2011-11-11 | 2013-05-16 | Sony Corporation | Information processing device, information processing method, and program |
JP2013105328A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
JP2013105329A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
JP2013130919A (ja) * | 2011-12-20 | 2013-07-04 | Casio Comput Co Ltd | 情報処理装置、情報処理方法及びプログラム |
WO2013145673A1 (en) | 2012-03-26 | 2013-10-03 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2013145883A1 (ja) | 2012-03-26 | 2013-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2013145566A1 (en) | 2012-03-26 | 2013-10-03 | Sony Corporation | Information processing apparatus, information processing method, and program |
KR101330811B1 (ko) | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
KR101348680B1 (ko) * | 2013-01-09 | 2014-01-09 | 국방과학연구소 | 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치 |
JP2014056450A (ja) * | 2012-09-13 | 2014-03-27 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
WO2014050957A1 (ja) * | 2012-09-27 | 2014-04-03 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
JP2014072570A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
JP2014071520A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置、制御方法および制御プログラム |
US20140240652A1 (en) * | 2011-03-29 | 2014-08-28 | Sharp Kabushiki Kaisha | See-through display device, and electrical device and furniture piece each of which is provided with see-through display device |
KR101539087B1 (ko) * | 2013-08-22 | 2015-07-29 | 김정한 | 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법 |
JP2015154854A (ja) * | 2014-02-20 | 2015-08-27 | 株式会社三洋物産 | 遊技機 |
JP2015179392A (ja) * | 2014-03-19 | 2015-10-08 | カシオ計算機株式会社 | コードシンボル表示装置、情報処理装置及びプログラム |
US9286673B2 (en) | 2012-10-05 | 2016-03-15 | Volcano Corporation | Systems for correcting distortions in a medical image and methods of use thereof |
JP2016038796A (ja) * | 2014-08-08 | 2016-03-22 | 東芝テック株式会社 | 情報処理装置及びプログラム |
US9292918B2 (en) | 2012-10-05 | 2016-03-22 | Volcano Corporation | Methods and systems for transforming luminal images |
US9301687B2 (en) | 2013-03-13 | 2016-04-05 | Volcano Corporation | System and method for OCT depth calibration |
US9307926B2 (en) | 2012-10-05 | 2016-04-12 | Volcano Corporation | Automatic stent detection |
US9324141B2 (en) | 2012-10-05 | 2016-04-26 | Volcano Corporation | Removal of A-scan streaking artifact |
US9360630B2 (en) | 2011-08-31 | 2016-06-07 | Volcano Corporation | Optical-electrical rotary joint and methods of use |
US9367965B2 (en) | 2012-10-05 | 2016-06-14 | Volcano Corporation | Systems and methods for generating images of tissue |
US9383263B2 (en) | 2012-12-21 | 2016-07-05 | Volcano Corporation | Systems and methods for narrowing a wavelength emission of light |
JP2016149022A (ja) * | 2015-02-12 | 2016-08-18 | 株式会社キヌガワ京都 | 販売支援プログラム及び販売支援装置 |
JP2016531276A (ja) * | 2013-06-13 | 2016-10-06 | ビーエーエスエフ ソシエタス・ヨーロピアBasf Se | 少なくとも1つの物体の方位を光学的に検出する検出器 |
US9478940B2 (en) | 2012-10-05 | 2016-10-25 | Volcano Corporation | Systems and methods for amplifying light |
US9486143B2 (en) | 2012-12-21 | 2016-11-08 | Volcano Corporation | Intravascular forward imaging device |
US9508174B2 (en) | 2014-02-03 | 2016-11-29 | Brother Kogyo Kabushiki Kaisha | Display device and non-transitory storage medium storing instructions executable by the display device |
US9596993B2 (en) | 2007-07-12 | 2017-03-21 | Volcano Corporation | Automatic calibration systems and methods of use |
JP6105117B1 (ja) * | 2016-03-25 | 2017-03-29 | 東芝エレベータ株式会社 | エレベータの昇降路形状情報生成装置、およびこれに用いるマーカ部材 |
US9612105B2 (en) | 2012-12-21 | 2017-04-04 | Volcano Corporation | Polarization sensitive optical coherence tomography system |
US9622706B2 (en) | 2007-07-12 | 2017-04-18 | Volcano Corporation | Catheter for in vivo imaging |
US9709379B2 (en) | 2012-12-20 | 2017-07-18 | Volcano Corporation | Optical coherence tomography system that is reconfigurable between different imaging modes |
US9730613B2 (en) | 2012-12-20 | 2017-08-15 | Volcano Corporation | Locating intravascular images |
US9770172B2 (en) | 2013-03-07 | 2017-09-26 | Volcano Corporation | Multimodal segmentation in intravascular images |
WO2017215308A1 (zh) * | 2016-06-14 | 2017-12-21 | 珠海格力电器股份有限公司 | 电器设备控制方法、装置及*** |
US9858668B2 (en) | 2012-10-05 | 2018-01-02 | Volcano Corporation | Guidewire artifact removal in images |
US9867530B2 (en) | 2006-08-14 | 2018-01-16 | Volcano Corporation | Telescopic side port catheter device with imaging system and method for accessing side branch occlusions |
US10058284B2 (en) | 2012-12-21 | 2018-08-28 | Volcano Corporation | Simultaneous imaging, monitoring, and therapy |
US10070827B2 (en) | 2012-10-05 | 2018-09-11 | Volcano Corporation | Automatic image playback |
US10166003B2 (en) | 2012-12-21 | 2019-01-01 | Volcano Corporation | Ultrasound imaging with variable line density |
US10191220B2 (en) | 2012-12-21 | 2019-01-29 | Volcano Corporation | Power-efficient optical circuit |
US10219887B2 (en) | 2013-03-14 | 2019-03-05 | Volcano Corporation | Filters with echogenic characteristics |
US10219780B2 (en) | 2007-07-12 | 2019-03-05 | Volcano Corporation | OCT-IVUS catheter for concurrent luminal imaging |
US10226597B2 (en) | 2013-03-07 | 2019-03-12 | Volcano Corporation | Guidewire with centering mechanism |
JP2019040490A (ja) * | 2017-08-28 | 2019-03-14 | 株式会社ヒナタデザイン | 表示装置及び表示方法並びに表示システム |
US10238367B2 (en) | 2012-12-13 | 2019-03-26 | Volcano Corporation | Devices, systems, and methods for targeted cannulation |
US10292677B2 (en) | 2013-03-14 | 2019-05-21 | Volcano Corporation | Endoluminal filter having enhanced echogenic properties |
US10332228B2 (en) | 2012-12-21 | 2019-06-25 | Volcano Corporation | System and method for graphical processing of medical data |
US10413317B2 (en) | 2012-12-21 | 2019-09-17 | Volcano Corporation | System and method for catheter steering and operation |
US10420530B2 (en) | 2012-12-21 | 2019-09-24 | Volcano Corporation | System and method for multipath processing of image signals |
US10426590B2 (en) | 2013-03-14 | 2019-10-01 | Volcano Corporation | Filters with echogenic characteristics |
JP2020009076A (ja) * | 2018-07-05 | 2020-01-16 | 凸版印刷株式会社 | 物体配置支援システム、物体配置支援方法及びプログラム |
US10568586B2 (en) | 2012-10-05 | 2020-02-25 | Volcano Corporation | Systems for indicating parameters in an imaging data set and methods of use |
US10595820B2 (en) | 2012-12-20 | 2020-03-24 | Philips Image Guided Therapy Corporation | Smooth transition catheters |
US10638939B2 (en) | 2013-03-12 | 2020-05-05 | Philips Image Guided Therapy Corporation | Systems and methods for diagnosing coronary microvascular disease |
US10724082B2 (en) | 2012-10-22 | 2020-07-28 | Bio-Rad Laboratories, Inc. | Methods for analyzing DNA |
US10758207B2 (en) | 2013-03-13 | 2020-09-01 | Philips Image Guided Therapy Corporation | Systems and methods for producing an image from a rotational intravascular ultrasound device |
US10942022B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Manual calibration of imaging system |
US10939826B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Aspirating and removing biological material |
US10993694B2 (en) | 2012-12-21 | 2021-05-04 | Philips Image Guided Therapy Corporation | Rotational ultrasound imaging catheter with extended catheter body telescope |
US11026591B2 (en) | 2013-03-13 | 2021-06-08 | Philips Image Guided Therapy Corporation | Intravascular pressure sensor calibration |
US11040140B2 (en) | 2010-12-31 | 2021-06-22 | Philips Image Guided Therapy Corporation | Deep vein thrombosis therapeutic methods |
US11141063B2 (en) | 2010-12-23 | 2021-10-12 | Philips Image Guided Therapy Corporation | Integrated system architectures and methods of use |
US11154313B2 (en) | 2013-03-12 | 2021-10-26 | The Volcano Corporation | Vibrating guidewire torquer and methods of use |
US11272845B2 (en) | 2012-10-05 | 2022-03-15 | Philips Image Guided Therapy Corporation | System and method for instant and automatic border detection |
US11406498B2 (en) | 2012-12-20 | 2022-08-09 | Philips Image Guided Therapy Corporation | Implant delivery system and implants |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9721388B2 (en) | 2011-04-20 | 2017-08-01 | Nec Corporation | Individual identification character display system, terminal device, individual identification character display method, and computer program |
EP3046080A3 (en) | 2015-01-14 | 2016-11-30 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and computer-readable recording medium |
JP6582847B2 (ja) | 2015-10-07 | 2019-10-02 | 株式会社リコー | 情報処理装置、情報処理方法及びプログラム |
CN109586998B (zh) * | 2018-11-09 | 2021-06-04 | 珠海格力电器股份有限公司 | 一种指示设备运行状态的方法、云端及设备 |
-
2002
- 2002-03-04 JP JP2002057838A patent/JP4032776B2/ja not_active Expired - Fee Related
Cited By (144)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107968A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 画像表示装置及び方法並びに情報処理方法 |
WO2006025137A1 (ja) * | 2004-09-01 | 2006-03-09 | Sony Computer Entertainment Inc. | 画像処理装置、ゲーム装置および画像処理方法 |
US7991220B2 (en) * | 2004-09-01 | 2011-08-02 | Sony Computer Entertainment Inc. | Augmented reality game system using identification information to display a virtual object in association with a position of a real object |
JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
JP4689380B2 (ja) * | 2004-09-28 | 2011-05-25 | キヤノン株式会社 | 情報処理方法および装置 |
US8066195B2 (en) | 2004-10-15 | 2011-11-29 | Sony Computer Entertainment Inc. | Object, image data, image data transmission method, card, game mat, card game system, image analysis apparatus, and image analysis method |
WO2006041149A1 (ja) * | 2004-10-15 | 2006-04-20 | Sony Computer Entertainment Inc. | 物体、画像データ、画像データ伝送方法、カード、ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法 |
US7661601B2 (en) | 2004-10-15 | 2010-02-16 | Sony Computer Entertainment Inc. | Object, image data, image data transmission method, card, game mat, card game system, image analysis device, and image analysis method |
WO2006109829A1 (ja) * | 2005-04-12 | 2006-10-19 | Pioneer Corporation | 通信システム、通信装置及び方法、並びにコンピュータプログラム |
JP2007058296A (ja) * | 2005-08-22 | 2007-03-08 | Fujifilm Holdings Corp | 情報提供システム |
JP2007206807A (ja) * | 2006-01-31 | 2007-08-16 | Nippon Hoso Kyokai <Nhk> | 映像合成装置及び映像合成プログラム |
JP2007219082A (ja) * | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
US8345952B2 (en) | 2006-04-14 | 2013-01-01 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, image sensing apparatus, and control method thereof |
JP2007286851A (ja) * | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
US9867530B2 (en) | 2006-08-14 | 2018-01-16 | Volcano Corporation | Telescopic side port catheter device with imaging system and method for accessing side branch occlusions |
JP2010515189A (ja) * | 2007-01-05 | 2010-05-06 | トタル イメルシオン | 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置 |
US9622706B2 (en) | 2007-07-12 | 2017-04-18 | Volcano Corporation | Catheter for in vivo imaging |
US9596993B2 (en) | 2007-07-12 | 2017-03-21 | Volcano Corporation | Automatic calibration systems and methods of use |
US11350906B2 (en) | 2007-07-12 | 2022-06-07 | Philips Image Guided Therapy Corporation | OCT-IVUS catheter for concurrent luminal imaging |
US10219780B2 (en) | 2007-07-12 | 2019-03-05 | Volcano Corporation | OCT-IVUS catheter for concurrent luminal imaging |
JP2010541053A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
JP2010541054A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
US10665025B2 (en) | 2007-09-25 | 2020-05-26 | Apple Inc. | Method and apparatus for representing a virtual object in a real environment |
US9165405B2 (en) | 2007-09-25 | 2015-10-20 | Metaio Gmbh | Method and device for illustrating a virtual object in a real environment |
JP2012226766A (ja) * | 2007-09-25 | 2012-11-15 | Metaio Gmbh | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
US11080932B2 (en) | 2007-09-25 | 2021-08-03 | Apple Inc. | Method and apparatus for representing a virtual object in a real environment |
US9390560B2 (en) | 2007-09-25 | 2016-07-12 | Metaio Gmbh | Method and device for illustrating a virtual object in a real environment |
JP2014238883A (ja) * | 2007-09-25 | 2014-12-18 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
US10366538B2 (en) | 2007-09-25 | 2019-07-30 | Apple Inc. | Method and device for illustrating a virtual object in a real environment |
US10043315B2 (en) | 2007-09-25 | 2018-08-07 | Apple Inc. | Method and apparatus for representing a virtual object in a real environment |
JP2009087176A (ja) * | 2007-10-02 | 2009-04-23 | Casio Comput Co Ltd | オブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラム |
JP2010540973A (ja) * | 2007-10-05 | 2010-12-24 | ヴォルカノ コーポレイション | 分散型の取得および処理を用いるリアルタイム型スペクトル領域光コヒーレンストモグラフィ |
JP2009150883A (ja) * | 2007-12-18 | 2009-07-09 | General Electric Co <Ge> | 拡張現実検査およびデータ可視化のシステムおよび方法 |
JP2009271822A (ja) * | 2008-05-09 | 2009-11-19 | Dainippon Printing Co Ltd | 室内調度品購入支援システム、方法、プログラム、媒体 |
JP2010045621A (ja) * | 2008-08-13 | 2010-02-25 | Casio Comput Co Ltd | 撮像装置 |
JP2010157035A (ja) * | 2008-12-26 | 2010-07-15 | Ritsumeikan | 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム |
JP2010157034A (ja) * | 2008-12-26 | 2010-07-15 | Ritsumeikan | 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム |
JP2010170316A (ja) * | 2009-01-22 | 2010-08-05 | Konami Digital Entertainment Co Ltd | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
JP2010179403A (ja) * | 2009-02-05 | 2010-08-19 | Denso Wave Inc | ロボットシミュレーション画像表示システム |
JP2010257359A (ja) * | 2009-04-28 | 2010-11-11 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
US9772683B2 (en) | 2009-04-28 | 2017-09-26 | Sony Corporation | Information processing apparatus to process observable virtual objects |
JP2011095964A (ja) * | 2009-10-29 | 2011-05-12 | Toppan Printing Co Ltd | 携帯端末及び方法並びプログラム |
WO2011065680A2 (en) * | 2009-11-25 | 2011-06-03 | Lg Electronics Inc. | Managing multimedia contents using general objects |
WO2011065680A3 (en) * | 2009-11-25 | 2011-10-20 | Lg Electronics Inc. | Managing multimedia contents using general objects |
US9390503B2 (en) | 2010-03-08 | 2016-07-12 | Empire Technology Development Llc | Broadband passive tracking for augmented reality |
JP2013515275A (ja) * | 2010-03-08 | 2013-05-02 | エンパイア テクノロジー ディベロップメント エルエルシー | 拡張現実のためのブロードバンドパッシブ追跡 |
US8610771B2 (en) | 2010-03-08 | 2013-12-17 | Empire Technology Development Llc | Broadband passive tracking for augmented reality |
JP2011198150A (ja) * | 2010-03-19 | 2011-10-06 | Fujifilm Corp | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
JP2011242934A (ja) * | 2010-05-17 | 2011-12-01 | Ntt Docomo Inc | オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 |
KR101330811B1 (ko) | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
EP2434458A2 (en) | 2010-09-27 | 2012-03-28 | Nintendo Co., Ltd. | Image processing program, apparatus, system, and method for mixed reality |
US8698902B2 (en) | 2010-09-27 | 2014-04-15 | Nintendo Co., Ltd. | Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method |
US11141063B2 (en) | 2010-12-23 | 2021-10-12 | Philips Image Guided Therapy Corporation | Integrated system architectures and methods of use |
US11040140B2 (en) | 2010-12-31 | 2021-06-22 | Philips Image Guided Therapy Corporation | Deep vein thrombosis therapeutic methods |
JP2012202876A (ja) * | 2011-03-25 | 2012-10-22 | Fuji Xerox Co Ltd | 認識対象物、対象物認識装置およびプログラム、対象物認識システム |
US20140240652A1 (en) * | 2011-03-29 | 2014-08-28 | Sharp Kabushiki Kaisha | See-through display device, and electrical device and furniture piece each of which is provided with see-through display device |
JP2013024586A (ja) * | 2011-07-15 | 2013-02-04 | Univ Of Yamanashi | モノスペクトル・マーカならびにその検出方法および装置 |
US9360630B2 (en) | 2011-08-31 | 2016-06-07 | Volcano Corporation | Optical-electrical rotary joint and methods of use |
US10068382B2 (en) | 2011-10-27 | 2018-09-04 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9704297B2 (en) | 2011-10-27 | 2017-07-11 | Sony Corporation | Image processing apparatus, image processing method, and program |
US11468647B2 (en) | 2011-10-27 | 2022-10-11 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9292974B2 (en) | 2011-10-27 | 2016-03-22 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10902682B2 (en) | 2011-10-27 | 2021-01-26 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10453266B2 (en) | 2011-10-27 | 2019-10-22 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9626806B2 (en) | 2011-10-27 | 2017-04-18 | Sony Corporation | Image processing apparatus, image processing method, and program |
US11941766B2 (en) | 2011-10-27 | 2024-03-26 | Sony Group Corporation | Image processing apparatus, image processing method, and program |
WO2013061504A1 (en) * | 2011-10-27 | 2013-05-02 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10614605B2 (en) | 2011-11-11 | 2020-04-07 | Sony Corporation | Information processing apparatus, information processing method, and program for displaying a virtual object on a display |
US9497389B2 (en) | 2011-11-11 | 2016-11-15 | Sony Corporation | Information processing device, information processing method, and program for reduction of noise effects on a reference point |
WO2013069196A1 (en) | 2011-11-11 | 2013-05-16 | Sony Corporation | Information processing device, information processing method, and program |
WO2013069189A1 (en) | 2011-11-11 | 2013-05-16 | Sony Corporation | Information processing apparatus, information processing method, and program |
US9928626B2 (en) | 2011-11-11 | 2018-03-27 | Sony Corporation | Apparatus, method, and program for changing augmented-reality display in accordance with changed positional relationship between apparatus and object |
JP2013105329A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
JP2013105328A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
JP2013130919A (ja) * | 2011-12-20 | 2013-07-04 | Casio Comput Co Ltd | 情報処理装置、情報処理方法及びプログラム |
US9984468B2 (en) | 2012-03-26 | 2018-05-29 | Sony Corporation | Information processing device and method for recognising an image |
WO2013145673A1 (en) | 2012-03-26 | 2013-10-03 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2013145883A1 (ja) | 2012-03-26 | 2013-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2013145566A1 (en) | 2012-03-26 | 2013-10-03 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2014056450A (ja) * | 2012-09-13 | 2014-03-27 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
US10341642B2 (en) | 2012-09-27 | 2019-07-02 | Kyocera Corporation | Display device, control method, and control program for stereoscopically displaying objects |
WO2014050957A1 (ja) * | 2012-09-27 | 2014-04-03 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
JP2014071520A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置、制御方法および制御プログラム |
JP2014072570A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
US11272845B2 (en) | 2012-10-05 | 2022-03-15 | Philips Image Guided Therapy Corporation | System and method for instant and automatic border detection |
US11890117B2 (en) | 2012-10-05 | 2024-02-06 | Philips Image Guided Therapy Corporation | Systems for indicating parameters in an imaging data set and methods of use |
US11864870B2 (en) | 2012-10-05 | 2024-01-09 | Philips Image Guided Therapy Corporation | System and method for instant and automatic border detection |
US11510632B2 (en) | 2012-10-05 | 2022-11-29 | Philips Image Guided Therapy Corporation | Systems for indicating parameters in an imaging data set and methods of use |
US9292918B2 (en) | 2012-10-05 | 2016-03-22 | Volcano Corporation | Methods and systems for transforming luminal images |
US10568586B2 (en) | 2012-10-05 | 2020-02-25 | Volcano Corporation | Systems for indicating parameters in an imaging data set and methods of use |
US9858668B2 (en) | 2012-10-05 | 2018-01-02 | Volcano Corporation | Guidewire artifact removal in images |
US9478940B2 (en) | 2012-10-05 | 2016-10-25 | Volcano Corporation | Systems and methods for amplifying light |
US9286673B2 (en) | 2012-10-05 | 2016-03-15 | Volcano Corporation | Systems for correcting distortions in a medical image and methods of use thereof |
US9307926B2 (en) | 2012-10-05 | 2016-04-12 | Volcano Corporation | Automatic stent detection |
US9324141B2 (en) | 2012-10-05 | 2016-04-26 | Volcano Corporation | Removal of A-scan streaking artifact |
US10070827B2 (en) | 2012-10-05 | 2018-09-11 | Volcano Corporation | Automatic image playback |
US9367965B2 (en) | 2012-10-05 | 2016-06-14 | Volcano Corporation | Systems and methods for generating images of tissue |
US10724082B2 (en) | 2012-10-22 | 2020-07-28 | Bio-Rad Laboratories, Inc. | Methods for analyzing DNA |
US10238367B2 (en) | 2012-12-13 | 2019-03-26 | Volcano Corporation | Devices, systems, and methods for targeted cannulation |
US9730613B2 (en) | 2012-12-20 | 2017-08-15 | Volcano Corporation | Locating intravascular images |
US10939826B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Aspirating and removing biological material |
US10942022B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Manual calibration of imaging system |
US11141131B2 (en) | 2012-12-20 | 2021-10-12 | Philips Image Guided Therapy Corporation | Smooth transition catheters |
US11892289B2 (en) | 2012-12-20 | 2024-02-06 | Philips Image Guided Therapy Corporation | Manual calibration of imaging system |
US10595820B2 (en) | 2012-12-20 | 2020-03-24 | Philips Image Guided Therapy Corporation | Smooth transition catheters |
US11406498B2 (en) | 2012-12-20 | 2022-08-09 | Philips Image Guided Therapy Corporation | Implant delivery system and implants |
US9709379B2 (en) | 2012-12-20 | 2017-07-18 | Volcano Corporation | Optical coherence tomography system that is reconfigurable between different imaging modes |
US10420530B2 (en) | 2012-12-21 | 2019-09-24 | Volcano Corporation | System and method for multipath processing of image signals |
US9486143B2 (en) | 2012-12-21 | 2016-11-08 | Volcano Corporation | Intravascular forward imaging device |
US10413317B2 (en) | 2012-12-21 | 2019-09-17 | Volcano Corporation | System and method for catheter steering and operation |
US9612105B2 (en) | 2012-12-21 | 2017-04-04 | Volcano Corporation | Polarization sensitive optical coherence tomography system |
US10166003B2 (en) | 2012-12-21 | 2019-01-01 | Volcano Corporation | Ultrasound imaging with variable line density |
US10332228B2 (en) | 2012-12-21 | 2019-06-25 | Volcano Corporation | System and method for graphical processing of medical data |
US10191220B2 (en) | 2012-12-21 | 2019-01-29 | Volcano Corporation | Power-efficient optical circuit |
US11253225B2 (en) | 2012-12-21 | 2022-02-22 | Philips Image Guided Therapy Corporation | System and method for multipath processing of image signals |
US11786213B2 (en) | 2012-12-21 | 2023-10-17 | Philips Image Guided Therapy Corporation | System and method for multipath processing of image signals |
US10993694B2 (en) | 2012-12-21 | 2021-05-04 | Philips Image Guided Therapy Corporation | Rotational ultrasound imaging catheter with extended catheter body telescope |
US10058284B2 (en) | 2012-12-21 | 2018-08-28 | Volcano Corporation | Simultaneous imaging, monitoring, and therapy |
US9383263B2 (en) | 2012-12-21 | 2016-07-05 | Volcano Corporation | Systems and methods for narrowing a wavelength emission of light |
KR101348680B1 (ko) * | 2013-01-09 | 2014-01-09 | 국방과학연구소 | 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치 |
US10226597B2 (en) | 2013-03-07 | 2019-03-12 | Volcano Corporation | Guidewire with centering mechanism |
US9770172B2 (en) | 2013-03-07 | 2017-09-26 | Volcano Corporation | Multimodal segmentation in intravascular images |
US10638939B2 (en) | 2013-03-12 | 2020-05-05 | Philips Image Guided Therapy Corporation | Systems and methods for diagnosing coronary microvascular disease |
US11154313B2 (en) | 2013-03-12 | 2021-10-26 | The Volcano Corporation | Vibrating guidewire torquer and methods of use |
US9301687B2 (en) | 2013-03-13 | 2016-04-05 | Volcano Corporation | System and method for OCT depth calibration |
US11026591B2 (en) | 2013-03-13 | 2021-06-08 | Philips Image Guided Therapy Corporation | Intravascular pressure sensor calibration |
US10758207B2 (en) | 2013-03-13 | 2020-09-01 | Philips Image Guided Therapy Corporation | Systems and methods for producing an image from a rotational intravascular ultrasound device |
US10219887B2 (en) | 2013-03-14 | 2019-03-05 | Volcano Corporation | Filters with echogenic characteristics |
US10292677B2 (en) | 2013-03-14 | 2019-05-21 | Volcano Corporation | Endoluminal filter having enhanced echogenic properties |
US10426590B2 (en) | 2013-03-14 | 2019-10-01 | Volcano Corporation | Filters with echogenic characteristics |
JP2016531276A (ja) * | 2013-06-13 | 2016-10-06 | ビーエーエスエフ ソシエタス・ヨーロピアBasf Se | 少なくとも1つの物体の方位を光学的に検出する検出器 |
KR101539087B1 (ko) * | 2013-08-22 | 2015-07-29 | 김정한 | 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법 |
US9508174B2 (en) | 2014-02-03 | 2016-11-29 | Brother Kogyo Kabushiki Kaisha | Display device and non-transitory storage medium storing instructions executable by the display device |
JP2015154854A (ja) * | 2014-02-20 | 2015-08-27 | 株式会社三洋物産 | 遊技機 |
JP2015179392A (ja) * | 2014-03-19 | 2015-10-08 | カシオ計算機株式会社 | コードシンボル表示装置、情報処理装置及びプログラム |
JP2016038796A (ja) * | 2014-08-08 | 2016-03-22 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP2016149022A (ja) * | 2015-02-12 | 2016-08-18 | 株式会社キヌガワ京都 | 販売支援プログラム及び販売支援装置 |
JP2017171495A (ja) * | 2016-03-25 | 2017-09-28 | 東芝エレベータ株式会社 | エレベータの昇降路形状情報生成装置、およびこれに用いるマーカ部材 |
JP6105117B1 (ja) * | 2016-03-25 | 2017-03-29 | 東芝エレベータ株式会社 | エレベータの昇降路形状情報生成装置、およびこれに用いるマーカ部材 |
WO2017215308A1 (zh) * | 2016-06-14 | 2017-12-21 | 珠海格力电器股份有限公司 | 电器设备控制方法、装置及*** |
JP7041868B2 (ja) | 2017-08-28 | 2022-03-25 | 株式会社ヒナタデザイン | 表示装置及び表示方法並びに表示システム |
JP2019040490A (ja) * | 2017-08-28 | 2019-03-14 | 株式会社ヒナタデザイン | 表示装置及び表示方法並びに表示システム |
JP7275484B2 (ja) | 2018-07-05 | 2023-05-18 | 凸版印刷株式会社 | 物体配置支援システム、物体配置支援方法及びプログラム |
JP2020009076A (ja) * | 2018-07-05 | 2020-01-16 | 凸版印刷株式会社 | 物体配置支援システム、物体配置支援方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4032776B2 (ja) | 2008-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4032776B2 (ja) | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
Rohs | Real-world interaction with camera phones | |
US20180336734A1 (en) | Augmented Reality System, Method, and Apparatus for Displaying an Item Image in a Contextual Environment | |
Rekimoto | Matrix: A realtime object identification and registration method for augmented reality | |
CN102792338B (zh) | 信息处理设备和信息处理方法 | |
KR101636027B1 (ko) | 실세계 객체들의 3d 모델들 및 실제 스케일 메타데이터를 캡처하고 이동시키기 위한 방법들 및 시스템들 | |
CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
JP6674192B2 (ja) | 画像処理装置と画像処理方法 | |
CN111638796A (zh) | 虚拟对象的展示方法、装置、计算机设备及存储介质 | |
JP2003254716A (ja) | 3次元位置・姿勢計測装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
JP2022505998A (ja) | 拡張現実データの提示方法、装置、電子機器及び記憶媒体 | |
CN101213507A (zh) | 对于信息显示器的控制装置,相应的***、方法和程序产品 | |
CN111737547A (zh) | 商户信息的获取***、方法、装置、设备及存储介质 | |
US9875546B1 (en) | Computer vision techniques for generating and comparing three-dimensional point clouds | |
TW201243387A (en) | Color channels and optical markers | |
CN109741462A (zh) | 基于ar的展品导赏装置、方法及存储介质 | |
KR20120071444A (ko) | 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기 | |
CN108701317A (zh) | 使用图像分段技术来增强与在线商务体验有关的沟通 | |
CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
KR101197126B1 (ko) | 인쇄물과 동영상의 증강현실 시스템 및 방법 | |
WO2019214641A1 (zh) | 基于光标签的信息设备交互方法及*** | |
CN111309212A (zh) | 一种分屏对比的试衣方法、装置、设备及存储介质 | |
CN113867875A (zh) | 标记对象的编辑及显示方法、装置、设备、存储介质 | |
Shao et al. | Marble: Mobile augmented reality using a distributed ble beacon infrastructure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071015 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |