JP4847195B2 - 画像からの色情報の取得方法 - Google Patents

Description

本発明は、画像から現実世界の物体の色を取得する技術に関する。

ＶＲ（バーチャルリアリティ）システムは、コンピュータの作り出す三次元ＣＧ（コンピュータ・グラフィクス）を、ユーザが装着するＨＭＤ（ヘッドマウントディスプレイ）等に提示することで、ユーザに仮想の空間をあたかも現実の空間であるかのように感じさせるシステムである。ＨＭＤを利用したＶＲシステムでは、ユーザの頭部の動きに合わせてユーザに提示される三次元ＣＧが変化するため、ユーザはあたかも自分の周囲に実際に三次元ＣＧで表される空間が存在しているかのように感じることができる。

また、近年、現実空間もしくはその映像に三次元ＣＧを重畳して提示することで、ＶＲでは見ることができなかった現実世界をユーザに提示する技術も開発されており、それらはＭＲ（Mixed Reality,複合現実感）システムと呼ばれている（特許文献１参照）。

ＭＲシステムでは、ユーザに映像を提示する表示装置として、ＨＭＤが一般に用いられる。ＭＲシステムは、現実空間と、通常はＣＧで表される仮想空間とを位置合わせし、ユーザの視点位置姿勢に追従させてＨＭＤに表示することにより、ユーザに複合現実感を体感させる。

ＭＲシステムで用いるＨＭＤには半透過型の表示装置に三次元ＣＧ等の画像を重畳する光学シースルー方式と、ビデオカメラで撮影した現実空間の映像に三次元ＣＧ等の画像を合成した後、ＨＭＤに表示するビデオシースルー方式がある。ビデオシースルー方式では、現実空間の映像を撮影するビデオカメラを、ＨＭＤに設けることが多い。

ＭＲシステムの用途としては、患者の体内の様子をＣＧで描画し、患者やその実写画像と重畳して医師に提示する医療補助の用途や、工場において、製品の組み立て手順を実物の部品やその画像に重ねて表示する作業補助の用途などが考えられている。

さて、このようなＭＲシステムにおいて、ユーザが色の選択を求められる場合がある。たとえば、ＭＲシステムによる製品設計システムにおいて、設計物の色を指定する場合などである。従来、こうした場合には、ＨＭＤとは別の表示装置に表示される、色選択のためのＧＵＩから色を選ぶ方式が多くとられていた。

また、非特許文献１に見られるように、ユーザが手に持ち、位置姿勢を計測されている板の上に仮想の色を表す複数の仮想の球体を載せ、ユーザがもう一方の手に持った位置姿勢を計測されているペンで球体を選択して色を選ぶ方式も行われてきた。

また、非特許文献２では、位置姿勢を計測された現実物体を手に持ち、位置姿勢を計測されたペンで現実物体上に複数の点を設定していく。その後、ユーザが装着しているＨＭＤに内蔵しているカメラが、設定済の点から定義される三角形群の内部の映像を取得し、現実の物体の外観を取得していく。

特許第３３６３８６１号公報 特許第３６３１１５１号公報 Fiorentino,M.ほか、 "Spacedesign: A Mixed Reality Workspace for Aesthetic Industrial Design", Proc. IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR) 2002, pp. 86-94. Joohi Leeほか、 "Modeling Real Objects Using Video See-Through Augmented Reality"、 Proc. Second International Symposium on Mixed Reality (ISMR) 2001、 pp. 19-26.

ＨＭＤとは別の表示装置に表示されるＧＵＩから色を選択する方法では、次のような問題がある。つまり、ユーザが色を選択する際には、装着中のＨＭＤを外し、マウスを使ってＧＵＩを操作して色を選択する、といった面倒な手順が必要なため、操作性が悪く、また色の選択に時間がかかる。

非特許文献１に示される方法を用いるとこの問題は解決されるが、選択した色が現実世界になじみにくいという別の問題が発生する。つまり、非特許文献１の方法において、ユーザが手に持つ板の上に提示される球体の色は、コンピュータ上に予め定義された色である。これらの色はＨＭＤに提示されている現実世界と関わりなく独立に定義されているため、選択した色を三次元ＣＧに適用すると、その三次元ＣＧの周りの現実世界となじまないことがあった。なお、この問題は、ＧＵＩを用いる方法でも同様に発生する。

非特許文献２に示される方法は、設定点から定義される三角形の内部の映像を取得する方法であるため、色を選択することはできない。しかし、仮にこの方法を用いて色を取得使用とした場合、例えばペンで現実の物体上の点を設定した瞬間に、ユーザが装着しているＨＭＤに取り付けられたカメラが撮影している映像から、設定点の色を取得する構成が想定される。しかし、この構成では、設定点が常にペン先で隠された状態の映像を用いて色を取得することになり、設定点ではなくペン先自体の色が取得されてしまう。

また、別の問題として、非特許文献１および非特許文献２に示される方法では、ユーザがペンを持たない方の手に持つ物体の位置姿勢の測定が必要であり、ペンの位置姿勢を含めて複数の物体の位置姿勢を計測する必要があった。ＭＲシステムではこの他にも現実空間を撮影するカメラ、又はユーザ視点の位置姿勢を検出する必要があるため、位置姿勢計測の負荷が大きい。

本発明は、このような問題に鑑みてなされたものであり、現実空間中で指定された位置に応じた色を容易に取得可能とすることを目的とする。

上述の目的を達成するため、本発明の色情報取得方法は、映像取得手段が、現実空間の映像を現実空間を撮像する撮像手段から取得する映像取得工程と、指示検出手段が、ユーザが操作する指示手段により前記現実空間中の位置が指定されたことを検出する指示検出工程と、算出手段が、検出に応答して、指定された現実空間中の位置に対応する、映像中の位置を求める算出工程と、色取得手段が、算出工程で求められた位置から、指示手段が示す方向に予め定めた画素数ずれた位置の画素の色を、ユーザが指定した色として取得する色取得工程とを有することを特徴とする。

また、上述の目的を達成するため、本発明の色情報取得装置は、現実空間の映像を現実空間を撮像する撮像手段から取得する映像取得手段と、ユーザが操作する指示手段により前記映像に含まれる現実空間中の位置が指定されたことを検出する指示検出手段と、検出に応答して、指定された現実空間中の位置に対応する、映像中の位置を求める算出手段と、算出手段が求めた位置から、指示手段が示す方向に予め定めた画素数ずれた位置の画素の色を、ユーザが指定した色として取得する色取得手段とを有することを特徴とする。

このような構成により、本発明によれば、現実空間中で指定された位置に応じた色を容易に取得可能となる。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
以下の実施形態では、本発明による色情報取得方法を、ＨＭＤを装着したユーザが指示手段としてのペンを操作して現実空間中の物体から色を選択し、選択した色で複合現実空間中に描画を行う操作をユーザに体感させるＭＲシステムに適用した例を説明する。

図５は、本実施形態のＭＲシステムの概念を説明する図である。５１０は現実物体のティーポットを、５１１はユーザが操作するペンを、５０３はユーザに提示される画像平面を、５１２はＨＭＤに備えられた撮像部のカメラ中心の位置、すなわちユーザの視点位置を示している。その他の構成については後述する。

なお、ここでは、説明及び理解を容易にするため、カメラの中心位置がユーザの視点位置と一致しているものとして説明するが、実際には、ＨＭＤに取り付けられたカメラの中心位置とユーザの視点位置とは異なるため、差を補正し、ユーザの視点位置から撮影したものとして取り扱う。この補正処理については本発明の本質とは関係せず、また周知の技術を用いて実現可能であるため、これ以上の説明は省略する。

図３は、本実施形態に係るＭＲシステムの機能構成例を示すブロック図である。
１００はユーザが装着するビデオシースルー型のＨＭＤであり、撮像部１０１と映像表示部１０２が内蔵されている。なお、本実施形態では撮像部１０１と映像表示部１０２がＨＭＤ１００に内蔵されるものとしたが、撮像部１０１と映像表示部１０２はそれぞれ別の場所に配置されてもよい。

撮像部１０１は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を用いたビデオカメラを代表とする撮像装置である。撮影された映像は映像合成部１０８に送られる。
映像表示部１０２は、小型のＬＣＤ等で構成され、映像合成部１０８から送られてきた合成映像を表示する。

位置姿勢センサ１０３は、例えば内蔵する撮像素子により、現実空間中に含まれるマーカを撮影することによって任意の物体の位置および姿勢を計測する。マーカは例えば予め定めた大きさ、形状、方向性等を有するパターンが印刷されたシールのようなものであり、撮影された画像中で検出される形状や大きさなどから、位置姿勢を検出することが可能である。

本実施形態では位置姿勢センサ１０３は光学式センサ（撮像素子）によって構成されているが、予め定めた任意の物体の位置および姿勢を計測できればどのような装置で構成されてもよく、たとえば磁気センサによって構成されてもよい。位置姿勢センサ１０３からは、予めマーカを付けた任意の物体の位置姿勢信号が出力される。本実施形態では、マーカはＨＭＤ１００とペン５１１に付けられており、その位置姿勢信号は撮像部の位置姿勢計測部１０４およびペンの位置姿勢計測部１０５に等しく出力される。

なお、本実施形態では１つの位置姿勢センサ１０３の出力を撮像部の位置姿勢計測部１０４およびペンの位置姿勢計測部１０５が用いる構成とした。しかし、撮像部の位置姿勢計測部１０４およびペンの位置姿勢計測部１０５のそれぞれについて別の位置姿勢センサが存在する構成であってもよい。つまり、これら二つの現実物体の位置姿勢が計測されさえすれば、構成は任意である。

本実施形態において、位置姿勢センサ１０３は、位置を予め定められたｘｙｚ座標系である世界座標系におけるｘ座標、ｙ座標、ｚ座標の形で出力する。また、姿勢をｚ軸中心の回転であるロール角、ｘ軸中心の回転であるピッチ角、ｙ軸中心の回転であるヨー角で出力し、ヨー回転、ピッチ回転、ロール回転の順で回転を加えると測定対象の姿勢が得られる。

なお、以下の説明においては、位置および姿勢の情報を四行四列の行列を意味するアルファベットの記号、たとえばＭなどとして表現する。この行列の中身について、位置姿勢センサ１０３によって得られた値を例として説明する。

位置姿勢センサによって得られるｘ座標、ｙ座標、ｚ座標の値をそれぞれｘ、ｙ、ｚとすると、位置姿勢センサによって得られる位置を表す三次元ベクトルｔは
で表される。

また、位置姿勢センサによって得られるロール角、ピッチ角、ヨー角の値をそれぞれｒ、ｐ、ｙとすると、ロール角、ピッチ角、ヨー角から得られる三行三列の回転変換行列Ｒｒ、Ｒｐ、Ｒｙは
で表される。

従って、姿勢を表す三行三列の回転変換行列Ｒは
で表される。

以上得られたｔとＲを用いて、位置姿勢センサ１０３から得られる位置と姿勢の両方を表現する四行四列の行列Ｍは、以下のように表現することができる。
位置および姿勢は、どのような形式で得られようと、このような四行四列の行列として表現できることは広く知られている。

撮像部の位置姿勢計測部１０４は、位置姿勢センサ１０３からの位置姿勢信号を受信して、撮像部１０１の位置姿勢情報を生成する。生成した位置姿勢情報はＣＧ描画部１０７および色取得部１２３に送られる。

なお、本実施形態においては、撮像部の位置姿勢計測部１０４が出力する位置姿勢情報が、位置姿勢センサ１０３の出力のみから求められるものとした。しかし、撮像部１０１の撮影した映像を用いて位置姿勢情報の補正を行う構成としてもよい。このような手法は、たとえば特許文献２などに記されている。また、撮像部１０１の撮影した映像のみを用いて撮像部の位置姿勢計測部１０４で位置姿勢情報を求める構成としてもよい。

ペンの位置姿勢計測部１０５は、位置姿勢センサ１０３からの位置姿勢信号を受信して、ペン５１１の位置姿勢情報を生成する。生成した位置姿勢情報はペン描画部１２２および色取得部１２３に送られる。

ＣＧシーン管理部１０６は、三次元ＣＧの生成に必要な、仮想物体の三次元ＣＧモデルの情報を管理する。ＣＧシーン管理部１０６の情報はペン描画部１２２によって更新される。また、ＣＧシーン管理部１０６の情報はＣＧ描画部１０７によって参照される。

ＣＧ描画部１０７は、撮像部の位置姿勢計測部１０４から撮像部１０１の位置姿勢情報を受信し、ＣＧシーン管理部１０６からは三次元ＣＧシーン情報を受信して、撮像部１０１の撮像範囲に収まるＣＧ映像を生成する。生成したＣＧ映像は映像合成部１０８に送信される。

映像合成部１０８は、画像メモリを有し、撮像部１０１から受信した撮影映像を描画しておき、その上にＣＧ描画部１０７から受信したＣＧ映像を上書きすることで、合成映像を生成する。合成した合成映像は映像表示部１０２に送出される。

描画ボタン１２０は、ペン５１１に設けられ、ユーザがペン５１１を握った際に容易に押すことができる位置、例えば人差し指で押せる位置に配置される。また、描画ボタン１２０は通常ＯＦＦになっており、ユーザが押した時だけＯＮとなるように構成される。描画ボタン１２０のＯＮ／ＯＦＦ状態を表す信号（ＯＮ／ＯＦＦ信号）は、常時、ペン描画部１２２に送信される。

色取得ボタン１２１は、ユーザが手に持つペン５１１の先端に配置される。また、色取得ボタン１２１は通常ＯＦＦになっており、ユーザがペン５１１の先端を現実物体に押しつけた時だけＯＮとなるように構成される。色取得ボタンのＯＮにより、本実施形態のＭＲシステムは、現実空間中の位置が指定されたことを検出する。色取得ボタン１２１のＯＮ／ＯＦＦ信号は、常時、色取得部１２３に送信される。
なお、本実施形態において、ペン５１１が有する各種ボタンの状態は、無線送信されるものとする。

ペン描画部１２２は、描画ボタン１２０からＯＮ／ＯＦＦ信号、ペンの位置姿勢計測部１０５からペン５１１の位置姿勢情報を取得し、空間中に三次元ＣＧの描画を行う。また、ペン描画部１２２は、ペン５１１の現在の描画色バッファを持っており、ペン５１１の描画色を常に保持している。本実施形態では、ペン５１１の描画色は、最初は白に設定されている。また、ペン描画部１２２は、前回のペンの位置姿勢情報を記録する位置姿勢バッファを持っている。

色取得部１２３は、色取得ボタン１２１からＯＮ／ＯＦＦ信号、映像合成部１０８から合成映像、撮像部の位置姿勢計測部１０４から撮像部の位置姿勢情報、ペンの位置姿勢計測部１０５からペンの位置姿勢情報をそれぞれ取得し、ペン５１１の描画色を求める。なお、色取得部１２３は、撮像部１０１の焦点距離情報及び主点位置情報を予め持っている。

なお、図３に示した本実施形態の構成の少なくとも一部は、独立した装置として実現しても良いし、一つもしくは複数のコンピュータのＣＰＵにより実行することで機能を実現するソフトウェアとして実現しても良い。本実施形態では、撮像部の位置姿勢計測部１０４、ペンの位置姿勢計測部１０５、ＣＧシーン管理部１０６、ＣＧ描画部１０７、映像合成部１０８、ペン描画部１２２、色取得部１２３の各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。

図１は、上述の、ソフトウェアにより実現される各部として機能することが可能なコンピュータの基本構成を示す図である。
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行うと共に、それぞれのソフトウェアの実行を制御して、各部の機能を実現する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、操作者はこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、本実施形態においては、ＨＭＤ１００の映像表示部１０２に相当する。あるいは、別途表示装置を設けてもよい。この場合、例えば映像表示部１０２に表示している映像を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのリムーバブル記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、撮像部１０１を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、位置姿勢センサ１０３を接続するためのＲＳ２３２ＣあるいはＵＳＢ等のシリアルポート、ペン５１１のボタンの状態を取得するための無線通信ポート等によって構成される。それぞれが入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。

上述した各構成要素は、バス１０１０によって相互に接続される。

（色取得処理）
図２は、本実施形態のＭＲシステムにおける色取得動作を説明するフローチャートである。色取得動作に関わるプログラムは例えば外部記憶装置１００７に記憶され、ユーザがキーボード１００４、マウス１００５を使ってシステムの実行を指示したときにＣＰＵ１００１がそのプログラムを読み出し、実行する。

Ｓ１０１は、現実空間撮像ステップである。このステップでは撮像部１０１が現実空間の映像を撮影する。撮影した映像は映像合成部１０８に送られる。Ｓ１０１が終わると、Ｓ１０２およびＳ１０３が並行して実行される。

Ｓ１０２は撮像部の位置姿勢計測ステップである。このステップでは撮像部の位置姿勢計測部１０４が、位置姿勢センサ１０３からの位置姿勢信号を受け取り、撮像部１０１の位置姿勢情報を算出する。本実施形態では、位置姿勢センサ１０３のマーカがＨＭＤ１００に取り付けられているため、位置姿勢センサ１０３はＨＭＤ１００に取り付けられたマーカの位置姿勢信号を出力する。しかし、撮像部１０１はＨＭＤ１００の内部に固定して取り付けられているため、撮像部１０１とマーカの位置関係は測定可能であり、その位置関係を予めキャリブレーションして求めておくことができる。

なお、このキャリブレーションを行うためには、予め撮像部１０１の座標系（撮像部座標系）が定められている必要がある。本実施形態では、撮像部座標系は図５の５０１に示されるように定められている。すなわち、撮像部１０１のカメラ中心を原点とし、原点から画像平面５０３に下ろした垂線をＺ軸の負方向、画像平面５０３の上方をＹ軸の正方向、画像平面５０３の水平右方向をＸ軸の正方向とするように定められている。

Ｓ１０２では、予めキャリブレーションした撮像部１０１とマーカ（図示せず）との相対的な位置関係を用い、ＨＭＤ１００に取り付けられたマーカを撮影して得られる位置姿勢信号から、撮像部１０１の位置姿勢情報を算出する。この位置姿勢情報、すなわち世界座標系における撮像部座標系の位置および姿勢は、ＣＧ描画部１０７および色取得部１２３に伝えられる。

Ｓ１０３はペンの位置姿勢計測ステップである。このステップではペンの位置姿勢計測部１０５が、位置姿勢センサ１０３からの位置姿勢信号を受け取り、ペン５１１の先端部分の位置姿勢情報を算出する。本実施形態では、位置姿勢センサ１０３のマーカ（図示せず）がペン５１１に取り付けられている。ペン５１１の先端と、マーカの位置関係は固定されているため、両者の位置関係を予めキャリブレーションして求めておくことができる。

なお、このキャリブレーションを行うためには、予めペン座標系が定められている必要がある。本実施形態では、ペン座標系は図５の５０２に示されるように定められている。すなわち、ペン先を原点とし、ペンの軸方向をＺ軸の正方向、ペン軸の描画ボタン１２０がある側をＹ軸の正方向とするように定められている。

Ｓ１０３では、予めキャリブレーションした、ペン５１１の先端とマーカとの相対的な位置関係と、ペン５１１に取り付けられたマーカの位置姿勢を表す信号とから、ペン５１１の先端の位置姿勢情報を算出する。この位置姿勢情報、すなわち世界座標系におけるペン座標系の位置および姿勢は、ペン描画部１２２および色取得部１２３に伝えられる。Ｓ１０２およびＳ１０３が終了したら、Ｓ１１０に進む。

Ｓ１１０は描画ボタン判定ステップで、ここでは、ペン描画部１２２が、描画ボタン１２０のＯＮ／ＯＦＦを判定する。描画ボタン１２０が押下されてＯＮ状態にあればＳ１２１に、ＯＦＦ状態であればＳ１１１に進む。

Ｓ１２１はペン描画ステップである。図８は、このステップの処理を説明するための図である。
ペン描画ステップでは、ペン描画部１２２が予め保持している前回のペンの位置姿勢８０２を始点、ペンの位置姿勢計測部１０５から送られてきた現在のペンの位置姿勢８０３を終点とする三次元の線のＣＧを仮想空間中に描画する。換言すれば、この三次元の線のＣＧをＣＧ描画部１０７で描画するための三次元データを生成する。この際、線の色は、ペンの現在の描画色バッファに記録されている色に設定される。生成された三次元の線８０１を表す三次元データは、ＣＧシーン管理部１０６に送られ、記録される。Ｓ１２１が終了すると、Ｓ１１１に進む。

Ｓ１１１はＣＧ描画ステップで、ＣＧ描画部１０７が撮像部１０１の位置姿勢情報を用いて、撮像部１０１の視点から見た仮想空間のＣＧ映像を生成する。この際には、ＣＧシーン管理部１０６に格納されている三次元ＣＧモデルの情報（ペン描画部１２２が生成した線８０１の情報を含む）が参照される。生成されたＣＧ映像は映像合成部１０８に送出される。Ｓ１１１が終わったら、Ｓ１１２が実行される。

Ｓ１１２は映像合成ステップで、まず撮像部１０１から送出されてきた撮影映像が映像合成部１０８の画像バッファに書き込まれる。次に、ＣＧ描画部１０７から送出されてきたＣＧ映像が画像バッファに上書きされる。この結果、撮影映像を背景にし、仮想空間のＣＧ映像が描画された合成映像が生成される。生成された合成映像は映像表示部１０２および色取得部１２３に送出される。Ｓ１１２が終わったら、Ｓ１１３が実行される。

Ｓ１１３は映像表示ステップで、映像表示部１０２が合成映像を表示する。Ｓ１１３が終了すると、Ｓ１２０に進む。
Ｓ１２０は色取得ボタン判定ステップである。このステップでは、色取得部１２３が、色取得ボタン１２１のＯＮ／ＯＦＦ状態を判定する。色取得ボタン１２１が押下されてＯＮ状態にあればＳ１２２に、ＯＦＦ状態であればＳ１３０に進む。

Ｓ１２２は色取得ステップである。このステップは、色取得部１２３で実行される。ここで、色取得ステップで行う処理の詳細を、図４のフローチャートを用いて説明する。

Ｓ１２２が開始されると、Ｓ４０１が実行される。
Ｓ４０１では、撮像部座標系における、ペン５１１の先端部分（ペン先）の位置姿勢を算出する。撮像部１０１の位置姿勢情報をＣ、ペン５１１の位置姿勢情報をＰで表現すると、撮像部座標系でのペン先の位置姿勢情報Ｍは
で求められる。Ｓ４０１が終了するとＳ４０２に進む。

Ｓ４０２では、ペン先の画像平面５０３上での投影位置を算出する。ここで、投影位置は、まず、画像平面５０３内で、ペン先の位置に対応する画素の、撮像部の座標系５０１における位置として求められる。

色取得部１２３は、予め撮像部１０１の光学系の焦点距離情報を持っている。すなわち、撮像部の座標系５０１の原点と、画像平面５０３の中心を結ぶ線５０４の長さｆは予めわかっている。図５において、５０５はペン先の位置を、５０６は画像平面５０３上でのペン先の投影位置を表す。ここで、撮像部の座標系５０１でのペン先の位置を（Ｐ_ｘ、Ｐ_ｙ、Ｐ_ｚ）とする。また、画像平面５０３の中心から画像平面５０３上でのペン先の投影位置５０６まで伸ばしたベクトルの、撮像部の座標系５０１のＸ軸方向の成分５０８の長さをｗ、Ｙ軸方向の成分５０７の長さをｈとすると、
となる。Ｓ４０２が終了するとＳ４０３に進む。

Ｓ４０３では、ここまでに求められた、撮像部の座標系５０１における、画像平面５０３上でのペン先の投影位置５０６を、画像平面５０３の座標系での座標値に変換する。ここで、画像平面５０３の座標系は、図５の５０９に示されるように、画像平面５０３の左上を原点とし、右方向をｘ軸、下方向をｙ軸とするｘｙ座標系である。いま、画像平面５０３の座標系でのペン先の投影位置を（ａ，ｂ）、画像平面５０３の座標系での撮像部１０１の主点位置、すなわち撮像部の座標系５０１の原点座標を（Ｃ_ｘ、Ｃ_ｙ）とすると、
となる。なお、ここで、ｗとｈの前の符号が違っているのは、図５に示されるように、撮像部のＸＹＺ座標系５０１と画像平面のｘｙ座標系５０９で、ｘの正方向は同じ方向であるが、ｙの正方向が逆であることによる。

ここで、撮像部１０１のカメラのレンズにより生じる歪面収差、例えば放射方向歪面収差(radial distortion)が予めわかっている場合には、その影響を考慮した補正を行っても良い。この補正処理は、画像平面内における二次元の変換処理であり、上記の射影変換とは独立して処理することができる。
なお、上記の計算において、ｆ、（Ｃ_ｘ、Ｃ_ｙ）の単位はすべて、画像平面上での画素で表されているものとする。

Ｓ４０３が終わると、Ｓ４０４に進む。ここまでの処理で、画像平面上でのペン先の投影位置が求められた。しかし、上述したように、ペン先の投影位置の画素の色を取得すると、ペン先それ自体の色を取得してしまう可能性がある。そのため、本実施形態では、以降の処理を加えることにより、画像平面５０３上で、ペン先の投影位置の画素近傍の画素であって、現実空間の映像に写されたペンに対応する画素とは異なる画素の色を、ユーザが指定した位置の色として取得する。具体的には、ペン先の投影位置の画素から、指示手段としてのペンが指す方向、すなわちペン先の向いている方向に所定量ずれた位置の画素の色を取得するようにする。

Ｓ４０４では、画像平面上でのペン先の傾き方向を算出する。図６は画像平面５０３を表す図である。この図において、６０１は画像平面上でのペン５１１の傾き方向、すなわちペン５１１を画像平面５０３上に投影したときにペン先が示す方向を表す、画像平面の座標系５０９でのベクトルＴ（Ｔ_ｘ，Ｔ_ｙ）である。

ベクトルＴを求めるためには、まず、図５の５１３に示されている、ペン先からペンの向いている方向に仮想的に伸ばした線の上に存在する、ペン延長点を仮定する。次に、図６の６０２に示されている、ペン延長点５１３の画像平面５０３上への投影位置（画像平面座標系での位置）を求める。その後、Ｓ４０３で求めたペン先の投影位置と、ペン延長点の投影位置の差分をとることで、ベクトルＴが求められる。

まず、ペン延長点５１３の位置を求める。撮像部の座標系５０１でのペン延長点５１３の位置をＳで表し、ペン先からペン延長点５１３への距離を１とすると、
Ｓ＝Ｍ・Ｌ
となる。ここで、ＬはＺ軸方向に−１移動することを表す行列、すなわち
である。

また、Ｍは、Ｓ１２２で求められている撮像部座標系でのペン先の位置姿勢情報である。Ｍには三行三列の回転行列Ｒが含まれており、このＲからは、回転を表すロール角、ピッチ角、ヨー角を求めることができる。このロール角、ピッチ角、ヨー角をｒ、ｐ、ｙで表すと、Ｓは以下のように求められる。

ここで、ペン座標系５０２においてロール角ｒは、ペン５１１の軸周りの回転（Ｚ軸周りの回転）を意味する。そのため、ペン延長点５１３の座標を求める際には、ｒ＝０に設定してもかまわない。すると、上式は
となる。

すなわち、撮像部の座標系５０１でのペン延長点５１３の三次元位置は、
である。この三次元位置を、Ｓ＝（Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚ）として表す。

次に、このペン延長点５１３の画像平面５０３上への投影位置（ｃ，ｄ）を求めると、Ｓ４０３での計算と同様に、
となる。

すると、ベクトルＴは、
となる。Ｓ４０４が終了すると、Ｓ４０５に進む。

Ｓ４０５では、画像平面上でのペン先の座標からのオフセットを追加する。すなわち、Ｓ４０３で求められたペン先の投影位置（ａ，ｂ）から、Ｓ４０４で求められた傾き方向に、予め定められた長さ分だけ座標を移動させる。本実施形態では、５画素分の長さ分だけ移動させる。すると、求められる座標は
となる。Ｓ４０５が終了するとＳ４０６に進む。

Ｓ４０６では、画像平面５０３上から色を取得する。すなわち、Ｓ４０５で求めた座標に対応する画素の色を、映像合成部１０８から送られてきた合成映像から取得する。取得した色は、ペン描画部１２２の描画色バッファに格納する。Ｓ４０６が終了すると、Ｓ１２２の処理全体が終了され、Ｓ１３０に進む。

Ｓ１３０は終了判定ステップである。ユーザがキーボード１００４、マウス１００５を使ってシステムの終了を指示していればプログラムを終了し、指示していなければＳ１０１に進む。

以上説明したように、本実施形態によれば、ユーザがペン５１１を持ち、ペン先を現実物体に押し付けて、ペンに設けられた色取得ボタン１２１をＯＮにすれば、ペン先近傍の位置の色が取得できる。以上の処理により、ペン先の色を誤って取得することなく、ユーザは、表示されている映像中の色を簡単に取得することが出来る。さらに、ユーザがペン５１１を別の位置に動かしてペンの描画ボタン１２０を押すと、直近のペン先位置を始点とし、取得した色を有する三次元の線のＣＧを描画することができる。

なお、本実施形態では合成画像を表示する装置と、現実空間の画像を撮像する装置として、撮像部と表示部を備えたＨＭＤ１００を用いた。しかし、据え置き型のディスプレイと可動のカメラとを用いるなど、他の構成であってもよい。このような他の構成であっても、本実施形態で説明した手順により同様の効果が実現できる。

本実施形態では説明及び理解を容易にするため、ＨＭＤ１００は撮像部１０１と映像表示部１０２を一つずつ持つ、単眼型のＨＭＤを使用するものとした。しかし、撮像部１０１と映像表示部１０２をそれぞれ二つずつ持つ複眼型のＨＭＤを使用してもよく、その場合は、撮像部の位置姿勢計測や合成画像の生成に係る処理を、個々の撮像部や撮像が像に対して行えばよい。

また、本実施形態では色を取得するための現実物体として、ティーポットの表面の色を取得する例について説明した。しかし、現実物体として、図７の７０１に示されるような色選択のためのカラーチャートを用いてもよい。このようなカラーチャート７０１を用いれば、ユーザが多様な色を容易に選択することができる。この場合も、本実施形態と同一の手順を実行すればよい。

また、本実施形態では撮像部１０１の撮影した現実空間の映像から色を取得する例について説明した。しかし、本実施形態と同一の構成・手順で、ＣＧ映像から色を取得することも可能である。この場合、例えばＣＧ映像が上述のティーポットに重畳表示された合成画像を見ながらユーザが上述と同様の操作を行ったとすると、合成画像上のＣＧ映像の画素から色を取得することができる。

また、本実施形態では色取得ボタン１２１が現実物体に押し付けられＯＮとなった際に色の取得を行ったが、色取得ボタン１２１は必須ではなく、色取得のタイミングを指定することが可能な任意の構成を用いることができる。たとえば、色取得ボタン以外を用いる例として、ペン先の軌跡をジェスチャ認識する機構を備えて、ペン先が円を描くなど特定の軌跡を描いたことが検出された時点で、ペン先の位置から上述の色取得処理を行うようにしてもよい。

さらに、本実施形態では、位置姿勢センサによってペンの先端の位置および姿勢が計測された。しかしながら、位置のみの計測であっても同様の効果を得ることができる。この場合、Ｓ４０４のペン先の傾き方向算出ステップにおいて、画像平面上でのペンの先端が向いている方向を求める際、ペンの姿勢の代わりにペン先の移動方向を用いればよい。すなわち、ペン先の前回の位置を記録しておき、現在の位置との差分で得られるベクトルを、ペンの先端が向いている方向を表すベクトルとして求めることができる。

さらに、本実施形態では位置姿勢が計測されているペンを用いて色の取得位置を指定したが、他の構成を用いて位置指定を行ってもよい。すなわち、現実空間中の一点を指定可能で、位置または位置姿勢の計測が可能な任意の手段を位置指定手段として用いることが可能である。たとえば、ＨＭＤに備えられたステレオカメラが撮影する視差画像からユーザの指先の位置を測定し、ユーザの指先により色取得位置を指定するようにしてもよい。

加えて、本実施形態では、取得した色はペン描画部の描画色バッファに保持され、最終的に合成画像が生成されるまでユーザは色の確認ができなかった。しかし、取得した色を都度提示することで、ユーザが取得した色を容易に視認することができる。この場合、表示領域中の一部を描画色表示領域としたり、ペン先の位置に、取得色を有する三次元仮想ブラシをＣＧで描画し、合成画像中に表示すればよい。

＜第２の実施形態＞
本実施形態では、第１の実施形態の色取得処理（Ｓ１２２）において、色に加えて描画位置を取得するものである。

本実施形態では、ペン５１１に取得モードスイッチ（図示せず）が追加される。取得モードスイッチは例えばペンの後端付近に設置される。取得モードスイッチはＯＮ／ＯＦＦのいずれかに設定されると、その状態が保持され続けるスイッチである。

また、本実施形態では、ペン描画部１２２が描画色バッファを持つ代わりに、描画モデルバッファを持つ。描画モデルバッファとは、ペン５１１の描画ボタンを押したときに、ペン先に描画される仮想物の三次元モデルを保持するためのバッファである。描画モデルバッファは、初期状態で空白になっている。

本実施形態では、第１の実施形態で説明した図２に示される処理手順が、図１０に示されるように変更される。以下、図１０を用いて、本実施形態における処理の流れについて説明する。なお、図１０において、図２と同様の処理については同じ参照数字を付して重複する説明を省略する。

本実施形態では、Ｓ１２１において描画がなされる際に、直近のペン先位置を始点とし、描画ボタンが押下された際のペン先位置を終点とする三次元の線の代わりに、ペンの先端の位置に、描画モデルバッファに入っている三次元モデルを描画するためのデータを生成する。このデータはＣＧシーン管理部１０６に送られ、記録される。

また、本実施形態では、Ｓ１１３の後にＳ２００が実行される。Ｓ２００は取得モード判定ステップであり、取得モード判定スイッチがＯＮであるかＯＦＦであるかを判定する。そして、ＯＮであればＳ１２０に、ＯＦＦであればＳ１３０に進む。また、前回の取得モード判定スイッチの状態を記録しておき、取得モードがＯＦＦからＯＮになった際にはＳ２０１に進む。

Ｓ２０１は描画モデルバッファクリアステップである。このステップでは、ペン描画部１２２の描画三次元モデルバッファがクリアされ、空白にされる。Ｓ２０１が終了したら、Ｓ１３０に進む。

また、本実施形態では、Ｓ１２２の色取得ステップ内の処理が、図１１のフローチャートで示す処理に変更される。以下、図１１を参照して、本実施形態の色取得処理について説明する。なお、図１１において、図４と同様の処理については同じ参照数字を付して重複する説明を省略する。

Ｓ４０６が終了すると、Ｓ４１０が実行される。Ｓ４１０では、描画モデルバッファが空白であるかどうかが判定される。空白であればＳ４１１に、空白でなければＳ４１２に進む。

Ｓ４１１では、描画モデルバッファ座標系が設定される。このステップでは、この時点でのペン座標系５０２が描画モデルバッファの座標系として設定される。すなわち、描画モデルバッファに記録される三次元モデルは、この時点でのペンの位置を原点として記録されることになる。Ｓ４１１が終了すると、Ｓ４１２に進む。

Ｓ４１２では、描画モデルバッファにペン先の位置と色が記録される。このとき、ペン先の位置は、Ｓ４１１で求められた描画モデルバッファの座標系での位置として記録される。すなわち、Ｓ４１１の時点でのペン先の世界座標系での位置姿勢をＰ、Ｓ４１２の時点でのペン先の位置姿勢をＳとすると、Ｐ^−１・Ｓが現在の位置として描画モデルバッファに記録される。Ｓ４１２が終了すると、Ｓ１２２が終了される。

このようにして、本実施形態では、取得モードスイッチがＯＮである取得モードにおいて、色取得ボタンがＯＮとなる毎に、描画モデルバッファにペン先近傍の画素の色と、ペン先の位置とが記録される。

従って、本実施形態によれば、ユーザがペンを持ち、取得モードスイッチをＯＮにして、ペン先を現実物体の表面に接触させて色取得ボタン１２１をＯＮとする操作を繰り返すことで、描画モデルバッファには現実物体の表面を構成する点に関する位置並びに色の情報が蓄積されていく。その結果、現実物体の表面形状や色を記録することが可能となる。

そして、描画ボタン１２０をＯＮとした場合には、この描画モデルバッファに記録された三次元データに基づいて、ＣＧ描画を行うことで、記録した現実物体のＣＧ映像をペン先に表示することができる。

図９は、本実施形態によって記録した三次元データを用いてＣＧを描画した状態を模式的に示す図である。図９において、５１０は現実のティーポット、９０１は記録した三次元データに基づいて描画された仮想のティーポットである。

このように、本実施形態によれば、色のみならずペン先の位置も合わせて取得することにより、第１の実施形態による効果に加え、現実物体の形状についても記録することが可能となるという効果を有する。

（他の実施形態）
上述したように、上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。

つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。

さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

ＭＲシステムにおいて、ソフトウェアにより実現される各部として機能することが可能なコンピュータの基本構成を示す図である。 第１の実施形態に係るＭＲシステムにおける、色取得動作を説明するフローチャートである。 第１の実施形態に係るＭＲシステムの機能構成例を示すブロック図である。 第１の実施形態に係るＭＲシステムにおける色取得処理を説明するためのフローチャートである。 第１の実施形態に係るＭＲシステムの概念を説明する図である。 ペン先が示す方向を取得する処理を説明するための図である。 色を指定するために用いる現実物体としてのカラーチャートの例を示す図である。 第１の実施形態に係るＭＲシステムにおけるペン描画処理を説明するための図である。 第２の実施形態に係るＭＲシステムにおいて、ペン操作により記録した三次元データを用いてＣＧを描画した状態を模式的に示す図である。 第２の実施形態に係るＭＲシステムにおける、色取得動作を説明するフローチャートである。 第２の実施形態に係るＭＲシステムにおける色取得処理を説明するためのフローチャートである。

符号の説明

１００ ＨＭＤ
１０１ 撮像部
１０２ 映像表示部
１０３ 位置姿勢センサ
１０４ 撮像部の位置姿勢計測部
１０５ ペンの位置姿勢計測部
１０６ ＣＧシーン管理部
１０７ ＣＧ描画部
１０８ 映像合成部
１２０ 描画ボタン
１２１ 色取得ボタン
１２２ ペン描画部
１２３ 色取得部
５０１ 撮像部座標系
５０２ ペン座標系
５０３ 画像平面
５０４ 撮像部の座標系の原点と画像平面の中心を結ぶ線
５０５ ペン先の位置
５０６ 画像平面上でのペン先の投影位置
５０７ 画像平面の中心から画像平面上でのペン先の投影位置まで伸ばしたベクトルの視野座標系Ｙ軸方向の成分
５０８画像平面の中心から画像平面上でのペン先の投影位置まで伸ばしたベクトルの視野座標系Ｘ軸方向の成分
５０９ 画像平面の座標系
５１０ 現実のティーポット
５１１ ユーザが持っているペン
５１２ 撮像部のカメラ中心
５１３ ペン延長点
６０１ 画面上でのペンの傾き方向
６０２ 画像平面上でのペン延長点の投影位置
７０１ 色選択のためのカラーチャート
８０１ 生成された三次元の線のＣＧ
８０２ 前回のペンの位置姿勢
８０３ 現在のペンの位置姿勢
９０１ 仮想のティーポット
１００１ ＣＰＵ
１００２ ＲＡＭ
１００３ ＲＯＭ
１００４ キーボード
１００５ マウス
１００６ 表示部
１００７ 外部記憶装置
１００８ 記憶媒体ドライブ
１００９ Ｉ／Ｆ
１０１０ バス

Claims (9)

1. 映像取得手段が、現実空間の映像を前記現実空間を撮像する撮像手段から取得する映像取得工程と、
   指示検出手段が、ユーザが操作する指示手段により前記現実空間中の位置が指定されたことを検出する指示検出工程と、
   算出手段が、前記検出に応答して、前記指定された前記現実空間中の位置に対応する、前記映像中の位置を求める算出工程と、
   色取得手段が、前記算出工程で求められた位置から、前記指示手段が示す方向に予め定めた画素数ずれた位置の画素の色を、前記ユーザが指定した色として取得する色取得工程とを有することを特徴とする色情報取得方法。
2. さらに、合成手段が、前記現実空間の映像にコンピュータ・グラフィックス映像を重畳して、合成画像を生成する合成工程を有し、
   当該合成工程により生成された合成画像に対して、前記算出工程、前記色取得工程の処理を行うことを特徴とする請求項１記載の色情報取得方法。
3. 表示手段が、前記色取得工程で取得された色で描画したコンピュータ・グラフィックス映像を表示する表示工程をさらに有することを特徴とする請求項１記載の色情報取得方法。
4. さらに、前記色取得工程において、前記色取得手段が、前記取得された色と前記指定された前記現実空間中の位置を合わせて記録することを特徴とする請求項１乃至請求項３のいずれか１項に記載の色情報取得方法。
5. 前記指示手段は、ペン型の指示手段であり、
   前記算出工程において、前記算出手段は、前記現実空間中の前記ペン型の指示手段の先端部の位置に対応する前記映像中の位置を求め、
   前記色取得工程において、前記色取得手段は、前記ペン型の指示手段の先端部の位置から、前記指示手段の向いている方向に予め定めた距離だけ延長した位置に対応する前記映像中の画素の色を、前記ユーザが指定した色として取得することを特徴とする請求項１乃至請求項４のいずれか１項に記載の色情報取得方法。
6. 現実空間の映像を前記現実空間を撮像する撮像手段から取得する映像取得手段と、
   ユーザが操作する指示手段により前記映像に含まれる現実空間中の位置が指定されたことを検出する指示検出手段と、
   前記検出に応答して、前記指定された前記現実空間中の位置に対応する、前記映像中の位置を求める算出手段と、
   前記算出手段が求めた位置から、前記指示手段が示す方向に予め定めた画素数ずれた位置の画素の色を、前記ユーザが指定した色として取得する色取得手段とを有することを特徴とする色情報取得装置。
7. さらに、前記映像取得手段が取得した映像を、前記ユーザの眼前に提示する表示装置を有することを特徴とする請求項６記載の色情報取得装置。
8. コンピュータを、
   現実空間の映像を前記現実空間を撮像する撮像手段から取得する映像取得手段と、
   ユーザが操作する指示手段により、前記映像に含まれる現実空間中の位置が指定されたことを検出する指示検出手段と、
   前記検出に応答して、前記指定された前記現実空間中の位置に対応する、前記映像中の位置を求める算出手段と、
   前記算出手段が求めた位置から、前記指示手段が示す方向に予め定めた画素数ずれた位置の画素の色を、前記ユーザが指定した色として取得する色取得手段とを有する色情報取得装置の各手段として機能させるためのプログラム。
9. コンピュータを、
   現実空間の映像を前記現実空間を撮像する撮像手段から取得する映像取得手段と、
   ユーザが操作する指示手段により、前記映像に含まれる現実空間中の位置が指定されたことを検出する指示検出手段と、
   前記検出に応答して、前記指定された前記現実空間中の位置に対応する、前記映像中の位置を求める算出手段と、
   前記算出手段が求めた位置から、前記指示手段が示す方向に予め定めた画素数ずれた位置の画素の色を、前記ユーザが指定した色として取得する色取得手段とを有する色情報取得装置の各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。