JP4072330B2 - 表示装置および情報処理方法 - Google Patents
表示装置および情報処理方法 Download PDFInfo
- Publication number
- JP4072330B2 JP4072330B2 JP2001334707A JP2001334707A JP4072330B2 JP 4072330 B2 JP4072330 B2 JP 4072330B2 JP 2001334707 A JP2001334707 A JP 2001334707A JP 2001334707 A JP2001334707 A JP 2001334707A JP 4072330 B2 JP4072330 B2 JP 4072330B2
- Authority
- JP
- Japan
- Prior art keywords
- computer
- lens
- focus
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims 7
- 238000003672 processing method Methods 0.000 title claims 5
- 238000000034 method Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 239000000203 mixture Substances 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、現実画像に生成画像を合成するものに関する。
【０００２】
【従来の技術】
展望台等に置かれる望遠鏡は展望台からの景色を捉え、光学装置を用いて拡大などして使用者に提示するものであるが、従来の望遠鏡は景色を単に光学的に拡大して表示するものであるに過ぎないため、現実世界に実際に存在するものしか提示できないという問題があった。たとえば、望遠鏡では現実世界に存在する建物に付属した情報（住所や建物の名前など）を提示することはできず、また、現実世界中に仮想のキャラクタを配置して眺めるといったことも不可能である。こうした問題を解決する発明として以下のような従来例がある。
【０００３】
望遠鏡から見る現実の景色に仮想的な文字や画像を重ね合わせる技術が、特許第２８３３２０６号「展望用ディスプレイ装置」に開示されている。ここで開示されている装置は、装置前方からの現実世界の光と、仮想的な文字や画像を表示した面からの画像表示光を、ハーフミラー等によって構成されるコンバイナを用いて重ね合わせて装置利用者に提示する。このように現実世界の光にコンピュータで生成したコンピュータ映像をハーフミラー等で重ねて表示する装置は光学シースルー表示方式と呼ばれる。
【０００４】
また、従来、カメラを内蔵したＨＭＤ（ヘッドマウントディスプレイ）を頭部に装着して頭部の動きに追従させて現実の風景とコンピュータ映像を合成させる装置がある。このように外界をカメラで撮影した映像とコンピュータ等で生成した映像を合成して表示する装置はビデオシースルー表示方式と呼ばれる。
【０００５】
【発明が解決しようとする課題】
上述の光学シースルー、ビデオシースルーいずれの表示方式においても、現実世界の光を拡大するためにズームレンズが用いられることがある。このようなズームレンズには多くの場合フォーカスを調整する機構が備えられ、そのフォーカスは使用者が表示装置を見ながらピントが合うように手動によって調整したり、オートフォーカス機構によって自動的にピントが合うように調整されたりする。
【０００６】
しかしながらこのような方法では、現実世界中に重ねて仮想のキャラクタなどを表示する場合に、仮想のキャラクタにズームレンズのフォーカスを合わせることは難しかった。特にオートフォーカス機構がある場合には、常に仮想のキャラクタの向こうにある現実世界に対して自動的にフォーカスが合ってしまうため、仮想のキャラクタにフォーカスを合わせることは不可能であり、こうした点に改善が求められていた。
【０００７】
本発明は以上の点を鑑みてなされたものであり、現実世界に重ねて仮想的な映像を表示する場合に、仮想的なオブジェクトに自動的にレンズのフォーカスを合わせることで、より臨場感を高めることを目的とする。
【０００８】
また、仮想的なオブジェクト、あるいは現実世界のオブジェクトのうち、重要度の高いオブジェクトに自動的にレンズのフォーカスを合わせることで、使用者が重要度の高いオブジェクト容易に見分けられるようにすることを他の目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【００１０】
本願請求項１に記載の発明は、現実世界の光を捉えるレンズと、前記レンズのフォーカスを含むレンズ状態を制御するレンズ状態制御部と、コンピュータ映像データを保持する保持部と、前記レンズ状態を示すレンズ状態情報に応じて、前記保持部に保持されているコンピュータ映像データを用いてコンピュータ映像を生成するコンピュータ映像生成部と、前記レンズを介して得られた画像に、前記生成したコンピュータ映像を合成して表示する合成表示部と、前記コンピュータ映像にフォーカスを合わせる必要があるか否かを判断する判断手段とを備え、前記レンズ状態制御部は、前記判断手段により、コンピュータ映像にフォーカスを合わせる必要があると判断された場合に、前記コンピュータ映像が表示される位置や大きさに応じて前記レンズのフォーカスを変化させ、合わせる必要がないと判断された場合に前記現実空間に対してフォーカスを合わせるよう前記レンズのフォーカスを変化させることを特徴とする。
【００１１】
本願請求項６に記載の発明は、さらに、コンピュータ映像オブジェクトの重要度に応じて前記レンズのフォーカスを変化させることを特徴とする。
【００１２】
本願請求項７に記載の発明は、さらに、前記保持部は現実世界のモデルデータおよび各モデルの重要度情報を有し、コンピュータ映像オブジェクト、現実世界のオブジェクトの重要度に合わせて前記レンズのフォーカスを変化させることを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１４】
＜第１実施形態＞
本実施形態の映像合成装置は展望台等で望遠鏡として、また博物館等で情報表示端末とし使用される。図１は第１実施形態による映像合成装置の概略構成を示すブロック図である。
【００１５】
第１実施形態では光学シースルー表示方式の映像合成装置を用いて説明する。１はレンズであり、たとえばズームレンズからなる。レンズ１は現実世界の光を捉え、その光を拡大などして合成表示部２に送る。２は合成表示部であり、レンズ１から送られてきた光とコンピュータ映像生成部４から送られてきたコンピュータ映像をハーフミラー等で重ね合わせて装置利用者に提示する。
【００１６】
３はレンズ状態制御部であり、例えば機械式のエンコーダやステッピングモータから構成される。レンズ状態制御部３はレンズ１からズーム値やフォーカス値といったレンズ状態情報をコンピュータ映像生成部４からの要求に応じて、又はコンピュータ映像生成部４からの要求なしにコンピュータ映像生成部４に送り出す。
【００１７】
ここで、ズーム値・フォーカス値とは、レンズ状態制御部３でエンコーダ等により出力された値であり、たとえばレンズ状態制御部３に８ビットのエンコーダが備えられている場合、出力される値は１〜２５６の範囲の値となる。一般的に、ズーム値からはレンズ１の焦点距離を、またフォーカス値からはレンズ１のフォーカス距離を算出することが可能である。たとえばフォーカス値からフォーカス距離を算出する方法としては、図７のようにフォーカス距離とフォーカス値を対応させた変換テーブルをあらかじめ用意しておき、テーブルに載っていない値については補間して求める方法がある。
【００１８】
このズーム値からの焦点距離の算出、またフォーカス値からのフォーカス距離の算出は主にコンピュータ映像生成部４で行われるが、レンズ状態制御部３にたとえばマイクロコンピュータなどを備え、フォーカス値やズーム値などのレンズ状態情報からレンズ１の焦点距離やフォーカス距離を計算し、計算した値をレンズ状態情報として出力してもよい。
【００１９】
また、レンズ状態制御部３は図示しない操作部や制御信号によりレンズ１の状態を操作することができ、たとえばコンピュータ映像生成部４からフォーカス値を受け取り、そのフォーカス値にレンズを設定することができる。レンズ状態制御部３は、例えば機械式のエンコーダやステッピングモータからなる。
【００２０】
４はコンピュータ映像生成部であり、レンズ状態制御部３からレンズ状態情報を取り出してレンズ１の画角等を推定する。レンズ１の画角はレンズ１の焦点距離から求められ、またその画角がわかればその視野もわかるため、コンピュータ映像生成部４はデータ部５からレンズ１の視野に入る部分のデータを取り出し、レンズ１の視野に重なるコンピュータ映像を生成する。生成されたコンピュータ映像は合成表示部２に送られる。
【００２１】
また、コンピュータ映像生成部４はレンズ１の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送る。
【００２２】
５はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部４に引き渡すデータを所持する。データ部５に格納されるデータとして、たとえば三次元ＣＧ（コンピュータグラフィックス）データ等が考えられる。データ部５はコンピュータ映像生成部４からの要求に応じて適切なデータをコンピュータ映像生成部４に送出する。たとえばコンピュータ映像生成部４がレンズ１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部５は格納されている三次元ＣＧデータの中からレンズ１の視野に含まれる三次元ＣＧデータを取り出して送出する。データ部５に格納されるデータとしてはたとえば仮想の建物やキャラクタのデータなどが考えられる。
【００２３】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図２は本施形態の映像合成装置における処理の手順を説明するフローチャートである。
【００２４】
ステップＳ０ではデータ準備を行う。ステップＳ０ではデータ部５に格納するデータを用意する。用意するデータとしてたとえば三次元ＣＧデータなどがある。このデータはあらかじめ現実世界との位置の対応をとっておく必要があり、三次元ＣＧならばそれが現実世界中でどの位置に対応するかを指定しておかねばならない。また、その三次元ＣＧがＣＧのキャラクタなど移動するものである場合は、そのＣＧキャラクタが現実世界のどの位置を移動するかをあらかじめ指定しておかねばならない。
【００２５】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ２でレンズ状態制御部３がレンズ１からズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報はコンピュータ映像生成部４に送られる。ステップＳ３ではコンピュータ映像生成部４が、レンズ状態制御部３から送出されたレンズ状態情報からレンズ１の視野を推定し、データ部５からレンズ１の視野に含まれる範囲のデータを取得する。
【００２６】
ステップＳ４ではコンピュータ映像生成部４がデータ部５から取得したデータとレンズ状態制御部３から取り出したレンズ状態情報を用いてコンピュータ映像を生成する。コンピュータ映像を生成する際には、レンズ状態情報からレンズ１の視野を判断し、その視野に納まる範囲のコンピュータ映像を生成し、生成した映像は合成表示部２に送られる。
【００２７】
このコンピュータ映像を生成する際、レンズ状態情報中のフォーカス値を参照し、そのフォーカス値に応じて生成するコンピュータ映像中の各ＣＧオブジェクトをぼかして描画することも可能であり、その方法を以下に記す。まずレンズ１の光学中心から各ＣＧオブジェクトまでの仮想的な距離を算出する。ここで、レンズ１の光学中心からフォーカスを合わせる対象となるＣＧまでの仮想的な距離の算出方法には様々なものがあるが、その最も簡単な方法について図６を用いて説明する。
【００２８】
図６において、データ部５にレンズ１の光学中心の位置がＬ （ｘｌ，ｙｌ，ｚｌ）として格納されており、ＣＧオブジェクトＡの位置がＡ（ｘａ，ｙａ，ｚａ）として格納されているものとすると、レンズ１の光学中心からＣＧオブジェクトＡまでの仮想的な距離Ｌは以下の式で求まる。
【００２９】
【外１】
【００３０】
以上のようにしてレンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離を算出することが可能であるが、この算出方法はレンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離を算出することができる方法であればどのような方法でもよく、たとえばレンズ１の光学中心からＣＧオブジェクトの表面までの距離を算出してもよい。
【００３１】
以上のようにしてレンズ１の光学中心からＣＧオブジェクトまでの距離を算出したら、その距離をステップＳ２で取得されたレンズ状態情報から計算したレンズ１のフォーカス距離と比較する。レンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離がレンズ１のフォーカス距離と一致する場合にはＣＧオブジェクトをぼかさずに描画し、レンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離とレンズ１のフォーカス距離の差が大きければ大きいほどＣＧオブジェクトをぼかして描画する。これにより、コンピュータ映像中の各ＣＧオブジェクトをレンズ１のフォーカス値に応じて描画することが可能となり、コンピュータ映像の臨場感をより高めることが可能である。
【００３２】
ステップＳ５では、合成表示部２においてレンズ１を通過した光と、コンピュータ映像生成部４から送出されたコンピュータ映像がハーフミラー等で重ね合わせられて装置利用者に提示される。
【００３３】
ステップＳ６ではコンピュータ映像生成部４が、レンズ１の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送信する。
【００３４】
ステップＳ６において、ＣＧにレンズのフォーカスを合わせる必要があるかどうかの判断基準には様々なものがあるが、ここでは視野の中心付近の領域の多くの部分をＣＧが占める場合にはそのＣＧにフォーカスを合わせる、という判断基準を用いるものと仮定し、その方法について図５で説明を行う。
【００３５】
図５において、矩形で表されるコンピュータ映像ＩはステップＳ４でコンピュータ映像生成部４が生成したコンピュータ映像であり、そのコンピュータ映像にはＣＧオブジェクトＡとＣＧオブジェクトＢが描画されている。ここで、ｘとｙを適当に定め、コンピュータ映像Ｉの画像中心Ｏを中心とした高さ２ｙ、幅２ｘの長方形を領域Ｓとする。ここで領域Ｓの面積をＳＳ、オブジェクトＡが領域Ｓの中に占める面積をＳＡ、オブジェクトＢが領域Ｓの中に占める面積をＳＢとし、領域Ｓの中でＣＧが存在しない領域の面積をＳ２とすると
Ｓ２ ＝ ＳＳ−ＳＡ−ＳＢ
となる。このように算出したＳ２とＳＡとＳＢの面積を比べ、最も面積の大きい領域にフォーカスを合わせるものと判断する。すなわち、Ｓ２が最も大きい場合にはＣＧオブジェクトにフォーカスを合わせる必要はなく、ＳＡが最も大きい場合にはＣＧオブジェクトＡにフォーカスを合わせるものと判断し、ＳＢが最も大きい場合にはＣＧオブジェクトＢにフォーカスを合わせるものと判断する。このように判断することで、本発明の本表示装置の使用者の注目度が比較的高い、画面の中央付近にあるＣＧオブジェクトにフォーカスを合わせることが可能になる。
【００３６】
ここでは視野の中心付近の領域の多くの部分をＣＧが占める場合にはそのＣＧにフォーカスを合わせる、という判断基準について説明したが、この判断基準は他にも様々なものが考えられ、たとえば視野の中心、すなわち画像中心Ｏ上にＣＧがある場合にはそのＣＧにフォーカスを合わせることとしてもよい。このように判断することで、ＣＧオブジェクトにフォーカスを合わせるべきかどうかを簡単に判断することが可能である。
【００３７】
ステップＳ６でＣＧにフォーカスを合わせるものと判定された場合には、ステップＳ６でコンピュータ映像生成部４がレンズ１の光学中心からフォーカスを合わせる対象となるＣＧまでの仮想的な距離を算出し、図７のテーブルなどを用いてその仮想的な距離に適合する適合フォーカス値を算出する。算出された適合フォーカス値はレンズ状態制御部３に送出される。
【００３８】
ステップＳ７ではレンズ状態制御部３が送出されてきた適合フォーカス値になるようにレンズ１のフォーカスをコントロールする。
【００３９】
その後ステップＳ８でシステムを終了するかどうかがチェックされ、システムを終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００４０】
以上のように、第一の実施形態によれば、光学シースルー表示方式の映像合成装置において、たとえば実際の風景のビルに重ねて仮想のキャラクタを見ることができ、なおかつその仮想のキャラクタにレンズ１のフォーカス値を合わせることで、現実世界の撮影映像と仮想のキャラクタの映像を違和感なく合成することが可能である。データ部５にあらかじめ仮想のキャラクタの三次元ＣＧデータを格納しそれを利用することで前記の事項は達成される。すなわち、あらかじめ現実世界のビルの間の部分に仮想の三次元ＣＧのキャラクタの位置を定めておき、適切な位置、すなわちビルの間の部分に仮想のキャラクタの映像を生成し、レンズ１を通過した光に重ね合わせればよい。
【００４１】
＜第２実施形態＞
第２実施形態ではビデオシースルー表示方式の映像合成装置を用いて説明する。図３は第２実施形態による映像合成装置の概略構成を示すブロック図であり、その概要は次のとおりである。
【００４２】
１０は撮像部であり、たとえばカメラからなる。撮像部１０は屋外や屋内に設置され、屋外の風景や屋内の展示物といった現実世界を撮影し、撮影映像を映像信号として撮影映像取込部１１に出力する。１１は撮影映像取込部であり、撮像部１０から出た映像信号を映像合成部１２に適した形式に変換して映像合成部１２に送り出す。１２は映像合成部であり、撮影映像取込部１１からの撮影映像とコンピュータ映像生成部４からのコンピュータ映像を合成して表示部１３に送出する。
【００４３】
３はレンズ状態制御部であり、例えば機械式のエンコーダやステッピングモータから構成される。レンズ状態制御部３は撮像部１０で利用するレンズのズーム値やフォーカス値といったレンズ状態情報をコンピュータ映像生成部４からの要求に応じて、又はコンピュータ映像生成部４からの要求なしにコンピュータ映像生成部４に送り出す。レンズ状態制御部３は図示しない操作部や制御信号によりレンズの状態を操作することができ、たとえばコンピュータ映像生成部４からフォーカス値を受け取り、そのフォーカス値にレンズを設定することができる。
【００４４】
４はコンピュータ映像生成部であり、レンズ状態制御部３からレンズ状態情報を取り出して撮像部１０の画角等を推定する。撮像部１０の向いている方向と画角が推定できれば撮像部１０の視野が求まるため、コンピュータ映像生成部４はデータ部５から撮像部１０の視野に入る部分のデータを取り出し、撮像部１０の視野に重なるコンピュータ映像を生成する。生成されたコンピュータ映像は映像合成部１２に送られる。
【００４５】
また、コンピュータ映像生成部４は撮像部１０の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送る。
【００４６】
５はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部４に引き渡すデータを所持する。データ部５に格納されるデータとして、たとえば三次元ＣＧ（コンピュータグラフィックス）データ等が考えられる。データ部５はコンピュータ映像生成部４からの要求に応じて適切なデータをコンピュータ映像生成部４に送出する。たとえばコンピュータ映像生成部４が撮像部１０の視野に合成する三次元ＣＧデータを要求してきた時に、データ部５は格納されている三次元ＣＧデータの中から撮像部１０の視野に含まれる三次元ＣＧデータを取り出して送出する。
【００４７】
１３は表示部であり、映像合成部１２から送出された合成映像信号を表示する。この際、表示部１３は撮像部１０に連動して動くものとするのが望ましいが、必ずしもその必要はなく、たとえば撮像部１０が可動で表示部１３が固定されるという構成でもよい。また、この表示部１３は複数備えられてもよく、その場合は合成映像を多数の人が見ることが可能になる。
【００４８】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図４は本発明の本実施形態の映像合成装置における処理の手順を説明するフローチャートである。
【００４９】
ステップＳ０ではデータ準備を行う。ステップＳ０ではデータ部５に格納するデータを用意する。用意するデータとしてたとえば三次元ＣＧデータなどがある。このデータはあらかじめ現実世界との位置の対応をとっておく必要があり、三次元ＣＧならばそれが現実世界中でどの位置に対応するかを指定しておかねばならない。また、その三次元ＣＧがＣＧのキャラクタなど移動するものである場合は、そのＣＧキャラクタが現実世界のどの位置を移動するかをあらかじめ指定しておかねばならない。
【００５０】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ１０で撮像部１０から映像が取得され、取得された撮影映像は撮影映像取込部１１で適切なフォーマットに変換され、映像合成部１２に送られる。ステップＳ２でレンズ状態制御部３が撮像部１０で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報はコンピュータ映像生成部４に送られる。ステップＳ３ではコンピュータ映像生成部４が、レンズ状態制御部３から送出されたレンズ状態情報から撮像部１０の視野を推定し、データ部５から撮像部１０の視野に含まれる範囲のデータを取得する。
【００５１】
ステップＳ４ではコンピュータ映像生成部４がデータ部５から取得したデータとレンズ状態情報制御部から取り出したレンズ状態情報を用いてコンピュータ映像を生成する。生成した映像は映像合成部１２に送られる。
【００５２】
ステップＳ１１では、映像合成部１２において撮影映像取込部１１から送出された撮影映像と、コンピュータ映像生成部４から送出されたコンピュータ映像が合成される。合成された合成映像は表示部１３に送られる。ステップＳ１２では映像合成部１２から送出されてきた映像情報を表示部１３が表示する。
【００５３】
ステップＳ６ではコンピュータ映像生成部４が、撮像部１０の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送信する。
【００５４】
ステップＳ７ではレンズ状態制御部３が送出されてきた適合フォーカス値になるようにレンズ１のフォーカスをコントロールする。
【００５５】
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させない場合にはステップＳ１０に戻り、上述の処理を繰り返す。
【００５６】
以上のように、第２実施形態によれば、ビデオシースルー表示方式においてたとえば実際の風景のビルに重ねて仮想のキャラクタを見ることができ、なおかつその仮想のキャラクタに撮像部１０のレンズのフォーカス値を合わせることで、現実世界の撮影映像と仮想のキャラクタの映像を違和感なく合成することが可能である。
【００５７】
＜その他の実施形態＞
上記の実施形態においては、ステップＳ６においてコンピュータ映像生成部４が生成するＣＧにレンズのフォーカスを合わせる必要があるかどうかを、表示するコンピュータ映像オブジェクトの位置や表示面積から判断していた。ここでは、他の判断基準を用いた実施形態について記す。
【００５８】
一つの実施形態として、あらかじめデータ部５に格納するデータにそのデータの重要度を示すパラメータを与えておき、ＣＧにフォーカスを合わせる必要があるかどうかを判断する際、その重要度を利用して判断するという形態がある。たとえば、画面に表示されているＣＧオブジェクトの中で最も重要度の高いＣＧオブジェクトにフォーカスを合わせる、と判断することで上記の形態は実現できるが、重要度を用いてフォーカスを合わせる対象を判断できる方法であればこれに限らずどのような判断方法でもよい。このような方法を取ることで、重要度の高いＣＧオブジェクトに自動的にフォーカスを合わせることが可能になり、従って本発明の映像合成装置の使用者が重要度の高いＣＧオブジェクトを容易に見分けることが可能になる。
【００５９】
また、データ部５に現実世界のモデルを格納し、現実世界のモデルにも重要度を示すパラメータを与えることで、ステップＳ６でレンズのフォーカスを合わせる対象を判断する際、ＣＧオブジェクトをその対象とするだけでなく、現実世界にある建物などのオブジェクトをフォーカスを合わせる対象として判断することができる。たとえばデータ部５に現実世界の三次元ＣＧデータを格納し、仮想の三次元ＣＧデータと同じように取り扱うことで上記の方法は達成される。このような方法を取ることで、本発明の映像合成装置の使用者が重要度の高いＣＧオブジェクトや現実世界のオブジェクトを容易に見分けることが可能になる。
【００６０】
また、データ部５に現実世界の実写映像を格納する実施形態もある。この実施形態では、データ部５にあらかじめ撮影した現実世界の実写映像を格納し、ステップＳ４でコンピュータ映像生成部４がレンズ状態制御部３から取り出したレンズ状態情報を用いてコンピュータ映像を生成する際、実写映像の全部あるいは一部を切り出してコンピュータ映像を生成する。このような実施形態をとることで、本発明の映像合成装置の使用者にあらかじめ撮影した実写映像を提示することができ、たとえば展望台等で本発明の映像合成装置を使用する際、曇天時にあらかじめ撮影しておいた実写映像を提示することができるという利点がある。
【００６１】
データ部５に現実世界の実写映像を格納する場合、同時にその実写映像に奥行データを与える実施形態もある。この場合、ステップＳ６においてレンズのフォーカスを合わせる対象を判断し、またその合わせる対象までの距離を算出し、その距離に合わせてレンズのフォーカスをコントロールし、コンピュータ映像生成の際にそのコントロールしたフォーカス値に合わせて実写映像の各部分をぼかしたりすることが可能である。これは、実写映像をいくつかの領域に切り分けて、その領域ごとに奥行データを与え、コンピュータ映像生成の際にその各領域の奥行データとレンズのフォーカス距離を比較し、その差が大きければ大きいほどその領域の映像をぼかして描画を行うことで可能になる。ここでは実写映像に奥行データを与える方法として各領域に奥行データを与える方法について記したが、実写映像に奥行データを与えられる方法であればどのような方法でもよく、たとえば実写映像の各画素に奥行データを与える方法でもよい。
【００６２】
以上のような実施形態によれば、ビデオシースルー表示方式や光学シースルー表示方式の映像合成装置において、より重要度の高いＣＧオブジェクトや現実世界のオブジェクトに自動的にレンズのフォーカスを合わせることが可能になる。また、実写映像からコンピュータ映像を生成し、レンズのフォーカスに合わせて生成する映像を変化させることが可能になる。
【００６３】
本発明の映像合成装置は、展望台等で望遠鏡として使用することができるだけでなく、たとえば博物館等に設置して、現実世界の展示物に重ねて仮想的な映像を見せるような情報表示端末としても用いることが可能である。
【００６４】
また、前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００６５】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００６６】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００６７】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００６８】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、仮想的な映像を現実の光景を背景として表示し、なおかつその仮想的な映像にフォーカスを合わせることができる。そのため、現実の光景に重ねて仮想のキャラクタなどを表示する場合に、仮想のキャラクタに自動的にフォーカスを合わせ、臨場感をより高めることが可能になる。
【００７０】
また、本発明によれば、仮想的なオブジェクト、あるいは現実世界のオブジェクトのうち、重要度の高いオブジェクトに自動的にレンズのフォーカスを合わせることで、本発明の映像合成装置の使用者が重要度の高いオブジェクト容易に見分けることができる。
【図面の簡単な説明】
【図１】第１実施形態による表示装置の概略構成を示すブロック図である。
【図２】第１実施形態における表示装置の処理手順を説明するフローチャートである。
【図３】第２実施形態による表示装置の概略構成を示すブロック図である。
【図４】第２実施形態における、表示装置の処理手順を説明するフローチャートである。
【図５】フォーカスを合わせるＣＧオブジェクトの判断方法を説明する図である。
【図６】レンズの光学中心からフォーカスを合わせる対象となるＣＧオブジェクトまでの仮想的な距離の算出方法を説明する図である。
【図７】フォーカス距離とフォーカス値の対応について説明する図である。
【発明の属する技術分野】
本発明は、現実画像に生成画像を合成するものに関する。
【０００２】
【従来の技術】
展望台等に置かれる望遠鏡は展望台からの景色を捉え、光学装置を用いて拡大などして使用者に提示するものであるが、従来の望遠鏡は景色を単に光学的に拡大して表示するものであるに過ぎないため、現実世界に実際に存在するものしか提示できないという問題があった。たとえば、望遠鏡では現実世界に存在する建物に付属した情報（住所や建物の名前など）を提示することはできず、また、現実世界中に仮想のキャラクタを配置して眺めるといったことも不可能である。こうした問題を解決する発明として以下のような従来例がある。
【０００３】
望遠鏡から見る現実の景色に仮想的な文字や画像を重ね合わせる技術が、特許第２８３３２０６号「展望用ディスプレイ装置」に開示されている。ここで開示されている装置は、装置前方からの現実世界の光と、仮想的な文字や画像を表示した面からの画像表示光を、ハーフミラー等によって構成されるコンバイナを用いて重ね合わせて装置利用者に提示する。このように現実世界の光にコンピュータで生成したコンピュータ映像をハーフミラー等で重ねて表示する装置は光学シースルー表示方式と呼ばれる。
【０００４】
また、従来、カメラを内蔵したＨＭＤ（ヘッドマウントディスプレイ）を頭部に装着して頭部の動きに追従させて現実の風景とコンピュータ映像を合成させる装置がある。このように外界をカメラで撮影した映像とコンピュータ等で生成した映像を合成して表示する装置はビデオシースルー表示方式と呼ばれる。
【０００５】
【発明が解決しようとする課題】
上述の光学シースルー、ビデオシースルーいずれの表示方式においても、現実世界の光を拡大するためにズームレンズが用いられることがある。このようなズームレンズには多くの場合フォーカスを調整する機構が備えられ、そのフォーカスは使用者が表示装置を見ながらピントが合うように手動によって調整したり、オートフォーカス機構によって自動的にピントが合うように調整されたりする。
【０００６】
しかしながらこのような方法では、現実世界中に重ねて仮想のキャラクタなどを表示する場合に、仮想のキャラクタにズームレンズのフォーカスを合わせることは難しかった。特にオートフォーカス機構がある場合には、常に仮想のキャラクタの向こうにある現実世界に対して自動的にフォーカスが合ってしまうため、仮想のキャラクタにフォーカスを合わせることは不可能であり、こうした点に改善が求められていた。
【０００７】
本発明は以上の点を鑑みてなされたものであり、現実世界に重ねて仮想的な映像を表示する場合に、仮想的なオブジェクトに自動的にレンズのフォーカスを合わせることで、より臨場感を高めることを目的とする。
【０００８】
また、仮想的なオブジェクト、あるいは現実世界のオブジェクトのうち、重要度の高いオブジェクトに自動的にレンズのフォーカスを合わせることで、使用者が重要度の高いオブジェクト容易に見分けられるようにすることを他の目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【００１０】
本願請求項１に記載の発明は、現実世界の光を捉えるレンズと、前記レンズのフォーカスを含むレンズ状態を制御するレンズ状態制御部と、コンピュータ映像データを保持する保持部と、前記レンズ状態を示すレンズ状態情報に応じて、前記保持部に保持されているコンピュータ映像データを用いてコンピュータ映像を生成するコンピュータ映像生成部と、前記レンズを介して得られた画像に、前記生成したコンピュータ映像を合成して表示する合成表示部と、前記コンピュータ映像にフォーカスを合わせる必要があるか否かを判断する判断手段とを備え、前記レンズ状態制御部は、前記判断手段により、コンピュータ映像にフォーカスを合わせる必要があると判断された場合に、前記コンピュータ映像が表示される位置や大きさに応じて前記レンズのフォーカスを変化させ、合わせる必要がないと判断された場合に前記現実空間に対してフォーカスを合わせるよう前記レンズのフォーカスを変化させることを特徴とする。
【００１１】
本願請求項６に記載の発明は、さらに、コンピュータ映像オブジェクトの重要度に応じて前記レンズのフォーカスを変化させることを特徴とする。
【００１２】
本願請求項７に記載の発明は、さらに、前記保持部は現実世界のモデルデータおよび各モデルの重要度情報を有し、コンピュータ映像オブジェクト、現実世界のオブジェクトの重要度に合わせて前記レンズのフォーカスを変化させることを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１４】
＜第１実施形態＞
本実施形態の映像合成装置は展望台等で望遠鏡として、また博物館等で情報表示端末とし使用される。図１は第１実施形態による映像合成装置の概略構成を示すブロック図である。
【００１５】
第１実施形態では光学シースルー表示方式の映像合成装置を用いて説明する。１はレンズであり、たとえばズームレンズからなる。レンズ１は現実世界の光を捉え、その光を拡大などして合成表示部２に送る。２は合成表示部であり、レンズ１から送られてきた光とコンピュータ映像生成部４から送られてきたコンピュータ映像をハーフミラー等で重ね合わせて装置利用者に提示する。
【００１６】
３はレンズ状態制御部であり、例えば機械式のエンコーダやステッピングモータから構成される。レンズ状態制御部３はレンズ１からズーム値やフォーカス値といったレンズ状態情報をコンピュータ映像生成部４からの要求に応じて、又はコンピュータ映像生成部４からの要求なしにコンピュータ映像生成部４に送り出す。
【００１７】
ここで、ズーム値・フォーカス値とは、レンズ状態制御部３でエンコーダ等により出力された値であり、たとえばレンズ状態制御部３に８ビットのエンコーダが備えられている場合、出力される値は１〜２５６の範囲の値となる。一般的に、ズーム値からはレンズ１の焦点距離を、またフォーカス値からはレンズ１のフォーカス距離を算出することが可能である。たとえばフォーカス値からフォーカス距離を算出する方法としては、図７のようにフォーカス距離とフォーカス値を対応させた変換テーブルをあらかじめ用意しておき、テーブルに載っていない値については補間して求める方法がある。
【００１８】
このズーム値からの焦点距離の算出、またフォーカス値からのフォーカス距離の算出は主にコンピュータ映像生成部４で行われるが、レンズ状態制御部３にたとえばマイクロコンピュータなどを備え、フォーカス値やズーム値などのレンズ状態情報からレンズ１の焦点距離やフォーカス距離を計算し、計算した値をレンズ状態情報として出力してもよい。
【００１９】
また、レンズ状態制御部３は図示しない操作部や制御信号によりレンズ１の状態を操作することができ、たとえばコンピュータ映像生成部４からフォーカス値を受け取り、そのフォーカス値にレンズを設定することができる。レンズ状態制御部３は、例えば機械式のエンコーダやステッピングモータからなる。
【００２０】
４はコンピュータ映像生成部であり、レンズ状態制御部３からレンズ状態情報を取り出してレンズ１の画角等を推定する。レンズ１の画角はレンズ１の焦点距離から求められ、またその画角がわかればその視野もわかるため、コンピュータ映像生成部４はデータ部５からレンズ１の視野に入る部分のデータを取り出し、レンズ１の視野に重なるコンピュータ映像を生成する。生成されたコンピュータ映像は合成表示部２に送られる。
【００２１】
また、コンピュータ映像生成部４はレンズ１の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送る。
【００２２】
５はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部４に引き渡すデータを所持する。データ部５に格納されるデータとして、たとえば三次元ＣＧ（コンピュータグラフィックス）データ等が考えられる。データ部５はコンピュータ映像生成部４からの要求に応じて適切なデータをコンピュータ映像生成部４に送出する。たとえばコンピュータ映像生成部４がレンズ１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部５は格納されている三次元ＣＧデータの中からレンズ１の視野に含まれる三次元ＣＧデータを取り出して送出する。データ部５に格納されるデータとしてはたとえば仮想の建物やキャラクタのデータなどが考えられる。
【００２３】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図２は本施形態の映像合成装置における処理の手順を説明するフローチャートである。
【００２４】
ステップＳ０ではデータ準備を行う。ステップＳ０ではデータ部５に格納するデータを用意する。用意するデータとしてたとえば三次元ＣＧデータなどがある。このデータはあらかじめ現実世界との位置の対応をとっておく必要があり、三次元ＣＧならばそれが現実世界中でどの位置に対応するかを指定しておかねばならない。また、その三次元ＣＧがＣＧのキャラクタなど移動するものである場合は、そのＣＧキャラクタが現実世界のどの位置を移動するかをあらかじめ指定しておかねばならない。
【００２５】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ２でレンズ状態制御部３がレンズ１からズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報はコンピュータ映像生成部４に送られる。ステップＳ３ではコンピュータ映像生成部４が、レンズ状態制御部３から送出されたレンズ状態情報からレンズ１の視野を推定し、データ部５からレンズ１の視野に含まれる範囲のデータを取得する。
【００２６】
ステップＳ４ではコンピュータ映像生成部４がデータ部５から取得したデータとレンズ状態制御部３から取り出したレンズ状態情報を用いてコンピュータ映像を生成する。コンピュータ映像を生成する際には、レンズ状態情報からレンズ１の視野を判断し、その視野に納まる範囲のコンピュータ映像を生成し、生成した映像は合成表示部２に送られる。
【００２７】
このコンピュータ映像を生成する際、レンズ状態情報中のフォーカス値を参照し、そのフォーカス値に応じて生成するコンピュータ映像中の各ＣＧオブジェクトをぼかして描画することも可能であり、その方法を以下に記す。まずレンズ１の光学中心から各ＣＧオブジェクトまでの仮想的な距離を算出する。ここで、レンズ１の光学中心からフォーカスを合わせる対象となるＣＧまでの仮想的な距離の算出方法には様々なものがあるが、その最も簡単な方法について図６を用いて説明する。
【００２８】
図６において、データ部５にレンズ１の光学中心の位置がＬ （ｘｌ，ｙｌ，ｚｌ）として格納されており、ＣＧオブジェクトＡの位置がＡ（ｘａ，ｙａ，ｚａ）として格納されているものとすると、レンズ１の光学中心からＣＧオブジェクトＡまでの仮想的な距離Ｌは以下の式で求まる。
【００２９】
【外１】
以上のようにしてレンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離を算出することが可能であるが、この算出方法はレンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離を算出することができる方法であればどのような方法でもよく、たとえばレンズ１の光学中心からＣＧオブジェクトの表面までの距離を算出してもよい。
【００３１】
以上のようにしてレンズ１の光学中心からＣＧオブジェクトまでの距離を算出したら、その距離をステップＳ２で取得されたレンズ状態情報から計算したレンズ１のフォーカス距離と比較する。レンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離がレンズ１のフォーカス距離と一致する場合にはＣＧオブジェクトをぼかさずに描画し、レンズ１の光学中心からＣＧオブジェクトまでの仮想的な距離とレンズ１のフォーカス距離の差が大きければ大きいほどＣＧオブジェクトをぼかして描画する。これにより、コンピュータ映像中の各ＣＧオブジェクトをレンズ１のフォーカス値に応じて描画することが可能となり、コンピュータ映像の臨場感をより高めることが可能である。
【００３２】
ステップＳ５では、合成表示部２においてレンズ１を通過した光と、コンピュータ映像生成部４から送出されたコンピュータ映像がハーフミラー等で重ね合わせられて装置利用者に提示される。
【００３３】
ステップＳ６ではコンピュータ映像生成部４が、レンズ１の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送信する。
【００３４】
ステップＳ６において、ＣＧにレンズのフォーカスを合わせる必要があるかどうかの判断基準には様々なものがあるが、ここでは視野の中心付近の領域の多くの部分をＣＧが占める場合にはそのＣＧにフォーカスを合わせる、という判断基準を用いるものと仮定し、その方法について図５で説明を行う。
【００３５】
図５において、矩形で表されるコンピュータ映像ＩはステップＳ４でコンピュータ映像生成部４が生成したコンピュータ映像であり、そのコンピュータ映像にはＣＧオブジェクトＡとＣＧオブジェクトＢが描画されている。ここで、ｘとｙを適当に定め、コンピュータ映像Ｉの画像中心Ｏを中心とした高さ２ｙ、幅２ｘの長方形を領域Ｓとする。ここで領域Ｓの面積をＳＳ、オブジェクトＡが領域Ｓの中に占める面積をＳＡ、オブジェクトＢが領域Ｓの中に占める面積をＳＢとし、領域Ｓの中でＣＧが存在しない領域の面積をＳ２とすると
Ｓ２ ＝ ＳＳ−ＳＡ−ＳＢ
となる。このように算出したＳ２とＳＡとＳＢの面積を比べ、最も面積の大きい領域にフォーカスを合わせるものと判断する。すなわち、Ｓ２が最も大きい場合にはＣＧオブジェクトにフォーカスを合わせる必要はなく、ＳＡが最も大きい場合にはＣＧオブジェクトＡにフォーカスを合わせるものと判断し、ＳＢが最も大きい場合にはＣＧオブジェクトＢにフォーカスを合わせるものと判断する。このように判断することで、本発明の本表示装置の使用者の注目度が比較的高い、画面の中央付近にあるＣＧオブジェクトにフォーカスを合わせることが可能になる。
【００３６】
ここでは視野の中心付近の領域の多くの部分をＣＧが占める場合にはそのＣＧにフォーカスを合わせる、という判断基準について説明したが、この判断基準は他にも様々なものが考えられ、たとえば視野の中心、すなわち画像中心Ｏ上にＣＧがある場合にはそのＣＧにフォーカスを合わせることとしてもよい。このように判断することで、ＣＧオブジェクトにフォーカスを合わせるべきかどうかを簡単に判断することが可能である。
【００３７】
ステップＳ６でＣＧにフォーカスを合わせるものと判定された場合には、ステップＳ６でコンピュータ映像生成部４がレンズ１の光学中心からフォーカスを合わせる対象となるＣＧまでの仮想的な距離を算出し、図７のテーブルなどを用いてその仮想的な距離に適合する適合フォーカス値を算出する。算出された適合フォーカス値はレンズ状態制御部３に送出される。
【００３８】
ステップＳ７ではレンズ状態制御部３が送出されてきた適合フォーカス値になるようにレンズ１のフォーカスをコントロールする。
【００３９】
その後ステップＳ８でシステムを終了するかどうかがチェックされ、システムを終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００４０】
以上のように、第一の実施形態によれば、光学シースルー表示方式の映像合成装置において、たとえば実際の風景のビルに重ねて仮想のキャラクタを見ることができ、なおかつその仮想のキャラクタにレンズ１のフォーカス値を合わせることで、現実世界の撮影映像と仮想のキャラクタの映像を違和感なく合成することが可能である。データ部５にあらかじめ仮想のキャラクタの三次元ＣＧデータを格納しそれを利用することで前記の事項は達成される。すなわち、あらかじめ現実世界のビルの間の部分に仮想の三次元ＣＧのキャラクタの位置を定めておき、適切な位置、すなわちビルの間の部分に仮想のキャラクタの映像を生成し、レンズ１を通過した光に重ね合わせればよい。
【００４１】
＜第２実施形態＞
第２実施形態ではビデオシースルー表示方式の映像合成装置を用いて説明する。図３は第２実施形態による映像合成装置の概略構成を示すブロック図であり、その概要は次のとおりである。
【００４２】
１０は撮像部であり、たとえばカメラからなる。撮像部１０は屋外や屋内に設置され、屋外の風景や屋内の展示物といった現実世界を撮影し、撮影映像を映像信号として撮影映像取込部１１に出力する。１１は撮影映像取込部であり、撮像部１０から出た映像信号を映像合成部１２に適した形式に変換して映像合成部１２に送り出す。１２は映像合成部であり、撮影映像取込部１１からの撮影映像とコンピュータ映像生成部４からのコンピュータ映像を合成して表示部１３に送出する。
【００４３】
３はレンズ状態制御部であり、例えば機械式のエンコーダやステッピングモータから構成される。レンズ状態制御部３は撮像部１０で利用するレンズのズーム値やフォーカス値といったレンズ状態情報をコンピュータ映像生成部４からの要求に応じて、又はコンピュータ映像生成部４からの要求なしにコンピュータ映像生成部４に送り出す。レンズ状態制御部３は図示しない操作部や制御信号によりレンズの状態を操作することができ、たとえばコンピュータ映像生成部４からフォーカス値を受け取り、そのフォーカス値にレンズを設定することができる。
【００４４】
４はコンピュータ映像生成部であり、レンズ状態制御部３からレンズ状態情報を取り出して撮像部１０の画角等を推定する。撮像部１０の向いている方向と画角が推定できれば撮像部１０の視野が求まるため、コンピュータ映像生成部４はデータ部５から撮像部１０の視野に入る部分のデータを取り出し、撮像部１０の視野に重なるコンピュータ映像を生成する。生成されたコンピュータ映像は映像合成部１２に送られる。
【００４５】
また、コンピュータ映像生成部４は撮像部１０の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送る。
【００４６】
５はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部４に引き渡すデータを所持する。データ部５に格納されるデータとして、たとえば三次元ＣＧ（コンピュータグラフィックス）データ等が考えられる。データ部５はコンピュータ映像生成部４からの要求に応じて適切なデータをコンピュータ映像生成部４に送出する。たとえばコンピュータ映像生成部４が撮像部１０の視野に合成する三次元ＣＧデータを要求してきた時に、データ部５は格納されている三次元ＣＧデータの中から撮像部１０の視野に含まれる三次元ＣＧデータを取り出して送出する。
【００４７】
１３は表示部であり、映像合成部１２から送出された合成映像信号を表示する。この際、表示部１３は撮像部１０に連動して動くものとするのが望ましいが、必ずしもその必要はなく、たとえば撮像部１０が可動で表示部１３が固定されるという構成でもよい。また、この表示部１３は複数備えられてもよく、その場合は合成映像を多数の人が見ることが可能になる。
【００４８】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図４は本発明の本実施形態の映像合成装置における処理の手順を説明するフローチャートである。
【００４９】
ステップＳ０ではデータ準備を行う。ステップＳ０ではデータ部５に格納するデータを用意する。用意するデータとしてたとえば三次元ＣＧデータなどがある。このデータはあらかじめ現実世界との位置の対応をとっておく必要があり、三次元ＣＧならばそれが現実世界中でどの位置に対応するかを指定しておかねばならない。また、その三次元ＣＧがＣＧのキャラクタなど移動するものである場合は、そのＣＧキャラクタが現実世界のどの位置を移動するかをあらかじめ指定しておかねばならない。
【００５０】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ１０で撮像部１０から映像が取得され、取得された撮影映像は撮影映像取込部１１で適切なフォーマットに変換され、映像合成部１２に送られる。ステップＳ２でレンズ状態制御部３が撮像部１０で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報はコンピュータ映像生成部４に送られる。ステップＳ３ではコンピュータ映像生成部４が、レンズ状態制御部３から送出されたレンズ状態情報から撮像部１０の視野を推定し、データ部５から撮像部１０の視野に含まれる範囲のデータを取得する。
【００５１】
ステップＳ４ではコンピュータ映像生成部４がデータ部５から取得したデータとレンズ状態情報制御部から取り出したレンズ状態情報を用いてコンピュータ映像を生成する。生成した映像は映像合成部１２に送られる。
【００５２】
ステップＳ１１では、映像合成部１２において撮影映像取込部１１から送出された撮影映像と、コンピュータ映像生成部４から送出されたコンピュータ映像が合成される。合成された合成映像は表示部１３に送られる。ステップＳ１２では映像合成部１２から送出されてきた映像情報を表示部１３が表示する。
【００５３】
ステップＳ６ではコンピュータ映像生成部４が、撮像部１０の視野に含まれるデータから描画されるＣＧにレンズのフォーカスを合わせる必要があるかどうかを判断し、ＣＧにフォーカスを合わせる必要がある場合にはＣＧにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部３に送信する。
【００５４】
ステップＳ７ではレンズ状態制御部３が送出されてきた適合フォーカス値になるようにレンズ１のフォーカスをコントロールする。
【００５５】
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させない場合にはステップＳ１０に戻り、上述の処理を繰り返す。
【００５６】
以上のように、第２実施形態によれば、ビデオシースルー表示方式においてたとえば実際の風景のビルに重ねて仮想のキャラクタを見ることができ、なおかつその仮想のキャラクタに撮像部１０のレンズのフォーカス値を合わせることで、現実世界の撮影映像と仮想のキャラクタの映像を違和感なく合成することが可能である。
【００５７】
＜その他の実施形態＞
上記の実施形態においては、ステップＳ６においてコンピュータ映像生成部４が生成するＣＧにレンズのフォーカスを合わせる必要があるかどうかを、表示するコンピュータ映像オブジェクトの位置や表示面積から判断していた。ここでは、他の判断基準を用いた実施形態について記す。
【００５８】
一つの実施形態として、あらかじめデータ部５に格納するデータにそのデータの重要度を示すパラメータを与えておき、ＣＧにフォーカスを合わせる必要があるかどうかを判断する際、その重要度を利用して判断するという形態がある。たとえば、画面に表示されているＣＧオブジェクトの中で最も重要度の高いＣＧオブジェクトにフォーカスを合わせる、と判断することで上記の形態は実現できるが、重要度を用いてフォーカスを合わせる対象を判断できる方法であればこれに限らずどのような判断方法でもよい。このような方法を取ることで、重要度の高いＣＧオブジェクトに自動的にフォーカスを合わせることが可能になり、従って本発明の映像合成装置の使用者が重要度の高いＣＧオブジェクトを容易に見分けることが可能になる。
【００５９】
また、データ部５に現実世界のモデルを格納し、現実世界のモデルにも重要度を示すパラメータを与えることで、ステップＳ６でレンズのフォーカスを合わせる対象を判断する際、ＣＧオブジェクトをその対象とするだけでなく、現実世界にある建物などのオブジェクトをフォーカスを合わせる対象として判断することができる。たとえばデータ部５に現実世界の三次元ＣＧデータを格納し、仮想の三次元ＣＧデータと同じように取り扱うことで上記の方法は達成される。このような方法を取ることで、本発明の映像合成装置の使用者が重要度の高いＣＧオブジェクトや現実世界のオブジェクトを容易に見分けることが可能になる。
【００６０】
また、データ部５に現実世界の実写映像を格納する実施形態もある。この実施形態では、データ部５にあらかじめ撮影した現実世界の実写映像を格納し、ステップＳ４でコンピュータ映像生成部４がレンズ状態制御部３から取り出したレンズ状態情報を用いてコンピュータ映像を生成する際、実写映像の全部あるいは一部を切り出してコンピュータ映像を生成する。このような実施形態をとることで、本発明の映像合成装置の使用者にあらかじめ撮影した実写映像を提示することができ、たとえば展望台等で本発明の映像合成装置を使用する際、曇天時にあらかじめ撮影しておいた実写映像を提示することができるという利点がある。
【００６１】
データ部５に現実世界の実写映像を格納する場合、同時にその実写映像に奥行データを与える実施形態もある。この場合、ステップＳ６においてレンズのフォーカスを合わせる対象を判断し、またその合わせる対象までの距離を算出し、その距離に合わせてレンズのフォーカスをコントロールし、コンピュータ映像生成の際にそのコントロールしたフォーカス値に合わせて実写映像の各部分をぼかしたりすることが可能である。これは、実写映像をいくつかの領域に切り分けて、その領域ごとに奥行データを与え、コンピュータ映像生成の際にその各領域の奥行データとレンズのフォーカス距離を比較し、その差が大きければ大きいほどその領域の映像をぼかして描画を行うことで可能になる。ここでは実写映像に奥行データを与える方法として各領域に奥行データを与える方法について記したが、実写映像に奥行データを与えられる方法であればどのような方法でもよく、たとえば実写映像の各画素に奥行データを与える方法でもよい。
【００６２】
以上のような実施形態によれば、ビデオシースルー表示方式や光学シースルー表示方式の映像合成装置において、より重要度の高いＣＧオブジェクトや現実世界のオブジェクトに自動的にレンズのフォーカスを合わせることが可能になる。また、実写映像からコンピュータ映像を生成し、レンズのフォーカスに合わせて生成する映像を変化させることが可能になる。
【００６３】
本発明の映像合成装置は、展望台等で望遠鏡として使用することができるだけでなく、たとえば博物館等に設置して、現実世界の展示物に重ねて仮想的な映像を見せるような情報表示端末としても用いることが可能である。
【００６４】
また、前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００６５】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００６６】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００６７】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００６８】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、仮想的な映像を現実の光景を背景として表示し、なおかつその仮想的な映像にフォーカスを合わせることができる。そのため、現実の光景に重ねて仮想のキャラクタなどを表示する場合に、仮想のキャラクタに自動的にフォーカスを合わせ、臨場感をより高めることが可能になる。
【００７０】
また、本発明によれば、仮想的なオブジェクト、あるいは現実世界のオブジェクトのうち、重要度の高いオブジェクトに自動的にレンズのフォーカスを合わせることで、本発明の映像合成装置の使用者が重要度の高いオブジェクト容易に見分けることができる。
【図面の簡単な説明】
【図１】第１実施形態による表示装置の概略構成を示すブロック図である。
【図２】第１実施形態における表示装置の処理手順を説明するフローチャートである。
【図３】第２実施形態による表示装置の概略構成を示すブロック図である。
【図４】第２実施形態における、表示装置の処理手順を説明するフローチャートである。
【図５】フォーカスを合わせるＣＧオブジェクトの判断方法を説明する図である。
【図６】レンズの光学中心からフォーカスを合わせる対象となるＣＧオブジェクトまでの仮想的な距離の算出方法を説明する図である。
【図７】フォーカス距離とフォーカス値の対応について説明する図である。
Claims (11)
- 現実世界の光を捉えるレンズと、
前記レンズのフォーカスを含むレンズ状態を制御するレンズ状態制御部と、
コンピュータ映像データを保持する保持部と、
前記レンズ状態を示すレンズ状態情報に応じて、前記保持部に保持されているコンピュータ映像データを用いてコンピュータ映像を生成するコンピュータ映像生成部と、
前記レンズを介して得られた画像に、前記生成したコンピュータ映像を合成して表示する合成表示部と、
前記コンピュータ映像にフォーカスを合わせる必要があるか否かを判断する判断手段とを備え、
前記レンズ状態制御部は、前記判断手段により、コンピュータ映像にフォーカスを合わせる必要があると判断された場合に、
前記コンピュータ映像が表示される位置や大きさに応じて前記レンズのフォーカスを変化させ、合わせる必要がないと判断された場合に前記現実空間に対してフォーカスを合わせるよう前記レンズのフォーカスを変化させることを特徴とする表示装置。 - 前記コンピュータ映像生成部は、レンズの光学中心から前記生成するコンピュータ映像までの仮想的な距離に応じて、該生成するコンピュータ映像に対するぼかし処理を行うことを特徴とする請求項１記載の表示装置。
- 前記コンピュータ映像データには、三次元コンピュータグラフィックスデータが含まれること特徴とする請求項１乃至２のいずれかに記載の表示装置。
- 前記コンピュータ映像データには、実写映像と奥行データが含まれることを特徴とする請求項１乃至３のいずれかに記載の表示装置。
- 最も表示面積の大きいコンピュータ映像オブジェクトに合わせて、あるいは表示画像の中心にあるコンピュータ映像に合わせて前記レンズのフォーカスを変化させることを特徴とする請求項１乃至請求項４のいずれかに記載の表示装置。
- コンピュータ映像オブジェクトの重要度に応じて前記レンズのフォーカスを変化させることを特徴とする請求項１乃至請求項４のいずれかに記載の表示装置。
- 前記保持部は現実世界のモデルデータおよび各モデルの重要度情報を有し、
コンピュータ映像オブジェクト、現実世界のオブジェクトの重要度に合わせて前記レンズのフォーカスを変化させることを特徴とする請求項１乃至請求項４のいずれかに記載の表示装置。 - 前記判断手段は、視野の中心付近の領域の多くの部分を前記コンピュータ映像が占める場合に、コンピュータ映像にフォーカスを合わせる必要があると判断することを特徴とする請求項１記載の情報処理装置。
- 前記判断手段は、視野の中心に前記コンピュータ映像がある場合に、コンピュータ映像にフォーカスを合わせる必要があると判断することを特徴とする請求項１記載の情報処理装置。
- レンズを介して入力された実写にコンピュータ映像を合成して表示するための情報処理方法であって、
位置情報と対応させてコンピュータグラフィックスデータを保持し、
前記実写の位置情報に対応するコンピュータグラフィックスデータからコンピュータグラフィックスオブジェクトを生成し、
前記実写に前記生成されたコンピュータグラフィックスオブジェクトを合成する情報処理方法であり、
前記コンピュータグラフィックスオブジェクトにフォーカスを合わせる必要があるか否かを判断する判断工程と、
前記判断工程で、コンピュータグラフィックスオブジェクトにフォーカスを合わせる必要があると判断された場合に、前記コンピュータグラフィックスオブジェクト領域の大きさに応じて、前記レンズのフォーカス値を制御し、合わせる必要がないと判断された場合 に前記実写に応じて前記レンズのフォーカス値を変化させることを特徴とする情報処理方法。 - 請求項１０に記載の情報処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334707A JP4072330B2 (ja) | 2001-10-31 | 2001-10-31 | 表示装置および情報処理方法 |
| US10/266,683 US6970166B2 (en) | 2001-10-31 | 2002-10-09 | Display apparatus and information processing method |
| US11/126,355 US7411588B2 (en) | 2001-10-31 | 2005-05-11 | Display apparatus and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334707A JP4072330B2 (ja) | 2001-10-31 | 2001-10-31 | 表示装置および情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141522A JP2003141522A (ja) | 2003-05-16 |
| JP4072330B2 true JP4072330B2 (ja) | 2008-04-09 |
Family
ID=19149798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001334707A Expired - Fee Related JP4072330B2 (ja) | 2001-10-31 | 2001-10-31 | 表示装置および情報処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6970166B2 (ja) |
| JP (1) | JP4072330B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
| JP4072330B2 (ja) * | 2001-10-31 | 2008-04-09 | キヤノン株式会社 | 表示装置および情報処理方法 |
| US7411594B2 (en) * | 2002-01-15 | 2008-08-12 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| JP3962676B2 (ja) * | 2002-11-29 | 2007-08-22 | キヤノン株式会社 | 画像処理方法及び装置 |
| JP4136859B2 (ja) * | 2003-01-10 | 2008-08-20 | キヤノン株式会社 | 位置姿勢計測方法 |
| JP2004234455A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
| JP2005137807A (ja) * | 2003-11-10 | 2005-06-02 | Aruze Corp | ゲーム装置 |
| JP2005149409A (ja) * | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
| US7909241B2 (en) * | 2004-03-09 | 2011-03-22 | Lowe's Companies, Inc. | Systems, methods and computer program products for implementing processes relating to retail sales |
| JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP4659388B2 (ja) * | 2004-05-13 | 2011-03-30 | キヤノン株式会社 | 画像処理装置 |
| EP1686554A3 (en) * | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
| US7868904B2 (en) * | 2005-04-01 | 2011-01-11 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP4914123B2 (ja) * | 2005-07-15 | 2012-04-11 | キヤノン株式会社 | 画像処理装置及び方法 |
| JP4847203B2 (ja) * | 2006-04-27 | 2011-12-28 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
| JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| US20090153550A1 (en) * | 2007-12-18 | 2009-06-18 | Disney Enterprises, Inc. | Virtual object rendering system and method |
| US8392853B2 (en) * | 2009-07-17 | 2013-03-05 | Wxanalyst, Ltd. | Transparent interface used to independently manipulate and interrogate N-dimensional focus objects in virtual and real visualization systems |
| US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| JP5786460B2 (ja) * | 2011-05-31 | 2015-09-30 | 株式会社ニコン | 領域抽出装置、撮像装置、及び領域抽出プログラム |
| KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
| JP2014178503A (ja) * | 2013-03-15 | 2014-09-25 | Casio Comput Co Ltd | シナリオデータ、投影装置及び投影方法 |
| US9672747B2 (en) | 2015-06-15 | 2017-06-06 | WxOps, Inc. | Common operating environment for aircraft operations |
| JP7058585B2 (ja) | 2017-12-25 | 2022-04-22 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| WO2019130827A1 (ja) | 2017-12-25 | 2019-07-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2833206B2 (ja) | 1990-11-29 | 1998-12-09 | 株式会社島津製作所 | 展望用ディスプレイ装置 |
| US5786852A (en) * | 1994-06-20 | 1998-07-28 | Canon Kabushiki Kaisha | Image pick-up apparatus having an image sensing device including a photoelectric conversion part and a vertical transfer part |
| US6014259A (en) * | 1995-06-07 | 2000-01-11 | Wohlstadter; Jacob N. | Three dimensional imaging system |
| US7193633B1 (en) * | 2000-04-27 | 2007-03-20 | Adobe Systems Incorporated | Method and apparatus for image assisted modeling of three-dimensional scenes |
| US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
| JP4072330B2 (ja) * | 2001-10-31 | 2008-04-09 | キヤノン株式会社 | 表示装置および情報処理方法 |
| US6795650B2 (en) * | 2002-12-12 | 2004-09-21 | Eastman Kodak Company | Camera having shared optics for optical viewfinding and for electronic capture and display |
-
2001
- 2001-10-31 JP JP2001334707A patent/JP4072330B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-09 US US10/266,683 patent/US6970166B2/en not_active Expired - Fee Related
-
2005
- 2005-05-11 US US11/126,355 patent/US7411588B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030080975A1 (en) | 2003-05-01 |
| US20050212801A1 (en) | 2005-09-29 |
| JP2003141522A (ja) | 2003-05-16 |
| US7411588B2 (en) | 2008-08-12 |
| US6970166B2 (en) | 2005-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4072330B2 (ja) | 表示装置および情報処理方法 | |
| US9858643B2 (en) | Image generating device, image generating method, and program | |
| JP5214826B2 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
| JP2014238731A (ja) | 画像処理装置、画像処理システム、および画像処理方法 | |
| JP5230013B2 (ja) | 撮像装置 | |
| JP2002251634A (ja) | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 | |
| JP3749227B2 (ja) | 立体画像処理方法および装置 | |
| JP2001008232A (ja) | 全方位映像出力方法と装置 | |
| JP3857988B2 (ja) | 立体画像処理方法および装置 | |
| JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
| JP2017208676A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
| JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP4118146B2 (ja) | 立体画像処理装置 | |
| JP2003143477A (ja) | 映像合成装置および方法 | |
| JP5889022B2 (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
| JP2019101563A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP2017208808A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
| JP4046973B2 (ja) | 情報処理方法および画像混合装置 | |
| JP2021018575A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
| JP4124995B2 (ja) | 映像合成装置および情報処理方法 | |
| US11287658B2 (en) | Picture processing device, picture distribution system, and picture processing method | |
| JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 | |
| JP5202448B2 (ja) | 画像処理システム及び方法 | |
| JPWO2020066008A1 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
| JP7336346B2 (ja) | フレーミング情報生成装置及びそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040903 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4072330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |