JP2003296759A - 情報処理方法および装置 - Google Patents
情報処理方法および装置Info
- Publication number
- JP2003296759A JP2003296759A JP2002095535A JP2002095535A JP2003296759A JP 2003296759 A JP2003296759 A JP 2003296759A JP 2002095535 A JP2002095535 A JP 2002095535A JP 2002095535 A JP2002095535 A JP 2002095535A JP 2003296759 A JP2003296759 A JP 2003296759A
- Authority
- JP
- Japan
- Prior art keywords
- image
- real
- computer graphics
- unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 実写風景を背景としてＣＧ物体をその上に重
畳し、さらにその手前に実写の被写体の画像を合成させ
るときに、実写の背景と被写体とを別々に撮影すること
なく同時に撮影した画像を用いてＣＧと合成する。 【解決手段】 特定画像が含まれる実写画像を取得し、
実写画像から特定画像の領域を示す領域情報を検出し、
検出した領域情報を用いて、実写画像における特定画像
の領域以外の領域に対してはコンピュータグラフィック
ス画像を合成する。
畳し、さらにその手前に実写の被写体の画像を合成させ
るときに、実写の背景と被写体とを別々に撮影すること
なく同時に撮影した画像を用いてＣＧと合成する。 【解決手段】 特定画像が含まれる実写画像を取得し、
実写画像から特定画像の領域を示す領域情報を検出し、
検出した領域情報を用いて、実写画像における特定画像
の領域以外の領域に対してはコンピュータグラフィック
ス画像を合成する。
Description
【０００１】
【発明の属する技術分野】本発明は、実写とコンピュー
タグラフィックスを実写の特定画像が前景になるように
合成するものに関する。
タグラフィックスを実写の特定画像が前景になるように
合成するものに関する。
【０００２】
【従来の技術】従来、テレビ番組に代表される映像制作
の分野では、クロマキーの手法を用いて、ビデオカメラ
からのライブ画像の中から特定の領域を切り出し、コン
ピュータグラフィックスなどによる画像と合成する方法
が用いられている。
の分野では、クロマキーの手法を用いて、ビデオカメラ
からのライブ画像の中から特定の領域を切り出し、コン
ピュータグラフィックスなどによる画像と合成する方法
が用いられている。
【０００３】図１を参照してこれを説明する。
【０００４】従来のクロマキー合成では、被写体１０３
にほとんど含まれていない特定の色彩、一般には鮮やか
なブルーまたはグリーンの色彩を有するスクリーン１０
２（以下、色に関らずブルーバックと呼称）の前に被写
体１０３を配置し、カメラによって実写映像を取得し、
これを前景画像１０１とする。
にほとんど含まれていない特定の色彩、一般には鮮やか
なブルーまたはグリーンの色彩を有するスクリーン１０
２（以下、色に関らずブルーバックと呼称）の前に被写
体１０３を配置し、カメラによって実写映像を取得し、
これを前景画像１０１とする。
【０００５】そして、この前景画像１０１から、ブルー
バック１０２の色彩を基準にしてキー画像１０６を生成
する。キー画像は、前景画像１０１の中に含まれる被写
体１０３の領域を切り出すための情報であり、図１に見
るように、背景と被写体とを識別する値が画素単位で設
定される。
バック１０２の色彩を基準にしてキー画像１０６を生成
する。キー画像は、前景画像１０１の中に含まれる被写
体１０３の領域を切り出すための情報であり、図１に見
るように、背景と被写体とを識別する値が画素単位で設
定される。
【０００６】一方、背景画像１０４は、静止画像・ビデ
オ動画像・コンピュータグラフィックスなどの画像であ
り、前景１０１の撮影の場合のようなブルーバックの使
用などは不要である。
オ動画像・コンピュータグラフィックスなどの画像であ
り、前景１０１の撮影の場合のようなブルーバックの使
用などは不要である。
【０００７】画像合成処理１０６をは下記の式１によっ
て表される。すなわち、キー画像は例えば、被写体の領
域を示す値を１、背景の領域を示す値を０とする。キー
画像の画素値を示す記号をＫ、前景画像の画素値を示す
記号をＦ、背景画像の画素値を示す記号をＢ、出力画像
の画素値を示す記号をＣとする。このとき、 となる。
て表される。すなわち、キー画像は例えば、被写体の領
域を示す値を１、背景の領域を示す値を０とする。キー
画像の画素値を示す記号をＫ、前景画像の画素値を示す
記号をＦ、背景画像の画素値を示す記号をＢ、出力画像
の画素値を示す記号をＣとする。このとき、 となる。
【０００８】このような映像合成処理１０６により、前
景画像１０１の被写体１０２が背景画像１０４の上に重
畳された画像１０８が生成される。
景画像１０１の被写体１０２が背景画像１０４の上に重
畳された画像１０８が生成される。
【０００９】
【発明が解決しようとする課題】図２に例示するよう
に、現実の実写風景２０３を背景として、ＣＧのハンド
ル２０４などの仮想の自動車の内部を重畳し、さらにそ
の前景として実写の手２０２を合成する場合を想定す
る。
に、現実の実写風景２０３を背景として、ＣＧのハンド
ル２０４などの仮想の自動車の内部を重畳し、さらにそ
の前景として実写の手２０２を合成する場合を想定す
る。
【００１０】そもそも上記従来例では、図１に示される
ように前景画像１０１と背景画像１０４しか考えておら
ず、図２に示されように３つの画像の合成を想定してい
ない。
ように前景画像１０１と背景画像１０４しか考えておら
ず、図２に示されように３つの画像の合成を想定してい
ない。
【００１１】あえて従来技術を用いて図２に示される画
像を作成するとすると、図３に示すように背景画像２０
３、ＣＧのハンドル２０４およびＣＧの車内、そして実
写の手２０２をそれぞれ別々に用意する必要があった。
従来のクロマキー処理は、前景となる被写体１０３を撮
影するためにはブルーバック１０２が必要であり、背景
画像と同時に被写体を撮影することができない。
像を作成するとすると、図３に示すように背景画像２０
３、ＣＧのハンドル２０４およびＣＧの車内、そして実
写の手２０２をそれぞれ別々に用意する必要があった。
従来のクロマキー処理は、前景となる被写体１０３を撮
影するためにはブルーバック１０２が必要であり、背景
画像と同時に被写体を撮影することができない。
【００１２】図３において問題となるのは、実写の背景
２０３と実写の手２０２を撮影するカメラが別々である
ため、それぞれのカメラの向きや位置を移動すると、位
置関係がずれてしまい、自然な合成画像が得られないこ
とである。
２０３と実写の手２０２を撮影するカメラが別々である
ため、それぞれのカメラの向きや位置を移動すると、位
置関係がずれてしまい、自然な合成画像が得られないこ
とである。
【００１３】本発明は上記点に鑑みてなされたものであ
り、特定画像が含まれる実写画像と、コンピュータグラ
フィックス画像から、該特定画像以外の実写画像を背景
に、該コンピュータグラフィックス画像と該特定画像を
前景にした合成画像を、各画像が適切な位置関係でかつ
自然であるようにすることを目的とする。
り、特定画像が含まれる実写画像と、コンピュータグラ
フィックス画像から、該特定画像以外の実写画像を背景
に、該コンピュータグラフィックス画像と該特定画像を
前景にした合成画像を、各画像が適切な位置関係でかつ
自然であるようにすることを目的とする。
【００１４】例えば、図２に示す例では、実写の背景２
０３と実写の手２０２を適切な位置関係にするともに、
実写の背景２０３と実写の手２０２とＣＧのハンドルを
正しい前後関係によって合成できるようにするものであ
る。
０３と実写の手２０２を適切な位置関係にするともに、
実写の背景２０３と実写の手２０２とＣＧのハンドルを
正しい前後関係によって合成できるようにするものであ
る。
【００１５】
【課題を解決するための手段】上記目的を達成するため
に、本発明は以下の構成を有することを特徴とする。
に、本発明は以下の構成を有することを特徴とする。
【００１６】本発明は、特定画像が含まれる実写画像
と、コンピュータグラフィックス画像を、該特定画像以
外の実写画像が背景に、該コンピュータグラフィックス
画像と該特定画像が前景になるように合成する情報処理
方法であって、特定画像が含まれる実写画像を取得し、
前記実写画像から前記特定画像の領域を示す領域情報を
検出し、前記領域情報を用いて、前記実写画像における
前記特定画像の領域以外の領域に対してはコンピュータ
グラフィックス画像を合成することにより、前記第１の
画像が背景に、前記コンピュータグラフィックス画像と
前記特定画像が前景となる合成画像を生成することを特
徴とする。
と、コンピュータグラフィックス画像を、該特定画像以
外の実写画像が背景に、該コンピュータグラフィックス
画像と該特定画像が前景になるように合成する情報処理
方法であって、特定画像が含まれる実写画像を取得し、
前記実写画像から前記特定画像の領域を示す領域情報を
検出し、前記領域情報を用いて、前記実写画像における
前記特定画像の領域以外の領域に対してはコンピュータ
グラフィックス画像を合成することにより、前記第１の
画像が背景に、前記コンピュータグラフィックス画像と
前記特定画像が前景となる合成画像を生成することを特
徴とする。
【００１７】
【発明の実施の形態】以下、図面を参照して本発明にか
かる１実施形態を説明する。
かる１実施形態を説明する。
【００１８】本実施形態は、図４に示すように、背景と
被写体とを同時に含んだ実写画像４０１と、ＣＧ画像２
０４とから、目的とする合成画像２０１を生成すること
を目的とする。
被写体とを同時に含んだ実写画像４０１と、ＣＧ画像２
０４とから、目的とする合成画像２０１を生成すること
を目的とする。
【００１９】図５は、本実施形態にかかる映像合成装置
の構成を示す図である。図６は、本実施形態の映像合成
装置の利用形態を説明する図である。
の構成を示す図である。図６は、本実施形態の映像合成
装置の利用形態を説明する図である。
【００２０】ユーザ６０１は、実写映像とＣＧを合成し
て表示するための表示装置である頭部搭載型画像表示装
置（以下、ＨＭＤと記述）５０９を頭部６０３に装着
し、椅子６０２に座っている。ユーザは着座する以外の
任意の姿勢を取っていても良い。
て表示するための表示装置である頭部搭載型画像表示装
置（以下、ＨＭＤと記述）５０９を頭部６０３に装着
し、椅子６０２に座っている。ユーザは着座する以外の
任意の姿勢を取っていても良い。
【００２１】本実施形態において、前景とすべき現実の
被写体はユーザ６０１の手６０４であり、背景とすべき
現実の対象物は壁や鉢植え６０５などであるとする。
被写体はユーザ６０１の手６０４であり、背景とすべき
現実の対象物は壁や鉢植え６０５などであるとする。
【００２２】ＨＭＤ５０９の目に近い部分には、小型の
ビデオカメラ５０１がユーザの視界方向と一致する向き
に固定されている。また、ビデオカメラ５０１で撮影さ
れた画像の信号は、画像入力部５０２によって処理され
ディジタル画像データとして後述する被写体領域抽出部
５０３と画像合成部５０８に供給され、ＣＧと合成され
てユーザのＨＭＤ５０９に表示される。
ビデオカメラ５０１がユーザの視界方向と一致する向き
に固定されている。また、ビデオカメラ５０１で撮影さ
れた画像の信号は、画像入力部５０２によって処理され
ディジタル画像データとして後述する被写体領域抽出部
５０３と画像合成部５０８に供給され、ＣＧと合成され
てユーザのＨＭＤ５０９に表示される。
【００２３】ＨＭＤ５０９には、例えば磁気センサから
なるカメラ位置姿勢センサ５０４が装着されている。カ
メラ位置姿勢センサ５０４からの出力信号は頭部位置姿
勢計測部５０５に入力され、カメラの位置と姿勢を推定
する。カメラ位置姿勢センサ５０４は、磁気センサの他
に、光学式センサ、超音波式センサ、機械式センサな
ど、用途に合わせて好適な手段を任意に選択してよい。
なるカメラ位置姿勢センサ５０４が装着されている。カ
メラ位置姿勢センサ５０４からの出力信号は頭部位置姿
勢計測部５０５に入力され、カメラの位置と姿勢を推定
する。カメラ位置姿勢センサ５０４は、磁気センサの他
に、光学式センサ、超音波式センサ、機械式センサな
ど、用途に合わせて好適な手段を任意に選択してよい。
【００２４】被写体領域抽出部５０３は、画像入力部５
０２から供給された画像データの各画素の色情報を、被
写体色情報登録部５１０に登録してある被写体の色情報
と比較し、これと一致する場合には当該画素は被写体の
領域であると判断する。各画素についてのこのような被
写体に含まれるか否かの判断の結果は、例えば、被写体
に含まれるならば１、そうでないならば０のような値を
割り当て、画像データの形態にて画像合成部５０８に供
給される。
０２から供給された画像データの各画素の色情報を、被
写体色情報登録部５１０に登録してある被写体の色情報
と比較し、これと一致する場合には当該画素は被写体の
領域であると判断する。各画素についてのこのような被
写体に含まれるか否かの判断の結果は、例えば、被写体
に含まれるならば１、そうでないならば０のような値を
割り当て、画像データの形態にて画像合成部５０８に供
給される。
【００２５】図７は被写体領域の抽出を説明する図であ
る。実写画像４０１は、図６においてビデオカメラ５０
１から観測される画像の例である。実写画像４０１にお
いて、ユーザ６０１は自身の手をビデオカメラ５０１を
通して観察しようとしており、背景とすべき現実の風景
と共に、前景とすべき被写体である手が観測されてい
る。
る。実写画像４０１は、図６においてビデオカメラ５０
１から観測される画像の例である。実写画像４０１にお
いて、ユーザ６０１は自身の手をビデオカメラ５０１を
通して観察しようとしており、背景とすべき現実の風景
と共に、前景とすべき被写体である手が観測されてい
る。
【００２６】被写体とすべき手６０４の色情報を予め被
写体色情報登録部５１０に登録しておき、実写画像４０
１の各画素について色情報を被写体の色情報と比較し、
被写体領域に含まれるならば１、それ以外では０とした
画像を生成する。被写体領域画像７０１はこのようにし
て実写画像４０１を解析して生成した画像であり、白で
示した領域が被写体である手の領域を示す。
写体色情報登録部５１０に登録しておき、実写画像４０
１の各画素について色情報を被写体の色情報と比較し、
被写体領域に含まれるならば１、それ以外では０とした
画像を生成する。被写体領域画像７０１はこのようにし
て実写画像４０１を解析して生成した画像であり、白で
示した領域が被写体である手の領域を示す。
【００２７】被写体領域抽出部５０３および被写体色情
報登録部５１０で用いられる色情報は、多次元色空間に
おける座標値として記述することができる。一般によく
知られている表色系の種類には、ＲＧＢ、ＹＩＱ、ＹＣ
ｂＣｒ、ＹＵＶ、ＨＳＶ、Ｌｕ＊ｖ＊、Ｌａ＊ｂ＊など
様々なものがある（日本規格協会 ＪＩＳ色彩ハンドブ
ック）。
報登録部５１０で用いられる色情報は、多次元色空間に
おける座標値として記述することができる。一般によく
知られている表色系の種類には、ＲＧＢ、ＹＩＱ、ＹＣ
ｂＣｒ、ＹＵＶ、ＨＳＶ、Ｌｕ＊ｖ＊、Ｌａ＊ｂ＊など
様々なものがある（日本規格協会 ＪＩＳ色彩ハンドブ
ック）。
【００２８】対象とする被写体の色彩特性に合わせて適
当なものを任意に用いてよいが、本実施形態では、照明
条件の相違による被写体の色彩特性の変化を相殺するた
めに、輝度情報と色相情報とに分離する形式の表色系を
用い、色相情報だけを用いることが望ましい。このよう
な表色系の代表的なものとしては ＹＩＱ や ＹＣｂ
Ｃｒ が一般的である。本実施形態では、ＹＣｂＣｒ
表色系を用いるとする。
当なものを任意に用いてよいが、本実施形態では、照明
条件の相違による被写体の色彩特性の変化を相殺するた
めに、輝度情報と色相情報とに分離する形式の表色系を
用い、色相情報だけを用いることが望ましい。このよう
な表色系の代表的なものとしては ＹＩＱ や ＹＣｂ
Ｃｒ が一般的である。本実施形態では、ＹＣｂＣｒ
表色系を用いるとする。
【００２９】図８にＹＣｂＣｒ 表色系の ＣｂＣｒ
平面における色彩分布の概要を示す。横軸８０１がＣ
ｒ、縦軸８０２がＣｂである。中央８０３は白色の領域
であり、中央から周辺に向かって彩度が高くなってい
る。図９に、被写体の色情報をＹｃｂＣｒ表色系のＣｂ
Ｃｒ平面における色空間座標分布９０１として表現した
例を示す。
平面における色彩分布の概要を示す。横軸８０１がＣ
ｒ、縦軸８０２がＣｂである。中央８０３は白色の領域
であり、中央から周辺に向かって彩度が高くなってい
る。図９に、被写体の色情報をＹｃｂＣｒ表色系のＣｂ
Ｃｒ平面における色空間座標分布９０１として表現した
例を示す。
【００３０】被写体の色情報は背景の色情報に含まれな
いものであることが望ましいが、条件によっては被写体
と背景とを色によって識別しにくい場合も考えられる。
このような場合には、例えば手に着色した手袋を装着す
るなど、被写体に対して都合の良い色を割り当てると良
い。
いものであることが望ましいが、条件によっては被写体
と背景とを色によって識別しにくい場合も考えられる。
このような場合には、例えば手に着色した手袋を装着す
るなど、被写体に対して都合の良い色を割り当てると良
い。
【００３１】被写体色情報登録部５１０における色情報
の登録方法としては、被写体をカメラで観測して画像を
取得して各画素の値をＣｂＣｒ平面での分布として記述
した上で、色空間の各軸の座標範囲を指定する方法や、
色空間を各軸について標本化しその各点について被写体
であるか否かの値を登録する方法、いわゆるルックアッ
プテーブルを用いてよい。
の登録方法としては、被写体をカメラで観測して画像を
取得して各画素の値をＣｂＣｒ平面での分布として記述
した上で、色空間の各軸の座標範囲を指定する方法や、
色空間を各軸について標本化しその各点について被写体
であるか否かの値を登録する方法、いわゆるルックアッ
プテーブルを用いてよい。
【００３２】被写体領域抽出部５０３における処理を図
１０を用いて説明する。画像入力部５０２から供給され
る画像データの各画素について図１０に示す処理を行
い、被写体の領域を抽出する。
１０を用いて説明する。画像入力部５０２から供給され
る画像データの各画素について図１０に示す処理を行
い、被写体の領域を抽出する。
【００３３】まず、ステップ１００１で、画像座標
（ｉ、ｊ）のＲＧＢ値をＹＣｂＣｒ形式に変換し、Ｃｂ
Ｃｒ平面での座標値（ｃｂ、ｃｒ）に変換する。
（ｉ、ｊ）のＲＧＢ値をＹＣｂＣｒ形式に変換し、Ｃｂ
Ｃｒ平面での座標値（ｃｂ、ｃｒ）に変換する。
【００３４】ステップ１００２においてＣｂＣｒ平面で
の座標値（ｃｂ、ｃｒ）を入力として、被写体色情報登
録部５１０に登録されている被写体の色分布９０１を参
照し、入力色が被写体の色分布の領域に属するか否かを
判定する。判定結果は、例えば、被写体色分布９０１に
属すならば１、属さないならば０と二値で表してもよい
が、０から１までの連続値による確立分布で表現しても
よい。
の座標値（ｃｂ、ｃｒ）を入力として、被写体色情報登
録部５１０に登録されている被写体の色分布９０１を参
照し、入力色が被写体の色分布の領域に属するか否かを
判定する。判定結果は、例えば、被写体色分布９０１に
属すならば１、属さないならば０と二値で表してもよい
が、０から１までの連続値による確立分布で表現しても
よい。
【００３５】本実施形態では、画像入力部５０２から供
給される画像データがＲＧＢ形式で記述されているとし
ているが、画像データはＹＩＱやＹＵＶで記述されてい
ても良い。この場合には、ステップ１００１を省略し、
ステップ１００２の（ｃｂ、ｃｒ）にＩＱあるいはＵＶ
空間の座標値を入力することにより、同様の効果が得ら
れる。
給される画像データがＲＧＢ形式で記述されているとし
ているが、画像データはＹＩＱやＹＵＶで記述されてい
ても良い。この場合には、ステップ１００１を省略し、
ステップ１００２の（ｃｂ、ｃｒ）にＩＱあるいはＵＶ
空間の座標値を入力することにより、同様の効果が得ら
れる。
【００３６】画像生成部５０６では、カメラ位置姿勢計
測部５０５から供給されるカメラの３次元的な位置と姿
勢の情報を用いて、ビデオカメラ５０１で撮影された画
像に合わせて、仮想空間データベースに含まれるＣＧモ
デルの幾何情報および色やテクスチャなどの属性情報、
および照明情報を用いて３次元ＣＧ画像を生成する。３
次元ＣＧ画像の生成は既知の技術であるので説明を省略
する。
測部５０５から供給されるカメラの３次元的な位置と姿
勢の情報を用いて、ビデオカメラ５０１で撮影された画
像に合わせて、仮想空間データベースに含まれるＣＧモ
デルの幾何情報および色やテクスチャなどの属性情報、
および照明情報を用いて３次元ＣＧ画像を生成する。３
次元ＣＧ画像の生成は既知の技術であるので説明を省略
する。
【００３７】画像合成部５０８では、画像入力部５０１
から供給される実写画像４０１と、画像生成部５０６か
ら供給されるＣＧ画像２０４とを、被写体領域抽出部５
１０から供給される被写体領域画像７０１を用いて、目
的とする合成画像２０１を生成する。
から供給される実写画像４０１と、画像生成部５０６か
ら供給されるＣＧ画像２０４とを、被写体領域抽出部５
１０から供給される被写体領域画像７０１を用いて、目
的とする合成画像２０１を生成する。
【００３８】画像合成部５０８における画像合成処理に
ついて図１１を用いて説明する。ステップ１１０１で
は、実写画像４０１を画像表示のための画像メモリであ
るフレームバッファに転送する。ステップ１１０２で
は、被写体領域抽出部５１０で生成された被写体領域画
像７０１をマスク処理のための画像メモリであるステン
シルバッファに転送する。
ついて図１１を用いて説明する。ステップ１１０１で
は、実写画像４０１を画像表示のための画像メモリであ
るフレームバッファに転送する。ステップ１１０２で
は、被写体領域抽出部５１０で生成された被写体領域画
像７０１をマスク処理のための画像メモリであるステン
シルバッファに転送する。
【００３９】ステップ１１０３では、ＣＧ画像２０４を
生成し、生成されたＣＧ画像を構成する各座標（ｉ、
ｊ）の画素についてステンシルバッファの値Ｓｔｅｎｃ
ｉｌ（Ｉ、ｊ）を参照して以下のようにフレームバッフ
ァに描画する。
生成し、生成されたＣＧ画像を構成する各座標（ｉ、
ｊ）の画素についてステンシルバッファの値Ｓｔｅｎｃ
ｉｌ（Ｉ、ｊ）を参照して以下のようにフレームバッフ
ァに描画する。
【００４０】Ｓｔｅｎｃｉｌ（Ｉ、ｊ）＝１、すなわち
実写画像中の画素ｒｅａｌ（Ｉ、ｊ）が被写体領域に含
まれる場合には、対応するフレームバッファの画素ｆｒ
ａｍｅ（Ｉ、ｊ）を更新しない。
実写画像中の画素ｒｅａｌ（Ｉ、ｊ）が被写体領域に含
まれる場合には、対応するフレームバッファの画素ｆｒ
ａｍｅ（Ｉ、ｊ）を更新しない。
【００４１】一方、Ｓｔｅｎｃｉｌ（Ｉ、ｊ）＝０、す
なわち実写画像中の画素ｒｅａｌ（Ｉ、ｊ）が被写体領
域に含まれていない場合には、Ｆｒａｍｅ（Ｉ、ｊ）の
値をＣＧ画像の画素値ｃｇｉ（Ｉ、ｊ）によって置き換
える。
なわち実写画像中の画素ｒｅａｌ（Ｉ、ｊ）が被写体領
域に含まれていない場合には、Ｆｒａｍｅ（Ｉ、ｊ）の
値をＣＧ画像の画素値ｃｇｉ（Ｉ、ｊ）によって置き換
える。
【００４２】その結果、被写体領域では常に実写画像の
画素値がフレームバッファに描き込まれ、被写体領域で
ない領域では、ＣＧが重畳されている部分に関してはＣ
Ｇ画像の画素値がフレームバッファに描き込まれる。ま
た、被写体領域でなくかつＣＧが重畳されない領域は実
写画像がフレームバッファに描き込まれる。
画素値がフレームバッファに描き込まれ、被写体領域で
ない領域では、ＣＧが重畳されている部分に関してはＣ
Ｇ画像の画素値がフレームバッファに描き込まれる。ま
た、被写体領域でなくかつＣＧが重畳されない領域は実
写画像がフレームバッファに描き込まれる。
【００４３】このように本実施形態の画像合成処理は、
ステンシルバッファに保持された被写体領域画像７０１
をマスクデータとして、実写画像が書き込まれたフレー
ムメモリへのＣＧ画像の描画を制御する。本実施形態に
よれば、高速に合成処理を行うことができる。
ステンシルバッファに保持された被写体領域画像７０１
をマスクデータとして、実写画像が書き込まれたフレー
ムメモリへのＣＧ画像の描画を制御する。本実施形態に
よれば、高速に合成処理を行うことができる。
【００４４】また、頭部搭載型表示装置を装着したユー
ザは、図２に示す合成画像２０１のように、現実空間を
背景にしてＣＧによる仮想物体を観察することができ、
さらに、自分自身の手を仮想物体の手前に置いた状態を
見ることが可能になる。
ザは、図２に示す合成画像２０１のように、現実空間を
背景にしてＣＧによる仮想物体を観察することができ、
さらに、自分自身の手を仮想物体の手前に置いた状態を
見ることが可能になる。
【００４５】また、被写体（特定画像）と実写風景（特
定画像以外の実写画像）とを、同一のビデオカメラで撮
像することができるので、被写体と実写風景の位置関係
がずれることを防ぐことができる。また、ＣＧ画像はカ
メラ位置姿勢センサの出力に応じて生成、合成するの
で、実写画像と適切な位置関係を保つことができる。
定画像以外の実写画像）とを、同一のビデオカメラで撮
像することができるので、被写体と実写風景の位置関係
がずれることを防ぐことができる。また、ＣＧ画像はカ
メラ位置姿勢センサの出力に応じて生成、合成するの
で、実写画像と適切な位置関係を保つことができる。
【００４６】（他の実施形態）上述の実施形態の目的
は、上述した実施形態の機能を実現するソフトウェアの
プログラムコードを記録した記憶媒体（または記録媒
体）を、システムあるいは装置に供給し、そのシステム
あるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）
が記憶媒体に格納されたプログラムコードを読み出し実
行することによっても、達成されることは言うまでもな
い。この場合、記憶媒体から読み出されたプログラムコ
ード自体が、上述した実施形態の機能を実現することに
なり、そのプログラムコードを記憶した記憶媒体は上述
の実施形態を構成することになる。
は、上述した実施形態の機能を実現するソフトウェアの
プログラムコードを記録した記憶媒体（または記録媒
体）を、システムあるいは装置に供給し、そのシステム
あるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）
が記憶媒体に格納されたプログラムコードを読み出し実
行することによっても、達成されることは言うまでもな
い。この場合、記憶媒体から読み出されたプログラムコ
ード自体が、上述した実施形態の機能を実現することに
なり、そのプログラムコードを記憶した記憶媒体は上述
の実施形態を構成することになる。
【００４７】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているオペレーテ
ィングシステム（ＯＳ）などが実際の処理の一部または
全部を行い、その処理によって上述した実施形態の機能
が実現される場合も含まれることは言うまでもない。
ムコードを実行することにより、上述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているオペレーテ
ィングシステム（ＯＳ）などが実際の処理の一部または
全部を行い、その処理によって上述した実施形態の機能
が実現される場合も含まれることは言うまでもない。
【００４８】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって上述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって上述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００４９】以上の実施形態を上記記憶媒体に適用する
場合、その記憶媒体には、先に説明した（図５および図
１０と図１１に示す）ブロックダイヤグラムおよびフロ
ーチャートの一部または全部に対応するプログラムコー
ドが格納されることになる。
場合、その記憶媒体には、先に説明した（図５および図
１０と図１１に示す）ブロックダイヤグラムおよびフロ
ーチャートの一部または全部に対応するプログラムコー
ドが格納されることになる。
【００５０】
【発明の効果】本発明によれば、特定画像が含まれる実
写画像とコンピュータグラフィックス画像から、該特定
画像以外の実写画像を背景に、該コンピュータグラフィ
ックス画像と該特定画像を前景にした合成画像を、各画
像が適切な位置関係でかつ自然に生成することができ
る。
写画像とコンピュータグラフィックス画像から、該特定
画像以外の実写画像を背景に、該コンピュータグラフィ
ックス画像と該特定画像を前景にした合成画像を、各画
像が適切な位置関係でかつ自然に生成することができ
る。
【図１】従来のクロマキー合成の事例を説明する図であ
る。
る。
【図２】課題とする合成画像の例を示す図である。
【図３】従来のクロマキー合成を説明する図である。
【図４】実施形態の合成処理を説明する図である。
【図５】実施形態の処理の流れを示すブロック図であ
る。
る。
【図６】利用形態を示す図である。
【図７】被写体領域の抽出を説明する図である。
【図８】ＹＣｂＣｒ表色系による色彩情報の記述を説明
する図である。
する図である。
【図９】ＹＣｂＣｒ表色系による被写体の色彩情報の分
布例を示す図である。
布例を示す図である。
【図１０】被写体領域抽出処理を説明するフローチャー
トである。
トである。
【図１１】画像合成処理の流れを説明するフローチャー
トである。
トである。
フロントページの続き
Ｆターム(参考） 5B050 AA08 BA08 BA09 CA07 DA02
DA04 EA09 EA18 EA19 EA24
EA27 FA01
5C023 AA16 AA37 BA11 CA01
5C066 AA01 AA12 AA13 ED02 EE11
GA02
5L096 AA02 FA02 FA15
Claims (8)
- 【請求項１】 特定画像が含まれる実写画像と、コンピ
ュータグラフィックス画像を、該特定画像以外の実写画
像が背景に、該コンピュータグラフィックス画像と該特
定画像が前景になるように合成する情報処理方法であっ
て、 特定画像が含まれる実写画像を取得し、 前記実写画像から前記特定画像の領域を示す領域情報を
検出し、 前記領域情報を用いて、前記実写画像における前記特定
画像の領域以外の領域に対してはコンピュータグラフィ
ックス画像を合成することにより、前記第１の画像が背
景に、前記コンピュータグラフィックス画像と前記特定
画像が前景となる合成画像を生成することを特徴とする
情報処理方法。 - 【請求項２】 前記実写画像は撮像部によって実時間で
撮影されることを特徴とする請求項１記載の情報処理方
法。 - 【請求項３】 前記撮像部の位置情報を取得し、 前記位置情報に応じて前記コンピュータグラフィックス
を生成することを特徴とする請求項１記載の情報処理方
法。 - 【請求項４】 前記領域情報は、前記実画像の各画素の
色情報を、設定されている特定画像の色情報と比較する
ことにより求められることを特徴とする請求項１記載の
情報処理方法。 - 【請求項５】 請求項１乃至請求項４のいずれかに記載
の情報処理方法を実現するためのプログラム。 - 【請求項６】 実写の風景を背景にコンピュータグラフ
ィックスと実写の被写体を前景に合成して表示する情報
処理装置であって、 実写画像を実時間で撮像する撮像部と、 前記撮像部の位置と回転情報を計測する位置姿勢計測部
と、 コンピュータグラフィックス画像を生成するコンピュー
タグラフィックス画像生成部と、 前記実写画像から前記被写体領域を検出する検出部と、 前記検出された被写体領域に基づき、前記実写画像の被
写体領域を除いた領域にのみ前記コンピュータグラフィ
ックス画像を重畳する画像合成部と、 前記画像合成部から出力された合成画像を表示する画像
表示部とをを備えることを特徴とする情報処理装置。 - 【請求項７】 前記表示部は頭部搭載型であることを特
徴とする請求項６記載の情報処理装置。 - 【請求項８】 前記撮像部および前記位置姿勢計測部
は、前記表示部に固定されていることを特徴とする請求
項６に記載の映像合成装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002095535A JP4136420B2 (ja) | 2002-03-29 | 2002-03-29 | 情報処理方法および装置 |
| US10/397,514 US7212687B2 (en) | 2002-03-29 | 2003-03-27 | Method and apparatus for processing information |
| EP03252047.0A EP1349382B1 (en) | 2002-03-29 | 2003-03-31 | Method and apparatus for processing image information |
| EP15200539.3A EP3043548A1 (en) | 2002-03-29 | 2003-03-31 | Method and apparatus for processing information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002095535A JP4136420B2 (ja) | 2002-03-29 | 2002-03-29 | 情報処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003296759A true JP2003296759A (ja) | 2003-10-17 |
| JP4136420B2 JP4136420B2 (ja) | 2008-08-20 |
Family
ID=27800550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002095535A Expired - Lifetime JP4136420B2 (ja) | 2002-03-29 | 2002-03-29 | 情報処理方法および装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7212687B2 (ja) |
| EP (2) | EP1349382B1 (ja) |
| JP (1) | JP4136420B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005293142A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | 画像処理方法および画像処理装置 |
| JP2006126936A (ja) * | 2004-10-26 | 2006-05-18 | Canon Inc | 画像処理方法、画像処理装置 |
| JP2008040832A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 複合現実感提示システム及びその制御方法 |
| JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
| US7574070B2 (en) | 2003-09-30 | 2009-08-11 | Canon Kabushiki Kaisha | Correction of subject area detection information, and image combining apparatus and method using the correction |
| US7589747B2 (en) | 2003-09-30 | 2009-09-15 | Canon Kabushiki Kaisha | Mixed reality space image generation method and mixed reality system |
| JP2010541054A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| JP2010541053A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| US8022967B2 (en) | 2004-06-03 | 2011-09-20 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US8144238B2 (en) | 2006-08-11 | 2012-03-27 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP2012088777A (ja) * | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 |
| US8280115B2 (en) | 2007-10-30 | 2012-10-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| WO2014156033A1 (en) | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| JP2015161699A (ja) * | 2014-02-26 | 2015-09-07 | セイコーエプソン株式会社 | 表示システム、健康器具および表示制御方法 |
| WO2015162991A1 (ja) * | 2014-04-25 | 2015-10-29 | 株式会社ソニー・コンピュータエンタテインメント | 画像融合システム、情報処理装置、情報端末、および情報処理方法 |
| JPWO2015111283A1 (ja) * | 2014-01-23 | 2017-03-23 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
| JP2019192288A (ja) * | 2013-01-03 | 2019-10-31 | クアルコム，インコーポレイテッド | 前景オブジェクトに基づく拡張現実のレンダリング |
| JP2020162149A (ja) * | 2020-06-15 | 2020-10-01 | 綿半ソリューションズ株式会社 | 車両撮影システム |
| JP2021058979A (ja) * | 2019-10-08 | 2021-04-15 | 大豊精機株式会社 | ロボットアーム試験装置 |
| JP2021077078A (ja) * | 2019-11-08 | 2021-05-20 | 株式会社Ａｃｗ−Ｄｅｅｐ | 拡張仮想空間提供システム |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4136420B2 (ja) | 2002-03-29 | 2008-08-20 | キヤノン株式会社 | 情報処理方法および装置 |
| JP4156322B2 (ja) * | 2002-09-27 | 2008-09-24 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| JP4393169B2 (ja) | 2003-12-04 | 2010-01-06 | キヤノン株式会社 | 複合現実感提示方法および装置 |
| KR20050105401A (ko) * | 2004-05-01 | 2005-11-04 | 삼성전자주식회사 | 디스플레이장치 |
| US8340398B2 (en) * | 2006-12-02 | 2012-12-25 | Electronics And Telecommunications Research Institute | Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same |
| JP4834606B2 (ja) * | 2007-05-16 | 2011-12-14 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
| KR101411324B1 (ko) * | 2007-08-14 | 2014-06-25 | 삼성전자주식회사 | 이미지 디스플레이 방법 및 상기 방법을 적용한 디스플레이장치 |
| JP4950834B2 (ja) * | 2007-10-19 | 2012-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP5105550B2 (ja) * | 2009-03-19 | 2012-12-26 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
| KR101608990B1 (ko) * | 2009-09-07 | 2016-04-04 | 엘지전자 주식회사 | 전자 장치의 원격 제어 장치 및 그것을 이용한 원격 제어 방법 |
| JP5145444B2 (ja) * | 2011-06-27 | 2013-02-20 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理装置の制御方法、及びプログラム |
| US8724853B2 (en) * | 2011-07-18 | 2014-05-13 | Google Inc. | Identifying a target object using optical occlusion |
| FR2984057B1 (fr) | 2011-12-13 | 2014-01-03 | Solidanim | Systeme de tournage de film video |
| GB201208088D0 (en) * | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
| GB201216210D0 (en) | 2012-09-12 | 2012-10-24 | Appeartome Ltd | Augmented reality apparatus and method |
| GB201404990D0 (en) | 2014-03-20 | 2014-05-07 | Appeartome Ltd | Augmented reality apparatus and method |
| JP5762600B1 (ja) * | 2014-06-06 | 2015-08-12 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| GB201410285D0 (en) * | 2014-06-10 | 2014-07-23 | Appeartome Ltd | Augmented reality apparatus and method |
| CN105139349A (zh) * | 2015-08-03 | 2015-12-09 | 京东方科技集团股份有限公司 | 虚拟现实显示方法及*** |
| CN108398787B (zh) * | 2018-03-20 | 2023-05-16 | 京东方科技集团股份有限公司 | 增强现实显示设备、方法和增强现实眼镜 |
| WO2019198200A1 (ja) * | 2018-04-12 | 2019-10-17 | 日本電気株式会社 | 学習用画像生成装置、学習用画像生成方法及びプログラム |
| US10884525B1 (en) | 2019-04-23 | 2021-01-05 | Lockheed Martin Corporation | Interactive mixed masking system, method and computer program product for a simulator |
| CN112669337A (zh) * | 2020-12-28 | 2021-04-16 | 上海玄彩美科网络科技有限公司 | 一种自迭代式的局部绿幕抠像方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4835532A (en) * | 1982-07-30 | 1989-05-30 | Honeywell Inc. | Nonaliasing real-time spatial transform image processing system |
| GB9121707D0 (en) | 1991-10-12 | 1991-11-27 | British Aerospace | Improvements in computer-generated imagery |
| US5469536A (en) * | 1992-02-25 | 1995-11-21 | Imageware Software, Inc. | Image editing system including masking capability |
| JP3193930B2 (ja) | 1992-07-08 | 2001-07-30 | 松下電器産業株式会社 | 画像入力合成装置 |
| JPH07221971A (ja) * | 1994-02-01 | 1995-08-18 | Canon Inc | 画像処理方法及び装置 |
| EP0708563B1 (en) * | 1994-10-19 | 2004-12-22 | Matsushita Electric Industrial Co., Ltd. | Image decoding device |
| JPH11507797A (ja) * | 1995-06-16 | 1999-07-06 | プリンストン ビデオ イメージ，インコーポレイテッド | 合成基準画像を用いる適応形オクルージョンを用いた映像内へのリアルタイム挿入システムおよび方法 |
| GB9514313D0 (en) | 1995-07-13 | 1995-09-13 | Beattie Robert J | Live-ads |
| US6005972A (en) * | 1996-11-19 | 1999-12-21 | Eastman Kodak Company | Method for adding personalized text and/or graphics to composite digital image products |
| JP4328397B2 (ja) * | 1998-07-03 | 2009-09-09 | 富士通株式会社 | 画像データ処理方法及び装置並びに記憶媒体 |
| JP3024700B1 (ja) | 1998-12-17 | 2000-03-21 | 川崎重工業株式会社 | Ｈｍｄ付き溶接部モニタリング装置 |
| CA2393803C (en) | 1999-11-08 | 2010-09-14 | Mirage Systems, Inc. | Method and apparatus for real time insertion of images into video |
| JP3581835B2 (ja) * | 2001-03-14 | 2004-10-27 | 株式会社イマジカ | クロマキー処理における色変換方法及び装置 |
| US7206434B2 (en) * | 2001-07-10 | 2007-04-17 | Vistas Unlimited, Inc. | Method and system for measurement of the duration an area is included in an image stream |
| JP4136420B2 (ja) | 2002-03-29 | 2008-08-20 | キヤノン株式会社 | 情報処理方法および装置 |
-
2002
- 2002-03-29 JP JP2002095535A patent/JP4136420B2/ja not_active Expired - Lifetime
-
2003
- 2003-03-27 US US10/397,514 patent/US7212687B2/en active Active
- 2003-03-31 EP EP03252047.0A patent/EP1349382B1/en not_active Expired - Lifetime
- 2003-03-31 EP EP15200539.3A patent/EP3043548A1/en not_active Withdrawn
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7574070B2 (en) | 2003-09-30 | 2009-08-11 | Canon Kabushiki Kaisha | Correction of subject area detection information, and image combining apparatus and method using the correction |
| US7589747B2 (en) | 2003-09-30 | 2009-09-15 | Canon Kabushiki Kaisha | Mixed reality space image generation method and mixed reality system |
| JP2005293142A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | 画像処理方法および画像処理装置 |
| US7728852B2 (en) | 2004-03-31 | 2010-06-01 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| US8022967B2 (en) | 2004-06-03 | 2011-09-20 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP2006126936A (ja) * | 2004-10-26 | 2006-05-18 | Canon Inc | 画像処理方法、画像処理装置 |
| JP4574323B2 (ja) * | 2004-10-26 | 2010-11-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP2008040832A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 複合現実感提示システム及びその制御方法 |
| US7834893B2 (en) | 2006-08-07 | 2010-11-16 | Canon Kabushiki Kaisha | Mixed-reality presentation system and control method therefor |
| US8144238B2 (en) | 2006-08-11 | 2012-03-27 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP2012226766A (ja) * | 2007-09-25 | 2012-11-15 | Metaio Gmbh | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| JP2010541054A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| US11080932B2 (en) | 2007-09-25 | 2021-08-03 | Apple Inc. | Method and apparatus for representing a virtual object in a real environment |
| JP2014238883A (ja) * | 2007-09-25 | 2014-12-18 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| US10665025B2 (en) | 2007-09-25 | 2020-05-26 | Apple Inc. | Method and apparatus for representing a virtual object in a real environment |
| JP2010541053A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| US10366538B2 (en) | 2007-09-25 | 2019-07-30 | Apple Inc. | Method and device for illustrating a virtual object in a real environment |
| US10043315B2 (en) | 2007-09-25 | 2018-08-07 | Apple Inc. | Method and apparatus for representing a virtual object in a real environment |
| US8280115B2 (en) | 2007-10-30 | 2012-10-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
| JP2013077307A (ja) * | 2007-10-30 | 2013-04-25 | Canon Inc | 画像処理装置、画像処理方法 |
| US9737814B2 (en) | 2010-10-15 | 2017-08-22 | Nintendo Co., Ltd. | Computer readable medium storing image processing program of synthesizing images |
| JP2012088777A (ja) * | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 |
| JP2019192288A (ja) * | 2013-01-03 | 2019-10-31 | クアルコム，インコーポレイテッド | 前景オブジェクトに基づく拡張現実のレンダリング |
| US11054650B2 (en) | 2013-03-26 | 2021-07-06 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| WO2014156033A1 (en) | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| JPWO2015111283A1 (ja) * | 2014-01-23 | 2017-03-23 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
| JP2015161699A (ja) * | 2014-02-26 | 2015-09-07 | セイコーエプソン株式会社 | 表示システム、健康器具および表示制御方法 |
| JP2015210379A (ja) * | 2014-04-25 | 2015-11-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像融合システム、情報処理装置、情報端末、および情報処理方法 |
| WO2015162991A1 (ja) * | 2014-04-25 | 2015-10-29 | 株式会社ソニー・コンピュータエンタテインメント | 画像融合システム、情報処理装置、情報端末、および情報処理方法 |
| JP2021058979A (ja) * | 2019-10-08 | 2021-04-15 | 大豊精機株式会社 | ロボットアーム試験装置 |
| JP7443014B2 (ja) | 2019-10-08 | 2024-03-05 | 大豊精機株式会社 | ロボットアーム試験装置 |
| JP2021077078A (ja) * | 2019-11-08 | 2021-05-20 | 株式会社Ａｃｗ−Ｄｅｅｐ | 拡張仮想空間提供システム |
| JP2020162149A (ja) * | 2020-06-15 | 2020-10-01 | 綿半ソリューションズ株式会社 | 車両撮影システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1349382A2 (en) | 2003-10-01 |
| EP1349382A3 (en) | 2006-04-05 |
| US7212687B2 (en) | 2007-05-01 |
| EP3043548A1 (en) | 2016-07-13 |
| JP4136420B2 (ja) | 2008-08-20 |
| EP1349382B1 (en) | 2016-05-18 |
| US20030185461A1 (en) | 2003-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003296759A (ja) | 情報処理方法および装置 | |
| US8280115B2 (en) | Image processing apparatus and image processing method | |
| JP6587421B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP5474169B2 (ja) | 画像処理装置、画像処理方法 | |
| US7558403B2 (en) | Information processing apparatus and information processing method | |
| US7519218B2 (en) | Marker detection method and apparatus, and position and orientation estimation method | |
| EP3218878B1 (en) | Image to item mapping | |
| US7574070B2 (en) | Correction of subject area detection information, and image combining apparatus and method using the correction | |
| WO2017163384A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
| JP2002159019A (ja) | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 | |
| JP4481236B2 (ja) | プログラム、情報記憶媒体、写真印刷装置及び写真印刷方法 | |
| EP0780003B1 (en) | Method and apparatus for determining the location of a reflective object within a video field | |
| JP2005117407A (ja) | 画像処理装置 | |
| JP4323910B2 (ja) | 画像合成装置及び方法 | |
| JP4328639B2 (ja) | 被写体検出情報の調整方法及び調整装置 | |
| JP4745724B2 (ja) | 画像処理方法、画像処理装置 | |
| JP4046973B2 (ja) | 情報処理方法および画像混合装置 | |
| JP2008299670A (ja) | 画像領域抽出装置およびその制御方法、複合現実感提示システム及びコンピュータプログラム | |
| JP6341540B2 (ja) | 情報端末装置、方法及びプログラム | |
| CN108564070A (zh) | 用于提取手势的方法及其装置 | |
| JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 | |
| US6377626B1 (en) | Motion data preparation system | |
| JP4084784B2 (ja) | プログラム、情報記憶媒体、写真印刷装置及び写真印刷方法 | |
| JP2021093049A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4171722B2 (ja) | プログラム、情報記憶媒体、写真印刷装置及び写真印刷方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4136420 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |