JP3030485B2 - ３次元形状抽出方法及び装置 - Google Patents
３次元形状抽出方法及び装置Info
- Publication number
- JP3030485B2 JP3030485B2 JP6047491A JP4749194A JP3030485B2 JP 3030485 B2 JP3030485 B2 JP 3030485B2 JP 6047491 A JP6047491 A JP 6047491A JP 4749194 A JP4749194 A JP 4749194A JP 3030485 B2 JP3030485 B2 JP 3030485B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- extracted
- value
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明はコンピュータグラフィッ
クスと実写映像との合成を行う方法及びその装置に関す
る。
クスと実写映像との合成を行う方法及びその装置に関す
る。
【０００２】
【従来の技術】最近、映画やコマーシャルフィルムの製
作でコンピュータグラフィックス（以下CGという) と実
写映像の合成が盛んに用いられるようになってきた。例
えば、CGで作った架空の建築物などに、予め撮影した人
間の実写映像を合成することで、あたかも人間がその建
築物の中を歩いている効果を創り出せる。このCGと実写
映像の合成によって作られた映像は、見る者にとってリ
アルでインパクトの強いものであり、特に景観シミュレ
ーションには欠かせないものとなっている。
作でコンピュータグラフィックス（以下CGという) と実
写映像の合成が盛んに用いられるようになってきた。例
えば、CGで作った架空の建築物などに、予め撮影した人
間の実写映像を合成することで、あたかも人間がその建
築物の中を歩いている効果を創り出せる。このCGと実写
映像の合成によって作られた映像は、見る者にとってリ
アルでインパクトの強いものであり、特に景観シミュレ
ーションには欠かせないものとなっている。
【０００３】一般的に、CGでは描画する物体の形状は、
平面、２次曲面などの簡単な幾何形状 (形状プリミティ
ブ) を使って定義し、その表面には任意の色付けをした
り、画像データを貼り付ける処理を行う。しかしこの方
法では、木や川などの自然物を描画すると常にその姿が
固定された状態に見えてしまう。そこで、予め風に揺れ
ている木あるいは水が流れている川を撮影しておき、CG
で作成したシーンにその実写映像を合成することで、よ
り自然なアニメーションを作ることができる。従来の方
法では、撮影した実写映像から画像を選択し、平板など
の簡単な形状プリミティブに貼り付けることでCGとの合
成処理を行っている。この合成処理を各フレームごとに
繰り返して行い、連続した合成画像のアニメーションを
製作するのである。
平面、２次曲面などの簡単な幾何形状 (形状プリミティ
ブ) を使って定義し、その表面には任意の色付けをした
り、画像データを貼り付ける処理を行う。しかしこの方
法では、木や川などの自然物を描画すると常にその姿が
固定された状態に見えてしまう。そこで、予め風に揺れ
ている木あるいは水が流れている川を撮影しておき、CG
で作成したシーンにその実写映像を合成することで、よ
り自然なアニメーションを作ることができる。従来の方
法では、撮影した実写映像から画像を選択し、平板など
の簡単な形状プリミティブに貼り付けることでCGとの合
成処理を行っている。この合成処理を各フレームごとに
繰り返して行い、連続した合成画像のアニメーションを
製作するのである。
【０００４】なお、静止画の合成画像に関する公知文献
として「景観シミュレーションのための 2.5次元簡易情
景モデル構築の一手法」 (1992年７月：「画像の認識・
理解シンボジウム (MIRU '92) 」がある。また本発明の
一部である３次元図形抽出に関するものとして特開昭62
-162173号公報及び特開平3-244005号公報がある。
として「景観シミュレーションのための 2.5次元簡易情
景モデル構築の一手法」 (1992年７月：「画像の認識・
理解シンボジウム (MIRU '92) 」がある。また本発明の
一部である３次元図形抽出に関するものとして特開昭62
-162173号公報及び特開平3-244005号公報がある。
【０００５】
【発明が解決しようとする課題】この種技術においては
以下の如き解決すべき課題があった。 (1) 実写映像を３次元形状を持ったCGモデルに変換する
のを簡便に行わしめること (2) この変換の際にオペレータの介入を許容すること (3) 動画の実写映像とCGとの合成を可能にすること (4) 実写映像から所要の部分を抽出する場合の操作性、
能率を高めること (5) CGモデルの回転、拡大縮小及び移動の操作性を高め
ること (6) CGと実写映像との合成の同期を容易にとれるように
すること
以下の如き解決すべき課題があった。 (1) 実写映像を３次元形状を持ったCGモデルに変換する
のを簡便に行わしめること (2) この変換の際にオペレータの介入を許容すること (3) 動画の実写映像とCGとの合成を可能にすること (4) 実写映像から所要の部分を抽出する場合の操作性、
能率を高めること (5) CGモデルの回転、拡大縮小及び移動の操作性を高め
ること (6) CGと実写映像との合成の同期を容易にとれるように
すること
【０００６】〔発明の概要〕この発明で提案する方法，
装置（システム）では、画像処理の技法を用いて、計算
機がユーザとの対話処理を行って、 1) 映像情報の物体単位の切り分け、 2) ３次元幾何情報を付加した動画オブジェクトの生
成、 3) CGモデルと動画オブジェクトの同時表示、の３つの
処理を行う。1)によりスタジオでのブルーバック撮影
が、2)により映像撮影時のカメラの位置情報の測定や記
録が不要になり、また3)により表示の際に視点を変更す
ることが可能となる。
装置（システム）では、画像処理の技法を用いて、計算
機がユーザとの対話処理を行って、 1) 映像情報の物体単位の切り分け、 2) ３次元幾何情報を付加した動画オブジェクトの生
成、 3) CGモデルと動画オブジェクトの同時表示、の３つの
処理を行う。1)によりスタジオでのブルーバック撮影
が、2)により映像撮影時のカメラの位置情報の測定や記
録が不要になり、また3)により表示の際に視点を変更す
ることが可能となる。
【０００７】システム構成の概略 図１に本発明のシステムの構成の概略を示す。本システ
ムでは、特定物体領域の抽出部、３次元幾何情報の抽出
部、動画オブジェクトとCGの同時描画部の３つの処理部
から構成されている。特定物体領域の抽出部と３次元幾
何情報の抽出部により、CGと合成するための動画オブジ
ェクトと呼ぶデータが作られて、ハードディスクに格納
される。このデータを利用して、動画オブジェクト及び
CGの同時描画部では、非リアルタイムに合成画像を生成
する。
ムでは、特定物体領域の抽出部、３次元幾何情報の抽出
部、動画オブジェクトとCGの同時描画部の３つの処理部
から構成されている。特定物体領域の抽出部と３次元幾
何情報の抽出部により、CGと合成するための動画オブジ
ェクトと呼ぶデータが作られて、ハードディスクに格納
される。このデータを利用して、動画オブジェクト及び
CGの同時描画部では、非リアルタイムに合成画像を生成
する。
【０００８】特定物体領域の抽出部 特定物体領域の抽出部は、キャプチャリングツールによ
って入力された映像情報から、特定物体の領域を切り出
す処理を行う。この処理の流れを図２に示す。ここでは
入力データとして連続画像シーケンスを受け取り、出力
として特定物体を包含する矩形領域の画像シーケンス
と、それと同じサイズのアルファ値を格納したアルファ
マップシーケンスを作る。物体の領域を２値のマスクで
切り分けると境界部分に不自然なエリアシングが生じ
る。これを防ぐためにアルファ値を使って領域を定義す
る。あるｎ枚目の画像について、ユーザとの対話処理で
特定物体の領域を決定後、ｎ＋１〜ｎ＋ｍ枚目の処理は
前フレームの処理結果を利用して計算機で半自動的に行
う。
って入力された映像情報から、特定物体の領域を切り出
す処理を行う。この処理の流れを図２に示す。ここでは
入力データとして連続画像シーケンスを受け取り、出力
として特定物体を包含する矩形領域の画像シーケンス
と、それと同じサイズのアルファ値を格納したアルファ
マップシーケンスを作る。物体の領域を２値のマスクで
切り分けると境界部分に不自然なエリアシングが生じ
る。これを防ぐためにアルファ値を使って領域を定義す
る。あるｎ枚目の画像について、ユーザとの対話処理で
特定物体の領域を決定後、ｎ＋１〜ｎ＋ｍ枚目の処理は
前フレームの処理結果を利用して計算機で半自動的に行
う。
【０００９】３次元幾何情報の抽出部 ３次元幾何情報の抽出部は、前述の特定物体領域の抽出
部が作った特定物体を包含する矩形領域の画像シーケン
スとアルファマップシーケンスを利用して２次元の映像
情報から３次元幾何情報を抽出する。この３次元幾何情
報の抽出は、ユーザが２次元の画像上の物体に、複数の
簡単な形状プリミティブ（直方体など）を変形、回転、
移動なとの操作をして、フィッティングを行うことで実
現する。本システムでは視点情報だけでなく、物体の形
状情報及び各面に張り付いているテクスチャ画像を抽出
する。この抽出部では、動画オブジェクトと呼ぶデータ
構造を作るために、映像中の物体に３次元幾何情報を与
え、そのCGモデル化された物体の各面に張り付く映像情
報を抽出し、正面から見たものに正規化して格納する。
部が作った特定物体を包含する矩形領域の画像シーケン
スとアルファマップシーケンスを利用して２次元の映像
情報から３次元幾何情報を抽出する。この３次元幾何情
報の抽出は、ユーザが２次元の画像上の物体に、複数の
簡単な形状プリミティブ（直方体など）を変形、回転、
移動なとの操作をして、フィッティングを行うことで実
現する。本システムでは視点情報だけでなく、物体の形
状情報及び各面に張り付いているテクスチャ画像を抽出
する。この抽出部では、動画オブジェクトと呼ぶデータ
構造を作るために、映像中の物体に３次元幾何情報を与
え、そのCGモデル化された物体の各面に張り付く映像情
報を抽出し、正面から見たものに正規化して格納する。
【００１０】動画オブジェクトの構造 特定物体領域の抽出部と３次元幾何情報の抽出部の処理
を経て生成されたデータは動画オブジェクトと呼ぶ構造
になる。図３に動画オブジェクトの構造の概略を示す。
動画オブジェクトはCGと映像を融合するために新たに作
ったデータ構造で、形状データの他に表面情報として、
各面に張り付く映像情報（静止画，或いは動画）へのポ
インタを格納している。
を経て生成されたデータは動画オブジェクトと呼ぶ構造
になる。図３に動画オブジェクトの構造の概略を示す。
動画オブジェクトはCGと映像を融合するために新たに作
ったデータ構造で、形状データの他に表面情報として、
各面に張り付く映像情報（静止画，或いは動画）へのポ
インタを格納している。
【００１１】合成画像生成部 合成画像生成部では、生成された動画オブジェクトデー
タとCGデータとを同時に描画する。このとき、メタ情報
として描画するCGシーンの時刻Ｔi と時間間隔Δｔを指
定する。CGデータには各物体の形状データの他に、各時
刻に於ける位置情報が含まれる。また、時刻Ｔi によ
り、動画オブジェクトの中の映像データから各面に貼り
付けられる映像が選択される。時刻Ｔi に於ける物体の
表面属性が決定された後、時刻Ｔi における合成シーン
を生成する。
タとCGデータとを同時に描画する。このとき、メタ情報
として描画するCGシーンの時刻Ｔi と時間間隔Δｔを指
定する。CGデータには各物体の形状データの他に、各時
刻に於ける位置情報が含まれる。また、時刻Ｔi によ
り、動画オブジェクトの中の映像データから各面に貼り
付けられる映像が選択される。時刻Ｔi に於ける物体の
表面属性が決定された後、時刻Ｔi における合成シーン
を生成する。
【００１２】以下本発明を具体的に説明する。本願の発
明は大きく３つに分けられる。 (1) 全体構成に関するもの (2) 特定物体の領域の抽出部及び３次元形状情報の付加
部に関するもの (3) 合成画像生成部に関するもの
明は大きく３つに分けられる。 (1) 全体構成に関するもの (2) 特定物体の領域の抽出部及び３次元形状情報の付加
部に関するもの (3) 合成画像生成部に関するもの
【００１３】(2) は 2-1 特定物体領域の抽出部及び３次元形状情報の付加部
の構成に関するもの 2-2 前記抽出部の構成に関するもの 2-3 ３次元形状モデルの表示に関するもの の３つに分けられる。以下(1) を第１群の発明、2-1 、
2-2 、2-3 を夫々第２、３、４群の発明、(3) を第５群
の発明と言う。
の構成に関するもの 2-2 前記抽出部の構成に関するもの 2-3 ３次元形状モデルの表示に関するもの の３つに分けられる。以下(1) を第１群の発明、2-1 、
2-2 、2-3 を夫々第２、３、４群の発明、(3) を第５群
の発明と言う。
【００１４】第１群の発明は特許請求の範囲とはしてい
ないが、他の群の発明に関連するので掲記しておく。 ［第１群の発明］ (概要) 第１群の発明はCGと実写映像との合成の全体構成に関す
るものである。
ないが、他の群の発明に関連するので掲記しておく。 ［第１群の発明］ (概要) 第１群の発明はCGと実写映像との合成の全体構成に関す
るものである。
【００１５】
【従来の技術及び発明が解決しようとする課題】CGと実
写映像の合成は、合成後の映像を想定した上で撮影し、
実写画像から合成すべき部分のみを切り出し、CGに重ね
合わせる手法をとっていた。このような手法における撮
影の場合、ブルーバックによるスタジオ撮影が必要であ
ったり、撮影時にカメラの位置を測定する必要があるな
ど、大掛かりな環境が必要である。
写映像の合成は、合成後の映像を想定した上で撮影し、
実写画像から合成すべき部分のみを切り出し、CGに重ね
合わせる手法をとっていた。このような手法における撮
影の場合、ブルーバックによるスタジオ撮影が必要であ
ったり、撮影時にカメラの位置を測定する必要があるな
ど、大掛かりな環境が必要である。
【００１６】計算機によって支援する方式も前述のMIRU
'92の文献に提案されている。これは視点情報を実写映
像から抽出し、その映像中の対象物を平面に近似して、
CGと合成する手法である。しかし、完全な３次元情報を
有するモデルではないため、合成時に視点を変更できな
いなど、合成処理に制限を受ける。特開平3-138784号公
報には静止画中の物体を３次元として扱うために、静止
画中の物体を３次元モデルに基づいて再構成し、その３
次元物体に相当する部分画像を、３次元物体モデルの表
面テクスチャとしてマッピングし表示する方式が提案さ
れている。この方式では、１つの３次元部に対し、複数
枚の入力画像から表面テクスチャを合成することも提案
している。しかし、映像 (動画像) の場合、表面テクス
チャが刻々と変化する場合も考えられ、複数テクスチャ
を合成した場合、時系列方向で平滑化したテクスチャが
得られてしまうこともあり不適当である。
'92の文献に提案されている。これは視点情報を実写映
像から抽出し、その映像中の対象物を平面に近似して、
CGと合成する手法である。しかし、完全な３次元情報を
有するモデルではないため、合成時に視点を変更できな
いなど、合成処理に制限を受ける。特開平3-138784号公
報には静止画中の物体を３次元として扱うために、静止
画中の物体を３次元モデルに基づいて再構成し、その３
次元物体に相当する部分画像を、３次元物体モデルの表
面テクスチャとしてマッピングし表示する方式が提案さ
れている。この方式では、１つの３次元部に対し、複数
枚の入力画像から表面テクスチャを合成することも提案
している。しかし、映像 (動画像) の場合、表面テクス
チャが刻々と変化する場合も考えられ、複数テクスチャ
を合成した場合、時系列方向で平滑化したテクスチャが
得られてしまうこともあり不適当である。
【００１７】
【発明が解決しようとする課題】本発明はこのような技
術的背景の下になされたものであり、実写映像を３次元
形状を有するCGモデルに簡便に変換することができる画
像合成方法を提案することを第１の目的とする。また前
記CGモデルをフレームごとに生成して、その結果動画に
もできる映像合成方法を提供することを第２の目的とす
る。
術的背景の下になされたものであり、実写映像を３次元
形状を有するCGモデルに簡便に変換することができる画
像合成方法を提案することを第１の目的とする。また前
記CGモデルをフレームごとに生成して、その結果動画に
もできる映像合成方法を提供することを第２の目的とす
る。
【００１８】
【課題を解決するための手段】本発明に係る画像合成方
法は、コンピュータグラフィックスと実写映像とを合成
する画像合成方法において、実写映像中の特定の領域を
抽出する過程と、抽出した領域に３次元形状の情報を付
加する過程と、抽出領域の情報及び３次元形状の情報に
基づき、抽出領域に係る情報をコンピュータグラフィッ
クスモデル化する過程とを備えることを主な特徴とす
る。
法は、コンピュータグラフィックスと実写映像とを合成
する画像合成方法において、実写映像中の特定の領域を
抽出する過程と、抽出した領域に３次元形状の情報を付
加する過程と、抽出領域の情報及び３次元形状の情報に
基づき、抽出領域に係る情報をコンピュータグラフィッ
クスモデル化する過程とを備えることを主な特徴とす
る。
【００１９】更に、コンピュータグラフィックスモデル
化した前記抽出領域に係る情報と他のコンピュータグラ
フィックスモデルとを混在表示させるべくこれらを合成
する過程を備える。そして動画作成のために複数フレー
ムに亘って同様の処理を実行する。
化した前記抽出領域に係る情報と他のコンピュータグラ
フィックスモデルとを混在表示させるべくこれらを合成
する過程を備える。そして動画作成のために複数フレー
ムに亘って同様の処理を実行する。
【００２０】本発明に係る画像合成装置は、コンピュー
タグラフィックスと実写映像とを合成する画像合成装置
において、実写映像中の特定の領域を抽出する手段と、
抽出した領域に３次元形状の情報を付加する手段と、抽
出領域の情報及び３次元形状の情報に基づき、抽出領域
に係る情報をコンピュータグラフィックスモデル化する
手段とを備えることを主な特徴とする。
タグラフィックスと実写映像とを合成する画像合成装置
において、実写映像中の特定の領域を抽出する手段と、
抽出した領域に３次元形状の情報を付加する手段と、抽
出領域の情報及び３次元形状の情報に基づき、抽出領域
に係る情報をコンピュータグラフィックスモデル化する
手段とを備えることを主な特徴とする。
【００２１】更に、コンピュータグラフィックスモデル
化した前記抽出領域に係る情報と他のコンピュータグラ
フィックスモデルとを混在表示させるべくこれらを合成
する手段を備える。
化した前記抽出領域に係る情報と他のコンピュータグラ
フィックスモデルとを混在表示させるべくこれらを合成
する手段を備える。
【００２２】
【作用】実写映像から特定の物体に対応する領域を切り
出し、これに３次元形状情報を付加する。これにより実
写映像の前記特定物体の表面属性を有するCGモデルが生
成される。これを単独で用いるか、又は他のCGモデルと
混合する。更に複数フレームに亘って同様の処理を行う
ことで動画での画像合成が行える。
出し、これに３次元形状情報を付加する。これにより実
写映像の前記特定物体の表面属性を有するCGモデルが生
成される。これを単独で用いるか、又は他のCGモデルと
混合する。更に複数フレームに亘って同様の処理を行う
ことで動画での画像合成が行える。
【００２３】
【実施例】以下本発明をその実施例を示す図面に基づき
具体的に説明する。図４は本発明方法を実施するための
装置のブロック図であり、図５はその処理の流れ図であ
る。図４において９はTVカメラ、ビデオテープ、ビデオ
ディスク等の映像供給装置であり、これらから得られた
実写映像情報はビデオメモリ等からなる画像記憶部５へ
フレーム毎に記憶される。この画像記憶部５に記憶され
ている実写映像情報は特定物体領域抽出部１へ与えら
れ、ここで実写映像中の特定の物体の領域が抽出され
る。抽出領域の指示はオペレータがマウス等のポインテ
ィング装置12を用いて行う。またその具体的な内容は第
２〜４群の発明の説明に詳しい。図６は実写映像として
４角柱及び３角錐が表示されている場合に４角柱を抽出
領域として指定した（太線で示す）場合の状態を示して
いる。このようにして指定された領域の映像情報は３次
元形状情報付加部２へ送られ、ここで３次元形状情報が
付加される一方、形状・表面属性情報記憶部６に記憶さ
れる。
具体的に説明する。図４は本発明方法を実施するための
装置のブロック図であり、図５はその処理の流れ図であ
る。図４において９はTVカメラ、ビデオテープ、ビデオ
ディスク等の映像供給装置であり、これらから得られた
実写映像情報はビデオメモリ等からなる画像記憶部５へ
フレーム毎に記憶される。この画像記憶部５に記憶され
ている実写映像情報は特定物体領域抽出部１へ与えら
れ、ここで実写映像中の特定の物体の領域が抽出され
る。抽出領域の指示はオペレータがマウス等のポインテ
ィング装置12を用いて行う。またその具体的な内容は第
２〜４群の発明の説明に詳しい。図６は実写映像として
４角柱及び３角錐が表示されている場合に４角柱を抽出
領域として指定した（太線で示す）場合の状態を示して
いる。このようにして指定された領域の映像情報は３次
元形状情報付加部２へ送られ、ここで３次元形状情報が
付加される一方、形状・表面属性情報記憶部６に記憶さ
れる。
【００２４】３次元形状情報付加部２は特定物体領域抽
出部１から与えられた情報に３次元形状情報を付加し
て、これを形状・表面属性情報記憶部６に蓄える。３次
元形状情報付加部２の具体的構成は第２群の発明に詳し
いが、ここでも１例を挙げて説明する。
出部１から与えられた情報に３次元形状情報を付加し
て、これを形状・表面属性情報記憶部６に蓄える。３次
元形状情報付加部２の具体的構成は第２群の発明に詳し
いが、ここでも１例を挙げて説明する。
【００２５】図７はそのフローチャートである。まず図
８に示すように指定して抽出した領域、又は物体を画像
表示装置10の画面に表示させて、オペレータに画像の焦
点距離ｆを入力させる(S1)。この入力にはキーボード等
の文字・数値入力装置11が使用される。次にポインティ
ング装置12を用いて画面上に稜線を描画させ、その奥行
の値を入力させる(S2)。図８には描画した稜線を太線で
示し、指定した奥行の値をＺで表示している。この描
画、奥行指定は取消、訂正が可能である。面の特定は基
本的に３角形（３本の稜線）によって行えるから、この
発明でも図９に示すように３角形に分割するように稜線
を描画し、また３角形への分割のための補助線（矩形の
対角線）の描画を行い、相異る２本の稜線（補助線を含
む）が交わることなく、抽出領域内の総ての点が３本の
稜線に囲まれた状態になっている状態にする(S3)。
８に示すように指定して抽出した領域、又は物体を画像
表示装置10の画面に表示させて、オペレータに画像の焦
点距離ｆを入力させる(S1)。この入力にはキーボード等
の文字・数値入力装置11が使用される。次にポインティ
ング装置12を用いて画面上に稜線を描画させ、その奥行
の値を入力させる(S2)。図８には描画した稜線を太線で
示し、指定した奥行の値をＺで表示している。この描
画、奥行指定は取消、訂正が可能である。面の特定は基
本的に３角形（３本の稜線）によって行えるから、この
発明でも図９に示すように３角形に分割するように稜線
を描画し、また３角形への分割のための補助線（矩形の
対角線）の描画を行い、相異る２本の稜線（補助線を含
む）が交わることなく、抽出領域内の総ての点が３本の
稜線に囲まれた状態になっている状態にする(S3)。
【００２６】次に端点の３次元座標の算出をする(S4)。
これはS1、S2で入力した焦点距離ｆ、奥行Ｚ、及び端点
の画像上の座標（ｘ，ｙ）に基づき、 Ｘ＝（ｘ／ｆ）×Ｚ Ｙ＝（ｙ／ｆ）×Ｚ により得る。なお、稜線上の点及び稜線で囲まれた領域
内の点の３次元座標は、次の式によって算出できる。
これはS1、S2で入力した焦点距離ｆ、奥行Ｚ、及び端点
の画像上の座標（ｘ，ｙ）に基づき、 Ｘ＝（ｘ／ｆ）×Ｚ Ｙ＝（ｙ／ｆ）×Ｚ により得る。なお、稜線上の点及び稜線で囲まれた領域
内の点の３次元座標は、次の式によって算出できる。
【００２７】稜線上の点 稜線の端点の３次元座標、及び画像上の座標を夫々、
（ｘi ，ｙi ），（Ｘi，Ｙi ，Ｚi ）（ｉ＝１，２）
とすると、稜線上の点（ｘ，ｙ）の３次元座標（Ｘ，
Ｙ，Ｚ）は、 Ｘ＝（１−ｔ）Ｘ1 ＋ｔＸ2 Ｙ＝（１−ｔ）Ｙ1 ＋ｔＹ2 Ｚ＝（１−ｔ）Ｚ1 ＋ｔＺ2 により得る。ただし、ｔは、ｘ1 ≠ｘ2 の場合は（ｘ−
ｘ1 ）／（ｘ2 −ｘ1 ）、ｘ1 ＝ｘ2 の場合は（ｙ−ｙ
1 ）／（ｙ2 −ｙ1 ）である。
（ｘi ，ｙi ），（Ｘi，Ｙi ，Ｚi ）（ｉ＝１，２）
とすると、稜線上の点（ｘ，ｙ）の３次元座標（Ｘ，
Ｙ，Ｚ）は、 Ｘ＝（１−ｔ）Ｘ1 ＋ｔＸ2 Ｙ＝（１−ｔ）Ｙ1 ＋ｔＹ2 Ｚ＝（１−ｔ）Ｚ1 ＋ｔＺ2 により得る。ただし、ｔは、ｘ1 ≠ｘ2 の場合は（ｘ−
ｘ1 ）／（ｘ2 −ｘ1 ）、ｘ1 ＝ｘ2 の場合は（ｙ−ｙ
1 ）／（ｙ2 −ｙ1 ）である。
【００２８】稜線で囲まれた領域内の点 この領域内の点はいずれも３本の稜線に囲まれており、
それらの交点は３本の稜線の端点であることが保証され
ている。従って３つの交点の座標がなす平面は、３つの
交点の座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）に
より求めることができる（自明）。この平面の方程式を
ａＸ＋ｂＹ＋ｃＺ−１＝０とおくと、領域内の点の画像
上の座標（ｘ，ｙ）の３次元座標（Ｘ，Ｙ，Ｚ）は、 Ｘ＝ｘ／（ａｘ＋ｂｙ＋ｃｆ） Ｙ＝ｙ／（ａｘ＋ｂｙ＋ｃｆ） Ｚ＝ｆ／（ａｘ＋ｂｙ＋ｃｆ） により得られる。
それらの交点は３本の稜線の端点であることが保証され
ている。従って３つの交点の座標がなす平面は、３つの
交点の座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）に
より求めることができる（自明）。この平面の方程式を
ａＸ＋ｂＹ＋ｃＺ−１＝０とおくと、領域内の点の画像
上の座標（ｘ，ｙ）の３次元座標（Ｘ，Ｙ，Ｚ）は、 Ｘ＝ｘ／（ａｘ＋ｂｙ＋ｃｆ） Ｙ＝ｙ／（ａｘ＋ｂｙ＋ｃｆ） Ｚ＝ｆ／（ａｘ＋ｂｙ＋ｃｆ） により得られる。
【００２９】このようにして得られた稜線から、端点の
３次元座標及び接続関係は形状情報として、端点の特定
物体領域上の座標対応及び特定物体領域画像の画像デー
タは表面属性情報として、形状・表面属性情報記憶部６
へ格納する(S5)。表１は形状・表面属性情報記憶部６の
記憶内容を示している。以上のS1〜S5の処理を全フレー
ムにつき反復する(S6)。
３次元座標及び接続関係は形状情報として、端点の特定
物体領域上の座標対応及び特定物体領域画像の画像デー
タは表面属性情報として、形状・表面属性情報記憶部６
へ格納する(S5)。表１は形状・表面属性情報記憶部６の
記憶内容を示している。以上のS1〜S5の処理を全フレー
ムにつき反復する(S6)。
【００３０】
【表１】
【００３１】次に形状・表面属性情報記憶部６の内容を
映像CGモデル生成部３でCGモデル化する。形状情報のCG
モデル化については稜線の接続関係及び３次元座標よ
り、端点を頂点、稜線を辺、囲まれる部分を面とみなす
ことによりそのままCGモデルを生成できる。
映像CGモデル生成部３でCGモデル化する。形状情報のCG
モデル化については稜線の接続関係及び３次元座標よ
り、端点を頂点、稜線を辺、囲まれる部分を面とみなす
ことによりそのままCGモデルを生成できる。
【００３２】一方、表面属性情報については面とみなし
た部分の表面属性情報として、その位置に対応する画像
情報を、生成するCGモデルのテクスチャとする。その
際、その画像情報を、３次元空間で法線方向から見た画
像として正規化する。正規化の際の回転行列Ｒは、次式
で与える。
た部分の表面属性情報として、その位置に対応する画像
情報を、生成するCGモデルのテクスチャとする。その
際、その画像情報を、３次元空間で法線方向から見た画
像として正規化する。正規化の際の回転行列Ｒは、次式
で与える。
【００３３】
【数１】
【００３４】ただし、回転角ψ及び回転角κは、この領
域の平面の方程式をａＸ＋ｂＹ＋ｃＺ−１＝０と表した
際のａ，ｂ，ｃに基づき
域の平面の方程式をａＸ＋ｂＹ＋ｃＺ−１＝０と表した
際のａ，ｂ，ｃに基づき
【００３５】
【数２】
【００３６】である。ａ，ｂ，ｃは、３つの頂点の３次
元座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）により
求めることができる。このようなCGモデル化処理をすべ
てのフレームに対して適用し、実写映像に対するCGモデ
ルを、各フレームに対するCGモデル列として獲得し、こ
れを映像CGモデル記憶部7bに記憶させる。CGモデル作成
部13は上述のような実写映像から作成するのではない通
常のCGモデルを作成するものであり、作成されたCGモデ
ルはCGモデル記憶部7aに記憶される。
元座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）により
求めることができる。このようなCGモデル化処理をすべ
てのフレームに対して適用し、実写映像に対するCGモデ
ルを、各フレームに対するCGモデル列として獲得し、こ
れを映像CGモデル記憶部7bに記憶させる。CGモデル作成
部13は上述のような実写映像から作成するのではない通
常のCGモデルを作成するものであり、作成されたCGモデ
ルはCGモデル記憶部7aに記憶される。
【００３７】合成情報記憶部８はこのCGモデルと実写映
像から作成した映像CGモデルとを合成画像生成部４で合
成するための情報 (CGモデル配置情報) を記憶するもの
であり、合成画像生成部４は、これに基づいて両CGモデ
ルの合成をし、これを画像表示装置10に表示させたり、
或いは図示しない記録媒体に記録させる。合成画像生成
部４及び合成情報記憶部８については第５群の発明に詳
しい。
像から作成した映像CGモデルとを合成画像生成部４で合
成するための情報 (CGモデル配置情報) を記憶するもの
であり、合成画像生成部４は、これに基づいて両CGモデ
ルの合成をし、これを画像表示装置10に表示させたり、
或いは図示しない記録媒体に記録させる。合成画像生成
部４及び合成情報記憶部８については第５群の発明に詳
しい。
【００３８】
【発明の効果】以上の如き本発明による場合は実写映像
を３次元形状を持つCGモデルへ変換するので、通常のCG
モデルと同様の取扱いができ、これらの合成等の処理が
容易に行える。そして実写映像のCGモデル化は領域の抽
出及びこれに対する３次元形状情報の付加という簡便な
操作で行える。またこの際オペレータの手動介入が可能
であるので、微妙な調整、或いはこの作為的変更が行
え、自由度が高まる。また複数フレームを同様に処理す
ることで動画への適用も可能である。
を３次元形状を持つCGモデルへ変換するので、通常のCG
モデルと同様の取扱いができ、これらの合成等の処理が
容易に行える。そして実写映像のCGモデル化は領域の抽
出及びこれに対する３次元形状情報の付加という簡便な
操作で行える。またこの際オペレータの手動介入が可能
であるので、微妙な調整、或いはこの作為的変更が行
え、自由度が高まる。また複数フレームを同様に処理す
ることで動画への適用も可能である。
【００３９】［第２群の発明］ (概要)この発明は図４の特定物体領域抽出部１及び３次
元形状情報付加部２の構成に係るものである。
元形状情報付加部２の構成に係るものである。
【００４０】
【従来の技術及び発明が解決しようとする課題】画像中
の３次元物体に対し、その物体の形状を完全に抽出する
方式は、未だ確立されていない。従来技術として提案さ
れているのは、物体表面の反射特性を仮定し、観察され
る色値から物体表面の傾きを求める方式や、画像に観察
される物体のモデルを予め記憶しておき、そのモデルと
画像に観察される物体の見えかたを照合する方式、等々
である。これらは、画像理解研究の発展とともに、開発
されてきた。
の３次元物体に対し、その物体の形状を完全に抽出する
方式は、未だ確立されていない。従来技術として提案さ
れているのは、物体表面の反射特性を仮定し、観察され
る色値から物体表面の傾きを求める方式や、画像に観察
される物体のモデルを予め記憶しておき、そのモデルと
画像に観察される物体の見えかたを照合する方式、等々
である。これらは、画像理解研究の発展とともに、開発
されてきた。
【００４１】しかし、何れの方式も、適用条件に合致し
ていないと適用できない。例えば、前者の方式に対して
は、反射特性を仮定できない物体の場合、後者の方式に
対しては、記憶していないモデルの物体の場合、適用す
ることができない。そこでこの発明では映像に含まれる
物体の３次元形状を得る際、その物体のおよその形状を
人間が指定し、その形状のモデルを画像に表示しなが
ら、その重ね合わせ方を、人間による指定と、画像処理
の手法を用いた計算機による自動調整を、交互に対話的
に行う３次元形状抽出方法及び装置を提供することを目
的とする。
ていないと適用できない。例えば、前者の方式に対して
は、反射特性を仮定できない物体の場合、後者の方式に
対しては、記憶していないモデルの物体の場合、適用す
ることができない。そこでこの発明では映像に含まれる
物体の３次元形状を得る際、その物体のおよその形状を
人間が指定し、その形状のモデルを画像に表示しなが
ら、その重ね合わせ方を、人間による指定と、画像処理
の手法を用いた計算機による自動調整を、交互に対話的
に行う３次元形状抽出方法及び装置を提供することを目
的とする。
【００４２】
【課題を解決するための手段】第２群の発明の方法は、
実写映像に含まれる物体の３次元形状を抽出する方法に
おいて、複数の幾何学的形状のデータを予め用意してお
く過程と、実写映像から前記物体に相当する領域を抽出
する過程と、抽出した領域を表示している画面に予め用
意されている前記複数の幾何学的形状のデータを表示
し、前記抽出した領域の形状に応じて幾何学的形状のデ
ータを選択させる過程と、選択されたデータに係る幾何
学的形状と前記抽出した領域とを一致させるべく前記幾
何学的形状の位置、向き、大きさを調整する過程とを備
えることを特徴とする。
実写映像に含まれる物体の３次元形状を抽出する方法に
おいて、複数の幾何学的形状のデータを予め用意してお
く過程と、実写映像から前記物体に相当する領域を抽出
する過程と、抽出した領域を表示している画面に予め用
意されている前記複数の幾何学的形状のデータを表示
し、前記抽出した領域の形状に応じて幾何学的形状のデ
ータを選択させる過程と、選択されたデータに係る幾何
学的形状と前記抽出した領域とを一致させるべく前記幾
何学的形状の位置、向き、大きさを調整する過程とを備
えることを特徴とする。
【００４３】また第２群の発明の装置は、実写映像に含
まれる物体の３次元形状を抽出する装置において、複数
の幾何学的形状のデータを予め用意しておく手段と、実
写映像から前記物体に相当する領域を抽出する手段と、
抽出した領域を表示している画面に予め用意されている
前記複数の幾何学的形状のデータを表示し、前記抽出し
た領域の形状に応じて幾何学的形状のデータを選択させ
る手段と、選択されたデータに係る幾何学的形状と前記
抽出した領域とを一致させるべく前記幾何学的形状の位
置、向き、大きさを調整する調整手段とを備えることを
特徴とする。
まれる物体の３次元形状を抽出する装置において、複数
の幾何学的形状のデータを予め用意しておく手段と、実
写映像から前記物体に相当する領域を抽出する手段と、
抽出した領域を表示している画面に予め用意されている
前記複数の幾何学的形状のデータを表示し、前記抽出し
た領域の形状に応じて幾何学的形状のデータを選択させ
る手段と、選択されたデータに係る幾何学的形状と前記
抽出した領域とを一致させるべく前記幾何学的形状の位
置、向き、大きさを調整する調整手段とを備えることを
特徴とする。
【００４４】そして調整手段では物体の形状及び色相値
に基づく位置，向き，大きさの自動調整手段を備える。
更に調整済形状に実写映像から抽出した領域の画像情報
をマッピングする手段を備える。
に基づく位置，向き，大きさの自動調整手段を備える。
更に調整済形状に実写映像から抽出した領域の画像情報
をマッピングする手段を備える。
【００４５】
【作用】抽出した物体の領域に近い形状を予め用意され
ている形状の中から選択して表示させる。そうするとこ
の領域と形状とが一致するように調整されて目的とする
物体の３次元形状が抽出できたことになる。この結果は
前述の３次元形状情報付加部２で得られた結果と同様の
ものである。
ている形状の中から選択して表示させる。そうするとこ
の領域と形状とが一致するように調整されて目的とする
物体の３次元形状が抽出できたことになる。この結果は
前述の３次元形状情報付加部２で得られた結果と同様の
ものである。
【００４６】
【実施例】以下第２群の発明をその実施例を示す図面に
基づいて詳述する。図10は３次元形状抽出装置のブロッ
ク図である。図において21は物体領域抽出部であり、実
写映像から所要の物体の領域を抽出して画像表示装置27
に表示させるものである。これについては第３群の発明
に詳しい。実写映像及び抽出映像は画像記憶部25に記憶
される。基本形状選択部22は図12に示すような基本形状
のパターンを多数記憶しており、これをオペレータが選
択して画像表示装置27に表示させるものである。基本形
状重ね合わせ部23はオペレータが選択した基本形状のパ
ターンと、抽出した物体の画像とを図13に示すように重
ね合わせて表示させ、後述するようなオペレータの操作
とコンピュータによる自動調整とにより両者を合致させ
るものである。合致するように重ね合わされた結果は重
ね合わせ情報記憶部26に記憶される。また重ね合わせ結
果表示部24は調整の済んだ基本形状に抽出物体の表面の
画像情報をマッピングするものである。
基づいて詳述する。図10は３次元形状抽出装置のブロッ
ク図である。図において21は物体領域抽出部であり、実
写映像から所要の物体の領域を抽出して画像表示装置27
に表示させるものである。これについては第３群の発明
に詳しい。実写映像及び抽出映像は画像記憶部25に記憶
される。基本形状選択部22は図12に示すような基本形状
のパターンを多数記憶しており、これをオペレータが選
択して画像表示装置27に表示させるものである。基本形
状重ね合わせ部23はオペレータが選択した基本形状のパ
ターンと、抽出した物体の画像とを図13に示すように重
ね合わせて表示させ、後述するようなオペレータの操作
とコンピュータによる自動調整とにより両者を合致させ
るものである。合致するように重ね合わされた結果は重
ね合わせ情報記憶部26に記憶される。また重ね合わせ結
果表示部24は調整の済んだ基本形状に抽出物体の表面の
画像情報をマッピングするものである。
【００４７】次に図11に基づき３次元形状抽出方法を説
明する。画像記憶部25に記憶させてある実写映像を取出
し、これを画像表示装置27に表示させて物体領域抽出部
21で所要物体の抽出を行う(S21) 。図14はこの操作の説
明図である。オペレータは描画装置を用いて画面上に物
体領域及び背景領域を各例示する閉曲線を描く。物体領
域抽出部21は物体領域の閉曲線を拡張し、背景領域の閉
曲線は収縮させる。この拡張、収縮は色相が類似する部
分についてのみ認める。そうすると両閉曲線は境界で接
することになり、これにより境界を特定して所要の物体
の領域が抽出する。なお図14(b) のように拡張、収縮の
結果、影が存在する等のために境界が太く認定されるこ
とが生じ得るが、この場合は太い境界の内側線を物体の
境界とする。
明する。画像記憶部25に記憶させてある実写映像を取出
し、これを画像表示装置27に表示させて物体領域抽出部
21で所要物体の抽出を行う(S21) 。図14はこの操作の説
明図である。オペレータは描画装置を用いて画面上に物
体領域及び背景領域を各例示する閉曲線を描く。物体領
域抽出部21は物体領域の閉曲線を拡張し、背景領域の閉
曲線は収縮させる。この拡張、収縮は色相が類似する部
分についてのみ認める。そうすると両閉曲線は境界で接
することになり、これにより境界を特定して所要の物体
の領域が抽出する。なお図14(b) のように拡張、収縮の
結果、影が存在する等のために境界が太く認定されるこ
とが生じ得るが、この場合は太い境界の内側線を物体の
境界とする。
【００４８】次に所定操作を行わせて基本形状 (形状プ
リミティブ) のパターンを表示させ、抽出物体の形状に
類似するものを選択する(S22) 。これにより図13に示す
ように重ね合わせ表示させる(S23) 。一般的に抽出した
物体形状と選択した基本形状とは一致しない。そこで両
者が一致するまで(S24) 、物体形状と基本形状とにつ
き、位置調整(S27) 、向きの調整(S28) 、大きさの調整
(S29) 及び形状の部分的変形(S30) を行う。一致, 不一
致はオペレータの判断による。
リミティブ) のパターンを表示させ、抽出物体の形状に
類似するものを選択する(S22) 。これにより図13に示す
ように重ね合わせ表示させる(S23) 。一般的に抽出した
物体形状と選択した基本形状とは一致しない。そこで両
者が一致するまで(S24) 、物体形状と基本形状とにつ
き、位置調整(S27) 、向きの調整(S28) 、大きさの調整
(S29) 及び形状の部分的変形(S30) を行う。一致, 不一
致はオペレータの判断による。
【００４９】図15は位置移動に関する処理のフローチャ
ート、図16はその説明図である。この移動の原理は物体
領域と形状プリミティブのワイヤフレームの重心を一致
させる点にある。即ち物体領域の重心Ｇ RO の算出(S31)
、及び形状プリミティブのワイヤフレームの重心Ｇ RP
の算出(S33) を行う。そしてこれらを一致させるべく形
状プリミティブのワイヤフレームの表示位置を移動する
(S32) 。
ート、図16はその説明図である。この移動の原理は物体
領域と形状プリミティブのワイヤフレームの重心を一致
させる点にある。即ち物体領域の重心Ｇ RO の算出(S31)
、及び形状プリミティブのワイヤフレームの重心Ｇ RP
の算出(S33) を行う。そしてこれらを一致させるべく形
状プリミティブのワイヤフレームの表示位置を移動する
(S32) 。
【００５０】物体領域の重心Ｒ RO と、形状プリミティブ
のワイヤフレーム表示で囲まれる領域の重心Ｒ RP が一致
するように、形状プリミティブのワイヤフレーム表示位
置を移動する (図16) 。なお、領域Ｒの重心ＧR は、 ＧR ＝( ｍ10／ｍ00，ｍ01／ｍ00 )T により求めることができる。但し、 ｍ00 ｍ00＝∫ｆdR 領域Ｒを構成する点の個数を示す。この値は面積を表
す。ｍ10 ｍ10＝∫ｘdR 領域Ｒを構成する各点のｘ座標の総和値を示す。ｍ01 ｍ01＝∫ｙdR 領域Ｒを構成する各点のｙ座標の総和値を示す。これに
従い、形状プリミティブのワイヤフレーム表示位置を
（ＧRO−ＧRP）移動する。
のワイヤフレーム表示で囲まれる領域の重心Ｒ RP が一致
するように、形状プリミティブのワイヤフレーム表示位
置を移動する (図16) 。なお、領域Ｒの重心ＧR は、 ＧR ＝( ｍ10／ｍ00，ｍ01／ｍ00 )T により求めることができる。但し、 ｍ00 ｍ00＝∫ｆdR 領域Ｒを構成する点の個数を示す。この値は面積を表
す。ｍ10 ｍ10＝∫ｘdR 領域Ｒを構成する各点のｘ座標の総和値を示す。ｍ01 ｍ01＝∫ｙdR 領域Ｒを構成する各点のｙ座標の総和値を示す。これに
従い、形状プリミティブのワイヤフレーム表示位置を
（ＧRO−ＧRP）移動する。
【００５１】図17は向きの調整のために行う形状プリミ
ティブの回転の処理を示すフローチャート、図18はその
説明図である。回転による向きの調整の原理は、物体領
域及び形状プリミティブのワイヤフレームの長軸の平行
化にある。領域Ｒの長軸方向θR は、領域の重心回りの
慣性主軸として求めることができる。すなわち、 tan2 θR ＋［｛ｍ20−ｍ10／ｍ00）−（ｍ02−ｍ01／
ｍ00）｝／（ｍ11−ｍ10ｍ01／ｍ00）］ tanθR −１＝
０ の解として求めればよい。但し、 ｍ11 ｍ11＝∫ｘｙdR 領域Ｒを構成する各点のｘ座標とｙ座標の積の総和値を
示す。 ｍ20 ｍ20＝∫ｘ2 dR 領域Ｒを構成する各点のｘ座標の２乗の総和値を示す。 ｍ02 ｍ02＝∫ｙ2 dR 領域Ｒを構成する各点のｙ座標の２乗の総和値を示す。
これに従い、形状プリミティブのワイヤフレーム表示位
置を（θRO−θRP）回転する。
ティブの回転の処理を示すフローチャート、図18はその
説明図である。回転による向きの調整の原理は、物体領
域及び形状プリミティブのワイヤフレームの長軸の平行
化にある。領域Ｒの長軸方向θR は、領域の重心回りの
慣性主軸として求めることができる。すなわち、 tan2 θR ＋［｛ｍ20−ｍ10／ｍ00）−（ｍ02−ｍ01／
ｍ00）｝／（ｍ11−ｍ10ｍ01／ｍ00）］ tanθR −１＝
０ の解として求めればよい。但し、 ｍ11 ｍ11＝∫ｘｙdR 領域Ｒを構成する各点のｘ座標とｙ座標の積の総和値を
示す。 ｍ20 ｍ20＝∫ｘ2 dR 領域Ｒを構成する各点のｘ座標の２乗の総和値を示す。 ｍ02 ｍ02＝∫ｙ2 dR 領域Ｒを構成する各点のｙ座標の２乗の総和値を示す。
これに従い、形状プリミティブのワイヤフレーム表示位
置を（θRO−θRP）回転する。
【００５２】図17のフローチャートに示すように抽出し
た物体領域及び形状プリミティブのワイヤフレームのモ
ーメント量を算出する(S41,S44) 。このモーメント量の
算出は ｍij＝∫ｘi ｙj dR （ｉｊ）＝｛(0,0),(1,0),(0,1),(1,1),(2,0),(0,2) ｝ で求められる。
た物体領域及び形状プリミティブのワイヤフレームのモ
ーメント量を算出する(S41,S44) 。このモーメント量の
算出は ｍij＝∫ｘi ｙj dR （ｉｊ）＝｛(0,0),(1,0),(0,1),(1,1),(2,0),(0,2) ｝ で求められる。
【００５３】一方、前述のようにして物体領域の長軸、
並びに形状プリミティブのワイヤフレームの長軸及び重
心ＧRPを前述のようにして求める(S42,S45,S46) 。そし
てＧ RPを中心としてθRO−ＲRPだけ形状プリミティブの
ワイヤフレーム表示位置を回転する(S43) 。
並びに形状プリミティブのワイヤフレームの長軸及び重
心ＧRPを前述のようにして求める(S42,S45,S46) 。そし
てＧ RPを中心としてθRO−ＲRPだけ形状プリミティブの
ワイヤフレーム表示位置を回転する(S43) 。
【００５４】大きさの調整は図20に示すように両者の表
示面積が一致するように領域ＲP の重心ＧRPを中心とし
て形状プリミティブのワイヤフレームを拡大又は縮小す
ることで行う。即ち領域Ｒの面積ＳR は ＳR ＝ｍ00 として求めることができる。これに従い、形状プリミテ
ィブのワイヤフレームをＳRO／ＳRP倍すればよい。ここ
にＳROは物体領域の面積 ＳRPは形状プリミティブのワイヤフレームの面積 である。
示面積が一致するように領域ＲP の重心ＧRPを中心とし
て形状プリミティブのワイヤフレームを拡大又は縮小す
ることで行う。即ち領域Ｒの面積ＳR は ＳR ＝ｍ00 として求めることができる。これに従い、形状プリミテ
ィブのワイヤフレームをＳRO／ＳRP倍すればよい。ここ
にＳROは物体領域の面積 ＳRPは形状プリミティブのワイヤフレームの面積 である。
【００５５】図19のフローチャートにおいて、抽出した
物体の領域のモーメント量、形状プリミティブのワイヤ
フレーム表示領域のモーメント量を算出する(S51,S54)
。そしてこれを用いて両者の面積ＳRO, ＳRPを算出す
る(S52,S55) 。また形状プリミティブのワイヤフレーム
の重心ＧRPを算出する(S56) 。そして形状プリミティブ
のワイヤフレームをＳRO／ＳRP倍する(S53) 。面積はモ
ーメント量ｍ00として求めることができる。
物体の領域のモーメント量、形状プリミティブのワイヤ
フレーム表示領域のモーメント量を算出する(S51,S54)
。そしてこれを用いて両者の面積ＳRO, ＳRPを算出す
る(S52,S55) 。また形状プリミティブのワイヤフレーム
の重心ＧRPを算出する(S56) 。そして形状プリミティブ
のワイヤフレームをＳRO／ＳRP倍する(S53) 。面積はモ
ーメント量ｍ00として求めることができる。
【００５６】図11に返って、形状の変形について説明す
る。物体領域の形状が基本形状と部分的に異なる場合は
オペレータが入力する命令で基本形状を部分的に変形す
る。以上のようにして物体領域と基本形状が一致した場
合は、これを重ね合わせ情報記憶部26へ格納する(S25)
。そして図21に示すように形状プリミティブのワイヤ
フレームに抽出した物体領域の画像情報をマッピングす
る(S26) 。つまり実写映像の所要部が切り出されて形状
プリミティブのワイヤフレームに貼り付けられた如き状
態になる。
る。物体領域の形状が基本形状と部分的に異なる場合は
オペレータが入力する命令で基本形状を部分的に変形す
る。以上のようにして物体領域と基本形状が一致した場
合は、これを重ね合わせ情報記憶部26へ格納する(S25)
。そして図21に示すように形状プリミティブのワイヤ
フレームに抽出した物体領域の画像情報をマッピングす
る(S26) 。つまり実写映像の所要部が切り出されて形状
プリミティブのワイヤフレームに貼り付けられた如き状
態になる。
【００５７】
【発明の効果】以上のような第２群の発明による場合は
オペレータが対話方式で３次元形状の抽出ができるので
適用条件に制約されず、また物体に対する既知情報（反
射情報など）を必要とすることなく抽出が可能である。
また基本形状を物体領域に一致させる作業はコンピュー
タが自動的に行うのでオペレータの負担は軽微である。
またマッピングを行うので抽出した３次元形状情報の適
否が直感的に判断できる。
オペレータが対話方式で３次元形状の抽出ができるので
適用条件に制約されず、また物体に対する既知情報（反
射情報など）を必要とすることなく抽出が可能である。
また基本形状を物体領域に一致させる作業はコンピュー
タが自動的に行うのでオペレータの負担は軽微である。
またマッピングを行うので抽出した３次元形状情報の適
否が直感的に判断できる。
【００５８】［第３群の発明］ (概要)第３群の発明は図４の特定物体領域抽出部又は図
10の物体領域抽出部に係るものである。
10の物体領域抽出部に係るものである。
【００５９】
【従来の技術】電気的に画像を合成する場合は図22に示
すようにして行われていた。例えば人物像の画像をブル
ー背景として画像入力部Ａで撮影し、また風景画像を画
像入力部Ｂで撮影する。そして画像入力部Ａの画像から
ブルー成分を検出し、これを反転増幅して、適宜の混合
比制御をして、この反転増幅信号と、画像入力部Ａ, Ｂ
からの信号とを混合増幅器で合成し、画像出力部へ出力
することとしていた。これにより画像入力部Ａ１１の背
景が消えて画像入力部Ｂを背景とする人物像が合成され
ることになる。
すようにして行われていた。例えば人物像の画像をブル
ー背景として画像入力部Ａで撮影し、また風景画像を画
像入力部Ｂで撮影する。そして画像入力部Ａの画像から
ブルー成分を検出し、これを反転増幅して、適宜の混合
比制御をして、この反転増幅信号と、画像入力部Ａ, Ｂ
からの信号とを混合増幅器で合成し、画像出力部へ出力
することとしていた。これにより画像入力部Ａ１１の背
景が消えて画像入力部Ｂを背景とする人物像が合成され
ることになる。
【００６０】
【発明が解決しようとする課題】このような従来の方式
ではブルー背景を必要とし設備面での負担がある。また
当初から画像合成を意図したものしか利用できず、汎用
性に欠ける。更に混合増幅器における合成のためのパラ
メータ設定が難しく、また操作も煩雑である。本発明は
このような問題を解決するためになされたものであり、
特別な撮影設備を必要とせず、また汎用性が高く、更に
操作が簡便な画像合成装置、特に合成対象となるキー画
像の生成装置を提供することを目的とする。
ではブルー背景を必要とし設備面での負担がある。また
当初から画像合成を意図したものしか利用できず、汎用
性に欠ける。更に混合増幅器における合成のためのパラ
メータ設定が難しく、また操作も煩雑である。本発明は
このような問題を解決するためになされたものであり、
特別な撮影設備を必要とせず、また汎用性が高く、更に
操作が簡便な画像合成装置、特に合成対象となるキー画
像の生成装置を提供することを目的とする。
【００６１】
【課題を解決するための手段】第３群の発明の第１の方
法は、映像から特定の領域を抽出する方法において、抽
出対象とすべき領域内の複数の画素を指定する過程と、
指定した画素における所定の特徴量を求める過程と、求
めた特徴量の最大値及び最小値を求める過程と、抽出対
象とすべき領域の内外の画素につき特徴量を求めて、そ
の特徴量が前記最大値と最小値との間にある画素を選択
する過程とを備え、前記画素によって構成される領域を
抽出領域とすることを特徴とする。
法は、映像から特定の領域を抽出する方法において、抽
出対象とすべき領域内の複数の画素を指定する過程と、
指定した画素における所定の特徴量を求める過程と、求
めた特徴量の最大値及び最小値を求める過程と、抽出対
象とすべき領域の内外の画素につき特徴量を求めて、そ
の特徴量が前記最大値と最小値との間にある画素を選択
する過程とを備え、前記画素によって構成される領域を
抽出領域とすることを特徴とする。
【００６２】第２の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、指定した画素の、求めた特徴量につ
き、隣接画素間の差分を計算する過程と、計算した差分
の最大値を求める過程と、指定した画素を開始点とし
て、隣接画素間の特徴量の差分が前記最大値より小さい
４近傍又は８近傍の画素を連結する過程とを備え、連結
した画素によって構成される領域を抽出領域とすること
を特徴とする。
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、指定した画素の、求めた特徴量につ
き、隣接画素間の差分を計算する過程と、計算した差分
の最大値を求める過程と、指定した画素を開始点とし
て、隣接画素間の特徴量の差分が前記最大値より小さい
４近傍又は８近傍の画素を連結する過程とを備え、連結
した画素によって構成される領域を抽出領域とすること
を特徴とする。
【００６３】第３の方法は、前記抽出領域の画素及び非
抽出領域の画素に各別の値を付与する過程と、前記抽出
領域の境界の外縁に位置する画素に、前記値の中間の値
を付与する過程とを備え、これらの付与した値による画
像を生成することを特徴とする。
抽出領域の画素に各別の値を付与する過程と、前記抽出
領域の境界の外縁に位置する画素に、前記値の中間の値
を付与する過程とを備え、これらの付与した値による画
像を生成することを特徴とする。
【００６４】第４の方法は、前記抽出領域から遠ざかる
方向に隣接する複数の画素の各々に異なる中間の値を付
与する。
方向に隣接する複数の画素の各々に異なる中間の値を付
与する。
【００６５】第５の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、求めた特徴量の最大値及び最小値を
求める過程と、抽出対象とすべき領域の内外の画素につ
き特徴量を求めて、特徴量が前記最大値と最小値との間
の範囲にあるか否かを判定する過程と、前記範囲内の画
素に定数Ｋを付与する過程と、前記範囲外の画素の特徴
量と前記最大値又は最小値との差分を算出する過程と、
前記範囲外の画素に、定数Ｋから前記差分に関連して定
まる値を減じた値を付与する過程とを備え、これらの付
与した値による画像を生成することを特徴とする。
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、求めた特徴量の最大値及び最小値を
求める過程と、抽出対象とすべき領域の内外の画素につ
き特徴量を求めて、特徴量が前記最大値と最小値との間
の範囲にあるか否かを判定する過程と、前記範囲内の画
素に定数Ｋを付与する過程と、前記範囲外の画素の特徴
量と前記最大値又は最小値との差分を算出する過程と、
前記範囲外の画素に、定数Ｋから前記差分に関連して定
まる値を減じた値を付与する過程とを備え、これらの付
与した値による画像を生成することを特徴とする。
【００６６】第６の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の複数
の特徴量を求める過程と、求めた特徴量の最大値及び最
小値を特徴量の各々について求める過程と、抽出対象と
すべき領域の内外の画素につき特徴量を求めて、特徴量
が前記最大値と最小値との間の範囲にあるか否かを判定
する過程と、前記範囲内の画素に定数Ｋを付与する過程
と、前記範囲外の画素の特徴量と前記最大値又は最小値
との差分を算出する過程と、前記範囲外の画素に、定数
Ｋから各々の特徴量の前記差分に関連して定まる値を減
じた値を付与する過程とを備え、これらの付与した値に
よる画像を生成することを特徴とする。
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の複数
の特徴量を求める過程と、求めた特徴量の最大値及び最
小値を特徴量の各々について求める過程と、抽出対象と
すべき領域の内外の画素につき特徴量を求めて、特徴量
が前記最大値と最小値との間の範囲にあるか否かを判定
する過程と、前記範囲内の画素に定数Ｋを付与する過程
と、前記範囲外の画素の特徴量と前記最大値又は最小値
との差分を算出する過程と、前記範囲外の画素に、定数
Ｋから各々の特徴量の前記差分に関連して定まる値を減
じた値を付与する過程とを備え、これらの付与した値に
よる画像を生成することを特徴とする。
【００６７】第７の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、求めた特徴量の平均値及び分散を求
める過程と、抽出対象とすべき領域の内外の画素につき
特徴量を求めて、特徴量が前記平均値及び分散で定まる
範囲にあるか否かを判定する過程と、前記範囲内の画素
に定数Ｋを付与する過程と、前記範囲外の画素の特徴量
と前記平均値との偏差を算出する過程と、前記範囲外の
画素に、定数Ｋから前記偏差に関連して定まる値を減じ
た値を付与する過程とを備え、これらの付与した値によ
る画像を生成することを特徴とする。
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、求めた特徴量の平均値及び分散を求
める過程と、抽出対象とすべき領域の内外の画素につき
特徴量を求めて、特徴量が前記平均値及び分散で定まる
範囲にあるか否かを判定する過程と、前記範囲内の画素
に定数Ｋを付与する過程と、前記範囲外の画素の特徴量
と前記平均値との偏差を算出する過程と、前記範囲外の
画素に、定数Ｋから前記偏差に関連して定まる値を減じ
た値を付与する過程とを備え、これらの付与した値によ
る画像を生成することを特徴とする。
【００６８】第８の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の複数
の特徴量を求める過程と、求めた特徴量の平均値及び分
散を特徴量の各々について求める過程と、抽出対象とす
べき領域の内外の画素につき特徴量を求めて、特徴量が
前記平均値及び分散で定まる範囲にあるか否かを判定す
る過程と、前記範囲内の画素に定数Ｋを付与する過程
と、前記範囲外の画素の特徴量と前記平均値との偏差を
算出する過程と、前記範囲外の画素に、定数Ｋから各々
の特徴量の前記偏差に関連して定まる値を減じた値を付
与する過程とを備え、これらの付与した値による画像を
生成することを特徴とする。
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の複数
の特徴量を求める過程と、求めた特徴量の平均値及び分
散を特徴量の各々について求める過程と、抽出対象とす
べき領域の内外の画素につき特徴量を求めて、特徴量が
前記平均値及び分散で定まる範囲にあるか否かを判定す
る過程と、前記範囲内の画素に定数Ｋを付与する過程
と、前記範囲外の画素の特徴量と前記平均値との偏差を
算出する過程と、前記範囲外の画素に、定数Ｋから各々
の特徴量の前記偏差に関連して定まる値を減じた値を付
与する過程とを備え、これらの付与した値による画像を
生成することを特徴とする。
【００６９】第９の方法は、映像から抽出した複数の領
域のうちのいずれかの領域に含まれる画素を指定する過
程と、指定した画素を開始点として４連結又は８連結の
ラベリングをする過程と、ラベリングされていない領域
を非抽出領域に変更する過程とを備えることを特徴とす
る。
域のうちのいずれかの領域に含まれる画素を指定する過
程と、指定した画素を開始点として４連結又は８連結の
ラベリングをする過程と、ラベリングされていない領域
を非抽出領域に変更する過程とを備えることを特徴とす
る。
【００７０】第10の方法は、複数フレームの映像から特
定の領域を抽出する方法において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する過程と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする過程と、ラベリングされていない領域を非抽出
領域に変更する過程と、抽出領域の幾何学的特徴量を算
出する過程とを備え、また次フレームでラベリングする
過程と、異なるラベルを付与された領域ごとに幾何学的
特徴量を算出する過程と、前フレームの抽出領域の幾何
学的特徴量に近い幾何学的特徴量を有する領域を抽出領
域として残存させ、他の領域を非抽出領域に変更する過
程とを備えることを特徴とする。
定の領域を抽出する方法において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する過程と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする過程と、ラベリングされていない領域を非抽出
領域に変更する過程と、抽出領域の幾何学的特徴量を算
出する過程とを備え、また次フレームでラベリングする
過程と、異なるラベルを付与された領域ごとに幾何学的
特徴量を算出する過程と、前フレームの抽出領域の幾何
学的特徴量に近い幾何学的特徴量を有する領域を抽出領
域として残存させ、他の領域を非抽出領域に変更する過
程とを備えることを特徴とする。
【００７１】第11の方法は、複数フレームの映像から特
定の領域を抽出する方法において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する過程と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする過程と、ラベリングされていない領域を非抽出
領域に変更する過程と、抽出領域の光学的特徴量を算出
する過程とを備え、また次フレームでラベリングする過
程と、異なるラベルを付与された領域ごとに光学的特徴
量を算出する過程と、前フレームの抽出領域の光学的特
徴量に近い光学的特徴量を有する領域を抽出領域として
残存させ、他の領域を非抽出領域に変更する過程とを備
えることを特徴とする。
定の領域を抽出する方法において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する過程と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする過程と、ラベリングされていない領域を非抽出
領域に変更する過程と、抽出領域の光学的特徴量を算出
する過程とを備え、また次フレームでラベリングする過
程と、異なるラベルを付与された領域ごとに光学的特徴
量を算出する過程と、前フレームの抽出領域の光学的特
徴量に近い光学的特徴量を有する領域を抽出領域として
残存させ、他の領域を非抽出領域に変更する過程とを備
えることを特徴とする。
【００７２】第１の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の最大値及び最小値を
求める手段と、これらの最大値及び最小値を記憶する手
段と、抽出対象とすべき領域の内外の画素につき特徴量
を求めて、その特徴量が前記最大値と最小値との間にあ
る画素を選択する手段とを備え、前記画素によって構成
される領域を抽出領域とすべくなしてあることを特徴と
する。
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の最大値及び最小値を
求める手段と、これらの最大値及び最小値を記憶する手
段と、抽出対象とすべき領域の内外の画素につき特徴量
を求めて、その特徴量が前記最大値と最小値との間にあ
る画素を選択する手段とを備え、前記画素によって構成
される領域を抽出領域とすべくなしてあることを特徴と
する。
【００７３】第２の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、指定した画素の、求めた特徴量につ
き、隣接画素間の差分を計算する手段と、計算した差分
の最大値を求める手段と、該最大値を記憶する手段と、
指定した画素を開始点として、隣接画素間の特徴量の差
分が前記最大値より小さい４近傍又は８近傍の画素を連
結する手段とを備え、連結した画素によって構成される
領域を抽出領域とすべくなしてあることを特徴とする。
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、指定した画素の、求めた特徴量につ
き、隣接画素間の差分を計算する手段と、計算した差分
の最大値を求める手段と、該最大値を記憶する手段と、
指定した画素を開始点として、隣接画素間の特徴量の差
分が前記最大値より小さい４近傍又は８近傍の画素を連
結する手段とを備え、連結した画素によって構成される
領域を抽出領域とすべくなしてあることを特徴とする。
【００７４】第３の装置は、前記抽出領域の画素及び非
抽出領域の画素に各別の値を付与する手段と、前記抽出
領域の境界の外縁に位置する画素に、前記値の中間の値
を付与する手段とを備え、これらの付与した値による画
像を生成すべくなしてあることを特徴とする。
抽出領域の画素に各別の値を付与する手段と、前記抽出
領域の境界の外縁に位置する画素に、前記値の中間の値
を付与する手段とを備え、これらの付与した値による画
像を生成すべくなしてあることを特徴とする。
【００７５】第４の装置は、前記抽出領域から遠ざかる
方向に隣接する複数の画素の各々に異なる中間の値を付
与すべくなしてある。
方向に隣接する複数の画素の各々に異なる中間の値を付
与すべくなしてある。
【００７６】第５の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の最大値及び最小値を
求める手段と、これら最大値及び最小値を記憶する手段
と、抽出対象とすべき領域の内外の画素につき特徴量を
求めて、特徴量が前記最大値と最小値との間の範囲にあ
るか否かを判定する手段と、前記範囲内の画素に定数Ｋ
を付与する手段と、前記範囲外の画素の特徴量と前記最
大値又は最小値との差分を算出する手段と、前記範囲外
の画素に、定数Ｋから前記差分に関連して定まる値を減
じた値を付与する手段とを備え、これらの付与した値に
よる画像を生成すべくなしてあることを特徴とする。
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の最大値及び最小値を
求める手段と、これら最大値及び最小値を記憶する手段
と、抽出対象とすべき領域の内外の画素につき特徴量を
求めて、特徴量が前記最大値と最小値との間の範囲にあ
るか否かを判定する手段と、前記範囲内の画素に定数Ｋ
を付与する手段と、前記範囲外の画素の特徴量と前記最
大値又は最小値との差分を算出する手段と、前記範囲外
の画素に、定数Ｋから前記差分に関連して定まる値を減
じた値を付与する手段とを備え、これらの付与した値に
よる画像を生成すべくなしてあることを特徴とする。
【００７７】第６の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の複数
の特徴量を求める手段と、求めた特徴量の最大値及び最
小値を特徴量の各々について求める手段と、これら最大
値及び最小値を記憶する手段と、抽出対象とすべき領域
の内外の画素につき特徴量を求めて、特徴量が前記最大
値と最小値との間の範囲にあるか否かを判定する手段
と、前記範囲内の画素に定数Ｋを付与する手段と、前記
範囲外の画素の特徴量と前記最大値又は最小値との差分
を算出する手段と、前記範囲外の画素に、定数Ｋから各
々の特徴量の前記差分に関連して定まる値を減じた値を
付与する手段とを備え、これらの付与した値による画像
を生成すべくなしてあることを特徴とする。
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の複数
の特徴量を求める手段と、求めた特徴量の最大値及び最
小値を特徴量の各々について求める手段と、これら最大
値及び最小値を記憶する手段と、抽出対象とすべき領域
の内外の画素につき特徴量を求めて、特徴量が前記最大
値と最小値との間の範囲にあるか否かを判定する手段
と、前記範囲内の画素に定数Ｋを付与する手段と、前記
範囲外の画素の特徴量と前記最大値又は最小値との差分
を算出する手段と、前記範囲外の画素に、定数Ｋから各
々の特徴量の前記差分に関連して定まる値を減じた値を
付与する手段とを備え、これらの付与した値による画像
を生成すべくなしてあることを特徴とする。
【００７８】第７の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の平均値及び分散を求
める手段と、該平均値及び分散を記憶する手段と、抽出
対象とすべき領域の内外の画素につき特徴量を求めて、
特徴量が前記平均値及び分散で定まる範囲にあるか否か
を判定する手段と、前記範囲内の画素に定数Ｋを付与す
る手段と、前記範囲外の画素の特徴量と前記平均値との
偏差を算出する手段と、前記範囲外の画素に、定数Ｋか
ら前記偏差に関連して定まる値を減じた値を付与する手
段とを備え、これらの付与した値による画像を生成すべ
くなしてあることを特徴とする。
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の平均値及び分散を求
める手段と、該平均値及び分散を記憶する手段と、抽出
対象とすべき領域の内外の画素につき特徴量を求めて、
特徴量が前記平均値及び分散で定まる範囲にあるか否か
を判定する手段と、前記範囲内の画素に定数Ｋを付与す
る手段と、前記範囲外の画素の特徴量と前記平均値との
偏差を算出する手段と、前記範囲外の画素に、定数Ｋか
ら前記偏差に関連して定まる値を減じた値を付与する手
段とを備え、これらの付与した値による画像を生成すべ
くなしてあることを特徴とする。
【００７９】第８の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の複数
の特徴量を求める手段と、求めた特徴量の平均値及び分
散を特徴量の各々について求める手段と、該平均値及び
分散を記憶する手段と、抽出対象とすべき領域の内外の
画素につき特徴量を求めて、特徴量が前記平均値及び分
散で定まる範囲にあるか否かを判定する手段と、前記範
囲内の画素に定数Ｋを付与する手段と、前記範囲外の画
素の特徴量と前記平均値との偏差を算出する手段と、前
記範囲外の画素に、定数Ｋから各々の特徴量の前記偏差
に関連して定まる値を減じた値を付与する手段とを備
え、これらの付与した値による画像を生成すべくなして
あることを特徴とする。
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の複数
の特徴量を求める手段と、求めた特徴量の平均値及び分
散を特徴量の各々について求める手段と、該平均値及び
分散を記憶する手段と、抽出対象とすべき領域の内外の
画素につき特徴量を求めて、特徴量が前記平均値及び分
散で定まる範囲にあるか否かを判定する手段と、前記範
囲内の画素に定数Ｋを付与する手段と、前記範囲外の画
素の特徴量と前記平均値との偏差を算出する手段と、前
記範囲外の画素に、定数Ｋから各々の特徴量の前記偏差
に関連して定まる値を減じた値を付与する手段とを備
え、これらの付与した値による画像を生成すべくなして
あることを特徴とする。
【００８０】第９の装置は、映像から抽出した複数の領
域のうちのいずれかの領域に含まれる画素を指定する手
段と、指定した画素を開始点として４連結又は８連結の
ラベリングをする手段と、ラベリングされていない領域
を非抽出領域に変更する手段とを備えることを特徴とす
る。
域のうちのいずれかの領域に含まれる画素を指定する手
段と、指定した画素を開始点として４連結又は８連結の
ラベリングをする手段と、ラベリングされていない領域
を非抽出領域に変更する手段とを備えることを特徴とす
る。
【００８１】第10の装置は、複数フレームの映像から特
定の領域を抽出する装置において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する手段と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする手段と、ラベリングされていない領域を非抽出
領域に変更する手段と、抽出領域の幾何学的特徴量を算
出する手段とを備え、また次フレームでラベリングする
手段と、異なるラベルを付与された領域ごとに幾何学的
特徴量を算出する手段と、前フレームの抽出領域の幾何
学的特徴量に近い幾何学的特徴量を有する領域を抽出領
域として残存させ、他の領域を非抽出領域に変更する手
段とを備えることを特徴とする。
定の領域を抽出する装置において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する手段と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする手段と、ラベリングされていない領域を非抽出
領域に変更する手段と、抽出領域の幾何学的特徴量を算
出する手段とを備え、また次フレームでラベリングする
手段と、異なるラベルを付与された領域ごとに幾何学的
特徴量を算出する手段と、前フレームの抽出領域の幾何
学的特徴量に近い幾何学的特徴量を有する領域を抽出領
域として残存させ、他の領域を非抽出領域に変更する手
段とを備えることを特徴とする。
【００８２】第11の装置は、複数フレームの映像から特
定の領域を抽出する装置において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する手段と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする手段と、ラベリングされていない領域を非抽出
領域に変更する手段と、抽出領域の光学的特徴量を算出
する手段とを備え、また次フレームでラベリングする手
段と、異なるラベルを付与された領域ごとに光学的特徴
量を算出する手段と、前フレームの抽出領域の光学的特
徴量に近い光学的特徴量を有する領域を抽出領域として
残存させ、他の領域を非抽出領域に変更する手段とを備
えることを特徴とする。
定の領域を抽出する装置において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する手段と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする手段と、ラベリングされていない領域を非抽出
領域に変更する手段と、抽出領域の光学的特徴量を算出
する手段とを備え、また次フレームでラベリングする手
段と、異なるラベルを付与された領域ごとに光学的特徴
量を算出する手段と、前フレームの抽出領域の光学的特
徴量に近い光学的特徴量を有する領域を抽出領域として
残存させ、他の領域を非抽出領域に変更する手段とを備
えることを特徴とする。
【００８３】
【作用】第１の方法、装置では抽出したい画像部分の中
の複数画素を指定する (ライトペン、又はマウス操作の
カーソルでなぞる) 。このなぞった画素群中の特徴量
(Ｒ, Ｇ, Ｂ，色相, 彩度, 明度, 輝度などの一又は複
数) を求め、更にその最大値, 最小値を選んで記憶す
る。
の複数画素を指定する (ライトペン、又はマウス操作の
カーソルでなぞる) 。このなぞった画素群中の特徴量
(Ｒ, Ｇ, Ｂ，色相, 彩度, 明度, 輝度などの一又は複
数) を求め、更にその最大値, 最小値を選んで記憶す
る。
【００８４】次いで画像全体の画素につき各特徴量が前
記最大値〜最小値の範囲内にあるか否かを調べる。範囲
内にある画素は抽出を望む画像部分と同様の特徴量を有
しているので、該画像部分は属すると判断し、０より大
きい値を付与し、範囲外のものは非抽出部分であるとし
て０を付与する。これにより非０の部分を抽出すること
で所望の画像部分が抽出できる。
記最大値〜最小値の範囲内にあるか否かを調べる。範囲
内にある画素は抽出を望む画像部分と同様の特徴量を有
しているので、該画像部分は属すると判断し、０より大
きい値を付与し、範囲外のものは非抽出部分であるとし
て０を付与する。これにより非０の部分を抽出すること
で所望の画像部分が抽出できる。
【００８５】第２の方法、装置ではなぞった画素の特徴
量と隣接画素の特徴量との差分を求め、その最大値を記
憶しておく。そしてこの最大値以下の差分を有する４近
傍又は８近傍の画素はなぞって抽出を望む領域と同程度
の隣接閾値を有しているとして抽出領域として０より大
きい値を付与し、それ以外の部分は０を付与する。これ
により非０の部分を抽出することができる。
量と隣接画素の特徴量との差分を求め、その最大値を記
憶しておく。そしてこの最大値以下の差分を有する４近
傍又は８近傍の画素はなぞって抽出を望む領域と同程度
の隣接閾値を有しているとして抽出領域として０より大
きい値を付与し、それ以外の部分は０を付与する。これ
により非０の部分を抽出することができる。
【００８６】第３の方法、装置は抽出領域に１、非抽出
領域に０を付与した場合に両者の境界の画素に１と０と
の中間の値を与える。これにより境界がマイルド化し、
抽出画像を合成した場合に背景への溶け込みがよくな
る。
領域に０を付与した場合に両者の境界の画素に１と０と
の中間の値を与える。これにより境界がマイルド化し、
抽出画像を合成した場合に背景への溶け込みがよくな
る。
【００８７】第４の方法、装置はこの中間の値を複数に
することで境界の一層のマイルド化が行われる。
することで境界の一層のマイルド化が行われる。
【００８８】第５の方法、装置は境界のマイルド化を適
応制御するものであり、１〜０の中間値の決定を、非抽
出領域の特徴量と、特徴量の最大値 (又は最小値) との
差分に応じて定める。これにより抽出画像の境界は背景
に良く溶け込む。
応制御するものであり、１〜０の中間値の決定を、非抽
出領域の特徴量と、特徴量の最大値 (又は最小値) との
差分に応じて定める。これにより抽出画像の境界は背景
に良く溶け込む。
【００８９】第６の方法、装置は特徴量を一種ではな
く、二種以上とし、上述の差分を複数の特徴量について
求め、例えばその加重平均等に依って中間値を決定す
る。複数の特徴量を用いるのでより自然な境界が得られ
る。
く、二種以上とし、上述の差分を複数の特徴量について
求め、例えばその加重平均等に依って中間値を決定す
る。複数の特徴量を用いるのでより自然な境界が得られ
る。
【００９０】第７, 第８の方法、装置は第５, 第６では
最大値, 最小値を用いているのに対し、分散を用いてい
る点が異なる。
最大値, 最小値を用いているのに対し、分散を用いてい
る点が異なる。
【００９１】第９の方法、装置は過剰抽出した部分を非
抽出領域とする。即ちラベリングにより、同様に抽出さ
れた複数の領域に各別の符号を付与される。このうち、
なぞられた画素を含む領域のみを残して他を消すのであ
る。
抽出領域とする。即ちラベリングにより、同様に抽出さ
れた複数の領域に各別の符号を付与される。このうち、
なぞられた画素を含む領域のみを残して他を消すのであ
る。
【００９２】第10の方法、装置は動画に対応するもので
ある。第９の方法、装置と同様にラベリングし、非抽出
領域を消去する。次のフレームで同様のラベリングをす
るが、フレーム間の領域の同定を幾何学的特徴量の類似
度に基づいて行う。このため抽出領域のみが残り、他は
消える。これを複数のフレームに亘って行うことで動画
での抽出処理が自動的に行えることになる。
ある。第９の方法、装置と同様にラベリングし、非抽出
領域を消去する。次のフレームで同様のラベリングをす
るが、フレーム間の領域の同定を幾何学的特徴量の類似
度に基づいて行う。このため抽出領域のみが残り、他は
消える。これを複数のフレームに亘って行うことで動画
での抽出処理が自動的に行えることになる。
【００９３】第11の方法、装置は上記の幾何学的特徴量
に替えて光学的特徴量を用いるものであり、同効を奏す
る。
に替えて光学的特徴量を用いるものであり、同効を奏す
る。
【００９４】
【実施例】図23は第３群の発明の第１の領域抽出装置の
ブロック図である。３系統の画像入力部31,32,33はいず
れも同様の構成を有し、NTSC信号をアナログのRGB 信号
に変換するNTSC-RGB変換器31a,32a,33a 及びアナログの
RGB 信号をディジタルのRGB 信号に変換するA/D 変換器
31b,32b,33b を備える。これら画像入力部31,32,33から
の入力はデュアルポートRAM からなる画像メモリ37,38,
39,40 へ与えられ、またこれらから読出された画像デー
タは画像出力部34へ与えられ、ここから出力される。画
像出力部34は画像メモリ37等からのディジタルのRGB 信
号をアナログのRGB 信号に変換するD/A 変換器34b 及
び、この変換されたアナログのRGB 信号をNTSC信号に変
換するRGB-NTSC変換器34a の出力がモニタ (図示せず）
に表示されることになる。
ブロック図である。３系統の画像入力部31,32,33はいず
れも同様の構成を有し、NTSC信号をアナログのRGB 信号
に変換するNTSC-RGB変換器31a,32a,33a 及びアナログの
RGB 信号をディジタルのRGB 信号に変換するA/D 変換器
31b,32b,33b を備える。これら画像入力部31,32,33から
の入力はデュアルポートRAM からなる画像メモリ37,38,
39,40 へ与えられ、またこれらから読出された画像デー
タは画像出力部34へ与えられ、ここから出力される。画
像出力部34は画像メモリ37等からのディジタルのRGB 信
号をアナログのRGB 信号に変換するD/A 変換器34b 及
び、この変換されたアナログのRGB 信号をNTSC信号に変
換するRGB-NTSC変換器34a の出力がモニタ (図示せず）
に表示されることになる。
【００９５】35は座標入力部であり、ライトペンとその
座標認識手段、等によって構成されており、モニタに表
示された映像の一部をなぞるのに使用される。この座標
入力部35で入力された座標情報は処理部41へ入力され
る。400 は半導体メモリであり、演算に使用するメモリ
42、後述する特徴量上限レジスタ43、下限レジスタ44を
備える。36はハードディスク、光磁気ディスク等の大容
量記録部であり、複数フレームの画像を記録する。
座標認識手段、等によって構成されており、モニタに表
示された映像の一部をなぞるのに使用される。この座標
入力部35で入力された座標情報は処理部41へ入力され
る。400 は半導体メモリであり、演算に使用するメモリ
42、後述する特徴量上限レジスタ43、下限レジスタ44を
備える。36はハードディスク、光磁気ディスク等の大容
量記録部であり、複数フレームの画像を記録する。
【００９６】而してマイクロプロセッサ等からなる処理
部41は以下の如き領域抽出のための処理を行う。図24
は、この処理の手順を示すフローチャート、図25はその
説明図である。図25(a) に示すように抽出したい領域
(白抜きで示されている) を座標入力部35のペンでなぞ
る。この間ペン軌跡の複数画素につき、特徴量 (一又は
複数種)を計算する。そして特徴量の最大値又は最小値
を夫々特徴量上限レジスタ43、下限レジスタ44に格納す
る。これにはペンが移動していく都度、既格納のレジス
タ内容を更新していくことで行う。なぞりが終わると全
軌跡中での特徴量の最大値, 最小値が得られることにな
る。特徴量としてはＲ，Ｇ，Ｂ、色相、彩度、明度、輝
度等が挙げられる。
部41は以下の如き領域抽出のための処理を行う。図24
は、この処理の手順を示すフローチャート、図25はその
説明図である。図25(a) に示すように抽出したい領域
(白抜きで示されている) を座標入力部35のペンでなぞ
る。この間ペン軌跡の複数画素につき、特徴量 (一又は
複数種)を計算する。そして特徴量の最大値又は最小値
を夫々特徴量上限レジスタ43、下限レジスタ44に格納す
る。これにはペンが移動していく都度、既格納のレジス
タ内容を更新していくことで行う。なぞりが終わると全
軌跡中での特徴量の最大値, 最小値が得られることにな
る。特徴量としてはＲ，Ｇ，Ｂ、色相、彩度、明度、輝
度等が挙げられる。
【００９７】而して次には画面全体の画素ドット特徴量
(一又は複数種) を求め、最大値〜最小値の範囲内にあ
る画素には０より大きい値 (例えば255)を、また範囲外
にある画素には０を付与する。これによりキー画像、つ
まり抽出領域を含む画像が得られることになる。図25
(b) はこれを示す。なお、所望どおりの抽出ができなか
った場合は特徴量の選択又は組合わせを種々変更するこ
とで再試行すればよい。なお以上の処理を複数フレーム
について反復することで動画の処理が可能となる。
(一又は複数種) を求め、最大値〜最小値の範囲内にあ
る画素には０より大きい値 (例えば255)を、また範囲外
にある画素には０を付与する。これによりキー画像、つ
まり抽出領域を含む画像が得られることになる。図25
(b) はこれを示す。なお、所望どおりの抽出ができなか
った場合は特徴量の選択又は組合わせを種々変更するこ
とで再試行すればよい。なお以上の処理を複数フレーム
について反復することで動画の処理が可能となる。
【００９８】図26は第２の領域抽出装置のブロック図で
ある。第１の領域抽出装置と相違するのは半導体メモリ
400 に特徴量上限レジスタ43、下限レジスタ44に替えて
特徴量閾値レジスタ45を備える点である。他の構成は同
様であるので、同符号を付して説明を省略する。
ある。第１の領域抽出装置と相違するのは半導体メモリ
400 に特徴量上限レジスタ43、下限レジスタ44に替えて
特徴量閾値レジスタ45を備える点である。他の構成は同
様であるので、同符号を付して説明を省略する。
【００９９】図27は処理部41による処理のフローチャー
ト、図28はその説明図である。図28(a) のようにペンで
なぞった軌跡の画素の特徴量を求めるのは第１の装置と
同様であるが、第２の装置ではなぞられた画素のうちで
の隣接画素間の特徴量の差分を演算し、その最大値を閾
値レジスタ45に格納する。そしてなぞられた画素の夫々
について隣接画素 (４近傍又は８近傍) が閾値以下であ
るか否かを調べていき、以下である隣接画素を次々と連
結していく (図28(b))。このようにして連結された領域
に０より大きい値を付与する。
ト、図28はその説明図である。図28(a) のようにペンで
なぞった軌跡の画素の特徴量を求めるのは第１の装置と
同様であるが、第２の装置ではなぞられた画素のうちで
の隣接画素間の特徴量の差分を演算し、その最大値を閾
値レジスタ45に格納する。そしてなぞられた画素の夫々
について隣接画素 (４近傍又は８近傍) が閾値以下であ
るか否かを調べていき、以下である隣接画素を次々と連
結していく (図28(b))。このようにして連結された領域
に０より大きい値を付与する。
【０１００】図29は第３〜６の領域抽出装置のブロック
図である。第１の装置と相違するのは処理部41の演算内
容であり、以下に説明する混合比計算41a,総合混合比計
算41b を行う。図30は処理部41の処理手順を示すフロー
チャートである。図31(a) に示すようにペンでなぞった
軌跡の画素につき、第１の装置と同様に特徴量を計算
し、その最大値, 最小値を夫々特徴量上限レジスタ43,
下限レジスタ44に入れる。
図である。第１の装置と相違するのは処理部41の演算内
容であり、以下に説明する混合比計算41a,総合混合比計
算41b を行う。図30は処理部41の処理手順を示すフロー
チャートである。図31(a) に示すようにペンでなぞった
軌跡の画素につき、第１の装置と同様に特徴量を計算
し、その最大値, 最小値を夫々特徴量上限レジスタ43,
下限レジスタ44に入れる。
【０１０１】次に画像の全画素について特徴量を計算
し、これが特徴量上, 下限値レジスタ43,44 に各記憶さ
れている最大値, 最小値の範囲内にあるか否かを調べ、
範囲内にある場合は０でない値のＫを付与する。範囲外
にある場合は、算出した特徴量と最大値（特徴量が大き
いとき）との差、又は算出した特徴量と最小値（特徴量
が小さいとき）との差の差分を演算し、差分に応じてＫ
〜０の範囲の値（混合比）を特徴量ごとに求める。そし
て各特徴量ごとの混合比を加重平均した総合混合比を求
める。そして総合混合比に応じた値を対応画素に付与す
る。そうすると図31(b) に示すように境界にグラデーシ
ョンが付与された抽出画像が得られることになる。そし
てこれを複数フレームにつき反復することによって動画
に対応できる。
し、これが特徴量上, 下限値レジスタ43,44 に各記憶さ
れている最大値, 最小値の範囲内にあるか否かを調べ、
範囲内にある場合は０でない値のＫを付与する。範囲外
にある場合は、算出した特徴量と最大値（特徴量が大き
いとき）との差、又は算出した特徴量と最小値（特徴量
が小さいとき）との差の差分を演算し、差分に応じてＫ
〜０の範囲の値（混合比）を特徴量ごとに求める。そし
て各特徴量ごとの混合比を加重平均した総合混合比を求
める。そして総合混合比に応じた値を対応画素に付与す
る。そうすると図31(b) に示すように境界にグラデーシ
ョンが付与された抽出画像が得られることになる。そし
てこれを複数フレームにつき反復することによって動画
に対応できる。
【０１０２】図32は第３, ４, ７, ８の領域抽出装置の
ブロック図である。図29と異なるのは、特徴量上限レジ
スタ43, 下限レジスタ44に替えて特徴量平均値レジスタ
46、特徴量分散値レジスタ47を備える点である。図33は
この場合の処理手順を示すフローチャートであり、図34
(a) に示すようにペンでなぞった軌跡の画素の特徴量を
計算し、その平均値及び分散値を算出し、これらを特徴
量平均値レジスタ46, 特徴量分散値レジスタ47に格納し
ておく。
ブロック図である。図29と異なるのは、特徴量上限レジ
スタ43, 下限レジスタ44に替えて特徴量平均値レジスタ
46、特徴量分散値レジスタ47を備える点である。図33は
この場合の処理手順を示すフローチャートであり、図34
(a) に示すようにペンでなぞった軌跡の画素の特徴量を
計算し、その平均値及び分散値を算出し、これらを特徴
量平均値レジスタ46, 特徴量分散値レジスタ47に格納し
ておく。
【０１０３】そしてこの装置では画像中の全画素につい
ての特徴量が所定偏差（例えば平均値±分散値）内にあ
るか否かを調べ、範囲内にある場合にＫを付与する。範
囲外の場合は平均値からの偏差に従い、混合比を特徴量
ごとに計算し、この計算値の加重平均を総合混合比とし
て求め、これに従ってＫを付与する。
ての特徴量が所定偏差（例えば平均値±分散値）内にあ
るか否かを調べ、範囲内にある場合にＫを付与する。範
囲外の場合は平均値からの偏差に従い、混合比を特徴量
ごとに計算し、この計算値の加重平均を総合混合比とし
て求め、これに従ってＫを付与する。
【０１０４】図34(b) はその結果を示し、境界部にグラ
デーションを有する抽出画像が得られる。図35は第３,
４の領域抽出装置の他の実施例のブロック図である。こ
の装置は処理部41の処理が他の装置と異なっている。こ
の処理内容を図37, 38につき説明する。この実施例は第
１の領域抽出装置等で得た抽出領域と非抽出領域 (値０
を付与) との輪郭 (画素と画素との間になる) の内側の
内周輪郭点 (画素) の値Ｘから定数Ｋを減じた値を、前
記輪郭の外側の外周輪郭点（画素）に付与する。この処
理は遠心方向の１画素についてだけ行ってもよいが図38
に示すように複数画素について行うことでよりなめらか
なエッジが得られる。
デーションを有する抽出画像が得られる。図35は第３,
４の領域抽出装置の他の実施例のブロック図である。こ
の装置は処理部41の処理が他の装置と異なっている。こ
の処理内容を図37, 38につき説明する。この実施例は第
１の領域抽出装置等で得た抽出領域と非抽出領域 (値０
を付与) との輪郭 (画素と画素との間になる) の内側の
内周輪郭点 (画素) の値Ｘから定数Ｋを減じた値を、前
記輪郭の外側の外周輪郭点（画素）に付与する。この処
理は遠心方向の１画素についてだけ行ってもよいが図38
に示すように複数画素について行うことでよりなめらか
なエッジが得られる。
【０１０５】図36はこの処理の手順を示すフローチャー
トであり、画面上の左上側から輪郭を追跡するようにし
て処理を反復する。そしてこの処理を複数フレームにつ
いて行うことで動画への対応が可能である。
トであり、画面上の左上側から輪郭を追跡するようにし
て処理を反復する。そしてこの処理を複数フレームにつ
いて行うことで動画への対応が可能である。
【０１０６】図39は第９の領域抽出装置のブロック図で
ある。この装置は処理部41で後述するラベリング処理
（48) を行うことにより雑音、つまり本来抽出を望まな
いのに抽出領域として現れる部分を削除するためのもの
である。この処理は例えば第１の領域抽出装置等によっ
て得られたキー画像 (図41(a))に対して行うものであ
る。この画像は中央の抽出を望む部分以外に同様の特徴
量を有する雑音の領域 (非０領域) を含んでいる。
ある。この装置は処理部41で後述するラベリング処理
（48) を行うことにより雑音、つまり本来抽出を望まな
いのに抽出領域として現れる部分を削除するためのもの
である。この処理は例えば第１の領域抽出装置等によっ
て得られたキー画像 (図41(a))に対して行うものであ
る。この画像は中央の抽出を望む部分以外に同様の特徴
量を有する雑音の領域 (非０領域) を含んでいる。
【０１０７】図40はこの処理のフローチャートであり、
該処理はペンでなぞった軌跡の画素を開始点として４連
結又は８連結のラベリングを行う。雑音の非０領域が離
散しているのでラベリングはその領域には到らない。次
いでラベリングされていない領域を消去する。そうする
と図41(b) に示すように所望の抽出領域が得られるので
ある。
該処理はペンでなぞった軌跡の画素を開始点として４連
結又は８連結のラベリングを行う。雑音の非０領域が離
散しているのでラベリングはその領域には到らない。次
いでラベリングされていない領域を消去する。そうする
と図41(b) に示すように所望の抽出領域が得られるので
ある。
【０１０８】図42は第10の領域抽出装置のブロック図で
ある。この装置は第９の領域抽出装置と同様の処理を１
回行うだけで爾後のフレームは簡単な処理で雑音消去で
きる動画対応のものである。これを可能とするためにな
ぞった領域及びこれと対応づけられる他フレームの領域
の幾何学的特徴量 (例えば面積、中心位置) を計算する
処理(49)及び幾何学的特徴量が近い領域をフレーム内で
対応づける対応付け(50)を処理部41が行う。図43はこの
処理のフローチャート、図44はその説明図である。第９
の領域抽出装置と同処理を先頭フレームに施して図44の
(a) に示すように雑音を消去する。そして残った非０領
域、つまり抽出領域につき、その幾何学的特徴量を計算
する。
ある。この装置は第９の領域抽出装置と同様の処理を１
回行うだけで爾後のフレームは簡単な処理で雑音消去で
きる動画対応のものである。これを可能とするためにな
ぞった領域及びこれと対応づけられる他フレームの領域
の幾何学的特徴量 (例えば面積、中心位置) を計算する
処理(49)及び幾何学的特徴量が近い領域をフレーム内で
対応づける対応付け(50)を処理部41が行う。図43はこの
処理のフローチャート、図44はその説明図である。第９
の領域抽出装置と同処理を先頭フレームに施して図44の
(a) に示すように雑音を消去する。そして残った非０領
域、つまり抽出領域につき、その幾何学的特徴量を計算
する。
【０１０９】次に第２フレームでは非０領域（雑音領域
も含む）につき幾何学的特徴量を計算する。そして先頭
フレームの非０領域の特徴量に最も近い幾何学的特徴量
を有するものを選択し、他を消去（非抽出領域と）す
る。以下、前後する２フレームにつき同様の処理を反復
することで雑音領域は自動的に消えていく。
も含む）につき幾何学的特徴量を計算する。そして先頭
フレームの非０領域の特徴量に最も近い幾何学的特徴量
を有するものを選択し、他を消去（非抽出領域と）す
る。以下、前後する２フレームにつき同様の処理を反復
することで雑音領域は自動的に消えていく。
【０１１０】図45は第11の領域抽出装置のブロック図で
ある。この装置は第10の装置が幾何学的特徴量を利用し
てフレーム内の領域の同定を行っていたのに対し、光学
的 (テクスチャ) 特徴量を利用する。このため処理部41
内、光学的特徴量を計算するための画素値構成計算（5
1) を行う。図46は雑音消去のフローチャート、図47は
その説明図である。いずれも幾何学的特徴量が光学的特
徴量に替わっただけであるので説明を省略する。
ある。この装置は第10の装置が幾何学的特徴量を利用し
てフレーム内の領域の同定を行っていたのに対し、光学
的 (テクスチャ) 特徴量を利用する。このため処理部41
内、光学的特徴量を計算するための画素値構成計算（5
1) を行う。図46は雑音消去のフローチャート、図47は
その説明図である。いずれも幾何学的特徴量が光学的特
徴量に替わっただけであるので説明を省略する。
【０１１１】
【発明の効果】以上の如き第３群の発明によればブルー
の背景の撮影設備が不要である。また特に画像合成を意
識していない映像からでも抽出ができる。そして操作は
必要部分をなぞるだけでよく、簡便である。
の背景の撮影設備が不要である。また特に画像合成を意
識していない映像からでも抽出ができる。そして操作は
必要部分をなぞるだけでよく、簡便である。
【０１１２】
【０１１３】
【０１１４】
【０１１５】
【０１１６】
【０１１７】
【０１１８】
【０１１９】
【０１２０】
【０１２１】
【０１２２】
【０１２３】
【０１２４】
【０１２５】
【０１２６】
【０１２７】
【０１２８】
【０１２９】
【０１３０】
【０１３１】
【０１３２】
【０１３３】
【０１３４】
【０１３５】
【０１３６】
【０１３７】
【０１３８】
【０１３９】
【０１４０】
【０１４１】
【０１４２】
【０１４３】
【０１４４】
【０１４５】
【０１４６】
【０１４７】
【０１４８】
【０１４９】
【０１５０】
【０１５１】
【０１５２】
【０１５３】
【０１５４】
【０１５５】
【０１５６】
【０１５７】
【０１５８】
【０１５９】
【０１６０】
【０１６１】
【０１６２】
【０１６３】
【０１６４】
【０１６５】
【図１】本発明のシステムの説明図である。
【図２】特定物体領域の抽出部の処理の流れ図である。
【図３】動画オブジェクトの構造の説明図である。
【図４】第１群の発明の実施に使用する装置のブロック
図である。
図である。
【図５】処理の流れ図である。
【図６】特定物体の領域指定の説明図である。
【図７】３次元形状情報付加処理のフローチャートであ
る。
る。
【図８】稜線及び端点の奥行の指定の説明図である。
【図９】稜線指定の説明図である。
【図１０】３次元形状抽出装置のブロック図である。
【図１１】３次元形状抽出方法のフローチャートであ
る。
る。
【図１２】基本形状の立体図である。
【図１３】基本形状と画像との重畳表示例を示す説明図
である。
である。
【図１４】物体領域抽出の説明図である。
【図１５】基本形状の位置移動の処理のフローチャート
である。
である。
【図１６】基本形状の位置移動の処理の説明図である。
【図１７】基本形状の回転の処理のフローチャートであ
る。
る。
【図１８】基本形状の回転の処理の説明図である。
【図１９】大きさ変更処理のフローチャートである。
【図２０】大きさ変更処理の説明図である。
【図２１】マッピングの説明図である。
【図２２】従来の画像合成方式の説明図である。
【図２３】第１領域抽出装置のブロック図である。
【図２４】領域抽出のフローチャートである。
【図２５】領域抽出の説明図である。
【図２６】第２領域抽出装置のブロック図である。
【図２７】領域抽出のフローチャートである。
【図２８】領域抽出の説明図である。
【図２９】第３〜６領域抽出装置のブロック図である。
【図３０】領域抽出のフローチャートである。
【図３１】領域抽出の説明図である。
【図３２】第３，４，７，８の領域抽出装置のブロック
図である。
図である。
【図３３】領域抽出のフローチャートである。
【図３４】領域抽出の説明図である。
【図３５】第３，４の領域抽出装置のブロック図であ
る。
る。
【図３６】エッジ処理のフローチャートである。
【図３７】エッジ処理の説明図である。
【図３８】エッジ処理の説明図である。
【図３９】第10の領域抽出装置のブロック図である。
【図４０】雑音消去のフローチャートである。
【図４１】雑音消去の説明図である。
【図４２】第10の領域抽出装置のブロック図である。
【図４３】雑音消去のフローチャートである。
【図４４】雑音消去の説明図である。
【図４５】第11の領域抽出装置のブロック図である。
【図４６】雑音消去のフローチャートである。
【図４７】雑音消去の説明図である。
１ 特定物体領域抽出部 ２ ３次元形状情報付加部 ３ 映像CGモデル生成部 ４ 合成画像生成部 ５ 画像記憶部 ６ 形状・表面属性情報記憶部 7a,7b CGモデル記憶部 ８ 合成情報記憶部 10 画像表示装置 12 ポインティング装置 13 CGモデル作成部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 椎谷 秀一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平４−289976（ＪＰ，Ａ) 特開 平５−233781（ＪＰ，Ａ) 特開 平５−274409（ＪＰ，Ａ) 特開 昭62−222370（ＪＰ，Ａ) 特開 昭62−198968（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06T 17/00 - 17/40
Claims (27)
- 【請求項１】 実写映像に含まれる物体の３次元形状を
抽出する方法において、 複数の幾何学的形状のデータを予め用意しておく過程
と、実写映像から前記物体に相当する領域を抽出する過
程と、抽出した領域を表示している画面に予め用意され
ている前記複数の幾何学的形状のデータを表示し、前記
抽出した領域の形状に応じて幾何学的形状のデータを選
択させる過程と、選択されたデータに係る幾何学的形状
と前記抽出した領域とを一致させるべく前記幾何学的形
状の位置、向き、大きさを調整する過程とを備えること
を特徴とする３次元形状抽出方法。 - 【請求項２】 実写映像に含まれる物体の３次元形状を
抽出する装置において、 複数の幾何学的形状のデータを予め用意しておく手段(2
2)と、実写映像から前記物体に相当する領域を抽出する
手段(21)と、抽出した領域を表示している画面に予め用
意されている前記複数の幾何学的形状のデータを表示
し、前記抽出した領域の形状に応じて幾何学的形状のデ
ータを選択させる手段(22)と、選択されたデータに係る
幾何学的形状と前記抽出した領域とを一致させるべく前
記幾何学的形状の位置、向き、大きさを調整する調整手
段(23)とを備えることを特徴とする３次元形状抽出装
置。 - 【請求項３】 実写映像に含まれる物体の３次元形状を
抽出する装置において、 複数の幾何学的形状のデータを予め用意しておく手段(2
2)と、実写映像から前記物体に相当する領域を抽出する
手段(21)と、抽出した領域を表示している画面に予め用
意されている前記複数の幾何学的形状のデータを表示
し、前記抽出した領域の形状に応じて幾何学的形状のデ
ータを選択させる手段(22)と、前記抽出された領域およ
び選択された幾何学的形状を一致させるべく、前記抽出
した領域の位置、向き、面積に基づいて、前記選択され
た幾何学的形状の位置、向き、大きさを自動調整する調
整手段(23)とを備えることを特徴とする３次元形状抽出
装置。 - 【請求項４】 前記調整手段(23)は、前記抽出した領域
に基づいて、前記物体の重心となる座標および前記幾何
学的形状の重心となる座標とを算出し、算出された両重
心が一致するように、前記選択された幾何学的形状のデ
ータを移動して、前記抽出した領域と前記選択された幾
何学的形状のデータとを自動的に重ねて表示されるよう
表示位置を調整する自動調整手段を備える請求項２又は
３記載の３次元形状抽出装置。 - 【請求項５】 前記調整手段(23)は、前記抽出した領域
に基づいて、前記物体の重心となる座標および前記幾何
学的形状の重心となる座標とを算出しておき、さらに前
記抽出した領域から前記物体の長軸方向を算出し、前記
幾何学的形状の重心を中心に算出された前記物体の長軸
方向に合わせて前記幾何学的形状の向きを回転させ、前
記抽出した領域と前記選択された幾何学的形状のデータ
の向きが同一となるように表示位置を調整する自動調整
手段を備える請求項２又は３記載の３次元形状抽出装
置。 - 【請求項６】 前記調整手段(23)は、前記抽出した領域
に基づいて、前記物体の重心となる座標および前記幾何
学的形状の重心となる座標とを算出しておき、さらに前
記抽出した領域から前記物体の表示面積を算出し、前記
幾何学的形状の重心を中心に算出された前記物体の表示
面積に合わせて前記幾何学的形状を拡大又は縮小するこ
とにより、前記抽出した物体の領域と前記選択された幾
何学的形状のデータの大きさが同一となるように表示位
置を調整する自動調整手段を備える請求項２又は３記載
の３次元形状抽出装置。 - 【請求項７】 更に、前記調整手段(23)によって調整さ
れた形状の表面に前記領域の画像情報をマッピングし、
これを表示する手段(24)を備える請求項２又は３記載の
３次元形状抽出装置。 - 【請求項８】 映像から特定の領域を抽出する方法にお
いて、抽出対象とすべき領域内の複数の画素を指定する
過程と、指定した画素における所定の特徴量を求める過
程と、求めた特徴量の最大値及び最小値を求める過程
と、抽出対象とすべき領域の内外の画素につき特徴量を
求めて、その特徴量が前記最大値と最小値との間にある
画素を選択する過程とを備え、前記画素によって構成さ
れる領域を抽出領域とすることを特徴とする領域抽出方
法。 - 【請求項９】 映像から特定の領域を抽出する方法にお
いて、抽出対象とすべき領域内の複数の画素を指定する
過程と、指定した画素における所定の特徴量を求める過
程と、指定した画素の、求めた特徴量につき、隣接画素
間の差分を計算する過程と、計算した差分の最大値を求
める過程と、指定した画素を開始点として、隣接画素間
の特徴量の差分が前記最大値より小さい４近傍又は８近
傍の画素を連結する過程とを備え、連結した画素によっ
て構成される領域を抽出領域とすることを特徴とする領
域抽出方法。 - 【請求項１０】 前記抽出領域の画素及び非抽出領域の
画素に各別の値を付与する過程と、前記抽出領域の境界
の外縁に位置する画素に、前記値の中間の値を付与する
過程とを備え、これらの付与した値による画像を生成す
ることを特徴とする請求項８又は９項記載の領域抽出方
法。 - 【請求項１１】 前記抽出領域から遠ざかる方向に隣接
する複数の画素の各々に異なる中間の値を付与する請求
項１０記載の領域抽出方法。 - 【請求項１２】 映像から特定の領域を抽出する方法に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る過程と、指定した画素における所定の特徴量を求める
過程と、求めた特徴量の最大値及び最小値を求める過程
と、抽出対象とすべき領域の内外の画素につき特徴量を
求めて、特徴量が前記最大値と最小値との間の範囲にあ
るか否かを判定する過程と、前記範囲内の画素に定数Ｋ
を付与する過程と、前記範囲外の画素の特徴量と前記最
大値又は最小値との差分を算出する過程と、前記範囲外
の画素に、定数Ｋから前記差分に関連して定まる値を減
じた値を付与する過程とを備え、これらの付与した値に
よる画像を生成することを特徴とする領域抽出方法。 - 【請求項１３】 映像から特定の領域を抽出する方法に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る過程と、指定した画素における所定の複数の特徴量を
求める過程と、求めた特徴量の最大値及び最小値を特徴
量の各々について求める過程と、抽出対象とすべき領域
の内外の画素につき特徴量を求めて、特徴量が前記最大
値と最小値との間の範囲にあるか否かを判定する過程
と、前記範囲内の画素に定数Ｋを付与する過程と、前記
範囲外の画素の特徴量と前記最大値又は最小値との差分
を算出する過程と、前記範囲外の画素に、定数Ｋから各
々の特徴量の前記差分に関連して定まる値を減じた値を
付与する過程とを備え、これらの付与した値による画像
を生成することを特徴とする領域抽出方法。 - 【請求項１４】 映像から特定の領域を抽出する方法に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る過程と、指定した画素における所定の特徴量を求める
過程と、求めた特徴量の平均値及び分散を求める過程
と、抽出対象とすべき領域の内外の画素につき特徴量を
求めて、特徴量が前記平均値及び分散で定まる範囲にあ
るか否かを判定する過程と、前記範囲内の画素に定数Ｋ
を付与する過程と、前記範囲外の画素の特徴量と前記平
均値との偏差を算出する過程と、前記範囲外の画素に、
定数Ｋから前記偏差に関連して定まる値を減じた値を付
与する過程とを備え、これらの付与した値による画像を
生成することを特徴とする領域抽出方法。 - 【請求項１５】 映像から特定の領域を抽出する方法に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る過程と、指定した画素における所定の複数の特徴量を
求める過程と、求めた特徴量の平均値及び分散を特徴量
の各々について求める過程と、抽出対象とすべき領域の
内外の画素につき特徴量を求めて、特徴量が前記平均値
及び分散で定まる範囲にあるか否かを判定する過程と、
前記範囲内の画素に定数Ｋを付与する過程と、前記範囲
外の画素の特徴量と前記平均値との偏差を算出する過程
と、前記範囲外の画素に、定数Ｋから各々の特徴量の前
記偏差に関連して定まる値を減じた値を付与する過程と
を備え、これらの付与した値による画像を生成すること
を特徴とする領域抽出方法。 - 【請求項１６】 複数フレームの映像から特定の領域を
抽出する方法において、 一のフレームで抽出対象とすべき領域内の複数の画素を
指定する過程と、指定した画素を開始点として４連結又
は８連結のラベリングをする過程と、ラベリングされて
いない領域を非抽出領域に変更する過程と、抽出領域の
幾何学的特徴量を算出する過程とを備え、 また次フレームでラベリングする過程と、異なるラベル
を付与された領域ごとに幾何学的特徴量を算出する過程
と、前フレームの抽出領域の幾何学的特徴量に近い幾何
学的特徴量を有する領域を抽出領域として残存させ、他
の領域を非抽出領域に変更する過程とを備えることを特
徴とする領域抽出方法。 - 【請求項１７】 複数フレームの映像から特定の領域を
抽出する方法において、 一のフレームで抽出対象とすべき領域内の複数の画素を
指定する過程と、指定した画素を開始点として４連結又
は８連結のラベリングをする過程と、ラベリングされて
いない領域を非抽出領域に変更する過程と、抽出領域の
光学的特徴量を算出する過程とを備え、 また次フレームでラベリングする過程と、異なるラベル
を付与された領域ごとに光学的特徴量を算出する過程
と、前フレームの抽出領域の光学的特徴量に近い光学的
特徴量を有する領域を抽出領域として残存させ、他の領
域を非抽出領域に変更する過程とを備えることを特徴と
する領域抽出方法。 - 【請求項１８】 映像から特定の領域を抽出する装置に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る手段(35)と、指定した画素における所定の特徴量を求
める手段(41)と、求めた特徴量の最大値及び最小値を求
める手段(41)と、これらの最大値及び最小値を記憶する
手段 (43、44) と、抽出対象とすべき領域の内外の画素
につき特徴量を求めて、その特徴量が前記最大値と最小
値との間にある画素を選択する手段(41)とを備え、前記
画素によって構成される領域を抽出領域とすべくなして
あることを特徴とする領域抽出装置。 - 【請求項１９】 映像から特定の領域を抽出する装置に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る手段(35)と、指定した画素における所定の特徴量を求
める手段(41)と、指定した画素の、求めた特徴量につ
き、隣接画素間の差分を計算する手段(41)と、計算した
差分の最大値を求める手段(41)と、該最大値を記憶する
手段(45)と、指定した画素を開始点として、隣接画素間
の特徴量の差分が前記最大値より小さい４近傍又は８近
傍の画素を連結する手段(41)とを備え、連結した画素に
よって構成される領域を抽出領域とすべくなしてあるこ
とを特徴とする領域抽出装置。 - 【請求項２０】 前記抽出領域の画素及び非抽出領域の
画素に各別の値を付与する手段(41)と、前記抽出領域の
境界の外縁に位置する画素に、前記値の中間の値を付与
する手段(41)とを備え、これらの付与した値による画像
を生成すべくなしてあることを特徴とする請求項１８又
は１９項記載の領域抽出装置。 - 【請求項２１】 前記抽出領域から遠ざかる方向に隣接
する複数の画素の各々に異なる中間の値を付与すべくな
してある請求項２０記載の領域抽出装置。 - 【請求項２２】 映像から特定の領域を抽出する装置に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る手段(35)と、指定した画素における所定の特徴量を求
める手段(41)と、求めた特徴量の最大値及び最小値を求
める手段(41)と、これら最大値及び最小値を記憶する手
段 (43、44) と、抽出対象とすべき領域の内外の画素に
つき特徴量を求めて、特徴量が前記最大値と最小値との
間の範囲にあるか否かを判定する手段(41)と、前記範囲
内の画素に定数Ｋを付与する手段(41)と、前記範囲外の
画素の特徴量と前記最大値又は最小値との差分を算出す
る手段(41)と、前記範囲外の画素に、定数Ｋから前記差
分に関連して定まる値を減じた値を付与する手段(41)と
を備え、これらの付与した値による画像を生成すべくな
してあることを特徴とする領域抽出装置。 - 【請求項２３】 映像から特定の領域を抽出する装置に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る手段(35)と、指定した画素における所定の複数の特徴
量を求める手段(41)と、求めた特徴量の最大値及び最小
値を特徴量の各々について求める手段(41)と、これら最
大値及び最小値を記憶する手段 (43、44) と、抽出対象
とすべき領域の内外の画素につき特徴量を求めて、特徴
量が前記最大値と最小値との間の範囲にあるか否かを判
定する手段(41)と、前記範囲内の画素に定数Ｋを付与す
る手段(41)と、前記範囲外の画素の特徴量と前記最大値
又は最小値との差分を算出する手段(41)と、前記範囲外
の画素に、定数Ｋから各々の特徴量の前記差分に関連し
て定まる値を減じた値を付与する手段(41)とを備え、こ
れらの付与した値による画像を生成すべくなしてあるこ
とを特徴とする領域抽出装置。 - 【請求項２４】 映像から特定の領域を抽出する装置に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る手段(35)と、指定した画素における所定の特徴量を求
める手段(41)と、求めた特徴量の平均値及び分散を求め
る手段(41)と、該平均値及び分散を記憶する手段 (48、
47) と、抽出対象とすべき領域の内外の画素につき特徴
量を求めて、特徴量が前記平均値及び分散で定まる範囲
にあるか否かを判定する手段(41)と、前記範囲内の画素
に定数Ｋを付与する手段(41)と、前記範囲外の画素の特
徴量と前記平均値との偏差を算出する手段(41)と、前記
範囲外の画素に、定数Ｋから前記偏差に関連して定まる
値を減じた値を付与する手段(41)とを備え、これらの付
与した値による画像を生成すべくなしてあることを特徴
とする領域抽出装置。 - 【請求項２５】 映像から特定の領域を抽出する装置に
おいて、抽出対象とすべき領域内の複数の画素を指定す
る手段(35)と、指定した画素における所定の複数の特徴
量を求める手段(41)と、求めた特徴量の平均値及び分散
を特徴量の各々について求める手段(41)と、該平均値及
び分散を記憶する手段 (46、47) と、抽出対象とすべき
領域の内外の画素につき特徴量を求めて、特徴量が前記
平均値及び分散で定まる範囲にあるか否かを判定する手
段(41)と、前記範囲内の画素に定数Ｋを付与する手段(4
1)と、前記範囲外の画素の特徴量と前記平均値との偏差
を算出する手段(41)と、前記範囲外の画素に、定数Ｋか
ら各々の特徴量の前記偏差に関連して定まる値を減じた
値を付与する手段(41)とを備え、これらの付与した値に
よる画像を生成すべくなしてあることを特徴とする領域
抽出装置。 - 【請求項２６】 複数フレームの映像から特定の領域を
抽出する装置において、 一のフレームで抽出対象とすべき領域内の複数の画素を
指定する手段(35)と、指定した画素を開始点として４連
結又は８連結のラベリングをする手段(48)と、ラベリン
グされていない領域を非抽出領域に変更する手段(41)
と、抽出領域の幾何学的特徴量を算出する手段(41)とを
備え、 また次フレームでラベリングする手段(48)と、異なるラ
ベルを付与された領域ごとに幾何学的特徴量を算出する
手段(41)と、前フレームの抽出領域の幾何学的特徴量に
近い幾何学的特徴量を有する領域を抽出領域として残存
させ、他の領域を非抽出領域に変更する手段(41)とを備
えることを特徴とする領域抽出装置。 - 【請求項２７】 複数フレームの映像から特定の領域を
抽出する装置において、 一のフレームで抽出対象とすべき領域内の複数の画素を
指定する手段と、指定した画素を開始点として４連結又
は８連結のラベリングをする手段(48)と、ラベリングさ
れていない領域を非抽出領域に変更する手段(41)と、抽
出領域の光学的特徴量を算出する手段(41)とを備え、 また次フレームでラベリングする手段(48)と、異なるラ
ベルを付与された領域ごとに光学的特徴量を算出する手
段(41)と、前フレームの抽出領域の光学的特徴量に近い
光学的特徴量を有する領域を抽出領域として残存させ、
他の領域を非抽出領域に変更する手段(41)とを備えるこ
とを特徴とする領域抽出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6047491A JP3030485B2 (ja) | 1994-03-17 | 1994-03-17 | ３次元形状抽出方法及び装置 |
| US08/385,441 US5742294A (en) | 1994-03-17 | 1995-02-08 | Method and apparatus for synthesizing images |
| US08/984,649 US6999069B1 (en) | 1994-03-17 | 1997-12-03 | Method and apparatus for synthesizing images |
| JP31033999A JP3364682B2 (ja) | 1994-03-17 | 1999-10-29 | 画像列生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6047491A JP3030485B2 (ja) | 1994-03-17 | 1994-03-17 | ３次元形状抽出方法及び装置 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31033999A Division JP3364682B2 (ja) | 1994-03-17 | 1999-10-29 | 画像列生成方法 |
| JP31023699A Division JP3345808B2 (ja) | 1999-10-29 | 1999-10-29 | ３次元形状モデルの表示方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07262410A JPH07262410A (ja) | 1995-10-13 |
| JP3030485B2 true JP3030485B2 (ja) | 2000-04-10 |
Family
ID=12776595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6047491A Expired - Fee Related JP3030485B2 (ja) | 1994-03-17 | 1994-03-17 | ３次元形状抽出方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US5742294A (ja) |
| JP (1) | JP3030485B2 (ja) |
Families Citing this family (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981361A (ja) * | 1995-09-12 | 1997-03-28 | Toshiba Corp | 画像表示方法、データ収集方法及び対象物特定方法 |
| US6714689B1 (en) * | 1995-09-29 | 2004-03-30 | Canon Kabushiki Kaisha | Image synthesizing method |
| US5883678A (en) * | 1995-09-29 | 1999-03-16 | Kabushiki Kaisha Toshiba | Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio |
| JP3064928B2 (ja) * | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
| JPH10126687A (ja) * | 1996-10-16 | 1998-05-15 | Matsushita Electric Ind Co Ltd | すり替え編集システム |
| JPH10198539A (ja) * | 1997-01-08 | 1998-07-31 | Fuji Xerox Co Ltd | 画像形成装置および画像形成方法 |
| JPH11250250A (ja) | 1998-02-27 | 1999-09-17 | Fujitsu Ltd | 三次元形状抽出装置及び記録媒体 |
| US6677944B1 (en) * | 1998-04-14 | 2004-01-13 | Shima Seiki Manufacturing Limited | Three-dimensional image generating apparatus that creates a three-dimensional model from a two-dimensional image by image processing |
| DE19821611A1 (de) | 1998-05-14 | 1999-11-18 | Syrinx Med Tech Gmbh | Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche |
| JP3467725B2 (ja) | 1998-06-02 | 2003-11-17 | 富士通株式会社 | 画像の影除去方法、画像処理装置及び記録媒体 |
| JP4025442B2 (ja) * | 1998-12-01 | 2007-12-19 | 富士通株式会社 | 三次元モデル変換装置及び方法 |
| US6593936B1 (en) * | 1999-02-01 | 2003-07-15 | At&T Corp. | Synthetic audiovisual description scheme, method and system for MPEG-7 |
| US6728423B1 (en) | 2000-04-28 | 2004-04-27 | Orametrix, Inc. | System and method for mapping a surface |
| US7068836B1 (en) | 2000-04-28 | 2006-06-27 | Orametrix, Inc. | System and method for mapping a surface |
| US6744932B1 (en) | 2000-04-28 | 2004-06-01 | Orametrix, Inc. | System and method for mapping a surface |
| US6532299B1 (en) | 2000-04-28 | 2003-03-11 | Orametrix, Inc. | System and method for mapping a surface |
| US6413084B1 (en) | 2000-04-28 | 2002-07-02 | Ora Metrix, Inc. | Method and system of scanning |
| US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
| US6744914B1 (en) | 2000-04-28 | 2004-06-01 | Orametrix, Inc. | Method and system for generating a three-dimensional object |
| US6512994B1 (en) | 1999-11-30 | 2003-01-28 | Orametrix, Inc. | Method and apparatus for producing a three-dimensional digital model of an orthodontic patient |
| US6771809B1 (en) | 2000-04-28 | 2004-08-03 | Orametrix, Inc. | Method and system for registering data |
| JP4203779B2 (ja) * | 1999-03-15 | 2009-01-07 | ソニー株式会社 | 表示要素立体化装置及びその方法 |
| JP3807583B2 (ja) * | 1999-04-19 | 2006-08-09 | 本田技研工業株式会社 | 道路領域判定装置 |
| EP1102211A3 (en) * | 1999-11-19 | 2006-09-13 | Matsushita Electric Industrial Co., Ltd. | Image processor, method of providing image processing services and order processing method |
| US6648640B2 (en) * | 1999-11-30 | 2003-11-18 | Ora Metrix, Inc. | Interactive orthodontic care system based on intra-oral scanning of teeth |
| JP2001197366A (ja) | 2000-01-12 | 2001-07-19 | Hitachi Ltd | 画像合成方法及び画像合成プログラムを記録した記録媒体 |
| US6792144B1 (en) * | 2000-03-03 | 2004-09-14 | Koninklijke Philips Electronics N.V. | System and method for locating an object in an image using models |
| US7471821B2 (en) * | 2000-04-28 | 2008-12-30 | Orametrix, Inc. | Method and apparatus for registering a known digital object to scanned 3-D model |
| US7027642B2 (en) * | 2000-04-28 | 2006-04-11 | Orametrix, Inc. | Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects |
| JP2001319246A (ja) * | 2000-05-02 | 2001-11-16 | Canon Inc | 情報処理方法及び装置 |
| US7031522B2 (en) * | 2000-06-23 | 2006-04-18 | Sony Corporation | Image processing apparatus and method, and storage medium therefor |
| JP3764364B2 (ja) * | 2000-10-31 | 2006-04-05 | 株式会社東芝 | 画像特徴点検出方法、画像処理方法、及びプログラム |
| US7080979B2 (en) * | 2001-04-13 | 2006-07-25 | Orametrix, Inc. | Method and workstation for generating virtual tooth models from three-dimensional tooth data |
| US6977659B2 (en) * | 2001-10-11 | 2005-12-20 | At & T Corp. | Texture replacement in video sequences and images |
| US7606435B1 (en) | 2002-02-21 | 2009-10-20 | At&T Intellectual Property Ii, L.P. | System and method for encoding and decoding using texture replacement |
| JP2004030122A (ja) * | 2002-06-25 | 2004-01-29 | Fujitsu Ltd | 図面検索支援装置および図面検索方法 |
| JP4278434B2 (ja) * | 2003-05-19 | 2009-06-17 | パナソニック株式会社 | 通信装置、情報共有システムおよび情報共有方法 |
| US9642685B2 (en) * | 2003-07-17 | 2017-05-09 | Pentron Clinical Technologies, Llc | Digital technologies for planning and carrying out dental restorative procedures |
| US8751950B2 (en) | 2004-08-17 | 2014-06-10 | Ice Edge Business Solutions Ltd. | Capturing a user's intent in design software |
| US7639839B2 (en) * | 2004-03-31 | 2009-12-29 | Fuji Xerox Co., Ltd. | Extracting video regions of interest |
| US7573491B2 (en) * | 2004-04-02 | 2009-08-11 | David Hartkop | Method for formatting images for angle-specific viewing in a scanning aperture display device |
| TWI236289B (en) * | 2004-08-11 | 2005-07-11 | Pixart Imaging Inc | Interactive device capable of improving image processing |
| US9024880B2 (en) * | 2004-08-11 | 2015-05-05 | Pixart Imaging Inc. | Interactive system capable of improving image processing |
| US7904455B2 (en) * | 2005-11-03 | 2011-03-08 | Fuji Xerox Co., Ltd. | Cascading cluster collages: visualization of image search results on small displays |
| US7522164B2 (en) * | 2006-03-28 | 2009-04-21 | International Business Machines Corporation | Using self-adjustable three-dimensional matrix to simplify the construction of a complex 3D scene |
| GB0611128D0 (en) * | 2006-06-06 | 2006-07-19 | Sony Uk Ltd | Encoding and detecting apparatus |
| US20090021533A1 (en) * | 2007-07-17 | 2009-01-22 | Michael Guerzhoy | Method For Extracting An Inexact Rectangular Region Into An Axis-Aligned Rectangle Image |
| JP4973447B2 (ja) * | 2007-10-25 | 2012-07-11 | 富士通株式会社 | 差異強調プログラム、差異強調処理方法及び差異強調処理装置 |
| EP2252951B1 (en) * | 2008-03-11 | 2021-05-05 | Ice Edge Business Solutions, Ltd. | Automatically creating and modifying furniture layouts in design software |
| US20090231327A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Method for visualization of point cloud data |
| US20090232388A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data by creation of filtered density images |
| US20090232355A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data using eigenanalysis |
| JP5214730B2 (ja) * | 2008-06-23 | 2013-06-19 | パナソニック株式会社 | 合成装置および合成方法 |
| US20100208981A1 (en) * | 2009-02-13 | 2010-08-19 | Harris Corporation | Method for visualization of point cloud data based on scene content |
| US8290305B2 (en) * | 2009-02-13 | 2012-10-16 | Harris Corporation | Registration of 3D point cloud data to 2D electro-optical image data |
| JP5171713B2 (ja) * | 2009-03-27 | 2013-03-27 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
| CN102349304B (zh) * | 2009-03-30 | 2015-05-06 | 日本电气株式会社 | 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质 |
| JP4935961B2 (ja) * | 2009-04-14 | 2012-05-23 | 日本電気株式会社 | 画像識別子抽出装置 |
| JP2011022726A (ja) * | 2009-07-14 | 2011-02-03 | Sony Corp | 画像処理装置および画像処理方法 |
| JP5299173B2 (ja) * | 2009-08-26 | 2013-09-25 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| US20110115812A1 (en) * | 2009-11-13 | 2011-05-19 | Harris Corporation | Method for colorization of point cloud data based on radiometric imagery |
| US20110200249A1 (en) * | 2010-02-17 | 2011-08-18 | Harris Corporation | Surface detection in images based on spatial data |
| TWI508543B (zh) * | 2010-05-06 | 2015-11-11 | Pixart Imaging Inc | 可提高影像處理速度之互動式系統 |
| US9053562B1 (en) | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
| JP5058354B1 (ja) * | 2011-04-19 | 2012-10-24 | 株式会社東芝 | 電子機器、表示制御方法及びプログラム |
| JP2014082541A (ja) * | 2012-10-12 | 2014-05-08 | National Institute Of Information & Communication Technology | 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置 |
| US9992021B1 (en) | 2013-03-14 | 2018-06-05 | GoTenna, Inc. | System and method for private and point-to-point communication between computing devices |
| CN105264566B (zh) * | 2013-05-31 | 2018-06-12 | 松下知识产权经营株式会社 | 建模装置、三维模型生成装置、建模方法和布局模拟器 |
| JP5878511B2 (ja) * | 2013-11-15 | 2016-03-08 | 萬里科技股▲ふん▼有限公司 | ３ｄ空間中で３ｄ幾何データを仮想現実画像の表現と制御に用いる方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4835532A (en) * | 1982-07-30 | 1989-05-30 | Honeywell Inc. | Nonaliasing real-time spatial transform image processing system |
| JPS6219868A (ja) | 1985-07-18 | 1987-01-28 | Canon Inc | 電子写真感光体 |
| JPH0812696B2 (ja) | 1986-03-24 | 1996-02-07 | シャープ株式会社 | 画像処理装置 |
| JPS62162173A (ja) * | 1986-01-13 | 1987-07-18 | Hitachi Ltd | 図形表示方法 |
| US4831445A (en) * | 1986-12-11 | 1989-05-16 | Nec Corporation | Special effect system for video signal |
| US4935879A (en) * | 1987-08-05 | 1990-06-19 | Daikin Industries, Ltd. | Texture mapping apparatus and method |
| JP2951663B2 (ja) | 1987-08-05 | 1999-09-20 | ダイキン工業株式会社 | テクスチャマッピング装置およびその方法 |
| JP2832463B2 (ja) * | 1989-10-25 | 1998-12-09 | 株式会社日立製作所 | ３次元モデルの再構成方法および表示方法 |
| JPH03244005A (ja) * | 1990-02-22 | 1991-10-30 | Mitsubishi Electric Corp | 形状表示方式 |
| EP0449478A3 (en) * | 1990-03-29 | 1992-11-25 | Microtime Inc. | 3d video special effects system |
| US5077608A (en) * | 1990-09-19 | 1991-12-31 | Dubner Computer Systems, Inc. | Video effects system able to intersect a 3-D image with a 2-D image |
| JP2720920B2 (ja) | 1991-03-11 | 1998-03-04 | 工業技術院長 | 画像処理システムにおける実写画像とコンピュータグラフィックスの合成方法 |
| JPH04289976A (ja) | 1991-03-19 | 1992-10-14 | Hitachi Ltd | 三次元形状モデル生成方法およびシステム |
| JPH0561962A (ja) | 1991-08-30 | 1993-03-12 | Hitachi Ltd | 製品評価のための環境モデル作成装置 |
| JPH05101160A (ja) | 1991-10-04 | 1993-04-23 | Toshiba Corp | アニメーシヨン構成装置 |
| JP3206047B2 (ja) | 1991-11-14 | 2001-09-04 | 株式会社日立製作所 | グラフィックデータ処理システム |
| JPH05233781A (ja) | 1992-02-25 | 1993-09-10 | N T T Data Tsushin Kk | 動画像利用の立体モデル作成システム |
| JPH07111743B2 (ja) | 1992-03-04 | 1995-11-29 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 三次元空間中の物体を回転させるグラフィック表示方法及び装置 |
| JPH05274409A (ja) | 1992-03-27 | 1993-10-22 | Mitsubishi Electric Corp | 画像データ抽出装置 |
| JPH0628449A (ja) | 1992-07-08 | 1994-02-04 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| US5379370A (en) * | 1992-07-17 | 1995-01-03 | International Business Machines Corporation | Method and apparatus for drawing lines, curves, and points coincident with a surface |
| JP2623416B2 (ja) | 1992-09-21 | 1997-06-25 | 松下電器産業株式会社 | ３次元図形処理装置 |
| JP3229042B2 (ja) | 1992-11-24 | 2001-11-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| JP2573785B2 (ja) | 1993-02-22 | 1997-01-22 | 日本電気株式会社 | ３次元分子情報の表示における視線／光線方向変更装置 |
-
1994
- 1994-03-17 JP JP6047491A patent/JP3030485B2/ja not_active Expired - Fee Related
-
1995
- 1995-02-08 US US08/385,441 patent/US5742294A/en not_active Expired - Lifetime
-
1997
- 1997-12-03 US US08/984,649 patent/US6999069B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6999069B1 (en) | 2006-02-14 |
| JPH07262410A (ja) | 1995-10-13 |
| US5742294A (en) | 1998-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3030485B2 (ja) | ３次元形状抽出方法及び装置 | |
| JP5299173B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| JPH05174129A (ja) | ３次元モデルを映像化するためのモデリング装置 | |
| US7277571B2 (en) | Effective image processing, apparatus and method in virtual three-dimensional space | |
| WO2002013144A1 (en) | 3d facial modeling system and modeling method | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| KR20200024105A (ko) | 컴퓨터 그래픽 합성 시스템 및 방법 | |
| JPH10240908A (ja) | 映像合成方法 | |
| JPH0997344A (ja) | テクスチャ生成方法およびテクスチャ生成システム | |
| US12020363B2 (en) | Surface texturing from multiple cameras | |
| JP3732158B2 (ja) | ３次元形状モデルの表示方法及び装置 | |
| Leung et al. | Realistic video avatar | |
| JP3345808B2 (ja) | ３次元形状モデルの表示方法及び装置 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP7394566B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP3116019B2 (ja) | 三次元画像データ作成方法および三次元カラー画像表示方法 | |
| JP3364682B2 (ja) | 画像列生成方法 | |
| JPH05298460A (ja) | 貝殻質感表現装置 | |
| US6633291B1 (en) | Method and apparatus for displaying an image | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| JP3261832B2 (ja) | 画像生成装置 | |
| JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 | |
| JP2001222725A (ja) | 画像処理装置 | |
| JPH0935082A (ja) | 画像処理方法および画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |