JP2000270343A - 画像合成用識別パタンパネルを備えた仮想スタジオシステム及び画像合成用識別パタンパネルを用いた識別方法 - Google Patents

Abstract

(57)【要約】 【課題】スタジオカメラにセンサを装着し、そのデ−タ
からカメラパラメ−タを認識する方法は、センサを装着
したスタジオカメラのみしか使用できず、またクロクロ
マキ−バックパネルを濃淡の格子状パタンに塗り分けて
撮影し、被写体の画像領域の抽出と、画像のパタンの情
報を前記パネルの原パタンに対応させて画像解析してカ
メラパラメ−タを推定する方法は、画像にはレンズの光
学的な歪み、照明等の環境ノイズ、映像信号処理の誤差
が含まれ、誤差が大きいと、推定されたカメラパラメ−
タが大きく異なり、合成画像の前景と背景との対応関係
が不自然な合成画像となる。これらの問題を解決する。 【解決手段】クロマキ−バックパネルの複比又は隣接比
による識別パタン情報から、画像の誤差による影響を考
慮した最良格子パタンによって画像中の格子パタンと原
格子パタンを精度良く識別し、安定してカメラパラメ−
タを推定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】 本発明は、仮想スタジオに
おける前景の被写体画像と、仮想背景のＣＧとの画像合
成手段に係り、画像合成用識別パタンの生成と該パタン
パネルを用いてカメラパラメ−タを検出するための識別
方法を備えた仮想スタジオシステムに関する。

【０００２】

【従来の技術】 テレビジョンの番組制作などで、前景
となる人物等の被写体（以降は単に被写体と記載する）
の画像をその背景画像から抽出し、これに対応するＣＧ
（コンピュ−タグラフィクス）等で生成した仮想背景と
合成する技術が知られており、特に近年は仮想スタジオ
と呼ばれるシステムに利用されている。被写体画像を抽
出する手段はクロマキ−装置が利用される。この被写体
は人物の場合が多いので、肌色の補色であるブル−バッ
クパネル（クロマキ−バックパネル）を背景に撮影し、
背景との色の相異を利用して被写体の画像領域を抽出し
ている。

【０００３】仮想スタジオでは、スタジオカメラはカメ
ラワ−クのために位置、向き等を変えて撮影する必要が
あるが、背景のＣＧ画面もこの動きに違和感なく自動的
に追随することにより、リアルな仮想の空間を実現する
ことが可能となる。このためには、ＣＧの３次元空間に
おける仮想カメラの位置及び、パン、チルト、ロ−ル
（傾き）、ズ−ム等のパラメ−タ（以降はカメラパラメ
−タと記載する）を、スタジオカメラのそれに一致、連
動して背景のＣＧ画面を生成する必要があり、したがっ
て、スタジオにおける３次元の基準座標系に対するカメ
ラパラメ−タを検知する必要がある。その手段の多く
は、スタジオカメラのレンズや三脚等に機械式又は光学
式等のセンサを装着し、そのデ−タによりカメラパラメ
−タを認識する方法である。あるいは、クロマキ−装置
のクロマキ−バックパネル（ブル−バックパネル）を濃
淡による格子状のパタンに塗り分けて撮影し、クロマキ
−の目的である被写体の画像領域の抽出を行うと共に、
画像の前記パタンの情報をクロマキ−バックパネルの原
パタンに対応させて画像解析することによりカメラパラ
メ−タを推定する方法がある。

【０００４】

【発明が解決しようとする課題】 前述のセンサによる
方法は、センサを装着したスタジオカメラのみしか使用
できず、その装着方法にも制約があって装着できない場
合もあり、また、センサの装着により撮影時のカメラワ
−クに制約を生じる等の欠点がある。また、クロマキ−
バックパネルの格子状の識別パタン情報よりカメラパラ
メ−タを推定する場合、画像にはレンズによる光学的な
歪み、照明等の環境に起因するノイズ、その他映像信号
処理における種々の原因による誤差が含まれ、誤差が大
きいと画像解析により推定されたカメラパラメ−タが大
きく異なることにより、合成画像の前景と背景との対応
関係において違和感が増大して不自然な合成画像とな
る。本発明は、前述のようにカメラワ−ク等に支障をき
たすセンサによる方式は排除し、クロマキ−バックパネ
ルの識別パタン情報からスタジオカメラのパラメ−タを
推定する手段に係り、画像の誤差による影響を考慮した
最良な格子パタンによって画像中の格子パタンと原格子
パタンを精度良く識別し、安定してカメラパラメ−タを
推定することを目的とする。

【０００５】

【課題を解決するための手段】 本発明者等は、上記に
鑑み鋭意実験研究の結果、下記の手段によりこの課題を
解決した。クロマキ−装置のクロマキ−バックパネルを
同じ色相で濃さの異なる２色（以降は濃淡２色と記載す
る）のブル−等に塗り分けることによる既知の幾何学的
格子パタンを描き、被写体の背景として撮影された画像
中の格子パタンの部分を画像解析する。こうして得られ
た画像中の格子パタンと、クロマキ−バックパネルの原
格子パタンとの対応がとれれば、前記パラメ−タを推定
できることはよく知られており、すなわち画像中の格子
パタンの２次元画像座標と、その格子パタンの３次元空
間座標の対応がとれればカメラパラメ−タを推定でき
る。撮影された格子パタンは格子パタン全体の一部であ
り、また前景である被写体によりその一部が隠されてい
る場合が多い。したがって、前記パラメ−タを推定する
ためには、画像中の一部の格子パタンが格子パタン全体
のどの部分であるかを識別する必要がある。このために
格子パタンの帯の幅から計算される複比による識別ある
いは隣接比による識別を行う。以下にその手段を記述す
る。

【０００６】（１）濃淡２色からなる格子パタンを有す
るクロマキ−バックパネルを備え、スタジオカメラと、
画像処理装置と、ＣＧ生成装置と、クロマキ−装置を具
備した仮想スタジオシステムにおいて、前記格子パタン
は、これを生成するための連続する点列からなる数列に
おいて、下記、数１の式（１）〜（４）、数２の式
（５）〜（８）、数３の式（９）〜（１１）、数４の式
（１２）〜（１５）により求められる連続する４点から
計算されるカメラの透視変換に不変な複比を用い、複比
の誤差に関する第１近似から得られる標準偏差からその
期待誤差が大きいところではそれに比例して間隔を大き
く、小さいところではそれに比例して間隔を小さくとる
ことによって決定される複比の条件付き確率密度に基づ
いて、該複比による識別のための最良数列を確率的に発
生させ、数１、数２、数３、数４、前記、最良数列を２
次元的に組み合わせることにより生成した最良格子パタ
ンを有するクロマキ−バックパネルであることを特徴と
する画像合成用識別パタンパネルを備えた仮想スタジオ
システム。 （２）濃淡２色からなる格子パタンを有するクロマキ−
バックパネルを備え、スタジオカメラと、画像処理装置
と、ＣＧ生成装置と、クロマキ−装置を具備した仮想ス
タジオシステムにおいて、前記格子パタンは、これを生
成するための連続する点列からなる数列において、下
記、数５の式（１）〜（６）、数６の式（７）〜（８）
により求められる連続する３点から計算される隣接比を
用い、隣接比の誤差に関する第１近似から得られる標準
偏差からその期待誤差が大きいところではそれに比例し
て間隔を大きく、小さいところではそれに比例して間隔
を小さくとることによって決定される隣接比の条件付き
確率密度に基づいて、該隣接比による識別のための最良
数列を確率的に発生させ、数５、数６、前記、最良数列
を２次元的に組み合わせることにより生成した最良格子
パタンを有するクロマキ−バックパネルであることを特
徴とする画像合成用識別パタンパネルを備えた仮想スタ
ジオシステム。

【０００７】（３）スタジオカメラにより撮影された最
良格子パタンの画像を、下記、数７の式（１６）〜（１
７）、数８の式（１８）〜（１９）によって求められる
複比の誤差の分布特性を考慮した二乗マハラノビス距離
を最小化することによって、数７、数８、最適に識別を
行うことを特徴とした（１）項記載の画像合成用識別パ
タンパネルを用いた識別方法。 （４）スタジオカメラにより撮影された最良格子パタン
の画像を、下記、数式９の式（９）〜（１１）によって
求められる隣接比の誤差の分布特性を考慮した二乗マハ
ラノビス距離を最小化することによって、数９、最適に
識別を行うことを特徴とした（２）項記載の画像合成用
識別パタンパネルを用いた識別方法。 （５）最良格子パタンは濃淡２色からなる市松模様又は
枠組み模様であることを特徴とした（１）項又は（３）
項記載の画像合成用識別パタンパネルを用いた識別方
法。 （６）最良格子パタンは濃淡２色からなる市松模様又は
枠組み模様であることを特徴とした（２）項又は（４）
項記載の画像合成用識別パタンを用いた識別方法。 （７）（５）項記載の前記市松模様又は枠組み模様の配
色パタンの塗り分け方による配色情報を加えて識別を行
うことを特徴とした（１）項又は（３）項記載の画像合
成用識別パタンパネルを用いた識別方法。 （８）（６）項記載の前記市松模様又は枠組み模様の配
色パタンの塗り分け方による配色情報を加えて識別を行
うことを特徴とした（２）項又は（４）項記載の画像合
成用識別パタンパネルを用いた識別方法。

【０００８】

【発明の実施の形態】 以下、本発明の実施の形態を図
及び数式に基づいて説明する。最初に、その１として、
請求項１、３、５、７記載の、複比による実施の形態に
ついて述べる。図８は背景格子パタンによるカメラパラ
メ−タ検出の概念図、である。図において、１は被写
体、２はクロマキーバックパネル、４はスタジオカメ
ラ、４’は角度を変えたスタジオカメラ、１２は移動方
向、１４は４’のスタジオカメラの撮影像、１９は背景
格子パタンを示す。スタジオカメラ４はクロマキ−バッ
クパネル２に対していろいろな向きから撮影されるが、
その画像は透視投影モデルとして表現でき、複比は透視
変換によらない不変量であるので透視投影による影響を
受けずに識別することができる。しかし、前述のように
画像にはいろいろな原因による誤差が含まれるため、そ
の影響に対しても充分な識別が行えることが望ましい。
本発明では、誤差が含まれる画像から複比による識別を
行うために最も適した最良の格子パタン（以降は最良格
子パタンと記載する）を用い、また該誤差の影響を考慮
した最適な識別方法を用いるものである。そして、前記
複比を用いたため、パタンに対してカメラを任意に傾け
ることが可能となり、仮想スタジオにおける応用範囲が
拡大された。また、前記２は、クロマキーバックパネル
としたが、パネルはスクリーン、ボード、ハードコピー
等であってもよい。

【０００９】次に、最良数列の生成方法について図２を
参照して説明する。図２は、連続する４点から定義され
る複比を示す図である。図における符号の定義と複比を
発生させる確率密度関数に関する、数１０の式（１）〜
（４）、数１１の式（５）〜（８）、数１２の式（９）
〜（１１）、数１３の式（１２）〜（１５）を下記に示
す。

【００１０】

【数１０】

【００１１】

【数１１】

【００１２】

【数１２】

【００１３】

【数１３】

【００１４】ただし、次の数１４の式（１）〜（６）、
数１５の式（７）〜（８）は、後述する隣接比による最
良数列の生成式を示す。

【００１５】

【数１４】

【００１６】

【数１５】

【００１７】再び複比に戻り以下、次に、スタジオカメ
ラにより撮影された前記最良格子パタンの画像を複比の
誤差の分布特性を考慮した二乗マハラノビス距離を最小
化することによって、最適に識別を行う識別方法におけ
る、数１６の式（１６）〜（１７）及び数１７の式（１
８）〜（１９）を下記に示す。

【００１８】

【数１６】

【００１９】

【数１７】

【００２０】図６は３×３格子の配色パタン情報（市松
模様）図である。図において、１５は市松模様のパタン
を示す。図６に示すように、格子パタンが白黒の２色で
市松模様に塗り分けられており、３×３格子の配色には
右上が白か黒かの２通りの配色パタンがあり、この情報
を利用すると前記、数１７の式（１９）の最小化におい
て同じ配色パタンをもつ部分のみを探索すればよい。

【００２１】上記以外の１り分け方として、一つおきに
列と行を選んで黒く塗る枠組み模様とすることも考えら
れる。図７は３×３格子の配色パタン情報（枠組み模
様）図、である。図において、１６は枠組み模様のパタ
ンを示す。図７に示すように枠組み模様のパタンには合
計４通りの配色パタンがあり、これらの配色パタン情報
を加えると更に画像中の一部の格子パタンと原格子パタ
ンの識別能力が向上することになる。

【００２２】

【実施例】 本発明の実施例を図１及び図３〜５を参照
して説明する。図１は本発明の実施例の構成図、図３は
本発明の演算処理回路における処理フロ−図、図４は本
発明の最良格子パタン（市松模様）図、図５は本発明の
最良格子パタン（枠組み模様）図、である。

【００２３】図４は、前述の図６の３×３格子の配色パ
タン、市松模様のパタン１５に基づき、市松模様に塗り
分けた最良格子パタンの一例である。図において、１７
は最良格子パタン（市松模様）を示す。

【００２４】図５は、図４と同じ最良格子パタンを、前
述図７の３×３格子の配色パタン、枠組み模様のパタン
１６に基づき、枠組み模様に塗り分けたものである。図
において、１８は最良格子パタン（枠組み模様）を示
す。前記に説明した白黒２色による格子パタンは、実際
の前記クロマキ−バックパネルでは濃淡２色の格子パタ
ンとして使用する。

【００２５】次に、前記本発明実施例の構成図、図１に
基づいて作用を説明する。図において、３は最良格子パ
タン、５は画像処理装置、６はＡＤ、７はフレームバッ
フア、８は演算処理回路、９はＣＧ生成装置、１０はク
ロマキー装置、１１は端子を示す。図１において、被写
体１は、濃淡２色のブル−等により、前記最良格子パタ
ン、市松模様パタン１７あるいは、最良格子パタン、枠
組み模様パタン１８（以降は単に最良格子パタン３と記
載する）が描かれたクロマキ−バックパネル２を背景に
スタジオカメラ４により撮影され、この画像信号は画像
処理装置５に備えたＡＤ（アナログ／ディジタル変換回
路）６により、ディジタル画像デ−タに変換されフレ−
ムバッファ７にメモリされる。このメモリされた画像デ
−タは、演算処理回路８による処理により、前記最良格
子パタン３部分の画像デ−タを抽出し、最良格子パタン
３の頂点座標を検出して複比を計算することにより、画
像中の格子パタン３と、クロマキ−バックパネル２の原
格子パタン３とを対応して前記カメラパラメ−タを推定
して出力し、ＣＧ生成装置９に入力される。演算処理回
路８は高速ＣＰＵ又は専用ハ−ドウェアのいずれでもよ
く、この回路における前記画像デ−タの処理フロ−を下
図に示し説明する。

【００２６】図３は、本発明の演算処理回路における画
像データの処理フロー図、である。図において、フレ−
ムバッファ７の画像デ−タは、ＳＴＡＲＴ１０１で、被
写体１とクロマキ−バックパネル２との色の相異により
格子パタンと被写体の画像との部分に分離され、格子パ
タン部分を２値化１０２して、２値画像における矩形領
域を格子とみなして、その白黒の境界画素を境界追跡１
０３処理により抽出する。ここで、被写体によって一部
分が隠されている格子については、その一部分が被写体
境界であることをあらかじめマ−クしておく。このよう
にして得られた境界画素列を四つの辺の領域に領域分割
１０４し、各辺の画素列に対して最小二乗法により直線
を当てはめる。この直線の近傍画素の原画像から濃淡エ
ッジ画像を生成し、その濃淡画素に対して改めて最小二
乗法によって直線を当てはめる（直線当てはめ１０
５）。この直線の交点が格子の頂点座標となる（格子点
検出１０６）。

【００２７】このような操作を、画像中の全ての矩形領
域に対して行い（画像中の全ての矩形領域を処理したか
１０７）、それらから得られる結果をソ−ト処理１０８
して、各格子に対して番号付け（格子番号付け１０９）
を行う。そして、格子間から複比を計算して原格子パタ
ンとの対応付けを行う（マッチング処理１１０）。ここ
で、被写体によってその一部分が隠されてしまった不完
全な格子は識別のための複比計算には用いない。画像中
の格子パタンと原格子パタンとの対応が取れれば、カメ
ラパラメ−タを推定することができ、前記画像処理装置
５に備えた演算処理装置８で推定されたカメラパラメ−
タ（カメラパラメータ計算１１１）は、ＣＧ生成装置９
に入力して該カメラパラメ−タによる仮想カメラに基づ
く背景用のＣＧ画像信号を生成して出力する（ＥＮＤ１
１２）。このＣＧ画像信号及びスタジオカメラ４の映像
出力信号は、クロマキ−装置１０に入力して合成され、
合成画像となって端子１１に出力される。

【００２８】次に、その１、として前述した複比による
識別の識別実験、実画像実験、ブートストラップによる
信頼性評価、等による前記識別の高信頼性を記述する。

【００２９】最良格子パタンを用いた識別のシュミレー
ション実験。前記、本発明の市松模様の最良格子パタン
図４、及び本発明の枠組み模様の最良格子パタン図５の
各格子点のｘ、ｙ座標の、下記、数１８に示す真の値を
推定する。

【００３０】

【数１８】

【００３１】これを全ての点に対して調べ、更に異なる
乱数誤差を用いてこれを１００回繰り返し、正解率を計
算したものを図に示す。図９は、識別の正解率図である
図において横軸はεである。これから、配色パタン情報
が正解率を大きく向上させることが分かる。また、枠組
み模様の方が市松模様より識別能力が高いことが分か
る。

【００３２】実画像実験。 図１０は、図５のパタンに対して任意のカメラ位置から
その一部を拡大した枠組み模様の最良格子パタンの一部
の実画像、である。複比による識別のため、カメラはパ
タンに対して任意に傾けてもよい。前記画像処理によっ
て、上記パタンから得られた線画を下記に示す。図１１
は、画像処理によって図１０から得られた線画、であ
る。これから、原パタンの位置を推定すると、複比の最
尤推定によって正解が得られた。しかし、図１１の例で
は正解が得られたが、画像には様々な要因による誤差が
含まれており、観測されたのはたまたまその一例に過ぎ
ない。そこで、識別の信頼性評価の方法とその結果を次
に示す。

【００３３】ブートストラップによる信頼性評価。 信頼性を定量的に評価する方法として周知の、画像に含
まれる誤差の標準偏差と同じ大きさのランダム誤差を、
各格子点の推定位置に人為的に加えて疑似的なデータを
多数生成し、統計的な推論を行うブートストラップによ
って行う。また、上記を行うためには、画像に含まれる
誤差の大きさを知らなければならないがこれを事後的に
推定する方法を示す。

【００３４】格子の共点補正。 若し、画像に含まれる誤差がなければ、着目する３×３
格子の隣接する４頂点は両方向に同一直線上にある、こ
れを共線であるという。そして、それらを通る直線は、
各方向に一点で交わる、これを共点であるという。しか
し、画像に含まれる誤差によって必ずしもそうはならな
い。そこで、これらの条件が厳密に成り立つように全て
の直線を最適に当てはめる。これを格子の共点補正と呼
ぶことにする。下図に上記共点補正の概念図を示す。図
１２は、３×３格子の共点補正の概念図、である。

【００３５】次に、共点補正の具体的な手順について記
載する。９個の長方形パタンの１６個の頂点を数１９、
に示すように番号をつける。

【００３６】

【数１９】

【００３７】誤差のあるデータに対してこの条件が満た
されるように最適に補正するには、次の数２０の式（２
０）、数２１の式（２１）〜（２２）、に示すようにす
る。

【００３８】

【数２０】

【００３９】

【数２１】

【００４０】以上のようにして行われた格子の共点補正
によって得られる格子点の座標と、データ点の座標のず
れを残差と呼び、この残差から格子点に含まれる画像誤
差を推定することができる。

【００４１】共点補正による誤差の推定。 ３×３格子は８本の直線からなり、各直線には２自由度
があるから合計で１６自由度になる。しかし、４本の直
線は、そのうち２本の直線の交点を残りの直線が通らな
ければならないので、２自由度減り、残りの４本の直線
においても同様に２自由度減る。したがって、３×３格
子の自由度は、１６−４＝１２となる。データの個数は
１６×２＝３２であるから、各座標値の誤差の分散の不
偏推定量は、数２２の式（２３）、のように計算でき
る。

【００４２】

【数２２】

【００４３】前記、図１１の画像の格子点に含まれる画
像誤差を計算すると、０．１４画素となる。これを用い
てブートストラップによる識別の信頼性評価を行った結
果を表に示す。表１はブートストラップによる識別の正
解率、である。

【００４４】

【表１】

【００４５】上記表１は、前記図１１の画像において、
１０，０００回のブートストラップによる識別を行った
正解率の結果で、いずれの識別方法も高い正解率を示し
ており、格子パタンの画像処理による検出精度を考慮し
ても十分信頼性のある識別が可能である。

【００４６】次に、その２、として、請求項２、４、
６、８に記載の隣接比による実施の形態の詳細について
下記に述べる。

【００４７】隣接比による識別のための最良マーカーパ
タンの設計：応用実験（報告） １．概要 前に物体の３次元復元やバーチャル（仮想）スタジオの
応用のための最良帯状パタンを設計した。そして、その
撮影画像パタンの隣接比を観測して原パタンと最適に対
応づける方法を考察した。本報ではこれを２次元格子パ
タンに拡張して対応探索の方法を比較検討する。これは
背後に参照パタンを設置して連続的に移動するカメラの
位置や焦点距離を計算する「同時校正（ｓｉｍｕｌｔａ
ｎｅｏｕｓ ｃａｌｉｂｒａｔｉｏｎ）」を目的として
いる（図１３：連続的に移動するカメラの同時校正）。
まず最良格子パタンの生成法を記述し、識別方法として
隣接比の統計的挙動から最尤推定（マハラノビス距離最
小化）による判定式を示す。次にアスペクト比の情報を
用いる最尤推定の判定式を導出する。さらに市松模様と
枠組み模様の配色パタンの情報を利用し、これらをシミ
ュレーションによって比較する。最後に実画像実験を行
い、画像処理によって格子パタンを自動的に抽出すると
ともに、最適な直交補正を施し、統計的最適化の理論か
ら誤差の大きさを推定する。そして、それに基いたブー
トストラップにより識別の信頼性を評価し、本報の方法
が高い信頼性をもつことを示す。

【００４８】２．最良数列 最良数列は、前記、数１４の式（１）〜（６）及び、数
１５の式（７）〜（８）で示される。

【００４９】３．最良格子パタンの識別 最良格子パタンの識別は、前記、数９の式（９）〜（１
１）で示される。

【００５０】４．アスペクト比の観測 アスペクト比の観測は、数２３の式（１２）〜（１
５）、及び数２４の式（１６）〜（１９）によって示さ
れる

【００５１】

【数２３】

【００５２】

【数２４】

【００５３】５．配色パタンの観測 格子パタンが白黒の２色（クロマキーによる応用では濃
青と淡青の２階調）で市松模様に塗り分けられていると
すると、２×２格子の配色には右上が白か黒かの２通り
のパタンがある。この情報を利用すると前記、数９の式
（１１）及び，数２４の式（１８）の最小化において同
じ配色パタンをもつ部分のみを探索すればよい。それ以
外の塗り分け方として、一つ置きに列と行を選んでは黒
く塗ることも考えられる。仮にこれを「枠組み模様」と
呼ぶ。図１５は（最良格子パタン枠組み模様）図１４は
（最良格子パタン市松模様）のパタンを枠組み模様に塗
り分けたものである。このとき、２×２格子には合計４
通りの配色パタンがあるから、この情報を利用するとさ
らに識別能力が向上すると期待される。

【００５４】６．識別実験 図１４，１５の各格子点のχ，ｙ座標に、下記数２５、
に示す真の値を推定する。

【００５５】

【数２５】

【００５６】これをすべての点に対して調べて、さらに
異なる乱数誤差を用いてこれを１００回繰り返し、正解
率を計算したものが図１６である。横軸はεである。識
別の方法としては隣接比の差の絶対値のみを用いる単純
な方法、最尤推定、及びアスペクト比と合わせた最尤推
定を比較している。図１７では同様のことを隣接比と配
色パタン情報、及び隣接比とアスペクト比と配色パタン
情報を用いた場合を、市松模様と枠組み模様に対して比
較したものである。これからアスペクト比や配色パタン
情報が正解率を大きく向上させることが分かる。また予
想どおり枠組み模様のほうが市松模様よりも識別能力の
高いことが分かる。

【００５７】７．実画像実験 ７．１ 画像処理によるパタンの検出 図１８（最良パタンの一部の実画像）は、図１５のパタ
ンの一部を拡大したものの実画像である。これに画像処
理を施して格子パタンを抽出する。まず２値化処理によ
って２値画像に変換し、境界追跡により各矩形領域の境
界画素を抽出する。そのようにして得られたディジタル
閉曲線の各々を最大直径に相当する画素対によって２分
割し、その各々について端点を結ぶ直線からの距離が最
大の画素によってさらに２分割し、４本の辺に分割す
る。それぞれに辺の両端付近の画素を削除したものに最
小二乗法で直線を当てはめ、その交点を計算する。この
ようにして得られた格子の各辺の近傍の画素を原画像か
ら取りだし、エッジオペレータを適用し、濃淡エッジ画
像を作り、その濃淡値に改めて最小二乗法で直線を当て
はめる。そして当てはめた交点の位置を最終的に格子点
とする。これを各矩形領域について行い、頂点座標をソ
ートして各領域を２方向に整列し、格子番号のラベルを
与える。このようにして得られた線画を図１９（図１８
から得られた線画）に示す。これから原画像中の位置を
推定すると、隣接比による最尤推定及び隣接比とアスペ
クト比による最尤推定のいずれによっても正解が得られ
た。

【００５８】７．２ 直交補正による誤差の推定 このようにして得られた頂点位置に含まれる誤差の大き
さを推定する。これには金谷の統計的最適理論を適用す
る。２組の互いに平行な３本の直線から成り、互いに直
交する６本の直線からなる２×２格子を、着目する２×
２格子の９個の頂点に頂点のずれの距離の二乗和が最小
になるように当てはめる。これは各点の誤差が一様、等
方、同一、独立な分布に従うときの直交格子の最尤推定
である。この操作を「直交補正」と呼ぶことにする。そ
の具体的な手順は下記の数２６の式（２１）〜数２７の
式（２２）〜（２４）、及び数２８の式（２５）〜（２
６）に示す。

【００５９】

【数２６】

【００６０】

【数２７】

【００６１】

【数２８】

【００６２】７．３ ブートストラップによる信頼性評
価 図１９の例では正解が得られたが、前節に示したように
データには０．５（画素）程度の誤差があり、観測され
たのはそのたまたまの一例に過ぎない。この信頼性を定
量的に評価する方法として知られているのは、下記数２
９に示す

【００６３】

【数２９】

【００６４】のランダム誤差を、各格子点の推定位置に
人為的に加えて疑似的なデータを多数生成し、統計的推
論を行うものである。このように観測データから疑似的
なデータを生成して統計的推論を行うことをブートスト
ラップと呼ばれている。

【００６５】表２に、１０，０００回のブートストラッ
プによる正解率（％）を示す。この結果から、画像処理
による格子抽出の精度を考慮しても十分信頼性のある識
別が可能であることがわかる。

【００６６】

【表２】

【００６７】８．まとめ 本報ではＣＧと実写画像との合成のためのカメラの同時
校正を目的として、前に設計した最良帯状パタンを２次
元的に組み合わせ、最良格子パタンを作成し、その撮影
した画像の一部から原パタンの位置を隣接比によって識
別する方法を検討した。まず最良格子パタンの生成法を
記述し、識別方法として隣接比の統計的挙動から計算し
た最尤推定（マハラノビス距離最小化）による判定式を
示した。そして各方向の隣接比とアスペクト比との共分
散を解析し、アスペクト比の情報を用いる最尤推定によ
る判定式を導出した。さらに、市松模様と枠組み模様の
配色パタンの情報をも利用し、シミュレーション比較し
た。最後に実画像実験を行い、格子パタンを画像処理に
より自動的に抽出するとともに、最適な直交補正を施
し、統計的最適化の理論から誤差の大きさを推定した。
そして、それに基いたブートストラップにより識別の信
頼性を評価し、本報の方法が高い信頼性をもつことを示
した。

【００６８】

【発明の効果】１、本発明の請求項１、３、５、７の複
比による発明（その１）によれば、格子パタンは、連続
する４点から計算されるカメラの透視変換に不変な複比
を用い、前記複比の誤差に関する第１近似から得られる
標準偏差からその期待誤差が大きいところではそれに比
例して間隔を大きく、小さいところではそれに比例して
間隔を小さくとることによって決定される複比の条件付
き確率密度に基づいて、識別のための最良数列を確率的
に発生させ、該最良数列を２次元的に組み合わせること
により生成した最良格子パタンであるため、仮想スタジ
オにおけるどのような種類のスタジオカメラであって
も、カメラワ−クに支障を来たすことがなく、特にパタ
ンに対してカメラを任意に傾けることが可能となり、仮
想スタジオにおける応用範囲が拡大された。また、画像
に含まれる歪み、ノイズ等による誤差に影響されること
なく、画像中の格子パタンの一部からそれが格子パタン
の全体の内のどの部分であるかの識別を行うための最良
格子パタンを生成することができる。

【００６９】２、スタジオカメラにより撮影された前記
最良格子パタンの画像を、複比の誤差の分布特性を考慮
した二乗マハラノビス距離を最小化することによって、
最適に識別を行うことができ、仮想スタジオのクロマキ
ーバックパネルは最良格子パタンを備え、その画像中の
格子パタンと原格子パタンの識別を最適に行うことがで
きるため、画像に誤差がある場合でも背景のＣＧを生成
するためのカメラパラメータを安定して推定することが
でき、これにより違和感の無い、リアルな合成画像を提
供することが可能となる。

【００７０】３、最良格子パタンは濃淡２色からなる市
松模様又は枠組み模様であり、ブルー色等、同色相の濃
淡２色からなる市松模様又は枠組み模様の最良格子パタ
ンをクロマキーバックパネルとして撮影することによ
り、クロマキー装置による被写体画像の抽出が可能であ
ると共に、画像中の一部の格子パタンと原格子パタンの
最適な識別を行うことができる。

【００７１】４、最良格子パタンは濃淡２色からなる市
松模様又は枠組み模様であり、ブルー色等、同色相の濃
淡２色からなる市松模様又は枠組み模様の最良格子パタ
ンをクロマキーバックパネルとして撮影することによ
り、クロマキー装置による被写体画像の抽出が可能であ
ると共に、画像中の一部の格子パタンと原格子パタンの
最適な識別を行うことができる。

【００７２】５、市松模様又は枠組み模様の最良格子パ
タンにおける、配色パタンの複数の塗り分け方の種類に
よる配色パタン情報を加味して、画像中の一部の格子パ
タンと原格子パタンの識別を行うことにより、識別能力
を更に向上することができる。

【００７３】６、そして、最後に識別実験、実画像実験
（画像処理によるパタンの抽出、共点補正による誤差推
定及び、ブートストラップによる識別の信頼性を評価）
行った結果、格子パタンの画像処理による検出精度を考
慮しても、十分信頼性のある識別が可能であり、本発明
の方法が高い信頼性をもつことを示した。

【００７４】７、 本発明の請求項２、４、６、８の隣
接比による発明（その２）によれば、最良格子パタンの
生成法及び、識別方法として隣接比の統計的挙動から計
算した最尤推定（マハラノビス距離最小化）による判定
式によって、各方向の隣接比とアスペクト比との共分散
を解析し、アスペクト比の情報を用いる最尤推定による
判定式を導出し、さらに、市松模様と枠組み模様の配色
パタンの情報をも利用し、シミュレーション比較した。
そして、最後に実画像実験を行い、格子パタンを画像処
理により自動的に抽出するとともに、最適な直交補正を
施し、統計的最適化の理論から誤差の大きさを推定し
た。そして、それに基いたブートストラップにより識別
の信頼性を評価し、本報の方法が高い信頼性をもつこと
を示した。

【図面の簡単な説明】

【図１】本発明実施例の構成図。

【図２】連続する４点から定義される複比を示す図。

【図３】本発明の演算処理回路における処理フロ−図。

【図４】本発明の最良格子パタン（市松模様）図。

【図５】本発明の最良格子パタン（枠組み模様）図。

【図６】３×３格子の配色パタン情報（市松模様）図。

【図７】３×３格子の配色パタン情報（枠組み模様）
図。

【図８】背景格子パタンによるカメラパラメ−タ検出の
概念図。

【図９】識別の正解率図。

【図１０】枠組み模様の最良格子パタンの一部の実画像
図。

【図１１】図１０から得られた線画。

【図１２】３×３格子の共点補正の概念図。

【図１３】連続的に移動するカメラの同時校正。

【図１４】最良格子パタン（市松模様）。

【図１５】最良格子パタン（枠組み模様）。

【図１６】識別の正解率。

【図１７】識別の正解率。

【図１８】最良パタンの一部の実画像。

【図１９】図１８から得られた線画。

【符号の説明】 １：被写体 ２：クロマキ
ーバックパネル ３：最良格子パタン ４：スタジオ
カメラ ４’：角度を変えたスタジオカメラ ５：画像処理
装置 ６：ＡＤ ７：フレーム
バッフア ８：演算処理回路 ９：ＣＧ生成
装置 １０：クロマキー装置 １１：端子 １２：移動方向 １４：４’の
スタジオカメラの撮影像 １５：市松模様のパタン １６：枠組み
模様のパタン １７：最良格子パタン（市松模様） １８：最良格
子パタン（枠組み模様） １９：背景格子パタン １０１：ＳＴＡＲＴ １０２：２値
化 １０３：境界追跡 １０４：境界
分割 １０５：直線当てはめ １０６：格子
点検出 １０７：画像中の全ての矩形領域を処理したか？ １０８：ソート処理 １０９：格子
番号付け １１０：マッチング処理 １１１：カメ
ラパラメータ計算 １１２：ＥＮＤ

フロントページの続き (72)発明者 金谷 健一 群馬県桐生市天神町１丁目５番１号 群馬 大学工学部情報工学科内 Ｆターム(参考） 5C023 AA17 BA01 CA01 CA08 5C066 AA01 AA12 CA27 DC06 ED02 GA01 GB01 KD06 KE07 KE19

Claims (8)

【特許請求の範囲】
1. 【請求項１】 濃淡２色からなる格子パタンを有するク
   ロマキ−バックパネルを備え、スタジオカメラと、画像
   処理装置と、ＣＧ生成装置と、クロマキ−装置を具備し
   た仮想スタジオシステムにおいて、前記格子パタンは、
   これを生成するための連続する点列からなる数列におい
   て、下記、数式（１）〜（４）、（５）〜（８）、
   （９）〜（１１）、（１２）〜（１５）により求められ
   る連続する４点から計算されるカメラの透視変換に不変
   な複比を用い、複比の誤差に関する第１近似から得られ
   る標準偏差からその期待誤差が大きいところではそれに
   比例して間隔を大きく、小さいところではそれに比例し
   て間隔を小さくとることによって決定される複比の条件
   付き確率密度に基づいて、該複比による識別のための最
   良数列を確率的に発生させ、 【数１】 【数２】 【数３】 【数４】 前記、最良数列を２次元的に組み合わせることにより生
   成した最良格子パタンを有するクロマキ−バックパネル
   であることを特徴とする画像合成用識別パタンパネルを
   備えた仮想スタジオシステム。
2. 【請求項２】 濃淡２色からなる格子パタンを有するク
   ロマキ−バックパネルを備え、スタジオカメラと、画像
   処理装置と、ＣＧ生成装置と、クロマキ−装置を具備し
   た仮想スタジオシステムにおいて、前記格子パタンは、
   これを生成するための連続する点列からなる数列におい
   て、下記、数式（１）〜（６）、（７）〜（８）により
   求められる連続する３点から計算される隣接比を用い、
   隣接比の誤差に関する第１近似から得られる標準偏差か
   らその期待誤差が大きいところではそれに比例して間隔
   を大きく、小さいところではそれに比例して間隔を小さ
   くとることによって決定される隣接比の条件付き確率密
   度に基づいて、該隣接比による識別のための最良数列を
   確率的に発生させ、 【数５】 【数６】 前記、最良数列を２次元的に組み合わせることにより生
   成した最良格子パタンを有するクロマキ−バックパネル
   であることを特徴とする画像合成用識別パタンパネルを
   備えた仮想スタジオシステム。
3. 【請求項３】 スタジオカメラにより撮影された最良格
   子パタンの画像を、下記、数式（１６）〜（１７）、
   （１８）〜（１９）によって求められる複比の誤差の分
   布特性を考慮した二乗マハラノビス距離を最小化するこ
   とによって、 【数７】 【数８】 最適に識別を行うことを特徴とした請求項１記載の画像
   合成用識別パタンパネルを用いた識別方法。
4. 【請求項４】 スタジオカメラにより撮影された最良格
   子パタンの画像を、下記、数式（９）〜（１１）によっ
   て求められる隣接比の誤差の分布特性を考慮した二乗マ
   ハラノビス距離を最小化することによって、 【数９】 最適に識別を行うことを特徴とした請求項２記載の画像
   合成用識別パタンパネルを用いた識別方法。
5. 【請求項５】 最良格子パタンは濃淡２色からなる市松
   模様又は枠組み模様であることを特徴とした請求項１又
   は３記載の画像合成用識別パタンパネルを用いた識別方
   法。
6. 【請求項６】 最良格子パタンは濃淡２色からなる市松
   模様又は枠組み模様であることを特徴とした請求項２又
   は４記載の画像合成用識別パタンパネルを用いた識別方
   法。
7. 【請求項７】 請求項５記載の前記市松模様又は枠組み
   模様の配色パタンの塗り分け方による配色情報を加えて
   識別を行うことを特徴とした請求項１又は３記載の画像
   合成用識別パタンパタンを用いた識別方法。
8. 【請求項８】 請求項６記載の前記市松模様又は枠組み
   模様の配色パタンの塗り分け方による配色情報を加えて
   識別を行うことを特徴とした請求項２又は４記載の画像
   合成用識別パタンパネルを用いた識別方法。