JPH10255072A - 感性語を入力することによる自動映像創作方法及びシステム - Google Patents

Abstract

(57)【要約】 【構成】 この発明は、３次元モデルの映像を得るに当
り、先ず感性語を入力して、これに対応する映像を抽出
映写することを目的としたものである。 【解決手段】 ユーザが、所望の対象物を指定すると共
に所望の感性語を入力し、前記対象物を感性語に対応す
るように創作した映像として表わすことを特徴とした感
性語を入力することによる自動映像創作方法。３次元モ
デルの出力部と、感性語入力部に画面構成決定部の出力
とを、仮想カメラ制御部に入力し、前記感性語に対応す
る画面構成のパラメータで撮影した映像を選び出して出
力映像とすることを特徴とした感性語を入力することに
よる自動映像創作システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、３次元モデルの
映像を得るに当り、先ず感性語を入力して、これに対応
する映像を抽出映写することを目的とした感性語を入力
することによる自動映像創作方法及びシステムに関す
る。

【０００２】

【従来の技術】近年のパーソナルコンピュータの普及
は、コンピュータの高性能化、小型化、マルチメディア
化、ネットワーク化、ソフトウェアの多様化などによる
ところが大きい。これらの技術発展は、様々なユーザ
が、個人の目的に合わせてコンピュータを使うことがで
きる環境を作り上げた。この環境により、コンピュータ
が一台あれば、描画、執筆、作曲、発表などができるよ
うになった。

【０００３】ＷＷＷなどの様々なコンテンツ（文章や画
像など、情報の内容）を蓄積したデータベースは、新た
なコンピュータ利用の動機を作り上げた。初期のＷＷＷ
は、科学者たちの情報交換を目的としたネットワーク化
されたデータベースであったが、現在では、映画情報か
ら、就職情報に至るまで、ユーザのさまざまなニーズに
こたえる巨大なデータベースへと発展している。これら
の膨大なコンテンツにより、「いろいろなコンテンツを
見たい」、「特定の情報を知りたい」というユーザの要
求を、コンピュータを利用することによって満たすこと
ができるようになった。

【０００４】この技術発展とコンテンツの充実は、コン
ピュータが、コンテンツを製作、加工、記録する道具で
あるとともに、コンテンツを伝搬するメディアにもな
り、さらに、人々がコンテンツの製作、検索、閲覧、利
用に、非常に興味を抱いていることを示してる。つま
り、ユーザは、おもしろくて優れているコンテンツを、
創作し、発信し、また、受信して、見て、利用したいと
考えていて、そのために、コンピュータを使うのであ
る。

【０００５】

【発明により解決すべき課題】３次元ＣＧの発展にとも
ない、３次元モデルや、それらを組み合わせた３次元仮
想空間を構築することが可能となり、仮想オフィスなど
さまざまな応用分野が検討されている。将来、一般ユー
ザでも、これらの３次元モデルを用いたコンテンツを製
作し、情報発信したいというニーズが増加してくると考
えられる。発明者らは、コンテンツのなかでも、３次元
ＣＧを利用して作成された映像に着目した。ユーザは、
３次元仮想空間内の視点（仮想カメラ）に投影される２
次元画像を見ることによって、仮想空間を認知する。こ
の仮想カメラを用いた映像を創作する上では、仮想カメ
ラの自由度が多く、仮想空間内のカメラの制御が容易で
はないことが問題となっている。この問題点を改善する
手法としては、以下の２種類が考えられる。

【０００６】（１）自由度を減らす手法 （２）「Ｘという物体を見せて下さい」というようなユ
ーザの抽象的な制御要求をシステムが理解し、それを満
たす仮想カメラ制御を行なう手法が提案されている。

【０００７】この発明では、抽象的な制御要求の中で
も、ユーザが、３次元仮想空間を用いて映像を制作する
にあたって必要となるであろう「スピード感を出した
い」や「威厳を感じさせたい」などの、ユーザが映像で
表したい感性を理解し、その感性が再現できるような映
像を撮影するように、仮想カメラを制御するシステムを
提案する。このシステムは、感性と構図の関係を知識と
して持ち、映像に詳しくない一般ユーザでも、このシス
テムを利用して感性を反映した映像を作ることができ
る。例えば、ユーザに「スピード感をだしたい」という
欲求があると、この知識を利用してスピード感のある映
像の例を提示する。また、この発明は、映像撮影を目的
とした仮想カメラを直接操作するのに最適のインタフェ
ースも備えているため、システムが提案した画像をユー
ザの好みに合わせて、カスタマイズすることもできる。

【０００８】このシステムにより、一般ユーザでも感性
語の入力や簡単な操作で、ユーザの感性を効果的に反映
した映像を得られる。例えば、ある商品の企画を上司に
プレゼンテーションをするときに、その商品の３次元モ
デル（設計データなど）があれば、自分で映像を作成
し、資料として提示できる。

【０００９】

【課題を解決する為の手段】この発明は、ユーザが対象
物を指定し、該対象物の映像の現れ方を感性語を用いて
入力することにより、これに対応する映像が提供される
ようにして、前記従来の問題点を解決したのである。

【００１０】即ち方法の発明は、ユーザが、所望の対象
物を指定すると共に所望の感性語を入力し、前記対象物
を感性語に対応するように創作した映像として表わすこ
とを特徴とした感性語を入力することによる自動映像創
作方法であり、感性語は、映像に対応して多数蓄積され
ていることを特徴としたものである。

【００１１】次にシステムの発明は、３次元モデルの出
力部と、感性語入力部に画面構成決定部の出力とを、仮
想カメラ制御部に入力し、前記感性語に対応する視体
積、対象物の方向、対象物の占める領域で撮影した映像
を選び出して出力映像とすることを特徴とした感性語を
入力することによる自動映像創作システムである。また
仮想カメラ制御部は、３次元モデルの位置を中心とし
て、カメラの相対的位置を決めることを特徴としたもの
であり、画面構成決定部は、予め蓄積された構図の知識
中から、入力された感性語に対応する映像を抽出するこ
とを特徴としたものである。

【００１２】この発明を実施する為のいくつかの基本的
事項について説明する。

【００１３】先ず３次元コンピュータグラフィックスに
ついて説明する。近年の情報処理機器の高性能化にとも
ない、３次元コンピュータグラフィックスを用いたアプ
リケーションが注目されている。

【００１４】従来のコンピュータグラフィックスの対象
となっていた２次元画像は、２次元平面を、画素とよば
れる単位区画に分割し、各画素ごとに、色彩情報が格納
されている。

【００１５】一方、３次元コンピュータグラフィックス
では、物体の立体的な形状データ（座標で表された点、
線、面で構成される）、視体積、物体を照射する光源に
関するデータを、レンダリングすることにより、画像を
得ることができる（図１参照）。

【００１６】前記３次元コンピュータグラフィックス
は、製造業や建築の分野でのコンピュータによる設計支
援（ＣＡＤ）や製造支援（ＣＡＭ）、芸術、アニメーシ
ョン、ゲーム、ショミレーションなどに使われている。
これらの幅広い分野で、機械から動物に至るまで、さま
ざまな３次元の形状データが作成されてきた。このよう
に、個々の物体の形状および材質データをつくり、それ
らを３次元空間に配置して、視点の位置と光源の設定を
行う作業をモデリングという。

【００１７】初期の３次元コンピュータグラフィックス
（以後、３次元ＣＧ）の研究では、実世界にあるオブジ
ェクトの３次元形状データを作成するモデリング技術が
研究されていた。モデル化の対象となるものとして、自
動車や建築物などの人工物、山や岩石など固体、河川な
どの流体、人間を含む動物、植物などがある。

【００１８】現在まで、無機物については、よりリアル
に、そして簡単に３次元モデルを作成するための研究が
なされてきている。例えば、山岳景観の季節の違いによ
る変化（新緑、紅葉や落葉など）をモデル化する研究
や、これら個々のオブジェクトのモデリング技術だけで
なく、自然景観全体をモデリングする研究が挙げられ
る。

【００１９】生物については、その動作をリアルにモデ
リングするための研究がある。例えば、風に舞う毛髪な
ど、動きを伴う毛髪のモデリング、会議などの特定の状
況における人間の動作のモデル化や、会話時の口形状な
ど、体の一部分のモデリングなどが挙げられる。

【００２０】また、モデリングされた３次元の物体形状
を変形するための研究もなされている。３次元作業空間
に配置された３次元の形状データを、３次元ウィジェッ
トの直接操作により変形することができる手法を提案し
ている。ウィジェットを直接操作することにより、３次
元格子状に配置された制御点群の動作を指定でき、ユー
ザは簡略かつ直観的に種々の複雑な変形操作が可能とし
ている。

【００２１】これらのモデリング技術は、映画やゲーム
など芸術分野で利用されるなど、すでに、大きな成果を
あげている。今後、これらの研究は、動作を簡単にモデ
ルに付加できるモーションキャプチャー技術などとの併
用、リアルさと計算負担とのトレードオフや、感情や重
力などをどのように再現するか、などの議論を交え、さ
らに、発展していくと考えられる。

【００２２】前記のように３次元モデルのモデル化技術
の発展は、個々のモデルを組み合わせることにより、あ
たかも実世界に存在するような空間を、コンピュータの
メモリ上に仮想空間として構築することを可能とした。

【００２３】将来、一般ユーザでも、これらの３次元モ
デルを用いた映像を制作したいというニーズが増加して
くると考えられる。例えば、ユーザが、ある商品の企画
を上司にプレゼンテーションをするときに、その商品の
３次元モデル（設計データなど）があれば、自分で映像
を作成し、資料として提示したいと考えるであろう。ま
た、教育現場では、古代遺跡の３次元モデルを持ってい
る教師が、その３次元モデルを用いた映像を作成するこ
とによって、生徒への古代遺跡印象をよりダイナミック
に伝達することができるであろう。

【００２４】仮想空間内では、ユーザは、３次元仮想空
間内の視点（仮想カメラ）に投影される２次元画像を見
ることによって、仮想空間を認知する。仮想空間におけ
る映像を創作するということは、この仮想カメラを実世
界の映像撮影カメラのようにユーザの思いどうりに動か
し、実世界と同様な撮影ができることが望まれる。

【００２５】しかし、この仮想カメラを用いた映像を創
作する上では、仮想カメラの自由度が多く、仮想空間内
のカメラの制御が容易ではないことが問題となってい
る。

【００２６】次に仮想カメラを操作するということは、
視体積のパラメータを操作することと等価である。Ｓｕ
ｎ Ｓｐａｒｃ ＳｔａｔｉｏｎのＳｏｌａｒｉｓ、Ｄ
ｏｓ／ＶマシンのＷｉｎｄｏｗｓ ＮＴ、ＳＧＩのＩＲ
ＩＸなどのＯＳ上で、汎用的なグラフィックライブラリ
では、視体積を操作するパラメータは、 （１）視点の位置の３パラメータ（ｐｏｓｉｔｉｏｎ
（ｘ、ｙ、ｚ）） （２）視点の方向の４パラメータ（ｏｒｉｅｎｔａｔｉ
ｏｎ（ｘ、ｙ、ｚ、ａｎｇｌｅ）） （３）縦横比（高さを幅で除算したもの、ａｓｐｅｃｔ
Ｒａｔｉｏ） （４）クリップ面と視点の距離のパラメータ（ｎｅａｒ
Ｄｉｓｔａｎｃｅ、ｆａｒＤｉｓｔａｎｃｅ） （５）画角（ｈｅｉｇｈｔＡｎｇｌｅ） の計１１パラメータである（図２参照）。

【００２７】以上で述べたような、これらのパラメータ
を直接操作する必要があるシステムでは、ユーザへの操
作負担が大きく、快適な操作環境を実現できない。

【００２８】このような問題点を解決するために、以下
のような２つのアプローチで研究がなされて来た。

【００２９】・自由度を減らすことによる、ユーザの負
担の軽減。 ・仮想カメラがより抽象的な要求を理解し、その要求に
沿うようにシステムが自動制御する。

【００３０】以下、各々について述べる。

【００３１】前記仮想空間で、ユーザにインタラクティ
ブに仮想カメラを制御したいという欲求がある場合、カ
メラの自由度が減らされたインタフェースを提供するこ
とにより、ユーザの制御負担を軽減できる。これについ
ては、既に研究の段階を終え、ゲームの分野で採り入れ
られている。

【００３２】ドライビングゲームにおいては、仮想空間
上でユーザが操作する車に仮想カメラが搭載されてい
る。この仮想の車の操作では、前進と車の上方向に垂直
に伸びる軸を中心とした回転による前進方向の調整を行
なうことにより、平面上の位置（２つの自由度）と平面
上方向（１つの自由度）を制御することができる。道路
を走るという特定の目的のもとでは、少ない自由度で
も、ユーザはその制御能力に不満を覚えることなく、仮
想空間を楽しむことができる。

【００３３】映像撮影を目的とした研究も行なわれてい
る。実際の撮影カメラのようなユーザインタフェースを
提供している。この実写の映像とＣＧの合成に必要とな
る綿密な計算がユーザに与える負担を軽減するため、両
者の合成システムを構築した。このシステムは、実際の
カメラを操作するのと同様に、実写とＣＧが合成された
仮想世界を撮影することが可能となるインタフェースを
提供している。

【００３４】このように、特定の仮想空間を対象とした
場合、必要となるであろう自由度をあらかじめ調査して
おくことにより、必要十分な自由度だけを制御するよう
なインタフェースを提供すればよいことがわかる。自由
度を減らす手法は、ユーザが操作性に不満を覚えること
なく、インタラクティブなカメラ制御を実現できる。現
在の仮想空間を用いたほとんどのシステムでは、この手
法を用いて、操作性を高めている。

【００３５】次に２つめのアプローチでは、「Ｘという
物体を見せて下さい」というようなユーザの抽象的な制
御要求をシステムが理解し、それを満たす仮想カメラの
自動制御を行なう手法である。

【００３６】カメラの自動制御問題を取り扱った研究で
は、主に、ロボティックスの分野で、実際のカメラを対
象とした研究と、仮想環境における仮想カメラを対象と
した研究が行なわれてきた。

【００３７】実際のカメラを対象とした場合には、ロボ
ットが目標となる物体を、障害物への衝突を回避しなが
ら追跡する手法を提案している。ロボットに取り付けら
れたＣＣＤカメラは、システムに画像情報をフィードバ
ックしている。この画像情報より、追跡対象と障害物の
３次元位置情報を抽出し、ロボットの周囲の安全性を計
算するアルゴリズムにより、衝突回避を考慮した追跡を
実現している。

【００３８】目標画像を得るために、カメラを制御する
ための研究としては、視覚サーボの研究がある。視覚サ
ーボ（Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ）とは、あらか
じめ設定した目標画像特徴とカメラから得られた画像特
徴が一致するようにカメラの運動をフィードバック制御
するものである。

【００３９】従来の視覚サーボの技術では、目標となる
画像の特徴量として、単純なプリミティブ（球や三角
錐）が対象となっている。前記では、これらの仮定が成
り立たないような実画像も扱える手法として、固有空間
法を用いた手法を提案している。この手法は、対象の３
次元特徴を２次元画像の集合で表現することにより、全
体の特徴をコンパクトに表現できるという利点がある。
視覚サーボは、カメラと対象物体の相対的な位置関係で
決定される画像のみを用いて制御されるため、対象物体
に相対的な制御が実現される。

【００４０】この視覚サーボは、位置制御であるため、
位置や姿勢が時々刻々と変化する目標画像に追従するよ
うな制御にはそのままでは、適用不可能である。このよ
うな移動する対象物体に対して設定された目標軌道上を
カメラが運動した時に得られる時空間画像から画像特徴
点の軌跡を抽出したものを目標軌道の表現として用いる
方法を提案し、上記の問題を解決した。この手法では、
制御時にロボットに搭載されたカメラより取得した画像
の特徴点が、この画像特徴点の軌跡に追従するように運
動を制御する。

【００４１】前記のように、実際のカメラの自動制御
は、カメラから取得した画像の特徴量をフィードバック
することにより、実現されている。

【００４２】仮想カメラを対象とした研究 一方、仮想カメラの自動制御に関する研究では、仮想美
術館という特定の仮想空間を対象とした研究が行なわれ
ている。例えば美術館において、ユーザはどのような行
動をしたいかという行動要求を分析し、“特定の絵をみ
たい”や“特定の時間で一周したい”などの抽象的な要
求を理解し、その要求にそうように、６つの自由度を制
御する仕組みを提案した。前記自動制御方法は、あらか
じめ仮想美術館の部屋割をシステムがデータとして持っ
ているという前提がある。システムは、上記のようなあ
いまいな要求に対して、最適の軌道を計画し、仮想カメ
ラは、その軌道上を移動していく。

【００４３】このように、仮想空間では、予め空間に関
するデータをシステムに教えておくことができるため、
実際のカメラの自動制御とは、異なる自動制御も可能で
ある。

【００４４】仮想美術館を例にとって、自動制御のアプ
ローチの利点を考えてみる。

【００４５】例えば、仮想美術館で“特定の時間で一周
したい”という要求を出せば、操作することに注意をそ
がれることなく、絵を見てまわることに集中できる。ま
た、システムは、そこに存在する美術品の中から、目玉
となる美術品を見てまわる軌道を提案できる。

【００４６】仮想カメラを自動制御する手法の利点とし
ては、ユーザが簡単な要求をするだけよいという利点だ
けでなく、仮想空間におけるユーザの目的を最適な形
で、達成する制御を提案できることもあげられる。

【００４７】このように、自由度を減らす方法と自動制
御する方法の２種類があるが、それらを比較してみる
と、その長所短所は、表１のようになる。

【００４８】

【表１】

【００４９】自由度を減らす手法は、どの程度の自由度
を減らせるのかについて考察する必要がある。とくに、
映像創作をすることを目的とした仮想空間では、ユーザ
は、自分の主観を反映させるために、仮想カメラのイン
タラクティブな操作を行いたいという要求がある。この
要求を満たすため、映像創作を目的とした、できるかぎ
り扱いやすいインタフェースを実現する必要がある。

【００５０】また、発明者等は、ユーザの目的に対し
て、システムが提案できるという自動制御の手法の長所
に着目した。映像に関する専門の知識を持たない一般の
ユーザは、ユーザの感性をどのように映像に反映させて
よいのかわからないのが普通である。そこで、“どうい
う雰囲気を出したいのか”という目的をユーザが入力す
ると、映像の専門的な知識をもったシステムが、その目
的に沿った映像をユーザに提案することができる。自動
制御の手法を採用すると、このような提案型のインタラ
クションを行うことができ、このような機能は、ユーザ
に望まれると考えられる。

【００５１】以上をふまえ、この発明では、まず、仮想
カメラをインタラクティブに操作できるインタフェース
を構築する。さらに、後者のアプローチに基づき、抽象
的な制御要求の中でも、ユーザが、３次元仮想空間を用
いて映像を制作するにあたって必要となるであろう「ス
ピード感を出したい」や「威厳を感じさせたい」など
の、ユーザが映像で表したい感性を理解し、仮想カメラ
を制御して、その目的を達成するシステムを提案する。

【００５２】このシステムにより、映像操作について知
識のないユーザでも感性語などの簡単な入力を行なうだ
けで、ユーザの意図を効果的に反映した映像を得られ
る。さらに、インタラクティブに操作できるインタフェ
ースを用意しているため、システムより出力された映像
を、ユーザの意図に沿うようにカスタマイズすることが
可能となった。そこで感性を反映したカメラ制御を行な
うためには、実世界での映像撮影において、感性を反映
させるため、どのようなカメラワークを行なっているの
かを、調査研究し、これを取り入れなければならない。

【００５３】またロケーションワークで用いられる技法
と感性への影響について研究し、表２の結果を得た。

【００５４】

【表２】

【００５５】次にカメラワークで用いられる技法と感性
への影響を研究し、表３の結果を得た。

【００５６】

【表３】

【００５７】コンポジションワークで用いられる技法と
感性への影響を研究し、表４の結果を得た。

【００５８】

【表４】

【００５９】画像の特徴量と感性について研究し、表５
の結果を得た。

【００６０】

【表５】

【００６１】線が感性に与える影響については表６の通
りである。

【００６２】

【表６】

【００６３】メンバーシップ値の決定については表７の
通りである。

【００６４】

【表７】

【００６５】音の特徴量と感性の関係について研究し、
表８の結果を得た。

【００６６】

【表８】

【００６７】前記のように、各種条件と感性の関係を研
究し、その結果を述べたが、被写体に対する視点のポジ
ションとアングルとの心理的効果は、欠くべからざる要
件であるから、以下これについて説明する。この発明に
おいては、映像の表現目的に沿った、最適の視点の位置
（ポジション）と角度（アングル）を見つけることが特
に必要であるから、この点について述べる。

【００６８】アングルは、そのショット（一区分）のイ
メージを決定付ける。アングルについては、低い位置か
ら見上げたローアングル（仰角）、上から見下ろすハイ
アングル（俯瞰）、目の高さから水平に見たアイレベル
に分類できる。それぞれのアングルから撮影された画像
は、以下の心理的効果があることが解っている（図３参
照）。

【００６９】（１）ローアングル 重厚感、威厳や高さ
を表す。 （２）アイレベル 日常的な視点で、安心感や見る人と
の一体感が得られる。ただし、平凡な印象。 （３）ハイアングル 風景画像の場合には、アイレベル
では見えなかった平面が見えるようになる。３次元モデ
ルのやさしさ、卑小感、虚弱感などを表す。また、垂直
俯瞰（真上から）で撮影された場合は、位置関係がデザ
イン化され（航空写真など）、線運動が明確化される。

【００７０】この発明は、水平方向のポジションの違い
によって、どのような印象の違いが起こるのかを調べる
ための、アメリカ製の車のポスターをつかった予備調査
を行なった。車のポスターには、車の絵とその車につい
てのコメントが書かれているもの８２枚をポスター集よ
り抽出した。車の絵は、さまざまな方向から描かれてい
て、コメントは、“革新的な”や“高級感のある”な
ど、その車の特長をアピールしたものである。

【００７１】この発明は、コメントであたえる印象と車
の絵から受ける印象は、同じになるよう意図されている
と仮定した。そして、これらのポスターの描き手が、コ
メントの内容を反映するために、車がどの方向から描い
ているかを調査した（図４参照）。

【００７２】図５は、コメントの内容別に、車の水平周
り−１８０〜１８０度のうち、どの方向から描かれてい
るかを示したものである。印象の違いにより、頻繁に描
かれる方向が異なっているのがわかる。この結果、物体
を描く方向の違いが、描かれた画像が与える印象に影響
をあたえることが示唆された。

【００７３】また、人物の顔をみて性別を判断する際
に、顔のもつ様々な情報の中で、どの情報が有効に利用
されているかを調査した。この調査の結果、性別判断に
おいて男女の特性に違いがでた。男性の顔の場合、左９
０度横顔での判断は、他の方向に比べて困難である場合
があり、また、女性の場合は、右９０度横顔での判断
は、他の方向に比べて困難であるという。この原因とし
て、性別判断における大脳半球機能差がある可能性を示
唆している。

【００７４】この描く方向による印象の違いも、このよ
うな大脳半球機能差に原因がある可能性が考えられる。
本研究の調査結果では、具体的な機能差は明らかにはな
らないが、画像を見る人の視点移動方向により、認知過
程で差が生じる機能差が考えられる。

【００７５】このように、描かれる方向によって、画像
から受ける印象が異なるのは、被写体の画面上での方向
にも関係していると考えれる。これついては、被写体の
方向性についての説明するときに、まとめて考察する。

【００７６】実施する上で、ポジションのパラメータと
して、角度を用いる。また、アングルのパラメータとし
て、角度を用いる（図５参照）。それらのパラメータと
心理的効果の関係をモデル化し、実施する。

【００７７】映像の感性がもっとも問われるのが、３次
元モデルを画面上のどの位置に、どの方に向けて、どれ
ぐらいの大きさで、配置するかである。例えば、いくら
迫力が出るからといって、３次元モデルだけを画面いっ
ぱいにフレーミングしてしまっては、窮屈なイメージに
なってしまう。余韻を残して作品に深みを感じさせるに
は、３次元モデルを引き立てるため、画面上への適切な
配置をしなければならない。

【００７８】同じ空間の空け方が同じでも、被写体の動
きの方向性により、感性に与える影響が異なってくる
（図６参照）。例えば、右方向に向いているときは自然
な動きのイメージとなり、左方向に向いているときは意
志を持った動きを感じさせる心理的効果を与える。

【００７９】このように、物体を描く、もしくは、撮影
する方向の違いにより、人の受ける印象が異なる。この
原因の正確な説明は、さらなる調査を必要とするが、一
つには、人間の視覚特性が考えられる。ドニス・Ａ・ド
ンディスは、“視覚能力入門”の中で、絵画的なものを
見る場合、素早い目の動きに２つの段階があることを明
らかにしている（図７参照）。まず、最初の動きは左か
ら右へ、主な垂直および水平の軸のありかを求めて大き
く動く。このほとんど瞬間的な探求に続いて、第二段階
では、画面の左下に向かっていき、そこで少し休むよう
な動きとなる。このように、画面上を走査するときの目
の動きは、左右対象ではない。そこで、画面上の被写体
を見る場合、その被写体のどの部分から見ていくのかに
よって、印象が異なる可能性が考えられる。

【００８０】被写体に対して、どこに空間を空けるかに
より、以下の心理的効果が得られる。

【００８１】被写体の前側に空間を作ると方向性を強調
したり、これからその空間側に進んでいくという期待感
をイメージさせる。これは、未来形の構成ともいわれ、
明るさや希望を感じさせてくれる。

【００８２】被写体の後ろ側に空間を作ると緊張感のあ
る動きを感じさせるイメージとなる。これは、過去形の
構成ともいわれ、寂しさを感じさせてくれる構成にな
る。

【００８３】画面の中央に被写体を配置させると前側、
後ろ側の両方が空く事になる。これは、現在形の構成と
いわれ、中途半端なイメージになりやすい。この場合
は、被写体を大きめに画面に配置（面積で７０〜８０％
ぐらい目安）とすることで安定感を出す事ができる（図
８参照）。

【００８４】（１）被写体の占める面積が大きい 賑や
かで活気がある。 （２）被写体の占める面積が小さい 落ち着いて、上品
な印象を与える。

【００８５】

【発明の実施の形態】この発明は、ユーザが所望の対象
物を指定すると共に、所望の感性語を入力することによ
り、前記対象物は感性語にマッチした創作した映像とし
て提供される。

【００８６】前記の実施システムとしては、３次元モデ
ルの出力部と、感性語入力部に画面構成の決定部の出力
とを、仮想カメラ制御部に入力し、前記感性語に対応す
るアングルで撮影した映像を選び出して出力映像を得る
ようにした感性語を入力することにより自動映像創作シ
ステムである。

【００８７】この発明の映像創作システムは、ユーザの
感性語など簡単な入力より、その感性を表現するのに最
適な構図の知識を選択し、その構図の知識にもとづい
て、仮想カメラを自動制御するシステムである。この発
明の創作システムが出力する画像は、動画像ではなく、
静止画像とする（図９参照）。

【００８８】実際の映像撮影では、映画監督は、撮影前
に各シーンをコマ割り漫画のように描いた絵コンテ（ス
トーリーボード）を作成する。この絵コンテは、監督の
頭にある各シーンのイメージを具体化したものであり、
絵コンテに含まれる情報は、主役や背景のセッティング
と、画面上での構図である。実際の撮影では、この絵コ
ンテどおりの映像が得られるように、カメラを配置・操
作して撮影される。

【００８９】

【実施例１】この発明は、ユーザが感性語を入力するこ
とにより、その感性語にマッチした創作映像を提供する
もので、以下図面に基づいてこの発明のシステムの概要
を説明する。

【００９０】仮想カメラの直接制御は、この発明の基本
機能であり、仮想カメラの各パラメータを直接制御でき
るインタフェースを提供する。一般ユーザが、システム
によって提示された最適な画面構成が反映された出力画
像に、満足できない場合や、この発明のサポートを必要
としない３次元モデル、背景、感性語の入力部の発明で
は、まず、ユーザに、次の３つのデータを入力してもら
う。

【００９１】（１）３次元モデルの形状データ （２）背景の形状データ （３）出力画像で与えたい印象（感性語）

【００９２】そこでユーザは、３次元モデルを背景の中
で任意の位置に配置できる。

【００９３】この発明は、印象と３次元モデルの座標と
構図の知識をもとに、印象を表す最適な画面構成を決定
する。この最適の画面構成は、絵コンテに相当するもの
で、ユーザの抽象的な入力を具体化したものである。

【００９４】この発明は、出力される画像が最適の画面
構成になるように、仮想カメラの各パラメータを自動制
御する。このような機能を備えたシステムを構築するた
め、以下の点について考察した。

【００９５】（１）映画撮影を目的とした仮想空間にお
いて、最適な仮想カメラのモデル （２）入力されるであろう印象語 （３）最適な画面構成の作成方法 （４）仮想カメラの制御方法

【００９６】仮想空間内でのユーザの行動要求は、その
目的の違いにより、異なってくる、そのため、システム
はその目的の達成に必要な機能を、ユーザが扱いやすい
形態で提供する必要がある。

【００９７】ユーザが仮想空間における映像撮影を目的
とした場合、仮想カメラの視体積を自由に調節しなけれ
ばならない。現在、最も普及している３ＤＣＧライブラ
リの視体積のモデルには、位置に関する３つのパラメー
タの、方向に関する４つのパラメータ、その他の視体積
の領域に関する５つのパラメータ、計１１のパラメータ
がある。

【００９８】しかし、これらのパラメータは、映像撮影
を目的としたユーザにとって、見なれない扱いにくいも
のである。一般のユーザでも、直観的にわかる仮想カメ
ラのモデルとして、現実世界における撮影をメタファー
としたモデルを提案する。そこで、まず、現実の映像撮
影について説明する。

【００９９】まず、実際の撮影では、撮影者は、被写体
の周りをカメラに取り付けた三脚ごと移動しながら、カ
メラの設置場所を探す。被写体の方向にカメラが向くよ
うに設置すると、三脚の高さを調節し、カメラの高さを
決定する。三脚の設置と高さの調節がおわると、三脚上
で、カメラを微妙に回転させて、方向を決定する。

【０１００】これにもとづくこの発明の提案するカメラ
のパラメータは、７つになる（図１０、１１参照）。

【０１０１】まず、上記の過程のうち三脚の高さを調節
するところまでが、カメラの位置に影響を与え、カメラ
は、被写体に対して相対的な位置に配置されると考える
ことができる。仮想カメラの位置は、３次元モデルを中
心とした極座標（Ｈｐｏｓ、Ｖａｎｇ、Ｄｉｓｔａｎｃ
ｅ）で、表現する。Ｈｐｏｓは、被写体のおかれた水平
面上での、正面方向の基準線からカメラの位置への角
度、Ｖａｎｇは、Ｈｐｏｓ分だけ回転された基準線から
の角度である。Ｈｐｏｓは、カメラのポジション、Ｖａ
ｎｇはアングルに相当する。そして、ある位置におかれ
た仮想カメラは、初期状態で、原点方向を向いている。

【０１０２】次に、三脚上での回転を考える。普及して
いる三脚用いる場合、カメラを原点にとった直交座標に
おけるｘ軸、ｙ軸、ｚ軸の各軸まわりの回転運動が可能
である。我々の提案する仮想カメラのモデルは、これら
の３つの軸まわりの回転パラメータ（ａｎｇｌｅＸ、ａ
ｎｇｌｅＹ、ａｎｇｌｅＺ）を表現している。

【０１０３】また、実際のカメラは、望遠レンズや広角
レンズといった、レンズを使い分けることができる。こ
れらのレンズの違いは、画角の違いである（図１２参
照）。この画角のパラメータ（Ｚｏｏｍ）を変化させる
ことができる。

【０１０４】この発明では、ユーザは、出力される映像
で出したい印象を、入力することができる。本来、シス
テムは、ユーザが入力するであろうあらゆる印象語を理
解できることが望ましい。しかし、我々が本システムで
取り上げる構図の知識、水平方向のポジション、アング
ル、３次元モデルの画面上での方向、面積で、表現でき
る印象は、主に、動きの印象であると考えられる。つま
り、本システムで入力可能であるべき印象語＝本システ
ムでとりあげる構図の知識を用いて表現可能な印象語で
ある。本研究では、まず、表現可能・不可能にかかわら
ず、印象語を入力可能にし、システムで、再現をこころ
みることにする。

【０１０５】この発明では、ユーザによって入力された
印象語に、最もふさわしい画面構成を決定する。この画
面構成を目標として、仮想カメラの自動制御が行なわれ
る。また、作成される画面構成は、写真家や映画監督な
どの芸術家たちが用いている構図の知識をもちいて作成
されなければならない。まず、この構図の知識のデータ
ベースの構築法について説明する。

【０１０６】構図の知識は、芸術家たちが、映像を撮影
するうえで、利用してきた技法を集積したものである必
要がある。芸術家の作品は、本来、彼らの創造力、感性
や霊感による部分がおおい。しかし、芸術家は、構図や
色彩などの基本的な知識をなにも持たず創作しているわ
けではなく、それらをふまえた上で、さまざまな作品を
つくりだしいるのである。筆者は、異なるの芸術家の異
なる作品どうしのなかに、その与えたい印象などの目的
が共通ならば、共通要因があるのではないかと考えた。

【０１０７】この発明では、このような推察のもとに、
構図の知識を構築するため、以下のような芸術家によっ
て撮影された映画を用いた調査をおこなった。

【０１０８】発明者等は、まず、以下の１０本の映画と
ＣＦ（コマーシャル・フィルム）より、１８５シーンを
抽出し、２人の被験者に、この１８５シーンから受ける
印象を複数の印象語で記述してもらった。シーンの抽出
では、構図の特徴が変化しないシーンを選択することに
した。使用した映画は、 （１）スターウォーズ帝国の逆襲 （２）スターウォーズジェダイの復讐 （３）アラジン （４）ベイブ （５）Ｅ．Ｔ． （６）キャノンボール （７）ナイトメアー・ビフォー・クリスマス （８）トップガン （９）ジェラシックパーク （１０）トイストーリー を使用した。

【０１０９】被験者には、印象語の模範例を約８０語示
したが、この模範例の中から選び出す必要ないことを付
け加えた。また、この印象語は、構図を体系化した本
や、映像作成についてまとめたの本の中で使用されてい
た言葉を抽出したものである。また、「感動的な」な
ど、気持ちの盛り上がりを記述しても、印象の詳細を説
明していない用語の使用は、避けてもらった。

【０１１０】次に、複数の画像より構成される各シーン
より、それぞれ１フレームを抽出し、図１３に示したパ
ラメータを計測した。実験に先立ち、構図の知識を調査
した際に、 （１）どの方向から撮影したか（ポジションとアング
ル） （２）３次元モデルの画面上で占める面積 （３）３次元モデルの画面上での方向 （４）３次元モデルの画面上で占める領域 の３点が感性と関係があることがわかった。これらの構
図の知識にもとづいて、本研究で計測するパラメータ表
９を決定した。

【０１１１】

【表９】

【０１１２】各シーンに対して、印象語と上記のパラメ
ータに関するデータが付加された後、それらのシーンを
印象語ごとにグループ化した（図１４参照）。例えば、
１８５シーンのうち、「ダイナミックな」という印象語
が付加されたシーンはすべて、「ダイナミックな」グル
ープに属する。各グループは複数シーンにより構成さ
れ、また、一つシーンが複数グループに属することもあ
る。

【０１１３】グループ化によってできたグループは、５
９グループであった。このことは、ユーザが使用した印
象語数は、５９語であったことがわかった。

【０１１４】例えば、「ダイナミックな」グループに属
するデータは、ダイナミックな印象を与えるために、過
去に芸術家がどのような構図の技法を用いたのかを記述
した、撮影記録であるといえる。本システムでは、これ
らの印象語ごとにグループ化されたデータを、構図の知
識として用いることにする。

【０１１５】本システムで、仮想カメラの制御目標とな
る画面構成は、 （１）水平方向ポジション （２）垂直方向アングル （３）画面上での３次元モデルの方向 （４）面積 （５）領域 の五つのパラメータで示される。それぞれのパラメータ
は、図１４で示したようなグループに含まれるデータを
もとに、印象語を反映されるよう決定しなければならな
い。以下、それぞれについて説明する。

【０１１６】水平方向ポジションと垂直方向アングル 各グループに含まれるシーンのパラメータの値は、その
変域内で分布しているため、どの値が最適であるかを決
定する必要がある。まず、水平方向のポジションと垂直
方向のアングルは、本研究で提案する仮想カメラのモデ
ルでは、ＨｐｏｓとＶａｎｇに対応し、仮想カメラの位
置に関するパラメータである。特定の印象を与えるため
に、どのような位置にカメラを配置すべきなのかを分析
するため、ポジションを９クラスタ、アングルを５クラ
スタに分割し、クラスタ分析することにした。図１５
は、“ダイナミックな”グループのデータを、９×５＝
４５クラスタに分割し、各クラスタ内に幾つのシーンが
含まれているかを示した例である。各シーンは、ある程
度の広がりをもって分布しているが、シーンが集中した
クラスタが存在する（図１５中、最大値）。

【０１１７】このような分布の中で、最大値をもつクラ
スタは、“芸術家が最も利用している”ポジションとア
ングルが含まれていることを示す。つまり、システム
は、“ダイナミックな”印象を与えたいという要求があ
った場合、この最大値をもつクラスタに含まれるポジシ
ョン、アングルにカメラを配置すればよいことが分か
る。

【０１１８】しかし、例えば、映像撮影の場合、ある位
置も感性を反映しているが、別の位置も感性を反映して
することができる場合も考えられる。例えば、図１５で
いえば、最大値が５であるのに対して、４つのシーンを
含んだクラスタがある。このような点を考慮し、２番目
に多くのシーンを含むクラスタも、第２候補としてユー
ザに提示することにする。

【０１１９】最適な画面構成を作成する場合、４５クラ
スタの中で、もっとも多くのシーンをふくむクラスタを
参照する。そして、次候補として、次に多くのシーンを
ふくむクラスタを参照する。

【０１２０】そのクラスタに含まれるシーンの水平方向
ポジション、垂直方向アングルの中で、それぞれ最も出
現頻度が高いパラメータを選択する。例えば、４つのシ
ーンを含むクラスタにおいて、各シーンの（ポジショ
ン、アングル）の値が、（４０、１０）、（４０、１
０）、（２０、３０）、（４０、２０）であった場合、
ポジションとアングルの値は、（４０、１０）となる。
また、最も出現頻度が高いパラメータの組が複数存在す
る場合は、それらの組の中でランダムに選択される。こ
れによって、どの位置から撮影するかが決定される。

【０１２１】図１６は、“ダイナミックな”グループの
データのうち、３次元モデルの画面上での方向に関する
データを図で示したものである。

【０１２２】図１６の直線は、画面上で３次元モデルが
どちらの方向を向いているかを示している。図では、そ
の方向が分かり易いようにするため、方向ごとに直線を
色分けしている。各直線の前方向に、赤、または緑の先
端を示す点をつけている。例えば、図の例では、左上方
向（黄色の線）に３次元モデルが向いているシーンが多
いことを示している。

【０１２３】画面上での方向は、水平方向のカメラの位
置に大きく関係している。例えば、３次元モデルの正面
に向かって左方向から撮影した場合、３次元モデルの画
面上での方向は、右方向に向く。逆に、３次元モデルの
正面に向かって右方向から撮影した場合、３次元モデル
の画面上での方向は、左方向に向く。つまり、画面上で
の３次元モデルの方向は、カメラの位置に依存している
といえる。

【０１２４】そこで、最適の画面構成を作成する場合、
クラスタに含まれるシーンの３次元モデルの画面上の方
向の中で、最も出現頻度の高いパラメータを選択する。
例えば、クラスタに４つのシーンが含まれている場合、
ポジションの値が、１０、１０、９、１１、であった場
合、３次元モデルの画面上の方向は、１０に決定され
る。

【０１２５】図１７は、“ダイナミックな”グループの
データのうち、面積に関するデータを図で示したもので
ある。面積は、３次元モデルの占めるピクセルの個数で
はなく、３次元モデルがちょうど収まる長方形の領域の
面積である。図１７は、０〜１００で表される面積の割
合（％）を、０〜１０、１０〜２０・・・９０〜１００
という領域に分けに、その領域に含まれるシーン数を表
している。面積の場合は、シーンが全領域に分布してい
る例が、多く見られた。

【０１２６】画面構成を作成するときには、面積の割合
で１０段階（図１７参照）に分けたばあいに、もっとも
多くのシーンが含まれる変域の間に収まるようにする。
例えば、１０〜２０％の領域に一番多くのシーンが集ま
った場合、カメラ制御時に、面積の値は、この変域内の
値をとるようにする。

【０１２７】画面上で３次元モデルの占める領域を、各
グループごとに重畳した（図１７参照）。図中の輝度の
高い部分（白い部分）は、多くのシーンで３次元モデル
が配置されていた領域である。逆に、輝度の低い部分
（黒い部分）は、あまり３次元モデルが配置されていな
かった領域である。図は、３次元モデルを撮影する場
合、中心付近を含むような領域に３次元モデルを置く例
が多いことを示してる。これについては、印象語による
違いがあまり顕著に表れなかった。

【０１２８】画面構成を作成する場合は、感性を反映さ
せるような領域の決定は行なえない。そこで、本システ
ムでは、最適の画面構成として決定されたポジション、
アングル、３次元モデルの方向の組合せを持つシーンの
領域パラメータを利用する。また、決定された面積が領
域の面積よりも、大きい場合は、領域の中心に３次元モ
デルの中心がくるように制御する。

【０１２９】この発明では、各パラメータの違いによ
り、印象がどのように違ってくるのかを調べる必要があ
る。以上のように、各印象語グループのデータの分布を
調べた後、各グループのそれぞれのパラメータを比較し
た。

【０１３０】図１８は、水平方向のポジションとアング
ルを４５クラスタに分けた場合に、印象語グループごと
に、もっとも、多くシーンを含むクラスタを示したもの
である。各印象語グループのもっとも多くのシーンを含
むクラスタは、図中の印象語の記入されたクラスタであ
る。

【０１３１】３次元モデルの画面上の方向については、
３次元モデルの向きを６方向に分類して分析した。図１
９は、各印象語グループごとで、３次元モデルがどの方
向を向く例が、多かったかを示している。図中の一番左
の列は、３次元モデルの方向を示している。円が３次元
モデル、矢印が先頭方向を示している。真ん中の列は、
構図についての説明があった芸術書に記載されていた、
各３次元モデルの方向が与える印象である。右の列は、
本実験で、その方向の例がもっとも多かったグループの
印象語である。各方向の印象語は、似たような雰囲気を
示す印象語の組合せになっていると考えられる。

【０１３２】カメラの制御方法として、ロボティックス
の分野で、研究されてきた視覚サーボで用いられていた
手法を採用する。視覚サーボは、カメラを初期位置より
与えられた目標画像が得られる位置まで、画像からの情
報のフィードバックで制御する。

【０１３３】この発明における仮想カメラの制御方法
を、図２０を用いて説明する。図２０において、最適の
画面構成は、構図の知識によって決定されている。

【０１３４】仮想カメラは、初期状態で、３次元モデル
の正面方向で３次元モデルのモデルが全て視体積内に収
まる位置に置かれている。この位置を初期位置とする。
システムは、仮想カメラから出力される２次元画像が決
定された画面構成になるように、仮想カメラに移動させ
ていく。ここで、仮想カメラの移動制御は、仮想カメラ
から出力される画像の情報をフィードバックすることに
よって行なわれる。

【０１３５】図２１は、制御部を図示したものである。
制御部は、画面構成のモデルパラメータであるｒ（Ｖ、
Ｍ、Ｓ）と出力画像を解析したｆ（ｖ、ｍ、ｓ）の偏差
によって駆動される。制御部は、仮想カメラの１１のパ
ラメータを出力し、仮想カメラを制御する。

【０１３６】次に、それぞれのパラメータについて説明
する。構図の知識を用いて決定された画面構成のパラメ
ータは、 （１）水平方向ポジション （２）垂直方向アングル （３）画面上での３次元モデルの方向 （４）３次元モデルの占める面積 （５）３次元モデルの占める領域 の５つである。これらの値をもとにして、仮想カメラの
７つのパラメータを、ホップス、バング、ディスタン
ス、ズーム、アングルＺ、アングルＸ、アングルＹの順
番で調節して、仮想カメラを制御する。

【０１３７】ホップスとバングの調整は、まず、仮想カ
メラのホップスとバングを水平方向ポジションと垂直方
向アングルの値に設定する。

【０１３８】ディスタンスとズームの調整は、３次元モ
デルの占める面積に感性を反映した面積にするため、デ
ィスタンスとズームを調整する。

【０１３９】１）コンピュータのメモリ上にレンダリン
グ（Ｏｆｆ ｓｃｒｅｅｎ ｒｅｎｄｅｒｉｎｇ）し、
画面上での３次元モデルの占める面積を計算する。２）
もし、３次元モデルの占める面積が最適の面積より小さ
い場合は、ディスタンスを小さくし、３次元モデルから
仮想カメラを近づける。また、３次元モデルの占める面
積が最適の面積より大きい場合は、ディスタンスを大き
くし、３次元モデルから仮想カメラを離す。ここで、デ
ィスタンスが０（３次元モデルと仮想カメラが衝突す
る）になったら、ズーム（画角）の値を調節する。

【０１４０】以上の２つの課程を繰り返し、最適の面積
になったら、ディスタンスとズームの調整を終了する。
この時点で、仮想カメラの位置が目標地点に到達したこ
とになる。

【０１４１】アングルＺの調整は、画面上の３次元モデ
ルの方向に関係している。画面上の３次元モデルの方向
が、最適の方向になるようにアングルＺを調整する。デ
ィスタンスと同様に、コンピュータのメモリ上にレンダ
リングし、画面上での３次元モデルの方向を計算する。
３次元モデルの方向がことなれば、アングルＺを調整
後、レンダリングをする作業を繰り返し、最適の方向に
なるまで調整する。

【０１４２】アングルＸとアングルＹの調整は、アング
ルＸとアングルＹは、画面上での３次元モデルの占める
領域に関係している。ディスタンスと同様に、コンピュ
ータのメモリ上にレンダリングし、画面上での３次元モ
デルの領域を計算する。３次元モデルの領域が異なれ
ば、アングルＸとアングルＹを調整後、レンダリングを
する作業を繰り返し、３次元モデルが指定された領域を
占めるようになるまで調整する。

【０１４３】

【実施例２】この発明は、ユーザが映像で表現したい感
性と３次元形状データを入力すると、構図の知識にもと
づいて、感性を反映した画面構成になるように仮想カメ
ラを制御し、２次元画像を制作するシステム（図２２参
照）である。

【０１４４】この発明のシステムは、以下の機能により
構成されている。メインメニューは様々な機能を呼び出
すメニュー。ユーザの入力インタフェースは３次元モデ
ルと背景の３次元形状データと印象語の入力。画面構成
決定部は構図の知識に基づいて、最適の画面構成を決定
する。仮想カメラ制御部は決定された画面構成になるよ
う、仮想カメラを制御する。仮想カメラ操作インタフェ
ースはユーザが、インタラクティブに仮想カメラを操作
できるインタフェース。

【０１４５】以上の機能をもったシステムを、Ｃ言語と
シリコングラフィックス社（Ｓｉｌｉｃｏｎ Ｇｒａｐ
ｈｉｃｓ）の３次元グラフィック・ツールキットオープ
ンインベンターを用いて、シリコングラフィックス社製
のＩＲＩＸ上に実装した。

【０１４６】以下、実装について述べる。

【０１４７】メインメニューは、ユーザがそれぞれの機
能を呼び出すときに用いるメニューである（図２３参
照）。ユーザは、ボタン１．の３次元モデルと背景の選
択を選択すると、３次元モデルと背景の形状データファ
イルを選択でき、そのファイル情報は、ＦＩＬＥ ＤＡ
ＴＡのフィールドに表示される。また、ボタン４．の与
える印象の入力を選択すると、メニューより印象語を入
力でき、その情報は、感性ＤＡＴＡのフィールドに表示
される。

【０１４８】３次元モデルと背景の３次元形状データ
は、インベンターフォーマットのファイルに記録されて
いる。それらのファイルより、ユーザは、ＧＵＩで自分
の使用したいファイルを選択し、システムに読み込む。

【０１４９】この発明のシステムでは、３次元モデルを
どの方向から撮影するかが重要となる。ユーザは、３次
元モデルとなる３次元形状データの正面方向を、入力す
る必要がある。図２４は、３次元モデルの方向を正面方
向に向けるインタフェースである。ユーザが、３次元モ
デルをクリックすると、周囲に立方体状のハンドルボッ
クス（Ｈａｎｄｌｅ Ｂｏｘ）が現れる。このハンドル
ボックスを操作することによって、３次元モデルの拡大
縮小、回転、移動が行なえる。３次元モデルが正面方向
に向いたら、操作を終了する。この終了時点で、画面よ
りユーザに向かっている３次元モデルの方向が、正面方
向として認識される。

【０１５０】このように、３次元モデルと背景のモデル
は、それぞれ別々にシステムに読み込む。本システム
は、図２５のような背景の中に３次元モデルを配置する
インタフェースを提供している。

【０１５１】３次元モデル、もしくは、背景をクリック
すると、周囲に立方体状のハンドルボックスが現れる。
ユーザは、このハンドルボックスを用いて、それぞれの
モデルを操作し、３次元モデルを背景の中の好みの位置
・方向に配置することができる。

【０１５２】ユーザは、印象語をメニューの中から選択
する。この発明のシステムで、入力可能な印象語は、実
験で１８５シーンの印象を表現するのに用いた印象語５
９語である。

【０１５３】次に仮想カメラ制御部では、画面構成のモ
デルパラメータを受けとり、３次元仮想空間内で、仮想
カメラを制御する。提案した仮想カメラのパラメータ数
は７つであるが、実際には、これらの７つのパラメータ
は、システム内でライブラリの視体積の計１１パラメー
タに変換されている。

【０１５４】制御部では、提案した手法を実装したが、
実装上の都合で以下の点について変更を加えた。

【０１５５】（１）３次元モデルの面積の検出 （２）３次元モデルの方向の検出 （３）制約

【０１５６】以下、それぞれについて述べる。

【０１５７】（１）の３次元モデルの面積の検出につい
ては、コンピュータのメモリ上にレンダリングされる画
像から、３次元モデルの面積を検出するには、背景から
３次元モデルの領域を自動で切り取る必要がある。しか
し、本システムでは、３次元モデル、もしくは、背景は
ユーザが選択する任意のモデルである。そのため、３次
元モデル領域を画像理解して、抽出することはできな
い。そこで、本研究では、３次元モデルだけをメモリ上
にレンダリングして、面積を計算することにする。

【０１５８】（２）の３次元モデルの方向の検出につい
ては、コンピュータのメモリ上にレンダリングされる画
像から、３次元モデルの方向を検出するには、システム
が、３次元モデルの正面方向の特徴を理解する必要があ
る。しかし、本システムでは、３次元モデルはユーザが
選択する任意のモデルであるため、３次元モデルの正面
方向を画像理解することは、困難である。

【０１５９】そこで、本研究は、図２６のような赤と緑
の棒を利用した。この棒は、３次元モデルの正面前方向
が赤、後方向が緑に対応するように、システムにより制
御される。この棒を、コンピュータのメモリ上にレンダ
リングし、赤領域と緑領域を検出する。この緑から赤に
向かう方向が、３次元モデルの正面の向いている方向と
して、検出される。

【０１６０】（３）の制約については、ユーザは、シス
テムの制御に、オプションで制約を設けることができ
る。３次元モデルの方向が、最適の画面構成と異なる場
合、アングルＺを利用して、３次元モデルと仮想カメラ
の視点を結ぶ軸まわりに回転させることになる。しか
し、建物のようなモデルが３次元モデルの場合、画面上
での３次元モデルの方向を合わせようとすると、見なれ
ない画面構成になる場合がある。そこで、ユーザは、ア
ングルＺによる回転制御を行なわないように、設定でき
る。

【０１６１】次に仮想カメラを、直接操作するためのイ
ンタフェースを図２７に示す。提案した仮想カメラの各
パラメータ（Ｈｐｏｓ、Ｖａｎｇ、Ｄｉｓｔａｎｃｅ、
Ｚｏｏｍ、ａｎｇｌｅＺ、ａｎｇｌｅＸ、ａｎｇｌｅ
Ｙ）を、図のようなホイールやスケールをドラッグする
ことにより操作できる。

【０１６２】例えば、図２８は堂々としたように見える
が、図２９はダイナミックに見える。また図３０は軽快
な図形として認識される。

【０１６３】

【発明の効果】この発明によれば、ユーザが所望の対象
物を指定すると共に、所望の感性語を入力すると、この
感性語にマッチした映像を見ることができる効果があ
る。従って仮想美術館又は仮想博物館などにおいて、見
たい物品を所望の感性で見ることができる効果がある。

【図面の簡単な説明】

【図１】３次元コンピュータグラフィックス。

【図２】視体積パラメータの図。

【図３】感性を反映した画像パーツの例示図。

【図４】ポジションと感性の関係を示す図。

【図５】ポジションとアングルの例示図。

【図６】物体の方向と心理的効果の関係図。

【図７】絵画的なものを見るときの目の動きを示す図。

【図８】３次元モデルの方向、領域、面積を検出する例
示図。

【図９】仮想撮影のコンセプトを示す図。

【図１０】座標系における仮想カメラの位置を示す図。

【図１１】仮想カメラの座標系における仮想カメラの回
転を示す図。

【図１２】レンズと画角を示す図。

【図１３】１フレームを抽出した図。

【図１４】グループに属するシーンのパラメータ・デー
タを示す図。

【図１５】クラスタへの分割例を示す図。

【図１６】画面上での３次元モデルの方向例を示す図。

【図１７】面積の例示図。

【図１８】水平方向ポジションとアングルと印象語の関
係を示す図。

【図１９】画面上の３次元モデルの方向と印象語との関
係を示す図。

【図２０】仮想カメラの制御例の図。

【図２１】仮想カメラの制御部の図。

【図２２】この発明のシステムを示すブロック図。

【図２３】同じくメインメニューの図。

【図２４】同じく３次元モデルの操作であって （ａ）同じく３次元モデルの選択時の図。 （ｂ）同じく方向調整操作終了後の図。

【図２５】同じく３次元配置インタフェース。

【図２６】同じく方向検出用の赤と緑の棒の図。

【図２７】同じく仮想カメラ直接操作インタフェース。

【図２８】同じく堂々とした例示図。

【図２９】同じくダイナミックな例示図。

【図３０】同じく軽快な例示図。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ユーザが、所望の対象物を指定すると共
   に所望の感性語を入力し、前記対象物を感性語に対応す
   るように創作した映像として表わすことを特徴とした感
   性語を入力することによる自動映像創作方法。
2. 【請求項２】 感性語は、映像に対応して多数蓄積され
   ていることを特徴とした請求項１記載の感性語を入力す
   ることによる自動映像創作方法。
3. 【請求項３】 ３次元モデルの出力部と、感性語入力部
   に画面構成決定部の出力とを、仮想カメラ制御部に入力
   し、前記感性語に対応する画面構成のパラメータで撮影
   した映像を選び出して出力映像とすることを特徴とした
   感性語を入力することによる自動映像創作システム。
4. 【請求項４】 仮想カメラ制御部は、３次元モデルの位
   置を中心として、カメラの相対的位置を決めることを特
   徴とした請求項３記載の感性語を入力することによる自
   動映像創作システム。
5. 【請求項５】 画面構成決定部は、予め蓄積された構図
   の知識中から、入力された感性語に対応する映像を抽出
   することを特徴とした請求項３記載の感性語を入力する
   ことによる自動映像創作システム。