JP2007034906A - 合成動画映像作成システム及び合成動画映像作成方法 - Google Patents

Abstract

【課題】 現実空間と３次元データを合成して動画映像を作成し、製品の多角的な評価を可能とする合成動画映像作成システムを提供する。
【解決手段】 マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から３次元データの合成位置を求める合成位置検出部１２と、３次元データの合成向きを求める合成向き検出部１３と、前記合成位置と合成向きに従って、各画像に３次元データを合成する合成処理部１４とを備えた合成動画映像作成システム。
【選択図】 図３

Description

本発明は、現実空間と３次元データを合成した合成動画映像を作成する合成動画映像作成システム及び合成動画映像作成方法に関する。

近年、動画圧縮技術とブロードバンドの普及により、様々な動画映像コンテンツの利用が急速に広がってきている。製品を製造する製造業においても、自社の製品が利用される現実空間の動画映像のコンテンツを作成し、現実空間との調和性や、現実空間における機能性や可搬性など、多角的な評価を行うことが可能になってきた。
このような評価を行う場合、従来、実物の製品をそれが利用される現場に運び、ビデオカメラなどで撮影することにより動画映像コンテンツを作成していた。しかし、この場合、製品が利用される現場が遠方にある状況や、現場の都合上、例えば常時接客を行っているために大型の製品を置いて通路を塞ぐことが許されないような場合など、撮影のために一時的に製品を持ち込むことが困難な状況のときは、多大なコストを要したり、評価そのものが実現できなかった。
一方、コンピュータを用いた、３次元ＣＡＤや３次元ビューワなどに代表される、近年の３次元形状処理、表示装置の普及により、製造業において製品の３次元データが作成、活用されるようになってきた。また、コンピュータの性能向上や３次元データのレンダリング技術の向上により、現実の製品と区別がつかないほど精細な３次元データの表示も可能になってきた。
そこで、製品の３次元データを現実空間の動画映像に合成できれば、製品を現場に運搬するコストもかからず、製品を持ち込むことが困難な状況であっても、前記した製品の多角的な評価が可能になると見込まれる。
例えば、特許文献１では、現実空間を撮影した画像に対し、画像中の３次元物体を３次元データの画像と差し替えることにより、現実空間の画像と３次元データの画像を合成する方法を提示している。また、特許文献２では、マーカを置いて撮影した現実空間の画像に対し、マーカで示された位置に３次元データの画像を合成する方法を提示している。
特開２０００−２２２６０６公報 特開２００３−２５６８７６公報

しかし、いずれも３次元データと合成したものは静止画像であり、前記した動画映像による製品の評価を実現するものではなかった。
本発明は、現実空間と３次元データを合成して動画映像を作成し、製品の多角的な評価を可能とする合成動画映像作成システム及び合成動画映像作成方法を提供することを目的とする。

前記目的を達成するために、請求項１記載の発明は、マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から３次元データの合成位置を求める合成位置検出部と、３次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、各画像に３次元データを合成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項２記載の発明は、マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、３次元データの合成位置を求める合成位置検出部と、３次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、画像に３次元データを合成し、３次元データの動作情報に従って連続した複数の３次元データの動作画像を作成する動作画像作成部と、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項３記載の発明は、順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した３次元データの複数の合成位置を求める合成位置検出部と、各マーカに対応した３次元データの複数の合成向きを求める合成向き検出部と、最初のマーカの位置から最後のマーカの位置までを３次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める移動補間処理部と、前記合成位置検出部と前記合成向き検出部と移動補間処理部によって求められた複数の合成位置と合成向きに従って、前記現実空間の画像に３次元データを合成した複数の合成画像を作成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項４記載の発明は、請求項２に記載の合成動画映像作成システムにおいて、無色透明の背景に３次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する動作画像作成部をさらに備えたことを特徴とする。

請求項５記載の発明は、マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から３次元データの合成位置を求める第１のステップと、３次元データの合成向きを求める第２のステップと、前記合成位置と合成向きに従って、各画像に３次元データを合成する第３のステップとを有する合成動画映像作成方法を特徴とする。
請求項６記載の発明は、マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、３次元データの合成位置を求める第１のステップと、３次元データの合成向きを求める第２のステップと、前記合成位置と合成向きに従って、画像に３次元データを合成し、３次元データの動作情報に従って連続した複数の３次元データの動作画像を作成する第３のステップと、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する第４のステップとを有する合成動画映像作成方法を特徴とする。
請求項７記載の発明は、順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した３次元データの複数の合成位置を求める第１のステップと、各マーカに対応した３次元データの複数の合成向きを求める第２のステップと、最初のマーカの位置から最後のマーカの位置までを３次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める第４のステップと、求められた複数の合成位置と合成向きに従って、前記現実空間の画像に３次元データを合成した複数の合成画像を作成する第５のステップとを有する合成動画映像作成方法を特徴とする。
請求項８記載の発明は、請求項６に記載の合成動画映像作成方法において、無色透明の背景に３次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する第５のステップをさらに有することを特徴とする。

本発明によれば、現実空間と３次元データの合成動画映像を作成することにより、３次元データで示される製品について、製品が利用される現実空間との調和性などを動画映像として検討することが可能となる。
また、現実空間と３次元データの合成動画映像を作成することにより、３次元データで示される製品について、製品が利用される現実空間に設置したときの機能性などを動画映像として検討することが可能となる。
また、現実空間と３次元データの合成動画映像を作成することにより、３次元データで示される製品について、製品が利用される現実空間における製品の可搬性などを動画映像で検討することが可能となる。

以下、本発明の実施形態を図面に従って説明する。
図１は本発明の実施形態に係る合成動画映像作成システムの構成図である。
本実施形態のシステムは、入出力装置１、ＣＰＵ２、メモリ３、外部入出力装置４がバス５で接続されることで構成されている。
本実施形態のシステムは、マーカを置いて撮影された現実のオフィス空間の動画映像に対し、オフィス機器製品の３次元データを合成することにより、製品の設置イメージをシミュレーションするシステムである。
図２は第１の本実施形態のイメージを示した図である。
図２（ａ）（ｂ）は、マーカを置いて撮影された現実のオフィス空間映像のスナップショットである。マーカＡが示されている。映像は、同じオフィスシーンに対して、図２（ａ）から図２（ｂ）へと、カメラの位置が移動している。よって、マーカＡの見え方もカメラの位置に応じて変化している。
図３（ａ）（ｂ）は、図２（ａ）（ｂ）にコピー機製品の３次元データＢを合成した様子を示している。このように、本実施形態は、製品の設置イメージを映像でシミュレーションすることにより、現実空間との調和性などを検討する際に有用なシステムとなる。

図４は第１の本実施形態に係る合成動画映像作成システムの機能ブロック図である。本システムは、映像分解処理部１１、合成位置検出部１２、合成向き検出部１３、合成処理部１４、画像結合処理部１５を備えている。
本システムにおいて、映像分解処理部１１は、現実動画映像データをフレーム単位の複数画像に分解する。
合成位置検出部１２は、各画像のマーカ部分を検出し、合成位置を示す部分を求める。マーカ部分の検出は各画像を探索して行い、合成位置を示す部分は、合成位置を示すマーカの特徴部位を抽出することにより行う。これは、特許文献１や、特許文献２などに示される方法を用いる。
合成向き検出部１３は、各画像のマーカ部分を検出し、合成の向きを示す部分を求める。マーカ部分の検出は各画像を探索して行い、合成向きを示す部分は、合成向きを示すマーカの特徴部位を抽出することにより行う。これは、特許文献１や、特許文献２などに示される方法を用いる。
合成処理部１４は、合成位置と合成向きに従い３次元データの位置と向きを合わせ、その位置と向きにおける３次元データの画像を現実空間の画像データと重ね合わせて合成画像データを作成する。これを各合成位置と合成向きについて実行する。
画像結合処理部１５は、各合成画像データを１つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。
図５は第１の実施形態に係る合成動画映像作成システムの動作フロー図である。
現実動画映像を分解して複数の画像データを作成する（Ｓ１）。次に渡すための画像データが存在するか判断する（Ｓ２）。存在する場合は１枚の画像について合成位置情報を求める（Ｓ３）。次に合成向き情報を求める（Ｓ４）。３次元データの位置と向きを合わせる（Ｓ５）。そして合成画像データを作成し、メモリにスタックする（Ｓ６）。ステップＳ２において次の処理に渡すための画像データが存在しない場合は、スタックされた合成画像をつなぎ合わせ、フレームレートに従った合成動画映像を作成する（Ｓ７）。

次に本発明の第２の実施形態について説明する。
第２の実施形態のシステムは、マーカを置いて撮影した現実のオフィス空間の画像に対し、オフィス機器製品の３次元データを合成し、かつ、動作情報に従って３次元データが動作を行う連続した複数の合成画像を出力することにより、現実空間と３次元データの合成動画映像を作成し、オフィス空間での製品の動作をシミュレーションするシステムである。
図６は第２の実施形態のイメージを示す図である。
図６（ａ）は、マーカを置いて撮影された現実のオフィス空間の画像である。マーカＡが示されている。図６（ｂ）は、図６（ａ）の画像に対してコピー機製品の３次元データＢを合成した画像である。
図７（ａ）は、図６（ｂ）の状態から、コピー機のトレイを引き出す動作をさせた状態の画像である。図７（ｂ）は、図６（ｂ）、の状態から、コピー機のトレイをもう一段引き出し、さらに前面パネルを開く動作をさせた状態の画像である。
このとき、本実施例のシステムは、図６（ｂ）から図７（ａ）、また図７（ａ）から図７（ｂ）に至る動作を、連続した映像として出力する。このように、本実施例のシステムは、製品の動作を動画映像でシミュレーションすることにより、現実空間に設置したときの製品の機能性などを検討する際に有用なシステムとなる。

図８は第２の実施形態に係る合成動画映像作成システムの機能ブロック図である。本システムは、合成位置検出部１２、合成向き検出部１３、動作画像作成部１６、合成処理部１４、画像結合処理部１５を備える。
この場合、合成位置検出部１２は、現実画像データのマーカ部分を検出し、合成位置を示す部分を求める。合成位置は第１の実施形態と同様に求める。
合成向き検出部１３は、現実画像データのマーカ部分を検出し、合成の向きを示す部分を求める。合成向きは第１の実施形態と同様に求める。
動作画像作成部１６は、合成位置と合成向きに従い、３次元データの位置と向きを合わせ、その位置と向きにおいて、動作情報に従い３次元データを動作させたときの複数の画像データを作成する。この画像データを動作画像データと呼ぶ。動作画像データは、無色透明の背景に３次元データが描画された画像である。ここで、動作情報には、３次元データを構成するパーツのうち、動作を行うパーツに対して平行移動情報、回転移動情報、動作所要時間情報、フレームレート情報が含まれる。また、動作を行うパーツが複数ある場合は、動作を行う順番についての情報も含まれる。作成される動作画像データの数は、動作所要時間情報とフレームレート情報によって決められる。
合成処理部１４は、各動作画像データと現実画像データを重ね合わせ、複数の合成画像データを作成する。
画像結合処理部１５は、各合成画像データを１つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。

次に第３の実施形態について説明する。
第３の実施形態では順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、オフィス機器の３次元データを合成し、かつ、最初のマーカの空間位置から最後のマーカの空間位置までを、３次元データが移動する連続した複数の合成画像を出力することにより、現実空間と３次元データの合成動画映像を作成し、オフィス空間での製品の移動をシミュレーションするシステムである。
図９は第３の実施形態のイメージを示す図である。
図９（ａ）は３つのマーカＡ１、Ａ２、Ａ３を置いて撮影された現実のオフィス空間の画像であるこの順番での順序関係をもっている。
図９（ｂ）は、図９（ａ）のマーカＡ１の位置にコピー機製品の３次元データＢを合成した画像である。
図１０（ａ）は、図９（ａ）のマーカＡ２の位置に図９（ｂ）と同じ３次元データＢを合成した画像である。図１０（ａ）は、図９（ａ）のマーカＡ３の位置に図９（ｂ）と同じ３次元データＢを合成した画像である。
このとき、本実施例のシステムは、図９（ｂ）から図１０（ａ）、また、図１０（ａ）から図１０（ｂ）にコピー機が移動する間を補間する画像を自動的に生成し、コピー機がスムースに移動する映像を出力する。このように、本実施例は、製品が移動する様子を現実空間と合成した映像でシミュレーションすることにより、現実空間における製品の可搬性などを検討する際に有用なシステムとなる。

図１１は第３の実施形態に係る合成動画映像作成システムの機能ブロック図である。本システムは、合成位置検出部１２、合成向き検出部１３、移動補間処理部１７、合成処理部１４、画像結合処理部１５を備える。
合成位置検出部１２は、現実画像の各マーカ部分を検出し、合成位置を示す部分を求める。合成位置は第１の実施形態と同様に求める。このとき、マーカ順序／移動時間情報に従って、検出した各マーカの順序を認識し、その順序に従って合成位置情報を出力する。
合成向き検出部１３は、現実画像の各マーカ部分を検出し、合成の向きを示す部分を求める。合成向きは第１の実施形態と同様に求める。このとき、マーカ順序／移動時間情報に従って、検出した各マーカの順序を認識し、その順序に従って合成位置情報を出力する。
移動補間処理部１７は、順序づけられた各マーカ間の合成位置と合成向きを補間する合成位置と合成向きを求める。このとき、合成位置と合成向きを求める数は、マーカ順序／移動時間情報と、フレームレート情報に基づく。
合成処理部１４は、合成位置と合成向きに従い３次元データの位置と向きを合わせ、その位置と向きにおける３次元データの画像を、現実画像データと重ね合わせて合成画像データを作成する。これを各合成位置と合成向きについて実行する。画像結合処理部１５は、各合成画像データを１つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。

本発明の実施形態に係る合成動画映像作成システムの構成図である。 第１の実施形態のイメージを示す図である。 第１の実施形態のイメージを示す図である。 第１の実施形態に係る合成動画映像作成システムの機能ブロック図である。 第１の実施形態に係る合成動画映像作成システムの動作フロー図である。 第２の実施形態のイメージを示す図である。 第２の実施形態のイメージを示す図である。 第２の実施形態に係る合成動画映像作成システムの機能ブロック図である。 第３の実施形態のイメージを示す図である。 第３の実施形態のイメージを示す図である。 第３の実施形態に係る合成動画映像作成システムの機能ブロック図である。

符号の説明

１１ 映像分解処理部、１２ 画像位置検出部、１３ 合成向き検出部、１４ 合成処理部、１５ 画像結合処理部

Claims (8)

1. マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から３次元データの合成位置を求める合成位置検出部と、３次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、各画像に３次元データを合成する合成処理部とを備えたことを特徴とする合成動画映像作成システム。
2. マーカを置いて撮影した現実の空間の画像に対しマーカに対応した３次元データの合成位置を求める合成位置検出部と、３次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、画像に３次元データを合成し、３次元データの動作情報に従って連続した複数の３次元データの動作画像を作成する動作画像作成部と、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する合成処理部とを備えたことを特徴とする合成動画映像作成システム。
3. 順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した３次元データの複数の合成位置を求める合成位置検出部と、各マーカに対応した３次元データの複数の合成向きを求める合成向き検出部と、最初のマーカの位置から最後のマーカの位置までを３次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める移動補間処理部と、前記合成位置検出部と前記合成向き検出部と移動補間処理部によって求められた複数の合成位置と合成向きに従って、前記現実空間の画像に３次元データを合成した複数の合成画像を作成する合成処理部とを備えたことを特徴とする合成動画映像作成システム。
4. 請求項２に記載の合成動画映像作成システムにおいて、無色透明の背景に３次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する動作画像作成部をさらに備えたことを特徴とする合成動画映像作成システム。
5. マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から３次元データの合成位置を求める第１のステップと、３次元データの合成向きを求める第２のステップと、前記合成位置と合成向きに従って、各画像に３次元データを合成する第３のステップとを有することを特徴とする合成動画映像作成方法。
6. マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、３次元データの合成位置を求める第１のステップと、３次元データの合成向きを求める第２のステップと、前記合成位置と合成向きに従って、画像に３次元データを合成し、３次元データの動作情報に従って連続した複数の３次元データの動作画像を作成する第３のステップと、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する第４のステップとを有することを特徴とする合成動画映像作成方法。
7. 順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した３次元データの複数の合成位置を求める第１のステップと、各マーカに対応した３次元データの複数の合成向きを求める第２のステップと、最初のマーカの位置から最後のマーカの位置までを、３次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める第４のステップと、求められた複数の合成位置と合成向きに従って、前記現実空間の画像に３次元データを合成した複数の合成画像を作成する第５のステップとを有することを特徴とする合成動画映像作成方法。
8. 請求項６に記載の合成動画映像作成方法おいて、無色透明の背景に３次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する第５のステップをさらに有することを特徴とする合成動画映像作成方法。

Images