JP2007034906A - 合成動画映像作成システム及び合成動画映像作成方法 - Google Patents
合成動画映像作成システム及び合成動画映像作成方法 Download PDFInfo
- Publication number
- JP2007034906A JP2007034906A JP2005220525A JP2005220525A JP2007034906A JP 2007034906 A JP2007034906 A JP 2007034906A JP 2005220525 A JP2005220525 A JP 2005220525A JP 2005220525 A JP2005220525 A JP 2005220525A JP 2007034906 A JP2007034906 A JP 2007034906A
- Authority
- JP
- Japan
- Prior art keywords
- image
- composite
- dimensional data
- marker
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
【課題】 現実空間と3次元データを合成して動画映像を作成し、製品の多角的な評価を可能とする合成動画映像作成システムを提供する。
【解決手段】 マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から3次元データの合成位置を求める合成位置検出部12と、3次元データの合成向きを求める合成向き検出部13と、前記合成位置と合成向きに従って、各画像に3次元データを合成する合成処理部14とを備えた合成動画映像作成システム。
【選択図】 図3
【解決手段】 マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から3次元データの合成位置を求める合成位置検出部12と、3次元データの合成向きを求める合成向き検出部13と、前記合成位置と合成向きに従って、各画像に3次元データを合成する合成処理部14とを備えた合成動画映像作成システム。
【選択図】 図3
Description
本発明は、現実空間と3次元データを合成した合成動画映像を作成する合成動画映像作成システム及び合成動画映像作成方法に関する。
近年、動画圧縮技術とブロードバンドの普及により、様々な動画映像コンテンツの利用が急速に広がってきている。製品を製造する製造業においても、自社の製品が利用される現実空間の動画映像のコンテンツを作成し、現実空間との調和性や、現実空間における機能性や可搬性など、多角的な評価を行うことが可能になってきた。
このような評価を行う場合、従来、実物の製品をそれが利用される現場に運び、ビデオカメラなどで撮影することにより動画映像コンテンツを作成していた。しかし、この場合、製品が利用される現場が遠方にある状況や、現場の都合上、例えば常時接客を行っているために大型の製品を置いて通路を塞ぐことが許されないような場合など、撮影のために一時的に製品を持ち込むことが困難な状況のときは、多大なコストを要したり、評価そのものが実現できなかった。
一方、コンピュータを用いた、3次元CADや3次元ビューワなどに代表される、近年の3次元形状処理、表示装置の普及により、製造業において製品の3次元データが作成、活用されるようになってきた。また、コンピュータの性能向上や3次元データのレンダリング技術の向上により、現実の製品と区別がつかないほど精細な3次元データの表示も可能になってきた。
そこで、製品の3次元データを現実空間の動画映像に合成できれば、製品を現場に運搬するコストもかからず、製品を持ち込むことが困難な状況であっても、前記した製品の多角的な評価が可能になると見込まれる。
例えば、特許文献1では、現実空間を撮影した画像に対し、画像中の3次元物体を3次元データの画像と差し替えることにより、現実空間の画像と3次元データの画像を合成する方法を提示している。また、特許文献2では、マーカを置いて撮影した現実空間の画像に対し、マーカで示された位置に3次元データの画像を合成する方法を提示している。
特開2000−222606公報
特開2003−256876公報
このような評価を行う場合、従来、実物の製品をそれが利用される現場に運び、ビデオカメラなどで撮影することにより動画映像コンテンツを作成していた。しかし、この場合、製品が利用される現場が遠方にある状況や、現場の都合上、例えば常時接客を行っているために大型の製品を置いて通路を塞ぐことが許されないような場合など、撮影のために一時的に製品を持ち込むことが困難な状況のときは、多大なコストを要したり、評価そのものが実現できなかった。
一方、コンピュータを用いた、3次元CADや3次元ビューワなどに代表される、近年の3次元形状処理、表示装置の普及により、製造業において製品の3次元データが作成、活用されるようになってきた。また、コンピュータの性能向上や3次元データのレンダリング技術の向上により、現実の製品と区別がつかないほど精細な3次元データの表示も可能になってきた。
そこで、製品の3次元データを現実空間の動画映像に合成できれば、製品を現場に運搬するコストもかからず、製品を持ち込むことが困難な状況であっても、前記した製品の多角的な評価が可能になると見込まれる。
例えば、特許文献1では、現実空間を撮影した画像に対し、画像中の3次元物体を3次元データの画像と差し替えることにより、現実空間の画像と3次元データの画像を合成する方法を提示している。また、特許文献2では、マーカを置いて撮影した現実空間の画像に対し、マーカで示された位置に3次元データの画像を合成する方法を提示している。
しかし、いずれも3次元データと合成したものは静止画像であり、前記した動画映像による製品の評価を実現するものではなかった。
本発明は、現実空間と3次元データを合成して動画映像を作成し、製品の多角的な評価を可能とする合成動画映像作成システム及び合成動画映像作成方法を提供することを目的とする。
本発明は、現実空間と3次元データを合成して動画映像を作成し、製品の多角的な評価を可能とする合成動画映像作成システム及び合成動画映像作成方法を提供することを目的とする。
前記目的を達成するために、請求項1記載の発明は、マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から3次元データの合成位置を求める合成位置検出部と、3次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、各画像に3次元データを合成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項2記載の発明は、マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、3次元データの合成位置を求める合成位置検出部と、3次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、画像に3次元データを合成し、3次元データの動作情報に従って連続した複数の3次元データの動作画像を作成する動作画像作成部と、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項3記載の発明は、順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した3次元データの複数の合成位置を求める合成位置検出部と、各マーカに対応した3次元データの複数の合成向きを求める合成向き検出部と、最初のマーカの位置から最後のマーカの位置までを3次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める移動補間処理部と、前記合成位置検出部と前記合成向き検出部と移動補間処理部によって求められた複数の合成位置と合成向きに従って、前記現実空間の画像に3次元データを合成した複数の合成画像を作成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項4記載の発明は、請求項2に記載の合成動画映像作成システムにおいて、無色透明の背景に3次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する動作画像作成部をさらに備えたことを特徴とする。
請求項2記載の発明は、マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、3次元データの合成位置を求める合成位置検出部と、3次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、画像に3次元データを合成し、3次元データの動作情報に従って連続した複数の3次元データの動作画像を作成する動作画像作成部と、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項3記載の発明は、順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した3次元データの複数の合成位置を求める合成位置検出部と、各マーカに対応した3次元データの複数の合成向きを求める合成向き検出部と、最初のマーカの位置から最後のマーカの位置までを3次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める移動補間処理部と、前記合成位置検出部と前記合成向き検出部と移動補間処理部によって求められた複数の合成位置と合成向きに従って、前記現実空間の画像に3次元データを合成した複数の合成画像を作成する合成処理部とを備えた合成動画映像作成システムを特徴とする。
請求項4記載の発明は、請求項2に記載の合成動画映像作成システムにおいて、無色透明の背景に3次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する動作画像作成部をさらに備えたことを特徴とする。
請求項5記載の発明は、マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から3次元データの合成位置を求める第1のステップと、3次元データの合成向きを求める第2のステップと、前記合成位置と合成向きに従って、各画像に3次元データを合成する第3のステップとを有する合成動画映像作成方法を特徴とする。
請求項6記載の発明は、マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、3次元データの合成位置を求める第1のステップと、3次元データの合成向きを求める第2のステップと、前記合成位置と合成向きに従って、画像に3次元データを合成し、3次元データの動作情報に従って連続した複数の3次元データの動作画像を作成する第3のステップと、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する第4のステップとを有する合成動画映像作成方法を特徴とする。
請求項7記載の発明は、順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した3次元データの複数の合成位置を求める第1のステップと、各マーカに対応した3次元データの複数の合成向きを求める第2のステップと、最初のマーカの位置から最後のマーカの位置までを3次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める第4のステップと、求められた複数の合成位置と合成向きに従って、前記現実空間の画像に3次元データを合成した複数の合成画像を作成する第5のステップとを有する合成動画映像作成方法を特徴とする。
請求項8記載の発明は、請求項6に記載の合成動画映像作成方法において、無色透明の背景に3次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する第5のステップをさらに有することを特徴とする。
請求項6記載の発明は、マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、3次元データの合成位置を求める第1のステップと、3次元データの合成向きを求める第2のステップと、前記合成位置と合成向きに従って、画像に3次元データを合成し、3次元データの動作情報に従って連続した複数の3次元データの動作画像を作成する第3のステップと、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する第4のステップとを有する合成動画映像作成方法を特徴とする。
請求項7記載の発明は、順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した3次元データの複数の合成位置を求める第1のステップと、各マーカに対応した3次元データの複数の合成向きを求める第2のステップと、最初のマーカの位置から最後のマーカの位置までを3次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める第4のステップと、求められた複数の合成位置と合成向きに従って、前記現実空間の画像に3次元データを合成した複数の合成画像を作成する第5のステップとを有する合成動画映像作成方法を特徴とする。
請求項8記載の発明は、請求項6に記載の合成動画映像作成方法において、無色透明の背景に3次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する第5のステップをさらに有することを特徴とする。
本発明によれば、現実空間と3次元データの合成動画映像を作成することにより、3次元データで示される製品について、製品が利用される現実空間との調和性などを動画映像として検討することが可能となる。
また、現実空間と3次元データの合成動画映像を作成することにより、3次元データで示される製品について、製品が利用される現実空間に設置したときの機能性などを動画映像として検討することが可能となる。
また、現実空間と3次元データの合成動画映像を作成することにより、3次元データで示される製品について、製品が利用される現実空間における製品の可搬性などを動画映像で検討することが可能となる。
また、現実空間と3次元データの合成動画映像を作成することにより、3次元データで示される製品について、製品が利用される現実空間に設置したときの機能性などを動画映像として検討することが可能となる。
また、現実空間と3次元データの合成動画映像を作成することにより、3次元データで示される製品について、製品が利用される現実空間における製品の可搬性などを動画映像で検討することが可能となる。
以下、本発明の実施形態を図面に従って説明する。
図1は本発明の実施形態に係る合成動画映像作成システムの構成図である。
本実施形態のシステムは、入出力装置1、CPU2、メモリ3、外部入出力装置4がバス5で接続されることで構成されている。
本実施形態のシステムは、マーカを置いて撮影された現実のオフィス空間の動画映像に対し、オフィス機器製品の3次元データを合成することにより、製品の設置イメージをシミュレーションするシステムである。
図2は第1の本実施形態のイメージを示した図である。
図2(a)(b)は、マーカを置いて撮影された現実のオフィス空間映像のスナップショットである。マーカAが示されている。映像は、同じオフィスシーンに対して、図2(a)から図2(b)へと、カメラの位置が移動している。よって、マーカAの見え方もカメラの位置に応じて変化している。
図3(a)(b)は、図2(a)(b)にコピー機製品の3次元データBを合成した様子を示している。このように、本実施形態は、製品の設置イメージを映像でシミュレーションすることにより、現実空間との調和性などを検討する際に有用なシステムとなる。
図1は本発明の実施形態に係る合成動画映像作成システムの構成図である。
本実施形態のシステムは、入出力装置1、CPU2、メモリ3、外部入出力装置4がバス5で接続されることで構成されている。
本実施形態のシステムは、マーカを置いて撮影された現実のオフィス空間の動画映像に対し、オフィス機器製品の3次元データを合成することにより、製品の設置イメージをシミュレーションするシステムである。
図2は第1の本実施形態のイメージを示した図である。
図2(a)(b)は、マーカを置いて撮影された現実のオフィス空間映像のスナップショットである。マーカAが示されている。映像は、同じオフィスシーンに対して、図2(a)から図2(b)へと、カメラの位置が移動している。よって、マーカAの見え方もカメラの位置に応じて変化している。
図3(a)(b)は、図2(a)(b)にコピー機製品の3次元データBを合成した様子を示している。このように、本実施形態は、製品の設置イメージを映像でシミュレーションすることにより、現実空間との調和性などを検討する際に有用なシステムとなる。
図4は第1の本実施形態に係る合成動画映像作成システムの機能ブロック図である。本システムは、映像分解処理部11、合成位置検出部12、合成向き検出部13、合成処理部14、画像結合処理部15を備えている。
本システムにおいて、映像分解処理部11は、現実動画映像データをフレーム単位の複数画像に分解する。
合成位置検出部12は、各画像のマーカ部分を検出し、合成位置を示す部分を求める。マーカ部分の検出は各画像を探索して行い、合成位置を示す部分は、合成位置を示すマーカの特徴部位を抽出することにより行う。これは、特許文献1や、特許文献2などに示される方法を用いる。
合成向き検出部13は、各画像のマーカ部分を検出し、合成の向きを示す部分を求める。マーカ部分の検出は各画像を探索して行い、合成向きを示す部分は、合成向きを示すマーカの特徴部位を抽出することにより行う。これは、特許文献1や、特許文献2などに示される方法を用いる。
合成処理部14は、合成位置と合成向きに従い3次元データの位置と向きを合わせ、その位置と向きにおける3次元データの画像を現実空間の画像データと重ね合わせて合成画像データを作成する。これを各合成位置と合成向きについて実行する。
画像結合処理部15は、各合成画像データを1つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。
図5は第1の実施形態に係る合成動画映像作成システムの動作フロー図である。
現実動画映像を分解して複数の画像データを作成する(S1)。次に渡すための画像データが存在するか判断する(S2)。存在する場合は1枚の画像について合成位置情報を求める(S3)。次に合成向き情報を求める(S4)。3次元データの位置と向きを合わせる(S5)。そして合成画像データを作成し、メモリにスタックする(S6)。ステップS2において次の処理に渡すための画像データが存在しない場合は、スタックされた合成画像をつなぎ合わせ、フレームレートに従った合成動画映像を作成する(S7)。
本システムにおいて、映像分解処理部11は、現実動画映像データをフレーム単位の複数画像に分解する。
合成位置検出部12は、各画像のマーカ部分を検出し、合成位置を示す部分を求める。マーカ部分の検出は各画像を探索して行い、合成位置を示す部分は、合成位置を示すマーカの特徴部位を抽出することにより行う。これは、特許文献1や、特許文献2などに示される方法を用いる。
合成向き検出部13は、各画像のマーカ部分を検出し、合成の向きを示す部分を求める。マーカ部分の検出は各画像を探索して行い、合成向きを示す部分は、合成向きを示すマーカの特徴部位を抽出することにより行う。これは、特許文献1や、特許文献2などに示される方法を用いる。
合成処理部14は、合成位置と合成向きに従い3次元データの位置と向きを合わせ、その位置と向きにおける3次元データの画像を現実空間の画像データと重ね合わせて合成画像データを作成する。これを各合成位置と合成向きについて実行する。
画像結合処理部15は、各合成画像データを1つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。
図5は第1の実施形態に係る合成動画映像作成システムの動作フロー図である。
現実動画映像を分解して複数の画像データを作成する(S1)。次に渡すための画像データが存在するか判断する(S2)。存在する場合は1枚の画像について合成位置情報を求める(S3)。次に合成向き情報を求める(S4)。3次元データの位置と向きを合わせる(S5)。そして合成画像データを作成し、メモリにスタックする(S6)。ステップS2において次の処理に渡すための画像データが存在しない場合は、スタックされた合成画像をつなぎ合わせ、フレームレートに従った合成動画映像を作成する(S7)。
次に本発明の第2の実施形態について説明する。
第2の実施形態のシステムは、マーカを置いて撮影した現実のオフィス空間の画像に対し、オフィス機器製品の3次元データを合成し、かつ、動作情報に従って3次元データが動作を行う連続した複数の合成画像を出力することにより、現実空間と3次元データの合成動画映像を作成し、オフィス空間での製品の動作をシミュレーションするシステムである。
図6は第2の実施形態のイメージを示す図である。
図6(a)は、マーカを置いて撮影された現実のオフィス空間の画像である。マーカAが示されている。図6(b)は、図6(a)の画像に対してコピー機製品の3次元データBを合成した画像である。
図7(a)は、図6(b)の状態から、コピー機のトレイを引き出す動作をさせた状態の画像である。図7(b)は、図6(b)、の状態から、コピー機のトレイをもう一段引き出し、さらに前面パネルを開く動作をさせた状態の画像である。
このとき、本実施例のシステムは、図6(b)から図7(a)、また図7(a)から図7(b)に至る動作を、連続した映像として出力する。このように、本実施例のシステムは、製品の動作を動画映像でシミュレーションすることにより、現実空間に設置したときの製品の機能性などを検討する際に有用なシステムとなる。
第2の実施形態のシステムは、マーカを置いて撮影した現実のオフィス空間の画像に対し、オフィス機器製品の3次元データを合成し、かつ、動作情報に従って3次元データが動作を行う連続した複数の合成画像を出力することにより、現実空間と3次元データの合成動画映像を作成し、オフィス空間での製品の動作をシミュレーションするシステムである。
図6は第2の実施形態のイメージを示す図である。
図6(a)は、マーカを置いて撮影された現実のオフィス空間の画像である。マーカAが示されている。図6(b)は、図6(a)の画像に対してコピー機製品の3次元データBを合成した画像である。
図7(a)は、図6(b)の状態から、コピー機のトレイを引き出す動作をさせた状態の画像である。図7(b)は、図6(b)、の状態から、コピー機のトレイをもう一段引き出し、さらに前面パネルを開く動作をさせた状態の画像である。
このとき、本実施例のシステムは、図6(b)から図7(a)、また図7(a)から図7(b)に至る動作を、連続した映像として出力する。このように、本実施例のシステムは、製品の動作を動画映像でシミュレーションすることにより、現実空間に設置したときの製品の機能性などを検討する際に有用なシステムとなる。
図8は第2の実施形態に係る合成動画映像作成システムの機能ブロック図である。本システムは、合成位置検出部12、合成向き検出部13、動作画像作成部16、合成処理部14、画像結合処理部15を備える。
この場合、合成位置検出部12は、現実画像データのマーカ部分を検出し、合成位置を示す部分を求める。合成位置は第1の実施形態と同様に求める。
合成向き検出部13は、現実画像データのマーカ部分を検出し、合成の向きを示す部分を求める。合成向きは第1の実施形態と同様に求める。
動作画像作成部16は、合成位置と合成向きに従い、3次元データの位置と向きを合わせ、その位置と向きにおいて、動作情報に従い3次元データを動作させたときの複数の画像データを作成する。この画像データを動作画像データと呼ぶ。動作画像データは、無色透明の背景に3次元データが描画された画像である。ここで、動作情報には、3次元データを構成するパーツのうち、動作を行うパーツに対して平行移動情報、回転移動情報、動作所要時間情報、フレームレート情報が含まれる。また、動作を行うパーツが複数ある場合は、動作を行う順番についての情報も含まれる。作成される動作画像データの数は、動作所要時間情報とフレームレート情報によって決められる。
合成処理部14は、各動作画像データと現実画像データを重ね合わせ、複数の合成画像データを作成する。
画像結合処理部15は、各合成画像データを1つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。
この場合、合成位置検出部12は、現実画像データのマーカ部分を検出し、合成位置を示す部分を求める。合成位置は第1の実施形態と同様に求める。
合成向き検出部13は、現実画像データのマーカ部分を検出し、合成の向きを示す部分を求める。合成向きは第1の実施形態と同様に求める。
動作画像作成部16は、合成位置と合成向きに従い、3次元データの位置と向きを合わせ、その位置と向きにおいて、動作情報に従い3次元データを動作させたときの複数の画像データを作成する。この画像データを動作画像データと呼ぶ。動作画像データは、無色透明の背景に3次元データが描画された画像である。ここで、動作情報には、3次元データを構成するパーツのうち、動作を行うパーツに対して平行移動情報、回転移動情報、動作所要時間情報、フレームレート情報が含まれる。また、動作を行うパーツが複数ある場合は、動作を行う順番についての情報も含まれる。作成される動作画像データの数は、動作所要時間情報とフレームレート情報によって決められる。
合成処理部14は、各動作画像データと現実画像データを重ね合わせ、複数の合成画像データを作成する。
画像結合処理部15は、各合成画像データを1つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。
次に第3の実施形態について説明する。
第3の実施形態では順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、オフィス機器の3次元データを合成し、かつ、最初のマーカの空間位置から最後のマーカの空間位置までを、3次元データが移動する連続した複数の合成画像を出力することにより、現実空間と3次元データの合成動画映像を作成し、オフィス空間での製品の移動をシミュレーションするシステムである。
図9は第3の実施形態のイメージを示す図である。
図9(a)は3つのマーカA1、A2、A3を置いて撮影された現実のオフィス空間の画像であるこの順番での順序関係をもっている。
図9(b)は、図9(a)のマーカA1の位置にコピー機製品の3次元データBを合成した画像である。
図10(a)は、図9(a)のマーカA2の位置に図9(b)と同じ3次元データBを合成した画像である。図10(a)は、図9(a)のマーカA3の位置に図9(b)と同じ3次元データBを合成した画像である。
このとき、本実施例のシステムは、図9(b)から図10(a)、また、図10(a)から図10(b)にコピー機が移動する間を補間する画像を自動的に生成し、コピー機がスムースに移動する映像を出力する。このように、本実施例は、製品が移動する様子を現実空間と合成した映像でシミュレーションすることにより、現実空間における製品の可搬性などを検討する際に有用なシステムとなる。
第3の実施形態では順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、オフィス機器の3次元データを合成し、かつ、最初のマーカの空間位置から最後のマーカの空間位置までを、3次元データが移動する連続した複数の合成画像を出力することにより、現実空間と3次元データの合成動画映像を作成し、オフィス空間での製品の移動をシミュレーションするシステムである。
図9は第3の実施形態のイメージを示す図である。
図9(a)は3つのマーカA1、A2、A3を置いて撮影された現実のオフィス空間の画像であるこの順番での順序関係をもっている。
図9(b)は、図9(a)のマーカA1の位置にコピー機製品の3次元データBを合成した画像である。
図10(a)は、図9(a)のマーカA2の位置に図9(b)と同じ3次元データBを合成した画像である。図10(a)は、図9(a)のマーカA3の位置に図9(b)と同じ3次元データBを合成した画像である。
このとき、本実施例のシステムは、図9(b)から図10(a)、また、図10(a)から図10(b)にコピー機が移動する間を補間する画像を自動的に生成し、コピー機がスムースに移動する映像を出力する。このように、本実施例は、製品が移動する様子を現実空間と合成した映像でシミュレーションすることにより、現実空間における製品の可搬性などを検討する際に有用なシステムとなる。
図11は第3の実施形態に係る合成動画映像作成システムの機能ブロック図である。本システムは、合成位置検出部12、合成向き検出部13、移動補間処理部17、合成処理部14、画像結合処理部15を備える。
合成位置検出部12は、現実画像の各マーカ部分を検出し、合成位置を示す部分を求める。合成位置は第1の実施形態と同様に求める。このとき、マーカ順序/移動時間情報に従って、検出した各マーカの順序を認識し、その順序に従って合成位置情報を出力する。
合成向き検出部13は、現実画像の各マーカ部分を検出し、合成の向きを示す部分を求める。合成向きは第1の実施形態と同様に求める。このとき、マーカ順序/移動時間情報に従って、検出した各マーカの順序を認識し、その順序に従って合成位置情報を出力する。
移動補間処理部17は、順序づけられた各マーカ間の合成位置と合成向きを補間する合成位置と合成向きを求める。このとき、合成位置と合成向きを求める数は、マーカ順序/移動時間情報と、フレームレート情報に基づく。
合成処理部14は、合成位置と合成向きに従い3次元データの位置と向きを合わせ、その位置と向きにおける3次元データの画像を、現実画像データと重ね合わせて合成画像データを作成する。これを各合成位置と合成向きについて実行する。画像結合処理部15は、各合成画像データを1つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。
合成位置検出部12は、現実画像の各マーカ部分を検出し、合成位置を示す部分を求める。合成位置は第1の実施形態と同様に求める。このとき、マーカ順序/移動時間情報に従って、検出した各マーカの順序を認識し、その順序に従って合成位置情報を出力する。
合成向き検出部13は、現実画像の各マーカ部分を検出し、合成の向きを示す部分を求める。合成向きは第1の実施形態と同様に求める。このとき、マーカ順序/移動時間情報に従って、検出した各マーカの順序を認識し、その順序に従って合成位置情報を出力する。
移動補間処理部17は、順序づけられた各マーカ間の合成位置と合成向きを補間する合成位置と合成向きを求める。このとき、合成位置と合成向きを求める数は、マーカ順序/移動時間情報と、フレームレート情報に基づく。
合成処理部14は、合成位置と合成向きに従い3次元データの位置と向きを合わせ、その位置と向きにおける3次元データの画像を、現実画像データと重ね合わせて合成画像データを作成する。これを各合成位置と合成向きについて実行する。画像結合処理部15は、各合成画像データを1つのフレームとし、フレームレート情報に従って合成動画映像データを作成する。
11 映像分解処理部、12 画像位置検出部、13 合成向き検出部、14 合成処理部、15 画像結合処理部
Claims (8)
- マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から3次元データの合成位置を求める合成位置検出部と、3次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、各画像に3次元データを合成する合成処理部とを備えたことを特徴とする合成動画映像作成システム。
- マーカを置いて撮影した現実の空間の画像に対しマーカに対応した3次元データの合成位置を求める合成位置検出部と、3次元データの合成向きを求める合成向き検出部と、前記合成位置と合成向きに従って、画像に3次元データを合成し、3次元データの動作情報に従って連続した複数の3次元データの動作画像を作成する動作画像作成部と、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する合成処理部とを備えたことを特徴とする合成動画映像作成システム。
- 順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した3次元データの複数の合成位置を求める合成位置検出部と、各マーカに対応した3次元データの複数の合成向きを求める合成向き検出部と、最初のマーカの位置から最後のマーカの位置までを3次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める移動補間処理部と、前記合成位置検出部と前記合成向き検出部と移動補間処理部によって求められた複数の合成位置と合成向きに従って、前記現実空間の画像に3次元データを合成した複数の合成画像を作成する合成処理部とを備えたことを特徴とする合成動画映像作成システム。
- 請求項2に記載の合成動画映像作成システムにおいて、無色透明の背景に3次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する動作画像作成部をさらに備えたことを特徴とする合成動画映像作成システム。
- マーカを置いて撮影した現実空間の動画映像から得られる複数の画像に対し、各画像におけるマーカの位置から3次元データの合成位置を求める第1のステップと、3次元データの合成向きを求める第2のステップと、前記合成位置と合成向きに従って、各画像に3次元データを合成する第3のステップとを有することを特徴とする合成動画映像作成方法。
- マーカを置いて撮影した現実の空間の画像に対し、マーカに対応した、3次元データの合成位置を求める第1のステップと、3次元データの合成向きを求める第2のステップと、前記合成位置と合成向きに従って、画像に3次元データを合成し、3次元データの動作情報に従って連続した複数の3次元データの動作画像を作成する第3のステップと、前記動作画像と前記現実空間の画像とを合成し、複数の合成画像を作成する第4のステップとを有することを特徴とする合成動画映像作成方法。
- 順序関係をもった複数のマーカを置いて撮影した現実空間の画像に対し、各マーカに対応した3次元データの複数の合成位置を求める第1のステップと、各マーカに対応した3次元データの複数の合成向きを求める第2のステップと、最初のマーカの位置から最後のマーカの位置までを、3次元データが移動する様子を連続して示せるように前記複数の合成位置と合成向きの間を補間する合成位置と向きを求める第4のステップと、求められた複数の合成位置と合成向きに従って、前記現実空間の画像に3次元データを合成した複数の合成画像を作成する第5のステップとを有することを特徴とする合成動画映像作成方法。
- 請求項6に記載の合成動画映像作成方法おいて、無色透明の背景に3次元データを描画した動作画像データを、現実空間の画像と重ね合わせることにより合成画像を作成する第5のステップをさらに有することを特徴とする合成動画映像作成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005220525A JP2007034906A (ja) | 2005-07-29 | 2005-07-29 | 合成動画映像作成システム及び合成動画映像作成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005220525A JP2007034906A (ja) | 2005-07-29 | 2005-07-29 | 合成動画映像作成システム及び合成動画映像作成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007034906A true JP2007034906A (ja) | 2007-02-08 |
Family
ID=37794054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005220525A Pending JP2007034906A (ja) | 2005-07-29 | 2005-07-29 | 合成動画映像作成システム及び合成動画映像作成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007034906A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013105329A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
JP2013105330A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | 制御処理プログラム、画像表示装置、および画像表示方法 |
JP2013105328A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
-
2005
- 2005-07-29 JP JP2005220525A patent/JP2007034906A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013105329A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
JP2013105330A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | 制御処理プログラム、画像表示装置、および画像表示方法 |
JP2013105328A (ja) * | 2011-11-14 | 2013-05-30 | Konica Minolta Business Technologies Inc | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6659187B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20100079491A1 (en) | Image compositing apparatus and method of controlling same | |
JP4737763B2 (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
WO2018051747A1 (ja) | 画像処理装置、画像生成方法及びプログラム | |
KR101723210B1 (ko) | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
JP2020183166A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
KR101244789B1 (ko) | 3차원 재구성을 이용한 디지털 만화 콘텐츠 생성 방법 | |
JP2007034906A (ja) | 合成動画映像作成システム及び合成動画映像作成方法 | |
JP2010072813A (ja) | 画像処理装置および画像処理プログラム | |
JP4870581B2 (ja) | パーツカタログ作成システム、コンピュータが実行するためのプログラム、およびコンピュータが読み取り可能な記録媒体 | |
JP4775903B2 (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
JP7140517B2 (ja) | 生成装置、生成装置が行う生成方法、及びプログラム | |
JP2005011275A (ja) | 立体画像表示システム及び立体画像表示プログラム | |
JP2013196160A (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
JP5647813B2 (ja) | 映像提示システム、プログラム及び記録媒体 | |
WO2024150697A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPH0818858A (ja) | 画像合成装置 | |
JP2012128737A (ja) | 3d映像生成システム | |
US10469745B1 (en) | Dynamic 3D panoramas | |
KR20230035780A (ko) | 확장현실을 기반으로 하는 컨텐츠 동영상 제작 시스템 | |
JP6245594B2 (ja) | 映像処理装置及び映像処理方法 | |
CN111343394A (zh) | 一种实时抠像合成输出*** | |
KR20150114103A (ko) | 3차원 리얼타임 가상입체 스튜디오 장치 및 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
JP2005115467A (ja) | 仮想オブジェクト操作プログラム | |
WO2016208066A1 (ja) | モニタリング装置 |