JPH1145351A

JPH1145351A - 情報処理装置

Info

Publication number: JPH1145351A
Application number: JP9200672A
Authority: JP
Inventors: Katsumi Murai; 克己村井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-07-28
Filing date: 1997-07-28
Publication date: 1999-02-16

Abstract

(57)【要約】【課題】ＤＶＤやディジタルＴＶ放送等の映像、他の
三次元データベース情報としての有効利用、立体視とバ
ーチャルリアリティとしてのインタラクティブ操作等、
専用信号処理プロセッサ（メディアプロセッサコンピュ
ータ）のアプリケーションとしての三次元処理の必然性
を与える。【解決手段】予め番組制作時に、撮像すべき画像のな
かから意図的に三次元情報を送りたいとする対象オブジ
ェクトを決定し、物体の形状或いは色情報を通常の二次
元画像情報に付加して記録しておく。撮像時にカメラ視
点からの対象オブジェクトの見え方の計算をリアルタイ
ムに行い、三次元データを計算し、画面と対応させて記
録し、番組の視聴時或いは、視聴後に記録されたデータ
から視聴者がインタラクティブに三次元物体を閲覧す
る。再生時に前記画像情報を照合して対象とする三次元
物体の形を色を分離し、要求に応じてカメラ撮像時とは
異なる別の視点から観測可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は撮像した画像情報か
ら対象とする三次元物体の詳細情報を再構成してテレビ
映像やパーソナルコンピュータなどのディスプレイなど
に加工して出力する情報処理装置に関するものである。

【０００２】

【従来の技術】近年パーソナルコンピュータでマルチメ
ディアが扱われるようになってきた。例えばテレビチュ
ーナを内蔵した家庭用パソコンなどがごく一般的となり
つつある。またテレビ信号自体もディジタル放送などが
行われるようになって画質や経時変化の少ないＤＶＣ
（ディジタルビデオカセットテープ）やＤＶＤ（ディジ
タルビデオディスク）の利用が主流となると言われてい
る。またコンピュータでもこのようなディジタル画像媒
体を扱うようになると言われている。コンピュータの計
算能力の向上は近年著しく、単なる表計算やワープロの
ような少量の数値データを扱うだけでなく、動画像デー
タのように従来スーパーコンピュータで扱われていたよ
うな多量のデータを実時間でしかもパソコンレベルで扱
うことが可能となりつつある。ディジタル静止画につい
ては特にデータベースとして扱いやすいこともあり、Ｃ
Ｄ−ＲＯＭが配布媒体として主流をしめつつありデータ
の加工も盛んである。またインターネットでは通信回線
を通じてアニメーション画像を送ると言う試みがされて
おり、このための三次元モデルの記述言語としてＶＲＭ
Ｌという名称のものが考えられつつあり、コンピュータ
に形状モデルを持ちながら画像表現を行うというシステ
ムが出現しつつあるが、通常パソコンでは媒体としての
ディジタル画像を、テレビ画像の表示という形でのみ利
用している。ただし動画でもファイルと言う形でメディ
アを扱うことが可能なために管理がしやすいという利点
はあり、短いビデオクリップ的な表現は盛んである。

【０００３】

【発明が解決しようとする課題】将来テレビ画像がディ
ジタルで一般的に供給されるようになっても、従来のア
ナログテレビ画像と同様な映画の鑑賞のような視聴を行
うのであればディジタル画像の利点を生かし切っている
とは言えない。むろん高画質であることや記録再生時に
画質劣化が少ないという利点はあるものの、機能的に提
供されるものは本質的にアナログと変わらない。ディジ
タルでは画像の加工がしやすく、表現手法も潜在的には
多様であるはずである。コンピュータが「ソフトウェア
が無ければただの箱」と言われるように、ディジタル画
像情報をソフトウェアとして利用するための新たな枠組
み無しに新たな機能の提供は不可能である。パーソナル
コンピュータも、文書作成や表計算を目的とする初期ア
プリケーションソフトウェアが出現した当時と比較し
て、一万倍以上も性能が向上した。しかしオフィスのア
プリケーションの中心は相変わらずワープロと表計算で
あり、一部大型機の分野であったデータベースがダウン
サイジングと言う名のもとに、利用されるようになって
きたが、これとて本質的な機能変更を伴っていない。

【０００４】現状の大型コンピュータやワークステーシ
ョンの大きな計算資源を必要とするものの一つに、ＣＧ
などの画像処理があり、近年アニメーション映画が現実
のセットを利用せず、ＣＧのみで作成されたりされたり
している。パソコンのマイクロプロセッサにもマルチメ
ディア命令という画像信号処理を高速に実行できる専用
命令を付加したり、マルチメディア信号処理を専用に実
行するＤＳＰが実装されるようになってきた。しかしな
がらそれらの処理はＭＰＥＧ復号など既存のハードウェ
アの置き換えがほとんどで、コストダウンの色彩の強い
不毛な成熟商品的へ向かう方向しか見いだせず、今後の
プロセッサ性能向上に見合うような新たな需要と機能を
提供するものではなかった。

【０００５】本発明では、ディジタルテレビ放送やＤＶ
Ｄなどの映像メディアの中心となるディジタル動画像を
単なる受動的な垂れ流しデータとしてではなく、後に様
々な利用が可能な形態で提供することを目的とする。

【０００６】画像信号処理対象としては、近年急激に発
達したプロセッサの処理能力に見合うものとして、特に
コンピュータＣＧによるアニメーションが、ゲームキャ
ラクタの操作からアニメーション映画作成まで様々なア
プリケーションが考えられている。しかしながらこれら
はあくまでアニメーションの世界の非現実な仮想モデル
であり、これを一般的なカメラ撮像データに適用した場
合、形状モデルを自動的に作ることが困難であり実用化
は不可能であった。

【０００７】もし現実世界の形状モデルを完全に用意す
るなら、様々な疑似体験が可能である。例えばある風景
の場所についてのカメラ画像での風景の紹介が放送され
たとする。単純なメニュー通りの視聴の後、たまたま興
味のある建物が目についたとする。この時視聴者がその
場所にインタラクティブな操作で積極的に介入してその
建物に入って行くことができたら、視聴者に全く新しい
感覚と体験を与えることができる。番組制作の観点から
は多くの場合、視聴者が全く未知の場所を探求するとい
うのはかえって精神的な負担を増加させるのみにすぎ
ず、予め放送する側がこれらのデータを用意しておき、
一種のオプションメニューとして与えることが望まし
い。

【０００８】

【課題を解決するための手段】本発明の情報処理装置で
は、予め番組作成時に、撮像すべき画像の中から意図的
に三次元情報を送りたいとする対象オブジェクトを決定
しておき、物体の形状あるいは色情報を通常の二次元画
像情報に加えて記録しておく。撮像時にカメラ視点から
の対象オブジェクトの見え方の計算をリアルタイムに行
い、三次元データを計算し、この時画面と対応させて記
録しておく。そして番組の視聴時あるいは、視聴後に記
録されたデータから視聴者がインタラクティブに三次元
物体を閲覧する。このため予め三次元物体の形状を計測
する形状計測手段と、前記三次元物体の表面の色情報を
計測する表面色計測手段と、前記三次元物体が剛体でな
い場合の変形可能性を記述する変形可能性情報記述手段
と、前記形状計測手段および前記表面色計測手段および
前記変形可能性情報記述手段によって得られた対象三次
元物体毎の情報を記憶しておく三次元対象情報記憶手段
と、カメラ撮像手段と、前記カメラと対象三次元物体の
位置関係を含む撮像条件を記憶する撮像条件記憶手段
と、前記撮像条件記憶手段により記憶されていた撮像条
件に基づき前記のカメラ撮像された二次元画像情報と前
記三次元対象情報記憶手段によって記憶されていた情報
とを照合して対応付ける画像情報照合手段とを設けて、
撮像した二次元動画像とともに前記三次元の中から意図
した三次元物体の形状と色情報とをディジタル記録し、
再生時に前記画像情報を照合して対象とする三次元物体
の形と色を分離し、要求に応じてカメラ撮像条件とは別
のカメラ視点から観測可能としたものである。

【０００９】この構成において、テレビデータ中に意図
した物体の三次元形状データを対応させて送ることがで
き、単なる垂れ流しの画像中から視聴者はインタラクテ
ィブに興味のある物体や風景などについて、意図的に閲
覧することができるようになり、コンピュータとテレビ
ジョンの融合という形での、新たなアプリケーションが
実行可能となる。

【００１０】

【発明の実施の形態】本発明の請求項１に記載の発明
は、三次元物体の形状を計測する形状計測手段と、前記
三次元物体の表面の色情報を計測する表面色計測手段
と、前記三次元物体が剛体でない場合の変形可能性を記
述する変形可能性情報記述手段と、前記形状計測手段お
よび前記表面色計測手段および前記変形可能性情報記述
手段によって得られた対象三次元物体毎の情報を記憶し
ておく三次元対象情報記憶手段と、カメラ撮像手段と、
前記カメラと対象三次元物体の位置関係を含む撮像条件
を記憶する撮像条件記憶手段と、前記撮像条件記憶手段
により記憶されていた撮像条件に基づき前記のカメラ撮
像された二次元画像情報と前記三次元対象情報記憶手段
によって記憶されていた情報とを照合して対応付ける画
像情報照合手段とを備え、撮像した二次元動画像ととも
に前記三次元の中から意図した三次元物体の形状と色情
報とをディジタル記録し、再生時に前記画像情報を照合
して対象とする三次元物体の形と色を分離し、要求に応
じてカメラ撮像条件とは別のカメラ視点から観測可能と
したものである。

【００１１】本発明の請求項２に記載の発明は、請求項
１においてカメラ撮像された二次元動画情報の記録再生
手段と、前記二次元動画情報に撮像された対象物に対応
づけたタグマークと、前記タグマークを可視化あるいは
不可視化するためのスイッチ手段と、前記タグマークに
対応する三次元対象情報記録再生手段と、前記タグマー
クを指定して視点を入力指定する視点操作手段と、前記
視点操作手段により指定された座標位置からの三次元座
標を計算して表示する計算表示手段を備えたものであ
る。

【００１２】本発明の請求項３に記載の発明は請求項１
においてカメラ撮像された二次元動画情報の記録再生手
段と、前記二次元動画情報に撮像された対象物に対応づ
けた言語キーワードと、前記言語キーワードにより検索
選択された結果の文字情報ないし対象物画像を表示する
検索結果表示手段と、前記言語キーワードにより対応指
定される三次元対象情報再生手段と、前記三次元対象情
報の視点を入力指定する視点操作手段と、前記視点操作
手段により指定された座標位置からの三次元座標を計算
して表示する計算表示手段を備えたものである。

【００１３】本発明の請求項４の発明は請求項３におい
て言語キーワードの検索条件を予め定めて記憶する手段
と、媒体の情報入力に伴い付随する言語キーワードの抽
出検索を行うデータ随時検索手段を備えたものである。

【００１４】本発明の請求項５の発明は請求項１におい
てカメラ撮像された二次元動画情報の記録再生手段と、
前記二次元動画情報に撮像された対象物に対応づけたタ
グマークと、前記タグマークを可視化あるいは不可視化
するためのスイッチ手段と、前記タグマークに対応する
三次元対象情報記録再生手段と、前記タグマークを指定
して視点を入力指定する視点操作手段と、前記視点操作
手段により指定された座標位置からの両眼視差を含む２
方向の三次元座標を計算して表示する計算表示手段と、
立体ステレオ表示ディスプレイを備え、前記ステレオ表
示ディスプレイが機能している時には前記視点操作手段
によってタグにより指定された対象を立体ステレオ表示
するようにしたものである。

【００１５】本発明の請求項６に記載の発明は請求項１
において人ないし動物を含む変形可能物体の運動モデル
のデータベースと、カメラ撮像された二次元動画情報の
記録再生手段と、前記二次元動画情報に撮像された変形
可能物体に対応づけたタグマークと、前記タグマークを
可視化あるいは不可視化するためのスイッチ手段と、前
記タグマークに対応する三次元対象情報記録再生手段
と、前記タグマークを指定する操作手段と、前記変形可
能物体を前記データベースに基づき一連のプログラムに
より駆動するプログラム再生手段と、前記操作手段によ
り指定された座標位置からの三次元座標と前記変形可能
物体を前記プログラム再生手段により駆動再生し、変形
された形と視点から見える他の物体の表示結果を計算し
て動画表示する計算表示手段を備えたものである。

【００１６】本発明の請求項７に記載の発明は請求項１
において単一ないし複数の汎用プロセッサと、前記プロ
セッサで複数タスクを実行する分割プログラム実行手段
と、単一ないし複数の専用プロセッサと、前記汎用プロ
セッサの複数タスクのうちの一つ以上のタスクと等価な
処理を実行する前記専用プロセッサの代換えプログラム
処理手段と、前記の代換えプログラムと前記等価なタス
クに対する共通のアプリケーションプログラムインター
フェイスを備え前記タスクと代換えプログラムを平行処
理して管理するようにしたものである。

【００１７】本発明の請求項８に記載の発明は請求項７
において分割実行される小プログラム群は画像データの
領域を分割して分割実行するようにしたものである。本
発明の請求項９に記載の発明は、請求項１において、複
数の加算器とＮ個の加算器をビット方向に一段ずつずら
して相互に接続あるいは一つの加算器を切り替えるスイ
ッチ回路と、順序処理回路と、前記順序処理回路に基づ
いて前記スイッチ回路を制御する制御回路と、前記制御
回路を記憶しておく手段を備え、プログラムの負荷に基
づいて前記制御回路を設定して加算回路を制御するよう
にしたものである。

【００１８】以下、本発明の実施の形態について図面を
参照しながら説明する。（実施の形態１）図１は本発明の第１の実施の形態の情
報処理装置のブロック図を示す。図１において１は主カ
メラであり、ＣＣＤ撮像カメラである。２および３はＣ
ＣＤカメラであって、レンジファインダー方式によりカ
メラに写った物体の画像から物体の距離と大きさを知
る。４はＡ／Ｄコンバータであって、各カメラからのア
ナログ画像出力をディジタル化する。５はＤＳＰすなわ
ちディジタルシグナルプロセッサであって、取り込んだ
画像データと予め計測しておいた形状情報とを照合す
る。６はメモリであってＤＳＰのワークメモリであり座
標の計算データはこの中に格納する。７はハードディス
クコントローラであって、８はハードディスクである。
ハードディスクコントローラ７は、ＤＳＰ５とともにＰ
ＣＩバスに接続される。ハードディスク８には主カメラ
１で撮像する対象のうち、三次元形状データとしてイン
タラクティブ操作する対象オブジェクトに関する計測デ
ータが前もって格納されている。９はＭＰＵ（マイクロ
プロセッシングユニット）であって、全システムの制御
を行う。１０は主記憶であって、ＭＰＵ９のデータを格
納する。１１はＩ／Ｏコントローラであって、入出力機
器の制御を行う。１２はディジタルＶＴＲであって、主
カメラからの映像を記録する。この制御はＩ／Ｏコント
ローラ１１を介して行う。１３はマウスであり、１４は
キーボード、１５は光ジャイロおよびＧＰＳである。な
お図において音声系統は省略してある。

【００１９】図２は図１のブロック図の動作を説明する
ためのフローチャートであり、これを用いて本実施形態
の動作を説明する。まず図１に示すような郊外の山の近
くの道路のシーンにおいて本実施形態に対応した番組を
制作する場合を想定する。この時カメラに写るのは山と
電信柱と道路とトラックである。このようなシーンにお
いて、もし番組制作者が山の風景と車を三次元的に表現
したいと意図したとする。山の形状は例えば衛星写真な
どを使用すれば形は詳細に計測可能であるが、実際には
膨大な手間がかかる。ここではＣＣＤカメラ２，３によ
るステレオレンジファインダー方式により特徴点の一致
およびカメラに搭載した光ジャイロおよびＧＰＳ１５に
よって、絶対的な撮像位置と撮像場所におけるカメラ視
差による物体の形状が測定可能である。例えば道路を車
で走りながら山の風景をカメラ撮像することにより、光
ジャイロとＧＰＳデータとカメラの位置や方向情報から
山の三次元的な形状を計測する。カメラから位置的に遮
蔽されて見えない箇所はその形状を知ることはできな
い。人がカメラを持ち込むことのできない箇所以外は原
則的に計測が可能である。トラックの中や車体の下まで
表現したいと思えば、車内や車体の下までカメラを移動
して隠蔽された箇所のデータを計測する必要がある。

【００２０】この実施形態ではＣＣＤカメラ２，３と主
カメラ１の相互位置と方向を固定して、対象物体の形を
画像の特徴点一致によって計測する。取り込んだ画像は
Ａ／Ｄコンバータ４でディジタル化され、ＤＳＰ５に供
給される。ＤＳＰ５では取り込んだＣＣＤカメラ２，３
の画像のマッチング照合を行い、対象物体の対応する画
像上の位置座標を得る。また光ジャイロおよびＧＰＳ１
５から入力される測定系の絶対座標位置データと合わせ
て位置計算を行い、中間結果データをメモリ６に順次、
格納していく。また最終座標の計算結果が得られたな
ら、ＭＰＵ９の制御下にハードディスク８に座標が格納
されていき、三次元物体の形状および色データベースと
して登録しておく。すなわち、これらのＣＣＤカメラで
は三次元形状計測と色情報計測を同時に行うことができ
る。

【００２１】この操作はＭＰＵ９を通常のコンピュータ
としてキーボード１４およびマウス１３とともに使用し
て設定する。なお、三次元計測をレーザービームスキャ
ン等で行うときはＣＣＤカメラで色情報計測を別に行わ
なければならない。また、ＣＧ等の物体データがある場
合はこれらも使用できる。

【００２２】計測した後に物体が動いてしまった場合、
あるいは物体が動物等の変形するようなものである場
合、絶対座標情報が物体の識別に使用できなくなるた
め、設定においては、対象物体毎に移動物体であるか、
剛体であるか、透明物体であるか、測定時に標準光源を
使用したかなどの識別子を計測時にデータベースに付加
しておく。また物体との計測時にＣＣＤカメラ二台から
取り込んだ画像のレンジファインダーによるマッチング
において誤認識があった場合、人が介在して誤検出部分
を再測定するなどして補正する。動物などを対象とした
場合、誤認識があったかどうかは解が求まらないのであ
る程度自動的に計算できる。

【００２３】実際の撮像においては、主カメラ１のデー
タと、データベース中のモデルデータをカメラレンズパ
ラメータによって視点を変えた計算をリアルタイムに行
ったモデルに対して照合する。あるいは物体に近づいて
精度の高いデータを得る。

【００２４】この時、測定時の光線状態の違いからくる
輝度と色温度補正などの差のデータや、カメラと対象の
位置関係もなどのデータ光ジャイロで得て、撮像条件と
してこれらも取得してディスクに保存していく。ＣＣＤ
カメラ２，３でデータベースに存在する計測物体のデー
タとの照合を行う。対象物体が動いた場合は再度モデル
データベースを計算で作り直した後に照合する。これは
人物のような変形の激しい物体についても同様である
が、変形が大きくマッチングが困難な場合は実際の撮像
結果と計算モデルとの厳密な照合を行わず、二次元の変
形のあるデータとして扱うこと可能である。

【００２５】このようにして測定視点からのデータの視
点とマッチングし、同時に主カメラのデータはディジタ
ルビデオレコーダ１２に記録して行くとともに照合結果
をハードディスク８に時間データ（ＴＢＣ：タイムベー
スコード）とともに記録していく。すなわち、ディジタ
ルビデオの二次元の動画データと三次元物体の形状デー
タが常に対応づけられて記録されて行く。どこまでの物
体のデータを記録しておくかは、どれだけのデータを後
に別視点、別角度から見るか、どのような対象内容を見
るかによって予め決めておき、必要となるデータを選択
しておく。上記に示したように記録時に三次元データと
二次元データを対応させて記録すれば、もし後にあるシ
ーンでミスが発見されたとしても、問題となった物体の
みを除去したり、あるいは人物モデルを計算で加えてそ
のシーンに加えることも可能である。またデータベース
もその時々に計測するのではなく、偵察衛星や航空写真
による写真を複数枚使って詳細な三次元の形状風景デー
タを再現したものや、一般的に部品として撮っておいた
物体データをデータベースとして使用する事も可能であ
る。ここでは形状測定にレンジファインダー方式を用い
たが、当然レーザービームスキャンや他の方式まで使用
してかまわない。

【００２６】（実施の形態２）次に本発明の第２の実施
の形態の情報処理装置のブロック図を図３に示す。この
ブロック図では一般的な二次元動画をディジタルビデオ
レコーダから再生してテレビで視聴するとともに、再生
画像に関連づけられた、三次元データ情報をユーザーの
コマンドに応じてアクセスする。すなわち二次元動画か
ら三次元情報を取り出して、ユーザの要求に応じた変形
を行う。図３において、５' はＤＳＰ（デジタルシグ
ナルプロセッサ）であり、１６はディスプレイコントロ
ーラボード、１７はディスプレイである。１８および１
９はディスプレイ１７上に表示されたソフトウェアボタ
ンであり、キーボードで指定すれば消去することもでき
る。ボタンの中のアイコンを押すことによってボタン１
８は地上平面の奥方向と手前方向（上下）と左右方向
を、またボタン１９は高さの高低方向の位置を移動して
視点を変える。このアイコンは、もし車の中を見ること
ができるのなら、車の上に表示して三次元情報を見るこ
とができるというタグとして画面上に多数配することが
できる。なお、図において音声系統は省略してある。

【００２７】図４はディスプレイ画面を示し、図４
（ａ）、図４（ｂ）、図４（ｃ）はユーザの要求に応じ
た画面の変化を示したものであり、図４（ｄ）は画面の
右下部を拡大したものである。図４（ａ）は動画再生画
面、図４（ｂ）はマウスの左ボタンをクリックした状態
で、右下部画面にソフトウエアボタン１８と１９が表示
されるとともに、トラックと電信柱のうちの真ん中のも
のに小さい四角のマーカーが表示されている。すなわち
このマーカーが三次元データが存在するというタグとな
り、ディジタルビデオレコーダ１２に対しＭＰＵ９から
Ｉ／Ｏコントローラ１１を介して動画の一時停止コマン
ドが出され、ポーズ状態になって静止画が出力される。
図４（ｃ）はユーザの要求に応じて図４（ａ）の視点を
変えた画面であり、図４（ｄ）に示すように右下部のボ
タン１８の左矢印部をマウスカーソルでクリックするこ
とによって画面の視点が次第に左へ移る。

【００２８】また図５は図３のブロック図による処理の
フローチャートである。ディジタルビデオレコーダ１２
では二次元動画のシーンが撮像されており、再生シーン
に出現する対象物のうち、予めハードディスク８に三次
元データに関連づけられた情報を記録しておいたもの
は、ユーザーが指定して別視点から見ることができる。
いまディスプレイ１７に屋外の１シーンで山とトラック
と電信柱が表示されているとする。このうち画面表示さ
れている電信柱とトラックの三次元的なデータがハード
ディスク８に記録表現されているとする。ユーザーがト
ラックに隠された電信柱の下部をみたいと思った時、ソ
フトウエアボタン１８の左矢印部をマウスカーソルでク
リックすることによって画面の視点が次第に左へ移って
ゆく。するとハードディスク８から、現在再生中の画面
（ＴＢＣ：タイムベースコード）に対応した立体情報デ
ータとして読み出される。このときの対応する対象画像
オブジェクトとしてトラックと電信柱に四角いマークが
表示され、ユーザーはトラックと電信柱の視点を変える
ことができる（遠くの山は無理）と言うことを知る。ユ
ーザーはソフトウエアボタン１８の左端の矢印をマウス
カーソルでクリックし続ける。そうすると、カメラ視点
の移動とともに画面が動いて表示される。ここではディ
ジタルビデオレコーダ１２を一旦静止させて動かしてい
るが、再び再生してシーンとカメラ視点が変化しない状
態のうちは、視点を指定した方向で遺産しつつ動画表示
することも可能である。あるいはまた、視点が標準画面
から２０度左に指定されたら、可能な限り視点をずらし
て表示するような表現方法をとることも可能である。

【００２９】（実施の形態３）次に本発明の第３の実施
の形態の情報処理装置のブロック図を図６に示す。図６
において、２０はＤＶＤストッカーすなわちジュークボ
ックス型のディジタルビデオディスクプレーヤである。
基本構成は図３のものと同じであるが、ＤＶＤの動画像
のうち三次元の情報データが存在する場合は言葉による
インデックスを付与されて記録されている。一旦のＤＶ
Ｄストッカー２０にディスクが格納されると、情報チャ
ンネルから言葉のインデックスは一旦全てハードディス
ク８にコピーされる。今ユーザが銀色の車の情報を探し
たいと意図したとする。この時図６に示すようにディス
プレイ１７の画面に入力ダイアログボックスが表示さ
れ、ユーザはキーボード１４から車とトラックの論理和
で検索を開始する。すなわちハードディスク８のデータ
を検索し、図７（ａ）に示すようにハードディスク８に
登録されている３車種が表示される。このうちの一つを
マウスでクリックして指定し、内容として関連する動画
画面や詳細な車のデータを表示する。実際の画面データ
として動画画面を表示したものが図７（ｂ）の画面であ
り、ユーザの要求に従って座標計算を行ってカメラ視点
を変えて表示する。

【００３０】（実施の形態４）次に本発明の第４の実施
の形態の情報処理装置のブロック図を図８に示す。先の
図６に示す例では、新規のＤＶＤを一旦読みとってか
ら、ハードディスク内に記録したが、図８の例では言語
キーワードとして予め「車」という言葉を登録してお
く。図８において、２０' は記録可能なＤＶＤストッ
カー、２１はディジタル衛星放送チューナ、２２はアン
テナである。デジタル衛星放送では動画番組とともに放
送内容に対応した物体の三次元データと三次元データに
付与した言語情報を送付する。この中からコンピュータ
は登録された「車」と言う内容に関連した内容のみを随
時ハードディスク８に登録する。

【００３１】このように放送に先立って検索条件をユー
ザーに入力させて指定しておき、条件の合ったデータの
みを記録し、結果を選択リストとしてユーザーに提示す
るようにする。ユーザーは、この中から真に求めている
物を、放送後にコンピュータを操作して得る。なお、検
索データはハードディスクではなく記録可能ＤＶＤ（Ｄ
ＶＤ−ＲＡＭ）に登録も可能である。

【００３２】（実施の形態５）次に本発明の第５の実施
の形態の情報処理装置のブロック図を図９に示す。図９
において、２３はステレオディスプレイコントローラで
あり、２４は液晶シャッターを備えた眼鏡である。この
ステレオディスプレイコントローラ２３では、ディジタ
ル衛星放送チューナ２１から送られてきた三次元情報に
基づいてＤＳＰ５’がフィールド毎に視差の計算を行
い、ステレオ画像を表示する。通常のディジタル動画放
送領域部とは別に平行してデータ領域部に三次元データ
を送るため、一般的な視聴をしたときは像が二重に見え
ることはなく、画面のダイアログで指定した時にフィー
ルド毎に交互に計算を行った視差を含んだ画像が交互に
表示される。液晶シャッターを装備した眼鏡２４では左
右交互の目に対応するフィールドのみが明暗のシャッタ
ー動作を繰り返すことによりステレオ視が可能になる
が、眼鏡をしない場合は二重に表示されてしまう。なお
三次元表示される対象は、最初に付加情報として識別タ
グを付加しておく。タグ情報は画像全体に付加しておい
てもよく、その場合は動画そのものがステレオ視覚で表
示可能となり、対象となるオブジェクトを敢えて指定す
る必要も無くなる。

【００３３】（実施の形態６）次に本発明の第６の実施
の形態の情報処理装置のブロック図を図１０に示す。図
１０の回路は基本的に図１に示すものと同じものである
が、取り込んだ二次元画像を表示モニターするディスプ
レイコントローラ１６、ディスプレイ１７が加えられて
おり、また、１７′はステレオ眼鏡であり、二次元の液
晶画像を２枚表示して立体視する入力システムである。

【００３４】図１１はそのフローチャートであり、図１
２は再生系のブロック図である。この実施形態では基本
データベースをシステムに用意しておき、さらに素材と
しての動画像データに対象物体毎に詳細なデータを固有
情報として作成する。基本データベースのタグ情報は言
語によっていて、剛体か柔軟物体か可動物体かといった
形態や寸法や重さや硬さなどの物理的情報と、素材の色
や反射透過性や模様などのテクスチャ情報などがある。
このうち三次元でかつ動きを含む対象物体に関してはさ
らに人や動物と言った生物かどうかといった情報を従属
させて記述する。人や動物などの場合は骨格モデルをも
とに形状、関節位置や肢体などの回転や動き方向、さら
に動作パターンとして形状、関節位置や肢体などの回転
や動き方向が三次元座標の運動モデル時系列データとし
て、「歩く」「走る」「右手を振る」などの動作や感情
についての言語タグ毎に登録記録してある。各タグ毎の
データは運動の強度と方向を運動モデルのパラメータと
するため、動きの強度と方向と位置を指定できる。ハー
ドディスク８にはこれらの柔軟物体のデータベースが格
納されている。素材としての人や動物を二次元動画をカ
メラ撮像する際には、予め対象となる人や動物の動きを
含む三次元の外形寸法を複数回計測することにより、対
象となる人または動物の骨格モデル、また皮膚ないし衣
服を含むモデルデータの情報を確定しておく。

【００３５】図１０の例では、予めビジネスマンにいろ
いろポーズを取ってもらうことにより、動きを含んであ
らゆる角度から撮像しておく。元々ハードディスク８内
に格納されている人物の骨格および動作モデルに対し、
このビジネスマンの固有特徴としての身長などが記録さ
れる。次に対象となる人または動物を二次元動画の被写
体として撮像する場合も、同時に三次元的な被写体の計
測を行うことによって、二次元動画と対応づけて三次元
形状のモデルの当てはめを行い、骨格モデルの関節位置
あるいは表情における筋肉の動きの記録を行う。図１０
のディスプレイ１７には骨格モデルを二次元取り込み画
像に重ねて表示している。ただしこの当てはめは必ずし
もカメラ撮像と同時に行う必要はなく、記録後の編集時
に三次元データに基づいて行ってもよい。最終的には当
てはめ処理が誤動作した場合、編集時に再当てはめを行
う必要がある。二次元画像は、一連の動作を分類して言
語によるタグ付けを行い、もしデータベースの中で最も
近い言語タグが存在するなら、一般データベースに対す
る固有データとしてデータベースに追加される。また分
類不可能な動作に対しては新たな言語タグ項目の固有デ
ータとしてデータベースに追加される。図１０のディス
プレイ１７には言語タグとしての「佇む」という言葉が
表示されている。このように二次元動画と撮像された対
象となる人や動物の運動モデルが言語タグとともに用意
されることになる。

【００３６】もし情報提供側で、予め意図した対象の動
作を一連の言語タグの組とパラメータでプログラムとし
て用意しておけば、カメラ撮像された二次元動画情報を
再生する二次元動画情報に加え、ユーザーが指定して対
象の人ないし動物の動きを変更して指定することができ
る。例えばユーザーとの対話を介してストーリーの分岐
を設定することができる。このプログラムは番組制作側
で予め用意するケースと、ユーザ側で指定して対象とな
る人や動物に所定の操作をさせるケースがある。映像を
再生する側での選択手順は次のようになる。

【００３７】図１２ではハードディスク８に図１０に記
載されたハードディスク８内の柔軟物体のデータベース
がコピーされて格納されている。まずディスプレイ１７
上で言語による動作として歩くを指定する。この例では
マウス左ボタンを一回クリックした時点でビジネスマン
の上にマークが表示されており、動作指定可能なことを
伝えている。なおこのマークと言語タグの表示はダイア
ログでオンオフできる。次に対象となる人物の位置にマ
ウスのカーソルを重ね、動きを指定したい対象を特定す
る。マウスの左ボタンをクリックしてビジネスマンをビ
ルの入り口のところまでドラッグする。ハードディスク
８からは人物の形状データ、歩くというタグに対応する
骨格および筋肉の運動モデルデータ、三次元形状デー
タ、さらにビルの入り口の三次元データ当をＤＳＰ５’
に読み込む。ＤＳＰ５’では二点間を歩くという運動モ
デルのプログラムに従い、人物を立っていた地点からビ
ルの入り口に歩く動作を計算して表示し動かしていく。
予め番組の作り手がシナリオとして「ビルの中に入る」
という動作を想定している場合は、ビルまで歩く俳優の
映像を撮像した後、ハードディスク８の中に格納されて
いる「歩く」というタグに格納されている運動モデルを
固有データで修飾した修飾モデルによる計算結果を、実
際に撮像したモデルの歩く所作に当てはめ、この差異を
記録して標準データベースとその差異で表現して記憶デ
ータを圧縮することが可能で、これを表示データとして
使うことができる。

【００３８】一旦、歩く所作から異なった、例えば「頭
を掻く」という所作も、一連のビルまでの撮像結果を記
述する中で、「１０秒歩く」「１秒右手をあげる，歩
く」「５秒歩く」という記録タグ手順で記録することが
できる。手を一旦動作が終了した時点で表示位置の変更
を受け付けて、画面右下に視点変更アイコン表示してユ
ーザーの要求を待つ。もしマウス右ボタンが押されたら
対象人物（ビジネスマン）動作指定のプロセスが解除さ
れたとしてビルの中を表示する。この時点でストーリの
分岐が発生したことになり、番組の視聴者は画面のビジ
ネスマンの視点でビル内を探索し、まるでゲームのよう
にインタラクディブなドラマの所作をさせることができ
る。なお、ステレオ眼鏡に対しては両眼視差に相当する
視点からの画像を出力する。

【００３９】（実施の形態７）次に本発明の第７の実施
の形態の情報処理装置のブロック図を図１３に示す。図
１３は基本的に図８と同じものであるが、表示している
内容は表示画面の中心の視点座標からの物体表示の計算
である。図１４はそのフローチャートである。今ディジ
タル放送でディジタル動画がＭＰＥＧ２で圧縮されて、
また動画内容に付随した情報データが送られてくるとす
る。この情報を受信する機器はコンピュータと接続され
ている。一般的にコンピュータは作られた時期と価格に
より様々な構成が存在し、またその信号処理能力につい
ても様々である。放送側から送られてくる画像データお
よび情報量が変動するとすると、受信機器は少なくとも
リアルタイム性の要求されるソースについてはこの変動
する情報処理量の最大値のデータを処理する必要があ
る。このため本実施形態では送られてきたデータを処理
する際に、同一種類の入力を受け付けて同一種類の出力
を提供する信号処理計算手段をＭＰＵ側とＤＳＰ側に設
ける。コンピュータでは様々な処理を時分割で処理して
いるため、情報処理量が増大した時でも簡単に処理を変
更できない。したがって処理の負荷は原則としてＤＳＰ
による処理を優先し、見積もられた処理でオーバーフロ
ーしそうな部分をＭＰＵが持つように分配する。ＭＰＵ
の計算はＤＳＰの計算に優先して処理され、もしＤＳＰ
の処理が終わっていない場合ウェイトする。ＭＰＵおよ
びＤＳＰによる計算が終了したら結果を取り込み表示プ
ロセスに引き渡す。

【００４０】また別の実施形態として図は省略するが、
ＭＰＵとＤＳＰの処理の分配の方法として、画像の領域
単位でＤＳＰとＭＰＵに処理を分割する手法をとること
がてきる。この場合処理量が画像領域面積に比例するの
で計算量が見積もりやすく、並列処理の効率が上がるこ
とによって無駄な待ちループが生じにくい。

【００４１】さらに別の実施形態を図１５に示す。図は
基本的に機能を変更することのできる演算ユニットであ
る。図１５において２５は１６ビットレジスタであり、
２６はセレクタ（スイッチ）である。セレクタ２６の入
力が１つしかないものは、二つの入力のうち一方の入力
から零が入力される。また２７は加算器であり、２８は
絶対値の差の計算回路である。また２９は１６ビットの
レジスタ入力バスであり、３０は８ビットのレジスタ入
力バスである。また３１は制御線であり、セレクタ２６
は各レジスタグループ毎にＡ入力とＢ入力と零を切り替
えることができるが制御線は省略してある。Ａ入力は８
ビットのレジスタ入力のバス３０（８ビットの乗数デー
タをＲ０からＲ７まで１ビットずつシフトして入力、ま
た入力のないビットは零に）に接続され、Ｂ入力は１６
ビットのレジスタ入力バス２９へ接続され、切り替える
ことが可能となっている。また加算器２７と絶対値の差
の計算回路２８の出力のどちらかを出力として上位の加
算器２７’に供給するが、この加算器と絶対値の機能は
制御線にて切り替えられる。またレジスタクロック制御
線についても同様に各レジスタ単位に設定できるが詳細
は省略してある。また３２は加算器２７あるいは絶対値
の差の計算回路２８の計算結果の出力であり、レジスタ
の値の和や入力データの差（一致度）を評価した出力で
ある。この結果は単独に出力も可能だが先に記したよう
に上位の加算器２７’に切り替えて供給することも可能
となっている。また３３は加算器最終出力である。なお
図において本来加算器ユニットに対応したレジスタの組
は本来８ユニット記入しなければならないが、省略して
６ユニットだけ表記している。これらの回路は図１３の
５' のＤＳＰと記したブロックに実装される。

【００４２】図１５における各部の動作としては、まず
８ビットの乗算を意図した時、入力として制御線３１か
らレジスタ２５の各Ｒ０からＲ７まで、被乗数の各ビッ
トに対応してＡ入力あるいは零が選択する入力制御信号
が８本供給される。そしてまたレジスタ入力バス３０に
は乗数のデータが供給される。制御線３１から同時にレ
ジスタ２５に対してクロックが供給されると、加算器２
７、加算器２７’には乗算結果が上位の加算器出力３３
に出力される。さらにまたレジスタ間の加算意図した時
は各レジスタ入力バス２９のバスから一旦データが供給
され、セレクタ２６のＢ入力が選択される。セレクタ２
６の出力は制御線３１のクロックとともに各レジスタ２
５にロードされ、もし不要な値に対応するレジスタには
零を入力する。このようにして最終加算出力が３３に得
られる。また絶対値の差の計算出力を意図した時、まず
Ｒ０とＲ１、Ｒ２とＲ３、Ｒ４とＲ５、Ｒ６とＲ７とい
ったようにレジスタのペアを考えてペアの奇数のレジス
タと偶数のレジスタの値を比較する。結果は単独で出力
することも可能であるが、さらに加算して３３に出力す
ることも可能となっている。レジスタ２５へ値のロード
とクロック制御は加算と基本的に同じである。このよう
にＤＳＰ機能が、演算処理単位で切り替えられるように
とておくことにより、図１４のフローチャートにおける
プログラムをＭＰＵとＤＳＰに分配することが容易にな
り、負荷に応じて内容を切り替える。

【００４３】

【発明の効果】以上のように、本発明はディジタル映像
データゲームや立体視などの機能的に新しいジャンルの
コンテンツに変えることができ、コンピュータ処理とテ
レビ放送を融合した新たなアプリケーションを作ること
ができる。

【図面の簡単な説明】

【図１】本発明における第１の実施形態の情報処理装置
のブロック図。

【図２】本発明の第１の実施形態におけるフローチャー
ト図。

【図３】本発明における第２の実施形態の情報処理装置
のブロック図。

【図４】本発明の第２の実施形態における画面の変化を
示した図。

【図５】本発明の第２の実施形態におけるフローチャー
ト図。

【図６】本発明における第３の実施形態の情報処理装置
のブロック図。

【図７】本発明の第３の実施形態における画面を説明す
る図。

【図８】本発明における第４の実施形態の情報処理装置
のブロック図。

【図９】本発明における第５の実施形態の情報処理装置
のブロック図。

【図１０】本発明における第６の実施形態の情報処理装
置のブロック図。

【図１１】本発明の第６の実施形態におけるフローチャ
ート図。

【図１２】本発明の第６の実施形態における再生系のブ
ロック図。

【図１３】本発明における第７の実施形態の情報処理装
置のブロック図。

【図１４】本発明の第７の実施形態におけるフローチャ
ート図。

【図１５】本発明の情報処理装置における演算ユニット
の回路図。

【符号の説明】

１主カメラ（ＣＣＤカメラ）２ＣＣＤカメラ３ＣＣＤカメラ４Ａ／Ｄコンバータ５，５’ ＤＳＰ６メモリ７ハードディスクコントローラ８ハードディスク９ＭＰＵ１０主記憶１１Ｉ／Ｏコントローラ１２ディジタルビデオレコーダ１３マウス１４キーボード１５光ジャイロ／ＧＰＳ１６ディスプレイコントローラ１７ディスプレイ１８，１９ソフトウエアボタン２０，２０’ ＤＶＤストッカー２１ディジタル衛星放送チューナ２３ステレオディスプレイコントローラ２４眼鏡

Claims

【特許請求の範囲】

【請求項１】三次元物体の形状を計測する形状計測手
段と、前記三次元物体の表面の色情報を計測する表面色
計測手段と、前記三次元物体が剛体でない場合の変形可
能性を記述する変形可能性情報記述手段と、前記形状計
測手段および前記表面色計測手段および前記変形可能性
情報記述手段によって得られた対象三次元物体毎の情報
を記憶しておく三次元対象情報記憶手段と、カメラ撮像
手段と、前記カメラ撮像手段と対象三次元物体の位置関
係を含む撮像条件を記憶する撮像条件記憶手段と、前記
撮像条件記憶手段により記憶されていた撮像条件に基づ
き前記のカメラ撮像された二次元画像情報と前記三次元
対象情報記憶手段によって記憶されていた情報とを照合
して対応付ける画像情報照合手段とを備え、撮像した二
次元動画像とともに前記三次元の中から意図した三次元
物体の形状と色情報とをディジタル記録し、再生時に前
記画像情報を照合して対象とする三次元物体の形と色を
分離し、要求に応じてカメラ撮像条件とは別のカメラ視
点から観測可能とした情報処理装置。
【請求項２】カメラ撮像された二次元動画情報の記録
再生手段と、前記二次元動画情報に撮像された対象物に
対応づけたタグマークと、前記タグマークを可視化ある
いは不可視化するためのスイッチ手段と、前記タグマー
クに対応する三次元対象情報記録再生手段と、前記タグ
マークを指定して視点を入力指定する視点操作手段と、
前記視点操作手段により指定された座標位置からの三次
元座標を計算して表示する計算表示手段を備えた請求項
１記載の情報処理装置。
【請求項３】カメラ撮像された二次元動画情報の記録
再生手段と、前記二次元動画情報に撮像された対象物に
対応づけた言語キーワードと、前記言語キーワードによ
り検索選択された結果の文字情報ないし対象物画像を表
示する検索結果表示手段と、前記言語キーワードにより
対応指定される三次元対象情報再生手段と、前記三次元
対象情報の視点を入力指定する視点操作手段と、前記視
点操作手段により指定された座標位置からの三次元座標
を計算して表示する計算表示手段を備えた請求項１記載
の情報処理装置。
【請求項４】言語キーワードの検索条件を予め定めて
記憶する手段と、媒体の情報入力に伴い付随する言語キ
ーワードの抽出検索を行うデータ随時検索手段を備え、
選択リストを作成するようにした請求項３記載の情報処
理装置。
【請求項５】カメラ撮像された二次元動画情報の記録
再生手段と、前記二次元動画情報に撮像された対象物に
対応づけたタグマークと、前記タグマークを可視化ある
いは不可視化するためのスイッチ手段と、前記タグマー
クに対応する三次元対象情報記録再生手段と、前記タグ
マークを指定して視点を入力指定する視点操作手段と、
前記視点操作手段により指定された座標位置からの両眼
視差を含む２方向の三次元座標を計算して表示する計算
表示手段と、立体ステレオ表示ディスプレイを備え、前
記ステレオ表示ディスプレイが機能している時には前記
視点操作手段によってタグにより指定された対象を立体
ステレオ表示するようにした請求項１記載の情報処理装
置。
【請求項６】人ないし動物を含む変形可能物体の運動
モデルのデータベースと、カメラ撮像された二次元動画
情報の記録再生手段と、前記二次元動画情報に撮像され
た変形可能物体に対応づけたタグマークと、前記タグマ
ークを可視化あるいは不可視化するためのスイッチ手段
と、前記タグマークに対応する三次元対象情報記録再生
手段と、前記タグマークを指定する操作手段と、前記変
形可能物体を前記データベースに基づき一連のプログラ
ムにより駆動するプログラム再生手段と、前記操作手段
により指定された座標位置からの三次元座標と前記変形
可能物体を前記プログラム再生手段により駆動再生し、
変形された形と視点から見える他の物体の表示結果を計
算して動画表示する計算表示手段を備えた請求項１記載
の情報処理装置。
【請求項７】単一ないし複数の汎用プロセッサと、前
記プロセッサで複数タスクを実行する分割プログラム実
行手段と、単一ないし複数の専用プロセッサと、前記汎
用プロセッサの複数タスクのうちの一つ以上のタスクと
等価な処理を実行する前記専用プロセッサの代換えプロ
グラム処理手段と、前記の代換えプログラムと前記等価
なタスクに対する共通のアプリケーションプログラムイ
ンターフェイスを備え、前記タスクと代換えプログラム
を平行処理して管理するようにした請求項１記載の情報
処理装置。
【請求項８】分割実行される小プログラム群は画像デ
ータの領域を分割して分割実行するようにした請求項７
記載の情報処理装置。
【請求項９】複数の加算器とＮ個の加算器をビット方
向に一段ずつずらして相互に接続あるいは一つの加算器
を切り替えるスイッチ回路と、順序処理回路と、前記順
序処理回路に基づいて前記スイッチ回路を制御する制御
回路と、前記制御回路を記憶しておく手段を備え、プロ
グラムの負荷に基づいて前記制御回路を設定して加算回
路を制御するようにした請求項１記載の情報処理装置。