JPH0870473A - 距離情報を用いた立体画像の通信方式 - Google Patents

Abstract

(57)【要約】 【目的】 距離情報を用いた立体画像の通信方式を提供
する。また、再生画像情報の各種の加工を可能にする立
体画像の通信方式を提供する。 【構成】 通信網を介して提供される立体画像のサービ
スにおける立体画像情報の作成・記録・伝送・再生処理
を備えた立体画像通信方式において、被写体画像情報と
しての距離を画素単位で計測し、新たに距離情報として
付加した被写体画像情報を伝送する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、立体画像の通信方式に
関し、特に、通信網を介して提供される立体画像のサー
ビスにおける被写体情報の入力・記録・伝送及び再生に
関するものである。

【０００２】

【従来の技術】従来、画像の撮像・記録・伝送・再生技
術については、通信を前提とした場合について述べる。
図６は、従来の画像情報の撮像・記録・伝送・再生技術
の流れである。図６において、送信側と受信側は通信網
を介して接続されている。１０１は光電変換部であり、
被写体画像情報は１０１で光学処理され、画像情報を画
素情報に分解する。各画素には、輝度・色合に関する情
報を付加している。１０２は送信走査処理部であり、画
像を走査し、画像信号に変換する。１０３は伝送処理部
であり、画像信号の高能率ディジタル符号化・変復調処
理を伝送処理として行う。１０４は受信走査処理部であ
り、受信した画像符号の復号受信走査を行う。１０５は
電光変換処理部であり、光学処理によって、画素情報か
ら被写体画像を再生する。

【０００３】図７は、従来技術による撮像から再生まで
の画像通信処理を示した図である。図７において、２０
１は撮像処理部であり、被写体情報を輝度・色の信号に
変換処理する。２０２は圧縮処理部であり、必要なら
ば、画像情報を圧縮処理する。２０３は記録部であり、
必要ならば、画像情報を記録する。２０４は符号化処理
部であり、２０５は伝送処理部である。２０６は復号化
処理部、２０７は受信側の記録部であり、必要ならば記
録する。２０８は解凍処理部であり、圧縮処理部２０２
で圧縮処理された画像情報を復元する。２０９は画像処
理部であり、輝度・色合情報を復元する。２１０は投影
画像生成処理部であり、撮像情報を再現処理する。２１
１はスクリーンなどからなる投影部である。

【０００４】

【発明が解決しようとする課題】前記従来の画像通信系
では、カメラからの被写体の距離情報は無視され、三次
元空間を二次元平面に投影写像した平面画像のみが伝送
されている。例えば、テレビ系の場合は、カメラの光学
系によって光電面上に写し出された平面画像が送信の対
象となっている。人間が受信者である場合は、その視覚
の特性からすべての波長成分を送る必要はない。三原色
の原理によって赤、緑、青に相当する信号のみを伝送す
ればよい。具体的には波長λを変数とする適当な重み関
数ｗＲ（λ），ｗＧ（λ），ｗＢ（λ）を用いて得られ
る三通りの画像のみを伝送すれば十分である。以上のよ
うに、従来の技術では、画像の遠近感をあらわす距離パ
ラメータの入力はなく、このため、被写体情報の遠近感
は、輝度と色合いのみによって再生表示され、距離情報
を伝送する方式はなかった。

【０００５】距離情報が欠落していた従来の平面画像情
報は、各種の画像通信サービスを利用する際に、制限が
大きかった。例えば、被写体の観察角度の変更、被写体
の座標データの抽出、隣接したカメラによる撮像情報の
冗長情報の圧縮など、これらの操作は、立体画像通信に
おいて重要である。しかし、従来の距離情報が欠落した
平面画像情報からは、前記のような画像加工処理が困難
であった。

【０００６】本発明の目的は、距離情報を用いた立体画
像の通信方式を提供することにある。

【０００７】本発明の他の目的は、再生画像情報の各種
の加工を可能にする立体画像の通信方式を提供すること
にある。

【０００８】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【０００９】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００１０】（１）通信網を介して提供される立体画像
のサービスにおける立体画像情報の作成・記録・伝送・
再生処理を備えた立体画像通信方式において、被写体画
像情報としての距離を画素単位で計測した距離情報を新
たに付加した被写体画像情報を伝送する。

【００１１】（２）前記距離情報を新たに付加した被写
体画像情報を撮像する。

【００１２】（３）前記距離情報を新たに付加した被写
体画像情報を用いて画像を再生する。

【００１３】（４）前記距離情報を新たに付加した被写
体画像情報を一括して情報圧縮・解凍する。

【００１４】（５）前記距離情報を新たに付加した被写
体画像情報を一括して符号化・復号化する。

【００１５】（６）前記距離情報を新たに付加した被写
体画像情報を用いて画像を加工再生する。

【００１６】すなわち、ファインダ内の被写体情報すべ
てに対して、赤外線・レーザ・超音波などの光学系距離
計測機器を利用し、距離を検出する。検出した距離情報
を画像情報と合わせて伝送し、再生側で立体画像として
処理する際に様々な画像加工が可能となる立体画像通信
方式である。

【００１７】

【作用】前述した手段によれば、被写体とカメラの距離
情報を画像情報に付加した構成になっているので、取り
込んだ被写体の距離情報を記録・伝送し、受信側で距離
情報とともに距離情報を生かした再生を行うことによ
り、受信側において、擬似的な立体画像の再生を可能に
し、再生画像情報の各種の加工を可能にする立体画像の
通信が実現される。

【００１８】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１９】なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。

【００２０】図１は、本発明による一実施例の立体画像
通信方式の入力・記録・伝送・記録・加工・再生の動作
処理イメージを示す図であり、３０１は撮像処理部、３
０２は距離分布処理部である。３０３は通信出力処理部
であり、撮像処理部３０１で出力された輝度・色合の画
像情報及び距離分布処理部３０２で出力された距離情報
に対して通信出力処理を行う。３０４は圧縮処理部であ
り、必要ならば、入力した被写体情報を圧縮する。３０
５は記録部であり、必要ならば、被写体情報の画素情報
・距離情報を書き込む。３０６は符号化処理部であり、
３０７は伝送処理部である。伝送処理部３０７で通信網
への伝送処理を行う。

【００２１】３０８は受信側の復号化処理部であり、受
信信号の復号化を行う。３０９は受信側の記録部であ
り、必要ならば、被写体情報の読み出しを行う。３１０
は解凍処理部であり、前記記録部３０９から読み出され
た被写体情報が圧縮処理されている場合には、解凍処理
を行い、各処理部へ配送される。

【００２２】３１１は距離処理部、３１２は画像処理
部、３１３は再生画像加工情報入力部である。ここで
は、被写体情報を、本実施例の方式の撮像情報入力部で
検出し、付加した距離情報を利用することによって、オ
リジナルの画像情報から、様々な画像加工処理が行われ
る。例えば、新視点での被写体映像情報を生成すること
が可能である。

【００２３】３１４は投影画像生成部であり、距離処理
部３１１、画像処理部３１２の被写体情報処理結果、及
び再生画像加工情報入力部３１３による画像情報加工命
令に対する処理が実行される。つまり、投影画像生成部
３１４は、、距離処理部３１１、画像処理部３１２、及
び再生画像加工情報入力部３１３による加工命令処理を
総合処理する。

【００２４】３１５は投影部であり、前記投影画像生成
部３１４で総合処理された画像の出力部である。

【００２５】図２は、本実施例の通信方式による動作処
理手順を示す流れ図であり、４０１は画素情報である。
各画素情報には、被写体情報として信号処理された輝度
・色・距離が記録されている。この画素情報を受信側へ
送る事が原則であるが、システムのバリエーションとし
て、本発明の通信方式の設計者が必要とするならば、圧
縮・解凍・記録・加工の各処理を挿入部として処理要求
ノードを設置することが可能である。

【００２６】本実施例の通信方式による処理は、図２に
示すように、ステップ４０２で圧縮処理を希望するか否
かのを判定し、圧縮処理を希望するならば（ＹＥＳ）、
ステップ４０２＊で圧縮処理を行ってステップ４０３に
移り、圧縮処理を希望しないならば（ＮＯ）、圧縮処理
を行わないでただちに次のステップ４０３に移る。

【００２７】ステップ４０３で記録処理の書き込みを希
望するか否かを判定し、記録処理の書き込みを希望する
ならば（ＹＥＳ）、ステップ４０３＊で書き込みの処理
を行ってステップ４０４に移り、記録処理書き込みを希
望しないならば（ＮＯ）、書き込みの処理を行わないで
ただちに次のステップ４０４に移る。ステップ４０４で
画素情報４０１もしくは圧縮処理された画素情報を受信
側に伝送する。

【００２８】ステップ４０５で受信側で記録処理の読み
取りを希望するか否かを判定し、記録読み取りを希望す
るならば（ＹＥＳ）、ステップ４０５＊で読み取りの処
理を行ってステップ４０６に移り、記録読み取りを希望
しないならば（ＮＯ）、記録読み取りの処理を行わない
でただちに次のステップ４０６に移る。

【００２９】ステップ４０６で解凍処理を希望するか否
かを判定し、解凍処理を希望するならば（ＹＥＳ）、ス
テップ４０６＊で解凍処理を行ってステップ４０７に移
り、解凍処理を希望しないならば（ＮＯ）、解凍処理を
行わないでただちに次のステップ４０７に移る。

【００３０】ステップ４０７で画像加工処理を希望する
か否かを判定し、画像加工処理を希望するならば（ＹＥ
Ｓ）、ステップ４０７＊で画像加工処理を行ってステッ
プ４０８に移り、画像加工処理を希望しないならば（Ｎ
Ｏ）、画像加工処理を行わないでただちに次のステップ
４０８に移る。ステップ４０８でステップ４０７の処理
結果を再生出力する。

【００３１】次に、本実施例の通信方式で最も特徴的な
３つの処理部、すなわち、撮像情報入力部、圧縮処理
部、加工処理部について詳細に説明する。

【００３２】（ａ）撮像情報入力部 本実施例の撮像情報入力部の動作処理は、各画素単位に
被写体との距離計測値を信号処理し、従来の画素情報で
ある輝度・色信号とともに記録するカメラを利用する。

【００３３】図３は、本実施例の撮像情報入力部の動作
処理手順を示す流れ図である。図３において、５００は
レンズ部、５０１は撮像処理部（図１の３０１に対
応）、５０２，５０３はそれぞれ輝度信号、色信号であ
り、従来撮像情報入力技術を利用したものである。５１
１は距離計測センサ、５１２は距離分布処理部（図１の
３０２に対応）、５１３は距離情報、５２０は通信出力
処理部（図１の３０３に対応）である。

【００３４】次に、本撮像情報入力部における距離信号
処理の過程を図３を用いて説明する。被写体の撮像と同
時に、距離計測センサ５１１によって、対象物体と距離
計測センサ５１１間の距離を計測する。計測された距離
情報は、距離分布処理部５１２によって、量子化され、
信号処理される。

【００３５】すなわち、距離分布処理部５１２で撮像情
報の画素分割を利用して新画素情報を得て、この新画素
情報が信号化された距離情報５１３は、対応する画素ご
とに記録される。各画素において、輝度、色合い及び距
離の各情報が記録され、通信出力処理部５２０によっ
て、各画素ごとに記録された被写体情報が通信可能な情
報に処理される。

【００３６】（ｂ）圧縮処理部 立体画像はその膨大な情報量が問題となる。被写体を撮
像する際のカメラ台数や空間サンプリングによって被写
体画像情報は、比例して増加する。しかし、単純な２眼
式カメラの場合を例として考えてみると、この場合の撮
像情報は、カメラ位置が水平位置のズレのみで、２つの
撮像間における相関性は、極めて高く、したがって、高
能率な圧縮が考えられる。本実施例の方式の撮像部で
は、被写体情報として、カメラ・被写体の距離情報を画
素に記録してあるため、画素情報についての相関性を距
離情報を利用した方式で冗長情報の削減と差分情報をヘ
ッダ情報として、１方向からの撮像画素情報に付加する
という方式で処理可能である。この処理によって、２方
向からの情報を１方向＋差分情報という情報量に圧縮可
能である。さらに、この方式は、隣接Ｎ（Ｎは整数であ
る）眼カメラ撮像情報への圧縮方式への応用も可能であ
る。

【００３７】（ｃ）加工処理部 受信された画像情報を受信側の要求に応じて加工する処
理である。具体的には、以下のような加工処理が可能で
ある。

【００３８】（ｃ-１）背景の差し替え 本実施例の方式によると、距離を利用した撮像画像再生
が可能である。図４は、前記距離に基づいた画像抽出状
況を表す距離情報と空間サンプリングの関係図である。
図４においては、被写体空間に対して、ｄ１，ｄ２，ｄ
３の３段階のサンプリングを行っている。画像情報を各
距離ごとに管理可能になる。このため、この画像情報・
距離情報の撮像情報の再生時に、例えば、距離ｄ３の画
像情報を別な画像情報に差し替えることが可能である。

【００３９】（ｃ-２）座標データ化 各画素には、画像情報として、距離情報が付加されてい
るが、その情報は、以下の原理に基づいて３次元の座標
表現に変換可能である。

【００４０】図５は、前記画素情報に基づく距離分布図
から３次元座標系への変換を表す図であり、は被写体
の一つの特徴点をＰとする。Ｐにおける距離情報は、画
像情報と同時に点Ｐを含む画素に記録されている。

【００４１】はファインダ内の矩形の中心を原点とし
たｘ，ｙ座標系を導入する。この時、Ｐの座標は、（Ｘ
０，Ｙ０）である。カメラ設置点は、このｘ−ｙ平面の
原点Ｏに対して垂直方向にある。

【００４２】は原点とカメラ設置点Ｃ０を結ぶ直線を
ｚ軸とする。このｘ，ｙ，ｚの座標系における被写体の
特徴点Ｐの座標（ｘ，ｙ，ｚ）を求める。ｘはＸ０であ
り、ｙはＹ０である。一方、カメラ設置点Ｃ０は、ｚ軸
上にある。画素Ｐに記録された距離ｄも与えられてい
る。すなわち、Ｃ０とＰの距離は、ｄである。

【００４３】以上のことからわかるように、Ｐのｚ座標
は、求めることが可能である。よって、前記，，
の過程を各特徴点ごとに行うことによって、被写体情報
が座標データとして記録可能になる。この方法によっ
て、任意被写体における特徴点座標データは、ＣＧにお
ける重要なデータベースを生成することが可能となる。
一方、この座標系を利用して、視線変更時の画像再生も
可能である。なぜなら、新たなカメラ設定点情報をこの
座標表現を利用して、再生画像加工情報入力部から入力
することによって、新視点での被写体生成点すべてにお
ける距離情報が生成され、新視点における画像情報が作
成可能である。

【００４４】以上の説明からわかるように、本実施例に
よれば、撮像側で計測した被写体・カメラ間の距離情報
を新たな被写体画像情報として付加する方式を利用する
ことにより、立体画像情報伝送のための圧縮処理方式や
視線変更などといった画像加工処理などが可能となる。
すなわち、被写体データベースの生成、ＣＧにおける加
工処理、また、Ｎ眼画像情報の高率圧縮によって、立体
画像通信を通信サービスとして実現可能な領域にしてい
るので、在宅勤務が導入されているオフィスにおいて、
遠隔離散された環境を通信で結合し、イメージや会議の
雰囲気・視線のニュアンスなどを提供することが可能で
ある。

【００４５】以上、本発明を前記実施例に基づき具体的
に説明したが、本発明は、前記実施例に限定されるもの
ではなく、その要旨を逸脱しない範囲において種々変更
可能であることは勿論である。

【００４６】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下の通りである。

【００４７】（１）距離情報を用いた立体画像の通信方
式が実現できる。すなわち、ファインダ内の被写体情報
すべてにたいして、赤外線・レーザ・超音波などの光学
系距離計測機器を利用し、距離を検出し、検出した距離
情報を画像情報と合わせて伝送することができる。

【００４８】（２）被写体とカメラの距離情報を画像情
報に付加した構成になっているので、取り込んだ被写体
の距離情報を記録・伝送し、受信側で距離情報とともに
距離情報を生かした再生を行うことにより、受信側にお
いて、擬似的な立体画像の再生を可能にし、再生画像情
報の各種の加工を可能にする立体画像の通信が実現され
る。

【００４９】（３）立体画像通信を通信サービスとして
実現可能な領域にしているので、在宅勤務が導入されて
いるオフィスにおいて、遠隔離散された環境を通信で結
合し、イメージや会議の雰囲気・視線のニュアンスなど
を提供することができる。

【図面の簡単な説明】

【図１】本発明による一実施例の立体画像通信方式の入
力・記録・伝送・記録・加工・再生の動作処理イメージ
を示す図である。

【図２】本実施例の通信方式による動作処理手順を示す
流れ図である。

【図３】本実施例の撮像情報入力部の動作処理手順を示
す流れ図である。

【図４】本実施例の距離に基づいた画像抽出状況を表す
距離情報と空間サンプリングの関係図である。

【図５】本実施例の画素情報に基づく距離分布図から３
次元座標系への変換を表す図である。

【図６】従来の画像通信形態を説明するための図であ
る。である。

【図７】従来の画像通信の撮像から再生に至るまでの一
連の動作処理イメージを示す図である。

【符号の説明】

３０１…撮像処理部、３０２…距離分布処理部、３０３
…通信出力処理部、３０４…圧縮処理部、３０５…記録
部、３０６…符号化処理部、３０７…伝送処理部、３０
８…受信側の復号化処理部、３０９…受信側の記録部、
３１０…解凍処理部、３１１…距離処理部、３１２…画
像処理部、３１３…再生画像加工情報入力部、３１４…
投影画像生成部、５００…レンズ部、５０１…撮像処理
部、５１１…距離計測センサ、５１２…距離分布処理
部、５２０…通信出力処理部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 通信網を介して提供される立体画像のサ
   ービスにおける立体画像情報の作成・記録・伝送・再生
   処理を備えた立体画像通信方式において、被写体画像情
   報としての距離を画素単位で計測し、新たに距離情報と
   して付加した被写体画像情報を伝送することを特徴とす
   る立体画像通信方式。
2. 【請求項２】 前記距離情報を新たに付加した被写体画
   像情報を撮像することを特徴とする請求項１に記載の立
   体画像通信方式。
3. 【請求項３】 前記距離情報を新たに付加した被写体画
   像情報を用いて画像を再生することを特徴とする請求項
   １または２に記載の立体画像通信方式。
4. 【請求項４】 前記距離情報を新たに付加した被写体画
   像情報を一括して情報圧縮・解凍することを特徴とする
   請求項１乃至３のうちいずれか１項に記載の立体画像通
   信方式。
5. 【請求項５】 前記距離情報を新たに付加した被写体画
   像情報を一括して符号化・復号化することを特徴とする
   請求項１乃至４のうちいずれか１項に記載の立体画像通
   信方式。
6. 【請求項６】 前記距離情報を新たに付加した被写体画
   像情報を用いて画像を加工再生することを特徴とする請
   求項１乃至５のうちいずれか１項に記載の立体画像通信
   方式。