WO2004100562A1

WO2004100562A1 - 立体映像信号変換方法及び装置

Info

Publication number: WO2004100562A1
Application number: PCT/JP2003/005712
Authority: WO
Inventors: Seijiro Tomita
Original assignee: Seijiro Tomita
Priority date: 2003-05-07
Filing date: 2003-05-07
Publication date: 2004-11-18
Also published as: AU2003234906A1; JPWO2004100562A1

Abstract

左右の映像を正確に同期させることができるとともに既存の圧縮・伸張技術で映像の圧縮・伸張を行うことができるようにするため、左右2台のカメラで撮影して作成した立体映像信号を記録・伝送する形式に変換するに際して、2つの映像の内、一方の映像を鏡像に反転するステップと、反転された映像と他方の映像とを映像の同一辺で連続するように合成するステップと、を備えるようにしだ。

Description

明細書

立体映像信号変換方法及び装置技術分野

本発明は立体映像信号変換方法及び装置に係り、特に既存の記録装置及び圧縮復元機能付き記録装置を使用することができる立体映像 [言号変換方法及び装置に関する。背景技術

立体映像を撮影するに際して 2台のカメラを所定量離間して配置し、視差量のある 2つの映像を撮影することが一般的に行われている。このような場合、 2台のカメラが撮像した映像を記録及び伝送する様々な方法が提案されている。

第 1の方法は 2台のカメラでの撮影映像を独立した記録再生装置で記録したり、それぞれの映像を独立した回線で伝送したりすることでめる。

しかし、このような方法では左右の映像を正確に同期させることが難しい上、設備やコストが嵩むこととなる。

そのため、左右の映像信号を奇数フィールド、偶数フィールドに分割し記録、伝送することが考えられる。しかし、この方法によれば、左右の映像に 1フィールド分（例えば 1 Z 6 0秒）の時間差が発生し、移動物を撮像した映像を再生すると違和感があるという問題がある。

また、この方法によって記録された映像を既存の圧縮 ·伸張技術である M P E Gで圧縮 ·伸張すると、連続する前後の映像に関連性がないため、伸張時に正確に復元できないという問題もある。

更に、この映像をインターネットなどの回線で伝送した場合、回線事情により映像送りが停止したりスキップしたりした場合には、左右の映像の判別ができなくなるという問題がある。

また、その他の方法として、左右の映像信号を水平走査線に分け、この左右の走査線を 1つのフィールド又はフレームに交互に混在させるものがある。

しかし、この方法によって記録された映像を、既存の圧縮 ·伸張技術である M P E Gで圧縮 ·伸張すると、連続する前後の映像に関連性がないため伸張時に正確に復元できないという問題がある。

そこで、本発明は、左右の映像を正確に同期させることができるとともに、既存の圧縮 ·伸張技術で映像の圧縮 ·伸張を行うことができる立体映像信号変換方法及び装置を提供することを目的とする。発明の開示

請求の範囲 1に記載の本発明は、左右 2台のカメラで撮影して作成した立体映像信号を記録 ·伝送する形式に変換するに際して、 2つの映像の内、一方の映像を鏡像に反転するステップと、反転された映像と他方の映像とを映像の同一辺で連続するように合成するステップと、を含むことを特徴とする立体映像信号立体映像信号変換方法である。

本発明によれば、映像の合成境界は、反転された映像と他方の映像とを映像の同一辺で連続させるから、同じ領域を撮影した映像の同じ個所、しかも、同じ方向に配置されるから、境界線において映像の変動が少なくなくなる。このため、映像の圧縮 ' .伸張を 1画面として容易に行うことができ、また圧縮 ·伸張処理を行っても映像の劣化が少なくなる。また、 1つの映像として処理できるため、左右の映像に時間的遅れが生じない。更に、回線事情により映像送りが停止したりスキップしたりした場合でも、左右の映像の判別が正確に行える。

請求の範囲 2に記載の本発明は、請求の範囲 1に記載の立体映像信号変換方法において、合成された映像が 1 フレーム中に格納されるよう映像信号を間引くステップを備えたことを特徴とするものである。

本発明によれば、従来用いられていた記録伝送技術及び圧縮 ·伸張技術をそのまま使用することができる。請求の範囲 3に記載の本発明は、請求の範囲 1又は請求の範囲 2 のいずれかに記載の立体映像信号変換方法において、映像を合成するステップは、映像の合成を、 1 フレームを走査線に平行な 1辺を接して行うことを特徴とするものである。

本発明によれば、地面や空など水平に連続する映像がその上下辺に含まれる映像の場合、不連続の度合いが少なく圧縮 · 伸張の際映像が良好なものに保たれる。

請求の範囲 4に記載の本発明は、請求の範囲 1又は請求の範囲 2 のいずれかに記載の立体映像信号変換方法において、映像を合成するステップは、映像の合成を、 1 フレームを走査線に垂直な 1辺を接して行うことを特徴とするものである。

本発明によれば、壁のように垂直に連続する映像がその左右辺に含まれる映像の場合、不連続の度合いが少なく、圧縮 · 伸張の際、映像が良好なものに保たれる。

請求の範囲 5に記載の本発明は、左右 2台のカメラで撮影して作成した立体映像信号を記録 · 伝送する形式に変換する立体映像信号変換装置であって、 2つの映像の内、一方の映像を鏡像に反転する映像反転手段と、反転された映像と他方の映像とを映像の同一辺で連続するように合成する映像合成手段と、を含むことを特徴とする立体映像信号変換装置である。

本発明によれば、映像の合成境界は、反転された映像と他方の映像とを映像の同一辺であるから、同じ領域を、視角をもって撮影した映像の同じ個所、しかも、同じ方向に配置されるから、境界線において映像の変動が少なくなくなる。このため、映像の圧縮 ·伸張を 1画面として容易に行うことができ、また、圧縮 ·伸張処理を行っても映像の劣化が少なくなる。また、 1つの映像として、処理できるため、左右の映像に時間的遅れが生じない。更に、回線事情により映像送りが停止したりスキップしたりした場合でも、左右の映像の判別が正確に行える。

請求の範囲 6に記載の本発明は、請求の範囲 5に記載の立体映像信号変換装置において、合成された映像が 1フレーム中に格納されるよう映像信号を間引く映像間引手段を備えたことを特徴とするものである。本発明によれば、従来用いられていた記録伝送技術及び圧縮 ·伸張技術をそのまま使用することができる。

請求の範囲 7に記載の本発明は、請求の範囲 5又は請求の範囲 6 のいずれかに記載の立体映像信号変換装置において、映像合成手段は、 1 フレームを走査線に平行な 1辺を接して行うことを特徴とするものである。

請求の範囲 8に記載の本発明は、請求の範囲 5又は請求の範囲 6 のいずれかに記載の立体映像信号変換装置において、映像合成手段は、 1フレームを走査線に垂直な 1辺を接して行うことを特徴とするものである。

本発明によれば、壁のように垂直に連続する映像がその左右辺に含まれる映像の場合、不連続の度合いが少なく圧縮 ·伸張の際映像が良好なものに保たれる。図面の簡単な説明

図 1は、本発明に係る立体映像信号変換方法及ぴ装置を示すプロック図である。

図 2は、図 1に示した立体映像信号変換方法及び装置の映像変換の状態を示す図である。

図 3は、図 1に示した立体映像信号変換方法及び装置の映像変換の状態を示す図である。発明を実施するための最良の形態 - 以下、本発明の実施の形態について、図面を参照して説明する。図 1 は、本発明に係る立体映像信号変換方法及び装置をその信号変換の状態とともに示すプロック図、図 2は、図 1に示した立体映像信号変換方法及び装置における映像変換の状態の詳細を示す図である。

本例において、立体映像信号変換装置は、図 1に示すように、所定距離 dだけ離間した 2台の撮像手段である C CDカメラ 1 L， 1 Rと、映像間引手段 3と、映像反転手段 4と、映像合成手段 5と、からなる。本例では C CDカメラ 1 L、 1 Rは風景 1 0を撮影しており風景 1 0 には人物 1 1、地面 1 2、空 1 3、建物 1 4が含まれている。

この風景を撮影した 2つの映像が図 1及ぴ図 2 ( 1 ) 中の 2 L， 2 R で示されている。各映像は、例えば 5 1 2本の走査線のインタレース画像で構成されており、人物 2 1 L, 2 1 、地面2 21^, 2 2 R、空 2 3 L, 2 3 R、建物 24 L, 24 Rが表示されている。

各映像は視差をもって撮影されているため、各映像の人物 2 1 L， 2 11 、地面2 21^， 2 21 、空2 3 ， 2 3 R、建物 24 L, 24尺の位置は必ずしも一致しないが、それらの相対位置は一致する。

映像間引手段 3は、両映像 2 L， 2 Rの映像が 1フレーム中に格納されるよう映像信号を間引く。これは、例えば映像を構成する走査線を 1 ラインごと、あるいは一ライン中の画素を 1つおきに間引く等の方法で実現される。これはインターレース信号の場合には、 5 1 2本の走査線で構成された左側第 1画像 2 Lの第 1フィールド（奇数ライン 1、 3、 5、一 2 5 5番走査線）のみを獲得して、各走査線間の間隔を詰め、全部で 2 5 6ラインの画像 2 L Cとする。同様に、右画像の右側第 1画像 2 Rの第 1フィールド（奇数ライン 1、 3、 5、 … 2 5 5番走査線）のみを獲得して、各走査線間の間隔を詰め、全部で 2 5 6ラインの画像 2 RCとする。また、ノンインターレース信号の場合は左側画面の偶数ラィンを選択し、右側画面の偶数ラインを選択して走査線の間隔を狭めるものである。

映像反転手段 4は、上記間引かれた左右 2つの映像の内の一方、この例では右側の映像 2 R Cの映像を、走査線に平行な線を基準として鏡像に反転する。この結果、反転され映像 2 R CMが得られる。なお、この反転は左側の映像 2 L Cについて行ってもよい。

映像合成手段 5は、左側の映像 2 LCの下辺 2 LDと、反転した映像 2 R CMの上辺 2 RMC Uとが連した 1映像となるように合成する。これにより、図 1、図 2 ( 1 ) に示すように合成され^映像においては、両映像の地面及ぴ建物同士が連続することとなり、画像の非連続性が少ないものとなる。

これにより、最終的な映像 6が得られる。この映像は、図 2に示すように、 1つの映像中 6の上側 6 Lに、人 6 1 L、地面 6 2 L、空 6 3 L、建物 6 4 Lが含まれ、下側 6 Rに、人 6 1 R、地面 6 2

R、空 6 3 R、建物 6 4 Rが含まれたものであり、地面 6 2 L、地面 6 2 R同士及び建物 6 4 L、建物 6 4 R同士が連続しているため輝度や色調の不連続が発生しにくいものとなっている。

このため、本例によれば、映像の圧縮 ·伸張を 1画面として容易に行うことができ、また圧縮 ·伸張処理を行っても映像の劣化が少なくなる。また、 1つの映像として、処理できるため、左右の映像に時間的遅れが生じない。更に、回線事情により映像送りが停止したりスキップしたりした場合でも、左右の映像の判別が正確に行える。さらに、本例では、合成された映像が 1フレーム中に格納されるようにしているから、従来用いられていた記録伝送技術（NT S C， PAL, HDTV等）及ぴ圧縮 ·伸張技術（MP EG等）をそのまま使用することができる。

なお、前記例では、画像合成手段は左側画像を上側に、右側画像を下側になるようにして 1画面を合成したが、これは、図 2 ( 2) に示すように、右側画像を上側に、左側画像を下側になるようにして 1画面を構成するようにしてもよい。

また、上記例では、映像間引手段 3を映像反転手段 4の上段に配置するようにしたが、これを映像反転手段 4の下段に、或は、映像反転手段と映像合成手段との間のいずれの個所に配置してもよい。

図 3は、本発明の他の形態を示すものである。この例では、映像間引き手段は 1走査線中に並ぶ画素を 1つおきに間引いて間引き映像を構成する。これにより水平方向に半分の寸法となった画像が得られる。映像反転手段 4は、左右 2つの映像のうち一方を、この例では右側の映像 2 Rの映像を走査線に垂直な線を基準として鏡像に反転する。

そして、映像合成手段 5は、左側の映像 2 Lの右辺と、反転した映像 2 R Mの左辺 2 R M Uとが連続した 1映像となるように合成する。これにより、図 3に示すように、合成された映像においては 1つの映像 7の左側 7 Lに、人 7 1 L、地面 7 2 L、空 7 3 L、建物 7 4 Lが含まれ、右側 7 Rに、人 7 1 R、地面 7 2 R、空 7 3 R、建物 7 4 Rが含まれたものとなる。そして、両映像の空 7 3 L , 空 7 3 R同士、及ぴ建物 7 4 L , 建物 7 4 R同士が連続することとなり、上記例と同様に画像の非連続性が少ないものとなる。なお、前記例では、画像合成手段 5は、左側画像を左側に、右側画像を右側になるようして 1画面を合成したが、これは、図 3 ( 2 ) に示すように、右側画像を左側に左側画像を右側になるよう 1画面を構成するようにしてもよレ、。

このため、上記例と同様に映像の圧縮 ·伸張を 1画面として容易に行うことができ、また、圧縮 ·伸張処理を行っても映像の劣化が少なくなる。また、 1つの映像として処理できるため、左右の映像に時間的遅れが生じない。更に、回線事情により映像送りが停止したりスキップしたりした場合でも、左右の映像の判別が正確に行える。

さらに、本例では、合成された映像が 1 フレーム中に格納されるようにしているから、従来用いられていた記録伝送技術及び圧縮 ·伸張技術をそのまま使用することができる。

なお、上記例では映像信号を間引く場合について説明したが、本発明によれば、 3 ： 4のアスペクト比を有する映像を間引き処理することなく左右 2つ横に並べて画像合成した信号、 1 6 ： 9のワイド画像の規格に基づくフォーマツトでそのまま記録することができる。この場合には, 記録装置、媒体などをそのまま使用することができる。

産業上の利用可能性

請求の範囲 1に記載の本発明は、左右 2台のカメラで撮影して作成した立体映像信号を記録 ·伝送する形式に変換するに際して、 2つの映像の内、一方の映像を鏡像に反転するステップと、反転された映像と他方の映像とを映像の同一辺で連続するように合成するステップと、を含むことを特徴とする立体映像信号変換方法である。

本発明によれば、映像の合成境界は反転された映像と他方の映像とを映像の同一辺であるから、同じ領域を、視角をもって撮影した映像の同じ個所しかも同じ方向に配置されるから、境界線において映像の変動が少なくなくなる。このため、映像の圧縮 ·伸張を 1画面として容易に行うことができ、また圧縮 ·伸張処理を行っても映像の劣化が少なくなる。また、 1つの映像として、処理できるため、左右の映像に時間的遅れが生じない。更に、回線事情により映像送りが停止したりスキップしたりした場合でも、左右の映像の判別が正確に行える。

請求の範囲 2に記載の本発明は、請求の範囲 1に記載の立体映像信号変換方法において、合成された映像が 1フレーム中に格納されるよう映像信号を間引くステップを備えたことを特徴とするものである。

本発明によれば、従来用いられていた記録伝送技術及び圧縮 ·伸張技術をそのまま使用することができる。

請求の範囲 3に記載の本発明は、請求の範囲 1又は請求の範囲 2 のいずれかに記載の立体映像信号変換方法において、映像を合成するステップは、映像の合成を、 1 フレームを走査線に平行な 1辺を接して行うことを特徴とするものである。 '

本発明によれば、地面や空など水平に連続する映像がその上下辺に含まれる映像の場合、不連続の度合いが少なく圧縮 ·伸張の際映像が良好なものに保たれる。

本発明によれば、壁のように垂直に連続する映像がその左右辺に含まれる映像の場合、不連続の度合いが少なく圧縮 · 伸張の際映像が良好なものに保たれる。

請求の範囲 5に記載の本発明は、左右 2台のカメラで撮影して作成した立体映像信号を記録 ·伝送する形式に変換する立体映像信号変換装置であって、 2つの映像の内一方の映像を鏡像に反転する映像反転手段と、反転された映像と他方の映像とを映像の同一辺で連続するように合成する映像合成手段と、を含むことを特徴とする立体映像信号変換装置である。

請求の範囲 6に記載の本発明は、請求の範囲 5に記載の立体映像信号変換装置において、合成された映像が 1フレーム中に格納されるよう映像信号を間引く間引手段を備えたことを特徴とするものである。

請求の範囲 8に記載の本発明は、請求の範囲 5又は請求の範囲 6のいずれかに記載の立体映像信号変換装置において、映像合成手段は、 1 フレームを走査線に垂直な 1辺を接して行うことを特徴とするものである。 .

本発明によれば、壁のように垂直に連続する映像がその左右辺に含まれる映像の場合、不連続の度合いが少なく圧縮 ·伸張の際映像が良好なものに.保たれる。

Claims

請求の範囲

1 . 左右 2台のカメラで撮影して作成した立体映像信号を記録 ·伝送する形式に変換するに際して、 2つの映像の内、一方の映像を鏡像に反転するステップと、反転された映像と他方の映像とを映像の同一辺で連続するように合成するステップと、を含むことを特徴とする立体映像信号立体映像信号変換方法。

2 . 合成された映像が 1 フレーム中に格納されるよう映像信号を間引くステップを備えたことを特徴とする請求の範囲 1に記載の立体映像信号変換方法。

3 . 映像を合成するステップは、映像の合成を、 1 フレームを走查線に平行な 1辺を接して行うことを特徴とする請求の範囲 1又は請求の範囲 2のいずれかに記載の立体映像信号変換方法。

4 . 映像を合成するステップは、映像の合成を、 1 フレームを走査線に垂直な 1辺を接して行うことを特徴とする請求の範囲 1又は請求の範囲 2のいずれかに記載の立体映像信号変換方法。

5 . 左右 2台のカメラで撮影して作成した立体映像信号を記録 · 伝送する形式に変換する立体映像信号変換装置であって、 2つの映像の内、一方の映像を鏡像に反転する映像反転手段と、反転された映像と他方の映像とを映像の同一辺で連続するように合成する映像合成手段と、を含むことを特徴とする立体映像信号変換装置。

6 . 合成された映像が 1 フレーム中に格納されるよう映像信号を間引く間引手段を備えたことを特徴とする請求の範囲 5に記載の立体映像信号変換装置。

7 . 映像合成手段は、 1 フレームを、走査線に平行な 1辺を接して行うことを特徴とする請求の範囲 5又は請求の範囲 6のいずれかに記載の立体映像信号変換装置。

8 . 映像合成手段は、 1 フレームを、走査線に垂直な 1辺を接して行うことを特徴とする請求の範囲 5又は請求の範囲 6のいずれかに記載の立体映像信号変換装置。