JPH11146423A - 2次元映像を3次元映像に変換する装置および方法 - Google Patents
2次元映像を3次元映像に変換する装置および方法Info
- Publication number
- JPH11146423A JPH11146423A JP9325293A JP32529397A JPH11146423A JP H11146423 A JPH11146423 A JP H11146423A JP 9325293 A JP9325293 A JP 9325293A JP 32529397 A JP32529397 A JP 32529397A JP H11146423 A JPH11146423 A JP H11146423A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- video signal
- frequency component
- dimensional video
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
るようにする。 【解決手段】 撮像装置12によって被写体を撮影し2
次元映像信号を得る。高周波成分検出部16によって、
各視差算出領域E1〜E12について2次元映像信号の
高周波成分を検出し、MPU20によって、画面18の
中央部分の視差算出領域の高周波成分を積算して高周波
成分積算値を得る。対象物の撮影、視差算出領域毎の高
周波成分の検出、および高周波成分積算値の算出は、0
〜∞間の複数の合焦距離毎に行う。MPU20によって
高周波成分積算値が最大である合焦距離を検出し、その
合焦距離にピントを合わせて再度対象物を撮影し、得ら
れた2次元映像信号をフレームメモリ22に記憶する。
各視差算出領域E1〜E12毎に、MPU20によって
高周波成分に基づいて被写体距離を検出する。その被写
体距離に基づいて、画面18内の所定単位領域毎の視差
量を生成する。視差制御回路24によって、視差量に応
じた水平位相量を有する左目映像信号および右目映像信
号を生成する。
Description
元映像に変換する装置および方法に関し、特にたとえ
ば、静止画像から3次元映像を生成するのに有効な、2
次元映像を3次元映像に変換する装置および方法に関す
る。
る視点から撮影した左目映像およ右目映像が必要であ
り、図19(a)に示すように、2台のカメラ1aおよ
び1bによって異なる視点から同時に撮影する、図19
(b)に示すように、1台のカメラ1を移動させて、異
なる位置からそれぞれ左目映像と右目映像とを撮影す
る、図19(c)に示すように、光学レンズ2を使用し
光学的な処理によって、左目映像と右目映像とを1台の
カメラ1で撮影する、といった方法が用いられていた。
に示す方法では、2台のカメラ1aおよび1bが必要と
なり、コストが高くなる。図19(b)に示す方法で
は、カメラ1を移動させるための機構がさらに必要であ
り、コストが高くなるばかりか、左目映像と右目映像と
を同時に得ることができない。図19(c)に示す方法
では、カメラ1および光学レンズ2を用いて得た左目映
像3aおよび右目映像3bを拡大する必要があるため、
映像の解像度が劣化してしまう。
ストで解像度の高い3次元映像が得られる、2次元映像
を3次元映像に変換する装置および方法を提供すること
である。
に、請求項1に記載の2次元映像を3次元映像に変換す
る装置は、合焦距離を変更できかつ被写体を撮影して2
次元映像信号を得る撮像手段、複数の合焦距離毎に、画
面内に設定された複数の視差算出領域のそれぞれについ
て2次元映像信号の高周波成分を検出する高周波成分検
出手段、複数の合焦距離毎に、所定の視差算出領域の各
高周波成分を積算して高周波成分積算値を算出する積算
値算出手段、高周波成分積算値が最大である合焦距離の
2次元映像信号を記憶する記憶手段、各視差算出領域毎
に、高周波成分に基づいて被写体距離を検出する被写体
距離検出手段、検出された被写体距離に基づいて画面内
の所定単位領域毎の視差情報を生成する視差情報生成手
段、および記憶手段に記憶された2次元映像信号の各所
定単位領域内の信号から、その所定単位領域に対応する
視差情報に応じた水平位相量を有する第1映像信号と第
2映像信号とを生成する位相制御手段を備える。
に変換する装置は、請求項1に記載の2次元映像を3次
元映像に変換する装置において、被写体距離検出手段
は、高周波成分が最大である合焦距離を被写体距離とす
る手段を含むものである。
に変換する装置は、請求項1または2に記載の2次元映
像を3次元映像に変換する装置において、積算値算出手
段は、画面の中央部分の視差算出領域の各高周波成分を
積算して高周波成分積算値を算出する手段を含むもので
ある。
に変換する装置は、請求項1または2に記載の2次元映
像を3次元映像に変換する装置において、積算値算出手
段は、画面の各視差算出領域の高周波成分を重み付けし
て積算し高周波成分積算値を算出する手段を含むもので
ある。
に変換する装置は、請求項1ないし4のいずれかに記載
の2次元映像を3次元映像に変換する装置において、位
相制御手段は、2次元映像信号を1水平ライン分以下の
複数画素数分記憶できる容量を有し、かつ2次元映像信
号を一次的に記憶する第1記憶手段、2次元映像信号を
1水平ライン分以下の複数画素数分記憶できる容量を有
し、かつ2次元映像信号を一次的に記憶する第2記憶手
段、第1記憶手段の読み出しアドレスを、2次元映像信
号の水平垂直位置に応じて決定された標準読み出しアド
レスに対して、2次元映像信号の水平垂直位置が属する
所定単位領域に対応する視差情報に基づいて制御するこ
とにより、標準読み出しアドレスによって規定される基
準水平位相に対して視差情報に応じた量だけ水平位相が
進んだ第1映像信号を生成する第1の読み出しアドレス
制御手段、ならびに第2記憶手段の読み出しアドレス
を、標準読み出しアドレスに対して、2次元映像信号の
水平垂直位置が属する所定単位領域に対応する視差情報
に基づいて制御することにより、標準読み出しアドレス
によって規定される基準水平位相に対して視差情報に応
じた量だけ水平位相が遅れた第2映像信号を生成する第
2の読み出しアドレス制御手段を含むものである。
に変換する装置は、請求項1ないし5のいずれかに記載
の2次元映像を3次元映像に変換する装置において、所
定単位領域は1画素単位の領域であるものである。
に変換する方法は、撮像手段によって複数の合焦距離毎
に被写体を撮影して2次元映像信号を得る第1ステッ
プ、複数の合焦距離毎に、画面内に設定された複数の視
差算出領域のそれぞれについて2次元映像信号の高周波
成分を検出する第2ステップ、複数の合焦距離毎に、所
定の視差算出領域の各高周波成分を積算して高周波成分
積算値を算出する第3ステップ、高周波成分積算値が最
大である焦点距離の2次元映像信号を記憶手段に記憶す
る第4ステップ、各視差算出領域毎に、高周波成分に基
づいて被写体距離を検出する第5ステップ、検出された
被写体距離に基づいて画面内の所定単位領域毎の視差情
報を生成する第6ステップ、および記憶手段に記憶され
た2次元映像信号の各所定単位領域内の信号から、その
所定単位領域に対応する視差情報に応じた水平位相量を
有する第1映像信号と第2映像信号とを生成する第7ス
テップを備える。
に変換する方法は、請求項7に記載の2次元映像を3次
元映像に変換する方法において、第5ステップは、高周
波成分が最大である合焦距離を被写体距離とするステッ
プを含むものである。
に変換する方法は、請求項7または8に記載の2次元映
像を3次元映像に変換する方法において、第3ステップ
は、画面の中央部分の視差算出領域の各高周波成分を積
算して高周波成分積算値を算出するステップを含むもの
である。
像に変換する方法は、請求項7または8に記載の2次元
映像を3次元映像に変換する方法において、第3ステッ
プは、画面の各視差算出領域の高周波成分を重み付けし
て積算し高周波成分積算値を算出するステップを含むも
のである。
像に変換する方法は、請求項7ないし10のいずれかに
記載の2次元映像を3次元映像に変換する方法におい
て、第7ステップは、2次元映像信号を1水平ライン分
以下の複数画素数分記憶できる容量を有する第1記憶手
段および第2記憶手段に、それぞれ2次元映像信号を一
次的に記憶するステップ、第1記憶手段の読み出しアド
レスを、2次元映像信号の水平垂直位置に応じて決定さ
れた標準読み出しアドレスに対して、2次元映像信号の
水平垂直位置が属する所定単位領域に対応する視差情報
に基づいて制御することにより、標準読み出しアドレス
によって規定される基準水平位相に対して視差情報に応
じた量だけ水平位相が進んだ第1映像信号を生成するス
テップ、ならびに第2記憶手段の読み出しアドレスを、
標準読み出しアドレスに対して、2次元映像信号の水平
垂直位置が属する所定単位領域に対応する視差情報に基
づいて制御することにより、標準読み出しアドレスによ
って規定される基準水平位相に対して視差情報に応じた
量だけ水平位相が遅れた第2映像信号を生成するステッ
プを含むものである。
像に変換する方法は、請求項7ないし11のいずれかに
記載の2次元映像を3次元映像に変換する方法におい
て、所定単位領域は1画素単位の領域であるものであ
る。
に変換する装置では、撮像手段によって被写体が撮影さ
れて2次元映像信号が得られ、高周波成分検出手段によ
って、画面内に設定された複数の視差算出領域それぞれ
について2次元映像信号の高周波成分が検出され、積算
値算出手段によって、所定の視差算出領域の高周波成分
が積算されて高周波成分積算値が算出される。被写体の
撮影、視差算出領域毎の高周波成分の検出、および高周
波成分積算値の算出は、それぞれ複数の合焦距離毎に行
われる。
焦距離が検出され、その合焦距離にピントを合わせて被
写体を撮影して得られた2次元映像信号が記憶手段に記
憶される。
差算出領域毎に、高周波成分に基づいて被写体距離が検
出される。請求項2に記載するように、高周波成分が最
大である合焦距離が被写体距離とされることが望まし
い。一般に、撮影すべき被写体に焦点が合ったときにそ
の部分の高周波成分が大きくなるので、高周波成分が最
大になる合焦距離がわかれば、その合焦距離において被
写体に焦点が合っているとし、その合焦距離を被写体距
離と判断することができる。このようにして得られた被
写体距離に基づいて、視差情報生成手段によって画面内
の所定単位領域毎の視差情報が生成される。
に記憶された2次元映像信号の各所定単位領域内の信号
から、その所定単位領域に対応する視差情報に応じた水
平位相量を有する第1映像信号および第2映像信号がそ
れぞれ生成される。
するように構成されてもよい。
ず、第1記憶手段および第2記憶手段に2次元映像信号
が一次的に記憶される。
て、第1記憶手段の読み出しアドレスが標準読み出しア
ドレスに対して制御される。この制御量は、2次元映像
信号の水平垂直位置が属する所定単位領域に対応する視
差情報に基づいて決定される。その結果、標準読み出し
アドレスによって規定される基準水平位相に対して視差
情報に応じた量だけ水平位相が進んだ第1映像信号が生
成される。
よって、第2記憶手段の読み出しアドレスが標準読み出
しアドレスに対して制御される。この制御量は、2次元
映像信号の水平垂直位置が属する所定単位領域に対応す
る視差情報に基づいて決定される。その結果、標準読み
出しアドレスによって規定される基準水平位相に対して
視差情報に応じた量だけ水平位相が遅れた第2映像信号
が生成される。
号および第2映像信号の水平位相量が設定される。
元映像に変換する方法では、第1ステップ〜第3ステッ
プにおいて、撮像手段によって被写体が撮影されて2次
元映像信号が得られ、高周波成分検出手段によって、画
面内に設定された複数の視差算出領域それぞれについて
2次元映像信号の高周波成分が検出され、積算値算出手
段によって、所定の視差算出領域の高周波成分が積算さ
れて高周波成分積算値が算出される。被写体の撮影、視
差算出領域毎の高周波成分の検出、および高周波成分積
算値の算出は、それぞれ複数の合焦距離毎に行われる。
分積算値が最大である合焦距離が検出され、その合焦距
離にピントを合わせて被写体を撮影して得られた2次元
映像信号が記憶手段に記憶される。
領域毎に、高周波成分に基づいて被写体距離が検出され
る。この場合も請求項8に記載するように、高周波成分
が最大である合焦距離が被写体距離とされることが望ま
しい。第6ステップでは、このようにして得られた被写
体距離に基づいて画面内の所定単位領域毎の視差情報が
生成される。
に記憶された2次元映像信号の各所定単位領域内の信号
に基づいて、その所定単位領域に対応する視差情報に応
じた水平位相量を有する第1映像信号および第2映像信
号がそれぞれ生成される。
記載するように処理されてもよい。
ず、第1記憶手段および第2記憶手段に2次元映像信号
が一次的に記憶される。
が標準読み出しアドレスに対して制御される。この制御
量は、2次元映像信号の水平垂直位置が属する所定単位
領域に対応する視差情報に基づいて決定される。その結
果、標準読み出しアドレスによって規定される基準水平
位相に対して視差情報に応じた量だけ水平位相が進んだ
第1映像信号が生成される。
標準読み出しアドレスに対して制御される。この制御量
は、2次元映像信号の水平垂直位置が属する所定単位領
域に対応する視差情報に基づいて決定される。その結
果、標準読み出しアドレスによって規定される基準水平
位相に対して視差情報に応じた量だけ水平位相が遅れた
第2映像信号が生成される。
号および第2映像信号の水平位相量が設定される。
ば、請求項3または9に記載するように、画面の中央部
分の視差算出領域の各高周波成分を積算して算出されて
もよく、また、請求項4または10に記載するように、
画面の各視差算出領域の高周波成分を重み付けしたのち
積算して算出されてもよい。前者では簡易に高周波成分
積算値が得られ、後者ではより正確に高周波成分積算値
が得られる。
に、視差情報が生成される「所定単位領域」は、たとえ
ば1画素単位の領域であってもよい。このように所定単
位領域を小さく設定することによって、視差情報をより
高精度に生成でき、綿密な位相制御が可能となる。
いて図面を参照して説明する。
2次元映像を3次元映像に変換する装置(以下、「2D
/3D映像変換装置」という)10は、たとえば単眼カ
メラによって構成される1台の撮像装置12を含む。撮
像装置12は、合焦距離を変更できるフォーカスレンズ
14を有する。フォーカスレンズ14はMPU20(後
述)によって制御され、撮像装置12によって、前ピン
から後ろピンまでの間の複数のポイント毎に、すなわち
合焦距離0〜∞間の複数のポイント毎に被写体が撮影さ
れることにより、複数の合焦距離毎の2次元映像信号が
得られる。撮像装置12によって得られた2次元映像信
号は、輝度信号Y、色差信号R−Yおよび色差信号B−
Yによって構成される。これらの輝度信号Y、色差信号
R−Yおよび色差信号B−Yは、それぞれA/D変換回
路(図示せず)によってY信号、R−Y信号およびB−
Y信号にデジタル変換され、後続の回路に与えられる。
る。
の視差算出領域E1〜E12が予め設定され、高周波成
分検出部16は、たとえば1フィールド毎に、視差算出
領域E1〜E12それぞれについて高周波成分を検出す
る。撮像装置12の合焦距離を変更することによって、
複数の合焦距離毎に高周波成分が検出される。
0列の計60個の視差算出領域が設定されているが、説
明の便宜上、図2に示すように、画面18内に、3行4
列の計12個の視差算出領域E1〜E12が設定されて
いるものとする。図2においては、各視差算出領域E1
〜E12の水平方向の画素数をm、各視差算出領域E1
〜E12の垂直方向の画素数をn、視差算出領域E1の
左上の座標を(a,b)として、水平位置(HAD)お
よび垂直位置(VAD)が表されている。
MPU20に与えられる。
に合焦距離が調整され、撮像装置12によって被写体が
再度撮影される。
出領域の各高周波成分が積算されて高周波成分積算値が
算出される。高周波成分積算値の算出方法としては、画
面18の中央部分の視差算出領域、すなわち視差算出領
域E6、E7、E10、E11の各高周波成分を積算し
て、算出する方法や、画面18の各視差算出領域E1〜
E12の高周波成分を重み付けして積算し、算出する方
法などがある。高周波成分積算値は、複数の合焦距離毎
に算出される。
積算値が最大である合焦距離が求められ、MPU20に
よってフォーカスレンズ14のピントがその合焦距離に
合わせられて、撮像装置12によって被写体が再度撮影
される。撮影して得られた2次元映像信号のY信号、R
−Y信号およびB−Y信号は、フレームメモリ22に格
納される。
16から与えられた高周波成分に基づいて、各視差算出
領域E1〜E12毎に、フォーカスレンズ14から被写
体までの距離を表す被写体距離が検出される。すなわ
ち、各視差算出領域E1〜E12毎に、高周波成分が最
大の合焦距離が検出され、その合焦距離が被写体距離と
される。一般に、撮影すべき被写体に焦点が合ったとき
にその部分の高周波成分が大きくなるので、高周波成分
が最大になる合焦距離がわかれば、その合焦距離の位置
に被写体があると判断して、高周波成分が最大になる合
焦距離を被写体距離とする。したがって、被写体が前側
にあるほど高周波成分が最大になる合焦距離は短くなる
ので被写体距離も短くなり、被写体が後方にあるほど高
周波成分が最大になる合焦距離は長くなるので被写体距
離も長くなる。
体距離に基づいて、各視差算出領域E1〜E12につい
て視差情報が生成される。視差情報としては、この実施
の形態では左目映像と右目映像との視差量が用いられ
る。被写体距離と視差量との対応関係を変えることによ
って、視差量を大きくすることも小さくすることもでき
る。また、被写体距離が最も近い視差算出領域の立体視
位置(図示せず)を立体表示装置の管面位置に設定する
と、被写体距離が長くなるほど視差量も大きくなり、管
面位置からの奥行きも大きくなる。視差量の生成方法の
詳細については、後述する。
領域E1〜E12毎の視差量は、視差制御回路24に送
られる。視差制御回路24には、フレームメモリ22か
らのY信号、R−Y信号およびB−Y信号も与えられ
る。
〜E12毎の視差量に基づいて、たとえば各フィールド
の各画素毎の視差量を生成する。そして、得られた各画
素位置毎の視差量に基づいて、左目映像用任意画素遅延
FIFOおよび右目映像任意画素遅延FIFOから映像
信号(Y信号、R−Y信号およびB−Y信号)を読み出
す際の読み出しアドレスが左目映像用任意画素遅延FI
FOと右目映像任意画素遅延FIFOとの間でずれるよ
うに、左目映像用任意画素遅延FIFOおよび右目映像
任意画素遅延FIFOの読み出しアドレスを制御する。
したがって、左目映像用任意画素遅延FIFOから読み
出された左目映像信号の水平位相と、右目映像任意画素
遅延FIFOから読み出された右目映像信号の水平位相
とが異なるようになる。このようにして、視差制御回路
24によって視差制御される。なお、Y信号用の左目映
像用任意画素遅延FIFOおよび右目映像任意画素遅延
FIFOは、それぞれ左目映像用任意画素遅延FIFO
120および右目映像任意画素遅延FIFO122で表
される(図6参照)。
像信号は、D/A変換回路(図示せず)によってアナロ
グ信号に変換された後、立体表示装置に送られる。ま
た、視差制御回路24から読み出された右目映像信号
は、D/A変換回路によってアナログ信号に変換された
後、立体表示装置に送られる。
の水平位相とは異なっているので、左目映像と右目映像
との間に視差が発生する。この結果、左目映像を左目で
観察し、右目映像を右目で観察すると、被写体が背景に
対して前方位置にあるような3次元映像が得られる。
路26へは、2次元映像信号の垂直同期信号Vsyn
c、水平同期信号Hsyncおよび各水平期間の水平ア
ドレスを検出するためのクロック信号CLKが与えら
れ、タイミング制御回路26は、MPU20からの書き
込み制御信号および読み出し制御信号によって制御され
る。タイミング制御回路26によって、フレームメモリ
22の書き込みおよび読み出しが制御され、また、高周
波成分検出部16および視差制御回路24が制御され
る。
される。
回路26、ハイパスフィルタ(HPF)28、絶対値回
路30、スライス処理回路32、加算器34および高周
波成分積算レジスタ群36および選択回路38を含む。
高周波成分積算レジスタ群36は、各視差算出領域E1
〜E12にそれぞれ対応した第1〜第12の高周波成分
積算レジスタ群40〜62を含む。
Vsync、水平同期信号Hsyncおよびクロック信
号CLKに基づいて、第1〜第12のイネーブル信号E
N1〜EN12、リセット信号RSTおよび出力タイミ
ング信号DOUTを出力する。
れぞれ各視差算出領域E1〜E12に対応しており、常
時はLレベルであり、入力される2次元映像信号の水平
垂直位置が対応する視差算出領域内にあるときに、Hレ
ベルとなる。第1〜第12のイネーブル信号EN1〜E
N12は、それぞれ第1〜第12の高周波成分積算レジ
スタ40〜62に、書き込み信号として入力される。ま
た、第1〜第12のイネーブル信号EN1〜EN12
は、選択回路38にも与えられる。選択回路38は、H
レベルのイネーブル信号に対応する入力データを選択し
て加算器34へ出力する。
おける各フィールドの有効映像開始タイミングで出力さ
れ、各高周波成分積算レジスタ40〜62に与えられ
る。各高周波成分積算レジスタ40〜62にリセット信
号RSTが入力されると、その内容が0にされる。
すように、2次元映像信号の垂直位置が、最下位の視差
算出領域E12の下端の垂直位置を越えた時点から一定
時間だけ、Hレベルとなる。出力タイミング信号DOU
Tは、MPU20に与えられる。
ば、図4に示すように、5つのDフリップフロップ64
〜72、入力値の2倍の出力を得るためのビットシフト
回路74、加算器76および減算器78からなる、−
1、0、2、0および−1のタップ係数を持つハイパス
フィルタが用いられる。
5に示すような入出力特性を有する回路が用いられる。
0〜Iaまでの入力に対しては、出力を0としているの
は、ノイズが高周波成分として抽出されないようにする
ためである。
号の高周波成分がハイパスフィルタ28によって抽出さ
れ、その絶対値が絶対値化回路30によって得られ、ス
ライス処理回路32によって高周波成分の絶対値からノ
イズが除去される。
ミングにリセット信号RSTが出力され、各高周波成分
積算レジスタ40〜62の内容が0にされる。2次元映
像信号の水平垂直位置が第1の視差算出領域E1内であ
る場合には、第1のイネーブル信号EN1がHレベルと
なるので、第1の高周波成分積算レジスタ40に保持さ
れている高周波成分が選択回路38を介して加算器34
に与えられるとともに、2次元映像信号におけるY信号
の高周波成分(スライス処理回路32の出力)が加算器
34に入力される。
タ40に保持されていた高周波成分と、2次元映像信号
におけるY信号の高周波成分とが加算器34によって加
算され、その加算結果が第1の高周波成分積算レジスタ
40に格納される。すなわち、2次元映像信号の水平垂
直位置が視差算出領域E1内である場合においては、視
差算出領域E1内の画素の高周波成分が積算されてい
き、その積算結果が第1の高周波成分積算レジスタ40
に蓄積される。
12毎の高周波成分が、それぞれ対応する高周波成分積
算レジスタ40〜62に蓄積される。そして、出力タイ
ミング信号DOUTがHレベルとなると、各高周波成分
積算レジスタ40〜62に蓄積されている各視差算出領
域E1〜E12毎の高周波成分が、MPU20にデータ
バスを介して与えられる。
構成が示される。
成しか示されていないが、R−Y信号およびB−Y信号
も同様に処理されるので、R−Y信号およびB−Y信号
についての説明は省略する。
視差量は、各視差算出領域E1〜E12の中心位置にお
ける視差量である。視差制御回路24では、各視差算出
領域E1〜E12の中心位置における視差量に基づい
て、画面18の各画素位置における視差量が求められ
る。そして、各画素位置の2次元映像信号から、その画
素位置における視差量に応じた視差を有する左目映像と
右目映像とを生成するために、各面素位置における視差
量に基づいて、左目映像用任意画素遅延FIFO120
および右目映像任意画素遅延FIFO122の読み出し
アドレスが制御される。
タイミング制御回路26、視差補間係数発生回路80、
視差量記憶手段82、視差選択回路84、第1〜第4の
乗算器86〜92および加算器94によって、生成され
る。
および垂直同期信号Vsyncは、タイミング制御回路
26に入力される。また、各水平期間の水平アドレスを
検出するためのクロック信号CLKもタイミング制御回
路26に入力される。
Hsync、垂直同期信号Vsyncおよびクロック信
号CLKに基づいて、2次元映像信号の絶対的水平位置
を表す水平アドレス信号HAD、2次元映像信号の絶対
的垂直位置を表す垂直アドレス信号VAD、2次元映像
信号の相対的水平位置を表す相対的水平位置信号HPO
Sおよび2次元映像信号の相対的垂直位置を表す相対的
垂直位置信号VPOSを生成して出力する。
対的垂直位置について説明する。
〜E12は、次のように設定されている。面面16全体
が図7に点線で示すように、4行5列の20個の領域
(以下、第1分割領域という)に分割されている。そし
て、左上端の第1分割領域の中心、右上端の第1分割領
域の中心、左下端の第1分割領域の中心および右下端の
第1分割領域の中心を4頂点とする四角形領域が3行4
列の12個の領域(以下、第2分割領域という)に分割
され、各第2分割領域が視差算出領域E1〜E12とし
て設定されている。
向の画素数がmとして表され、第1分割領域および第2
分割領域の垂直方向の画素数がnとして表されている。
2次元映像信号の相対的水平位置は、各第1分割領域の
左端を0とし、右端をmとして、0〜(m−1)で表さ
れる。2次元映像信号の相対的垂直位置は、各第1分割
領域の上端を0とし、下端をnとして、0〜(n−1)
で表される。
OSおよび相対的垂直位置VPOSは、視差補間係数発
生回路80に与えられる。視差補間係数発生回路80
は、相対的水平位置信号HPOS、相対的垂直位置信号
VPOSおよび次の数1に基づいて、第1の視差補間係
数KUL、第2の視差補間係数KUR、第3の視差補間
係数KDLおよび第4の視差補間係数KDRを生成して
出力する。
差量を生成する方法の基本的な考え方について、図8を
用いて説明する。水平アドレス信号HADおよび垂直ア
ドレス信号VADによって表されている水平垂直位置
(以下、注目位置という)が図8のPxyであるとす
る。注目位置Pxyにおける視差量を求める場合につい
て説明する。
た各視差算出領域E1〜E12における視差量のうちか
ら、注目位置Pxyが含まれる第1分割領域の4頂点、
この例ではPE1、PE2、PE5、PE6を中心とす
る視差算出領域E1、E2、E5、E6における視差量
が、それぞれUL、UR、DL、DRとして抽出され
る。すなわち、注目位置Pxyが含まれる第1分割領域
の4頂点のうち、左上の頂点を中心とする視差算出領域
E1の視差量が第1の視差量ULとして、右上の頂点を
中心とする視差算出領域E2の視差量が第2の視差量U
Rとして、左下の頂点を中心とする視差算出領域E5の
視差量が第3の視差量DLとして、右下の頂点を中心と
する視差算出領域E6の視差量が第4の視差量DRとし
て、それぞれ抽出される。
が、左上端の第1分割領域である場合のように、注目位
置が含まれる第1分割領域の4頂点のうち1つの頂点の
みが視差検出領域の中心に該当するような場合には、そ
の視差算出領域の視差量が、第1〜第4の視差量UL、
UR、DLおよびDRとして抽出される。
が、左上端の第1分割領域の右隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち下側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち上側の2つの頂点に対応する視差量
UL、URとしては、その下側の頂点を中心とする視差
算出領域の視差量が抽出される。
が、左上端の第1分割領域の下隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち右側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち左側の2つの頂点に対応する視差量
UL、DLとしては、その右側の頂点を中心とする視差
算出領域の視差量が抽出される。
が、右下端の第1分割領域の左隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち上側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち下側の2つの頂点に対応する視差量
DL、DRとしては、その上側の頂点を中心とする視差
算出領域の視差量が抽出される。
が、右下端の第1分割領域の上隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち左側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち右側の2つの頂点に対応する視差量
UR、DRとしては、その左側の頂点を中心とする視差
算出領域の視差量が抽出される。
UL、KUR、KDLおよびKDRが求められる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離△X
Rの比{(m−HPOS)/m}と、第1分割領域eの
垂直方向幅nに対する、注目位置Pxyから第1分割領
域eの下辺までの距離△YDの比{(n−VPOS)/
n)}との積によって求められる。すなわち、第1の視
差補間係数KULは、注目位置Pxyを含む第1分割領
域eの左上頂点PE1と注目位置Pxyとの距離が小さ
いほど大きくなる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離△X
Lの比(HPOS/m)と、第1分割領域eの垂直方向
幅nに対する、注目位置Pxyから第1分割領域eの下
辺までの距離△YDの比{(n−VPOS)/n}との
積によって求められる。すなわち、第2の視差補間係数
KURは、注目位置Pxyを含む第1分割領域eの右上
頂点PE2と注目位置Pxyとの距離が小さいほど大き
くなる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離△X
Rの比{(m−HPOS)/m}と、第1分割領域eの
垂直方向幅nに対する、注目位置Pxyから第1分割領
域eの上辺までの距離△YUの比(VPOS/n)との
積によって求められる。すなわち、第3の視差補間係数
KDLは、注目位置Pxyを含む第1分割領域eの左下
頂点PE5と注目位置Pxyとの距離が小さいほど大き
くなる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離△X
Lの比(HPOS/m)と、第1分割領域eの垂直方向
幅nに対する、注目位置Pxyから第1分割領域eの上
辺までの距雅△YUの比(VPOS/n)との積によっ
て求められる。すなわち、第4の視差補間係数KDR
は、注目位置Pxyを含む第1分割領域eの右下頂点P
E6と注目位置Pxyとの距離が小さいほど大きくな
る。
の視差量UL、UR、DL、DRに、それぞれ上記
(2)で算出された第1〜第4の視差補間係数KUL、
KUR、KDL、KDRがそれぞれ乗算される。そし
て、得られた4つの乗算値が加算されることによって、
注目位置Pxyにおける視差量が生成される。
差算出領域E1〜E12にそれぞれ対応して設けられた
第1〜第12の視差レジスタ96〜118を備えてい
る。第1〜第12の視差レジス夕96〜118には、そ
れぞれ、MPU20によって生成された各視差算出領域
E1〜E12における視差量が格納される。
回路84が設けられる。視差選択回路84には、各視差
レジスタ96〜118から視差量がそれぞれ与えられ
る。さらに、視差選択回路84には、タイミング制御回
路26から水平アドレス信号HADおよび垂直アドレス
信号VADが与えられる。
る規則にしたがって、水平アドレス信号HADおよび垂
直アドレス信号VADに対応する領域(図8の例では、
注目位置を含む第1領域の左上頂点を中心とする視差算
出領域)における視差量を、第1の視差量ULとして選
択して出力する。さらに、視差選択回路84は、図9
(b)に示される規則にしたがって、水平アドレス信号
HADおよび垂直アドレス信号VADに対応する領域
(図8の例では、注目位置を含む第1領域の右上頂点を
中心とする視差算出領域)における視差量を、第2の視
差量URとして選択して出力する。
に示される規則にしたがって、水平アドレス信号HAD
および垂直アドレス信号VADに対応する領域(図8の
例では、注目位置を含む第1領域の左下頂点を中心とす
る視差算出領域)における視差量を、第3の視差量DL
として選択して出力する。さらに、視差選択回路84
は、図9(d)に示される規則にしたがって、水平アド
レス信号HADおよび垂直アドレス信号VADに対応す
る領域(図8の例では、注目位置を含む第1領域の右下
頂点を中心とする視差算出領域)における視差量を、第
4の視差量DRとして選択して出力する。図9におい
て、たとえば、0〜mのように、a〜bで表現されてい
る記号”〜”は、a以上b未満を意味する記号として用
いられている。
の視差量UL、第2の視差量UR、第3の視差量DLお
よび第4の視差量DRは、それぞれ第1、第2、第3お
よび第4の乗算器86、88、90および92に入力さ
れる。
6、88、90および92には、それぞれ視差補間係数
発生回路80からの第1の視差補間係数KUL、第2の
視差補間係数KUR、第3の視差補間係数KDLおよび
第4の視差補間係数KDRも入力される。
第1の視差補間係数KULを乗算する。第2の乗算器8
8は、第2の視差量URに第2の視差補間係数KURを
乗算する。第3の乗算器90は、第3の視差量DLに第
3の視差補間係数KDLを乗算する。第4の乗算器92
は、第4の視差量DRに第4の視差補間係数KDRを乗
算する。
加算器94によって加算される。これにより、注目位置
における視差量PRが得られる。
よび右目映像任意画素遅延FIFO122は、1画素よ
り小さい単位での水平位相制御を行なうために、それぞ
れ、2つのラインメモリ120a、120b、および1
22a、122bを有する。ラインメモリ120a、1
20b、122aおよび122bには、それぞれ、フレ
ームメモリ22からのY信号が入力されるとともに、撮
像装置12からのクロック信号CLKが入力される。
平アドレス信号HADは、標準アドレス発生回路124
にも入力される。標準アドレス発生回路124は、ライ
ンメモリ120a、120b、122aおよび122b
における標準書き込みアドレスWADおよび標準読み出
しアドレスRADを生成して出力する。また、標準アド
レス発生回路124は、2D/3D映像変換装置10に
よって得られる左目映像信号および右目映像信号に付加
される同期信号Csyncをも出力する。この同期信号
Csyncによって表される水平同期信号は、2次元映
像信号の水平同期信号Hsyncより、所定クロック数
分遅れた信号となる。
出しアドレスによって規定される基準水平位相に対し
て、左目映像用任意画素遅延FIFO120および右目
映像任意画素遅延FIFO122に入力される映像信号
の水平位相を進めたり遅らせたりできるようにするため
に、標準書き込みアドレスWADに対して、所定クロッ
ク数分遅れている。標準アドレス発生回路124から出
力される標準書き込みアドレスWADは、左目映像用任
意画素遅延FIFO120内の2つのラインメモリ12
0a、120b、および右目映像任意画素遅延FIFO
122内の2つのラインメモリ122a、122bに、
書き込みアドレスを示す書き込み制御信号として入力さ
れる。
る標準アドレスRADは、加算器126および減算器1
28にそれぞれ入力される。加算器126および減算器
128には、加算器94から出力される注目位置の視差
量PRも入力される。
RADに視差量PRが加算される。これにより、左目映
像用読み出しアドレスPRLが得られる。
部PRL1は、左目映像用任意画素遅延FIFO120
内の第1のラインメモリ120aに読み出しアドレスR
ADL1として入力される。したがって、第1のライン
メモリ120aのアドレスRADL1に対応するアドレ
スからY信号が読み出される。読み出されたY信号は、
第1の左目映像用乗算器130に入力される。
部PRL1に1が加算されたアドレス値は、左目映像用
任意画素遅延FIFO120内の第2のラインメモリ1
20bに読み出しアドレスRADL2として入力され
る。したがって、第2のラインメモリ120bのアドレ
スRADL2に対応するアドレスからY信号が読み出さ
れる。読み出されたY信号は、第2の左目映像用乗算器
132に入力される。
出しアドレスRADL1と、第2のラインメモリ120
bに対する読み出しアドレスRADL2とは、1だけ異
なっているので、第1のラインメモリ120aから読み
出されたY信号と、第2のラインメモリ120bから読
み出されたY信号とは、水平位置が1だけずれた信号と
なる。
部PRL2は、第2の左目映像補間係数として第2の左
目映像用乗算器132に入力される。左目映像用読み出
しアドレスPRLの小数部PRL2を1から減算した値
(1−PRL2)は、第1の左目映像補間係数として第
1の左目映像用乗算器130に入力される。
0では、第1のラインメモリ120aから読み出された
Y信号に第1の左目映像補間係数(1−PRL2)が乗
算される。第2の左目映像用乗算器132では、第2の
ラインメモリ120bから読み出されたY信号に第2の
左目映像補間係数PRL2が乗算される。そして、第1
の左目映像用乗算器130および第2の右目映像用乗算
器132によってそれぞれ得られたY信号は加算器13
4で加算された後、左目映像用Y信号YL−OUTとし
て、出力される。
によって規定される基準水平位相に対して、水平位相量
が注目位置における視差量に応じた量だけ遅れた左目映
像用Y信号が得られる。
RADから視差量PRが減算される。これにより、右目
映像用読み出しアドレスPRRが得られる。
部PRR1は、右目映像用任意画素遅延FIFO122
内の第1のラインメモリ122aに読み出しアドレスR
ADR1として入力される。したがって、第1のライン
メモリ122aのアドレスRADR1に対応するアドレ
スからY信号が読み出される。読み出されたY信号は、
第1の右目映像用乗算器136に入力される。
部PRR1に1が加算されたアドレス値は、右目映像用
任意画素遅延FIFO122内の第2のラインメモリ1
22bに読み出しアドレスRADR2として入力され
る。したがって、第2のラインメモリ122bのアドレ
スRADR2に対応するアドレスからY信号が読み出さ
れる。読み出されたY信号は、第2の右目映像用乗算器
138に入力される。
出しアドレスRADR1と、第2のラインメモリ122
bに対する読み出しアドレスRADR2とは、1だけ異
なっているので、第1のラインメモリ122aから読み
出されたY信号と、第2のラインメモリ122bから読
み出されたY信号とは、水平位置が1だけずれた信号と
なる。
部PRR2は、第2の右目映像補間係数として第2の右
目映像用乗算器138に入力される。右目映像用読み出
しアドレスPRRの小数部PRR2を1から減算した値
(1−PRR2)は、第1の右目映像補間係数として第
1の右目映像用乗算器136に入力される。
6では、第1のラインメモリ122aから読み出された
Y信号に第1の右目映像補間係数(1−PRR2)が乗
算される。第2の右目映像用乗算器138では、第2の
ラインメモリ122bから読み出されたY信号に第2の
右目映像補間係数PRR2が乗算される。そして、各乗
算器136、138によって得られたY信号は加算器1
40で加算された後、右目映像用Y信号YR−OUTと
して、出力される。
によって規定される基準水平位相に対して、水平位相量
が注目位置における視差量に応じた量だけ進んだ右目映
像用Y信号が得られる。
場合の、各部の信号を示している。
出力される左目映像用読み出しアドレスPRLと、減算
器128から出力される右目映像用読み出しアドレスP
RRとは、ともに標準読み出しアドレスRADと等しい
小数部のない整数部のみからなるアドレスとなる。
FO120内の第1のラインメモリ120aに対する読
み出しアドレスRADL1と、および右目映像用任意画
素遅延FIFO122内の第1のラインメモリ122a
に対する読み出しアドレスRADR1は、それぞれ標準
読み出しアドレスRADと等しいアドレスとなる。
20内の第2のラインメモリ120bに対する読み出し
アドレスRADL2、および右目映像用任意画素遅延F
IFO122内の第2のラインノモリ122bに対する
読み出しアドレスRADR2は、それぞれ標準読み出し
アドレスRADより1だけ大きい値となる。
L2)および第1の右目映像補間係数(1−PRR2)
はそれぞれ1となり、第2の左目映像補間係数PRL2
および第2の右目映像補間係数PRR2はそれぞれ0と
なる。
O120内の第1のラインメモリ120aの標準アドレ
スRADに対応するアドレスから読み出されたY信号が
加算器134から左目用Y信号YL−OUTとして出力
され、右目映像用任意面素遅延FIFO122内の第1
のラインメモリ122aの標準アドレスRADに対応す
るアドレスから読み出されたY信号が加算器140から
右目映像用Y信号YR−OUTとして出力される。すな
わち、水平方向の位相ずれ量が同じ2つのY信号、すな
わち視差のない2つのY信号が左目映像用Y信号および
右目映像用Y信号として出力される。
込みアドレスWADが20であり、上記注目位置に対す
る標準読み出しアドレスRADが10であり、上記注目
位置における視差量が1.2の場合の、各アドレス値の
具体例を示している。図12は、その際の各部の信号を
示している。
る左映像用読み出しアドレスPRLは、11.2とな
り、その整数部PRL1は11となり、その小数部PR
L2は0.2となる。
FO120内の第1のラインメモリ120aに対する読
み出しアドレスRADL1は11となり、第2のライン
メモリ120bに対する読み出しアドレスRADL2は
12となる。また、第1の左目映像補間係数KL1{=
(1−PRL2)}は0.8となり、第2の左目映像補
間係数KL2(=PRL2)は0.2となる。
FO120内の第1のラインメモリ120aのアドレス
11からY信号(Y11)が読み出され、第1の左目映像
用乗算器130からは読み出されたY信号(Y11)の
0.8倍の信号(0.8×Y11)が出力される。
20内の第2のラインメモリ120bのアドレス12か
らY信号(Y12)が読み出され、第2の左目映像用乗算
器132からは読み出されたY信号(Y12)の0.2倍
の信号(0.2×Y12)が出力される。そして、加算器
134からは、0.8×Y11+0.2×Y12に相当する
左目映像用Y信号YL−OUTが出力される。すなわ
ち、読み出しアドレス11.2に相当するY信号が、左
目映像用Y信号YL−OUTとして出力される。
み出しアドレスPRRは、8.8となり、その整数部P
RR1は8となり、その小数部PRR2は0.8とな
る。
FO122内の第1のラインメモリ122aに対する読
み出しアドレスRADR1は8となり、第2のラインメ
モリ122bに対する読み出しアドレスRADR2は9
となる。また、第1の右目映像補間係数KR1{=(1
−PRR2)}は0.2となり、第2の右目映像補間係
数KR2(=PRR2)は0.8となる。
FO122内の第1のラインメモリ122aのアドレス
8からY信号(Y8)が読み出され、第1の右目映像用
乗算器136からは読み出されたY信号(Y8)の0.
2倍の信号(0.2×Y8)が出力される。
22内の第2のラインメモリ122bのアドレス9から
Y信号(Y9)が読み出され、第2の右目映像用乗算器
138からは読み出されたY信号(Y9)の0.8倍の
信号(0.8×Y9)が出力される。そして、加算器1
40からは、0.2×Y8+0.8×Y9に相当する右目
映像用Y信号YR−OUTが出力される。すなわち、読
み出しアドレス8.8に相当するY信号が、右目映像用
Y信号YR−OUTとして出力される。
差、すなわち、視差量1.2の2倍の視差を互いに有す
る左目映像および右目映像が得られる。
装置10の主要な動作の一例について説明する。なお、
ここでは、合焦距離をN回変更するものとする。
における高周波成分を積算した結果を用いて、撮影時の
合焦距離を決定する場合について、図13を参照して説
明する。なお、この方法は、撮影すべき被写体が画面1
8の中央に存在する確率が高いことに着目したものであ
る。
4の焦点が距離1に合わせられ(ステップS1)、撮像
装置12によって被写体が撮影され、そのとき得られた
2次元映像信号から、合焦距離1における各視差算出領
域E1〜E12の高周波成分が高周波成分検出部16に
よって検出される(ステップS3)。ついで、合焦距離
1における、画面18の中央部分すなわち視差算出領域
E6、E7、E10、E11の各高周波成分がMPU2
0によって積算され、合焦距離1における高周波成分積
算値が算出される(ステップS5)。
離が変更され、次の距離nに焦点が合わせられる(ステ
ップS7)。そして、撮像装置12によって被写体が撮
影され、そのとき得られた2次元映像信号から、合焦距
離nにおける各視差算出領域E1〜E12の高周波成分
が高周波成分検出部16によって検出される(ステップ
S9)。ついで、合焦距離nにおける、画面18の中央
部分すなわち視差算出領域E6、E7、E10、E11
の各高周波成分がMPU20によって積算され、合焦距
離nにおける高周波成分積算値が算出される(ステップ
S11)。
り返され、すべての合焦距離について高周波成分および
高周波成分積算値が得られれば、MPU20によってN
個の合焦距離の各高周波成分積算値が比較され、高周波
成分積算値が最大である合焦距離が検出され、その距離
に焦点が合わせられる(ステップS13)。そして、撮
像装置12によって被写体が撮影され、そのとき得られ
た2次元映像信号がフレームメモリ22に書き込まれる
(ステップS15)。
周波成分が最大となる合焦距離がMPU20によって検
出され、検出された合焦距離が被写体距離となり(ステ
ップS17)、各視差算出領域E1〜E12毎に求めら
れた被写体距離に基づいて、左目映像と右目映像との視
差量が算出される(ステップS19)。
に基づいて視差量を算出する方法としては、たとえば、
撮像装置12に最も近い視差算出領域の視差量を0と
し、最も遠い視差算出領域の視差量をLとする。その他
の各視差算出領域の視差量は、最も近い被写体距離から
該視差算出領域の被写体距離までのステップ数に比例し
た値となる。
差制御回路24に送られ、また、フレームメモリ22か
ら2次元映像信号が読み出され、視差制御回路24に与
えられる(ステップS21)。
処理によって左目映像信号および右目映像信号が生成さ
れる。
る。
元映像を生成する場合を例に説明する。
おいて7段階の合焦距離毎の高周波成分が高周波成分検
出部16によって検出される。各視差算出領域E1〜E
12毎の合焦距離に対する高周波成分の変化は図15に
示すようになる。
ぞれf1、f2、f3、・・・、f7とすると、各視差
算出領域E1〜E12の被写体距離は、視差算出領域E
1から順に、f6、f6、f6、f7、f4、f3、f
5、f5、f2、f2、f4、f4となる。したがっ
て、最も近い被写体距離は視差算出領域E9およびE1
0のf2であり、視差量は0とされる。一方、最も遠い
被写体距離は視差算出領域E4のf7であり、視差量は
Lとされる。その他の各視差算出領域の視差量は、最も
近い被写体距離f2から該視差算出領域の被写体距離ま
でのステップ数に比例した値となる。
写体距離はf4となり、最も近い被写体距離f2からの
ステップ数は「2」である。また、最も近い被写体距離
f2から最も遠い被写体距離f7までのステップ数は
「5」である。したがって、この場合の視差量=L×2
/5となる。
の立体視位置を立体表示装置の管面位置に設定し、最も
遠い被写体距離の視差量Lを大きくすれば、管面位置か
らの奥行きを大きくすることができ、視差量Lによって
3次元映像の奥行き量を調節することができる。
領域E6、E7、E10、E11の各高周波成分がMP
U20によって積算され高周波成分積算値が算出され
る。合焦距離毎の計7個の高周波成分積算値の中から最
大の高周波成分積算値が検出された結果、ここでは、図
16に示すように、3番目に近い合焦距離f3が撮影時
の合焦距離すなわち最終合焦距離となり、ピントがその
合焦距離に合わせられ、再び被写体が撮影される。その
後、上述した処理によって、左目映像信号および右目映
像信号が得られる。
置10によれば、従来とは異なり、異なる2視点の映像
を得るための光学的な手段やカメラすなわち撮像装置を
移動させるための機構を必要とせず、1台の撮像装置1
2で3次元映像を得ることができるので、低コストかつ
コンパクトな2D/3D映像変換装置を実現できる。ま
た、元の2次元映像信号に対して時間的に遅延した2次
元映像信号を生成するためのフィールドメモリが不要と
なり、コストの低廉化がさらに図れる。
実際の距離を求めることができるので、従来よりも精度
よく被写体までの距離を求めることができる。
れば、2次元映像信号によって表されるもとの画像が静
止画像であっても3次元映像を得ることができる。
の高周波成分を重み付けして積算し、その結果を用いて
撮影時の合焦距離を決定する場合について、図17を参
照して説明する。
4の焦点が距離1に合わせられ(ステップS31)、撮
像装置12によって被写体が撮影され、そのとき得られ
た2次元映像信号から、合焦距離1における各視差算出
領域E1〜E12の高周波成分が高周波成分検出部16
によって検出される(ステップS33)。ついで、合焦
距離1における、画面18の全視差算出領域E1〜E1
2の高周波成分がMPU20によって重み付けされて積
算され、合焦距離1における高周波成分積算値が算出さ
れる(ステップS35)。
距離が変更され、次の距離nに焦点が合わせられる(ス
テップS37)。そして、撮像装置12によって被写体
が撮影され、そのとき得られた2次元映像信号から、合
焦距離nにおける各視差算出領域E1〜E12の高周波
成分が高周波成分検出部16によって検出される(ステ
ップS39)。ついで、合焦距離nにおける、画面18
の全視差算出領域E1〜E12の各高周波成分がMPU
20によって積算され、合焦距離nにおける高周波成分
積算値が算出される(ステップS41)。
繰り返され、すべての合焦距離について高周波成分およ
び高周波成分積算値が得られれば、MPU20によって
N個の合焦距離の各高周波成分積算値が比較され、高周
波成分積算値が最大である合焦距離が検出され、その距
離に焦点が合わせられる(ステップS43)。そして、
撮像装置12によって被写体が撮影され、そのとき得ら
れた2次元映像信号がフレームメモリ22に書き込まれ
る(ステップS45)。
周波成分が最大となる合焦距離がMPU20によって検
出され、検出された合焦距離が被写体距離となり(ステ
ップS47)、図13の場合と同様に、各視差算出領域
E1〜E12毎に求められた被写体距離に基づいて、左
目映像と右目映像との視差量が算出される(ステップS
49)。
差制御回路24に送られ、また、フレームメモリ22か
ら2次元映像信号が読み出され、視差制御回路24に与
えられる(ステップS51)。
処理によって左目映像信号および右目映像信号が生成さ
れる。
る。
元映像を生成する場合、各視差算出領域E1〜E12毎
の視差量は、図15に示すデータに基づいて生成され
る。この場合の動作は上述したので、その動作について
の重複する説明は省略する。
出領域E1〜E12の高周波成分がMPU20によって
重み付けされて積算され高周波成分積算値が算出され
る。重み付け係数はたとえば図18に示すように設定さ
れ、ここでは中央部分の視差算出領域の重み付け係数が
外側の視差算出領域のそれよりも大きく設定されてい
る。合焦距離毎の計7個の高周波成分積算値の中から最
大の高周波成分積算値が検出された結果、図18に示す
ように、3番目に近い合焦距離f3が撮影時の合焦距離
すなわち最終合焦距離となり、ピントがその合焦距離に
合わせられて、再び被写体が撮影される。その後、上述
した処理によって、左目映像信号および右目映像信号が
得られる。
置10によれば、先の動作例と同様の効果が得られる
他、より正確に撮影すべき被写体までの距離を求めるこ
とができる。
写体までの距離を正確に検出できるので、低コストで解
像度の高い3次元映像が得られる。
る。
ある。
る。
ある。
解図である。
するための図解図である。
ある。
チャートである。
制御回路に付記したブロック図である。
イムチャートである。
ある。
る。
波成分の変化を示すグラフである。
めの図解図およびグラフである。
である。
ための図解図およびグラフである。
Claims (12)
- 【請求項1】 合焦距離を変更できかつ被写体を撮影し
て2次元映像信号を得る撮像手段、 前記複数の合焦距離毎に、画面内に設定された複数の視
差算出領域のそれぞれについて前記2次元映像信号の高
周波成分を検出する高周波成分検出手段、 前記複数の合焦距離毎に、所定の視差算出領域の各高周
波成分を積算して高周波成分積算値を算出する積算値算
出手段、 前記高周波成分積算値が最大である合焦距離の2次元映
像信号を記憶する記憶手段、 各視差算出領域毎に、前記高周波成分に基づいて被写体
距離を検出する被写体距離検出手段、 検出された前記被写体距離に基づいて前記画面内の所定
単位領域毎の視差情報を生成する視差情報生成手段、お
よび前記記憶手段に記憶された前記2次元映像信号の前
記各所定単位領域内の信号から、その所定単位領域に対
応する前記視差情報に応じた水平位相量を有する第1映
像信号と第2映像信号とを生成する位相制御手段を備え
る、2次元映像を3次元映像に変換する装置。 - 【請求項2】 前記被写体距離検出手段は、前記高周波
成分が最大である合焦距離を前記被写体距離とする手段
を含む、請求項1に記載の2次元映像を3次元映像に変
換する装置。 - 【請求項3】 前記積算値算出手段は、前記画面の中央
部分の視差算出領域の各高周波成分を積算して前記高周
波成分積算値を算出する手段を含む、請求項1または2
に記載の2次元映像を3次元映像に変換する装置。 - 【請求項4】 前記積算値算出手段は、前記画面の各視
差算出領域の高周波成分を重み付けして積算し前記高周
波成分積算値を算出する手段を含む、請求項1または2
に記載の2次元映像を3次元映像に変換する装置。 - 【請求項5】 前記位相制御手段は、 前記2次元映像信号を1水平ライン分以下の複数画素数
分記憶できる容量を有し、かつ前記2次元映像信号を一
次的に記憶する第1記憶手段、 前記2次元映像信号を1水平ライン分以下の複数画素数
分記憶できる容量を有し、かつ前記2次元映像信号を一
次的に記憶する第2記憶手段、 前記第1記憶手段の読み出しアドレスを、前記2次元映
像信号の水平垂直位置に応じて決定された標準読み出し
アドレスに対して、前記2次元映像信号の水平垂直位置
が属する前記所定単位領域に対応する前記視差情報に基
づいて制御することにより、前記標準読み出しアドレス
によって規定される基準水平位相に対して前記視差情報
に応じた量だけ水平位相が進んだ第1映像信号を生成す
る第1の読み出しアドレス制御手段、ならびに前記第2
記憶手段の読み出しアドレスを、前記標準読み出しアド
レスに対して、前記2次元映像信号の水平垂直位置が属
する前記所定単位領域に対応する前記視差情報に基づい
て制御することにより、前記標準読み出しアドレスによ
って規定される基準水平位相に対して前記視差情報に応
じた量だけ水平位相が遅れた第2映像信号を生成する第
2の読み出しアドレス制御手段を含む、請求項1ないし
4のいずれかに記載の2次元映像を3次元映像に変換す
る装置。 - 【請求項6】 前記所定単位領域は1画素単位の領域で
ある、請求項1ないし5のいずれかに記載の2次元映像
を3次元映像に変換する装置。 - 【請求項7】 撮像手段によって複数の合焦距離毎に被
写体を撮影して2次元映像信号を得る第1ステップ、 前記複数の合焦距離毎に、画面内に設定された複数の視
差算出領域のそれぞれについて前記2次元映像信号の高
周波成分を検出する第2ステップ、 前記複数の合焦距離毎に、所定の視差算出領域の各高周
波成分を積算して高周波成分積算値を算出する第3ステ
ップ、 前記高周波成分積算値が最大である焦点距離の2次元映
像信号を記憶手段に記憶する第4ステップ、 各視差算出領域毎に、前記高周波成分に基づいて被写体
距離を検出する第5ステップ、 検出された前記被写体距離に基づいて前記画面内の所定
単位領域毎の視差情報を生成する第6ステップ、および
前記記憶手段に記憶された前記2次元映像信号の前記各
所定単位領域内の信号から、その所定単位領域に対応す
る前記視差情報に応じた水平位相量を有する第1映像信
号と第2映像信号とを生成する第7ステップを備える、
2次元映像を3次元映像に変換する方法。 - 【請求項8】 前記第5ステップは、前記高周波成分が
最大である合焦距離を前記被写体距離とするステップを
含む、請求項7に記載の2次元映像を3次元映像に変換
する方法。 - 【請求項9】 前記第3ステップは、前記画面の中央部
分の視差算出領域の各高周波成分を積算して前記高周波
成分積算値を算出するステップを含む、請求項7または
8に記載の2次元映像を3次元映像に変換する方法。 - 【請求項10】 前記第3ステップは、前記画面の各視
差算出領域の高周波成分を重み付けして積算し前記高周
波成分積算値を算出するステップを含む、請求項7また
は8に記載の2次元映像を3次元映像に変換する方法。 - 【請求項11】 前記第7ステップは、 前記2次元映像信号を1水平ライン分以下の複数画素数
分記憶できる容量を有する第1記憶手段および第2記憶
手段に、それぞれ前記2次元映像信号を一次的に記憶す
るステップ、 前記第1記憶手段の読み出しアドレスを、前記2次元映
像信号の水平垂直位置に応じて決定された標準読み出し
アドレスに対して、前記2次元映像信号の水平垂直位置
が属する前記所定単位領域に対応する前記視差情報に基
づいて制御することにより、前記標準読み出しアドレス
によって規定される基準水平位相に対して前記視差情報
に応じた量だけ水平位相が進んだ第1映像信号を生成す
るステップ、ならびに前記第2記憶手段の読み出しアド
レスを、前記標準読み出しアドレスに対して、前記2次
元映像信号の水平垂直位置が属する前記所定単位領域に
対応する前記視差情報に基づいて制御することにより、
前記標準読み出しアドレスによって規定される基準水平
位相に対して前記視差情報に応じた量だけ水平位相が遅
れた第2映像信号を生成するステップを含む、請求項7
ないし10のいずれかに記載の2次元映像を3次元映像
に変換する方法。 - 【請求項12】 前記所定単位領域は1画素単位の領域
である、請求項7ないし11のいずれかに記載の2次元
映像を3次元映像に変換する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32529397A JP3500056B2 (ja) | 1997-11-10 | 1997-11-10 | 2次元映像を3次元映像に変換する装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32529397A JP3500056B2 (ja) | 1997-11-10 | 1997-11-10 | 2次元映像を3次元映像に変換する装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11146423A true JPH11146423A (ja) | 1999-05-28 |
JP3500056B2 JP3500056B2 (ja) | 2004-02-23 |
Family
ID=18175205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32529397A Expired - Fee Related JP3500056B2 (ja) | 1997-11-10 | 1997-11-10 | 2次元映像を3次元映像に変換する装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3500056B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1489857A1 (en) * | 2002-03-27 | 2004-12-22 | Sanyo Electric Co., Ltd. | 3-dimensional image processing method and device |
JP2009517951A (ja) * | 2005-12-02 | 2009-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 立体画像表示方法、2次元画像データの入力から3次元画像データを生成する方法及び装置 |
WO2010140332A1 (ja) * | 2009-06-01 | 2010-12-09 | パナソニック株式会社 | 立体画像表示装置 |
KR101082545B1 (ko) | 2010-01-28 | 2011-11-10 | 주식회사 팬택 | 영상 변환 기능을 구비한 이동통신 단말기 |
JP2012015610A (ja) * | 2010-06-29 | 2012-01-19 | Fujitsu Semiconductor Ltd | 処理装置 |
JP2012028954A (ja) * | 2010-07-21 | 2012-02-09 | Sharp Corp | 3次元撮像装置および電子情報機器 |
US8131064B2 (en) | 2002-03-27 | 2012-03-06 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
KR101204864B1 (ko) | 2011-01-11 | 2012-11-26 | 주식회사 인트로메딕 | 입체 영상 생성 장치 |
WO2013042440A1 (ja) * | 2011-09-21 | 2013-03-28 | 富士フイルム株式会社 | 画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 |
JP2013192229A (ja) * | 2007-03-19 | 2013-09-26 | Sony Corp | 2次元/3次元デジタル情報取得及び表示装置 |
-
1997
- 1997-11-10 JP JP32529397A patent/JP3500056B2/ja not_active Expired - Fee Related
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1489857A1 (en) * | 2002-03-27 | 2004-12-22 | Sanyo Electric Co., Ltd. | 3-dimensional image processing method and device |
US8472702B2 (en) | 2002-03-27 | 2013-06-25 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8417024B2 (en) | 2002-03-27 | 2013-04-09 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8577127B2 (en) | 2002-03-27 | 2013-11-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8577128B2 (en) | 2002-03-27 | 2013-11-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8559703B2 (en) | 2002-03-27 | 2013-10-15 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
EP1489857A4 (en) * | 2002-03-27 | 2007-07-25 | Sanyo Electric Co | THREE-DIMENSIONAL IMAGE PROCESSING METHOD AND DEVICE |
US8879824B2 (en) | 2002-03-27 | 2014-11-04 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8724886B2 (en) | 2002-03-27 | 2014-05-13 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8254668B2 (en) | 2002-03-27 | 2012-08-28 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8131064B2 (en) | 2002-03-27 | 2012-03-06 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US8369607B2 (en) | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
JP2009517951A (ja) * | 2005-12-02 | 2009-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 立体画像表示方法、2次元画像データの入力から3次元画像データを生成する方法及び装置 |
JP2013192229A (ja) * | 2007-03-19 | 2013-09-26 | Sony Corp | 2次元/3次元デジタル情報取得及び表示装置 |
CN102124749A (zh) * | 2009-06-01 | 2011-07-13 | 松下电器产业株式会社 | 立体图像显示装置 |
US8704881B2 (en) | 2009-06-01 | 2014-04-22 | Panasonic Corporation | Stereoscopic image display apparatus |
WO2010140332A1 (ja) * | 2009-06-01 | 2010-12-09 | パナソニック株式会社 | 立体画像表示装置 |
KR101082545B1 (ko) | 2010-01-28 | 2011-11-10 | 주식회사 팬택 | 영상 변환 기능을 구비한 이동통신 단말기 |
JP2012015610A (ja) * | 2010-06-29 | 2012-01-19 | Fujitsu Semiconductor Ltd | 処理装置 |
US8885025B2 (en) | 2010-06-29 | 2014-11-11 | Fujitsu Semiconductor Limited | Processor |
JP2012028954A (ja) * | 2010-07-21 | 2012-02-09 | Sharp Corp | 3次元撮像装置および電子情報機器 |
KR101204864B1 (ko) | 2011-01-11 | 2012-11-26 | 주식회사 인트로메딕 | 입체 영상 생성 장치 |
WO2013042440A1 (ja) * | 2011-09-21 | 2013-03-28 | 富士フイルム株式会社 | 画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 |
JP5544047B2 (ja) * | 2011-09-21 | 2014-07-09 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 |
US9247227B2 (en) | 2011-09-21 | 2016-01-26 | Fujifilm Corporation | Correction of the stereoscopic effect of multiple images for stereoscope view |
Also Published As
Publication number | Publication date |
---|---|
JP3500056B2 (ja) | 2004-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100445619B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법 | |
US8310538B2 (en) | Imaging apparatus, method, program, and recording medium used in the program | |
JP3005474B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
KR101856805B1 (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
US9332195B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
CN102308590A (zh) | 三维图像输出装置和三维图像输出方法 | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5467993B2 (ja) | 画像処理装置、複眼デジタルカメラ、及びプログラム | |
JP2015073185A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
JP3500056B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP3276931B2 (ja) | 3次元映像の立体感調整方法及び立体感調整装置 | |
JP3235776B2 (ja) | 立体感調整方法および立体感調整装置 | |
JP2009168536A (ja) | 3次元形状測定装置および方法、3次元形状再生装置および方法並びにプログラム | |
JPH10191397A (ja) | 意図適応型の2次元映像を3次元映像に変換する装置 | |
JP2016181023A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JPH118862A (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP3957343B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP6639276B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP2000092516A (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP3485764B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP3454684B2 (ja) | 2次元映像を3次元映像に変換する装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081205 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081205 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091205 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |