JP2004104425A - 視差分布測定方法、視差分布測定装置および視差分布測定プログラム - Google Patents
視差分布測定方法、視差分布測定装置および視差分布測定プログラム Download PDFInfo
- Publication number
- JP2004104425A JP2004104425A JP2002263084A JP2002263084A JP2004104425A JP 2004104425 A JP2004104425 A JP 2004104425A JP 2002263084 A JP2002263084 A JP 2002263084A JP 2002263084 A JP2002263084 A JP 2002263084A JP 2004104425 A JP2004104425 A JP 2004104425A
- Authority
- JP
- Japan
- Prior art keywords
- peak value
- calculated
- value
- parallax
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】被写体によらず、正確な視差量を算出し視差分布を測定して、二眼立体映像の見やすさ、見にくさを調べることができる視差分布測定方法、装置、プログラムを提供する。
【解決手段】視差分布を測定する視差分布測定装置1は、二眼立体映像を構成する左右フレームをブロック画像に分割するブロック化手段3と、分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とする窓手段5と、端部影響除去ブロック画像内の画素数を算出して、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段7と、位相相関平面の画素数の最大ピーク値を算出し、視差量を求める最大ピーク値算出手段9と、ブロック画像毎の視差量に基づいて、フレームの視差分布を測定するフレーム内統計処理手段19と、を備えた。
【選択図】 図1
【解決手段】視差分布を測定する視差分布測定装置1は、二眼立体映像を構成する左右フレームをブロック画像に分割するブロック化手段3と、分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とする窓手段5と、端部影響除去ブロック画像内の画素数を算出して、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段7と、位相相関平面の画素数の最大ピーク値を算出し、視差量を求める最大ピーク値算出手段9と、ブロック画像毎の視差量に基づいて、フレームの視差分布を測定するフレーム内統計処理手段19と、を備えた。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、二眼立体映像における両眼視差量の分布である視差分布を測定する視差分布測定方法、視差分布測定装置および視差分布測定プログラムに関する。
【0002】
【従来の技術】
従来、二眼立体映像から視差量を検出する方法として、以下に示すものが提案されている。
(1)左右映像を小さなブロックに分割し、ブロックマッチング法により左右映像から視差量を測定する方法。
【0003】
(2)このブロックマッチング方法をベースに、さらに視差量の測定精度を上昇させるために、左右映像の対応するブロック内の映像を変形させてマッチングを取るラバーマッチング法(なお、ラバーマッチング法の詳細な説明は、非特許文献1参照のこと)。
【0004】
これら(1)、(2)等の方法は、比較的小さなブロックに分割して、このブロック毎の一つの視差量を測定するものである。これらの方法は、主に対応する左右映像の完全な対応付けを行うことを目的にしており、測定したブロック毎の視差量に基づき、左右映像の画素毎の対応付けを行うものである。
【0005】
ところで、視差量を測定するのと同様に、動画像に対して、二つの連続する画像中の各画素の対応付けを測定することで、動画像に含まれている被写体(オブジェクト)の各部分の動き量を算出し、この動き量をテレビジョン方式変換やテレビジョン映像の帯域圧縮に利用する例が数多くある。これらの例の中で、テレビジョン方式変換における動き量の算出(動き検出)では、位相相関法(なお、位相相関法の詳細な説明は、非特許文献2を参照のこと)と呼ばれる方法が使用されているものがある。
ちなみに、位相相関法は、テレビジョンカメラのレジストレーションのずれの検出にも使用されている例がある。
【0006】
【非特許文献1】
蓼沼他「立体画像の左右対応点探索法の最適化」;テレビジョン学会誌 Vol48,No.10,pp1222〜1229(1994)
【非特許文献2】
G.A.Thomas:“Television Motion Measurement for Other Application”,BBC Research Department Repo
rt(Sep.1987)
【0007】
【発明が解決しようとする課題】
しかしながら、従来の方法(特にブロックマッチング方法)では、各画像に対応付けを行って、視差測定を目的としており、小さなブロックで視差測定を行うので、各画像中の絵柄(被写体)に起因して誤った対応付けが発生しやすかった。このような方法は、二眼立体映像の見やすさ、見にくさを調べる(視差量を測定する)目的の障害となり、一方、位相相関方法を用いた場合にも絵柄(被写体)に起因して視差測定の誤りが発生するという問題がある。
【0008】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、被写体によらず、正確な視差量を算出し視差分布を測定することで、二眼立体映像の見やすさ、見にくさを調べることができる視差分布測定方法、視差分布測定装置および視差分布測定プログラムを提供することにある。
【0009】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項1記載の視差分布測定方法は、二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定方法であって、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割ステップと、このフレーム分割ステップにおいて分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去ステップと、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出ステップと、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、ブロック画像毎の視差量を算出する最大ピーク値算出ステップと、この最大ピーク値算出ステップにおいて算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定ステップと、を含むことを特徴とする。
【0010】
この方法によれば、まず、フレーム分割ステップにおいて、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去ステップにおいて、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出ステップにおいて、端部影響除去ブロック画像内の画素数が算出され、位相相関平面に表される。最大ピーク値算出ステップにおいて、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定ステップにおいて、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0011】
なお、視差量とは、人間の両眼で二眼立体映像(対象物)を見て(とらえて)、この両眼の網膜像の微妙な違いに基づいて、二眼立体映像(対象物)の立体感(奥行き)を認識する手がかりとなる両眼視差を定量化したものである。この視差量が大きくなると、人間は疲労を感じたり、見にくさを感じたりする。視差分布とは、視差量の分布のことであり、二眼立体映像内(対応するフレームに関して)で一番飛び出して見える部分の視差量、一番奥に見える部分の視差量、視差量のフレーム内での平均、最大振幅、視差量のフレーム内での分散等を求めることである。
【0012】
また、ブロック端部(ブロック端)の影響とは、ブロック画像は、両端部が垂直に低下すること(急激に0になること)になり、このブロック画像を位相相関平面に変換した際(フーリエ変換した際)に生じる影響のことである。つまり、ブロック画像をそのまま位相相関平面に変換してしまうと、このブロック画像の端部の影響で、位相相関平面にゼロスプリアスが発生するので、ブロック端影響除去ステップは、これを取り除くために行うものである。なお、ブロック端影響除去ステップにより、ブロック端で発生する左右映像の未対応部分による影響も軽減することができる。
【0013】
なお、位相相関平面算出ステップにおいて位相相関平面を算出する際に、位相相関平面のゼロ点に発生するスプリアスを軽減する効果もある。位相相関平面は、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った座標面のことで、位相相関法で視差量を検出するのに用いるものである。位相相関法は、ブロックマッチング法やラバーマッチング法に比べて、画像内の被写体の絵柄、大きさ、配置等に影響されることなく(関係なく)、視差量を算出できる特性を有している。
【0014】
請求項2記載の視差分布測定方法は、請求項1に記載の視差分布測定方法において、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出ステップと、このピーク値算出ステップにおいて算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソートステップと、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理ステップと、この最大ピーク値閾値処理ステップにて閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソートステップにて並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定ステップと、を含むことを特徴とする。
【0015】
この方法によれば、まず、ピーク値算出ステップにおいて、位相相関平面の画素数のピーク値が算出され、ピーク値に対応する視差量が算出される。続いて、ソートステップにおいて、ピーク値算出ステップにて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理ステップにおいて、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定ステップにおいて、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソートステップにて並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【0016】
なお、ピーク値は位相相関平面上に複数存在しうるもの(最大であれば、最大ピーク値算出ステップで算出されている)であるので、複数個のピーク値が算出される場合が想定される。また、閾値処理とは、例えば、閾値(最大ピーク値のα倍(0<α<1))以上の値に対応する座標数をカウントすることであり、位相相関平面の値と、閾値とを比較することである。
【0017】
請求項3記載の視差分布測定装置は、二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定装置であって、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段と、このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段と、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段と、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段と、この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段と、を備えることを特徴とする。
【0018】
かかる構成によれば、フレーム分割手段で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去手段で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段で、端部影響除去ブロック画像が位相相関平面に表される。最大ピーク値算出手段で、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定手段で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0019】
請求項4記載の視差分布測定装置は、請求項3に記載の視差分布測定装置において、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、を備えることを特徴とする。
【0020】
かかる構成によれば、ピーク値算出手段で、位相相関平面の画素数のピーク値が算出され、このピーク値に対応する視差量が算出される。続いて、ソート手段で、ピーク値算出手段にて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理手段で、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定手段で、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソート手段で並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【0021】
請求項5記載の視差分布測定プログラムは、二眼立体映像における、視差量の分布である視差分布を測定する装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段、このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段、この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段、である。
【0022】
かかる構成によれば、フレーム分割手段で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去手段で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段で、端部影響除去ブロック画像が位相相関平面に表される。最大ピーク値算出手段で、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定手段で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0023】
請求項6記載の視差分布測定プログラムは、請求項5に記載の視差分布測定プログラムにおいて、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、を有していることを特徴とする。
【0024】
かかる構成によれば、ピーク値算出手段で、位相相関平面の画素数のピーク値が算出され、このピーク値に対応する視差量が算出される。続いて、ソート手段で、ピーク値算出手段にて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理手段で、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定手段で、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソート手段で並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【0025】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
(視差分布測定装置の構成)
図1は、視差分布測定装置のブロック図である。この図1に示すように、視差分布測定装置1は、二眼立体映像に生じている両眼視差を数値化した(定量化した)視差量の分布、すなわち、視差分布を測定するもので、ブロック化手段3と、窓手段5と、位相相関平面算出手段7と、最大ピーク値検出手段9と、閾値処理手段11と、ピーク値検出手段13と、ソート手段15と、判定手段17と、フレーム内統計処理手段19とを備えている。
【0026】
ブロック化手段3は、入力される二眼立体映像の左右フレーム(図中、右映像R、左映像L、以下、Rフレーム、Lフレームとする)のそれぞれを所定の大きさにブロック化するものである。このブロック化手段3が特許請求の範囲の請求項に記載したフレーム分割手段に相当するものである。この実施の形態では、二眼立体映像はハイビジョン用映像であり、ブロックの大きさ(ブロックサイズ)は、視差量検出に位相相関法を用いるため、検出視差量の最大値の2倍以上にする必要がある。
【0027】
なお、二眼立体映像では、視差量があまり大きすぎると左右映像、RフレームとLフレームとの融合ができなくなるため、一般的な視聴環境を考慮して制作された映像に対しては、不必要に大きなブロックサイズを想定する必要はなく、一般に、FFT演算を容易に実行できるブロックサイズであればよい。
【0028】
ここで、このブロック化手段3で左右フレームをブロックに分割する仕方について図3を参照して説明する。この実施の形態では、1個のブロックの大きさ(ブロックサイズ)は512画素×512ラインである。
図3(a)は、左右フレーム(Rフレーム、Lフレーム)を水平方向に分割する仕方を示している。ハイビジョン用映像の水平方向の画素数は、1920画素であり、この画素がブロック化手段3で水平方向に、均等に分割される。
【0029】
この実施の形態では、256画素ずつオーバーラップした6個のブロック(B1、B2、B3、B4、B5、B6)に分割されると共に、さらにこれら6個のブロックを128画素だけシフトした6個のブロック(Bs1、Bs2、Bs3、Bs4、Bs5、Bs6)が使用される。すなわち、互いに256画素ずつオーバーラップした6個のブロック(B1、B2、B3、B4、B5、B6)と、これらを128画素シフトした6個のブロック(Bs1、Bs2、Bs3、Bs4、Bs5、Bs6)との合計12個のブロックに、ハイビジョン用映像である左右フレームそれぞれが水平方向に分割される。
【0030】
図3(b)は、左右フレーム(Rフレーム、Lフレーム)を垂直方向に分割する仕方を示している。ハイビジョン用映像の垂直方向のライン(走査線数)は1035ライン(旧式のハイビジョン映像規格)であり、このラインがブロック化手段3で垂直方向に、均等に分割される。
【0031】
この実施の形態では、この図3(b)に図示したように、左右フレームの上端6ラインと、下端5ラインはブロックに分割する対象外として除外しており、上端から6ラインずらした箇所から256画素ずつオーバーラップした3個のブロック(L1、L2、L3)に分割される。つまり、ブロック化手段3で左右フレームは36個(12個×3個)に分割される。
【0032】
なお、各ブロックをオーバーラップした理由は、ブロックサイズが512画素×512ラインと大きいので、画像内の代表的なオブジェクト(対象物)の視差量を漏らさず測定するためである。さらに、1個のブロック内に複数の視差量を持った複数のオブジェクトが含まれていることが想定され、このような場合も考慮し、1ブロック内で複数(最大3個)の視差量を検出するようにした。また、垂直方向に128ラインシフトしたブロックに分割し、垂直方向の視差量も測定した理由は、二眼立体映像の両眼視差に関して原理的に水平方向のみを想定すればいいが、垂直視差も二眼立体映像を撮影時に発生する場合があるためである。
【0033】
図1に戻って、視差分布測定装置1の構成の説明を続ける。
窓手段5は、ブロック化手段3で分割されたブロックに“窓をかける”すなわち窓処理を施すものである。この窓手段5が特許請求の範囲の請求項に記載したブロック端影響除去手段に相当するものである。この窓手段5で使用する窓処理用の窓関数は、一般的にフィルタ設計時にフィルタのタップ数を有限個数に制限するために使用するのと同様な窓関数でよく、この実施の形態では、(1−cos2x)(1−cos2y)とした。
【0034】
なお、窓処理とは、ブロック画像の周波数成分に窓関数を乗算して、ブロック画像の端部の影響を除去し、位相相関平面のゼロ点に発生するスプリアスを軽減する作用を有するものである。この実施の形態で使用した窓は、ブロック画像の端部(エッジ)の影響の除去と、ブロック画像内の中心画像(主要な被写体)に重みを置く役割とを担うものである。
【0035】
この窓手段5で、ブロック画像は、このブロック画像の端部の影響によって発生するノイズが除去された端部影響除去ブロック画像とされる。
位相相関平面算出手段7は、窓手段5で窓処理された端部影響除去ブロック画像に対し、2次元FFT、2次元逆FFTを実行して、位相相関平面に変換するものである。左画像(Lフレーム)をf(x,y)、右画像(Rフレーム)をg(x,y)とすると、位相相関平面z(x,y)は、2次元FFT(2次元高速フーリエ変換)によって
【0036】
【数1】
【0037】
Z(X,Y)、F(X,Y)、G(X,Y)を求めた後、再度、Z(X,Y)を次式で2次元逆FFT(2次元逆高速フーリエ変換)し求める。
【0038】
【数2】
【0039】
位相相関法では、「数1」より周波数領域で大きさの正規化を行っているため、二眼立体映像となる左右フレームの2つ映像信号のレベル差に影響されないという特徴がある。つまり、従来のブロックマッチング法やラバーマッチング法における、二眼立体映像中の画像の明るさの違いによって視差分布に影響が及ぶという問題が改善されたことになる。
【0040】
ちなみに、二眼立体映像の制作では、通常、人間の両眼の間隔に相当する65mmかそれ以上離間した2台の撮影カメラで同時に被写体の撮影が行われるため、左右映像(左右フレーム)の撮影画角のわずかな違いによって、左右映像(左右フレーム)にわずかなレベル差が発生することがある。このような左右映像から二眼立体映像の視差量を求めるためには、信号レベルの正規化を行っている位相相関法は好適である。
【0041】
また、位相相関法では、「数2」で与えられる位相相関平面のピーク値に対応する座標が視差量に相当するが、映像の絵柄によってピーク値が不明瞭である場合がある。さらに、前記したように左右映像(左右フレーム)の撮影画角のわずかな違いによって、一方の撮影カメラからは撮影可能であっても他方の撮影カメラからは隠れている領域が発生する。この左右映像で未対応の領域が位相相関平面上では、ピーク値の周りにリンギング状のノイズ(以下、リンギング状ノイズ)となって現れる。このリンギング状ノイズは複数のピーク値に対応する複数の視差量を算出する(測定する)場合には妨害となることがある。
【0042】
補足しておくと、2次元FFT(Fast Fourier Transform)は、周波数分析のことで、フーリエ理論による計算で周波数スペクトルを求めるものである。2次元逆FFTは、周波数分析した周波数スペクトルから複雑な波形(位相相関平面上の波形)を求めるものである。位相相関平面は、横軸に水平方向の画素数を取り、縦軸に垂直方向の画素数を取ったもので、ブロック画像(ノイズ除去ブロック画像)中の画素がこの位相相関平面上にプロットされる。
【0043】
最大ピーク値検出手段9は、位相相関平面算出手段7で変換された(算出された)位相相関平面の最大ピーク値を検出し、この最大ピーク値に対応した座標、すなわち水平方向、垂直方向の視差量を求めるものである。この最大ピーク値検出手段9が特許請求の範囲の請求項に記載した最大ピーク値算出手段に相当するものである。
【0044】
閾値処理手段11は、最大ピーク値検出手段9で検出された最大ピーク値に基づいて、閾値処理を行うものである。閾値処理は、ブロック画像内の絵柄に依存した不明瞭なピーク値に対応する誤った視差量の測定を防ぐために行われるものである。この実施の形態では、最大ピーク値をα(0<α<1)倍した数値を閾値としている。そして、この閾値以上の値に対応する座標の数をかぞえ、その数がブロック画像内の全画素数の一定割合以上の場合には、ブロック画像内の絵柄の視差量を位相相関法で測定するのに相応しくないと判定される。この閾値処理手段11が特許請求の範囲の請求項に記載した最大ピーク値閾値処理手段に相当するものである。ここでのαが特許請求の範囲の請求項に記載した第一、第二定数に相当するものである。
【0045】
なお、ブロック画像内の全画素数の一定割合以上であるとは、最大ピーク値をα倍(特許請求の範囲の請求項に記載した第一定数、第二定数、第三定数)した値を当該ブロックの全画素数(全座標数)で除算した値(特許請求の範囲の請求項に記載した第一算出値、第二算出値)と予め設定した値(特許請求の範囲の請求項に記載した第一閾値、第二閾値、第三閾値)と比較した結果のことを指すものである。
【0046】
より具体的に説明すると、閾値処理は、
端部影響除去ブロック画像内の全画素数:N
位相相関平面のピーク値:Pmax
位相相関平面の値が0.5×Pmax以上の画素数:N50
位相相関平面の値が0.75×Pmax以上の画素数:N75
としたとき、
【0047】
(1)N50/N<0.02 → S=0
(2)0.02≦N50/N<0.04で
N75/N<0.002 → S=99
(3)0.02≦N50/N<0.04で
N75/N≧0.002 → S=0
(4)N50/N≧0.04 → S=99
とする。
【0048】
なお、Sは、視差量を測定するか否かの判定用のフラグに相当するもので、S=99の場合、位相相関法でブロック内の絵柄の視差量を測定するのに適当ではなく、誤った視差量を測定する可能性があることを示しており、S=0の場合、位相相関法でブロック内の絵柄の視差量を測定するのに適当であることを示している。
【0049】
(1)の場合、位相相関平面に一つの顕著なピーク(最大ピーク)が存在することを示している。(2)の場合、位相相関平面に一つのピークと、比較的大きなノイズ状のピークが多数混在し、これらのピークが映像の正しい視差量に対応するピークであるのか、誤ったピークであるのか判定できないことを示している。(3)の場合、複数の顕著なピークが存在することを示している。(4)の場合、位相相関平面に顕著なピークがないことを示している。
【0050】
つまり、ブロック化手段3でブロック画像に分割した際に、ブロック画像内に顕著なパターン(絵柄)がない場合、例えば、壁や海面しか含まれていない場合には(2)、(4)になり、S=99であるので、誤った視差量を測定する可能性があると判定され、ブロック画像内の絵柄に依存した、誤った視差量の測定を防ぐことができる。
【0051】
また、N50、N75の2つの閾値を設定したことにも特徴があり、2つの閾値をPmax(最大ピーク値)の何%に設定するのかは、実験結果(多数のブロック画像を位相相関平面に変換した結果)に基づいて決定した。また、ブロック画像の周波数成分に基づいて、任意に設定することも可能である。また、Sの値(0or99)は判定手段17に出力される。
【0052】
ピーク値検出手段13は、位相相関平面算出手段7で変換された(算出された)位相相関平面のピーク値を検出し、このピーク値(最大ピーク値も含めて)に対応した座標、すなわち水平方向、垂直方向の視差量を求めるものである。なお、このピーク値検出手段13では、最大ピーク値検出手段9で検出される最大ピーク値が当然のことながら1個であるのに比べ、複数のピーク値が検出される場合がある。つまり、このピーク値検出手段13では、位相相関平面上の全てまたは任意個数の凸部(正方向の凸部、負方向の凸部)の座標とその値(視差量)が求められる。このピーク値検出手段13が特許請求の範囲の請求項に記載したピーク値算出手段に相当するものである。
【0053】
この実施の形態では、ピーク値検出手段13は、凸部の大きい順に3個のピーク値とこのピーク値に対応する水平方向の視差量を求めている。つまり、1個のブロック画像あたり3個の視差量の候補(最終的なブロック画像の視差量を判定する(決定する)のは判定手段17)を求めている。また、このピーク値検出手段13は、位相相関平面上の一番小さい値(負方向の凸部つまり凹部、以下、最小値という)も求める。この最小値は、通常、負か0である。
【0054】
ソート手段15は、ピーク値検出手段13で求められたピーク値およびこのピーク値に対応する視差量をピーク値に基づいてソート、つまり並べ替えるものである。そして、この並べられた結果(ソートされた結果)を判定手段17に出力するものである。このソート手段15では、ピーク値が高い(大きい)順番に並べ替えられる。
【0055】
この実施の形態では、ソート手段15は、ピーク値検出手段13で求められた3個のピーク値およびこのピーク値に対応する視差量と、位相相関平面上の最小値とを判定手段17に出力する。以下に、ソート手段15から判定手段17に出力されるそれぞれの値を列記すると、
【0056】
位相相関平面のNo1ピーク値とこれに応じた視差量:PHC1、h1
位相相関平面のNo2ピーク値とこれに応じた視差量:PHC2、h2
位相相関平面のNo3ピーク値とこれに応じた視差量:PHC3、h3
位相相関平面上の最小値 :min
となる。
【0057】
判定手段17は、閾値処理手段11で閾値処理された結果と、ソート手段15でソートされた結果とに比較判定し、各端部影響除去ブロック画像(ブロック画像)の視差量を算出する(決定する)ものである。例えば、閾値処理手段11で閾値処理された結果からブロック画像内の絵柄が位相相関法による視差量検出にふさわしくない場合(S=99)には、このブロック画像からは視差量は全く検出しない。逆に、閾値処理手段11で閾値処理された結果からブロック画像内の絵柄が位相相関法による視差量検出にふさわしい場合(S=0)には、位相相関平面の複数のピーク値のうち、新たな閾値を設定して、この閾値以上のピーク値をもつ視差量のみをブロック画像内の視差量とする。なお、この判定手段17が特許請求の範囲の請求項に記載した視差量判定手段に相当するものである。
【0058】
この新たな閾値の設定方法として、例えば、最大ピーク値のα2倍(0<α2<1)を乗算した値でもよい。また、リンギング状ノイズを削除するためには、リンギングの大きさに応じて、新たな閾値を設定することが望ましい。その理由は、ここで、閾値処理する目的は、左右映像(左右フレーム)で対応がない領域に起因するリンギング状ノイズの影響を除去することであり、このリンギング状ノイズは通常、視差量の増加に伴い増加していくが、未対応領域の面積や絵柄に依存しているので、一定の閾値処理によってこの影響を除去することは困難であるからである。なお、α2が特許請求の範囲の請求項に記載した第二定数に相当するものである。
【0059】
例えば、リンギング状ノイズの影響を除去するため、リンギング状ノイズの最小値を用いて、リンギングの負のピーク値の絶対値をα3倍した新たな値(特許請求の範囲の請求項に記載した第三算出値)とする。また、実際には、全てのピーク値を閾値処理の候補とせずに初めから大きい順に3個〜5個といったように、候補の個数を限定すれば、ソート手段15、判定手段17の実現が容易になる。なお、α3が特許請求の範囲の請求項に記載した第三定数に相当するものである。
【0060】
このように、ブロック画像内の視差量の検出を行えば、ブロック画像内の絵柄に応じた視差量の検出が可能となる。例えば、ブロック画像内に奥行きが異なる3個のオブジェクト(被写体)がある場合には、これらに応じて3個の視差量を測定することができる。つまり、ブロック画像内の代表的な両眼視差を持つオブジェクトの数に応じた視差量を測定することができる。この判定手段17では、以上の処理がブロック画像毎に実行される。
【0061】
判定手段17における処理を、より具体的に説明すると、閾値処理手段11から出力されたSの値が99のとき、このブロック画像は視差量の検出に不適切なブロック画像(絵柄)であるとして、当該ブロック画像を視差量の検出から除外すると共に、Sの値が0のときは、視差量の検出可能として以下に示す判定を行う。
【0062】
(a)PH1>α3・|min|なら、h1をこのブロック画像内で検出された視差量とする。
(b)PH2>α3・|min|なら、h2もこのブロック画像内で検出された視差量とする。
(c)PH3>α3・|min|なら、h3もこのブロック画像内で検出された視差量とする。
【0063】
この実施の形態では、α3を1.2としたが、通常、α3の値は1〜1.5程度が好適ではないかと推測される。これによって、左右フレームにおいて対応するブロック画像間で未対応領域によって生じるリンギング状ノイズの影響が除去されるので、ブロック画像内の代表的な視差量を持つオブジェクトの数に応じた視差量を測定することができる。
【0064】
フレーム内統計処理手段19は、判定手段17で算出された各ノイズ除去ブロック画像(ブロック画像)の視差量に基づいて、統計処理を施して、左右フレーム(Rフレーム、Lフレーム)内の視差量の分布、すなわち視差分布を算出するものである。この実施の形態では、フレーム内統計処理手段19は、全36個のブロック画像毎に算出された(測定された)視差量(水平視差量)に基づいて、フレーム内の視差量の平均、最大振幅、一番飛び出した映像の視差量(全水平視差量の最小値)、一番奥の映像の視差量(全水平視差量の最大値)、フレーム内視差分布の分散を算出する。これらの結果を二眼立体映像に関する視差分布の測定量として外部に出力する。なお、このフレーム内統計処理手段19が特許請求の範囲の請求項に記載した視差分布測定手段に相当するものである。
【0065】
この視差分布測定装置1によれば、ブロック化手段3で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。続いて、窓手段5で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段7で、端部影響除去ブロック画像内の画素数が算出され、位相相関平面に表される。最大ピーク値検出手段9で、位相相関平面の画素数の最大ピーク値が算出され、最大ピーク値に相当する位相相関平面上における座標数が視差量として算出される。その後、フレーム内統計処理手段19で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0066】
また、ピーク値検出手段13で、位相相関平面の画素数のピーク値が検出され、ピーク値に対応する視差量が算出される。そして、閾値処理手段11で、最大ピーク値の所定パーセント(0<α<1)が閾値とされ、閾値処理が実行され、位相相関平面上における閾値以上の座標数が、端部影響除去ブロック画像内の画素数の一定割合以上であるかどうかが処理される。さらに、判定手段17で、閾値処理手段11の処理結果と、ソート手段15におけるソート結果とが比較判定され、ブロック画像毎の視差量が算出され、フレーム内統計処理手段19で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0067】
このため、位相相関法を二眼立体映像の視差量の検出に用いているので、精度よく視差量を検出することが可能になる。この位相相関法は、特に方式変換に位相相関法を用いた場合とは異なり、左右2つの映像(フレーム)の画素毎の完全な対応を得る必要がないので、大きなブロック画像を用いて複数の視差量を精度よく測定することができ、特に有効である。また、視差量の検出において、ブロックマッチング法を使用した場合には、誤って大きな視差量または小さな視差量を測定してしまう場合も想定される。それゆえ、視差量の最大振幅、一番手前の視差量、一番奥の視差量を求めることに関しては、重要な誤りとなってしまうが、位相相関法を使用した場合には、これらの問題を少なくすることができる。
【0068】
なお、この視差分布測定装置1では、閾値処理手段11と、ピーク値検出手段13と、ソート手段15と、判定手段17とがなくても、ブロック画像毎の視差量を求めることができる(請求項1、3、5に記載の発明に相当する)。つまり、これらのピーク値検出手段13と、ソート手段15と、判定手段17によって、誤った視差量の算出を防ぐことができる(視差量の算出精度を維持することができる)。
【0069】
また、位相相関法の課題として、位相相関平面上におけるピーク値の検出があるが、二眼立体映像の映像内容によるピーク値の曖昧さと未対応領域によるリンギング状ノイズについて、2個の閾値処理(閾値処理手段11とソート手段15)を導入した実験結果により、大幅な改善効果が得られた。すなわち、明らかに誤った視差量の測定を抑制しつつ、可能な限り多くのオブジェクトの視差量を検出することが可能になった。特にリンギング状ノイズの除去に用いた閾値の設定方法が有効に作用する。
【0070】
(視差分布測定装置の動作)
次に、図2に示すフローチャートを参照して、視差分布測定装置1の動作について説明する。この視差分布測定装置1に入力する二眼立体映像の左右フレームを作成する必要があるので、この二眼立体映像の作成もあわせて説明することにする(二眼立体映像の作成については本発明と直接関わりがないので文章のみで説明する)。
【0071】
まず、HDTV−VTR(図示せず)から二眼立体映像生成装置(図示せず)のフレームメモリ(図示せず)に立体ハイビジョン映像であるVTRの映像が取り込まれる。この際に、VTRの左右映像がVTRのタイムコードに基づいて同期して取り込まれ、この結果、フレームメモリ(図示せず)には、時間的に同期した左映像(Lフレーム)と右映像(Rフレーム)とからなる映像ファイルが生成される。この映像ファイルを二眼立体映像生成装置(図示せず)の映像フォーマット変換手段(図示せず)でフレーム番号がついた1フレーム毎の輝度信号の映像ファイルに変換される。すなわち、この映像ファイルは、例えば、
【0072】
eizou0_L.y,eizou1_L.y,eizou2_L.y・・・
eizou0_R.y,eizou1_R.y,eizou2_R.y・・・
のようになる。左右映像(左右フレーム)にフレーム番号のついた1個のファイルとなった輝度信号ファイルが作成される。この左右映像の対応した映像ファイル(輝度信号ファイル)が視差分布測定装置1に入力される。
【0073】
すると、まず、ブロック化手段3で左右映像(左右フレームの1フレームずつ)がブロック画像(この動作では36個のブロック画像)に分割される(S1)。続いて、ブロック画像毎に窓手段5で(1−cos2x)(1−cos2y)という“窓がかけられ”、ブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる(S2)。そして、位相相関平面手段7で左右フレームの各々の端部影響除去ブロック画像f(x,y)、g(x,y)が以下のような2次元フーリエ変換される。2次元フーリエ変換は2のべき乗のFFTによって実施される。
【0074】
【数3】
【0075】
この2次元フーリエ変換された画像から、次式によってZ(X,Y)が計算される。
【0076】
【数4】
【0077】
さらに、この結果が2次元逆フーリエ変換され、これにより、512×512の位相相関平面が生成される(S3)。
次に、この視差分布測定装置1の図示を省略した制御部は、最大ピーク値を検出する(S4)。
【0078】
最大ピーク値を検出する場合(S4、Yes)最大ピーク値検出手段9で位相相関平面上における最大ピーク値が検出され、この最大ピーク値に対応する座標、すなわち水平方向、垂直方向の視差量が算出される(S5)。閾値処理手段11で閾値処理が施され、判定手段17に出力される。このときにSの値(0または99)も判定手段17に出力される(S6)。
【0079】
判定手段17でSの値に基づいて、ブロック画像の視差量の判定が可能であるかどうかが判断され、つまり、閾値処理手段11からの出力とソート手段15からの出力との双方が判定手段17に入力されているかどうかが判断される(S7)。双方が入力されていないと判断された場合(S7、No)S4に戻り、最大ピーク値を検出するかが再び判断され、この場合、すでに、最大ピーク値は検出されているので、S4にてNoと判断され、ピーク値検出手段13で、ピーク値が検出され、このピーク値に対応する座標、すなわち水平方向、垂直方向の視差量が算出される(S8)。
【0080】
そして、このピーク値検出手段13で検出されたピーク値が大きい順に並べ替えられ、上位3個のピーク値とこのピーク値に対応する視差量が判定手段17に出力される(S9)。すると、判定手段17では、再び、閾値処理手段11からの出力とソート手段15からの出力との双方が判定手段17に入力されているかどうかが判断され、この場合、すでに、閾値処理手段11からの出力とソート手段15からの出力との双方が入力されているので、S7にてYesと判断される。そして、判定手段17でSの値に基づいて、ブロック画像毎の視差量が算出(決定)され(S10)、ブロック画像毎に繰り返し実行され、フレーム内統計処理手段19に出力される。フレーム内統計処理手段19で、ブロック画像毎の視差量が統計処理され、1個のフレームにおける視差分布が算出される(S11)。
【0081】
(画像例とこの画像例における位相相関平面について)
次に、図4、図5を参照して、二眼立体映像のブロック画像と位相相関平面との実際の関係について説明する。
図4は、二眼立体映像の1個のブロック画像を図示しており、このブロック画像には、被写体として2匹の猫が含まれている。図5は、この1個のブロック画像(端部の影響を除去した後で)を位相相関平面に変換したものを示している。
【0082】
図5中に示したP1、P2、P3の3個のピーク値は、図4に示したブロック画像内の「C1の猫」、「C2の猫」、「背景境界部分」に対応し、各々の水平視差量は、−26画素、−24画素、14画素となる。図5中に示したP1、P2、P3の3個のピーク値は34.06(視差量:−26)、31.06(視差量:14)、21.40(視差量:−24)であり、閾値処理手段11における閾値は20.91である。
【0083】
この実際の二眼立体映像を視差分布測定装置1に入力した結果、得られた視差分布に関する統計量は、概ね二眼立体映像の見やすさと以下に述べる関係がある。
(イ)視差分布の最大振幅が大きいと見にくい。
(ロ)二眼立体映像の一番手前の部分が極端に手前にあると見づらい。
(ハ)二眼立体映像の一番奥の部分の視差量が大きくなると立体映像として融合できなくなる。
(ニ)視差分布の分散が大きい映像は一般に見にくい。
(ホ)一般に奥行き方向の視差量の最大分布は、スクリーン(表示画面)からの眼の焦点深度内にとどめることが望ましい。
【0084】
以上(イ)〜(ホ)のことから、視差分布測定装置1で測定された視差分布と、この視差分布の統計量を用いて、二眼立体映像の番組制作時に見にくい映像を省いたり、放送(上映)前に、見にくい映像シーンが含まれていないかどうかを確認したりすることが可能である。
【0085】
また、見やすい二眼立体映像を制作するために、視差分布測定装置1を応用して、両眼視差の振幅と平均とを制御して、二眼立体映像の奥行き分布を人間の視覚特性に合わせて制限することが可能である。
【0086】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、視差分布測定装置1の各構成の処理を一つずつの工程ととらえ、視差分布測定方法とみなすことや、各構成の処理を汎用的なコンピュータ言語で記述して視差分布測定プログラムとみなすことも可能である。これらの場合、視差分布測定装置1と同様な効果が得られる。
【0087】
【発明の効果】
請求項1、3、5記載の発明によれば、位相相関法による位相相関平面が用いられており、この方法によって、二眼立体映像中の被写体の絵柄や大きさに影響のされることなく(被写体によらず)、正確な視差量を算出することができ、視差分布を測定することができる。これにより、二眼立体映像の見やすさ、見にくさを調べることができる。
【0088】
請求項2、4、6記載の発明によれば、位相相関平面上のピーク値がブロック画像内の絵柄に対応しており、各ピーク値に対応する視差量を比較判定することによって、ブロック画像の絵柄に影響されることのない正確な視差分布を測定することができる。これにより、二眼立体映像の見やすさ、見にくさを調べることができる。
【図面の簡単な説明】
【図1】本発明による一実施の形態を示す視差分布測定装置のブロック図である。
【図2】図1に示した視差分布測定装置の動作を説明したフローチャートである。
【図3】ブロック画像について説明した説明図である。
【図4】ブロック画像例を説明した図である。
【図5】図4に示したブロック画像例を位相相関平面に変換した図である。
【符号の説明】
1 視差分布測定装置
3 ブロック化手段
5 窓手段
7 位相相関平面算出手段
9 最大ピーク値検出手段
11 閾値処理手段
13 ピーク値検出手段
15 ソート手段
17 判定手段
19 フレーム内統計処理手段
【発明の属する技術分野】
本発明は、二眼立体映像における両眼視差量の分布である視差分布を測定する視差分布測定方法、視差分布測定装置および視差分布測定プログラムに関する。
【0002】
【従来の技術】
従来、二眼立体映像から視差量を検出する方法として、以下に示すものが提案されている。
(1)左右映像を小さなブロックに分割し、ブロックマッチング法により左右映像から視差量を測定する方法。
【0003】
(2)このブロックマッチング方法をベースに、さらに視差量の測定精度を上昇させるために、左右映像の対応するブロック内の映像を変形させてマッチングを取るラバーマッチング法(なお、ラバーマッチング法の詳細な説明は、非特許文献1参照のこと)。
【0004】
これら(1)、(2)等の方法は、比較的小さなブロックに分割して、このブロック毎の一つの視差量を測定するものである。これらの方法は、主に対応する左右映像の完全な対応付けを行うことを目的にしており、測定したブロック毎の視差量に基づき、左右映像の画素毎の対応付けを行うものである。
【0005】
ところで、視差量を測定するのと同様に、動画像に対して、二つの連続する画像中の各画素の対応付けを測定することで、動画像に含まれている被写体(オブジェクト)の各部分の動き量を算出し、この動き量をテレビジョン方式変換やテレビジョン映像の帯域圧縮に利用する例が数多くある。これらの例の中で、テレビジョン方式変換における動き量の算出(動き検出)では、位相相関法(なお、位相相関法の詳細な説明は、非特許文献2を参照のこと)と呼ばれる方法が使用されているものがある。
ちなみに、位相相関法は、テレビジョンカメラのレジストレーションのずれの検出にも使用されている例がある。
【0006】
【非特許文献1】
蓼沼他「立体画像の左右対応点探索法の最適化」;テレビジョン学会誌 Vol48,No.10,pp1222〜1229(1994)
【非特許文献2】
G.A.Thomas:“Television Motion Measurement for Other Application”,BBC Research Department Repo
rt(Sep.1987)
【0007】
【発明が解決しようとする課題】
しかしながら、従来の方法(特にブロックマッチング方法)では、各画像に対応付けを行って、視差測定を目的としており、小さなブロックで視差測定を行うので、各画像中の絵柄(被写体)に起因して誤った対応付けが発生しやすかった。このような方法は、二眼立体映像の見やすさ、見にくさを調べる(視差量を測定する)目的の障害となり、一方、位相相関方法を用いた場合にも絵柄(被写体)に起因して視差測定の誤りが発生するという問題がある。
【0008】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、被写体によらず、正確な視差量を算出し視差分布を測定することで、二眼立体映像の見やすさ、見にくさを調べることができる視差分布測定方法、視差分布測定装置および視差分布測定プログラムを提供することにある。
【0009】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項1記載の視差分布測定方法は、二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定方法であって、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割ステップと、このフレーム分割ステップにおいて分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去ステップと、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出ステップと、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、ブロック画像毎の視差量を算出する最大ピーク値算出ステップと、この最大ピーク値算出ステップにおいて算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定ステップと、を含むことを特徴とする。
【0010】
この方法によれば、まず、フレーム分割ステップにおいて、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去ステップにおいて、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出ステップにおいて、端部影響除去ブロック画像内の画素数が算出され、位相相関平面に表される。最大ピーク値算出ステップにおいて、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定ステップにおいて、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0011】
なお、視差量とは、人間の両眼で二眼立体映像(対象物)を見て(とらえて)、この両眼の網膜像の微妙な違いに基づいて、二眼立体映像(対象物)の立体感(奥行き)を認識する手がかりとなる両眼視差を定量化したものである。この視差量が大きくなると、人間は疲労を感じたり、見にくさを感じたりする。視差分布とは、視差量の分布のことであり、二眼立体映像内(対応するフレームに関して)で一番飛び出して見える部分の視差量、一番奥に見える部分の視差量、視差量のフレーム内での平均、最大振幅、視差量のフレーム内での分散等を求めることである。
【0012】
また、ブロック端部(ブロック端)の影響とは、ブロック画像は、両端部が垂直に低下すること(急激に0になること)になり、このブロック画像を位相相関平面に変換した際(フーリエ変換した際)に生じる影響のことである。つまり、ブロック画像をそのまま位相相関平面に変換してしまうと、このブロック画像の端部の影響で、位相相関平面にゼロスプリアスが発生するので、ブロック端影響除去ステップは、これを取り除くために行うものである。なお、ブロック端影響除去ステップにより、ブロック端で発生する左右映像の未対応部分による影響も軽減することができる。
【0013】
なお、位相相関平面算出ステップにおいて位相相関平面を算出する際に、位相相関平面のゼロ点に発生するスプリアスを軽減する効果もある。位相相関平面は、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った座標面のことで、位相相関法で視差量を検出するのに用いるものである。位相相関法は、ブロックマッチング法やラバーマッチング法に比べて、画像内の被写体の絵柄、大きさ、配置等に影響されることなく(関係なく)、視差量を算出できる特性を有している。
【0014】
請求項2記載の視差分布測定方法は、請求項1に記載の視差分布測定方法において、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出ステップと、このピーク値算出ステップにおいて算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソートステップと、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理ステップと、この最大ピーク値閾値処理ステップにて閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソートステップにて並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定ステップと、を含むことを特徴とする。
【0015】
この方法によれば、まず、ピーク値算出ステップにおいて、位相相関平面の画素数のピーク値が算出され、ピーク値に対応する視差量が算出される。続いて、ソートステップにおいて、ピーク値算出ステップにて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理ステップにおいて、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定ステップにおいて、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソートステップにて並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【0016】
なお、ピーク値は位相相関平面上に複数存在しうるもの(最大であれば、最大ピーク値算出ステップで算出されている)であるので、複数個のピーク値が算出される場合が想定される。また、閾値処理とは、例えば、閾値(最大ピーク値のα倍(0<α<1))以上の値に対応する座標数をカウントすることであり、位相相関平面の値と、閾値とを比較することである。
【0017】
請求項3記載の視差分布測定装置は、二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定装置であって、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段と、このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段と、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段と、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段と、この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段と、を備えることを特徴とする。
【0018】
かかる構成によれば、フレーム分割手段で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去手段で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段で、端部影響除去ブロック画像が位相相関平面に表される。最大ピーク値算出手段で、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定手段で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0019】
請求項4記載の視差分布測定装置は、請求項3に記載の視差分布測定装置において、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、を備えることを特徴とする。
【0020】
かかる構成によれば、ピーク値算出手段で、位相相関平面の画素数のピーク値が算出され、このピーク値に対応する視差量が算出される。続いて、ソート手段で、ピーク値算出手段にて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理手段で、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定手段で、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソート手段で並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【0021】
請求項5記載の視差分布測定プログラムは、二眼立体映像における、視差量の分布である視差分布を測定する装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段、このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段、この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段、である。
【0022】
かかる構成によれば、フレーム分割手段で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去手段で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段で、端部影響除去ブロック画像が位相相関平面に表される。最大ピーク値算出手段で、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定手段で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0023】
請求項6記載の視差分布測定プログラムは、請求項5に記載の視差分布測定プログラムにおいて、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、を有していることを特徴とする。
【0024】
かかる構成によれば、ピーク値算出手段で、位相相関平面の画素数のピーク値が算出され、このピーク値に対応する視差量が算出される。続いて、ソート手段で、ピーク値算出手段にて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理手段で、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定手段で、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソート手段で並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【0025】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
(視差分布測定装置の構成)
図1は、視差分布測定装置のブロック図である。この図1に示すように、視差分布測定装置1は、二眼立体映像に生じている両眼視差を数値化した(定量化した)視差量の分布、すなわち、視差分布を測定するもので、ブロック化手段3と、窓手段5と、位相相関平面算出手段7と、最大ピーク値検出手段9と、閾値処理手段11と、ピーク値検出手段13と、ソート手段15と、判定手段17と、フレーム内統計処理手段19とを備えている。
【0026】
ブロック化手段3は、入力される二眼立体映像の左右フレーム(図中、右映像R、左映像L、以下、Rフレーム、Lフレームとする)のそれぞれを所定の大きさにブロック化するものである。このブロック化手段3が特許請求の範囲の請求項に記載したフレーム分割手段に相当するものである。この実施の形態では、二眼立体映像はハイビジョン用映像であり、ブロックの大きさ(ブロックサイズ)は、視差量検出に位相相関法を用いるため、検出視差量の最大値の2倍以上にする必要がある。
【0027】
なお、二眼立体映像では、視差量があまり大きすぎると左右映像、RフレームとLフレームとの融合ができなくなるため、一般的な視聴環境を考慮して制作された映像に対しては、不必要に大きなブロックサイズを想定する必要はなく、一般に、FFT演算を容易に実行できるブロックサイズであればよい。
【0028】
ここで、このブロック化手段3で左右フレームをブロックに分割する仕方について図3を参照して説明する。この実施の形態では、1個のブロックの大きさ(ブロックサイズ)は512画素×512ラインである。
図3(a)は、左右フレーム(Rフレーム、Lフレーム)を水平方向に分割する仕方を示している。ハイビジョン用映像の水平方向の画素数は、1920画素であり、この画素がブロック化手段3で水平方向に、均等に分割される。
【0029】
この実施の形態では、256画素ずつオーバーラップした6個のブロック(B1、B2、B3、B4、B5、B6)に分割されると共に、さらにこれら6個のブロックを128画素だけシフトした6個のブロック(Bs1、Bs2、Bs3、Bs4、Bs5、Bs6)が使用される。すなわち、互いに256画素ずつオーバーラップした6個のブロック(B1、B2、B3、B4、B5、B6)と、これらを128画素シフトした6個のブロック(Bs1、Bs2、Bs3、Bs4、Bs5、Bs6)との合計12個のブロックに、ハイビジョン用映像である左右フレームそれぞれが水平方向に分割される。
【0030】
図3(b)は、左右フレーム(Rフレーム、Lフレーム)を垂直方向に分割する仕方を示している。ハイビジョン用映像の垂直方向のライン(走査線数)は1035ライン(旧式のハイビジョン映像規格)であり、このラインがブロック化手段3で垂直方向に、均等に分割される。
【0031】
この実施の形態では、この図3(b)に図示したように、左右フレームの上端6ラインと、下端5ラインはブロックに分割する対象外として除外しており、上端から6ラインずらした箇所から256画素ずつオーバーラップした3個のブロック(L1、L2、L3)に分割される。つまり、ブロック化手段3で左右フレームは36個(12個×3個)に分割される。
【0032】
なお、各ブロックをオーバーラップした理由は、ブロックサイズが512画素×512ラインと大きいので、画像内の代表的なオブジェクト(対象物)の視差量を漏らさず測定するためである。さらに、1個のブロック内に複数の視差量を持った複数のオブジェクトが含まれていることが想定され、このような場合も考慮し、1ブロック内で複数(最大3個)の視差量を検出するようにした。また、垂直方向に128ラインシフトしたブロックに分割し、垂直方向の視差量も測定した理由は、二眼立体映像の両眼視差に関して原理的に水平方向のみを想定すればいいが、垂直視差も二眼立体映像を撮影時に発生する場合があるためである。
【0033】
図1に戻って、視差分布測定装置1の構成の説明を続ける。
窓手段5は、ブロック化手段3で分割されたブロックに“窓をかける”すなわち窓処理を施すものである。この窓手段5が特許請求の範囲の請求項に記載したブロック端影響除去手段に相当するものである。この窓手段5で使用する窓処理用の窓関数は、一般的にフィルタ設計時にフィルタのタップ数を有限個数に制限するために使用するのと同様な窓関数でよく、この実施の形態では、(1−cos2x)(1−cos2y)とした。
【0034】
なお、窓処理とは、ブロック画像の周波数成分に窓関数を乗算して、ブロック画像の端部の影響を除去し、位相相関平面のゼロ点に発生するスプリアスを軽減する作用を有するものである。この実施の形態で使用した窓は、ブロック画像の端部(エッジ)の影響の除去と、ブロック画像内の中心画像(主要な被写体)に重みを置く役割とを担うものである。
【0035】
この窓手段5で、ブロック画像は、このブロック画像の端部の影響によって発生するノイズが除去された端部影響除去ブロック画像とされる。
位相相関平面算出手段7は、窓手段5で窓処理された端部影響除去ブロック画像に対し、2次元FFT、2次元逆FFTを実行して、位相相関平面に変換するものである。左画像(Lフレーム)をf(x,y)、右画像(Rフレーム)をg(x,y)とすると、位相相関平面z(x,y)は、2次元FFT(2次元高速フーリエ変換)によって
【0036】
【数1】
【0037】
Z(X,Y)、F(X,Y)、G(X,Y)を求めた後、再度、Z(X,Y)を次式で2次元逆FFT(2次元逆高速フーリエ変換)し求める。
【0038】
【数2】
【0039】
位相相関法では、「数1」より周波数領域で大きさの正規化を行っているため、二眼立体映像となる左右フレームの2つ映像信号のレベル差に影響されないという特徴がある。つまり、従来のブロックマッチング法やラバーマッチング法における、二眼立体映像中の画像の明るさの違いによって視差分布に影響が及ぶという問題が改善されたことになる。
【0040】
ちなみに、二眼立体映像の制作では、通常、人間の両眼の間隔に相当する65mmかそれ以上離間した2台の撮影カメラで同時に被写体の撮影が行われるため、左右映像(左右フレーム)の撮影画角のわずかな違いによって、左右映像(左右フレーム)にわずかなレベル差が発生することがある。このような左右映像から二眼立体映像の視差量を求めるためには、信号レベルの正規化を行っている位相相関法は好適である。
【0041】
また、位相相関法では、「数2」で与えられる位相相関平面のピーク値に対応する座標が視差量に相当するが、映像の絵柄によってピーク値が不明瞭である場合がある。さらに、前記したように左右映像(左右フレーム)の撮影画角のわずかな違いによって、一方の撮影カメラからは撮影可能であっても他方の撮影カメラからは隠れている領域が発生する。この左右映像で未対応の領域が位相相関平面上では、ピーク値の周りにリンギング状のノイズ(以下、リンギング状ノイズ)となって現れる。このリンギング状ノイズは複数のピーク値に対応する複数の視差量を算出する(測定する)場合には妨害となることがある。
【0042】
補足しておくと、2次元FFT(Fast Fourier Transform)は、周波数分析のことで、フーリエ理論による計算で周波数スペクトルを求めるものである。2次元逆FFTは、周波数分析した周波数スペクトルから複雑な波形(位相相関平面上の波形)を求めるものである。位相相関平面は、横軸に水平方向の画素数を取り、縦軸に垂直方向の画素数を取ったもので、ブロック画像(ノイズ除去ブロック画像)中の画素がこの位相相関平面上にプロットされる。
【0043】
最大ピーク値検出手段9は、位相相関平面算出手段7で変換された(算出された)位相相関平面の最大ピーク値を検出し、この最大ピーク値に対応した座標、すなわち水平方向、垂直方向の視差量を求めるものである。この最大ピーク値検出手段9が特許請求の範囲の請求項に記載した最大ピーク値算出手段に相当するものである。
【0044】
閾値処理手段11は、最大ピーク値検出手段9で検出された最大ピーク値に基づいて、閾値処理を行うものである。閾値処理は、ブロック画像内の絵柄に依存した不明瞭なピーク値に対応する誤った視差量の測定を防ぐために行われるものである。この実施の形態では、最大ピーク値をα(0<α<1)倍した数値を閾値としている。そして、この閾値以上の値に対応する座標の数をかぞえ、その数がブロック画像内の全画素数の一定割合以上の場合には、ブロック画像内の絵柄の視差量を位相相関法で測定するのに相応しくないと判定される。この閾値処理手段11が特許請求の範囲の請求項に記載した最大ピーク値閾値処理手段に相当するものである。ここでのαが特許請求の範囲の請求項に記載した第一、第二定数に相当するものである。
【0045】
なお、ブロック画像内の全画素数の一定割合以上であるとは、最大ピーク値をα倍(特許請求の範囲の請求項に記載した第一定数、第二定数、第三定数)した値を当該ブロックの全画素数(全座標数)で除算した値(特許請求の範囲の請求項に記載した第一算出値、第二算出値)と予め設定した値(特許請求の範囲の請求項に記載した第一閾値、第二閾値、第三閾値)と比較した結果のことを指すものである。
【0046】
より具体的に説明すると、閾値処理は、
端部影響除去ブロック画像内の全画素数:N
位相相関平面のピーク値:Pmax
位相相関平面の値が0.5×Pmax以上の画素数:N50
位相相関平面の値が0.75×Pmax以上の画素数:N75
としたとき、
【0047】
(1)N50/N<0.02 → S=0
(2)0.02≦N50/N<0.04で
N75/N<0.002 → S=99
(3)0.02≦N50/N<0.04で
N75/N≧0.002 → S=0
(4)N50/N≧0.04 → S=99
とする。
【0048】
なお、Sは、視差量を測定するか否かの判定用のフラグに相当するもので、S=99の場合、位相相関法でブロック内の絵柄の視差量を測定するのに適当ではなく、誤った視差量を測定する可能性があることを示しており、S=0の場合、位相相関法でブロック内の絵柄の視差量を測定するのに適当であることを示している。
【0049】
(1)の場合、位相相関平面に一つの顕著なピーク(最大ピーク)が存在することを示している。(2)の場合、位相相関平面に一つのピークと、比較的大きなノイズ状のピークが多数混在し、これらのピークが映像の正しい視差量に対応するピークであるのか、誤ったピークであるのか判定できないことを示している。(3)の場合、複数の顕著なピークが存在することを示している。(4)の場合、位相相関平面に顕著なピークがないことを示している。
【0050】
つまり、ブロック化手段3でブロック画像に分割した際に、ブロック画像内に顕著なパターン(絵柄)がない場合、例えば、壁や海面しか含まれていない場合には(2)、(4)になり、S=99であるので、誤った視差量を測定する可能性があると判定され、ブロック画像内の絵柄に依存した、誤った視差量の測定を防ぐことができる。
【0051】
また、N50、N75の2つの閾値を設定したことにも特徴があり、2つの閾値をPmax(最大ピーク値)の何%に設定するのかは、実験結果(多数のブロック画像を位相相関平面に変換した結果)に基づいて決定した。また、ブロック画像の周波数成分に基づいて、任意に設定することも可能である。また、Sの値(0or99)は判定手段17に出力される。
【0052】
ピーク値検出手段13は、位相相関平面算出手段7で変換された(算出された)位相相関平面のピーク値を検出し、このピーク値(最大ピーク値も含めて)に対応した座標、すなわち水平方向、垂直方向の視差量を求めるものである。なお、このピーク値検出手段13では、最大ピーク値検出手段9で検出される最大ピーク値が当然のことながら1個であるのに比べ、複数のピーク値が検出される場合がある。つまり、このピーク値検出手段13では、位相相関平面上の全てまたは任意個数の凸部(正方向の凸部、負方向の凸部)の座標とその値(視差量)が求められる。このピーク値検出手段13が特許請求の範囲の請求項に記載したピーク値算出手段に相当するものである。
【0053】
この実施の形態では、ピーク値検出手段13は、凸部の大きい順に3個のピーク値とこのピーク値に対応する水平方向の視差量を求めている。つまり、1個のブロック画像あたり3個の視差量の候補(最終的なブロック画像の視差量を判定する(決定する)のは判定手段17)を求めている。また、このピーク値検出手段13は、位相相関平面上の一番小さい値(負方向の凸部つまり凹部、以下、最小値という)も求める。この最小値は、通常、負か0である。
【0054】
ソート手段15は、ピーク値検出手段13で求められたピーク値およびこのピーク値に対応する視差量をピーク値に基づいてソート、つまり並べ替えるものである。そして、この並べられた結果(ソートされた結果)を判定手段17に出力するものである。このソート手段15では、ピーク値が高い(大きい)順番に並べ替えられる。
【0055】
この実施の形態では、ソート手段15は、ピーク値検出手段13で求められた3個のピーク値およびこのピーク値に対応する視差量と、位相相関平面上の最小値とを判定手段17に出力する。以下に、ソート手段15から判定手段17に出力されるそれぞれの値を列記すると、
【0056】
位相相関平面のNo1ピーク値とこれに応じた視差量:PHC1、h1
位相相関平面のNo2ピーク値とこれに応じた視差量:PHC2、h2
位相相関平面のNo3ピーク値とこれに応じた視差量:PHC3、h3
位相相関平面上の最小値 :min
となる。
【0057】
判定手段17は、閾値処理手段11で閾値処理された結果と、ソート手段15でソートされた結果とに比較判定し、各端部影響除去ブロック画像(ブロック画像)の視差量を算出する(決定する)ものである。例えば、閾値処理手段11で閾値処理された結果からブロック画像内の絵柄が位相相関法による視差量検出にふさわしくない場合(S=99)には、このブロック画像からは視差量は全く検出しない。逆に、閾値処理手段11で閾値処理された結果からブロック画像内の絵柄が位相相関法による視差量検出にふさわしい場合(S=0)には、位相相関平面の複数のピーク値のうち、新たな閾値を設定して、この閾値以上のピーク値をもつ視差量のみをブロック画像内の視差量とする。なお、この判定手段17が特許請求の範囲の請求項に記載した視差量判定手段に相当するものである。
【0058】
この新たな閾値の設定方法として、例えば、最大ピーク値のα2倍(0<α2<1)を乗算した値でもよい。また、リンギング状ノイズを削除するためには、リンギングの大きさに応じて、新たな閾値を設定することが望ましい。その理由は、ここで、閾値処理する目的は、左右映像(左右フレーム)で対応がない領域に起因するリンギング状ノイズの影響を除去することであり、このリンギング状ノイズは通常、視差量の増加に伴い増加していくが、未対応領域の面積や絵柄に依存しているので、一定の閾値処理によってこの影響を除去することは困難であるからである。なお、α2が特許請求の範囲の請求項に記載した第二定数に相当するものである。
【0059】
例えば、リンギング状ノイズの影響を除去するため、リンギング状ノイズの最小値を用いて、リンギングの負のピーク値の絶対値をα3倍した新たな値(特許請求の範囲の請求項に記載した第三算出値)とする。また、実際には、全てのピーク値を閾値処理の候補とせずに初めから大きい順に3個〜5個といったように、候補の個数を限定すれば、ソート手段15、判定手段17の実現が容易になる。なお、α3が特許請求の範囲の請求項に記載した第三定数に相当するものである。
【0060】
このように、ブロック画像内の視差量の検出を行えば、ブロック画像内の絵柄に応じた視差量の検出が可能となる。例えば、ブロック画像内に奥行きが異なる3個のオブジェクト(被写体)がある場合には、これらに応じて3個の視差量を測定することができる。つまり、ブロック画像内の代表的な両眼視差を持つオブジェクトの数に応じた視差量を測定することができる。この判定手段17では、以上の処理がブロック画像毎に実行される。
【0061】
判定手段17における処理を、より具体的に説明すると、閾値処理手段11から出力されたSの値が99のとき、このブロック画像は視差量の検出に不適切なブロック画像(絵柄)であるとして、当該ブロック画像を視差量の検出から除外すると共に、Sの値が0のときは、視差量の検出可能として以下に示す判定を行う。
【0062】
(a)PH1>α3・|min|なら、h1をこのブロック画像内で検出された視差量とする。
(b)PH2>α3・|min|なら、h2もこのブロック画像内で検出された視差量とする。
(c)PH3>α3・|min|なら、h3もこのブロック画像内で検出された視差量とする。
【0063】
この実施の形態では、α3を1.2としたが、通常、α3の値は1〜1.5程度が好適ではないかと推測される。これによって、左右フレームにおいて対応するブロック画像間で未対応領域によって生じるリンギング状ノイズの影響が除去されるので、ブロック画像内の代表的な視差量を持つオブジェクトの数に応じた視差量を測定することができる。
【0064】
フレーム内統計処理手段19は、判定手段17で算出された各ノイズ除去ブロック画像(ブロック画像)の視差量に基づいて、統計処理を施して、左右フレーム(Rフレーム、Lフレーム)内の視差量の分布、すなわち視差分布を算出するものである。この実施の形態では、フレーム内統計処理手段19は、全36個のブロック画像毎に算出された(測定された)視差量(水平視差量)に基づいて、フレーム内の視差量の平均、最大振幅、一番飛び出した映像の視差量(全水平視差量の最小値)、一番奥の映像の視差量(全水平視差量の最大値)、フレーム内視差分布の分散を算出する。これらの結果を二眼立体映像に関する視差分布の測定量として外部に出力する。なお、このフレーム内統計処理手段19が特許請求の範囲の請求項に記載した視差分布測定手段に相当するものである。
【0065】
この視差分布測定装置1によれば、ブロック化手段3で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。続いて、窓手段5で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段7で、端部影響除去ブロック画像内の画素数が算出され、位相相関平面に表される。最大ピーク値検出手段9で、位相相関平面の画素数の最大ピーク値が算出され、最大ピーク値に相当する位相相関平面上における座標数が視差量として算出される。その後、フレーム内統計処理手段19で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0066】
また、ピーク値検出手段13で、位相相関平面の画素数のピーク値が検出され、ピーク値に対応する視差量が算出される。そして、閾値処理手段11で、最大ピーク値の所定パーセント(0<α<1)が閾値とされ、閾値処理が実行され、位相相関平面上における閾値以上の座標数が、端部影響除去ブロック画像内の画素数の一定割合以上であるかどうかが処理される。さらに、判定手段17で、閾値処理手段11の処理結果と、ソート手段15におけるソート結果とが比較判定され、ブロック画像毎の視差量が算出され、フレーム内統計処理手段19で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【0067】
このため、位相相関法を二眼立体映像の視差量の検出に用いているので、精度よく視差量を検出することが可能になる。この位相相関法は、特に方式変換に位相相関法を用いた場合とは異なり、左右2つの映像(フレーム)の画素毎の完全な対応を得る必要がないので、大きなブロック画像を用いて複数の視差量を精度よく測定することができ、特に有効である。また、視差量の検出において、ブロックマッチング法を使用した場合には、誤って大きな視差量または小さな視差量を測定してしまう場合も想定される。それゆえ、視差量の最大振幅、一番手前の視差量、一番奥の視差量を求めることに関しては、重要な誤りとなってしまうが、位相相関法を使用した場合には、これらの問題を少なくすることができる。
【0068】
なお、この視差分布測定装置1では、閾値処理手段11と、ピーク値検出手段13と、ソート手段15と、判定手段17とがなくても、ブロック画像毎の視差量を求めることができる(請求項1、3、5に記載の発明に相当する)。つまり、これらのピーク値検出手段13と、ソート手段15と、判定手段17によって、誤った視差量の算出を防ぐことができる(視差量の算出精度を維持することができる)。
【0069】
また、位相相関法の課題として、位相相関平面上におけるピーク値の検出があるが、二眼立体映像の映像内容によるピーク値の曖昧さと未対応領域によるリンギング状ノイズについて、2個の閾値処理(閾値処理手段11とソート手段15)を導入した実験結果により、大幅な改善効果が得られた。すなわち、明らかに誤った視差量の測定を抑制しつつ、可能な限り多くのオブジェクトの視差量を検出することが可能になった。特にリンギング状ノイズの除去に用いた閾値の設定方法が有効に作用する。
【0070】
(視差分布測定装置の動作)
次に、図2に示すフローチャートを参照して、視差分布測定装置1の動作について説明する。この視差分布測定装置1に入力する二眼立体映像の左右フレームを作成する必要があるので、この二眼立体映像の作成もあわせて説明することにする(二眼立体映像の作成については本発明と直接関わりがないので文章のみで説明する)。
【0071】
まず、HDTV−VTR(図示せず)から二眼立体映像生成装置(図示せず)のフレームメモリ(図示せず)に立体ハイビジョン映像であるVTRの映像が取り込まれる。この際に、VTRの左右映像がVTRのタイムコードに基づいて同期して取り込まれ、この結果、フレームメモリ(図示せず)には、時間的に同期した左映像(Lフレーム)と右映像(Rフレーム)とからなる映像ファイルが生成される。この映像ファイルを二眼立体映像生成装置(図示せず)の映像フォーマット変換手段(図示せず)でフレーム番号がついた1フレーム毎の輝度信号の映像ファイルに変換される。すなわち、この映像ファイルは、例えば、
【0072】
eizou0_L.y,eizou1_L.y,eizou2_L.y・・・
eizou0_R.y,eizou1_R.y,eizou2_R.y・・・
のようになる。左右映像(左右フレーム)にフレーム番号のついた1個のファイルとなった輝度信号ファイルが作成される。この左右映像の対応した映像ファイル(輝度信号ファイル)が視差分布測定装置1に入力される。
【0073】
すると、まず、ブロック化手段3で左右映像(左右フレームの1フレームずつ)がブロック画像(この動作では36個のブロック画像)に分割される(S1)。続いて、ブロック画像毎に窓手段5で(1−cos2x)(1−cos2y)という“窓がかけられ”、ブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる(S2)。そして、位相相関平面手段7で左右フレームの各々の端部影響除去ブロック画像f(x,y)、g(x,y)が以下のような2次元フーリエ変換される。2次元フーリエ変換は2のべき乗のFFTによって実施される。
【0074】
【数3】
【0075】
この2次元フーリエ変換された画像から、次式によってZ(X,Y)が計算される。
【0076】
【数4】
【0077】
さらに、この結果が2次元逆フーリエ変換され、これにより、512×512の位相相関平面が生成される(S3)。
次に、この視差分布測定装置1の図示を省略した制御部は、最大ピーク値を検出する(S4)。
【0078】
最大ピーク値を検出する場合(S4、Yes)最大ピーク値検出手段9で位相相関平面上における最大ピーク値が検出され、この最大ピーク値に対応する座標、すなわち水平方向、垂直方向の視差量が算出される(S5)。閾値処理手段11で閾値処理が施され、判定手段17に出力される。このときにSの値(0または99)も判定手段17に出力される(S6)。
【0079】
判定手段17でSの値に基づいて、ブロック画像の視差量の判定が可能であるかどうかが判断され、つまり、閾値処理手段11からの出力とソート手段15からの出力との双方が判定手段17に入力されているかどうかが判断される(S7)。双方が入力されていないと判断された場合(S7、No)S4に戻り、最大ピーク値を検出するかが再び判断され、この場合、すでに、最大ピーク値は検出されているので、S4にてNoと判断され、ピーク値検出手段13で、ピーク値が検出され、このピーク値に対応する座標、すなわち水平方向、垂直方向の視差量が算出される(S8)。
【0080】
そして、このピーク値検出手段13で検出されたピーク値が大きい順に並べ替えられ、上位3個のピーク値とこのピーク値に対応する視差量が判定手段17に出力される(S9)。すると、判定手段17では、再び、閾値処理手段11からの出力とソート手段15からの出力との双方が判定手段17に入力されているかどうかが判断され、この場合、すでに、閾値処理手段11からの出力とソート手段15からの出力との双方が入力されているので、S7にてYesと判断される。そして、判定手段17でSの値に基づいて、ブロック画像毎の視差量が算出(決定)され(S10)、ブロック画像毎に繰り返し実行され、フレーム内統計処理手段19に出力される。フレーム内統計処理手段19で、ブロック画像毎の視差量が統計処理され、1個のフレームにおける視差分布が算出される(S11)。
【0081】
(画像例とこの画像例における位相相関平面について)
次に、図4、図5を参照して、二眼立体映像のブロック画像と位相相関平面との実際の関係について説明する。
図4は、二眼立体映像の1個のブロック画像を図示しており、このブロック画像には、被写体として2匹の猫が含まれている。図5は、この1個のブロック画像(端部の影響を除去した後で)を位相相関平面に変換したものを示している。
【0082】
図5中に示したP1、P2、P3の3個のピーク値は、図4に示したブロック画像内の「C1の猫」、「C2の猫」、「背景境界部分」に対応し、各々の水平視差量は、−26画素、−24画素、14画素となる。図5中に示したP1、P2、P3の3個のピーク値は34.06(視差量:−26)、31.06(視差量:14)、21.40(視差量:−24)であり、閾値処理手段11における閾値は20.91である。
【0083】
この実際の二眼立体映像を視差分布測定装置1に入力した結果、得られた視差分布に関する統計量は、概ね二眼立体映像の見やすさと以下に述べる関係がある。
(イ)視差分布の最大振幅が大きいと見にくい。
(ロ)二眼立体映像の一番手前の部分が極端に手前にあると見づらい。
(ハ)二眼立体映像の一番奥の部分の視差量が大きくなると立体映像として融合できなくなる。
(ニ)視差分布の分散が大きい映像は一般に見にくい。
(ホ)一般に奥行き方向の視差量の最大分布は、スクリーン(表示画面)からの眼の焦点深度内にとどめることが望ましい。
【0084】
以上(イ)〜(ホ)のことから、視差分布測定装置1で測定された視差分布と、この視差分布の統計量を用いて、二眼立体映像の番組制作時に見にくい映像を省いたり、放送(上映)前に、見にくい映像シーンが含まれていないかどうかを確認したりすることが可能である。
【0085】
また、見やすい二眼立体映像を制作するために、視差分布測定装置1を応用して、両眼視差の振幅と平均とを制御して、二眼立体映像の奥行き分布を人間の視覚特性に合わせて制限することが可能である。
【0086】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、視差分布測定装置1の各構成の処理を一つずつの工程ととらえ、視差分布測定方法とみなすことや、各構成の処理を汎用的なコンピュータ言語で記述して視差分布測定プログラムとみなすことも可能である。これらの場合、視差分布測定装置1と同様な効果が得られる。
【0087】
【発明の効果】
請求項1、3、5記載の発明によれば、位相相関法による位相相関平面が用いられており、この方法によって、二眼立体映像中の被写体の絵柄や大きさに影響のされることなく(被写体によらず)、正確な視差量を算出することができ、視差分布を測定することができる。これにより、二眼立体映像の見やすさ、見にくさを調べることができる。
【0088】
請求項2、4、6記載の発明によれば、位相相関平面上のピーク値がブロック画像内の絵柄に対応しており、各ピーク値に対応する視差量を比較判定することによって、ブロック画像の絵柄に影響されることのない正確な視差分布を測定することができる。これにより、二眼立体映像の見やすさ、見にくさを調べることができる。
【図面の簡単な説明】
【図1】本発明による一実施の形態を示す視差分布測定装置のブロック図である。
【図2】図1に示した視差分布測定装置の動作を説明したフローチャートである。
【図3】ブロック画像について説明した説明図である。
【図4】ブロック画像例を説明した図である。
【図5】図4に示したブロック画像例を位相相関平面に変換した図である。
【符号の説明】
1 視差分布測定装置
3 ブロック化手段
5 窓手段
7 位相相関平面算出手段
9 最大ピーク値検出手段
11 閾値処理手段
13 ピーク値検出手段
15 ソート手段
17 判定手段
19 フレーム内統計処理手段
Claims (6)
- 二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定方法であって、
前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割ステップと、
このフレーム分割ステップにおいて分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去ステップと、
前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出ステップと、
前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、ブロック画像毎の視差量を算出する最大ピーク値算出ステップと、
この最大ピーク値算出ステップにおいて算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定ステップと、
を含むことを特徴とする視差分布測定方法。 - 前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出ステップと、
このピーク値算出ステップにおいて算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソートステップと、
前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理ステップと、
この最大ピーク値閾値処理ステップにて閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソートステップにて並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定ステップと、
を含むことを特徴とする請求項1に記載の視差分布測定方法。 - 二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定装置であって、
前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段と、
このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段と、
前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段と、
前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段と、
この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段と、
を備えることを特徴とする視差分布測定装置。 - 前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、
このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、
前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、
この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、
を備えることを特徴とする請求項3に記載の視差分布測定装置。 - 二眼立体映像における、視差量の分布である視差分布を測定する装置を、
前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段、
このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段、
前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段、
前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段、
この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段、
として機能させることを特徴とする視差分布測定プログラム。 - 前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、
このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、
前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、
この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、
を有していることを特徴とする請求項5に記載の視差分布測定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002263084A JP2004104425A (ja) | 2002-09-09 | 2002-09-09 | 視差分布測定方法、視差分布測定装置および視差分布測定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002263084A JP2004104425A (ja) | 2002-09-09 | 2002-09-09 | 視差分布測定方法、視差分布測定装置および視差分布測定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004104425A true JP2004104425A (ja) | 2004-04-02 |
Family
ID=32262940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002263084A Pending JP2004104425A (ja) | 2002-09-09 | 2002-09-09 | 視差分布測定方法、視差分布測定装置および視差分布測定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004104425A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100875995B1 (ko) | 2006-12-21 | 2008-12-24 | 한국전자통신연구원 | 픽셀 블록화 방법 및 이를 이용한 버퍼링 장치 및 그 방법 |
WO2009096520A1 (ja) * | 2008-02-01 | 2009-08-06 | Konica Minolta Holdings, Inc. | 対応点探索装置および対応点探索方法 |
WO2011099166A1 (ja) * | 2010-02-15 | 2011-08-18 | スカパーJsat株式会社 | 立体映像処理装置 |
JP2011188108A (ja) * | 2010-03-05 | 2011-09-22 | Mitsubishi Electric Corp | 画像処理装置、立体画像表示装置および画像処理方法 |
JP2012015771A (ja) * | 2010-06-30 | 2012-01-19 | Toshiba Corp | 画像処理装置、画像処理プログラム、及び画像処理方法 |
JP2012019365A (ja) * | 2010-07-07 | 2012-01-26 | Sony Computer Entertainment Inc | 画像処理装置および画像処理方法 |
WO2012014708A1 (ja) * | 2010-07-26 | 2012-02-02 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2012029615A1 (ja) * | 2010-09-03 | 2012-03-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2012213016A (ja) * | 2011-03-31 | 2012-11-01 | Jvc Kenwood Corp | 立体画像生成装置及び立体画像生成方法 |
JP2012216953A (ja) * | 2011-03-31 | 2012-11-08 | Toshiba Corp | 情報処理装置、表示制御方法及び表示制御装置 |
JP2013021634A (ja) * | 2011-07-14 | 2013-01-31 | Nippon Hoso Kyokai <Nhk> | 視差画像生成装置および視差画像生成プログラム |
JP5765418B2 (ja) * | 2011-05-06 | 2015-08-19 | 富士通株式会社 | 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム |
US9210396B2 (en) | 2011-03-31 | 2015-12-08 | JVC Kenwood Corporation | Stereoscopic image generation apparatus and stereoscopic image generation method |
-
2002
- 2002-09-09 JP JP2002263084A patent/JP2004104425A/ja active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100875995B1 (ko) | 2006-12-21 | 2008-12-24 | 한국전자통신연구원 | 픽셀 블록화 방법 및 이를 이용한 버퍼링 장치 및 그 방법 |
WO2009096520A1 (ja) * | 2008-02-01 | 2009-08-06 | Konica Minolta Holdings, Inc. | 対応点探索装置および対応点探索方法 |
WO2011099166A1 (ja) * | 2010-02-15 | 2011-08-18 | スカパーJsat株式会社 | 立体映像処理装置 |
JP2011188108A (ja) * | 2010-03-05 | 2011-09-22 | Mitsubishi Electric Corp | 画像処理装置、立体画像表示装置および画像処理方法 |
JP2012015771A (ja) * | 2010-06-30 | 2012-01-19 | Toshiba Corp | 画像処理装置、画像処理プログラム、及び画像処理方法 |
JP2012019365A (ja) * | 2010-07-07 | 2012-01-26 | Sony Computer Entertainment Inc | 画像処理装置および画像処理方法 |
JPWO2012014708A1 (ja) * | 2010-07-26 | 2013-09-12 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
CN102986232A (zh) * | 2010-07-26 | 2013-03-20 | 富士胶片株式会社 | 图像处理装置、方法及程序 |
WO2012014708A1 (ja) * | 2010-07-26 | 2012-02-02 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JP5336662B2 (ja) * | 2010-07-26 | 2013-11-06 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
CN102986232B (zh) * | 2010-07-26 | 2015-11-25 | 富士胶片株式会社 | 图像处理装置及方法 |
WO2012029615A1 (ja) * | 2010-09-03 | 2012-03-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US8842972B2 (en) | 2010-09-03 | 2014-09-23 | Sony Corporation | Image processing device and image processing method |
JP2012213016A (ja) * | 2011-03-31 | 2012-11-01 | Jvc Kenwood Corp | 立体画像生成装置及び立体画像生成方法 |
JP2012216953A (ja) * | 2011-03-31 | 2012-11-08 | Toshiba Corp | 情報処理装置、表示制御方法及び表示制御装置 |
US8599200B2 (en) | 2011-03-31 | 2013-12-03 | Kabushiki Kaisha Toshiba | Information processing apparatus, display controlling method, and display controlling apparatus |
US9210396B2 (en) | 2011-03-31 | 2015-12-08 | JVC Kenwood Corporation | Stereoscopic image generation apparatus and stereoscopic image generation method |
JP5765418B2 (ja) * | 2011-05-06 | 2015-08-19 | 富士通株式会社 | 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム |
JP2013021634A (ja) * | 2011-07-14 | 2013-01-31 | Nippon Hoso Kyokai <Nhk> | 視差画像生成装置および視差画像生成プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8588515B2 (en) | Method and apparatus for improving quality of depth image | |
JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
EP3311361B1 (en) | Method and apparatus for determining a depth map for an image | |
TWI483612B (zh) | Converting the video plane is a perspective view of the video system | |
US20140009462A1 (en) | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects | |
RU2423018C2 (ru) | Способ и система для преобразования стереоконтента | |
US9171372B2 (en) | Depth estimation based on global motion | |
US9600898B2 (en) | Method and apparatus for separating foreground image, and computer-readable recording medium | |
Conze et al. | Objective view synthesis quality assessment | |
KR100931311B1 (ko) | 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법 | |
EP2959683A1 (en) | Method and apparatus for computing a synthesized picture | |
JP2004104425A (ja) | 視差分布測定方法、視差分布測定装置および視差分布測定プログラム | |
JP2013521686A (ja) | 3dtvのための視差分布推定 | |
TW201710998A (zh) | 用於判定影像之深度圖之方法與裝置 | |
US20080226159A1 (en) | Method and System For Calculating Depth Information of Object in Image | |
Zhang et al. | A real-time time-consistent 2D-to-3D video conversion system using color histogram | |
US10757318B2 (en) | Determination of a contrast value for a digital image | |
Dittrich et al. | Saliency detection for stereoscopic video | |
KR101581586B1 (ko) | 깊이 영상의 노이즈를 보정하는 방법 | |
KR20130068520A (ko) | 영상 워핑 처리 방법 및 장치 | |
Akimov et al. | Automatic left-right channel swap detection | |
KR101629414B1 (ko) | 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치 | |
Liu et al. | Efficient automatic detection of 3D video artifacts | |
JP2017005480A (ja) | 立体動画像処理装置、立体動画像処理方法、立体動画像処理プログラム、および記録媒体 | |
Liu et al. | Automatic detection of temporal synchronization mismatches between the stereoscopic channels for stereo 3D videos |