JP7485983B2

JP7485983B2 - マッピング関数調整装置、マッピング関数調整方法およびプログラム

Info

Publication number: JP7485983B2
Application number: JP2022538562A
Authority: JP
Inventors: 真二深津; 卓佐野; 由実菊地; 正人小野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2024-05-17
Anticipated expiration: 2040-07-22
Also published as: WO2022018869A1; JPWO2022018869A1

Description

本発明は、マッピング関数調整装置、マッピング関数調整方法およびプログラムに関する。

三次元画像を生成するために用いられる奥行きマップ（Depth map）がある。奥行きマップは、視点からの距離情報を濃淡で表現する。一般的に、奥行きマップが表現できる範囲が制限されている。例えば、０～２５５の範囲のグレースケールで、各画素の奥行きが定義される。

注目する物体部分に広い範囲を割り当てることで、注目する物体の立体感を強調する手法が提案されている（非特許文献１参照）。注目する物体におけるデプス値の範囲を伸長することにより、マッピング関数の反転が生じる。非特許文献１は、反転したマッピング関数に対して、非線形最小二乗法を用いたカーブフィッティングを用いて対処する。

Sangwoo Lee, Younghui Kim, Jungjin Lee, Kyehyun Kim, Kyunghan Lee and Junyong Noh, "Depth manipulation using disparity histogram analysis for stereoscopic 3D", The Visual Computer 30(4):455-465, April 2014.

しかしながら非特許文献１に記載の方法は、最適化問題を解くため、マッピング関数の算出に時間がかかる場合がある。また非特許文献１に記載の方法は、最適化問題を解く結果、マッピングの反転箇所が解消されず、逆に反転箇所がいくつも生じるような異常解に帰着する場合もある。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、奥行きマップを、所定のオブジェクトに広い範囲を割り当てる奥行きマップに変換するために用いられるマッピング関数を、適切に算出可能な技術を提供することである。

本発明の一態様のマッピング関数調整装置は、領域のデプス値を定義する奥行きマップデータから、デプス値の範囲を区分する複数の階級毎に、階級に属する領域数を対応づけたヒストグラムを生成するヒストグラム生成部と、ヒストグラムを、ガウス分布形状を有する複数の奥行きレイヤにクラスタリングし、所定の奥行きレイヤが属する階級の幅を伸長し、奥行きマップデータにおける伸長前のデプス値を、伸長後のデプス値に変換するマッピング関数を生成するマッピング関数生成部と、マッピング関数において、伸長前のデプス値と伸長後のデプス値が負の相関を有する区域を特定し、特定された区域において伸長前のデプス値と伸長後のデプス値が正の相関を有するように、マッピング関数を調整する調整部を備える。

本発明の一態様のマッピング関数調整方法は、コンピュータが、領域のデプス値を定義する奥行きマップデータから、デプス値の範囲を区分する複数の階級毎に、階級に属する領域数を対応づけたヒストグラムを生成するステップと、コンピュータが、ヒストグラムを、ガウス分布形状を有する複数の奥行きレイヤにクラスタリングし、所定の奥行きレイヤが属する階級の幅を伸長し、奥行きマップデータにおける伸長前のデプス値を、伸長後のデプス値に変換するマッピング関数を生成するステップと、コンピュータが、マッピング関数において、伸長前のデプス値と伸長後のデプス値が負の相関を有する区域を特定し、特定された区域において伸長前のデプス値と伸長後のデプス値が正の相関を有するように、マッピング関数を調整するステップを備える。

本発明の一態様は、上記処理装置として、コンピュータを機能させる処理プログラムである。

本発明によれば、奥行きマップを、所定のオブジェクトに広い範囲を割り当てる奥行きマップに変換するために用いられるマッピング関数を、適切に算出可能な技術を提供することができる。

図１は、本発明の実施の形態に係る処理装置の機能ブロックを説明する図である。図２は、奥行きマップの一例を示す図である。図３は、処理装置による更新後の奥行きマップの一例を示す図である。図４は、奥行きマップのヒストグラムの一例を説明する図である。図５は、奥行きマップにおいて、所定範囲のデプス値を有する領域のヒストグラムを、デプス値の最大範囲に伸長したヒストグラムの一例である。図６は、図５のヒストグラムの階級をデプスレイヤ数に区分する図である。図７は、ＧＭＭにより複数の奥行きレイヤによりクラスタリングした結果の一例を説明する図である。図８は、マッピング関数生成部が生成したマッピング関数における極小点および極大点を示す図である。図９は、極小点および極大点の置き換えの一例を説明する図である。図１０は、置き換え後の点を結んだマッピング関数の一例を説明する図である。図１１は、置き換え後の点を結び、スムージング処理を施したマッピング関数の一例を説明する図である。図１２は、最大範囲に伸長したヒストグラムを、伸長前の所定範囲のデプス値に戻したヒストグラムの一例である。図１３は、処理装置による処理方法を説明するフローチャートである。図１４は、処理装置に用いられるコンピュータのハードウエア構成を説明する図である。

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

（処理装置）
本発明の実施の形態にかかる処理装置（マッピング関数調整装置）１は、三次元画像を生成するために用いられる奥行きマップデータを、所定のオブジェクトに広い範囲を割り当てる奥行きマップデータに更新する。処理装置１は、奥行きマップを更新するためのマッピング関数を、異常解に導くことなく適切に、算出することができる。また処理装置１は、従来よりも処理負担を軽減して、早く、マッピング関数を算出することができる。

処理装置１は、奥行きマップデータ１１、マッピング関数データ１２、ヒストグラム生成部２１、マッピング関数生成部２２、調整部２３および更新部２４を備える。奥行きマップデータ１１およびマッピング関数データ１２は、メモリ９０２またはストレージ９０３に記憶されるデータである。ヒストグラム生成部２１、マッピング関数生成部２２、調整部２３および更新部２４は、CPU９０１の実行によって処理装置１に実装される機能部である。

奥行きマップデータ１１は、三次元画像を生成するために用いられる。奥行きマップデータ１１は、領域のデプス値を定義する。領域は、奥行きマップにおける位置を特定する単位である。本発明の実施の形態において１つの領域は、１つの画素であるが、複数の画素であっても良い。マッピング関数の範囲が８ビットで表現される場合、デプス値は、０－２５５の範囲を有するグレースケールで表現される。マッピング関数の範囲が１６ビットで表現される場合、デプス値は、０－６５５３５の範囲を有するグレースケールで表現される。奥行きマップデータ１１は、ヒストグラム生成部２１により参照され、更新部２４により更新される。

図２に、更新前の奥行きマップデータ１１の一例を示し、図３に、更新部２４による更新後の奥行きマップデータ１１の一例を示す。図３に示す更新後の奥行きマップデータ１１において、中央の人物の濃淡の差が、図２に示す更新前の奥行きマップデータ１１に比べて明確になることがわかる。

マッピング関数データ１２は、更新前の奥行きマップデータ１１のデプス値を、更新部２４による更新後の奥行きマップデータのデプス値に変換する関数を特定するデータである。マッピング関数は、更新前の奥行きマップデータ１１を、所定のオブジェクトに広い範囲を割り当てる奥行きマップデータ１１に更新するために用いられる。

ヒストグラム生成部２１は、奥行きマップデータ１１から、デプス値を区分した複数の階級と、階級に属する領域数を対応づけたヒストグラムを生成する。ヒストグラム生成部２１は、デプス値の最大範囲を区分した複数の階級と、階級に属する領域数を対応づけたヒストグラムを生成する。生成したヒストグラムは、マッピング関数生成部２２によるマッピング関数の生成の際に参照される。ヒストグラム生成部２１は、デプス値の最大範囲である０－２５５を、複数の階級に区分する。階級は、ヒストグラムにおいて、デプス値の頻度を集計するためのデプス値の区間である。本発明の実施の形態において、１階級は、デプス値の範囲“１”に対応する。ヒストグラム生成部２１は、デプス値“０”の領域数、デプス値“１”の領域数、・・・と、デプス値“１”刻みで領域数をカウントして、ヒストグラムを生成する。他の例として、１階級がデプス値の範囲“２”に対応する場合、ヒストグラム生成部２１は、デプス値“０”または“１”の領域数、デプス値“２”または“３”の領域数、・・・と、デプス値“２”刻みで領域数をカウントして、ヒストグラムを生成する。マッピング関数生成部２２は、生成したヒストグラムからマッピング関数を生成する。

ヒストグラム生成部２１は、デプス値の最大範囲を区分した複数の階級と、階級に属する領域数を対応づけて生成したヒストグラムから、デプス値の上限値および下限値を含む両端の領域を除き、主要領域について、精細なヒストグラムを生成しても良い。ヒストグラム生成部２１は、デプス値の上限値から所定の領域数に対応する階級と、デプス値の下限値から所定の領域数に対応する階級を削除し、削除後のヒストグラムの階級に対応するデプス値の範囲を、最大範囲に伸長して、ヒストグラムを更新しても良い。マッピング関数生成部２２は、更新後のヒストグラムからマッピング関数を生成する。

例えば、デプス値が０－２５５の最大範囲で形成されたヒストグラムを、所定範囲において精細に表現したヒストグラムに更新する場合を説明する。例えば図４に示すようなヒストグラムについて、上限値から５％の領域数に対応する階級と、下限値から５％の領域数に対応する階級を削除する場合を説明する。図４に示す例は、デプス値の範囲０－２５５のヒストグラムを示す。なお本発明の実施の形態において、削除する階級を割合で示す場合を説明するが、累積領域数などの数値で示しても良い。

ヒストグラム生成部２１は、デプス値の下限値０から、累積領域数が全領域数の５％となるデプス値の範囲を特定して、ヒストグラムから、特定されたデプス値の範囲のヒストグラムを削除する。ヒストグラム生成部２１は、デプス値の上限値２５５から、累積領域数が全領域数の５％となるデプス値の範囲を特定して、ヒストグラムから特定されたデプス値の範囲のヒストグラムを削除する。その結果、図４の矢印が示す約１７５－２４０の範囲のヒストグラムが残る。

ヒストグラム生成部２１は、図５に示すように、削除後のヒストグラムを、最大範囲である０－２５５に伸長して、ヒストグラムを更新する。図４に示す例において、デプス値の範囲０－２５５のうち、削除により約１７５－２４０の範囲が残る。ヒストグラム生成部２１は、削除前の１７５－２４０の範囲を、０－２５５の範囲に伸長することで、図５に示すヒストグラムを得る。

伸長後のデプス値d_expと、伸長前の奥行きマップ上のデプス値dは、式（１）により変換される。

これにより、領域数の少ない範囲をトリミングして、所定範囲のデプス値のヒストグラムを精細に表現することが可能になる。

マッピング関数生成部２２は、ヒストグラムを、ガウス分布形状を有する複数の奥行きレイヤにクラスタリングし、所定の奥行きレイヤに属する階級の幅を伸長し、奥行きマップデータ１１における伸長前のデプス値を、伸長後のデプス値に変換するマッピング関数を生成する。奥行きレイヤに属する階級の幅は、ヒストグラムにおいて、奥行きレイヤに属する領域のデプス値の最小値に対応する階級から最大値に対応する階級の数で特定される。生成したマッピング関数は、マッピング関数データ１２として記憶される。マッピング関数生成部２２は、例えば非特許文献１に記載の方法で、マッピング関数を生成する。

マッピング関数生成部２２は、例えば図５に示すヒストグラムを、複数のガウス分布形状にクラスタリングする。１つのガウス分布形状は、奥行きレイヤと称される。

ガウス分布形状にクラスタリングする方法の一例を説明する。マッピング関数生成部２２は、図６に示すように、ヒストグラム生成部２１で生成したヒストグラムの階級を、ユーザ等により指定されたデプスレイヤ数に区分する。図６に示す例においてデプスレイヤ数は９である。マッピング関数生成部２２は、各区分において、最大頻度となるデプス値を、代表値として特定する。図６に示す例において、黒丸で示した点が代表値となるデプス値である。

ユーザ等により指定されるデプスレイヤ数は、いくつかの代表値を抽出するために用いられるので、特に制限はない。デプスレイヤ数が大きい場合、後続のクラスタリング処理で時間を要する場合がある。デプスレイヤ数は、三次元画像においてユーザが区分したいレイヤ数よりも大きくなりすぎない値で、設定されることが好ましい。

マッピング関数生成部２２は、各区分における代表値を、ＧＭＭ（混合ガウスモデル：Gaussian mixture model）における各ガウス分布の平均値の初期値として、クラスタリングを行う。マッピング関数生成部２２は、クラスタリングの結果、図７に示すように、ガウス分布形状を有する複数の奥行きレイヤを特定する。図７に示す例において、７つの奥行きレイヤが特定される。

複数の奥行きレイヤが特定されると、マッピング関数生成部２２は、所定の奥行きレイヤの階級の幅を伸長し、奥行きマップデータ１１における伸長前のデプス値を、伸長後のデプス値に変換するマッピング関数を生成する。マッピング関数生成部２２は、ユーザの指定等により指定された奥行きレイヤが、より広いデプス値で表現されるように、指定された奥行きレイヤを、図７の左右方向に伸長して、指定された奥行きレイヤの属する階級の幅を広げる。例えば、指定された奥行きレイヤの属する階級の幅が７０デプス値（７０階級）の場合、１４０デプス値など、７０デプス値よりも大きい値になるように、指定された奥行きレイヤを左右方向に広げる。マッピング関数生成部２２は、奥行きマップデータ１１における伸長前のデプス値を、指定された奥行きレイヤの属する階級の幅を伸長した後のデプス値に変換するマッピング関数を生成する。マッピング関数生成部２２は、各奥行きレイヤ与えられた重みを考慮して、奥行きレイヤが重複する部分におけるマッピング関数を決定する。各奥行きレイヤに与えられる重みは、各奥行きレイヤの伸長度に比例しても良い。

このとき、マッピング関数生成部２２は、さらに、所定の奥行きレイヤに隣接する奥行きレイヤを、所定の奥行きレイヤの伸長度よりも低い伸長度で伸長して、マッピング関数を生成しても良い。例えば、指定された奥行きレイヤの伸長度（ボリューム）を中心に、隣接するレイヤの伸長度、さらに隣接するレイヤの伸長度が正規分布となるように、各レイヤの伸長度が算出されても良い。指定された奥行きレイヤの伸長度に対する、隣接する奥行きレイヤの伸長度の割合は、例えば、ｆ（±１）／ｆ（０）＝０．２４／０／４＝０．６倍となる。なお、ｆは、標準正規分布関数である。指定された奥行きレイヤに隣接する奥行きレイヤについても、伸長することにより、三次元画像において、滑らかな奥行きを表現することができる。

マッピング関数は、例えば式（２）のように表現される。

マッピング関数生成部２２によってマッピング関数が生成されると、調整部２３は、マッピング関数において、伸長前のデプス値と伸長後のデプス値が負の相関を有する区域を特定し、特定された区域において伸長前のデプス値と伸長後のデプス値が正の相関を有するように、マッピング関数を調整する。調整部２３は、マッピング関数を幾何的に解析して、伸長前のデプス値の関係と、伸長後のデプス値の関係とが反転する箇所を特定して、マッピング関数を調節する。

調整部２３は、マッピング関数生成部２２が生成したマッピング関数において、極小点および極大点を検出する。図８に示す例において、極小点および極大点を丸印で示す。

調整部２３は、極小点と同じ伸長後のデプス値を有し極小点と異なる伸長前のデプス値を有する第１の対応点と、極大点と同じ伸長後のデプス値を有し極大点と異なる伸長前のデプス値を有する第２の対応点を特定する。調整部２３は、マッピング関数の極小点および極大点で特定される区間を、第１の対応点と第２の対応点とを接続した線に置き換えて、マッピング関数を調整する。

ここで調整部２３は、極小点に対して第１の対応点がない場合、マッピング関数において伸長前のデプス値が最小となる点を第１の対応点とし、極大点に対して第２の対応点がない場合、マッピング関数において伸長前のデプス値が最大となる点を第２の対応点とする。本発明の実施の形態において、マッピング関数の範囲は、０－２５５である。第１の対応点は、入力が０のときのマッピング関数の出力の点となる。第２の対応点は、入力が２５５のときのマッピング関数の出力の点となる。マッピング関数の範囲が１６ビットで表現される場合、０－６５５３５であるので、第１の対応点および第２の対応点は、それぞれ入力が０または６５５３５のときのマッピング関数の出力の点となる。

図９を参照して、具体的に説明する。図９において入力は、マッピング関数の入力で、所定の奥行きレイヤを伸長する前のデプス値である。出力は、マッピング関数の出力で、所定の奥行きレイヤを伸長した後のデプス値である。図９に示す例において調整部２３は、極大点Ｐ１およびＰ３と、極小点Ｐ２およびＰ４を特定する。

調整部２３は、極大点Ｐ１と出力のデプス値が同じで入力のデプス値が異なるマッピング関数上の点Ｐ１’を、極大点Ｐ１に対応する対応点として特定する。極小点Ｐ２と出力のデプス値が同じで入力のデプス値が異なるマッピング関数の点がないので、調整部２３は、入力のデプス値が０となるマッピング関数上の点Ｐ２’を、極小点Ｐ２に対応する対応点として特定する。調整部２３は、Ｐ１’およびＰ２’を通る線分を含むように、マッピング関数を調整する。

調整部２３は、極大点Ｐ３と出力のデプス値が同じで入力のデプス値が異なるマッピング関数上の点Ｐ３’を、極大点Ｐ３に対応する対応点として特定する。極小点Ｐ４と出力のデプス値が同じで入力のデプス値が異なるマッピング関数の点Ｐ４’を、極小点Ｐ４に対応する対応点として特定する。調整部２３は、Ｐ３’およびＰ４’を通る線分を含むように、マッピング関数を調整する。

図１０は、図８に示すマッピング関数において、伸長前のデプス値と伸長後のデプス値が負の相関を有する区域を、伸長前のデプス値と伸長後のデプス値が正の相関を有するように調整したマッピング関数である。調整部２３は、図１０に示す調整後のマッピング関数に対してスムージング処理を施して、図１１に示すような、カーブが滑らかなマッピング関数を得ても良い。スムージング処理では、例えば、三次スプライン補間が利用される。

調整部２３は、伸長前のデプス値と伸長後のデプス値が、正の相関を有するように、調整する。調整部２３は、伸長前のデプス値の大小関係を維持しつつ、所定の奥行きレイヤに広いデプス値の範囲を割り当てることが可能なマッピング関数を出力することができる。

調整部２３は、他の方法によってマッピング関数を調整しても良い。調整部２３は、極小点および記極大点を含む所定範囲内で、第１の対応点および第２の対応点を探索する。調整部２３は、第１の対応点がない場合、マッピング関数の所定範囲において伸長前のデプス値が最小となる点を第１の対応点とし、第２の対応点がない場合、マッピング関数の所定範囲において伸長前のデプス値が最大となる点を第２の対応点とする。

調整部２３は、例えば、極小点の伸長前のデプス値と、極大点の伸長前のデプス値で特定される範囲の２倍の範囲を、所定範囲とする。図９に示す例において、調整部２３は、Ｐ１の伸長前のデプス値と、Ｐ２の伸長前のデプス値の範囲を中心に、その範囲の２倍の範囲を、所定範囲とする。調整部２３は、その所定範囲内において、第１の対応点および第２の対応点を探索する。範囲内に対応点が見つからない場合、調整部２３は、所定範囲の入力の上限値または下限値におけるマッピング関数上の点を対応点とする。

これにより調整部２３は、対応点の探索範囲を制限するので、処理負担を軽減することができる。また調整部２３は、対応点の探索範囲を制限する結果、元のマッピング関数の形状にさらに沿う様に、マッピング関数を調整することができる。

調整部２３に入力されたマッピング関数が、図４に示す矢印の範囲など、両端を削除したヒストグラムから生成された場合、マッピング関数の入力値は、奥行きマップデータ１１におけるデプス値とは異なる。調整部２３は、調整したマッピング関数の伸長前のデプス値の範囲を、削除後のヒストグラムの階級に対応するデプス値の範囲に変換する。このとき、伸長前のデプス値において、削除された範囲は、０または２５５に変換される。

図４に示す例のように、デプス値の最大範囲０－２５５のうちの約１７５－２４０の範囲を取り出し、０－２５５の範囲に伸長してマッピング関数を作成する場合、調整部２３は、入力の範囲０－２５５を、１７５－２４０に圧縮するようにマッピング関数を調整する。マッピング関数は、伸長前のデプス値が、１７４以下の場合、０に変換し、伸長前のデプス値が、２４０以以上の場合、２５５に変換する。調整部２３は、図１２に示すマッピング関数を得る。

更新部２４は、調整部２３によって調整されたマッピング関数で、奥行きマップデータ１１のデプス値を更新する。これにより処理装置１は、所定のオブジェクトに広い範囲を割り当てる奥行きマップデータ１１を得る。

図１３を参照して、本発明の実施の形態に係る処理装置１による処理方法を説明する。

まずステップＳ１において処理装置１は、奥行きマップデータ１１から、ヒストグラムを生成する。ステップＳ２において処理装置１は、ステップＳ１で生成したヒストグラムから、複数の奥行きレイヤにクラスタリングする。

ステップＳ３において処理装置１は、ステップＳ２でクラスタリングした複数の奥行きレイヤのうち、指定された奥行きレイヤの階級の幅を伸長する。処理装置１は、指定された奥行きレイヤに隣接する奥行きレイヤも伸長しても良い。ステップＳ４において処理装置１は、ステップＳ３における伸長前のデプス値を、伸長後のデプス値に変換するマッピング関数を生成する。

ステップＳ５において処理装置１は、ステップＳ４で生成したマッピング関数において、負の相関を有する区域があるか否かを判定する。負の相関を有する区域がない場合、処理装置１は処理を終了する。

負の相関を有する区域がある場合、ステップＳ６に進む。ステップＳ６において処理装置１は、負の相関を有する区域において、正の相関を有するようにマッピング関数を調整する。ステップＳ７において処理装置１は、ステップＳ６で調整したマッピング関数で、奥行きマップデータ１１のデプス値を更新して、処理を終了する。

本発明の実施の形態に係る処理装置１は、マッピング関数において、負の相関を有する部分において極小点および極大点が発生することに着眼し、その極小点と極大点を含む部分を線形化することで、先行技術と比べて短時間での最適化を実現する。例えば従来技術では、５０７２秒要した処理を、本発明の実施の形態に係る処理装置１は、１５．４秒に短縮することを可能とした。また処理装置１は、マッピング関数における負の相関の領域を幾何的に解消するので、異常解に帰着することはない。

奥行きマップを用いて三次元画像を生成する際、各デプスの絶対的な値はあまり重要ではなく、画像全体での各デプスの相対的な値が重要となる。本発明の実施の形態に係る処理装置１は、画像全体での奥行範囲を伸長し圧縮することで、三次元画像における立体感を強調することが可能になる。

このように本発明の実施の形態に係る処理装置１は、奥行きマップを、所定のオブジェクトに広い範囲を割り当てる奥行きマップに変換するために用いられるマッピング関数を、適切に算出することができる。

上記説明した本実施形態の処理装置１は、例えば、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムが用いられる。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた処理プログラムを実行することにより、処理装置１の各機能が実現される。

なお、処理装置１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また処理装置１は、コンピュータに実装される仮想マシンであっても良い。

処理装置１のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

１処理装置
１１奥行きマップデータ
１２マッピング関数データ
２１ヒストグラム生成部
２２マッピング関数生成部
２３調整部
２４更新部
９０１ CPU
９０２メモリ
９０３ストレージ
９０４通信装置
９０５入力装置
９０６出力装置

Claims

領域のデプス値を定義する奥行きマップデータから、前記デプス値の範囲を区分する複数の階級毎に、前記階級に属する領域数を対応づけたヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムを、ガウス分布形状を有する複数の奥行きレイヤにクラスタリングし、所定の奥行きレイヤが属する階級の幅を伸長し、前記奥行きマップデータにおける伸長前のデプス値を、伸長後のデプス値に変換するマッピング関数を生成するマッピング関数生成部と、
前記マッピング関数において、伸長前のデプス値と伸長後のデプス値が負の相関を有する区域を特定し、特定された区域において伸長前のデプス値と伸長後のデプス値が正の相関を有するように、前記マッピング関数を調整する調整部
を備え、
前記調整部は、前記マッピング関数生成部が生成したマッピング関数において、極小点および極大点を検出し、前記マッピング関数の前記極小点および極大点で特定される区間を、前記極小点と同じ伸長後のデプス値を有し前記極小点と異なる伸長前のデプス値を有する第１の対応点と、前記極大点と同じ伸長後のデプス値を有し前記極大点と異なる伸長前のデプス値を有する第２の対応点とを接続した線に置き換えて、前記マッピング関数を調整するマッピング関数調整装置。
前記調整部は、前記極小点に対して前記第１の対応点がない場合、前記マッピング関数において伸長前のデプス値が最小となる点を前記第１の対応点とし、前記極大点に対して前記第２の対応点がない場合、前記マッピング関数において伸長前のデプス値が最大となる点を前記第２の対応点とする
請求項１に記載のマッピング関数調整装置。
前記調整部は、前記極小点および前記極大点を含む所定範囲内で、前記第１の対応点がない場合、前記マッピング関数の前記所定範囲において伸長前のデプス値が最小となる点を第１の対応点とし、前記第２の対応点がない場合、前記マッピング関数の前記所定範囲において伸長前のデプス値が最大となる点を第２の対応点とする
請求項１に記載のマッピング関数調整装置。
前記マッピング関数生成部は、さらに、所定の奥行きレイヤに隣接する奥行きレイヤを、前記所定の奥行きレイヤの伸長度よりも低い伸長度で伸長して、前記マッピング関数を生成する
請求項１ないし３のいずれか１項に記載のマッピング関数調整装置。
前記ヒストグラム生成部は、前記デプス値の最大範囲を区分した複数の階級と、前記階級に属する領域数を対応づけたヒストグラムから、前記デプス値の上限値から所定の領域数に対応する階級と、前記デプス値の下限値から所定の領域数に対応する階級を削除して、
削除後のヒストグラムの階級に対応する前記デプス値の範囲を、前記最大範囲に伸長して、ヒストグラムを更新し、
前記マッピング関数生成部は、更新後のヒストグラムからマッピング関数を生成し、
前記調整部は、調整した前記マッピング関数の伸長前のデプス値の範囲を、前記削除後のヒストグラムの階級に対応する前記デプス値の範囲に変換する
請求項１ないし４のいずれか１項に記載のマッピング関数調整装置。
コンピュータが、領域のデプス値を定義する奥行きマップデータから、前記デプス値の範囲を区分する複数の階級毎に、前記階級に属する領域数を対応づけたヒストグラムを生成するステップと、
前記コンピュータが、前記ヒストグラムを、ガウス分布形状を有する複数の奥行きレイヤにクラスタリングし、所定の奥行きレイヤが属する階級の幅を伸長し、前記奥行きマップデータにおける伸長前のデプス値を、伸長後のデプス値に変換するマッピング関数を生成するステップと、
前記コンピュータが、前記マッピング関数において、伸長前のデプス値と伸長後のデプス値が負の相関を有する区域を特定し、特定された区域において伸長前のデプス値と伸長後のデプス値が正の相関を有するように、前記マッピング関数を調整するステップ
を備え、
前記調整するステップは、前記マッピング関数において、極小点および極大点を検出し、前記マッピング関数の前記極小点および極大点で特定される区間を、前記極小点と同じ伸長後のデプス値を有し前記極小点と異なる伸長前のデプス値を有する第１の対応点と、前記極大点と同じ伸長後のデプス値を有し前記極大点と異なる伸長前のデプス値を有する第２の対応点とを接続した線に置き換えて、前記マッピング関数を調整するマッピング関数調整方法。
コンピュータを、請求項１ないし請求項５のいずれか１項に記載のマッピング関数調整装置として機能させるためのプログラム。