JP2006201950A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】膨大なデータ量を必要とせずに、自然な立体画像を再現可能とする。
【解決手段】画像処理システム１００は、複数の異なる視点位置から見た立体視対象物の画像に基づいて立体画像を生成するシステムであり、観察者の特定の視点位置から立体視対象物へ放射状に延びる複数の視線方向を平行線として表し、当該視点位置からの距離を示す深度を平行線として表した格子の各格子点上に、当該視点位置における立体視対象画像のボクセルの中心点を配置した特定視点空間座標を視点位置毎に生成し、その生成された各視点位置での特定視点空間座標を用いて、立体表示の元になるＩＰ（インテグラルフォトグラフィ）画像を生成する。
【選択図】図１

Description

本発明は、立体画像を生成するための画像処理システム及び画像処理方法に関する。

立体画像の視認性を高める広告媒体として、レンチキュラーシートを用いた立体画像表示が知られている。このレンチキュラーシートを用いた立体画像表示は、３次元モデルをＣＧ（Computer Graphics）等で生成し、適宜配置することで、レンチキュラーシートからの飛び出し、沈み込み、チェンジ、ムーブ等、強力なプレゼンテーション能力を有するが、ＣＧにより生成された架空のモデルを扱うため、自然な立体感が得られず、場合によっては見る者に不快感を与え、広告媒体としては不適切なこともあった。

他方、複数の視点で撮影された多視点画像を所定の形式で合成し、レンチキュラーシートやパララックスバリアを通して観察する立体写真が知られている。このような立体写真では、自然な立体感は得られるが、プレゼンテーション能力が低く、広告媒体としては不十分であった。

そこで、複数の視点で撮影された多視点画像と、ＣＧ等で生成された３次元モデルを合成し、立体画像として一層効果的な画像を生成する立体画像表示用の画像生成方法が提案されている。このような画像生成方法として、特許文献１には、実写画像から生成された仮想空間内に３次元モデルを配置して画像合成を行う技術が開示されている。また、特許文献２には、対象とする画像を遠景と近景に分離し、遠景は立体感を有さない２次元背景として扱う技術が開示されている。
特開２００３−３２３６３６号公報 特開平７−２３９９５２号公報

しかしながら、特許文献１に開示された技術では、画像を３次元直交空間として扱うため、特に、同一画面内に遠景描写と近景描写が混在する場合、遠景の画像領域と近景の画像領域を同等の精度で処理することによって処理対象画像のデータ量が膨大になり、処理時間が長くなるという問題があった。また、特許文献２に開示された技術は、特許文献１における遠景描写のデータ量の問題を解決するものであるが、遠景が立体感を有しておらず、遠景と近景に明確な境界線が存在するため、自然な画像を再現することができないという問題があった。

本発明の課題は、膨大なデータ量を必要とせずに、自然な立体画像を再現可能にすることである。

上記課題を解決するため、請求項１に記載の発明は、複数の異なる視点位置から見た立体視対象物の画像に基づいて立体画像を生成する画像処理システムにおいて、
観察者の特定の視点位置から立体視対象物へ放射状に延びる複数の視線方向を平行線として表し、当該視点位置からの距離を示す深度を前記平行線と交わる平行線として表した格子の各格子点上に、当該視点位置における立体視対象画像のボクセルの中心点を配置した特定視点空間座標を生成する特定視点空間生成手段と、
前記特定視点空間生成手段により生成された各視点位置での特定視点空間座標を用いて、立体表示の元になる画像を生成する画像生成手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記ボクセルの中心点は、両眼視差による立体視対象物の認知精度に基づいて配置されることを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像処理システムにおいて、立体視対象物が異なる複数の立体視対象画像を視点位置毎に取得する取得手段と、
前記取得手段により得られた複数の立体視対象画像の各々を視点位置毎に合成する合成手段と、を備え、
前記特定視点空間生成手段は、立体視対象画像毎に各視点位置での特定視点空間座標を生成し、
前記合成手段は、立体視対象画像毎に生成された特定視点空間座標に基づいて各立体視対象画像を合成し、
前記画像生成手段は、前記合成手段により得られた合成画像に基づいて立体表示の元になる画像を生成することを特徴としている。

請求項４に記載の発明は、請求項３に記載の画像処理システムにおいて、前記複数の立体視対象画像を合成する際に使用するボクセルの優先順位を設定する優先順位設定手段を備え、
前記合成手段は、前記複数の立体視対象画像の合成時に各立体視対象画像のボクセルが重なり合う場合、前記優先順位設定手段により設定された優先順位に基づいて合成に使用するボクセルを選択することを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理システムにおいて、前記画像生成手段は、インテグラルフォトグラフィ方式を用いて、前記立体表示の元になる画像を生成することを特徴としている。

請求項６に記載の発明は、複数の異なる視点位置から見た立体視対象物の画像に基づいて立体画像を生成する画像処理方法において、
観察者の特定の視点位置から立体視対象物へ放射状に延びる複数の視線方向を平行線として表し、当該視点位置からの距離を示す深度を前記平行線と交わる平行線として表した格子の各格子点上に、当該視点位置における立体視対象画像のボクセルの中心点を配置した特定視点空間座標を生成する特定視点空間生成工程と、
前記生成された各視点位置での特定視点空間座標を用いて、立体表示の元になる画像を生成する画像生成工程と、を含むことを特徴としている。

請求項７に記載の発明は、請求項６に記載の画像処理方法において、前記ボクセルの中心点は、両眼視差による立体視対象物の認知精度に基づいて配置されることを特徴としている。

請求項８に記載の発明は、請求項６又は７に記載の画像処理方法において、立体視対象物が異なる複数の立体視対象画像を視点位置毎に取得する取得工程と、
前記取得工程において得られた複数の立体視対象画像の各々を視点位置毎に合成する合成工程と、を含み、
前記特定視点空間生成工程では、立体視対象画像毎に各視点位置での特定視点空間座標が生成され、
前記合成工程では、立体視対象画像毎に生成された特定視点空間座標に基づいて各立体視対象画像が合成され、
前記画像生成工程では、前記合成工程において得られた合成画像に基づいて立体表示の元になる画像が生成されることを特徴としている。

請求項９に記載の発明は、請求項８に記載の画像処理方法において、前記複数の立体視対象画像を合成する際に使用するボクセルの優先順位を設定する優先順位設定工程を含み、
前記合成工程では、前記複数の立体視対象画像の合成時に各立体視対象画像のボクセルが重なり合う場合、前記優先順位設定工程において設定された優先順位に基づいて合成に使用するボクセルが選択されることを特徴としている。

請求項１０に記載の発明は、請求項６〜９の何れか一項に記載の画像処理方法において、前記画像生成工程では、インテグラルフォトグラフィ方式を用いて、前記立体表示の元になる画像が生成されることを特徴としている。

本発明によれば、視点位置毎に、視線方向と深度方向を示す直線で生成される格子点上に立体視対象画像のボクセルの中心点を配置した特定視点空間座標を生成することにより、直交空間上でボクセルの中心点を配置する場合よりも、処理対象の画像のデータ量が少なく、画像処理時間の短縮化を図ることができる。

また、ボクセルの中心点は、両眼視差による立体視対象物の認知精度に基づいて格子点上に配置されるため、効率的な画像処理が可能となる。

また、複数の立体視対象画像を合成する際に使用するボクセルの優先順位を設定し、合成時に各立体視対象画像のボクセルが重なり合う場合、予め設定された優先順位に基づいて、合成に使用するボクセルを選択するようにしたことにより、合成時にボクセルが重なりあっても確実に対処し、作業効率を向上させることが可能となる。

また、立体表示の元になる画像を、インテグラルフォトグラフィ方式を用いて生成することにより、容易に立体画像を得ることができる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。

図１に、本発明の実施形態に係る画像処理システム１００の構成を示す。画像処理システム１００は、図１に示すように、撮影装置１、３次元計測装置２、ＣＧ（Computer Graphics）発生装置３、システム制御装置４、多視点画像変換装置５、３次元モデル変換装置６、ＩＰ（Integral Photography）画像生成装置７、画像出力部８により構成される。

撮影装置１は、風景や人物等の被写体１０を複数の異なる視点位置から撮影する装置であり、互いに異なる位置に配置された複数台のカメラ１１と、撮影制御部１２により構成される。複数台のカメラ１１の各々は、撮影制御部１２から入力される撮影条件に従って、それぞれの配置位置（視点位置）から被写体１０（立体視対象物）を撮影し、撮影により得られた撮影画像データ（立体視対象画像）を多視点画像変換装置５に出力する。

撮影制御部１２は、システム制御装置４から入力される制御信号に基づいて、各カメラ１１の撮影条件を制御する。この撮影条件には、各カメラ１１の配置間隔、実際に稼動するカメラ台数（不要なカメラがあれば当該カメラの稼動は休止）、カメラアングル、撮影画角、露出制御、シャッター制御等が含まれる。

３次元計測装置２は、ミニチュアの模型、各種小物等の被写体２０（モデリングサンプル）の形状を計測して３次元データを取得する装置であり、互いに異なる位置に配置された複数台のカメラ２１と、３次元モデル形成部２２により構成される。

複数台のカメラ２１の各々は、それぞれの配置位置（視点位置）から被写体２０（立体視対象物）を撮影し、撮影により得られた撮影画像データを３次元モデル形成部２２に出力する。３次元モデル形成部２２は、各カメラ２１から得られた撮影画像データから、共通の特徴（例えば、被写体の輪郭、共通の模様等）を抽出し、抽出された共通の特徴及び各撮影画像データの視点位置から３次元モデル（立体視対象画像）を形成し、３次元モデル変換装置６に出力する。

なお、３次元計測装置２で３次元モデルを得る方法として、以下のような方法を用いてもよい。例えば、被写体２０にライン状の光を照射し、その反射光によって被写体２０の断面形態を測定して３次元モデルに再構築する方法や、被写体２０にレーザ光線を照射し、被写体２０までの距離を測る操作を被写体２０上の複数の測定点で繰り返して３次元モデルを得る方法や、被写体２０に縞状に制御された光を照射し、反射光を、縞格子を通して観察することでモアレ縞を発生させて凹凸情報を得る方法等がある。

ＣＧ発生装置３は、３次元コンピュータグラフィックスを生成するＰＣ（Personal Computer）等のコンピュータ３０により構成され、コンピュータ３０には、３次元モデル化ソフトウェア（プログラム）がインストールされている。コンピュータ３０は、各種３次元モデルのデザイン情報が入力されると、当該３次元モデル化ソフトウェアにより３次元モデルのグラフィック情報を生成する。３次元モデル化ソフトウェアとしては、種々のものが利用可能であり、例えば、一般に普及している３Ｄ−ＣＡＤソフトウェアでもよく、Ｓｈａｄｅ（登録商標）に代表される３次元グラフィックソフトウェアでもよい。

本実施形態では、撮影装置１で得られた各視点位置での撮影画像データ、３次元計測装置２で得られた３次元モデル、ＣＧ発生装置３で得られた仮想上の３次元モデルを総称して「立体視対象画像」と呼ぶことにする。

システム制御装置４は、画像処理システム１００を構成する各装置の動作を制御する装置であり、システム制御部４０、視点情報設定部４１、優先順位設定部４２により構成される。

システム制御部４０は、ＣＰＵ（Central Processing Unit）、メモリ等により構成され、撮影装置１内の各カメラ１１の視点情報（視点の数、各視点間の距離）を視点情報設定部４１に設定するための制御を行う。また、システム制御部４０は、撮影装置１で得られた立体視対象画像と、３次元計測装置２又はＣＧ発生装置３で得られた立体視対象画像の合成時に双方の立体視対象画像のボクセル（Voxel）が重なり合う場合に備えて、使用するボクセルの優先順位の情報（即ち、どの立体視対象画像のボクセルを優先的に使用するかを示す情報）を優先順位設定部４２に設定するための制御を行う。視点情報、優先順位情報は、キーボード、マウス、タッチパネル等の入力デバイス（図示略）をオペレータが操作することによって入力され、それぞれ、視点情報設定部４１及び優先順位設定部４２に設定される。

また、システム制御部４０は、観察者の視点位置からの距離を示す深度のランクを設定する深度方向ランク設定処理（図２参照）を行う。この深度方向ランク設定処理は、撮影装置１、３次元計測装置２、ＣＧ発生装置３で立体視対象画像が取得される前に行われる。深度方向ランク設定処理により、観察者の視点位置からの距離を示す深度を等間隔の平行線として表し、当該視点位置から立体視対象物（被写体１０、２０等）へ放射状に延びる複数の視線方向を、前記深度を示す平行線と交わる等間隔の平行線として表した格子（図５（ｂ）参照）が作成される。本実施形態では、深度方向ランク設定処理の結果として得られた格子で表される空間を特定視点空間と呼ぶ。深度方向ランク設定処理により、直交空間上で定義された距離（深度）が、特定視点空間での距離（深度）に変換される。多視点画像変換装置５及び３次元モデル変換装置６での処理により、特定視点空間の各格子点上には、指定された視点位置での立体視対象画像のボクセルの中心点が配置されることになる。

視点情報設定部４１は、最終的に仕上がる立体画像の立体視効果を好ましいものとするために用意する視点の数、各視点間の距離を視点情報として設定し、この設定された視点情報を撮影装置１内の撮影制御部１２、３次元モデル変換装置６内の多視点２次元画像生成部６１に出力する。撮影制御部１２に出力する視点情報のうち、視点の数は、実際に稼動するカメラ台数に対応し、各視点間の距離は、各カメラ１１の配置間隔に対応する。

優先順位設定部４２は、複数の立体視対象画像の合成時に使用するボクセルの優先順位の情報を設定し、この設定された優先順位情報をＩＰ画像生成装置７内の視点画像合成部７０に出力する。優先順位は、上述のようにオペレータ（ユーザ）が決定するものであり、合成画像のデザイン上の効果により決定される。例えば、商品広告の場合、背景やデザイン上の装飾物よりも商品自体や商品ロゴを表す画像の優先順位が高く、一般説明文よりも商品ロゴの優先順位が高く、商品自体よりも商品ロゴの優先順位が高い、などの設定が、商品広告のデザイン時に行われ、視点画像合成部７０で合成される前に決定される。

多視点画像変換装置５は、撮影装置１で得られた立体視対象画像から視点位置毎の特定視点空間座標を生成する装置であり、多視点２次元画像取得部５０、視差情報解析部５１、深度方向ランク算出部５２、特定視点空間座標生成部５３により構成される。

多視点２次元画像取得部５０は、撮影装置１で得られた視点位置の異なる複数の２次元画像（立体視対象画像）を取得し、取得された２次元画像を視差情報解析部５１及び特定視点空間座標生成部５３に出力する。

視差情報解析部５１は、多視点２次元画像取得部５０で取得された視点位置の異なる複数の２次元画像の各々を、輝度や色差の画素間の差を元に算出された領域に分割し、分割された各領域の境界から特徴点を抽出する。ここで、抽出される特徴点とは、例えば、３以上の領域が接合している点等である。そして、視差情報解析部５１は、抽出された各特徴点の中から各２次元画像に共通している特徴点を抽出し、抽出された各共通特徴点について両眼視差（視差量）を算出する。両眼視差とは、右目と左目の各々で見える物体の方向差である。

深度方向ランク算出部５２は、視差情報解析部５１で得られた各共通特徴点での両眼視差に基づいて、各共通特徴点までの距離を算出し、その算出された距離から、深度方向ランク設定処理で設定された深度方向ランクに基づいて当該算出された距離に対応する深度方向ランクを算出する。また、深度方向ランク算出部５２は、各共通特徴点の深度方向ランクを用いて、分割領域の各々について、共通特徴点以外の全ての画素の深度方向ランクを算出する。各画素の深度方向ランクは、同一の立体視対象物の深度方向ランクの連続性に基づいて、該当する画素から近傍に存在する共通特徴点までの距離と、近傍の共通特徴点の深度方向ランクを用いて補間処理を行うことによって算出される。

特定視点空間座標生成部５３は、視点位置毎に、多視点２次元画像取得部５０で取得された２次元画像と、深度方向ランク算出部５２により算出された深度方向ランクの情報を結合することにより、特定視点空間座標を生成する。具体的には、特定視点空間の各格子点のうち、深度方向ランク算出部５２により算出された深度方向ランクに対応する格子点上に立体視対象画像のボクセルの中心点を配置することによって特定視点空間座標を生成する。

３次元モデル変換装置６は、３次元計測装置２又はＣＧ発生装置３で得られた立体視対象画像から視点位置毎の特定視点空間座標を生成する装置であり、３次元モデル情報取得部６０、多視点２次元画像生成部６１、深度方向ランク算出部６２、特定視点空間座標生成部６３により構成される。

３次元モデル情報取得部６０は、３次元計測装置２又はＣＧ発生装置３から入力された立体視対象画像を取得し、多視点２次元画像生成部６１及び深度方向ランク算出部６２に出力する。

多視点２次元画像生成部６１は、視点情報設定部４１から、視点情報として、視点位置、視点位置の数、注視点に関する情報を取得し、３次元モデル情報取得部６０で取得された立体視対象画像から、各視点位置から注視点方向を見た際の２次元画像を生成する。

深度方向ランク算出部６２は、深度方向ランク設定処理で設定された深度方向ランクに基づいて、視点位置毎に、多視点２次元画像生成部６１で生成された２次元画像を形成する各画素について深度方向ランクを算出する。

特定視点空間座標生成部６３は、視点位置毎に、多視点２次元画像生成部６１で生成された２次元画像と、深度方向ランク算出部６２で算出された深度方向ランクの情報を結合することにより、特定視点空間座標を生成する。具体的には、特定視点空間の各格子点のうち、深度方向ランク算出部６２で算出された深度方向ランクに対応する格子点上に立体視対象画像のボクセルの中心点を配置することによって特定視点空間座標を生成する。

ＩＰ画像生成装置７は、視点画像合成部７０とＩＰ画像生成部７１により構成される。
視点画像合成部７０は、多視点画像変換装置５で得られた立体視対象画像の特定視点空間座標情報と、３次元モデル変換装置６で得られた立体視対象画像の特定視点空間座標情報を視点位置毎に合成する。合成時、ある画素で、双方の立体視対象画像のボクセルが重なり合う場合、優先順位設定部４２で設定された優先順位情報に基づいて、優先順位が高いボクセルを当該画素での合成に使用するボクセルとして選択する。

ＩＰ画像生成部７１は、視点画像合成部７０で得られた合成画像から、インテグラルフォトグラフィ方式を用いて、立体表示の元になる画像であるＩＰ画像を生成する。インテグラルフォトグラフィは、特殊な眼鏡が不要で、且つ観察者の視点が上下左右に移動してもそれに応じた立体像が観察可能な方式である。ＩＰ画像生成装置７において実行されるＩＰ画像生成処理については、後に図９を参照して詳細に説明する。

画像出力部８は、ＩＰ画像生成装置７で生成されたＩＰ画像をプリント出力する装置であり、例えば、インクジェットプリンタや、写真用印画紙にデジタル露光をして現像処理する銀塩デジタルプリンタ、熱昇華型プリンタ等により構成される。銀塩デジタルプリンタは、通常、非常に高いプリント生産能力を有しているため、１台の銀塩デジタルプリンタに複数の前段の各装置を接続させることが可能である。一方、インクジェットプリンタの場合、プリント生産能力が制限されることが多いため、画像処理システム１００内に複数台のインクジェットプリンタを備えるのが好ましい。

なお、本実施形態では、画像処理システム１００が、３次元計測装置２とＣＧ発生装置３の双方を有する場合を示したが、何れか一方のみを有するようにしてもよい。

次に、本実施形態における動作について説明する。
まず、図２のフローチャートを参照して、システム制御部４０において実行される深度方向ランク設定処理について説明する。

まず、被写体空間距離と観察画像空間距離との関係を表す情報が、システム制御部４０内のメモリ（図示略）から取得される（ステップＳ１）。被写体空間とは、被写体（立体視対象物）が実際に存在する空間であり、観察画像空間とは、立体写真を人間が観察することによって知覚される空間であり、再現された被写体の画像（立体視対象画像）が存在する空間である。立体視対象画像のボクセルの中心点は、被写体空間における被写体（立体視対象物）の大きさと、観察画像空間における被写体（立体視対象物）の大きさと、人間の両眼視差による被写体（立体視対象物）の認知精度（後述の所要視角分解精度）に基づいて、特定視点空間の格子点上に配置されることになる。

図３に、被写体空間距離と観察画像空間距離との関係を示す。これは、被写体空間と観察画像空間の各々に存在する被写体（立体視対象物）の大小関係を表したものであり、オペレータによって予めシステム制御部４０内のメモリに設定されている。被写体空間距離とは、被写体空間上での観察者から被写体までの距離を示し、観察画像空間距離とは、観察画像空間上での観察者から被写体までの距離を示す。図３において直線ａは、観察画像空間距離と被写体空間距離が等しく、被写体の距離感を忠実に再現する場合を示す。直線ｂは、観察画像空間距離より被写体空間距離の方が大きく、被写体を小さく再現する場合を示す。直線ｃは、被写体空間距離より観察画像空間距離の方が大きく、被写体を拡大して表現する場合を示す。曲線ｄは、遠方の被写体をより近く観察画像空間上で再現する場合を示しており、非常に遠方の被写体を扱う場合に有効である。

以下、簡単のため、被写体空間距離と観察画像空間距離との関係が図３の直線ａの場合、即ち、被写体空間での被写体（立体視対象物）のサイズと、観察画像空間での被写体（立体視対象物）のサイズが等しい場合について説明する。

被写体空間距離と観察画像空間距離との関係を表す情報が取得されると、被写体空間上の所要視角分解精度が算出される（ステップＳ２）。所要視角分解精度とは、人間の両眼視差の認知精度を表す。図４に示すように、所用視角分解精度をα[ラジアン]、両眼間隔の１／２をβ[ｍ]、観察者の両眼の中心位置と、両眼中心位置から見て無限遠と認識すべき最も遠い点との距離をγ[ｍ]とすると、被写体空間距離と観察画像空間距離との関係が図３の直線ａである場合の所要視角分解精度αは式（１）のように定義される。

人間の両眼視差による立体感の認知は、約３００ｍ程度離れた距離にある物体にまで働くとされている。また、人間の両眼の間隔は６０ｍｍ〜７０ｍｍ（０．０６ｍ〜０．０７ｍ）である。従って、β＝０．０３３、γ＝３００とすると、所要視角分解精度αは、式（１）でtanα≒αの近似式を用いることにより約０．０００１１となる。

なお、ステップＳ１において、被写体空間距離と観察画像空間距離との関係を示す情報として直線ｂが取得された場合、被写体空間上の所要視角分解精度は式（１）のαより大きくなり、直線ｃが取得された場合、被写体空間上の所要視角分解精度は式（１）のαより小さくなる。

次いで、観察者から無限遠の位置に最初（ボクセル番号０）の深度方向ランクの中心位置が設置される（ステップＳ３）。次いで、前のボクセル番号のランク中心位置から所要視角分解精度分の視角差となる位置に、次のボクセル番号の深度方向ランクの中心位置が設置される（ステップＳ４）。ボクセル番号Ｎ（自然数）の深度方向ランクの中心位置は、式（２）を満たす位置である。

ここで、α≪１である。式（２）より、両眼中心位置（視点位置）からの距離がγ/Ｎとなる位置が、ボクセル番号Ｎのランク中心位置である。

ステップＳ４における深度方向ランクの中心位置の設置は、設置位置が観察者に最も近い点（最近傍点）に達するまで行われ（ステップＳ５；ＮＯ）、最近傍点までの深度方向ランクの中心位置の設置が終了すると（ステップＳ５；ＹＥＳ）、本深度方向ランク設定処理が終了する。

このように、観察者からの距離の情報は、所要視角分解精度で量子化された深度方向ランクとして得られる。これにより、必要最低限の情報量で、立体画像情報を表現することが可能となる。

図５（ａ）に、視点位置から立体視対象物へ放射状に延びる複数の視線方向を表す直線と、図２の深度方向ランク設定処理で設定された各ボクセル番号での深度方向ランクを表す直線を示す。図５（ａ）では、γ＝３００ｍとした場合を示している。図５（ａ）は、直交空間での視線方向及び深度方向を表しており、これを特定視点空間で表すと図５（ｂ）のようになる。即ち、特定視点空間は、図５（ｂ）に示すように、視点位置からの距離を示す深度を等間隔の平行線として表し、当該視点位置から立体視対象物へ放射状に延びる複数の視線方向を、前記深度を示す平行線と交わる等間隔の平行線として表した格子として表される。

次に、図６のフローチャートを参照して、多視点画像変換装置５において実行される特定視点空間座標生成処理について説明する。

まず、撮影装置１で得られた視点位置の異なる複数の２次元画像（立体視対象画像）が取得され（ステップＳ１０）、取得された各々の２次元画像から、本処理対象の矩形領域が設定される（ステップＳ１１）。次いで、処理対象の矩形領域が設定された２次元画像の各々が、輝度や色差の画素間の差を元に算出された領域に分割され（ステップＳ１２）、各々の２次元画像について、分割された各領域の境界から特徴点が抽出される（ステップＳ１３）。

次いで、ステップＳ１３で抽出された各特徴点の中から各２次元画像に共通する特徴点が抽出される（ステップＳ１４）。共通特徴点の抽出が終了すると（ステップＳ１５；ＹＥＳ）、各共通特徴点について両眼視差（視差量）が算出される（ステップＳ１６）。

次いで、ステップＳ１６で算出された各共通特徴点での両眼視差に基づいて、各共通特徴点までの距離が算出され、その算出された距離から、図２の深度方向ランク設定処理で設定された深度方向ランクに基づいて当該距離に対応する深度方向ランクが算出される（ステップＳ１７）。

次いで、ステップＳ１７で算出された各共通特徴点の深度方向ランクを用いて、分割領域の各々について、共通特徴点以外の全ての画素の深度方向ランクが算出される（ステップＳ１８）。各画素の深度方向ランクは、同一の立体視対象物の深度方向ランクの連続性に基づいて、該当する画素から近傍に存在する共通特徴点までの距離と、近傍の共通特徴点の深度方向ランクを用いて補間処理を行うことによって算出される。

次いで、ステップＳ１０で取得された２次元画像（立体視対象画像）と、ステップＳ１７及びＳ１８で算出された深度方向ランクの情報を結合することにより、特定視点空間座標が生成され（ステップＳ１９）、本特定視点空間座標生成処理が終了する。ステップＳ１９では、具体的に、特定視点空間の各格子点のうち、ステップＳ１７及びＳ１８で算出された深度方向ランクに対応する格子点上に、ステップＳ１０で取得された２次元画像のボクセルの中心点を配置することによって特定視点空間座標が生成される。図６の特定視点空間座標生成処理は視点位置毎に行われる。

図７（ａ）に、直交空間におけるボクセルの中心点の配置例を示し、図７（ｂ）に、図７（ａ）を特定視点空間に変換した場合のボクセルの中心点の配置例を示す。図７では、立体視対象物の一つである主要被写体に対応する７画素分のボクセルの中心点が水平方向に配列された例を示している。

図７に示すように、立体視対象画像のボクセルの中心点は、所要視角分解精度に基づいて離散化された深度方向ランクに対応する位置に配置されるが、図７（ａ）に示す直交空間上では、ボクセルの中心点がとり得る位置は、観察者の視点位置に近いほど密集し、視点位置から離れるほど疎らとなる。

このことは、次に示す従来技術の問題点を露呈する。即ち、直交座標上では、観察者の視点位置に近い被写体を十分な画質で再現する場合、非常に高い精度でボクセルの中心点の配置位置を指定する必要がある。この場合、もし、同一画面内に遠方の被写体も存在するならば、遠方の被写体に対しても、視点位置に近い被写体と同様に、非常に高い精度でボクセルの中心点の配置位置を指定する必要がある。従って、本来必要な精度よりもはるかに高い精度でボクセルの中心点の配置位置を指定しなければならなくなり、非常に非効率となる。

そこで、本実施形態では、図５（ｂ）に示すような特定視点空間を定義し、図７（ｂ）に示すように、この特定視点空間上にボクセルの中心点を配置することにより、視点位置からの距離に関わらず（即ち、近景、遠景に関わらず）、ボクセルの中心点がとり得る配置位置は同等となり、画像情報として非常に扱いやすいものとなる。

次に、図８のフローチャートを参照して、３次元モデル変換装置６において実行される特定視点空間座標生成処理について説明する。

まず、３次元計測装置２又はＣＧ発生装置３で得られた３次元モデル（立体視対象画像）が取得され（ステップＳ２０）、視点情報設定部４１から、視点情報（視点位置、視点位置の数、注視点）が取得される（ステップＳ２１）。

次いで、ステップＳ２０で取得された３次元モデルから、各々の視点位置から注視点方向を見た際の２次元画像が生成される（ステップＳ２２）。次いで、ステップＳ２２で生成された２次元画像を形成する各画素について、図２の深度方向ランク設定処理で設定された深度方向ランクに基づいて深度方向ランクが算出される（ステップＳ２３）。

次いで、ステップＳ２２で生成された２次元画像と、ステップＳ２３で算出された深度方向ランクの情報を結合することにより、特定視点空間座標が生成され（ステップＳ２４）、本特定視点空間座標生成処理が終了する。ステップＳ２４では、具体的に、特定視点空間の各格子点のうち、ステップＳ２３で算出された深度方向ランクに対応する格子点上に、ステップＳ２２で生成された２次元画像のボクセルの中心点を配置することによって特定視点空間座標が生成される。図８の特定視点空間座標生成処理は視点位置毎に行われる。

次に、図９のフローチャートを参照して、ＩＰ画像生成装置７において実行されるＩＰ画像生成処理について説明する。

まず、最初の視点位置に対応する視点画像が選択され（ステップＳ３０）、多視点画像変換装置５及び３次元モデル変換装置６の各々から当該視点位置に対応する特定視点空間座標情報が取得される（ステップＳ３１）。

次いで、システム制御装置４から、各立体視対象画像（合成対象物）の優先順位情報が取得される（ステップＳ３２）。立体視対象画像の取得指示があると、当該立体視対象画像にＩＤ情報（識別情報）が付加され、オペレータ（ユーザ）が合成画像のデザイン上の効果により決定した優先順位情報に、このＩＤ情報が対応付けられる。ステップＳ３２では、システム制御装置４から、該当する立体視対象画像（合成対象物）に付加されたＩＤ情報に対応する優先順位情報が取得される。

次いで、現在の視点位置の各立体視対象画像（合成対象物）について所定位置の画素が選択され（ステップＳ３３）、ステップＳ３１で取得された特定視点空間情報から、ステップＳ３３で選択された画素に対応する深度方向ランクが抽出される（ステップＳ３４）。次いで、現在の視点位置に最も近い（最近）深度方向ランクの画素が一つであるか否か、即ち、ステップＳ３３で選択された各立体視対象画像（合成対象物）の画素が同一の深度方向ランクで重なり合っているか否かが判定される（ステップＳ３５）。

ステップＳ３５において、最近深度方向ランクの画素が一つである場合、即ち、各立体視対象画像の画素が重なり合っていない場合（ステップＳ３５；ＹＥＳ）、ステップＳ３３で選択された各立体視対象画像の画素のうち、最近深度方向ランクを有する画素が、合成対象の画素として選択され（ステップＳ３６）、当該選択された画素が指定位置に配置される。

ステップＳ３５において、最近深度方向ランクの画素が一つではない場合、即ち、各立体視対象画像の画素が重なり合っている場合（ステップＳ３５；ＮＯ）、最近深度方向ランクで並ぶ各立体視対象画像（合成対象物）の優先順位情報が比較され（ステップＳ３７）、ステップＳ３３で選択された各立体視対象画像の画素のうち、最近深度方向ランクにおける優先順位が最も高い画素が、合成対象の画素として選択され（ステップＳ３８）、当該選択された画素が指定位置に配置される。

次いで、ステップＳ３６又はＳ３８における合成対象画素の配置により、現在の視点画像に対応する全画素の合成が終了したか否かが判定される（ステップＳ３９）。ステップＳ３９において、全画素の合成が終了していないと判定された場合（ステップＳ３９；ＮＯ）、次の画素が選択され（ステップＳ４０）、各立体視対象画像（合成対象物）について、ステップＳ４０で選択された画素位置の画素が選択され（ステップＳ３３）、その選択された画素についてステップＳ３４〜Ｓ３８の処理が繰り返される。

ステップＳ３９において、現在の視点位置における全画素の合成が終了したと判定された場合（ステップＳ３９；ＹＥＳ）、合成が終了した当該視点位置における各立体視対象画像の各画素が、ＩＰ画像の所定領域に配置される（ステップＳ４１）。ステップＳ４１における画素の配置方法については、後に図１０を参照して説明する。

次いで、全ての視点位置についてＩＰ画像への画素配置が終了したか否かが判定される（ステップＳ４２）。ステップＳ４２において、全ての視点位置における画素配置が終了していないと判定された場合（ステップＳ４２；ＮＯ）、次の視点位置に対応する視点画像が選択され（ステップＳ４３）、その選択された視点画像についてステップＳ３１〜Ｓ４１の処理が繰り返される。ステップＳ４２において、全ての視点位置における画素配置が終了したと判定された場合（ステップＳ４２；ＹＥＳ）、本ＩＰ画像生成処理が終了する。

ステップＳ４１の処理により各視点位置に対応する視点画像からＩＰ画像を生成する方法としては、公知文献（谷中一寿、外５名「Shade(TM)によるインテグラルフォトグラフィ画像の合成」３ＤImage Conference 2004, p.173-176）に示した方法を用いることができる。以下、図１０を参照して、多視点画像（各視点位置での視点画像を集めた画像）２１０からＩＰ画像２２０を生成する方法について説明する。

図１０の多視点画像２１０において、上からｉ番目、左からｊ番目の視点位置を(i,j)、視点位置(i,j)での視点画像をＶ(i,j)、視点画像Ｖ(i,j)内の座標を（x,y）、視点画像Ｖ(i,j)の座標(x,y)における画素をＩ(i,j,x,y)とする。多視点画像２１０が、水平方向にｍ枚、垂直方向にｎ枚からなる視点画像Ｖ(i,j)（i＝1,2,…,m、j＝1,2,…,n）から構成されているとすると、各視点画像Ｖ(i,j)の同一座標(x,y)の画素Ｉ(i,j,x,y)を、m×n画素から構成される領域に集めることによって、ＩＰ画像２２０内の領域ｒ(x,y)が形成される。領域ｒ(x,y)の各画素Ｉ(i,j,x,y)は、視点位置(i,j)の並びに従って配置される。図１０では、各視点画像が、１８０×１８０画素から構成されているものとし、水平方向に３２視点分（m＝32）、垂直方向に３２視点分（n＝32）、即ち、３２×３２＝１０２４個の異なる視点画像から構成される多視点画像２１０から１枚のＩＰ画像２２０が生成される例を示している。

次に、図１１を参照して、プリント技術を用いたインテグラルフォトグラフィの原理について説明する。

図１１に示すように、上側透明シートにはピンホールアレイが、下側透明シートにはＩＰ画像２２０が、それぞれ予めプリントされている。２枚の透明シートの間隔を一定に保つため、両透明シートの間に中間透明板が挿入されている。また、ＩＰ画像２２０を照らすため、その下に光源（バックライト）が配置されている。

観察者Ｈは、ピンホールアレイを通過してきた光を見るが、右目に入る光が、ＩＰ画像２２０の点Ｑから出たのか、それとも３次元物体上の点Ｓから出たのか区別できない。同様に、左目に入る光が、ＩＰ画像２２０の点Ｒから出たのか、それとも３次元物体上の点Ｓから出たのか区別できない。従って、両眼視差により、観察者Ｈには、あたかも点Ｓに物体があるように見える。このように、ＩＰ画像２２０から立体視が可能となる。

以上のように、本実施形態の画像処理システム１００によれば、視点位置毎に、格子点上に立体視対象画像のボクセルの中心点を配置した特定視点空間座標を生成することにより、直交空間上でボクセルの中心点を配置する場合よりも、処理対象の画像のデータ量が少なく、画像処理時間の短縮化を図ることができる。

また、ボクセルの中心点は、両眼視差による立体視対象物の認知精度に基づいて格子点上に配置されるため、効率的な画像処理が可能となる。

また、複数の立体視対象画像を合成する際に使用するボクセルの優先順位を設定し、合成時に各立体視対象画像のボクセルが重なり合う場合、予め設定された優先順位に基づいて、合成に使用するボクセルを選択するようにしたことにより、合成時にボクセルが重なりあっても確実に対処することが可能となる。また、レイアウトのやり直し作業が不要となり、作業効率を向上させることが可能となる。特に、特定視点空間座標を用いることにより、視点位置から遠方に存在する立体視対象物同士が重なり合っても、微妙な位置関係を厳格に評価する必要がなく、作業効率を一層向上させることができる。

また、立体表示の元になる画像を、インテグラルフォトグラフィ方式を用いて生成することにより、容易に立体画像を得ることができる。

なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、図２の深度方向ランク設定処理では、深度方向ランクの中心位置を設定する場合を示したが、深度方向ランクの境界位置を設定するようにしてもよい。また、観察画像空間における深度方向ランクを用いて被写体空間における深度方向ランクを求めるようにしてもよい。以下、図２の深度方向ランク設定処理の変形例１及び変形例２を示す。

<変形例１>
変形例１では、図１２のフローチャートを参照して、深度方向ランクの境界位置を設定する場合の深度方向ランク設定処理を示す。

まず、被写体空間距離と観察画像空間距離との関係を示す情報（図３参照）が取得され（ステップＳ５０）、その取得された情報に対応して、被写体空間上の所要視角分解精度が算出される（ステップＳ５１）。ステップＳ５０で取得された情報が図３の直線ａである場合、ステップＳ５１で算出される所要視角分解精度は式（１）で表される。

次いで、無限遠との視角差が所要視角分解精度の半分となる位置に最初（ボクセル番号０）の深度方向ランクの境界位置が設置される（ステップＳ５２）。観察者の両眼中心位置と、無限遠との視角差が所要視角分解精度αの半分となる位置との間の距離をγ１[ｍ]とすると、tan(α/２)＝β/γ１となる。次いで、前の深度方向ランクの境界位置から所要視角分解精度分の視角差となる位置に、次のボクセル番号の深度方向ランクの境界位置が設置される（ステップＳ５３）。

ステップＳ５３における深度方向ランクの境界位置の設置は、設置位置が観察者に最も近い点（最近傍点）に達するまで行われ（ステップＳ５４；ＮＯ）、最近傍点までの深度方向ランクの境界位置の設置が終了すると（ステップＳ５４；ＹＥＳ）、本深度方向ランク設定処理が終了する。このように、深度方向ランクの境界位置を設定することにより、立体視対象画像のボクセルの境界条件が設定されることになる。

<変形例２>
変形例２では、図１３のフローチャートを参照して、観察画像空間上の深度方向ランクの境界位置を設定する場合の深度方向ランク設定処理を示す。

まず、被写体空間距離と観察画像空間距離との関係を示す情報（図３参照）が取得され（ステップＳ６０）、その取得された情報に応じて、観察画像空間上の所要視角分解精度が算出される（ステップＳ６１）。ステップＳ６０では、図３の曲線ｄの情報が取得される。

次いで、無限遠との視角差が所要視角分解精度の半分となる位置に最初（ボクセル番号０）の深度方向ランクの境界位置が設置される（ステップＳ６２）。次いで、前の深度方向ランクの境界位置から所要視角分解精度分の視角差となる位置に、次のボクセル番号の深度方向ランクの境界位置が設置される（ステップＳ６３）。

ステップＳ６３における深度方向ランクの境界位置の設置は、設置位置が観察者に最も近い点（最近傍点）に達するまで行われ（ステップＳ６４；ＮＯ）、最近傍点までの深度方向ランクの境界位置の設置が終了すると（ステップＳ６４；ＹＥＳ）、観察画像空間における深度方向ランクの境界と、図３の曲線ｄの関係に基づいて、被写体空間における深度方向ランクの境界が算出され（ステップＳ６５）、本深度方向ランク設定処理が終了する。このように、深度方向ランクの境界位置を設定することにより、立体視対象画像のボクセルの境界条件が設定されることになる。

本発明の実施形態に係る画像処理システムの構成を示すブロック図。 システム制御装置において実行される深度方向ランク設定処理を示すフローチャート。 被写体空間距離と観察画像空間距離の関係を示す図。 深度方向ランクの設定方法を説明するための図。 ボクセル中心点が配置される直交空間（ａ）及び特定視点空間（ｂ）を示す図。 多視点画像変換装置において実行される特定視点空間座標生成処理を示すフローチャート。 直交空間上でのボクセル中心点の配置例（ａ）と、特定視点空間上でのボクセル中心点の配置例（ｂ）を示す図。 ３次元モデル変換装置において実行される特定視点空間座標生成処理を示すフローチャート。 ＩＰ画像生成装置において実行されるＩＰ画像生成処理を示すフローチャート。 ＩＰ画像の生成方法を説明するための図。 インテグラルフォトグラフィ（ＩＰ）の原理を説明するための図。 深度方向ランク設定処理の変形例１を示すフローチャート。 深度方向ランク設定処理の変形例２を示すフローチャート。

符号の説明

１ 撮影装置
１１ カメラ
１２撮影制御部
２ ３次元計測装置
２１ カメラ
２２ ３次元モデル形成部
３ ＣＧ発生装置
３０ コンピュータ
４ システム制御装置
４０ システム制御部
４１ 視点情報設定部
４２ 優先順位設定部
５ 多視点画像変換装置
５０ 多視点２次元画像取得部
５１ 視差情報解析部
５２ 深度方向ランク算出部
５３ 特定視点空間座標生成部
６ ３次元モデル変換装置
６０ ３次元モデル情報取得部
６１ 多視点２次元画像生成部
６２ 深度方向ランク算出部
６３ 特定視点空間座標生成部
７ ＩＰ画像生成装置
７０ 視点画像合成部
７１ ＩＰ画像生成部
８ 画像出力部
１００ 画像処理システム

Claims (10)

1. 複数の異なる視点位置から見た立体視対象物の画像に基づいて立体画像を生成する画像処理システムにおいて、
   観察者の特定の視点位置から立体視対象物へ放射状に延びる複数の視線方向を平行線として表し、当該視点位置からの距離を示す深度を前記平行線と交わる平行線として表した格子の各格子点上に、当該視点位置における立体視対象画像のボクセルの中心点を配置した特定視点空間座標を生成する特定視点空間生成手段と、
   前記特定視点空間生成手段により生成された各視点位置での特定視点空間座標を用いて、立体表示の元になる画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理システム。
2. 前記ボクセルの中心点は、両眼視差による立体視対象物の認知精度に基づいて配置されることを特徴とする請求項１に記載の画像処理システム。
3. 立体視対象物が異なる複数の立体視対象画像を視点位置毎に取得する取得手段と、
   前記取得手段により得られた複数の立体視対象画像の各々を視点位置毎に合成する合成手段と、を備え、
   前記特定視点空間生成手段は、立体視対象画像毎に各視点位置での特定視点空間座標を生成し、
   前記合成手段は、立体視対象画像毎に生成された特定視点空間座標に基づいて各立体視対象画像を合成し、
   前記画像生成手段は、前記合成手段により得られた合成画像に基づいて立体表示の元になる画像を生成することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記複数の立体視対象画像を合成する際に使用するボクセルの優先順位を設定する優先順位設定手段を備え、
   前記合成手段は、前記複数の立体視対象画像の合成時に各立体視対象画像のボクセルが重なり合う場合、前記優先順位設定手段により設定された優先順位に基づいて合成に使用するボクセルを選択することを特徴とする請求項３に記載の画像処理システム。
5. 前記画像生成手段は、インテグラルフォトグラフィ方式を用いて、前記立体表示の元になる画像を生成することを特徴とする請求項１〜４の何れか一項に記載の画像処理システム。
6. 複数の異なる視点位置から見た立体視対象物の画像に基づいて立体画像を生成する画像処理方法において、
   観察者の特定の視点位置から立体視対象物へ放射状に延びる複数の視線方向を平行線として表し、当該視点位置からの距離を示す深度を前記平行線と交わる平行線として表した格子の各格子点上に、当該視点位置における立体視対象画像のボクセルの中心点を配置した特定視点空間座標を生成する特定視点空間生成工程と、
   前記生成された各視点位置での特定視点空間座標を用いて、立体表示の元になる画像を生成する画像生成工程と、
   を含むことを特徴とする画像処理方法。
7. 前記ボクセルの中心点は、両眼視差による立体視対象物の認知精度に基づいて配置されることを特徴とする請求項６に記載の画像処理方法。
8. 立体視対象物が異なる複数の立体視対象画像を視点位置毎に取得する取得工程と、
   前記取得工程において得られた複数の立体視対象画像の各々を視点位置毎に合成する合成工程と、を含み、
   前記特定視点空間生成工程では、立体視対象画像毎に各視点位置での特定視点空間座標が生成され、
   前記合成工程では、立体視対象画像毎に生成された特定視点空間座標に基づいて各立体視対象画像が合成され、
   前記画像生成工程では、前記合成工程において得られた合成画像に基づいて立体表示の元になる画像が生成されることを特徴とする請求項６又は７に記載の画像処理方法。
9. 前記複数の立体視対象画像を合成する際に使用するボクセルの優先順位を設定する優先順位設定工程を含み、
   前記合成工程では、前記複数の立体視対象画像の合成時に各立体視対象画像のボクセルが重なり合う場合、前記優先順位設定工程において設定された優先順位に基づいて合成に使用するボクセルが選択されることを特徴とする請求項８に記載の画像処理方法。
10. 前記画像生成工程では、インテグラルフォトグラフィ方式を用いて、前記立体表示の元になる画像が生成されることを特徴とする請求項６〜９の何れか一項に記載の画像処理方法。

Images