WO2005015494A1

WO2005015494A1 - 画像変換システム及び画像変換方法

Info

Publication number: WO2005015494A1
Application number: PCT/JP2004/011540
Authority: WO
Inventors: Yoshihito Arai; Mutsuko Muramoto; Koichi Yamamoto
Original assignee: D-Link Corporation
Priority date: 2003-08-12
Filing date: 2004-08-11
Publication date: 2005-02-17
Also published as: JP2005063141A

Abstract

　第１の座標から第２の座標への画像変換を従来と比較して高速に処理することが可能であり、さらには種々のレンズやミラーに対応可能にする。　マッピング手段１２が又はマッピングステップにおいて、第１の座標系と第２の座標系とを対応付ける対応テーブルＴを参照して、第２の座標系上に、対応テーブルＴにおいて対応付けられた第１の座標系上の画素をマッピングする。対応テーブルＴを参照してマッピングを行うため、従来のように座標ごとに画素のマッピング位置を座標変換式を用いて演算する場合と比較して、変換処理の高速化が図られる。

Description

明細書

画像変換システム及び画像変換方法

技術分野

[0001] 本発明は、第 1の座標系上の射影画像の画素を第 2の座標系にマッピングして画像変換する画像変換システム及び画像変換方法に関するものである。

背景技術

[0002] 近年、携帯電話やパーソナルコンピュータ等の端末の高機能化やインフラの整備に伴い、周囲最大 360度を撮像して得られる画像を、端末の表示画面に表示するサ一ビスが広く展開されている。たとえば、魚眼レンズ等を取り付けたカメラで撮像して得られる周囲最大 360度の円形の動画像や静止画像を、長方形状のパノラマ画像に変換して端末に表示し、防犯用の監視や不動産情報等として利用している。

[0003] 周囲最大 360度の画像は、全方位や広角の曲面レンズや曲面ミラーを使用してデジタルカメラ等の撮像手段で撮像して得られ、この画像は一般に射影画像と呼ばれている。たとえば、広角レンズの一種である魚眼レンズの場合は、魚眼レンズの置かれた位置力魚眼レンズの曲面を通して見える像を、そのまま曲面に貼り付けたと仮定すると、その曲面に貼り付けた 3次元空間の像を、 2次元空間の平面上に、該平面に垂直に押し潰して貼り付けるように射影した像が、正射影方式の魚眼レンズの円形の射影画像となり、全方位ミラーを使用した場合はミラーの曲面に映る 3次元空間の像を 2次元空間の平面上に押しつぶして貼り付けるように射影した像が射影画像となる。全方位や広角の曲面レンズや曲面ミラーを使用して得られる射影画像は歪みのある円形であるため、端末に表示する際には、コンピュータシステムにより歪みを補正して、あた力も撮像手段を水平に回しながら全景を撮像したかのような四角形状のパノラマ画像に変換する処理を行ってから端末に表示することが多い。円形射影画像をパノラマ画像に変換する方法としては、第 1の座標系（極座標系）上の円形射影画像の画素を、第 2の座標系（直交座標系）にマッピングする方法が用いられる。

[0004] 特許文献 1 :特開 2001 - 331789号公報

[0005] 特許文献 1には、第 1の座標系（極座標系）上の円形射影画像を第 2の座標系（直交座標系）上のパノラマ画像に変換する変換原理が開示されている。この変換原理では、第 2の座標系上の座標 (X, y)に対応する第 1の座標系（入力円形画像）上の座標 (X， Y)を所定の座標変換式を用いて演算することにより求め、算出された第 1 の座標系上の座標 (X， Y)にある円形射影画像の画素を第 2の座標系上の座標 (X, y)にマッピングすることにより、円形射影画像をパノラマ画像に画像変換している。発明の開示

発明が解決しょうとする課題

[0006] ところで、近年はコンピュータ処理において画面表示に対する高速化の要望が高まつており、パノラマ画像の表示においても、いかに速く円形射影画像を歪みのないパノラマ画像に変換して表示するかが重要となっている。し力ながら、特許文献 1の変換原理では、座標ごとに座標変換式を用いて演算する必要があるため、変換処理に時間がかかり、ユーザによるパノラマ画像の表示指令から表示までの待ち状態の時間は無視できるものではなかった。とくに、第 2の座標系上の総ての座標について座標変換式を用いて演算を行う場合はさらに処理時間がかかり、デジタルカメラ等の撮像手段の高解像度化と相俟って、表示までの待ち時間は大きな問題となっていた。

[0007] また、射影画像は、曲面レンズや曲面ミラーの曲面を平面に射影して得られるため画像が歪んだ状態であり、この画像の歪みは曲面レンズや曲面ミラーの曲面の曲率に依存する。このため、円形射影画像をパノラマ画像に変換する場合には、曲率に応じた歪み補正を行う必要がある。し力しながら、従来の画像変換は、特定の曲率にのみ対応して画像変換するものであるため、その特定の曲率以外の曲面レンズや曲面ミラーを使用して撮像した射影画像については、適正な歪み補正を行うことができなかった。

[0008] この問題は、円形射影画像からパノラマ画像への変換だけでなぐ例えば、複数のカメラで周囲を撮像した画像を繋ぎ合わせて全方位又は広角の多面体画像を形成し、その多面体画像を平面に射影して得られる射影画像をパノラマ画像に変換する場合や、三次元座標系上の画像を二次元座標系上の画像に変換する場合など、ある座標系上の射影画像を、他の座標系上にマッピングする画像変換処理にぉレ、て共通して生じていた。 [0009] そこで、本発明の目的は、第 1の座標から第 2の座標への画像変換を従来と比較して高速に処理することが可能であり、さらには種々のレンズやミラーに対応可能な画像変換システム及び画像変換方法を提供することにある。

課題を解決するための手段

[0010] 上述の目的を達成するために、本発明の請求項 1記載の画像変換システムは、第

1の座標系上の射影画像の画素を第 2の座標系にマッピングして画像変換する画像変換システムにおいて、第 1の座標系と第 2の座標系とを対応付ける対応テーブルを参照し、第 2の座標系上に、対応テーブルにおいて対応付けられた第 1の座標系上の画素をマッピングするマッピング手段を備えることを特徴とする。また、本発明の請求項 9記載の画像変換方法は、第 1の座標系上の射影画像の画素を、第 2の座標系にマッピングして画像変換する画像変換方法において、第 1の座標系と第 2の座標系とを対応付ける対応テーブルを参照し、第 2の座標系上に、対応テーブルにおいて対応付けられた第 1の座標系上の画素をマッピングするマッピングステップを備えることを特 ί数とする。

[0011] 請求項 1記載の発明によればマッピング手段力請求項 9記載の発明によればマツビングステップにおいて、第 1の座標系と第 2の座標系とを対応付ける対応テーブルを参照して、第 2の座標系上に、対応テーブルにおいて対応付けられた第 1の座標系上の画素をマッピングする。対応テーブルを参照してマッピングを行うため、従来のように座標ごとに画素のマッピング位置を座標変換式を用いて演算する場合と比較して、変換処理の高速化が図られる。

[0012] 本発明の請求項 2記載の画像変換システムは、請求項 1記載の発明を前提として、前記第 1の座標系は極座標系であり、前記第 2の座標系は直交座標系であることを特徴とする。本発明の請求項 10記載の画像変換方法は、請求項 9記載の発明を前提として、前記第 1の座標系は極座標系であり、前記第 2の座標系は直交座標系であることを特 ί数とする。

[0013] 全方位又は広角の曲面レンズや曲面ミラーを使用して得られる射影画像は円形であり、この円形射影画像はパノラマ画像に変換されて表示されることが多い。請求項 2又は請求項 10記載の発明によれば、第 1の座標系は極座標系であり、第 2の座標系は直交座標系であるため、全方位や広角の曲面ミラーや曲面レンズを使用して得られる円形射影画像をパノラマ画像に変換するに際しても、対応テーブルを参照して変換処理の高速化が図られる。

[0014] 本発明の請求項 3記載の画像変換システムは、請求項 2記載の発明を前提として、前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、その曲面の外周を円周とする円形平面における水平方向の角度を角 Θ、円形平面の中心からの仰角を角 φ、円形平面の中心からの距離を距離 rとすると、第 1の座標系は、角 Θ及び距離 rで表される極座標系であり、第 2の座標系は、横軸を角 Θとし縦軸を角 φとする直交座標系であり、前記対応テーブルは、第 1の座標系の距離 r と、第 2の座標系の角 φとを対応付ける対応テーブルであり、前記マッピング手段は、第 2の座標系の（ θ , φ )に、対応テーブルにおいて対応付けられた第 1の座標系上の（ Θ， r)の画素をマッピングすることを特徴とする。本発明の請求項 11記載の画像変換方法は、請求項 10記載の発明を前提として、前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、その曲面の外周を円周とする円形平面における水平方向の角度を角 Θ、円形平面の中心からの仰角を角 φ、円形平面の中心からの距離を距離 rとすると、第 1の座標系は、角 Θ及び距離!:で表される極座標系であり、第 2の座標系は、横軸を角 Θとし縦軸を角 φとする直交座標系であり、前記対応テーブルは、第 1の座標系の距離 rと、第 2の座標系の角 φとを対応付ける対応テーブルであり、前記マッピングステップにおいては、第 2の座標系の（ θ , φ )に、対応テーブルにおいて対応付けられた第 1の座標系上の（ Θ , r)の画素をマッピングすることを特徴とする。

[0015] 全方位や広角の曲面レンズや曲面ミラーの曲面を平面に射影すると円形射影画像が得られ、曲面上の点が円形平面に映される位置は、曲面レンズや曲面ミラーの曲面の曲率に依存する。すなわち、曲面上の座標（Θ , ）と、その座標（0 , φ )の像が射影される円形平面上の座標（ Θ , r)について、角 φと距離 rとの対応は曲面レンズゃ曲面ミラーの曲率に依存する。請求項 3記載の発明によればマッピング手段が、請求項 11記載の発明によればマッピングステップにおいて、角 φと距離 rとを対応付ける対応テーブルを参照し、第 2の座標系の（ θ , φ )に、対応テーブルにおいて対応付けられた第 1の座標系上の（ θ , r)の画素をマッピングするため、曲率に応じた座標位置に画素がマッピングされて歪み補正が行われる。対応テーブルは、第 2の座標系上のスキャンされる座標（ Θ， φ )の順に、角 φに対応する距離 rが配列する距離 rの配列であることが好ましレ、。

[0016] 本発明の請求項 4記載の画像変換システムは、請求項 1乃至請求項 3のいずれか 1項に記載の発明を前提として、前記マッピング手段は、第 1の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする。本発明の請求項 1 2記載の画像変換方法は、請求項 9乃至請求項 11のいずれか 1項に記載の発明を前提として、前記マッピングステップにおいて、第 1の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする。

[0017] 請求項 4記載の発明によればマッピング手段が、請求項 12記載の発明によればマッビングステップにおいて、第 1の座標系上の総ての画素のうち一部の画素のみを第 2の座標系にマッピングするため、総ての画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。なお、一部の画素のみをマッピングすることにより得られる第 2の座標系上の画像は不明瞭であるため、第 2の座標系上の画像にシャープネスフィルタリング処理を行うフィルタリング手段又はフィルタリングステップを備えること力 S、画像の鮮明化の観点から好ましい。フィルタリング手段は、画像変換システムが備えても良レ、し、例えば画像変換システムで変換された画像をインターネットを介してダウンロードして表示する端末が備えても良ぐまた、フィルタリングステップは画像変換システムの処理で行われても良いし、上記画像を表示する端末で行われても良い。

[0018] 本発明の請求項 5記載の画像変換システムは、請求項 1乃至請求項 4のいずれか 1項に記載の発明を前提として、前記マッピング手段は、前記曲面ごとに記憶されてレ、る対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする。本発明の請求項 13記載の画像変換方法は、請求項 9乃至請求項 12のいずれか 1 項に記載の発明を前提として、前記マッピングステップにおいて、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする。 [0019] 視野角が全方位や広角の曲面レンズや曲面ミラーは、レンズやミラーごとに曲面の曲率が異なる。請求項 5又は請求項 13記載の発明によれば、曲面レンズや曲面ミラ一の曲面ごとに記憶されている複数の対応テーブルから、一の対応テーブルを選択して参照するため、その射影画像の撮像に使用された曲面レンズや曲面ミラーの曲面の曲率に応じた画像変換が行われる。

[0020] 本発明の請求項 6記載の画像変換システムは、請求項 1乃至請求項 5のいずれか 1項に記載の発明を前提として、第 1の座標系と第 2の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、前記対応テーブルを生成する対応テーブル生成手段を備えることを特徴とする。本発明の請求項 14記載の画像変換方法は、請求項 9乃至請求項 13のいずれ力、 1項に記載の発明を前提として、第 1 の座標系と第 2の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づレ、て、前記対応テーブルを生成する対応テーブル生成ステップを備えることを特徴とする。

[0021] 請求項 6記載の発明によれば対応テーブル生成手段が、請求項 14記載の発明によれば対応テーブル生成ステップにおいて、ユーザにより入力された第 1の座標系と第 2の座標系とを対応付ける対応情報に基づいて対応テーブルを生成するため、ュ一ザの要望に応じた画像変換を行うことが可能である。

[0022] 本発明の請求項 7記載の画像変換システムは、請求項 6記載の発明を前提として、前記対応情報は角 Φと距離 rとを対応付ける対応情報であることを特徴とする。本発明の請求項 15記載の画像変換方法は、請求項 14記載の発明を前提として、前記対応情報は角 φと距離 rとを対応付ける対応情報であることを特徴とする。

[0023] 請求項 7記載の発明によれば対応テーブル生成手段が、請求項 15に記載の発明によれば対応テーブル生成ステップにおいて、ユーザにより入力された角 φと距離 r とを対応付ける対応情報に基づいて対応テーブルを生成するため、種々の曲面レンズゃ曲面ミラーごとに、その曲率に応じた変換処理を行うことが可能である。

[0024] 本発明の請求項 8記載の画像変換システムは、前記請求項 7記載の発明を前提として、前記対応テーブル生成手段は、角 φと距離 rと対応付ける対応線を備える第 2 の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする。本発明の請求項 16記載の画像変換方法は、前記請求項 15記載の発明を前提として、前記対応テーブル生成ステップにおいて、角 φと距離 rと対応付ける対応線を備える第 2の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする。

[0025] 請求項 8又は請求項 16記載の発明によれば、ユーザは第 2の座標系上の対応線を移動させるだけで、角 φと距離 rとを対応付ける対応情報を簡単に入力することができる。

発明の効果

[0026] 本発明の画像変換システム及び画像変換方法によれば、対応テーブルを参照してマッピングを行うため、座標ごとに座標変換式を用いて演算する従来と比較して変換処理の高速化が図られ、とくに円形射影画像をパノラマ画像に変換する場合に、対応テーブルを参照して円形射影画像を極座標系から直交座標系にマッピングを行うことにより変換処理の高速化が図られる。第 2の座標上の総ての画素のうち、一部の画素のみについてマッピングを行うことにより、一層の高速化が図られる。

[0027] さらに、全方位レンズ等の曲面ごとに記憶されている複数の対応テーブルから、一の対応テーブルを選択して参照するため、その射影画像の撮像に使用されたレンズやミラーの曲率に応じた画像変換が行われ、種々のレンズやミラーの曲率に対応することが可能である。

図面の簡単な説明

[0028] [図 1]図 1は実施形態の画像変換システムとその周辺装置の模式図である。

[図 2]図 2 (a)は曲面レンズを備える撮像装置の概略図であり、図 2 (b)は曲面ミラーを備える撮像装置の概略図である。

[図 3]図 3は曲面レンズ/ミラーと、それを使用してデジタルカメラにより撮像された射影画像との関係を示す概念図である。

[図 4]図 4は画像変換システムを実現するコンピュータシステムのハード構成を模式的に示した図である。

[図 5]図 5は画像変換システムの機能構成を模式的に示した図である。

[図 6]図 6は記憶手段に記憶されているデータの概念図である。 [図 7]図 7はマッピング手段の機能を示す概念図であり、図 7 (a)は極座標である第 1 の座標系にマッピングされた円形射影画像の概念図であり、図 7 (b)は対応テーブルの概念図であり、図 7 (c)は第 1の座標系上の画素を直交座標系である第 2の座標系にマッピングされて得られるパノラマ画像の概念図である。

[図 8]図 8は対応テーブルの例を示す図である。

[図 9]図 9はマッピング手段による処理の一例を説明するフローチャートである。

[図 10]図 10は対応テーブル生成手段の機能を説明する説明図であり、図 10 (a)は初期状態の対応テーブルと第 2の座標系と曲面レンズ Zミラーとの関係を説明する説明図であり、図 10 (b)は初期状態から曲率を変化させた対応テーブルと第 2の座標系と曲面レンズ/ミラーとの関係を説明する説明図である。

[図 11]図 11は画像変換システム及び画像変換方法の実施例を示す概念図である。

[図 12]図 12は本実施例における画像変換システムの処理のフローチャートである。

[図 13]図 13は画像変換システムにより表示装置に表示される表示画面の例である。符号の説明

1 画像変換システム

11 第 1の座標設定手段

12 マッピング手段

13 対応テーブル生成手段

2 撮像装置

21 曲面ミラー

22 曲面レンズ

23 デジタルカメラ

3 表示装置

4 入力装置

5 記憶手段

6 クライアント

7 サーバ

CP 円形射影画像 PP パノラマ画像

c 円形平面

τ 対応テーブル

L 対応線

発明を実施するための最良の形態

[0030] 以下、本発明の画像変換システム及び画像変換方法について、図面を参照しながら説明する。本実施の形態は、曲面レンズや曲面ミラーを利用して得られる全方位の円形射影画像をパノラマ画像に変換する場合を例に説明する。

[0031] 本実施形態の画像変換システム 1は、例えばパーソナルコンピュータなどのコンビユータシステムによって実現される。図 1は、本実施形態の画像変換システム 1とその周辺装置の模式図である。画像変換システム 1は、全方位カメラや広角カメラ等の撮像装置 2と液晶ディスプレイなどの表示装置 3と接続される。

[0032] (撮像装置）

撮像装置 2は、周囲最大 360度の画像を撮像可能なものであり、例えば図 2に示すように、全方位レンズや広角レンズなどの曲面レンズ 21及び撮像手段 23を備える撮像装置 2Αや、全方位ミラーや広角ミラーなどの曲面ミラー 22及び撮像手段 23を備える撮像装置 2Βである。視野角 180度の魚眼レンズも広角レンズに含まれる。

[0033] 図 3は、曲面レンズ 21又は曲面ミラー 22 (以下、曲面レンズ/ミラーという）と、その曲面レンズ Ζミラーを使用してデジタルカメラ等の撮像手段 23により撮像された画像との関係を示す概念図である。撮像手段 23に曲面レンズ Ζミラーを取り付けて、 X軸 , y軸， z軸の三次元空間の上方に (z軸方向に）向けて置いたとすると、曲面レンズ/ ミラーの内側や外側に貼り付けられた像を撮像手段 23により撮影する状態を想定して考えることができ、撮像手段 23により撮像された画像は、曲面レンズ/ミラーの外周円形の曲面を平面に射影して得られる円形射影画像 CPとなると想定できる。全方位の曲面レンズ/ミラーを使用して撮像した画像は中央空白のドーナツ状の円形平面画像 CPとなり、魚眼レンズなどの広角の曲面レンズ/ミラーを使用して撮像した画像は中央空白のない円形平面画像 CPとなる。曲面レンズ/ミラーの曲面の周縁を円周とする円形平面 Cにおける水平方向の角度を角 Θ、円形平面 Cの中心からの仰角（円形平面 Cとその中心からの放射線との成す角）を角 φ、円形平面画像 CPにおレ、て中心からの距離を距離 rとすると、円形平面画像 CPの大きさが一定であることを前提として、曲面上の点（ θ , φ )が平面に射影されたときの円形平面画像 CPの中心からの距離 rは曲面の曲率に依存する。

[0034] (画像変換システム）

図 4は画像変換システム 1を実現するコンピュータシステムのハード構成を模式的に示した図である。画像変換システム 1は、 CPU,メモリ、入力装置インターフェイス、表示装置インターフェイス、外部機器インターフェイス、ネットワークインターフェイス、 AVインターフェイスを備え、それぞれ内部バスを介して接続されている。画像変換システム 1には、 AVインターフェイスを介して上記撮像装置 2が接続され、さらに、表示装置インターフェイスを介して液晶ディスプレイなどの表示装置 3が、入力インターフヱイスを介してキーボードやマウスなどの入力装置 4が、外部機器インターフェイスを介してハードディスクやメディアドライブなどの記憶手段 5が、ネットワークインターフエイスを介してインターネットなどのネットワークが接続される。

[0035] 図 5は、画像変換システム 1の機能構成を模式的に示した図である。画像変換システム 1は、第 1の座標設定手段 11、直交座標へのマッピング手段 12、対応テーブル生成手段 13を備える。ハードディスクなどの記録装置 5には、対応テーブルが記憶されている。図 6は、記憶手段 5に記憶されている曲面ミラー/レンズの情報を説明する概念図である。記憶手段 5には、曲面ミラーや曲面レンズごとにその特性情報が蓄積されており、特性情報には、曲面ミラー/レンズの識別標識（固有名や製品番号）、ミラー/レンズ型 (全方位レンズ/ミラー、魚眼レンズ/ミラーの区別、仰角、俯角、鏡面による上下反転の有無、後述する対応テーブル Tなどが含まれている。

[0036] (第 1の座標設定手段）

第 1の座標設定手段 11は、撮像手段 2から入力された円形射影画像 CPを第 1の座標系にマッピングして、円形射影画像 CPに第 1の座標を設定する機能を有する。曲面レンズ Zミラーを利用して得られる射影画像は円形であるため、第 1の座標系としては極座標系が好適である（図 7 (a)参照）。円形射影画像 CPの中心が極座標系である第 1の座標系の極と重なり、且つ、円形射影画像 CP上の方向（例えば北方向）を特定する情報を参照し、円形射影画像 CPの所定方向（例えば北方向）が極軸と重なるように、円形射影画像 CPを第 1の座標系にマッピングすることにより第 1の座標系の設定を行う。

[0037] (マッピング手段）

マッピング手段 12は、極座標系である第 1の座標系と直交座標系である第 2の座標系とを対応付ける対応テーブル Tを参照し、第 2の座標系上に、対応テーブル Tにおいて対応付けられた第 1の座標系上の画素をマッピングする機能を有する。図 7は、マッピング手段 12の機能を示す概念図である。

[0038] 図 7 (a)は極座標である第 1の座標系にマッピングされた円形射影画像 CPの概念図であり、図 7 (c)は第 1の座標系上の画素を直交座標系である第 2の座標系にマツビングして得られるパノラマ画像 PPの概念図である。第 2の座標系は、横軸を角 Θとし縦軸を角 φとする直交座標系である。横軸には角 Θ力 ¾度から 360度まで等間隔に割り当てられおり、縦軸には角 φが 0度から 90度まで所定間隔で割り当てられている。

[0039] 図 7 (c)は、対応テーブル Tの概念図である。対応テーブル Tは、ハードディスク等の記憶手段 5に各曲面レンズ/ミラーごとに蓄積されており、第 1の座標系上の距離 r と、第 2の座標系上の角 φとを対応付けている。概念的には、横軸を角 φ、縦軸を距離 rとするグラフ上において、各曲面レンズ/ミラーの曲面の曲率に応じた φ— r曲線となり、実際には角 φと距離 rとが対応した数値配列のテーブルとして記憶されている。本実施の形態では、対応テーブル Tは距離 rの配列である。図 8に対応テーブル T の具体例を示す。対応テーブル Tは、角 φの配列と距離 rの配列とが対応付けられた表形式（図 8 (a)参照）であるか、又は定められた所定間隔の角 φごとに距離 rが配列する形式（図 8 (b)参照）である。なお、各テーブル Tの角 φの値は、水平から垂直のとり得る範囲を 0から 1の範囲に換算した値であり、距離 rは後述する実施例に示すようにユーザにより円形射影画像中に指定された領域での距離 rを 0から 1の範囲に換算した値である。

[0040] 図 9は、マッピング手段 12による処理の一例を説明するフローチャートである。第 2 の座標系をラスタスキャンしながら、座標（ Θ， φ )ごとに、対応テーブル Tを参照して角 φと距離 rとを対応付け、座標（ Θ， φ )の角 φを対応する距離 rに置き換えて座標 ( Θ , r)に変換し、第 1の座標系を円形射影画像 CPの外周又は内周から順に Θ方向でスキャンして座標（ Θ , r)にある画素を検出し、その座標（ Θ , r)上にある画素を第 2の座標系の座標 ( θ , φ )にマッピングする。第 2の座標系のスキャンが完了するまで上記処理を繰り返し、円形射影画像 CPをパノラマ画像 PPに変換する。従来のように第 1の座標 ( θ , φ )や第 2の座標（ Θ， r)ごとに画素のマッピング位置の計算を行うことなく、対応テーブル Tを参照してマッピングを行うため、変換処理の高速化が図られる。

[0041] 本実施の形態では、対応テーブル Tは、第 2の座標系上のスキャンされる座標 ( θ ,

Φ )の順に、角 φに対応する距離 rが配列する距離 rの配列表（図 8 (b)参照）である。マッピング手段 12は、所定間隔で第 2の座標系をスキャンしながら対応テーブル丁の配列順に角 φを距離 rに変換して画素をマッピングする。

[0042] マッピング手段 12により参照される対応テーブル Tは、曲面レンズ/ミラーごとに記憶手段に蓄積記憶されている対応テーブル Tから選択された一の対応テーブル丁である。たとえば、ユーザに対して曲面レンズ/ミラーを指定する情報 (識別標識やレンズ/ミラー型）の入力を促し、入力された情報を検索キーとして記憶手段 5を検索することにより、その情報を含む一の特性情報を選択し、その中に含まれる対応テープノレ Tを参照する。

[0043] つぎに、マッピング手段 12は、第 2の座標系である直交座標系上の座標（ θ , φ ) に、対応テーブル Tにおいて対応付けられた第 1の座標系上の座標（ Θ , r)の画素をマッピングする。第 2の座標系の ( θ , φ )に、検出された対応テーブル Tにおいて対応付けられた第 1の座標系上の（ Θ， r)の画素をマッピングするため、曲率に応じた座標位置に画素がマッピングされて歪み補正が行われ、従来のように各座標ごとに座標変換の演算を行う場合と比較して変換処理の高速化が図られる。

[0044] なお、本実施の形態によれば、略半球状の曲面レンズ/ミラーの曲面を平面に射影して得られる円形射影画像 CPをパノラマ画像 PPに変換するため、例えば天井や地上（半球状の曲面レンズ/ミラーの極付近）の部分に相当する部分の歪みが少なぐまた、広く利用されている略球状の三次元コンピュータグラフィックとの合成モデルと連携することも容易である。

[0045] 上記マッピング手段 12は、第 2の座標系の座標 ( θ , φ )を基準として対応テープノレ Tにより第 1の座標系の座標（ Θ， r)を求める機能を有するが、第 1の座標系の座標（Θ , r)を基準として第 2の座標系の座標（θ， φ )を求めるものでも良い。すなわち、第 1の座標系をスキャンしながら、座標（ Θ , r)ごとに、テーブル Tで距離 rと角 φとを対応付け、座標（ Θ , r)の距離 rを角 φに置き換えて座標（ Θ， φ )とし、第 2の座標系をラスタスキャンして座標 ( θ , )を検出し、極座標系上の座標（ Θ， r)にある画素を第 2の座標系の座標 ( θ , )にマッピングするものでも良い。

[0046] ここで、前記マッピング手段 12は、第 2の座標系上の総ての座標（ Θ， φ )に画素をマッピングするのではなぐ一部の座標のみにマッピングする機能を備えることが好ましい。たとえば、マッピング手段 12は、第 2の座標系をラスタスキャンし、所定間隔をおいた座標 ( θ , φ )のみについて、対応テーブル Tを参照して第 1の座標系の座標 ( Θ , r)を求め、第 2の座標系上の所定間隔をおいた座標 ( θ , φ )のみに画素をマツビングする。これにより、第 2の座標系上の総ての座標（ θ , Φ )のうち、その間隔に合わせて一部の座標のみに画素がマッピングされる。総ての座標に画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。第 1の座標系の座標を基準として対応付けを行うときは、第 1の座標系上にある画素の総てを第 1の座標系上にマッピングするのではなぐ一部の画素のみを抽出してマッピングを行う機能を備えることが好ましい。これにより、第 1の座標系上の総ての画素のうち、その間隔に合わせて一部抽出された画素のみがマッピングされる。総ての画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。所定間隔は、第 1の座標系上において一定となるようにしても良レ、が、円形射影画像 CPの内周に向力ほど情報量が減少するため、その情報量の減少をカバーするために、所定間隔は円形射影画像 CPの外周から内周に向かって除々に短くなるように変動させる方が好ましレ、

[0047] 画像変換システム 1は、マッピング手段 12によって画素がマッピングされない座標に対して画素を補間する画素補間手段を備えても良い。画素補間手段は、一般的な画像の線形補間の手法を用いれば良レ、。 [0048] 第 1の座標系上において所定間隔の間に位置する座標には、対応テーブル Tにより対応付けられた画素がマッピングされず、画素が欠落した状態となるため不鮮明となる。そこで、画像変換システム 1又は画像変換システム 1に接続してノ Vラマ画像 P Pを表示する端末は、マッピング手段 12により得られた第 2の座標系上の画像にシャープネスフィルタリング処理を行うフィルタリング手段を備えること力 S、画像の鮮明化の観点から好ましい。シャープネスフィルタリング処理には、一般的に使用されている鮮明化フィルタなどを利用すれば良ぐ例えば、 P 接する画素の濃度値の差を大きくするように数値が配歹したフィルタ行列などが挙げられる。フィルタリング手段は、画像変換システム Sにより生成されるパノラマ画像 PPを表示する端末がパーソナルコンビユータ等である場合は端末が備え、画像変換システム Sから受信したフィルタリング未処理のパノラマ画像 PPを端末側でフィルタリング処理しても良い。また、端末が携帯電話等である場合は、フィルタリング手段は画像変換システム 1が備え、画像変換システム 1におレ、てフィルタリング処理済みのパノラマ画像 PPを端末に送信等して表示しても良い。なお、フィルタリング手段は、第 1の座標系上の総ての画素をマッピングする場合に使用しても良い。

[0049] また、マッピング手段 12は、上記のように円形射影画像 CPのすベての領域を画像変換しても良いが、処理の負荷軽減の観点から、ユーザに対して円形射影画像 CP の一部又は全部の領域の指定を促す領域指定機能を備え、マッピング手段 12は領域指定機能にぉレ、て指定された範囲のみをマッピングして画像変換しても良レ、。

[0050] (対応テーブル生成手段）

さらに、本実施の形態の画像変換システム 1は、対応テーブル生成手段 13を備える。対応テーブル生成手段 13は、ユーザに対して角 φと距離 rとを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、対応テーブル Tを生成する機能を有する。

[0051] 図 10は、対応テーブル生成手段 13の機能を説明する説明図である。図 10 (a)は初期状態の対応テーブル Tと第 2の座標系と曲面レンズ/ミラーとの関係を説明する説明図である。初期状態の対応テーブル Tは、曲面が所定の曲率に想定された曲面レンズ Zミラーを使用した場合に設定されている。初期状態の対応テーブル Tは所定の曲率に対応した φ— r曲線 (実際には数値配歹 IJ)となっている。対応テーブル生成手段 13は、初期状態の対応テーブル Tを参照して上記マッピング手段 12により円形射影画像 CPをパノラマ画像 PPに変換し、第 2の座標系上のパノラマ画像 PPを表示装置 3に表示するとともに、縦軸である角 φと距離 rとの対応関係を示す対応線 Lを表示する。初期状態において対応線 Lは第 2の座標系上に横軸に平行であり且つ縦軸方向に等間隔で複数本表示され、円形射影画像 CPにおいて中心から等間隔に引かれた同心円に対応する。対応線 Lはユーザの操作により縦軸方向に移動可能となっており（図 10 (b)参照）、対応線 Lの移動に合わせて第 2の座標系の縦軸のメモリ幅が広狭し、各対応線 Lが示す縦軸の角 φの値は対応線 Lの移動によっても変動することがなく一定となるようになつている。対応線 L上の角 φに対する距離 rは、角 φの最大値 Φ (max)からその対応線 Lまでの間隔の距離に相当する。第 2の座標系上において対応線 Lを下方向に移動させるにした力 Sい、角 φに対する距離 rは短くなり、上方向に移動させるにした力 Sい、角 φに対する距離 rは長くなるようになつている。

[0052] 対応テーブル生成手段 13は、対応線 Lが設けられた第 2の座標系上に、初期状態の対応テーブル Tを参照して変換したノ Vラマ画像 PPを表示することにより、ユーザに対して、第 2の座標系上の対応線 Lを移動させて望ましいパノラマ画像 PPとするように促す。対応線が移動された状態を図 10 (b)に示す。対応テーブル生成機能 13 は、対応線 Lの移動に合わせて、縦軸の角 φのメモリ幅を広狭させ、対応線 Lと対応線 Lとの間にある画素の配置を縦軸方向に分散又は集約させて表示するとともに、対応テーブル Tの曲線（実際には配列する距離 rの値）を変化させる。対応テーブルの曲線 (実際には配列する数値）は、曲面レンズ/ミラーの曲面の曲率を反映した曲線 (数値）となる（図 10 (b)中の太線参照）。生成された対応テーブル Tは、識別情報や他の特性情報とともに記憶媒体 5に蓄積され、次回の画像変換からは、マッピング手段 12が、ユーザによって指定された対応テーブル Tを参照してマッピングを行うことにより、その曲面レンズ/ミラーの曲率に応じた画像変換が行われる。

[0053] (画像変換方法）

つぎに、上記実施の形態の画像変換システム 1を用いて画像変換方法について説明する。なお、下記の各ステップにおいて行われる処理は、上記画像変換システム 1 の各手段が行う処理に相当するため、詳細は省略する。

[0054] 画像変換システム 1は、第 1の座標系設定手段 11により、円形射影画像 CPを第 1 の座標系にマッピングして第 1の座標を設定する（第 1の座標系設定ステップ)。つぎに、画像変換システム 1は、マッピング手段により第 1の座標から第 2の座標への画素のマッピングを行う（マッピングステップ）。その後に、マッピングステップにおいて生成されたパノラマ画像 PPを表示装置 3に表示する（表示ステップ)。

[0055] また、対応テーブル生成手段 13は、マッピング手段 11により初期状態の対応テーブル Tを参照して変換したパノラマ画像 PPを、対応線 Lが設けられた第 2の座標系にマッピングし、表示装置 3に表示することによりユーザに対して対応情報 (対応線しの移動）の入力を促し、ユーザによって移動された対応線 Lに合わせて第 2の座標上の画素を分散 Z集約させて表示するとともに、対応テーブル Tの曲線を変化させ、識別情報とともに記憶手段 5に蓄積記憶する（対応テーブル生成ステップ)。対応テープル生成ステップは、記憶手段 5に望ましい対応テーブル Tが蓄積記憶されていない場合に行われ、その後に行われるマッピングステップにおいては、対応テーブル生成ステップにおいて生成された対応テーブル Tを選択及び参照してマッピングを行うことが可能となる。

実施例

[0056] 図 11は画像変換システム 1及び画像変換方法の実施例を示す概念図であり、図 1 2は画像変換システム 1の処理のフローチャートである。本実施例では、画像変換システム 1とクライアント 6とサーバ 7とがインターネットを介して接続されており、制作ュ一ザが上記画像変換システム 1を使用して上記画像変換方法によりパノラマ画像を制作した後に、ノ Vラマ画像をサーバ 7にアップロードし、一般ユーザがクライアント 6 を使用して、サーバ 7にアップロードされたパノラマ画像を閲覧する場合を例に説明する。

[0057] クライアント 6としては、表示画面を備える携帯電話やパーソナルコンピュータなどのコンピュータ端末である。パーソナルコンピュータには、 OSや WWWブラウザが搭載され、さらに、ノ Vラマ画像を閲覧するための機能（以下、プレーヤー機能という）を有する。プレーヤー機能は、 WWWブラウザのプラグインなどにより実現され、パノラマ画像を指定したり、所定の領域 (ウィンドウ）に表示する機能など、パノラマ画像の閲覧に必要な機能を備える。携帯電話には、液晶表示部に画像を表示する表示機能を備える。

[0058] 制作ユーザは、撮像手段 2を使用して撮像した円形射影画像を指定すると、画像変換システム 1は指定された円形射影画像を読み込んで表示装置 3に表示する。図 13は画像変換システム 1により表示装置 3に表示される表示画面である。画像変換システム 1は、表示画面の指定情報入力カラムに、曲面レンズ/ミラーを指定するための指定情報 (レンズ種別や固有名や製品番号やレンズ Zミラー型など）が入力される力 \または、表示画面に表示された円形射影画像に画像変換の対象となる領域が指定されるまで待機する。

[0059] 制作ユーザが指定情報入力カラムに指定情報 (レンズ種別や固有名や製品番号やレンズ Zミラー型など）を入力すると、画像変換システム 1は、その指定情報を検索キーとして記憶手段 5を検索し、その指定情報と一致する情報を含む一の特性情報を読み込む。

[0060] また、制作ユーザが表示画面の円形射影画像に画像変換の対象となる領域を指定すると、画像変換システム 1は、第 1の座標系設定手段 13により、指定された領域を第 1の座標系にマッピングして、円形射影画像に第 1の座標系を設定する。領域指定は、表示画面に表示された円形射影画像の一部又は全部を制作ユーザがマウスにより指定することで行われる。領域指定に際しては、画像変換システム 1は、変換領域とともに所定方向（北方向）の入力を促し、制作ユーザはマウスにより所定方向（北方向）をクリックして所定方向を入力（北方向）する。画像変換システム 1は、円形射影画像の中心からクリックポイント方向を所定方向（北方向）として認識し、指定された領域の画素を、円形射影画像の中心が極と重なり、所定方向が極軸と重なるように、第 1の座標にマッピングする。

[0061] 領域指定及び曲面レンズ/ミラー指定が完了すると、画像変換システム 1は、マツビング手段 12により、図 9のフローチャートの処理に従レ、、第 1の座標から第 2の座標への画素のマッピングを行う。本実施例ではユーザにより指定された一部の領域のみについてマッピングを行い画像変換するため、上記実施の形態のように円形射影画像の総ての領域にっレ、てマッピングを行レ、画像変換する場合と比較して、処理量が少なぐさらなる高速化が図られる。

[0062] つぎに、画像変換システム 1を使用して、対応テーブル Tを生成する場合について説明する。対応テーブル Tの生成は、適当な対応テーブル Tが記憶手段 5に存在しない場合、すなわち、円形射影画像の撮像に使用した曲面レンズ Zミラーに相当する対応テーブル Tが存在しない場合に、制作ユーザによって行われる。画像変換システム 1は、マッピング手段 12により初期状態の対応テーブル Tを参照して変換したパノラマ画像を、対応線 Lが設けられた第 2の座標系に表示して、制作ユーザに対して対応情報の入力を促す。制作ユーザは、パノラマ画像が所望の状態となるよう、対応線 Lを縦軸方向に移動させる。対応テーブル生成手段 13は、制作ユーザにより移動された対応線 Lに合わせて第 2の座標系上の画素を分散又は集約させてパノラマ画像を再表示するとともに、対応テーブル Tの曲線（実際には配列する数値）を変化させる。制作ユーザは、パノラマ画像が所望の状態となると、表示画面の識別標識入力カラムに識別標識を入力する。対応テーブル生成手段 13は、対応テーブル Tを識別標識と関連付けて記憶手段 5に蓄積記憶する。制作ユーザは、その後に、その曲面レンズ/ミラーを使用して撮像した円形射影画像の画像変換については、識別標識を検索キーとして記憶手段 5を検索し、記憶手段 5のからその対応テーブル Tを選択することにより、円形射影画像をパノラマ画像に変換することができる。

[0063] 制作ユーザが画像変換システム 1からインターネットなどのネットワークを介してサーバ 7にパノラマ画像をアップロードすると、サーバ 7はパノラマ画像を記憶する。一般ユーザは、クライアント 6からインターネットを介してサーバ 7にアクセスすることで、サーバに記憶されているパノラマ画像をクライアント 6の表示画面に表示させることが可能となる。クライアント 6は、パノラマ画像のうち一般ユーザにより指定された一部の領域のみを表示することによりパンやチルトを行う機能を備える。クライアント 6がパーソナルコンピュータなどである場合は、サーバ 7からパノラマ画像のデータ総てを受信してクライアント 6の側に記憶した後に、一般ユーザからマウス等により入力されたパンゃチルトの指示に応じて、パノラマ画像の一部を液晶表示装置などに表示する。クライアント 6が携帯電話などである場合は、クライアント 6からサーバ 7にパンやチルトの指示が送信され、サーバ 7によりパンやチルトの処理が行われ、クライアント 6はパンゃチルト処理が行われて得られたパノラマ画像の一部をサーバ 7から受信して液晶表示部などに表示する。一般ユーザは、パンやチルト機能により、あたかも自己の視線を移動させてレ、るかのような状態で、所望する画像を表示させることができる。

[0064] 上記実施の形態の画像変換システムは、パーソナルコンピュータ等のコンピュータシステムにより実現する場合を例に説明したが、例えばデジタルカメラや携帯電話などの携帯端末により実現されても良い。また、上記実施の形態では、画像変換システムにより生成されるパノラマ画像が携帯電話等の端末にダウンロードされて表示される例を説明したが、画像変換システムの表示装置に表示されても良い。また、上記各手段や方法は、プログラムにより実現されても良いし、 ICチップ等の回路により実現されても良い。

産業上の利用可能性

[0065] 上記実施の形態及び実施例では、極座標系上の円形射影画像を直交座標系上の四角形のパノラマ画像に画像変換を行う場合を例に説明したが、請求項 1記載の発明や請求項 9記載の発明は、複数のカメラで周囲を撮像した画像を繋ぎ合わせて全方位又は広角の多面体画像を形成し、その多面体画像を平面に射影して得られる射影画像をパノラマ画像に変換する場合や、三次元直交座標系上の画像を二次元直交座標系に画像変換する場合などのように極座標系力直行座標系以外の組み合わせの変換についても適用可能である。また、静止画像を例に説明したが、 CCD カメラなどの動画像撮像手段により撮像された動画像について、動画像を構成する各フレームに対して同様の処理を行うことで、動画像にも適用可能である。

Claims

請求の範囲

[1] 第 1の座標系上の射影画像の画素を第 2の座標系にマッピングして画像変換する画像変換システムにおレ、て、

第 1の座標系と第 2の座標系とを対応付ける対応テーブルを参照し、第 2の座標系上に、対応テーブルにおいて対応付けられた第 1の座標系上の画素をマッピングするマッピング手段を備えることを特徴とする画像変換システム。

[2] 前記第 1の座標系は極座標系であり、前記第 2の座標系は直交座標系であることを特徴とする請求項 1記載の画像変換システム。

[3] 前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、

その曲面の外周を円周とする円形平面における水平方向の角度を角 Θ、円形平面の中心からの仰角を角 φ、円形平面の中心からの距離を距離 rとすると、

第 1の座標系は、角 Θ及び距離 rで表される極座標系であり、

第 2の座標系は、横軸を角 Θとし縦軸を角 φとする直交座標系であり、前記対応テーブルは、第 1の座標系の距離 rと第 2の座標系の角 φとを対応付ける対応テーブルであり、

前記マッピング手段は、第 2の座標系の（ θ , φ )に、対応テーブルにおいて対応付けられた第 1の座標系上の（ Θ， r)の画素をマッピングすることを特徴とする請求項

1又は請求項 2記載の画像変換システム。

[4] 前記マッピング手段は、第 2の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする請求項 1乃至請求項 3のいずれ力、 1項に記載の画像変換システム。

[5] 前記マッピング手段は、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする請求項 1乃至請求項 4のいずれ力 1項に記載の画像変換システム。

[6] 第 1の座標系と第 2の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づレ、て、前記対応テーブルを生成する対応テーブル生成手段を備えることを特徴とする請求項 1乃至請求項 5のいずれか 1項に記載の画像変換システム。

[7] 前記対応情報は角 Φと距離 rとを対応付ける対応情報であることを特徴とする請求項 6記載の画像変換システム。

[8] 前記対応テーブル生成手段は、角 φと距離 rと対応付ける対応線を備える第 2の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする請求項 7記載の画像変換システム。

[9] 第 1の座標系上の射影画像の画素を第 2の座標系にマッピングして画像変換する画像変換方法において、第 1の座標系と第 2の座標系とを対応付ける対応テーブルを参照し、第 2の座標系上に、対応テーブルにおいて対応付けられた第 1の座標系上の画素をマッピングするマッピングステップを備えることを特徴とする画像変換方法

[10] 前記第 1の座標系は極座標系であり、前記第 2の座標系は直交座標系であることを特徴とする請求項 9記載の画像変換方法。

[11] 前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、

第 2の座標系は、横軸を角 Θとし縦軸を角 φとする直交座標系であり、

前記対応テーブルは、第 1の座標系の距離 rと、第 2の座標系の角 φとを対応付ける対応テーブルであり、

前記マッピングステップにおいては、第 2の座標系の（ θ , φ )に、対応テーブルにおいて対応付けられた第 1の座標系上の（ Θ , r)の画素をマッピングすることを特徴とする請求項 10記載の画像変換方法。

[12] 前記マッピングステップにおいて、第 2の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする請求項 9乃至請求項 11のいずれ力、 1項に記載の画像変換方法。

[13] 前記マッピングステップにおいて、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする請求項 9乃至請求項 12 のレ、ずれか 1項に記載の画像変換方法。

[14] 第 1の座標系と第 2の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づレ、て、前記対応テーブルを生成する対応テーブル生成ステップを備えることを特徴とする請求項 9乃至請求項 13のいずれか 1項に記載の画像変換方法。

[15] 前記対応情報は角 φと距離 rとを対応付ける対応情報であることを特徴とする請求項 14に記載の画像変換方法。

[16] 前記対応テーブル生成ステップにおレ、て、角 φと距離 rと対応付ける対応線を備える第 2の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする請求項 15に記載の画像変換方法。