JP2017055916A - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】複数の眼底画像を貼り合わせて得られたパノラマ画像を修正する場合に、修正を行うユーザの作業負担の軽減と修正作業の正確性の向上を実現する仕組みを提供する。
【解決手段】複数の眼底画像を貼り合わせてパノラマ画像を生成する画像生成装置１００において、パノラマ画像を構成している眼底画像または構成しうる眼底画像の少なくとも１つの変更対象の眼底画像を選択するユーザインターフェイス部１６０と、当該選択された眼底画像に対してユーザにより指定された第１の変更内容に応じて、当該選択された眼底画像とパノラマ画像とのうちの少なくとも一方に対して行う第２の変更内容を演算により求めるパノラマ情報修正部１７０と、第２の変更内容に基づいて新たなパノラマ画像を生成するパノラマ化処理部１２０を備える。
【選択図】図１

Description

本発明は、複数の眼底画像を貼り合わせてパノラマ画像を生成する画像生成装置、当該画像生成装置による画像生成方法、及び、当該画像生成装置における各手段としてコンピュータを機能させるためのプログラムに関するものである。

生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、被検眼の眼底部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置として、走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）がある。このＳＬＯ装置は、測定光であるレーザーを被検眼の眼底部に対してラスタースキャンを行い、その戻り光の強度から平面画像である眼底画像を高分解能かつ高速に得る装置である。

近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼において発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ（ＡＯ−ＳＬＯ：Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ ＳＬＯ）装置が開発されている。この補償光学ＳＬＯ装置では、高分解能な平面画像の取得を可能にしている。

ＳＬＯ装置で高分解能な平面画像である眼底画像を取得する場合、装置自体の光学収差の問題に加えて１フレームを撮像する時間の問題もあり、一度に撮像する撮像範囲、つまり画角が狭くなってしまう。一方で、診断や検査等に必要な情報を得るためには、ある程度の広い範囲の眼底画像が必要であるため、ＳＬＯ装置による複数位置での撮影を行う必要が生じる。また、被検眼の局所的な部位を撮影する場合であっても、全体を把握するために被検眼の広範囲を別途低分解能で撮影する場合もある。しかしながら、診断や検査等に必要とされる領域を撮影したとしても、得られた複数の撮影画像同士の関連性が把握されなければならない。つまり、撮影した複数の画像を、それぞれの画像同士の位置関係を明らかにして、その位置に応じて貼り合わせを行うことで、１枚の高精細パノラマ画像を生成することが求められる。

このような課題を解決するために、特許文献１では、広画角なＳＬＯ装置と小画角ではあるが高解像度なＳＬＯ装置とを組み合わせた複合装置が提案されている。また、特許文献２では、画角や分解能が異なる眼底画像同士の貼り合わせにおいても、各々の画像の位置関係を正確に認識してパノラマ画像を生成する手法が提案されている。

特開２０１０−２５９５４３号公報 特開２０１４−１２８３６６号公報

Ｒ．Ｓｚｅｌｉｓｋｉ，Ｉｍａｇｅ ａｌｉｇｎｍｅｎｔ ａｎｄ ｓｔｉｔｃｈｉｎｇ：ａ ｔｕｔｏｒｉａｌ，Ｔｅｃｈ．Ｒｅｐ．ＭＳＲ−ＴＲ−２００４−９２，Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ，Ｄｅｃｅｍｂｅｒ ２００４．

非特許文献１で様々な手法が紹介されているように、複数の画像の位置合わせを行い、パノラマ画像を生成することは、一般的な手法である。しかしながら、例えば、眼底部の小画角の高精細画像等の特徴が、視細胞や毛細血管等の非常に小さな構造物である場合、それらは広画角画像には解像できないことが起こり得る。特許文献１の手法では、特徴の少ない小画角画像と広画角画像の２つを組み合わせた場合、マッチングしないケースが生じ得る。また、特許文献２の手法では、上述したようなケースには対応できるが、小画角画像同士であっても撮像部位や得られた画像の画質によっては特徴が少ない場合もあり、少なからずマッチングしないケースは残ってしまう。

パノラマ画像の生成は、例えばコンピュータプログラムの処理として自動化することでユーザ（検者）の作業を大幅に軽減することが可能である。しかしながら、上述したマッチングしない画像が残ってしまうと、それらの位置合わせは手作業で行うことになり、ユーザに作業負担をかけることになる。また、非特許文献１に記載されているように、パノラマ化の処理には、位置合わせ以外にも、画像の輝度調整や歪み補正、画像の重畳部での画像選択や接合処理等の様々な処理が実行される。これらの処理に関しても、上述したマッチングしない画像が残ってしまうと、例えばコンピュータプログラムの処理で正しく完了しない場合があり、手作業による修正が発生する。さらに、計算によって位置合わせや各種の修正処理を行うコンピュータプログラムに対して、手作業ではそれ程の正確性（厳密性）が得られない。

本発明は、このような問題点に鑑みてなされたものであり、複数の眼底画像を貼り合わせて得られたパノラマ画像を修正する場合に、修正を行うユーザの作業負担の軽減と修正作業の正確性の向上を実現する仕組みを提供することを目的とする。

本発明の画像生成装置は、複数の眼底画像を貼り合わせてパノラマ画像を生成する画像生成装置であって、前記パノラマ画像を構成している眼底画像または構成しうる眼底画像の少なくとも１つの変更対象の眼底画像を選択する選択手段と、前記選択手段で選択された眼底画像に対してユーザにより指定された第１の変更内容に応じて、前記選択手段で選択された眼底画像と前記パノラマ画像とのうちの少なくとも一方に対して行う第２の変更内容を演算により求める第１の演算手段と、前記第２の変更内容に基づいて新たなパノラマ画像を生成する生成手段とを有する。
また、本発明は、上述した画像生成装置による画像生成方法、及び、上述した画像生成装置における各手段としてコンピュータを機能させるためのプログラムを含む。

本発明によれば、複数の眼底画像を貼り合わせて得られたパノラマ画像を修正する場合に、修正を行うユーザの作業負担の軽減を実現することができる。

本発明の第１の実施形態に係る画像生成装置の機能構成の一例を示す図である。 本発明の第１の実施形態に係る画像生成装置のハードウェア構成の一例を示す図である。 図１及び図２のパノラマ化処理部において行われるパノラマ化処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図１及び図２の表示部に表示されるユーティリティソフトウェアのＵＩ画面の一例を示す図である。 本発明の第１の実施形態に係る画像生成装置において行われるパノラマ画像修正処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、ユーティリティソフトウェアの画像置換モードにおけるパラメータ設定部の表示例を示す図である。 本発明の第１の実施形態を示し、ユーティリティソフトウェアのフレーム変更モードにおけるパラメータ設定部の表示例を示す図である。 本発明の第１の実施形態を示し、ユーティリティソフトウェアのレイヤー変更モードにおけるパラメータ設定部の表示例を示す図である。 本発明の第１の実施形態を示し、ユーティリティソフトウェアのコントラスト調整モードにおけるパラメータ設定部の表示例を示す図である。 本発明の第１の実施形態を示し、ＳＬＯ装置で撮影された眼底画像におけるパノラマ画像の一例を示す図である。 本発明の第２の実施形態を示し、図１及び図２の表示部に表示されるユーティリティソフトウェアのＵＩ画面の一例を示す図である。 本発明の第２の実施形態に係る画像生成装置において行われるパノラマ画像修正処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施形態を示し、マウスによってドラッグされている最中のシングル画像の一例を示す図である。 本発明の第２の実施形態を示し、図１１に示すＵＩ画面のレイヤー表示領域に表示される画像の一例を示す図である。 本発明の第２の実施形態を示し、図１１に示すＵＩ画面のレイヤー表示領域に表示される画像の一例を示す図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

本実施形態では、被検眼の網膜を補償光学ＳＬＯ装置で撮影した複数の眼底画像（以下、「シングル画像」と称する）を貼り合わせて合成して生成されたパノラマ画像に対して、ユーザがパノラマ画像を構成するシングル画像を修正する際の処理について説明する。ここで、本実施形態においては、シングル画像は、被検眼の網膜の平面を撮像した画像または動画像であり、被検眼を正面から眼底カメラ等で撮影する際に得られる、正面画像のことをいうものとする。処理としては、ユーザが修正対象のシングル画像の選択と大まかな修正指示を行った後、指定された指示に基づき画像生成装置がシングル画像とその周辺画像との間の相関等を計算して修正量を決定する。このように、本実施形態では、ユーザによる修正作業において、相関計算等による高精細な修正処理を画像生成装置が担うことで、ユーザの修正作業の簡略化を図り、その結果、修正を行うユーザの作業負担の軽減と修正作業の正確性の向上を図るものである。

＜画像生成装置の構成＞
図１は、本発明の第１の実施形態に係る画像生成装置１００の機能構成の一例を示す図である。画像生成装置１００は、複数のシングル画像を貼り合わせてパノラマ画像を生成する装置である。この画像生成装置１００は、シングル画像記憶部１１０、パノラマ化処理部１２０、パノラマ情報保存部１３０、パノラマ画像出力部１４０、表示部１５０、ユーザインターフェイス部１６０、及び、パノラマ情報修正部１７０の各機能構成を有して構成されている。

シングル画像記憶部１１０には、補償光学ＳＬＯ装置で撮像された被検眼の眼底部における様々な位置での平面画像である複数の眼底画像であるシングル画像が記憶されている。また、シングル画像記憶部１１０には、シングル画像とともに当該シングル画像の付帯情報も当該シングル画像に関連付けられて記憶されている。ここで、付帯情報は、被検眼の左右眼の情報、画像の画角情報、撮影された被検眼の眼底部上の参考位置情報、撮影条件が同じ画像を区別するための画像ＩＤ情報等である。また、参考位置情報は、例えば、ＳＬＯ装置が撮影の際に用いた固視標の提示位置情報である。画像ＩＤ情報は、例えば、連番の数字等の情報である。

パノラマ化処理部１２０は、参考位置情報をもとにして眼底画像であるシングル画像を選択し、シングル画像同士の相関計算を行って順次相対位置を決定していき、複数のシングル画像を貼り合わせてパノラマ画像を生成する。そして、パノラマ化処理部１２０は、生成したパノラマ画像及び当該パノラマ画像の処理に係る情報を含むパノラマ情報をパノラマ情報保存部１３０に保存する。パノラマ情報には、パノラマ画像上における各々のシングル画像の位置情報を含むとともに、回転角度情報、輝度補正情報、画像変形情報等のパラメータに加えて、それらのパラメータに従って輝度補正や変形といった画像処理を適用した画像自体も含む。

パノラマ情報保存部１３０は、パノラマ化処理部１２０で得られたパノラマ情報や、パノラマ情報修正部１７０で修正されたパノラマ情報を保存する。

パノラマ画像出力部１４０は、パノラマ情報保存部１３０に保存されているパノラマ情報に含まれるパノラマ画像等を表示部１５０に出力する。

表示部１５０は、パノラマ画像出力部１４０から出力されたパノラマ画像等を表示して、ユーザに提示する。

ユーザインターフェイス部１６０は、表示部１５０に表示されたパノラマ画像等に対するユーザからの修正内容の指示等を、画像生成装置１００に入力するためのインターフェイスである。

パノラマ情報修正部１７０は、ユーザインターフェイス部１６０から入力されたパノラマ画像に対する修正指示に基づいて、シングル画像同士の相関再計算等を行ってパノラマ情報保存部１３０に保存されているパノラマ情報を修正して更新する。
そして、パノラマ情報修正部１７０によってパノラマ情報が修正されると、パノラマ化処理部１２０は、当該修正されたパノラマ情報に基づいて新たなパノラマ画像を生成する。

図２は、本発明の第１の実施形態に係る画像生成装置１００のハードウェア構成の一例を示す図である。図２において、図１に示す構成と同様の構成については同じ符号を付している。また、本実施形態に係る画像生成装置１００は、例えばパーソナルコンピュータ（ＰＣ）で実現されている。

画像生成装置１００は、演算ユニット２０１、記憶ユニット２０２、表示部１５０、及び、ユーザインターフェイス部１６０の各ハードウェア構成を有して構成されている。

演算ユニット２０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されている。また、パノラマ化処理部１２０、パノラマ画像出力部１４０及びパノラマ情報修正部１７０は、例えば、演算ユニット２０１で実行されるプログラムである。

記憶ユニット２０２は、例えば、ハードディスクで構成されている。また、シングル画像記憶部１１０及びパノラマ情報保存部１３０は、記憶ユニット２０２の記憶領域に対応する。

なお、本実施形態に係る画像生成装置１００は、コンピュータの汎用インターフェイスであるＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を利用して装置外のデータベースサーバや記憶装置、補償光学ＳＬＯ装置等からシングル画像を取得し、シングル画像記憶部１１０に記憶して格納する。

図２に示す表示部１５０は、例えば、ディスプレイで構成されている。また、図２に示すユーザインターフェイス部１６０は、例えば、マウスとキーボードで構成されている。

＜パノラマ化処理の処理手順＞
図３は、図１及び図２のパノラマ化処理部１２０において行われるパノラマ化処理の処理手順の一例を示すフローチャートである。

≪ステップＳ３１０≫
ステップＳ３１０は、パノラマ化処理に用いる画像の選択工程である。
具体的に、ステップＳ３１０において、パノラマ化処理部１２０は、シングル画像記憶部１１０に保存されている眼底画像であるシングル画像の付帯情報を参照して、撮影条件（被検眼と画角と固視標提示位置）が等しいシングル画像があるかを探索する。そして、パノラマ化処理部１２０は、被検眼の１つの位置においてそのような画像群が見つかった場合には、任意の公知の画質評価指標を用いて最も画質が高い画像またはフレームを１つ選択する。なお、パノラマ化処理部１２０は、撮影条件が等しい画像が無く１枚だけのシングル画像の場合には、そのシングル画像を選択する。つまり、本ステップにおいて、パノラマ化処理部１２０は、撮影条件が等しい複数のシングル画像からは代表する１つのシングル画像だけを選択し、撮影条件各々に対し、対応するシングル画像を１つずつにする。そして、パノラマ化処理部１２０は、撮影条件毎に選択されたシングル画像の情報として画像ＩＤやフレームナンバー等の情報をパノラマ情報保存部１３０に保存する。

ここで、画像の選択には、１動画内の各フレームの画像間の位置合わせを行い、瞬目により輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりＳ／Ｎ比が低いフレームを例外フレームとして除き、残りの画像を用いて平均化画像を生成し、生成した平均化画像を用いてもよい。なお、フレーム間位置合わせと平均化画像の生成方法は、任意の公知の位置合わせ方法を用いることができる。仮に、固視が良い被検眼で同一固視の画像同士が比較的同じ位置の画像であれば、同じ位置の複数の画像間で上述した方法を用いて平均化画像を生成してもよい。またユーザが画像を選ぶ、もしくはマニュアルで平均化画像を生成してそれを用いてもよい。パノラマ化処理部１２０は、平均化画像を生成した場合、パノラマ情報保存部１３０には、画像の情報とともに生成した平均化画像自体も保存する。

≪ステップＳ３２０≫
ステップＳ３２０は、パノラマ化処理に用いられる画像のコントラスト調整の工程である。
具体的に、ステップＳ３２０において、パノラマ化処理部１２０は、パノラマ化処理用に選択した画像の中で最も画質の良い画像を選出する。この選出のための画質評価は、単純なコントラスト比較でもよいし、任意の公知の画質評価指標を適用してもよい。選出した画像は、ヒストグラム上の階調分布の偏りを線形の階調変換を適用して解消し、これをリファレンス画像とする。そして、パノラマ化処理部１２０は、リファレンス画像の全ピクセルの階調値の平均を算出し、ステップＳ３１０で選択した他の各々の画像に対し、画像の階調値の平均がリファレンス画像のそれと等しくなるように階調値に一律のオフセットを加算または減算する。その後、パノラマ化処理部１２０は、平均階調値を保ちながら、白飛び・黒潰れが無い範囲で線形階調補正を各々の画像に加える。ここでは、線形の階調補正を基本としているが、トーンカーブを用いた非線形の階調変換を交えてもよいし、それ以外の任意のコントラスト調整を適用することができる。ここで処理される画像は、パノラマ情報保存部１３０に保存された画像選択情報に従って、シングル画像についてはシングル画像記憶部１１０から読み出され、平均化画像についてはパノラマ情報保存部１３０から読み出される。そして、階調補正された画像は、全てパノラマ情報保存部１３０に保存される。

≪ステップＳ３３０≫
ステップＳ３３０は、パノラマ化のための背景画像を選択する工程である。ここで、背景画像とは、パノラマ化処理で最初に選択されるシングル画像または複数フレームの平均化画像であり、パノラマ化は、この背景画像に対して他のシングル画像ないし平均化画像を位置合わせし、貼り合わせるところから始められる。
背景画像は、広い画角の画像が好適なため、ステップＳ３３０において、パノラマ化処理部１２０は、ステップＳ３１０で選択した画像のうち、最も画角の広い画像を背景画像として選択する。ここで、候補の画像が複数あった場合には、各々の画像の参考位置情報の平均値に最も近い画像を選択してもよいし、任意の公知の画質評価指標を用いて最も画質が高い画像を選択してもよい。

≪ステップＳ３４０≫
ステップＳ３４０は、パノラマ化処理における粗い位置合わせの工程である。
具体的に、ステップＳ３４０において、パノラマ化処理部１２０は、位置合わせの元画像であるステップＳ３３０で選択した背景画像、もしくはこれまで位置合わせを行ったパノラマ画像に対して、次に選ばれた位置合わせの相手画像を粗く位置合わせする。位置合わせを行う画像の選定順序は、広い画角の画像を優先し、且つ参考位置情報を基にして、背景画像やこれまで位置合わせを行ったパノラマ画像と重なる領域が多いものから順番とする。この順番は、パノラマ画像上での各シングル画像の前面／背面を決定する情報となり、パノラマ情報保存部１３０に保存される。

ここでは、位置合わせの元画像に対して、相手画像を任意の公知の方法である、平行、回転移動や拡大縮小などの簡単なシフトによって画像間の相関係数を算出するが、被検眼のデータによっては、少なくとも平行移動があれば回転等を省略してもよい場合もある。本実施形態では、シングル画像記憶部１１０に記憶された参考位置情報を位置探索の初期値とし、平行移動によってシフトした２つの画像の重なる領域のピクセル値を用いて、相互相関を計算して相関係数（正規化相関化係数）を求める。そして、正規化相関化係数を用いて最も相関の高い位置を算出し、正規化相関化係数と得られた粗位置合わせの位置情報とをパノラマ情報保存部１３０に保存する。また、他には、同様のピクセル値を用いて、ＳＡＤ（輝度値の差の絶対値の合計）やＳＳＤ（輝度値の差の２乗の合計）等、一般的なパターンパッチングの手法を用いてもよい。探索範囲は、ある程度限定する方が計算は速く行えるが、全検索してもよい。ここで、背景画像やこれまでに位置合わせを行った元画像と、貼り合わせを行う相手画像との位置合わせにおいて、重なり領域（オーバーラップ）が見つからない程、相関係数が小さい場合には、その相手画像はマッチングしない画像であるという情報をパノラマ情報保存部１３０に保存する。

≪ステップＳ３５０≫
ステップＳ３５０は、画像を小領域に分割して行われる高精度の位置合わせ工程である。具体的に、ステップＳ３５０において、パノラマ化処理部１２０は、ステップＳ３３０で選択した背景画像、もしくはこれまで位置合わせを行ったパノラマ画像に対して、位置合わせ相手画像を小画像に分割した個々を位置合わせする。ここで、画像の分割は、画像の特徴によって決めることができ、本実施形態では、１２×１２分割を行うことを想定したものとするが、この数に限定されるものではない。背景画像、もしくはこれまで位置合わせを行ったパノラマ画像に対して、各小画像の位置合わせを行う方法は、ステップＳ３４０で設定された粗い位置合わせの位置を初期位置として、それぞれ任意の公知の方法で位置合わせを行う。本実施形態では、ステップＳ３４０と同様に、平行移動によるシフトと正規化相互相関を計算して、それぞれの小画像の最も相関の高い位置を取得する。

≪ステップＳ３６０≫
ステップＳ３６０は、画像のアフィン変形と実際の貼り合わせを行う工程である。
具体的に、パノラマ化処理部１２０は、ステップＳ３３０で選択した背景画像、もしくはこれまで位置合わせを行ったパノラマ画像に対して、ステップＳ３５０で設定したそれぞれの小画像の位置に基づいて、任意の公知の方法で組み合わせ画像のアフィン係数を決定する。本実施形態では、パノラマ化処理部１２０は、まず、ステップＳ３５０で取得した位置に基づいて、全ての小画像を平面上に並べた画像Ｓｉを作成する。そして、パノラマ化処理部１２０は、それらの小画像を囲む四角形の枠線を引いて、この枠線と同じ形状になるように、組み合わせ画像をアフィン変換によって変形し、この画像をＡｉとする。最初の変形では、全ての小画像は変形されておらず分割されたままの状態なので、四隅の画像を用いて枠線を引くだけでもよい。次いで、パノラマ化処理部１２０は、画像Ｓｉの各小画像と同じ位置に相当する画像Ａｉの各小画像同士のシフト量を、相関係数によって算出する。そして、パノラマ化処理部１２０は、このシフト量の総和が最も小さくなるように、アフィン係数を変化させて、同様のシフト量の総和を算出する工程を繰り返す。そうして、パノラマ化処理部１２０は、シフト量の総和が最も小さくなるアフィン係数を取得してこれを位置情報とする。また、パノラマ化処理部１２０は、このアフィン変形により、変化させた画像をリファレンスフレーム、もしくはこれまで位置合わせを行ったパノラマ画像に貼り合わせを行い、貼り合わせ画像と最終的に決定した位置合わせ相手画像のアフィン係数をパノラマ情報保存部１３０に保存する。

ステップＳ３６０で得られた貼り合わせ画像は、次の画像の位置合わせに用いられ、その都度更新される。さらに、貼り合わせの合成の方法は、任意の公知の方法でよく、例えば、ブレンディングをエッジ部のみ行うことや、輝度値の調整等を行ってもよい。本実施形態では、アフィンによる簡易な変形のみを取り扱ったが、その他の任意の公知の画像変換法や補正方法、例えば光学歪み等を補正したりしてもよく、上述した方法に限定されるものではない。

≪ステップＳ３７０≫
ステップＳ３７０において、パノラマ化処理部１２０は、ステップＳ３１０で選択された全ての画像に対して位置合わせ（貼り合わせ）を行ったか否かを判断する。この判断の結果、ステップＳ３１０で選択された全ての画像に対しては未だ位置合わせ（貼り合わせ）を行っていない場合には（Ｓ３７０／Ｎｏ）、ステップＳ３４０に戻り、次に位置合わせを行う画像を選択して、ステップＳ３４０〜Ｓ３６０を行う。

一方、ステップＳ３７０の判断の結果、ステップＳ３１０で選択された全ての画像に対して位置合わせ（貼り合わせ）を行った場合には、ステップＳ３８０に進む。

≪ステップＳ３８０≫
ステップＳ３８０は、ステップＳ３４０でマッチングしなかった画像に対して再マッチングを行う工程である。
具体的に、ステップＳ３８０において、パノラマ化処理部１２０は、ステップＳ３４０でパノラマ情報保存部１３０に保存したマッチングしなかった画像の情報を読み出し、ステップＳ３４０〜Ｓ３６０の工程と同じ処理を実行して、再度の位置合わせを行う。この工程でマッチングした画像があれば、パノラマ化処理部１２０は、そのアフィン係数と、最終的なパノラマ画像をパノラマ情報保存部１３０に保存する。また、パノラマ化処理部１２０は、この工程でもマッチングしない画像については、不適合画像とし、その情報として、パノラマ画像に貼り合わせずに、最も相関の近い位置のアフィン値のみをパノラマ情報保存部１３０に保存する。

＜パノラマ画像の修正手順＞
次に、図４のＵＩ画面及び図５のフローチャートを参照して、本実施形態に係る画像生成装置１００において、パノラマ画像の修正処理手順とユーザの操作を説明する。

パノラマ画像出力部１４０は、図３に示すパノラマ化処理等で生成されたパノラマ画像をパノラマ情報保存部１３０から読み出し、表示部１５０に表示する。画像生成装置１００は、表示部１５０及びユーザインターフェイス部１６０からユーザにより指定された修正内容（第１の変更内容）を入力することで、生成されたパノラマ画像を修正できる機能をユーザに提供するユーティリティソフトウェアを具備している。

図４は、本発明の第１の実施形態を示し、図１及び図２の表示部１５０に表示されるユーティリティソフトウェアのＵＩ画面の一例を示す図である。
図４に示すＵＩ画面９１０には、生成されたパノラマ画像がレイヤー表示領域９２０に表示されている。また、本実施形態では、上述の不適合画像９４０がアプリケーションの左側に並べて表示されている。これらの不適合画像９４０は、最も相関の高い位置にアフィン変形して貼り合わせた後に、枠の色を変える等して不適合画像と分かるように表示してもよい。ユーティリティソフトウェアのコマンドバー９３０は、図４に示す例では、ユーザが指定できる修正の種類に対応して５つのコマンドが用意されている。５つのコマンドの修正内容は以下のとおりである。
・ｍｏｖｅ…シングル画像の位置を変える。
・ｃｈａｎｇｅ…シングル画像を他の画像に置き換える。
・ｆｒａｍｅ…パノラマ画像に使用されたフレーム番号を変える。
・ｆｒｏｎｔ／ｂａｃｋ…シングル画像同士で重なった領域において、前面に表示するシングル画像を入れ替える。
・ｃｏｎｔｒａｓｔ…コントラストを調整する。

コマンドバー９３０におけるこれらのコマンドのいずれかが選択されると、選択されたコマンドに応じて修正に必要な詳細なパラメータをパラメータ設定部９５０から入力することができる。入力したパラメータで修正処理を開始するためには、図４のパラメータ設定部９５０内の下方に位置する「Ｅｎｔｅｒ」ボタンを押下する。

次に、図５のフローチャートを用いてパノラマ画像の修正の流れを説明する。
図５は、本発明の第１の実施形態に係る画像生成装置１００において行われるパノラマ画像修正処理の処理手順の一例を示すフローチャートである。

≪ステップＳ５１０≫
ステップＳ５１０は、ユーザが指定したパノラマ画像に対する修正の種類を受け付ける工程である。
具体的に、ユーザがレイヤー表示領域９２０に表示されたパノラマ画像を確認して修正したい内容がある場合、ユーザがユーザインターフェイス部１６０を介してコマンドバー９３０から所望の修正の種類を選択すると、ステップＳ５１０において、例えばパノラマ情報修正部１７０は、当該選択に係るコマンドを受け付ける。

≪ステップＳ５２０≫
ステップＳ５２０において、例えばパノラマ情報修正部１７０は、修正対象（変更対象）のシングル画像がユーザインターフェイス部１６０を介して既にユーザによって選択されているか否かを判断する。ここで、ユーザは、例えば、レイヤー表示領域９２０に表示されたパノラマ画像上からユーザインターフェイス部１６０のマウスを用いてシングル画像９２１をクリックすることで修正対象画像を選択できる。本実施形態では、ここで選択されるシングル画像としては、パノラマ画像を構成している眼底画像または構成しうる眼底画像の少なくとも１つを適用することができる。また、修正対象（変更対象）のシングル画像を選択するユーザインターフェイス部１６０は、選択手段を構成する。

ステップＳ５２０の判断の結果、修正対象のシングル画像が既にユーザによって選択されている場合には（Ｓ５２０／Ｙｅｓ）、ステップＳ５４０に進む。
一方、ステップＳ５２０の判断の結果、修正対象のシングル画像が未だユーザによって選択されていない場合には（Ｓ５２０／Ｎｏ）、ステップＳ５３０に進む。
なお、この選択処理は、ステップＳ５１０の修正の種類を選択する工程よりも前にされていてもよく、その場合には対象画像選択済みとしてステップＳ５４０へ進む。

≪ステップＳ５３０≫
ステップＳ５３０に進むと、画像生成装置１００（例えばパノラマ情報修正部１７０）は、ユーザに修正対象画像の選択を促すメッセージを表示部１５０に表示し、ユーザからの修正対象画像の選択を受け付ける。そして、ユーザがユーザインターフェイス部１６０を介して修正対象画像の選択を行うと、ステップＳ５４０に進む。

≪ステップＳ５４０≫
ステップＳ５４０に進むと、画像生成装置１００（例えばパノラマ情報修正部１７０）は、選択されたシングル画像と修正の種類に対応した詳細な修正パラメータをパラメータ設定部９５０に表示し、ユーザインターフェイス部１６０を通じてユーザの入力を受け付ける。

ここで、ステップＳ５１０及びステップＳ５４０で受け付けたユーザによる修正内容は、第１の変更内容を構成する。

≪ステップＳ５５０≫
ステップＳ５５０において、パノラマ情報修正部１７０は、ステップＳ５４０で受け付けた修正パラメータに応じて、コントラスト調整、相関計算、アフィン変形等を行い、シングル画像同士の相関再計算等を行ってパノラマ情報保存部１３０に保存されているパノラマ情報を修正して更新する。具体的に、本ステップにおいて、パノラマ情報修正部１７０は、ユーザによる修正内容（第１の変更内容）に応じて、選択された修正対象画像とパノラマ画像とのうちの少なくとも一方に対して行う修正内容（第２の変更内容）を演算により求めている。この第２の変更内容を演算により求めるパノラマ情報修正部１７０は、第１の演算手段を構成する。

その後、パノラマ化処理部１２０は、当該修正されたパノラマ情報に基づいて新たなパノラマ画像を生成し、これをパノラマ情報保存部１３０に保存する。この新たなパノラマ画像を生成するパノラマ化処理部１２０は、生成手段を構成する。
その後、パノラマ画像出力部１４０は、パノラマ化処理部１２０で新たに生成されたパノラマ画像をパノラマ情報保存部１３０から読み出して、表示部１５０に出力して表示させる。

そして、画像生成装置１００は、ユーザが、修正が必要と判断した各々の項目に対して、ステップＳ５１０〜Ｓ５４０の処理を繰り返し行う。

次に、これらの処理手順について、修正の種類毎にその詳細を説明する。

［ｍｏｖｅ；選択画像の移動］
まず、修正の種類が「ｍｏｖｅ」である場合の処理について説明する。具体的に、修正の種類が「ｍｏｖｅ」である場合、選択された眼底画像とパノラマ画像との相対的な位置移動の処理が行われる。
図５のステップＳ５１０において、コマンドバー９３０における「ｍｏｖｅ」が選択された場合、ユーザは、レイヤー表示領域９２０に表示されたパノラマ画像上または不適合画像９４０をマウスでクリックして移動させる対象の画像を選択する。次に、ユーザは、クリックで画像を選択したままドラッグ＆ドロップすることによって移動先を指定する。ここで、ユーザにより相対的な位置移動が指定されるまで、選択しているシングル画像と背景のパノラマ画像との一致が分かり易くなるように、例えば、画像生成装置１００は、ドラッグ中のシングル画像を半透明にして背景が透けるように表示部１５０に表示する。また、移動先の指定方法は、レイヤー表示領域９２０にグリッドを重ねて表示してＸ座標及びＹ座標を定義した上で、ユーザがパラメータ設定部９５０から選択した画像の移動先座標（Ｘ，Ｙ）を指定するといった座標入力手段を用いてもよい。

位置が決定すると、パノラマ情報修正部１７０は、その位置で背景のパノラマ画像と移動したシングル画像とで相関計算を行い、正確な位置とアフィン係数を決定する。これらの処理は、パノラマ化処理部１２０で実施される図３のステップＳ３４０〜Ｓ３６０と同様であるが、ステップＳ３４０における探索範囲は、ユーザによる大まかな位置指定があるから、狭い範囲に限定して高速化することが可能であり、本実施形態では、移動対象のシングル画像の画角の半分の範囲とした。なお、相関計算処理の開始は、マウスによる画像のドロップをトリガとしてもよいし、ドロップ後にパラメータ設定部９５０にある「Ｅｎｔｅｒ」ボタンの押下をトリガとしてもよい。

次いで、画像の移動処理に関して、複数画像を同時に移動する機能について説明する。異なる画角の画像が混ざったパノラマ画像においては、基本的に小画角の画像の方がより画素密度が高く高解像度な画像となるため、広画角画像の上に小画角画像が貼り合わされる。したがって、広画角画像の移動を指示した場合、その上に貼られた小画角画像も同時に移動できることが望ましい。ここでは、移動対象の画像選択時に、一般的な複数選択の手段であるキーボードのＣｏｎｔｒｏｌキーを押したままのマウスクリック等によって複数画像を選択可能としており、全ての選択画像を平行移動できる設定が用意されている。他にも、広画角画像を選択して移動した場合には、移動対象の広画角画像の上に貼り合わされた小画角画像も同時に移動される設定を設けてもよい。この場合、移動後の相関計算等は背景のパノラマ画像と広画角画像との間に限定することもでき、広画角画像と小画角画像との間の演算処理を省略することで演算の高速化が可能である。なお、広画角画像と小画角画像の位置関係等の修正に必要な情報は、パノラマ情報保存部１３０から読み出され、パノラマ情報修正部１７０の修正処理によって変わったアフィン係数は、パノラマ情報保存部１３０に上書きされる。また、図３のステップＳ３４０において決定されたシングル画像同士の前面／背面を決定する順番もパノラマ情報保存部１３０から読み出される。そして、画像の移動に際してシングル画像同士の新たな重なり部分が生じた場合には、この順番に従ってどちらの画像が前面に表示されるかが決定される。

このように、ユーザのマウス操作に代表される大まかな移動指示に基づく修正内容に従って、相関再計算、アフィン係数を決定する処理を画像生成装置１００が担うことができる。

［ｃｈａｎｇｅ；選択画像の置換］
次に、修正の種類が「ｃｈａｎｇｅ」である場合の処理について説明する。
図５のステップＳ５１０において、コマンドバー９３０における「ｃｈａｎｇｅ」が選択された場合、ユーザは、レイヤー表示領域９２０に表示された置換するパノラマ画像上のシングル画像をマウスでクリックして選択する。すると、パノラマ情報修正部１７０は、選択されたシングル画像の参考位置情報（固視標の提示位置情報）をシングル画像記憶部１１０から読み出し、同時に、選択されたシングル画像と同じ参考位置情報及び画角を持つシングル画像が他に無いか検索する。そして、そのような画像が無い場合には、画像生成装置１００は、置換対象の画像が無い旨のメッセージを表示部１５０に表示してユーザに提示し、処理を終える。

一方、置換対象画像があった場合には、パノラマ情報修正部１７０は、置換対象画像に対してステップＳ３２０と同様のコントラスト調整を行ってパノラマ情報保存部１３０に保存する。その後、ユーティリティソフトウェアのパラメータ設定部９５０が図６の表示に変わり、パノラマ情報修正部１７０は、ユーザによる画像の選択やフレーム選択、平均化画像の生成を行う。ここでは、置換可能な画像が３種類あったとする。各画像は、図６に示すパラメータ設定部９５０のＩｍａｇｅ１〜Ｉｍａｇｅ３のボタンに割り当てられており、いずれかのボタンを押すことでパノラマ画像上の画像が置換される。また、マウスのホイール操作または図６に示すパラメータ設定部９５０の「Ｆｒａｍｅ Ｎｏ．」ボックスに直接フレームＮｏ．を入力することで、表示するフレームＮｏ．を変更することができる。ここで、同一参考位置の画像、即ち同一の固視標提示位置であっても固視微動等によって位置が異なる場合があるから、フレーム選択と並行して先に述べた選択画像の移動の処理もできるようにしてもよい。

さらに、ユーザが、図６に示すパラメータ設定部９５０の「ａｖｅ」ボタンを押すと、パノラマ情報修正部１７０は、全フレームまたは良好な画像のみを選別しての平均化画像を生成し、パノラマ画像上の画像に置換するようにする。置換する画像が決定したら、ユーザが、図６に示すパラメータ設定部９５０の「Ｅｎｔｅｒ」ボタン押下すると、パノラマ情報修正部１７０は、後段の自動処理である背景のパノラマ画像と置換したシングル画像との相関計算を行い、正確な位置やアフィン係数を決定する。これらの処理は、パノラマ化処理部１２０で実施される図３のステップＳ３４０〜Ｓ３６０と同様である。

また、パノラマ画像上で置換したシングル画像より前面に同画角の画像やより小画角の画像がある場合には、パノラマ情報保存部１３０に保存されたシングル画像同士の前面／背面を決定する順番を参照して、置換された画像よりも前面にあるシングル画像をこの順番に従って順に図３のステップＳ３４０〜Ｓ３６０の再処理が行われる。そして、一連の修正処理によって変更されたアフィン係数や、選択された画像ＩＤやフレームナンバーは、パノラマ情報保存部１３０に上書き保存される。この処理において、例えば、図４における小画角のシングル画像９２１のように、背景のシングル画像が１枚に限定される場合には、背景のシングル画像の正確な位置調整やアフィン係数に基づいて画像９２１の調整を行うことで計算処理の軽減を図ってもよい。

このように、ユーザの画像置換指示に伴って生じる再度の相関再計算、アフィン係数決定、及び、置換によって影響を受ける他のシングル画像のアフィン係数の変更等の煩雑な処理を画像生成装置１００が担うことができる。

［ｆｒａｍｅ；フレームＮｏ．の変更］
次に、修正の種類が「ｆｒａｍｅ」である場合の処理について説明する。
図５のステップＳ５１０において、コマンドバー９３０における「ｆｒａｍｅ」が選択された場合、ユーザは、使用するフレームＮｏ．を変えるシングル画像をパノラマ画像から選択する。すると、パノラマ情報修正部１７０は、選択された画像の他のフレーム画像をシングル画像記憶部１１０から読み出し、ステップＳ３２０と同様のコントラスト調整を行ってパノラマ情報保存部１３０に保存する。次いで、ユーティリティソフトウェアのパラメータ設定部９５０が図７の表示に変わり、マウスのホイール操作または図７に示すパラメータ設定部９５０の「Ｆｒａｍｅ Ｎｏ．」ボックスに直接フレームＮｏ．を入力することで、表示するフレームＮｏ．を変更することができる。これ以降の処理は、先に述べた選択画像の置換（ｃｈａｎｇｅ）の処理と同様となる。

［ｆｒｏｎｔ／ｂａｃｋ；前面／背面の入替え］
次に、修正の種類が「ｆｒｏｎｔ／ｂａｃｋ」である場合の処理について説明する。具体的に、修正の種類が「ｆｒｏｎｔ／ｂａｃｋ」である場合、パノラマ画像を生成する過程において当該パノラマ画像を構成している少なくとも１つの眼底画像の貼り合わされる順番の変更の処理が行われる。
図５のステップＳ５１０において、コマンドバー９３０における「ｆｒｏｎｔ／ｂａｃｋ」が選択された場合、ユーザは、前面／背面の移動を行うシングル画像をパノラマ画像から選択する。選択されたシングル画像が２つの場合、ユーティリティソフトウェアのパラメータ設定部９５０が図８（ａ）の表示に変わり、「ｆｒｏｎｔ⇔ｂａｃｋ」ボタンを押す毎に、パノラマ画像における選択された２枚のレイヤー順序が入れ替わる。再度ボタンを押せば再び元に戻る。

また、選択されたシングル画像が１枚だけの場合、ユーティリティソフトウェアのパラメータ設定部９５０が図８（ｂ）の表示に変わる。図８（ｂ）に示す４つの操作ボタンは、それぞれ選択した画像に対する処理を表しており、例えば「Ｓｅｎｄ Ｂａｃｋｗａｒｄ」ボタンを選択すると、レイヤー１枚分裏に移動される。

これらの処理は、マウスホイールに割りつけて、ホイールによる選択画像のレイヤー移動を可能にしてもよい。図８（ａ）及び図８（ｂ）に示すいずれの場合も、レイヤー移動（交換）が決定したら、「Ｅｎｔｅｒ」ボタンを押下することで、パノラマ情報修正部１７０は、後段の自動処理である背景のパノラマ画像とレイヤー移動した画像との相関計算を行い、正確な位置とアフィン係数を決定する。このとき、パノラマ情報修正部１７０は、パノラマ情報保存部１３０に保存されたシングル画像同士の前面／背面を決定する順番を実施されたレイヤー移動に応じて書き換える。さらに、パノラマ情報修正部１７０は、レイヤー移動に関わった画像よりも前面にあるシングル画像をこの順番に従って順に、図３に示すＳ３４０〜Ｓ３６０の再処理を行う。そして、パノラマ情報修正部１７０は、一連の修正処理によって変更されたアフィン係数を、パノラマ情報保存部１３０に上書き保存する。ここでも、背景画像が１枚のシングル画像に限定されるものは、背景画像の修正を利用して処理の軽量化を図ってもよい。

このように、ユーザが選択した画像のレイヤー移動に伴って生じる再度の相関再計算、アフィン係数決定、及び、影響を受ける他のシングル画像のアフィン係数の変更等の煩雑な処理を画像生成装置１００が担って、新たなパノラマ画像を生成することができる。なお、本実施形態においては、パノラマ情報修正部１７０は、パノラマ画像が生成された際の眼底画像の貼り合わせの順序だけでなく、眼底画像同士の重なり合いの有無の少なくとも一方の情報も加味して、第２の変更内容を加える順序または第１の変更内容に影響される眼底画像の選出の少なくとも一方を決定するようにしてもよい。

［ｃｏｎｔｒａｓｔ；コントラスト調整］
次に、修正の種類が「ｃｏｎｔｒａｓｔ」である場合の処理について説明する。
図５のステップＳ５１０において、コマンドバー９３０における「ｃｏｎｔｒａｓｔ」が選択された場合、ユーザは、コントラスト調整を行う画像をパノラマ画像から選択する。すると、ユーティリティソフトウェアのパラメータ設定部９５０が図９の表示に変わる。選択されたシングル画像の輝度やコントラスト、ガンマ値をユーザが手動で調節する場合には、図９に示すパラメータ設定部９５０の各々の入力ＢＯＸに"＋１０"や"−１５"等と補正値を入力する。補正は、即時にパノラマ画像に反映され、ユーザは、パノラマ画像の状態を見ながら補正値を調整して行き、補正値が定まった段階で、図９に示す「Ｅｎｔｅｒ」ボタンを押してコントラスト変更を確定する。この動作で、パノラマ情報修正部１７０は、コントラスト調整を反映した新たなシングル画像のデータをパノラマ情報保存部１３０に上書き保存する。手動での調整とは別に、半自動のコントラスト調整機能も備えており、図９に示す「Ａｕｔｏ」ボタンを押すことで、半自動モードに切り替わる。

補償光学ＳＬＯ装置において、特に、疾患眼等の場合には、瞳の状態に起因して撮像された画像の上部や右端等の一部分が暗くなり、全体的にグラデーションのかかった輝度分布の画像が取得される場合がある。すると、例えば、図１０（ａ）のように、グラデーションのかかった輝度分布によって、パノラマ画像の境界が目立ってしまう場合が生じる。ここでの半自動（コントラスト）調整機能は、これら輝度グラデーションの補正を目的とした修正手段の例を示す。ただし、本実施形態は、これに限られるものではない。

半自動モードにおいて、ユーザは、シングル画像毎の輝度差が起因して貼り合わせ部分で境界が目立っている部分を、パノラマ画像上にマウスを用いて印を付けることができる。さらに、輝度にグラデーションがかかって見えるシングル画像の領域に対して、図９に示すパラメータ設定部９５０に配置されたグラデーション方向を示す矢印９６０をパノラマ画像上のその領域へドラッグ＆ドロップし、さらにグラデーション方向に並行になるように回転調整する。これらの操作を繰り返し、輝度差によって目立つ境界とグラデーションのかかった領域を印して行き、最終的に、例えば、図１０（ｂ）の白破線１０１０及び矢印１０２０を付けたものとする。この状態で、図９に示すパラメータ設定部９５０の「Ｅｎｔｅｒ」ボタンを押下することで、自動補正が始まる。パノラマ情報修正部１７０は、自動補正を矢印１０２０が配置された各シングル画像毎に実施し、それぞれ白破線１０１０で指示された境界部の輝度差を境界条件とし、矢印１０２０で示された方向に輝度を単調増加または単調減少させて階調補正する。そして、パノラマ情報修正部１７０は、階調補正後に境界のブレンディング処理を行った上で、コントラスト調整を反映した新たなシングル画像の画像データをパノラマ情報保存部１３０に上書き保存する。

このように、ユーザの簡単な修正指示に従い、グラデーションを考慮した煩雑なコントラスト調整を画像生成装置１００が担うことができる。

第１の実施形態では、ユーザがパノラマ画像等に対して施す大まかな修正内容に応じて、高精細な追加修正や、シングル画像の修正に起因して必要になるパノラマ画像全体に対する調整等の煩雑な修正内容の処理を画像生成装置１００が担うようにしている。
かかる構成によれば、複数の眼底画像（シングル画像）を貼り合わせて得られたパノラマ画像を修正する場合に、修正を行うユーザの作業負担の軽減と修正作業の正確性の向上を実現することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第２の実施形態は、補償光学ＳＬＯ装置で撮影した眼底画像を合成して得られたパノラマ画像を修正する第１の実施形態の画像生成装置に対して、さらにユーザに対して修正候補を提示する機能を加えて、よりユーザの修正作業負担の軽減を図る形態である。ここで、本実施形態における修正候補としては、例えば、選択された眼底画像とパノラマ画像との相対的な位置の候補や、第１の実施形態で説明した第１の変更内容または第２の変更内容を加える順序の候補を適用することができる。第２の実施形態に係る画像生成装置の構成やパノラマ化処理の処理手順は、第１の実施形態と同様である。以下には、特に、パノラマ画像の修正手順に対して追加される修正候補の提示機能について説明する。

第２の実施形態の処理としては、ユーザが修正対象のシングル画像の選択と修正の種別（コマンド）を選択すると、画像生成装置１００が、粗い条件や計算によって修正候補を絞り込んだ上でユーザに提示する。そして、ユーザが正しいと判断した修正候補を選択すると、さらに、画像生成装置１００が、高精細の処理を行ってパノラマ画像に対する修正内容を決定する。このように、ユーザによる修正において、予め、画像生成装置１００が修正候補を絞り込んでこれをユーザに提示することで、ユーザの修正作業をさらに簡略化することができる。

＜パノラマ画像の修正手順＞
以下に、図１１のＵＩ画面及び図１２のフローチャートを参照して、本実施形態に係る画像生成装置１００において、パノラマ画像の修正処理手順とユーザの操作を説明する。

図１１は、本発明の第２の実施形態を示し、図１及び図２の表示部１５０に表示されるユーティリティソフトウェアのＵＩ画面の一例を示す図である。図１１において、図４に示す構成と同様の構成については同じ符号を付している。

図１１に示すＵＩ画面９１０は、パラメータ設定部９５０に「Ａｕｔｏ Ａｄｖａｎｃｅ」ボタン９５１が更に配置されること以外は、図４に示す第１の実施形態に係るＵＩ画面９１０と同様である。

図１１に示す「Ａｕｔｏ Ａｄｖａｎｃｅ」ボタン９５１が押下されると、ユーティリティソフトウェアは修正候補を提示するモードに切り替わり、当該ボタン９５１は色が変わってそのモードであることを表示する。再び、当該ボタン９５１を押下すると、通常のモードに戻り、ユーティリティソフトウェアは、第１の実施形態と同じ動作を行う。本実施形態では、コマンドバー９３０に示された５つのコマンドのうち、以下の３つのコマンドにおいて修正候補を提示するモードが有効である。なお残りの２つのコマンドは、「Ａｕｔｏ Ａｄｖａｎｃｅ」ボタン９５１の押下に関係なく、第１の実施形態と同じ動作仕様で使用可能である。
・ｍｏｖｅ…シングル画像の位置を変える。
・ｃｈａｎｇｅ…シングル画像を他の画像に置き換える。
・ｆｒａｍｅ…パノラマ画像に使用されたフレーム番号を変える。

「Ａｕｔｏ Ａｄｖａｎｃｅ」ボタン９５１が有効な時にこれらの３つのコマンドのいずれかのコマンドが選択されると、ユーザによって選択された修正対象のシングル画像に応じて修正候補が提示される。ユーザが選択した候補に決定し、パノラマ画像の修正処理を開始するためには、図１１のパラメータ設定部９５０内の下方に位置する「Ｅｎｔｅｒ」ボタンを押下する。

次に、図１２のフローチャートを用いてパノラマ画像の修正の流れ説明する。
図１２は、本発明の第２の実施形態に係る画像生成装置１００において行われるパノラマ画像修正処理の処理手順の一例を示すフローチャートである。図１２において、図５に示す処理ステップと同様の処理ステップについては、同じステップ番号を付している。即ち、ステップＳ５１０〜Ｓ５３０までの処理は、図５に示す第１の実施形態における処理と同じであるため、その説明は省略する。

≪ステップＳ１２１０≫
ステップＳ１２１０において、パノラマ情報修正部１７０は、選択されたシングル画像とステップＳ５１０で指定された修正の種類に係る修正内容（第１の変更内容）に対する修正候補を演算により求める。この際、パノラマ情報修正部１７０は、パノラマ画像を構成している眼底画像または構成しうる眼底画像の少なくとも１つの眼底画像の撮影条件を基にして修正候補を演算により求めるようにしてもよい。この修正候補を演算により求めるパノラマ情報修正部１７０は、第２の演算手段を構成する。
その後、表示部１５０は、パノラマ情報修正部１７０で演算により求められた修正候補をレイヤー表示領域９２０に表示してユーザに提示する。このユーザに修正候補を提示する表示部１５０は、提示手段を構成する。ここでは、修正対象のシングル画像や、修正候補となる他のフレームの画像やシングル画像記憶部１１０に記憶されている他の未使用画像等と背景画像との相関計算や画像の付帯情報を利用して、修正候補を提示または複数の候補から選択した上で提示する。

≪ステップＳ１２２０≫
ステップＳ１２２０は、ユーザが修正候補を決めるのにあたり、様々な条件を試して模索する過程において画像生成装置１００が入力を受け付ける工程である。
具体的に、ステップＳ１２２０において、画像生成装置１００（例えばパノラマ情報修正部１７０）は、ユーザから追加入力の指示があったか否かを判断する。例えば、ここでの入力としては、マウスのドラッグによって移動途中のシングル画像のおおまかな現在位置情報や、フレーム選択、画像選択等の入力である。これらの入力によって修正候補の選択条件が変わるため、ユーザから追加入力の指示があった場合には（Ｓ１２２０／Ｙｅｓ）、ステップＳ１２１０に戻って再度修正候補の選択等をやり直し、ユーザに提示する。
一方、ステップＳ１２２０の判断の結果、ユーザから追加入力の指示がなかった場合には（Ｓ１２２０／Ｎｏ）、ステップＳ１２３０に進む。

≪ステップＳ１２３０≫
ステップＳ１２３０に進むと、パノラマ情報修正部１７０は、ユーザがパラメータ設定部９５０の「Ｅｎｔｅｒ」ボタンを押すことを契機として修正対象のシングル画像と修正の種類に対応した詳細な修正パラメータを決定する。この際、パノラマ情報修正部１７０は、提示された修正候補のうちのいずれか１つがユーザに選択されると、当初の修正内容（第１の変更内容）を選択された修正候補に基づく修正内容（第１の修正内容）に置き換える。この置き換えを行うパノラマ情報修正部１７０は、置き換え手段を構成する。

≪ステップＳ１２４０≫
続いて、ステップＳ１２４０において、パノラマ情報修正部１７０は、ステップＳ１２３０で受け付けて決定した修正パラメータに応じて、コントラスト調整、相関計算、アフィン変形等を行い、シングル画像同士の相関再計算等を行ってパノラマ情報保存部１３０に保存されているパノラマ情報を修正して更新する。その後、パノラマ化処理部１２０は、当該修正されたパノラマ情報に基づいて新たなパノラマ画像を生成し、これをパノラマ情報保存部１３０に保存する。その後、パノラマ画像出力部１４０は、パノラマ化処理部１２０で新たに生成されたパノラマ画像をパノラマ情報保存部１３０から読み出して、表示部１５０に出力して表示させる。

そして、画像生成装置１００は、ユーザが、修正が必要と判断した各々の項目に対して、ステップＳ５１０〜Ｓ５３０及びＳ１２１０〜Ｓ１２４０の処理を繰り返し行う。

次に、これらの処理手順について、修正の種類毎に詳細を説明する。なお、第１の実施形態と同じ部分については説明を省略する。

［ｍｏｖｅ；選択画像の移動］
まず、修正の種類が「ｍｏｖｅ」である場合の処理について説明する。
画像の貼り付け位置の移動における移動先の候補提示機能として、本実施形態では、２つの機能を備えている。

１つ目の機能は、移動先の候補提示機能である。
選択されたシングル画像が元々貼り付けられていた位置、またはマウスのドラッグやパラメータ設定部９５０を通じた座標指定によって定められる仮の位置に対して、パノラマ情報修正部１７０は、パノラマ画像と選択されているシングル画像との相関を計算する。ここでの相関計算は、マウスのドラッグによる刻々と変化する指示に対応するために高速処理が必要となるため、パノラマ画像で相関計算の対象とする領域を、選択されたシングル画像を中心に、選択された画像の画角の３倍の画角の範囲に限定して行っている。また、相関計算も、図３のステップＳ３４０における手法と同じ粗い計算だけを行い、図３のステップＳ３５０や図３のＳ３６０における高精度の位置合わせのための演算は省略して演算量を減らしている。即ち、本実施形態では、１回の画像間の位置合わせに対して行われる演算量が、第１の実施形態で説明した第２の変更内容を求める演算よりも本実施形態における修正候補を求める演算の方が少ない。そして、相関計算の結果、相関が高い位置を貼り付けの候補位置として２〜３か所、枠を表示してユーザに提示する。

図１３は、本発明の第２の実施形態を示し、マウスによってドラッグされている最中のシングル画像２００の一例を示す図である。図１３（ａ）において、破線で囲われた２つの小さい領域２１０−１及び２１０−２が相関の高い移動先候補として提示された位置であり、破線で囲われた大きい範囲２２０が相関計算の際に領域限定したパノラマ画像の範囲（相関計算範囲）を表している。なお、後者の枠（２２０）は、ユーザに提示する必要はない。また、ドラッグ中の画像や移動先候補の枠の表示が分かりやすいよう、この処理の最中は、図１１に示すレイヤー表示領域９２０の各シングル画像の枠線を消して表示している。図１３（ｂ）は、マウスのドラッグを進め、シングル画像２００が、図１３（ａ）の場合よりもさらに移動した際の図を示している。シングル画像２００の移動に伴って相関計算範囲２２０も移動し、これにより、図１３（ａ）にあった候補枠の領域２１０−１は候補から外れ、代わりに候補枠の領域２１０−３が新たな候補として提示されている。ユーザは、提示された候補の枠から正しいと思われるものを選び、そこに選択している画像をドラッグして重ね、合致すればドロップすることができるように構成されている。なお、本実施形態では、候補位置として破線の枠だけを表示したが、選択している画像のコピーを各々の候補位置に重ねて表示してもよい。そして、位置が決定されると、後は、第１の実施形態と同じ処理となり、図３のステップＳ３５０の高精度の相関計算や図３のステップＳ３６０のアフィン係数決定により、正確な位置合わせとパノラマ画像の再生成が実行される。

２つ目の機能は、修正の順番の提示機能である。
複数のシングル画像を順に位置修正していく場合、１枚の画像を動かす毎に、移動した画像よりも上に貼り合わされたシングル画像（レイヤー）は、下画像の修正の影響を受けて、再度相関計算やアフィン係数の算出し直しが必要になる。したがって、パノラマ画像を生成した際に決定した貼り合わせの順番、即ちパノラマ情報保存部１３０に保存されたシングル画像同士の前面／背面を決定する順番を利用し、ユーザにこの順番に従った処理を促す。複数のシングル画像が選択された状態で図１１に示すコマンドバー９３０における「ｍｏｖｅ」が選択された場合、本実施形態の画像生成装置１００は、まず、全ての画像に同じ移動処理を施すか否かをダイアログ表示等でユーザに選択を求める。一括移動の場合にはその処理に移行するが、そうでない場合には選択された複数の画像の中で最も背面のレイヤーとなっているシングル画像を最前面に表示し、それより裏面の画像のみをパノラマ化して表示する。

図１４は、本発明の第２の実施形態を示し、図１１に示すＵＩ画面９１０のレイヤー表示領域９２０に表示される画像の一例を示す図である。図１４（ａ）において中画角画像３１０と中央付近の小画角画像３２０が移動対象のシングル画像として選択されたとする。すると、中画角画像３１０が最も背面の画像であるから、図１４（ｂ）に示す中画角画像３１０の移動を促す表示となり、中画角画像３１０よりも前面にあったシングル画像は一旦消える。この状態で中画角画像３１０の位置を決定すると、中画角画像３１０と背景のパノラマ画像に対する図３のＳ３４０〜Ｓ３６０の再処理に加え、中画角画像３１０と小画角画像３２０との間のレイヤーにあった他の画像もレイヤーの順に従って図３のＳ３４０〜Ｓ３６０の再処理が実行される。次いで、図１４（ｃ）の表示となり、小画角画像３２０の位置合わせとなる。その後の処理は、同様にして小画角画像３２０の位置の決定後、小画角画像３２０及びそれよりも前面にある画像に対する再処理が行われて、パノラマ画像が再生成される。

このように、画像の移動先を提示してユーザの選択を簡略化する、または位置修正の順番を規定して再処理による計算待ち時間を最小限に抑えることにより、パノラマ画像の編集の作業負荷や時間を減らすことができる。

［ｆｒａｍｅ；フレームＮｏ．の変更］
次に、修正の種類が「ｆｒａｍｅ」である場合の処理について説明する。
第１の実施形態で説明したように、同一固視標提示位置で撮像された連続フレーム画像であっても、固視微動等の影響を受けて、フレームＮｏ．によって位置が異なる場合がある。例えば、マウスのホイール操作または図７に示すパラメータ設定部９５０の「Ｆｒａｍｅ Ｎｏ．」ボックスに直接フレームＮｏ．を入力することで、表示するフレームＮｏ．を変更して行った場合、位置修正の必要性が生じる。第１の実施形態では、手動での位置修正を可能としていたが、本実施形態では、フレームを変える毎に背景画像と新たなフレームとの相関計算を行って、相関の高い位置に表示する。この場合においても、マウスのホイール操作等による刻々と変化する指示に対応するために高速処理が必要となるため、パノラマ画像で相関計算の対象とする領域を限定し、相関計算も図３のステップＳ３４０での手法と同じ粗い計算のみとすることが望ましい。

これにより、フレーム変更に伴う位置ずれも自動で補正しながらフレーム選択が可能となり、フレーム選択の作業負荷を低減することができる。

＜ｃｈａｎｇｅ；選択画像の置換＞
次に、修正の種類が「ｃｈａｎｇｅ」である場合の処理について説明する。
選択画像の置換においても、先に述べているような固視微動の影響によって、同じ参考位置情報（固視標提示位置）を持つ画像であっても、撮像位置が異なる可能性があり、フレーム毎でも撮像位置は変わりうる。したがって、置換する候補画像それぞれがおよそどの位置で撮像された画像なのか、置換候補を選択する際に視覚的に分かることは有用である。

図６に示すパラメータ設定部９５０において、置換する候補画像として、例えば「Ｉｍａｇｅ２」を選択したとする。すると、パノラマ情報修正部１７０は、全てのフレームに対して背景画像と粗い相関計算を行っておよその位置を算出した上で、少なくとも１フレーム以上画像がある範囲を提示する。ここでの処理は、フレーム数が多い場合には、例え、領域限定や粗い相関計算としても幾らか時間を要することが予想されるので、事前にバックグラウンド処理等で実行し、結果をパノラマ情報保存部１３０に保存しておくことが望ましい。また、全てのフレームをレイヤー表示領域９２０に表示すると煩わしいため、図６に示すパラメータ設定部９５０の「Ｆｒａｍｅ Ｎｏ．」またはマウスホイールで選択されたフレームのみを相関計算で求まった位置に表示する。図１５に、それらが表示されたレイヤー表示領域９２０を示す。

図１５は、本発明の第２の実施形態を示し、図１１に示すＵＩ画面９１０のレイヤー表示領域９２０に表示される画像の一例を示す図である。
図１５において、太い枠線で囲われたシングル画像４００が置換後の画像候補であり、「Ｉｍａｇｅ２」のある１枚のフレームＮｏ．の画像である。破線の枠線４１０は、「Ｉｍａｇｅ２」の全フレームのうちの少なくとも１枚以上の画像がある範囲を示している。このような表示をすることにより、ユーザが欲しい位置での撮像フレームが含まれているか否かを即時に判断することができる。

なお、同じ参考位置情報の画像が大量に存在するような場合、置換する候補をユーザが選択する作業も煩雑になる。このような場合、シングル画像に付帯する情報のうち、フォーカス位置に関連するパラメータを抜き出し、パノラマ画像を構成する全てのシングル画像の平均値を算出する。算出された平均値と近いフォーカス位置で撮像された画像を限定的に、または、優先的に候補として提示することで、ユーザは、多くの画像候補の中から素早く適切な置換対象画像を選出することができる。補償光学ＳＬＯ装置で撮影した眼底画像（網膜画像）は焦点深度が浅いため、フォーカス位置によって撮像される画像が異なり、パノラマ画像を生成するのにあたり、フォーカス位置が近い画像を選ぶことが求められる。

第２の実施形態によれば、ユーザがパノラマ画像に対して修正を施す場合において、予め画像生成装置１００が修正候補を絞り込んで提示するようにしたので、第１の実施形態における効果に加えて、修正を行うユーザの作業負担を更に軽減することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 画像生成装置、１１０ シングル画像記憶部、１２０ パノラマ化処理部、１３０ パノラマ情報保存部、１４０ パノラマ画像出力部、１５０ 表示部、１６０ ユーザインターフェイス部、１７０ パノラマ情報修正部

Claims (18)

1. 複数の眼底画像を貼り合わせてパノラマ画像を生成する画像生成装置であって 、
   前記パノラマ画像を構成している眼底画像または構成しうる眼底画像の少なくとも１つの変更対象の眼底画像を選択する選択手段と、
   前記選択手段で選択された眼底画像に対してユーザにより指定された第１の変更内容に応じて、前記選択手段で選択された眼底画像と前記パノラマ画像とのうちの少なくとも一方に対して行う第２の変更内容を演算により求める第１の演算手段と、
   前記第２の変更内容に基づいて新たなパノラマ画像を生成する生成手段と
   を有することを特徴とする画像生成装置。
2. 前記第１の変更内容は、前記選択手段で選択された眼底画像と前記パノラマ画像との相対的な位置移動であることを特徴とする請求項１に記載の画像生成装置。
3. 前記第１の変更内容として前記相対的な位置移動が指定されるまで、前記選択手段で選択された眼底画像を半透明にして表示することを特徴とする請求項２に記載の画像生成装置。
4. 前記第１の変更内容は、前記パノラマ画像を構成している少なくとも１つの眼底画像を、前記パノラマ画像を構成しうる他の眼底画像に置換する変更であることを特徴とする請求項１に記載の画像生成装置。
5. 前記第１の変更内容は、前記パノラマ画像を生成する過程において前記パノラマ画像を構成している少なくとも１つの眼底画像の貼り合わされる順番の変更であることを特徴とする請求項１に記載の画像生成装置。
6. 前記第１の変更内容は、前記パノラマ画像を構成している少なくとも１つの眼底画像のコントラストの変更であることを特徴とする請求項１に記載の画像生成装置。
7. 前記第１の演算手段は、前記第２の変更内容を演算により求める際に、前記選択手段で選択された眼底画像の上に貼り合わされた他の眼底画像がある場合、前記貼り合わされた他の眼底画像に対して、前記選択手段で選択された眼底画像に加える変更と同じ変更を加える内容を含めることを特徴とする請求項１乃至６のいずれか１項に記載の画像生成装置。
8. 前記第１の演算手段は、前記パノラマ画像を構成している眼底画像の中から前記第１の変更内容に影響される眼底画像を選出し、
   前記生成手段は、前記影響される眼底画像に対して前記第２の変更内容を加えて前記新たなパノラマ画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像生成装置。
9. 前記第１の演算手段は、前記パノラマ画像が生成された際の眼底画像の貼り合わせの順序または眼底画像同士の重なり合いの有無の少なくとも一方の情報を用いて、前記第２の変更内容を加える順序または前記影響される眼底画像の選出の少なくとも一方を決定することを特徴とする請求項８に記載の画像生成装置。
10. 前記第１の演算手段は、前記第１の変更内容として、少なくとも２つ以上の画像間の位置合わせを行う変更を含めることを特徴とする請求項１乃至９のいずれか１項に記載の画像生成装置。
11. 前記画像間の位置合わせの方法は、最も相関の高い位置を、正規化相関化係数を用いることで算出することを特徴とする請求項１０に記載の画像生成装置。
12. 前記第１の変更内容に対する修正候補を演算により求める第２の演算手段と、
    前記修正候補を提示する提示手段と、
    前記提示手段で提示された修正候補のうちのいずれか１つをユーザに選択させて前記第１の変更内容を第１の修正内容に置き換える置き換え手段と、
    を更に有し、
    前記第１の演算手段は、前記第１の修正内容に応じて、前記第２の変更内容を演算により求めることを特徴とする請求項１乃至１１のいずれか１項に記載の画像生成装置。
13. 前記第２の演算手段は、前記第１の修正内容として、少なくとも２つ以上の画像間の位置合わせを行う修正を含め、１回の画像間の位置合わせに対して行われる演算量が、前記第１の演算手段で行われる演算よりも前記第２の演算手段で行われる演算の方が少ないことを特徴とする請求項１２に記載の画像生成装置。
14. 前記修正候補は、前記選択手段で選択された眼底画像と前記パノラマ画像との相対的な位置の候補であることを特徴とする請求項１２または１３に記載の画像生成装置。
15. 前記第２の演算手段は、前記パノラマ画像を構成している眼底画像または構成しうる眼底画像の少なくとも１つの眼底画像の撮影条件を基にして前記修正候補を演算により求めることを特徴とする請求項１２乃至１４のいずれか１項に記載の画像生成装置。
16. 前記修正候補は、前記第１の変更内容または前記第２の変更内容を加える順序の候補であることを特徴とする請求項１２乃至１５のいずれか１項に記載の画像生成装置。
17. 複数の眼底画像を貼り合わせてパノラマ画像を生成する画像生成装置による画像生成方法であって 、
    前記パノラマ画像を構成している眼底画像または構成しうる眼底画像の少なくとも１つの変更対象の眼底画像を選択する選択ステップと、
    前記選択ステップで選択された眼底画像に対してユーザにより指定された第１の変更内容に応じて、前記選択ステップで選択された眼底画像と前記パノラマ画像とのうちの少なくとも一方に対して行う第２の変更内容を演算により求める第１の演算ステップと、
    前記第２の変更内容に基づいて新たなパノラマ画像を生成する生成ステップと
    を有することを特徴とする画像生成方法。
18. 請求項１乃至１６のいずれか１項に記載の画像生成装置における各手段としてコンピュータを機能させるためのプログラム。