JP2001223874A - 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ - Google Patents
任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラInfo
- Publication number
- JP2001223874A JP2001223874A JP2000028436A JP2000028436A JP2001223874A JP 2001223874 A JP2001223874 A JP 2001223874A JP 2000028436 A JP2000028436 A JP 2000028436A JP 2000028436 A JP2000028436 A JP 2000028436A JP 2001223874 A JP2001223874 A JP 2001223874A
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- focus
- focused
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 異なる焦点合わせの複数画像から任意に各奥
行きのぼけの程度を抑制・強調した画像である任意焦点
画像を再構成するための装置を提供する。 【解決手段】 外部から入力される第1のぼけパラメー
タに基づき第1の部分に焦点が合っている第1画像を変
換する第1のフィルタと、外部から入力される第2のぼ
けパラメータに基づき第2の部分に焦点が合っている第
2画像を変換する第2のフィルタと、前記第1のフィル
タの出力及び前記第2のフィルタの出力を合成して任意
焦点画像を生成する合成部と、前記第1画像と前記第2
画像の輝度が同程度になるように、画像のブロック単位
で輝度補正を行い、輝度補正後の画像を前記第1のフィ
ルタと前記第2のフィルタに供給する輝度補正部とを備
える。
行きのぼけの程度を抑制・強調した画像である任意焦点
画像を再構成するための装置を提供する。 【解決手段】 外部から入力される第1のぼけパラメー
タに基づき第1の部分に焦点が合っている第1画像を変
換する第1のフィルタと、外部から入力される第2のぼ
けパラメータに基づき第2の部分に焦点が合っている第
2画像を変換する第2のフィルタと、前記第1のフィル
タの出力及び前記第2のフィルタの出力を合成して任意
焦点画像を生成する合成部と、前記第1画像と前記第2
画像の輝度が同程度になるように、画像のブロック単位
で輝度補正を行い、輝度補正後の画像を前記第1のフィ
ルタと前記第2のフィルタに供給する輝度補正部とを備
える。
Description
【0001】
【発明の属する技術分野】この発明は、複数の画像か
ら、任意に各奥行きのぼけの程度を抑制・強調した画像
である任意焦点画像を再構成するための任意焦点画像合
成装置及びこれに用いる複数画像同時撮像型カメラに関
する。
ら、任意に各奥行きのぼけの程度を抑制・強調した画像
である任意焦点画像を再構成するための任意焦点画像合
成装置及びこれに用いる複数画像同時撮像型カメラに関
する。
【0002】
【従来の技術】複数の画像から所望の画像を生成する画
像処理方法の従来例としては、例えば領域分割に基づく
画像処理方法がある。この従来の画像処理方法では、例
えば異なる焦点合わせの画像を複数枚用意し、個々の画
像において焦点の合っている領域をそれぞれ判定し、こ
の判定結果に基づいて前記複数の画像の領域分割を行
い、各領域に対し所定の視覚効果を与える一連の処理を
行うことにより、所望の画像の生成を行う。その際、上
記一連の処理を、人手を介さずに自動的に実行する場合
には、上述した領域判定、領域分割、視覚効果の処理を
順次行うための手順を記述した画像処理プログラムを用
いるのが一般的である。
像処理方法の従来例としては、例えば領域分割に基づく
画像処理方法がある。この従来の画像処理方法では、例
えば異なる焦点合わせの画像を複数枚用意し、個々の画
像において焦点の合っている領域をそれぞれ判定し、こ
の判定結果に基づいて前記複数の画像の領域分割を行
い、各領域に対し所定の視覚効果を与える一連の処理を
行うことにより、所望の画像の生成を行う。その際、上
記一連の処理を、人手を介さずに自動的に実行する場合
には、上述した領域判定、領域分割、視覚効果の処理を
順次行うための手順を記述した画像処理プログラムを用
いるのが一般的である。
【0003】複数の画像から所望の画像を生成するため
には、まず、同一の対象について複数の画像を得る必要
がある。従来のカメラを使用して、同一シーンについて
異なる焦点合わせにより撮像した複数枚の画像を取得す
るためには、焦点合わせを変化させて複数回の撮像を行
う必要がある。
には、まず、同一の対象について複数の画像を得る必要
がある。従来のカメラを使用して、同一シーンについて
異なる焦点合わせにより撮像した複数枚の画像を取得す
るためには、焦点合わせを変化させて複数回の撮像を行
う必要がある。
【0004】すなわち、従来のカメラ装を使用して異な
る焦点合わせのn種類の画像を撮像する場合には、ズー
ムレンズを手動またはカメラ外部に設けたサーボレンズ
制御装置により制御して、まず1番目の奥行きに焦点が
合うようにズームレンズの焦点合わせを制御してから1
枚目の画像を撮像し、次に、2番目の奥行きに焦点が合
うようにズームレンズの焦点合わせを制御してから2枚
目の画像を撮像する。以下同様にしてn番目の奥行きに
焦点が合うようにズームレンズ53の焦点合わせを制御
してからn枚目の画像を撮像する。このように、n種類
の奥行きに対して焦点が合った画像を撮像したい場合に
は、n回の焦点合わせおよび撮像が必要となる。
る焦点合わせのn種類の画像を撮像する場合には、ズー
ムレンズを手動またはカメラ外部に設けたサーボレンズ
制御装置により制御して、まず1番目の奥行きに焦点が
合うようにズームレンズの焦点合わせを制御してから1
枚目の画像を撮像し、次に、2番目の奥行きに焦点が合
うようにズームレンズの焦点合わせを制御してから2枚
目の画像を撮像する。以下同様にしてn番目の奥行きに
焦点が合うようにズームレンズ53の焦点合わせを制御
してからn枚目の画像を撮像する。このように、n種類
の奥行きに対して焦点が合った画像を撮像したい場合に
は、n回の焦点合わせおよび撮像が必要となる。
【0005】
【発明が解決しようとする課題】上記従来の画像処理方
法は、「焦点が合っている領域」という判定条件を用い
ているため、撮像対象シーンの中に一様な輝度値を有す
る領域や奥行き変化のある領域が存在する場合には、そ
れら領域については領域判定の判定精度を十分に確保す
ることができない。このため、上記従来の画像処理方法
の適用範囲は、焦点の合った領域を統合することによる
画像の鮮鋭化等に限定されてしまい、領域毎に焦点ぼけ
を任意に調整したり、擬似的な視差を与えて立体画像を
生成する等の、より高次の画像処理への拡張は極めて困
難である。また、従来の画像処理方法は、任意に各奥行
きのぼけの程度を抑制・強調した画像である任意焦点画
像を得ることもできない。
法は、「焦点が合っている領域」という判定条件を用い
ているため、撮像対象シーンの中に一様な輝度値を有す
る領域や奥行き変化のある領域が存在する場合には、そ
れら領域については領域判定の判定精度を十分に確保す
ることができない。このため、上記従来の画像処理方法
の適用範囲は、焦点の合った領域を統合することによる
画像の鮮鋭化等に限定されてしまい、領域毎に焦点ぼけ
を任意に調整したり、擬似的な視差を与えて立体画像を
生成する等の、より高次の画像処理への拡張は極めて困
難である。また、従来の画像処理方法は、任意に各奥行
きのぼけの程度を抑制・強調した画像である任意焦点画
像を得ることもできない。
【0006】本発明は係る課題を解決するためになされ
たもので、異なる焦点合わせの複数画像から任意に各奥
行きのぼけの程度を抑制・強調した画像である任意焦点
画像を再構成するための任意焦点画像合成装置を提供す
ることを目的とする。また、本発明は、異なる焦点合わ
せの複数画像を同時に撮像可能な複数画像同時撮像型カ
メラを提供することを目的とする。
たもので、異なる焦点合わせの複数画像から任意に各奥
行きのぼけの程度を抑制・強調した画像である任意焦点
画像を再構成するための任意焦点画像合成装置を提供す
ることを目的とする。また、本発明は、異なる焦点合わ
せの複数画像を同時に撮像可能な複数画像同時撮像型カ
メラを提供することを目的とする。
【0007】
【課題を解決するための手段】この発明に係る任意焦点
画像合成装置は、外部から入力される第1のぼけパラメ
ータに基づき第1の部分に焦点が合っている第1画像を
変換する第1のフィルタと、外部から入力される第2の
ぼけパラメータに基づき第2の部分に焦点が合っている
第2画像を変換する第2のフィルタと、前記第1のフィ
ルタの出力及び前記第2のフィルタの出力を合成して任
意焦点画像を生成する合成部と、前記第1画像と前記第
2画像の輝度が同程度になるように、画像のブロック単
位で輝度補正を行い、輝度補正後の画像を前記第1のフ
ィルタと前記第2のフィルタに供給する輝度補正部とを
備えるものである。
画像合成装置は、外部から入力される第1のぼけパラメ
ータに基づき第1の部分に焦点が合っている第1画像を
変換する第1のフィルタと、外部から入力される第2の
ぼけパラメータに基づき第2の部分に焦点が合っている
第2画像を変換する第2のフィルタと、前記第1のフィ
ルタの出力及び前記第2のフィルタの出力を合成して任
意焦点画像を生成する合成部と、前記第1画像と前記第
2画像の輝度が同程度になるように、画像のブロック単
位で輝度補正を行い、輝度補正後の画像を前記第1のフ
ィルタと前記第2のフィルタに供給する輝度補正部とを
備えるものである。
【0008】この発明に係る任意焦点画像合成装置は、
外部から入力される第1のぼけパラメータに基づき第1
の部分に焦点が合っている第1画像を変換する第1のフ
ィルタと、外部から入力される第2のぼけパラメータに
基づき第2の部分に焦点が合っている第2画像を変換す
る第2のフィルタと、前記第1のフィルタの出力及び前
記第2のフィルタの出力を合成して任意焦点画像を生成
する合成部と、前記第1画像と前記第2画像の位置合わ
せを、画像データを水平及び垂直方向に投影して得られ
た輝度分布に基づいて行い、位置合わせされた画像を前
記第1のフィルタと前記第2のフィルタに供給する位置
合わせ部とを備えるものである。
外部から入力される第1のぼけパラメータに基づき第1
の部分に焦点が合っている第1画像を変換する第1のフ
ィルタと、外部から入力される第2のぼけパラメータに
基づき第2の部分に焦点が合っている第2画像を変換す
る第2のフィルタと、前記第1のフィルタの出力及び前
記第2のフィルタの出力を合成して任意焦点画像を生成
する合成部と、前記第1画像と前記第2画像の位置合わ
せを、画像データを水平及び垂直方向に投影して得られ
た輝度分布に基づいて行い、位置合わせされた画像を前
記第1のフィルタと前記第2のフィルタに供給する位置
合わせ部とを備えるものである。
【0009】この発明に係る任意焦点画像合成装置は、
外部から入力される第1のぼけパラメータに基づき第1
の部分に焦点が合っている第1画像を変換する第1のフ
ィルタと、外部から入力される第2のぼけパラメータに
基づき第2の部分に焦点が合っている第2画像を変換す
る第2のフィルタと、前記第2のフィルタの出力に対し
て所定の処理を行う特殊効果フィルタと、前記第1のフ
ィルタの出力及び前記特殊効果フィルタの出力を合成し
て任意焦点画像を生成する合成部とを備えるものであ
る。
外部から入力される第1のぼけパラメータに基づき第1
の部分に焦点が合っている第1画像を変換する第1のフ
ィルタと、外部から入力される第2のぼけパラメータに
基づき第2の部分に焦点が合っている第2画像を変換す
る第2のフィルタと、前記第2のフィルタの出力に対し
て所定の処理を行う特殊効果フィルタと、前記第1のフ
ィルタの出力及び前記特殊効果フィルタの出力を合成し
て任意焦点画像を生成する合成部とを備えるものであ
る。
【0010】好ましくは、前記特殊効果フィルタの入力
側及び出力側に、それぞれ画像データの座標を直交座標
から極座標に変換する直交座標−極座標変換部と、画像
データの座標を極座標から直交座標に戻す極座標−直交
座標変換部とを備える。
側及び出力側に、それぞれ画像データの座標を直交座標
から極座標に変換する直交座標−極座標変換部と、画像
データの座標を極座標から直交座標に戻す極座標−直交
座標変換部とを備える。
【0011】この発明に係る任意焦点画像合成装置は、
外部から入力される第1乃至第Nのぼけパラメータに基
づき第1乃至第Nの部分にそれぞれ焦点が合っている第
1乃至第N画像を焦点位置の順に並べ、これら画像のひ
とつである第iの画像内の一部分に関して、前記第iの
画像を中心としてその前後の複数の画像において前記部
分の焦点が合っているかどうかを判定する判定部と、前
記判定部の判定パターンによりどの画像において前記部
分の焦点が合っているか比較する比較部と、前記比較部
の比較結果により前記第1乃至第Nの画像を合成して全
焦点画像を生成する合成部とを備えるものである。
外部から入力される第1乃至第Nのぼけパラメータに基
づき第1乃至第Nの部分にそれぞれ焦点が合っている第
1乃至第N画像を焦点位置の順に並べ、これら画像のひ
とつである第iの画像内の一部分に関して、前記第iの
画像を中心としてその前後の複数の画像において前記部
分の焦点が合っているかどうかを判定する判定部と、前
記判定部の判定パターンによりどの画像において前記部
分の焦点が合っているか比較する比較部と、前記比較部
の比較結果により前記第1乃至第Nの画像を合成して全
焦点画像を生成する合成部とを備えるものである。
【0012】好ましくは、前記判定部は、パラメータを
変化させつつ前記第iの画像に対してフィルタ処理を行
うガウシアンフィルタと、前記ガウシアンフィルタの出
力と前記前後の複数の画像の差分値を求める差分処理部
と、前記差分値が極小になる値を求めることにより前記
パラメータを推定する推定部とを備える。
変化させつつ前記第iの画像に対してフィルタ処理を行
うガウシアンフィルタと、前記ガウシアンフィルタの出
力と前記前後の複数の画像の差分値を求める差分処理部
と、前記差分値が極小になる値を求めることにより前記
パラメータを推定する推定部とを備える。
【0013】この発明に係る複数画像同時撮像型カメラ
は、撮像素子と、前記撮像素子から信号を受けて画像デ
ータに変換する処理部と、前記処理部で処理された画像
データを表示する表示部と、画像内の複数の対象を指定
してそれぞれ異なる焦点の複数の画像を要求する焦点指
定部と、前記焦点指定部の指定により焦点位置を設定す
る焦点調整機構と、画像データを記憶するメモリとを備
え、前記処理部は、指定された前記複数の対象について
順番にそれぞれ焦点を合わせ、それぞれ撮像し、前記メ
モリに得られた複数の画像データをそれぞれ格納する。
は、撮像素子と、前記撮像素子から信号を受けて画像デ
ータに変換する処理部と、前記処理部で処理された画像
データを表示する表示部と、画像内の複数の対象を指定
してそれぞれ異なる焦点の複数の画像を要求する焦点指
定部と、前記焦点指定部の指定により焦点位置を設定す
る焦点調整機構と、画像データを記憶するメモリとを備
え、前記処理部は、指定された前記複数の対象について
順番にそれぞれ焦点を合わせ、それぞれ撮像し、前記メ
モリに得られた複数の画像データをそれぞれ格納する。
【0014】好ましくは、1回のシャッター動作で複数
の焦点の異なる画像を撮像する。
の焦点の異なる画像を撮像する。
【0015】好ましくは、外部から入力される第1のぼ
けパラメータに基づき第1の部分に焦点が合っている第
1画像を変換する第1のフィルタと、外部から入力され
る第2のぼけパラメータに基づき第2の部分に焦点が合
っている第2画像を変換する第2のフィルタと、前記第
1のフィルタの出力及び前記第2のフィルタの出力を合
成して任意焦点画像を生成する合成部と、前記第1画像
と前記第2画像の輝度が同程度になるように、画像のブ
ロック単位で輝度補正を行い、輝度補正後の画像を前記
第1のフィルタと前記第2のフィルタに供給する輝度補
正部とを含む任意焦点画像合成装置を備える。
けパラメータに基づき第1の部分に焦点が合っている第
1画像を変換する第1のフィルタと、外部から入力され
る第2のぼけパラメータに基づき第2の部分に焦点が合
っている第2画像を変換する第2のフィルタと、前記第
1のフィルタの出力及び前記第2のフィルタの出力を合
成して任意焦点画像を生成する合成部と、前記第1画像
と前記第2画像の輝度が同程度になるように、画像のブ
ロック単位で輝度補正を行い、輝度補正後の画像を前記
第1のフィルタと前記第2のフィルタに供給する輝度補
正部とを含む任意焦点画像合成装置を備える。
【0016】好ましくは、外部から入力される第1のぼ
けパラメータに基づき第1の部分に焦点が合っている第
1画像を変換する第1のフィルタと、外部から入力され
る第2のぼけパラメータに基づき第2の部分に焦点が合
っている第2画像を変換する第2のフィルタと、前記第
1のフィルタの出力及び前記第2のフィルタの出力を合
成して任意焦点画像を生成する合成部と、前記第1画像
と前記第2画像の位置合わせを、画像データを水平及び
垂直方向に投影して得られた輝度分布に基づいて行い、
位置合わせされた画像を前記第1のフィルタと前記第2
のフィルタに供給する位置合わせ部とを含む任意焦点画
像合成装置を備える。
けパラメータに基づき第1の部分に焦点が合っている第
1画像を変換する第1のフィルタと、外部から入力され
る第2のぼけパラメータに基づき第2の部分に焦点が合
っている第2画像を変換する第2のフィルタと、前記第
1のフィルタの出力及び前記第2のフィルタの出力を合
成して任意焦点画像を生成する合成部と、前記第1画像
と前記第2画像の位置合わせを、画像データを水平及び
垂直方向に投影して得られた輝度分布に基づいて行い、
位置合わせされた画像を前記第1のフィルタと前記第2
のフィルタに供給する位置合わせ部とを含む任意焦点画
像合成装置を備える。
【0017】好ましくは、外部から入力される第1のぼ
けパラメータに基づき第1の部分に焦点が合っている第
1画像を変換する第1のフィルタと、外部から入力され
る第2のぼけパラメータに基づき第2の部分に焦点が合
っている第2画像を変換する第2のフィルタと、前記第
2のフィルタの出力に対して所定の処理を行う特殊効果
フィルタと、前記第1のフィルタの出力及び前記特殊効
果フィルタの出力を合成して任意焦点画像を生成する合
成部とを含む任意焦点画像合成装置を備える。
けパラメータに基づき第1の部分に焦点が合っている第
1画像を変換する第1のフィルタと、外部から入力され
る第2のぼけパラメータに基づき第2の部分に焦点が合
っている第2画像を変換する第2のフィルタと、前記第
2のフィルタの出力に対して所定の処理を行う特殊効果
フィルタと、前記第1のフィルタの出力及び前記特殊効
果フィルタの出力を合成して任意焦点画像を生成する合
成部とを含む任意焦点画像合成装置を備える。
【0018】好ましくは、前記特殊効果フィルタの入力
側及び出力側に、それぞれ画像データの座標を直交座標
から極座標に変換する直交座標−極座標変換部と、画像
データの座標を極座標から直交座標に戻す極座標−直交
座標変換部とを備える。
側及び出力側に、それぞれ画像データの座標を直交座標
から極座標に変換する直交座標−極座標変換部と、画像
データの座標を極座標から直交座標に戻す極座標−直交
座標変換部とを備える。
【0019】この発明に係る記録媒体は、コンピュータ
を、前記任意焦点画像合成装置又は複数画像同時撮像型
カメラとして機能させるためのプログラムを記録したも
のである。
を、前記任意焦点画像合成装置又は複数画像同時撮像型
カメラとして機能させるためのプログラムを記録したも
のである。
【0020】媒体には、例えば、フロッピーディスク、
ハードディスク、磁気テープ、光磁気ディスク、CD−
ROM、DVD、ROMカートリッジ、バッテリバック
アップ付きのRAMメモリカートリッジ、フラッシュメ
モリカートリッジ、不揮発性RAMカートリッジ等を含
む。
ハードディスク、磁気テープ、光磁気ディスク、CD−
ROM、DVD、ROMカートリッジ、バッテリバック
アップ付きのRAMメモリカートリッジ、フラッシュメ
モリカートリッジ、不揮発性RAMカートリッジ等を含
む。
【0021】また、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。
【0022】媒体とは、何等かの物理的手段により情報
(主にデジタルデータ、プログラム)が記録されている
ものであって、コンピュータ、専用プロセッサ等の処理
装置に所定の機能を行わせることができるものである。
要するに、何等かの手段でもってコンピュータにプログ
ラムをダウンロードし、所定の機能を実行させるもので
あればよい。
(主にデジタルデータ、プログラム)が記録されている
ものであって、コンピュータ、専用プロセッサ等の処理
装置に所定の機能を行わせることができるものである。
要するに、何等かの手段でもってコンピュータにプログ
ラムをダウンロードし、所定の機能を実行させるもので
あればよい。
【0023】
【発明の実施の形態】発明の実施の形態1.本発明の実
施の形態では、複数の画像から、近景及び遠景の両方に
ついて完全に焦点が合った全焦点画像や、任意に各奥行
きのぼけの程度を抑制・強調した画像である任意焦点画
像を再構成する装置/方法について説明する。
施の形態では、複数の画像から、近景及び遠景の両方に
ついて完全に焦点が合った全焦点画像や、任意に各奥行
きのぼけの程度を抑制・強調した画像である任意焦点画
像を再構成する装置/方法について説明する。
【0024】近景合焦画像g1と遠景合焦画像g2から所
望の任意焦点画像fを再構成する方法について簡単に説
明する。図1はこの発明の実施の形態に係る装置の概略
ブロック図を示す。この装置は、近景画像g1と遠景画
像g2から全焦点画像と任意焦点画像の両方の画像を再
構成することができる。フィルタ10aは近景画像g1
に対して所定の処理を行い、フィルタ10bは遠景画像
g2に対して所定の処理を行う。フィルタの詳細につい
ては後述する。合成部11は、フィルタ10aの出力と
フィルタ10bの出力を合成して再構成画像fを出力す
る。フィルタ10a、10bは、それぞれパラメータR
a、Rbを外部から受ける。パラメータRaとRbはそ
れぞれ所望の画像の近景と遠景のぼけ半径である。Ra
=Rb=0のとき、再構成画像fは全焦点画像となる。
パラメータRa,Rbを調整することにより、任意焦点
画像を再構成することができる。
望の任意焦点画像fを再構成する方法について簡単に説
明する。図1はこの発明の実施の形態に係る装置の概略
ブロック図を示す。この装置は、近景画像g1と遠景画
像g2から全焦点画像と任意焦点画像の両方の画像を再
構成することができる。フィルタ10aは近景画像g1
に対して所定の処理を行い、フィルタ10bは遠景画像
g2に対して所定の処理を行う。フィルタの詳細につい
ては後述する。合成部11は、フィルタ10aの出力と
フィルタ10bの出力を合成して再構成画像fを出力す
る。フィルタ10a、10bは、それぞれパラメータR
a、Rbを外部から受ける。パラメータRaとRbはそ
れぞれ所望の画像の近景と遠景のぼけ半径である。Ra
=Rb=0のとき、再構成画像fは全焦点画像となる。
パラメータRa,Rbを調整することにより、任意焦点
画像を再構成することができる。
【0025】例えば、全焦点画像を生成する場合、近景
用の第1フィルタ、遠景用の第2のフィルタとも高域通
過特性を有する。第1画像、第2画像に第1、第2のフ
ィルタでバランスよく高域成分を抽出し足し合わせるこ
とで、全焦点画像を得ることができる。任意焦点画像に
おいても、フィルタ特性を工夫することで生成が可能で
ある。具体的なフィルタの特性については後述する。
用の第1フィルタ、遠景用の第2のフィルタとも高域通
過特性を有する。第1画像、第2画像に第1、第2のフ
ィルタでバランスよく高域成分を抽出し足し合わせるこ
とで、全焦点画像を得ることができる。任意焦点画像に
おいても、フィルタ特性を工夫することで生成が可能で
ある。具体的なフィルタの特性については後述する。
【0026】この発明の実施の形態の装置/方法は、焦
点画像と任意焦点画像の取得モデルにおいて,一意に目
的の画像を再構成するためのフィルタが存在することに
基づく。従来の反復復元法では、目的の画像の直流成分
が、画像復元の意味でいわゆる悪条件(ill−conditio
n)となっていた.本発明の実施の形態では,再構成フ
ィルタの直流成分が存在し、全ての周波数成分を再構成
できる.
点画像と任意焦点画像の取得モデルにおいて,一意に目
的の画像を再構成するためのフィルタが存在することに
基づく。従来の反復復元法では、目的の画像の直流成分
が、画像復元の意味でいわゆる悪条件(ill−conditio
n)となっていた.本発明の実施の形態では,再構成フ
ィルタの直流成分が存在し、全ての周波数成分を再構成
できる.
【0027】まず、焦点画像の取得と任意焦点画像の再
構成のモデルを検討する。任意焦点画像の再構成方法で
は,取得画像の対象シーンの奥行きが段差状に変化して
いると仮定する。以下では,対象シーンが近景と遠景の
2層の奥行きをもつ場合について,各焦点画像の取得と
任意焦点画像の再構成をモデル化する。
構成のモデルを検討する。任意焦点画像の再構成方法で
は,取得画像の対象シーンの奥行きが段差状に変化して
いると仮定する。以下では,対象シーンが近景と遠景の
2層の奥行きをもつ場合について,各焦点画像の取得と
任意焦点画像の再構成をモデル化する。
【0028】<焦点画像の取得モデル>焦点画像の取得
モデルは画像の重ね合わせを用いておこなう。画像f1
を近景領域にのみ焦点の合った輝度値をもち,それ以外
の領域,つまり遠景領域では輝度値が0である画像と定
義する。逆に,画像f2を遠景領域にのみ焦点の合った
輝度値をもち,近景領域では輝度値が0である画像と定
義する。近景合焦画像をg1,遠景合焦画像をg2と表
す。また,画像g1の遠景領域のぼけ関数をh2,画像
g2の近景領域のぼけ関数をh1と表す。各焦点画像g1
とg2の取得モデルを図Dに示すような重ね合わせで表
す。すなわち,次式のように表す。 g1=f1+h2*f2 g2=h1*f1+f2 (6) ただし、*はたたみ込み演算を示す。
モデルは画像の重ね合わせを用いておこなう。画像f1
を近景領域にのみ焦点の合った輝度値をもち,それ以外
の領域,つまり遠景領域では輝度値が0である画像と定
義する。逆に,画像f2を遠景領域にのみ焦点の合った
輝度値をもち,近景領域では輝度値が0である画像と定
義する。近景合焦画像をg1,遠景合焦画像をg2と表
す。また,画像g1の遠景領域のぼけ関数をh2,画像
g2の近景領域のぼけ関数をh1と表す。各焦点画像g1
とg2の取得モデルを図Dに示すような重ね合わせで表
す。すなわち,次式のように表す。 g1=f1+h2*f2 g2=h1*f1+f2 (6) ただし、*はたたみ込み演算を示す。
【0029】<任意焦点画像の再構成モデル>任意焦点
画像の再構成モデルも同様に,画像の重ね合わせを用い
る。所望の任意焦点画像をfと表し,近景と遠景の領域
のぼけをそれぞれぼけ関数haとhbにより与える。し
たがって,図2に示すように,任意焦点画像fの再構成
モデルを次式のように表す。 f=ha*f1+hb*f2 (7) ぼけ関数ha,hbはユーザが任意に指定する。ぼけ関
数は次式に示すガウス関数を用いる。
画像の再構成モデルも同様に,画像の重ね合わせを用い
る。所望の任意焦点画像をfと表し,近景と遠景の領域
のぼけをそれぞれぼけ関数haとhbにより与える。し
たがって,図2に示すように,任意焦点画像fの再構成
モデルを次式のように表す。 f=ha*f1+hb*f2 (7) ぼけ関数ha,hbはユーザが任意に指定する。ぼけ関
数は次式に示すガウス関数を用いる。
【0030】
【数1】
【0031】Ri(i=1,2、a,b)は、ぼけ半径を
表し,ガウス関数の標準偏差の√2倍に相当する。Ra
=Rb=0とすれば、ha=hb=δ(デルタ関数)とな
るので,式(7)は全焦点画像の再構成モデルとなる。
表し,ガウス関数の標準偏差の√2倍に相当する。Ra
=Rb=0とすれば、ha=hb=δ(デルタ関数)とな
るので,式(7)は全焦点画像の再構成モデルとなる。
【0032】次に、フィルタによる再構成方法について
説明する。フィルタを用いて、焦点画像g1とg2から
所望の任意焦点画像fを再構成することができる。シミ
ュレーションによれば本方法が従来の反復復元法に比べ
て高精度かつ高速であることがわかった。以下、この方
法について述べる.
説明する。フィルタを用いて、焦点画像g1とg2から
所望の任意焦点画像fを再構成することができる。シミ
ュレーションによれば本方法が従来の反復復元法に比べ
て高精度かつ高速であることがわかった。以下、この方
法について述べる.
【0033】<再構成フィルタの導出>再構成フィルタ
を式(7)のg1とg2の取得モデルと式(7)のfの再
構成モデルから導出する。はじめに、各モデルを周波数
領域に変換する。G1とG2の取得モデルは次式のよう
に、行列で表現できる。 G=HF (17) ただし、各行列は
を式(7)のg1とg2の取得モデルと式(7)のfの再
構成モデルから導出する。はじめに、各モデルを周波数
領域に変換する。G1とG2の取得モデルは次式のよう
に、行列で表現できる。 G=HF (17) ただし、各行列は
【0034】
【数2】
【0035】である。Fの再構成モデルは次式のように
なる。 F=HaF1+HbF2 (18)
なる。 F=HaF1+HbF2 (18)
【0036】次に、式(17)と式(18)からFを求め
る。行列式|H|の値によって次の場合分けをする。な
お、|H|=1−H1H2であり、|H|は、画像f、g、ぼ
け関数hとしたとき、g=h*fであり、この両辺をフ
ーリエ変換したG=HFのHに等しい。
る。行列式|H|の値によって次の場合分けをする。な
お、|H|=1−H1H2であり、|H|は、画像f、g、ぼ
け関数hとしたとき、g=h*fであり、この両辺をフ
ーリエ変換したG=HFのHに等しい。
【0037】(i)|H|≠0の場合 1−H1H2≠0の場合、すなわち、直流以外の周波数で
は、逆行列H−1が存在する。よって、行列Fは以下のよ
うに求まる。
は、逆行列H−1が存在する。よって、行列Fは以下のよ
うに求まる。
【0038】
【数3】
【0039】Fを式(18)に代入し、整理すると、
【0040】
【数4】 が求まる。
【0041】(ii)|H|=0の場合 直流では(1−H1H2)=0であるから、逆行列H−1が
存在しない。よって,行列Fを求めることができない。
しかし,式(20)における、G1とG2の係数の分子もHa
−HbH1=0,Hb−HaH2=0となる.そこで、これらの係
数の直流への極限値をロピタルの定理を用いて解くと
存在しない。よって,行列Fを求めることができない。
しかし,式(20)における、G1とG2の係数の分子もHa
−HbH1=0,Hb−HaH2=0となる.そこで、これらの係
数の直流への極限値をロピタルの定理を用いて解くと
【0042】
【数5】
【0043】が存在する。したがって、(i)と(ii)
により、
により、
【0044】
【数6】
【0045】で表されるフィルタKaとKbによって、F
は次式のように再構成できることがわかる。 Fab=KaG1+KbG2 (25)
は次式のように再構成できることがわかる。 Fab=KaG1+KbG2 (25)
【0046】図1に示すように,焦点画像g1とg2を
それぞれフィルタKaとKbに通した後,加算すること
で任意焦点画像fを得ることができる。RaをRbを変
えることで、近景と遠景のぼけをそれぞれ任意に設定で
きる。公知の反復復元法においては直流成分が悪条件と
なったが、フィルタ法を用いれば適切問題として解ける
ことを示している。すなわち、本方法によりfが一意に
存在し、決定できることが示された。
それぞれフィルタKaとKbに通した後,加算すること
で任意焦点画像fを得ることができる。RaをRbを変
えることで、近景と遠景のぼけをそれぞれ任意に設定で
きる。公知の反復復元法においては直流成分が悪条件と
なったが、フィルタ法を用いれば適切問題として解ける
ことを示している。すなわち、本方法によりfが一意に
存在し、決定できることが示された。
【0047】<再構成フィルタの特性>再構成フィルタ
KaとKbの周波数特性の例を図3に示す。まず、2枚
の画像において、遠景に焦点の合っている画像(g2)
では、近景のぼけ半径R1=3、近景に焦点の合っている
画像(g1)では遠景のぼけ半径R2=2とした。このと
き、任意焦点画像として、Ra=0とし、Rbを0から4まで変
化させた場合のフィルタKa、Kbの特性を図3に示し
ている。これは近景領域に焦点を合わせたまま、遠景領
域のぼけの程度を大きく変化させる処理を意味する。
KaとKbの周波数特性の例を図3に示す。まず、2枚
の画像において、遠景に焦点の合っている画像(g2)
では、近景のぼけ半径R1=3、近景に焦点の合っている
画像(g1)では遠景のぼけ半径R2=2とした。このと
き、任意焦点画像として、Ra=0とし、Rbを0から4まで変
化させた場合のフィルタKa、Kbの特性を図3に示し
ている。これは近景領域に焦点を合わせたまま、遠景領
域のぼけの程度を大きく変化させる処理を意味する。
【0048】Ra=0としているので、Rb=0の場合は、全
焦点画像を再構成するフィルタの特性を示している。両
フィルタともに高域通過フィルタのような特性を示して
いる。つまり、それぞれの焦点画像の高周波成分を統合
して仝焦点画像を再構成していることがわかる。Rb=2の
場合、Kaは全域通過、Kbは全域遮断の特性となる。こ
の理由は、再構成される任意焦点画像fは焦点画像g1
と同一であるからである。Rb>2の場合、Kaは高域通過
のまま、低域強調の特性を示す。 Kbは高域遮断のま
ま、低域を負に強調した特性を示す。焦点画像で強調さ
れた低域成分を引くことによって遠景領域のぼけを強調
することがわかる。
焦点画像を再構成するフィルタの特性を示している。両
フィルタともに高域通過フィルタのような特性を示して
いる。つまり、それぞれの焦点画像の高周波成分を統合
して仝焦点画像を再構成していることがわかる。Rb=2の
場合、Kaは全域通過、Kbは全域遮断の特性となる。こ
の理由は、再構成される任意焦点画像fは焦点画像g1
と同一であるからである。Rb>2の場合、Kaは高域通過
のまま、低域強調の特性を示す。 Kbは高域遮断のま
ま、低域を負に強調した特性を示す。焦点画像で強調さ
れた低域成分を引くことによって遠景領域のぼけを強調
することがわかる。
【0049】シミュレーション結果によれば、フィルタ
法を用いることにより、反復法に比べて、精度と計算時
間ともに向上していることがわかった。反復法では空間
領域でのぼけ関数の畳み込み演算に多くの時間を要す
る。また、ぼけ関数の畳み込みの回数が増えるごとに、
誤差が大きく伝搬する可能性もある。本フィルタ法で
は、フィルタを用いることにより直接所望の画像を1回
の処理で高精度に再構成できる。
法を用いることにより、反復法に比べて、精度と計算時
間ともに向上していることがわかった。反復法では空間
領域でのぼけ関数の畳み込み演算に多くの時間を要す
る。また、ぼけ関数の畳み込みの回数が増えるごとに、
誤差が大きく伝搬する可能性もある。本フィルタ法で
は、フィルタを用いることにより直接所望の画像を1回
の処理で高精度に再構成できる。
【0050】発明の実施の形態2.2枚の焦点画像をフ
ィルタ処理することにより任意焦点画像を再構成して生
成する上述の手法において、利用する複数の画像間に平
均的な輝度レベルの差があると良好な画像を再構成でき
ない場合がある。デジタルカメラ等の撮像装置は、明る
さを自動的に調整する機能(AGC)をもつので、近景画
像の輝度と遠景画像の輝度とは必ずしも一致しない。そ
のため、以下のような輝度補正を行うことが望ましい。
ィルタ処理することにより任意焦点画像を再構成して生
成する上述の手法において、利用する複数の画像間に平
均的な輝度レベルの差があると良好な画像を再構成でき
ない場合がある。デジタルカメラ等の撮像装置は、明る
さを自動的に調整する機能(AGC)をもつので、近景画
像の輝度と遠景画像の輝度とは必ずしも一致しない。そ
のため、以下のような輝度補正を行うことが望ましい。
【0051】近景合焦画像g1と遠景合焦画像g2から所
望の任意焦点画像fを再構成する場合、以下のコスト関
数を最小とするパラメータAとBを最小自乗法を用いて
推定する。この際、両画像間のぼけ量の差を考慮して階
層化した画像間で以下のコスト関数を評価することが望
ましい。ここに、g1(k)とg2(k)はそれぞれガ
ウシアンビラミッドの第k層の画像を表す(詳細は後述
する)。ただし、第0層を原画像とする。
望の任意焦点画像fを再構成する場合、以下のコスト関
数を最小とするパラメータAとBを最小自乗法を用いて
推定する。この際、両画像間のぼけ量の差を考慮して階
層化した画像間で以下のコスト関数を評価することが望
ましい。ここに、g1(k)とg2(k)はそれぞれガ
ウシアンビラミッドの第k層の画像を表す(詳細は後述
する)。ただし、第0層を原画像とする。
【0052】
【数7】
【0053】シミュレーション結果によれば、本方法に
よりパラメータA,Bを高精度に推定できた。補正前の画
像g2を用いて生成した画像では、画面全体で輝度値が
低下し、遠景領域でエッジが強調されるアーティフアク
トが確認された。これに対して、補正後の画像を用いて
生成した画像は良好に生成できた。観測画像におけるぼ
け量よりも大きなぼけを与える任意焦点画像の生成で
は,生成のためのフィルタKaとKbの低域成分がそれ
ぞれ正負に大きくなる。このため、平均的な輝度値の差
が生成画像にこのようなアーティフアクトを生じさせる
と考えることができる。したがって、輝度補正を行うこ
とにより、ぼけを強調した生成画像にエッジ強調と輝度
の低下のアーティフアクトが生じるという問題を回避す
ることができる。
よりパラメータA,Bを高精度に推定できた。補正前の画
像g2を用いて生成した画像では、画面全体で輝度値が
低下し、遠景領域でエッジが強調されるアーティフアク
トが確認された。これに対して、補正後の画像を用いて
生成した画像は良好に生成できた。観測画像におけるぼ
け量よりも大きなぼけを与える任意焦点画像の生成で
は,生成のためのフィルタKaとKbの低域成分がそれ
ぞれ正負に大きくなる。このため、平均的な輝度値の差
が生成画像にこのようなアーティフアクトを生じさせる
と考えることができる。したがって、輝度補正を行うこ
とにより、ぼけを強調した生成画像にエッジ強調と輝度
の低下のアーティフアクトが生じるという問題を回避す
ることができる。
【0054】画面の中央と端部とで焦点を変えて撮影し
たときには、画面内に輝度変動が生じる。この場合、画
面を各ブロックに分割してそれぞれのブロック毎に適切
な補正パラメータを求める必要がある。この場合、上記
の処理をブロック毎に行うことになる。また、ブロック
間での補正のばらつきを減らすためには、図4のように
ブロック毎の補正パラメータは各々のブロックの中心画
素に対して用い、それ以外の画素は双一次補間された補
正パラメータを用いる。また、補正パラメータの推定精
度を安定させるために、評価量として次式を用いること
もある。 [Σ g1(i,j)−A・Σ g2(i,j)]2 ただし、(i,j)∈B(ブロックB内の要素について
総和を求める)この場合、いわばブロック内の平均輝度
値の比(A)により補正を行うことになる。
たときには、画面内に輝度変動が生じる。この場合、画
面を各ブロックに分割してそれぞれのブロック毎に適切
な補正パラメータを求める必要がある。この場合、上記
の処理をブロック毎に行うことになる。また、ブロック
間での補正のばらつきを減らすためには、図4のように
ブロック毎の補正パラメータは各々のブロックの中心画
素に対して用い、それ以外の画素は双一次補間された補
正パラメータを用いる。また、補正パラメータの推定精
度を安定させるために、評価量として次式を用いること
もある。 [Σ g1(i,j)−A・Σ g2(i,j)]2 ただし、(i,j)∈B(ブロックB内の要素について
総和を求める)この場合、いわばブロック内の平均輝度
値の比(A)により補正を行うことになる。
【0055】多数枚の画像を合成するときは、ブロック
単位で輝度補正を行っても良い。例えば、N枚の画像を
合成する場合、図4のように、N枚の撮像画像をそれぞ
れ正方形ブロックに分割する。k+1枚目の画像をk枚目
に合わせるよう順次補正を行うものとする(k=1,2,
‥‥,N−1)。ブロック毎に画像間の平均輝度値の比を
求め、そのブロックの中心画素の補正パラメータとす
る。中心画素以外に対しては双一次内挿により求める。
最後に補正パラメータを画素の輝度値に乗じることで輝
度補正を行う。なお、どちらかの画像でブロック内に輝
度飽和が生じている領域の割合が、ある大ささ以上の場
合、そのブロックの中心画素の補正パラメータは周囲の
ブロックのものの平均値として補間する。
単位で輝度補正を行っても良い。例えば、N枚の画像を
合成する場合、図4のように、N枚の撮像画像をそれぞ
れ正方形ブロックに分割する。k+1枚目の画像をk枚目
に合わせるよう順次補正を行うものとする(k=1,2,
‥‥,N−1)。ブロック毎に画像間の平均輝度値の比を
求め、そのブロックの中心画素の補正パラメータとす
る。中心画素以外に対しては双一次内挿により求める。
最後に補正パラメータを画素の輝度値に乗じることで輝
度補正を行う。なお、どちらかの画像でブロック内に輝
度飽和が生じている領域の割合が、ある大ささ以上の場
合、そのブロックの中心画素の補正パラメータは周囲の
ブロックのものの平均値として補間する。
【0056】発明の実施の形態3.複数の焦点画像を再
構成処理に用いるには、これらの画像間の位置合わせ
(レジストレーション)が必要となる。複数枚の焦点画
像を撮像する場合,互いに正確に撮像位置が一致した画
像を得ることは困難であり,撮像画像間では位置ずれが
生じることが考えられる。また,焦点合わせの違いによ
る倍率変化も生じる。位置合わせの精度が悪ければ、再
構成画像にぶれが生じるだけでなく、再構成に必要とな
るぼけパラメータの推定の精度に影響を与える。その結
果、再構成画像の精度の低下も招く。したがって,位置
合わせは高精度な画像再構成・生成を行なうために必要
な前処理である。
構成処理に用いるには、これらの画像間の位置合わせ
(レジストレーション)が必要となる。複数枚の焦点画
像を撮像する場合,互いに正確に撮像位置が一致した画
像を得ることは困難であり,撮像画像間では位置ずれが
生じることが考えられる。また,焦点合わせの違いによ
る倍率変化も生じる。位置合わせの精度が悪ければ、再
構成画像にぶれが生じるだけでなく、再構成に必要とな
るぼけパラメータの推定の精度に影響を与える。その結
果、再構成画像の精度の低下も招く。したがって,位置
合わせは高精度な画像再構成・生成を行なうために必要
な前処理である。
【0057】<複数の焦点画像間の位置合わせ(その
1:階層的マッチング方法)>近景合焦画像g1と遠景
合焦画像g2から所望の任意焦点画像fを再構成するた
めには、まず、各焦点画像間で位置合わせを行う必要が
ある。以下、複数の焦点画像間の位置合わせの方法につ
いて説明する。
1:階層的マッチング方法)>近景合焦画像g1と遠景
合焦画像g2から所望の任意焦点画像fを再構成するた
めには、まず、各焦点画像間で位置合わせを行う必要が
ある。以下、複数の焦点画像間の位置合わせの方法につ
いて説明する。
【0058】近景に焦点の合った画像Inと、遠景に焦点
の合った画像Ifが得られたとする。画像Inは例えば花壇
の前に立つ人物の画像であり、画像Ifは例えば背景の花
壇の画像である。Inを基準としてIfの回転、伸縮、並進
(順に、θ,s,ベクトルt=(u,v)と表す)の差
違を推定する。この場合、伸縮は焦点距離の関係から拡
大のみを考慮すればよい。本方法ではこの間題に対し
て、階層化マッチング法に回転と伸縮のパラメータを組
み入れて疎密に各パラメータを探索する。InとIfは互い
に合焦領域と非合焦領域が異なるために直接マッチング
を行うと誤差が生じる可能性が大きい。階層化マッチン
グ法を用いれば,画像の階層化によって,両画像間のぼ
けの差を低減してマッチングを行うことができる。その
結果,ぼけの差に対してロバストな位置合わせを行うこ
とができると考えられる。
の合った画像Ifが得られたとする。画像Inは例えば花壇
の前に立つ人物の画像であり、画像Ifは例えば背景の花
壇の画像である。Inを基準としてIfの回転、伸縮、並進
(順に、θ,s,ベクトルt=(u,v)と表す)の差
違を推定する。この場合、伸縮は焦点距離の関係から拡
大のみを考慮すればよい。本方法ではこの間題に対し
て、階層化マッチング法に回転と伸縮のパラメータを組
み入れて疎密に各パラメータを探索する。InとIfは互い
に合焦領域と非合焦領域が異なるために直接マッチング
を行うと誤差が生じる可能性が大きい。階層化マッチン
グ法を用いれば,画像の階層化によって,両画像間のぼ
けの差を低減してマッチングを行うことができる。その
結果,ぼけの差に対してロバストな位置合わせを行うこ
とができると考えられる。
【0059】本方法の処理の流れは、(1)画像の階層
化、(2)各層でのパラメータの推定となる。はじめ
に,両画像を階層化し,最も解像度の低い最上層におい
てパラメータを広い探索範囲で求める。以下、順次上層
で推定されたパラメータの周辺のみに探索範囲を限定し
ながらマッチングを最下層に至るまで行い、最終的に原
画像間でのパラメータを求める。以下では処理の流れに
沿って具体的に方法を述べる。
化、(2)各層でのパラメータの推定となる。はじめ
に,両画像を階層化し,最も解像度の低い最上層におい
てパラメータを広い探索範囲で求める。以下、順次上層
で推定されたパラメータの周辺のみに探索範囲を限定し
ながらマッチングを最下層に至るまで行い、最終的に原
画像間でのパラメータを求める。以下では処理の流れに
沿って具体的に方法を述べる。
【0060】(1)画像の階層化 両画像の階層化は,ガウシアンビラミッドを形成するこ
とでおこなう。ガウシアンピラミッドは次のようにして
形成される。原画像を第0層とし、最も解像度の低い最
上層を第L層として、第k(=0,1,‥,L)層の焦点画像をIn
(k)及びIf(k)と表す。次式により各層の画像が順次形成
される。
とでおこなう。ガウシアンピラミッドは次のようにして
形成される。原画像を第0層とし、最も解像度の低い最
上層を第L層として、第k(=0,1,‥,L)層の焦点画像をIn
(k)及びIf(k)と表す。次式により各層の画像が順次形成
される。
【0061】
【数8】
【0062】ここで、wは標準偏差が1である2次元ガウ
ス関数を近似したものである。[・]↓2はダウンサン
プリングを表す。第k層の画像は1つ下の第k−1層の画
像をガウシアンフィルタに通し,ダウンサンプリングす
ることによって得られる。ガウシアンフィルタは低域通
過フィルタの働きをするので,上層ではより両画像間の
ぼけの程度の差が低減される。
ス関数を近似したものである。[・]↓2はダウンサン
プリングを表す。第k層の画像は1つ下の第k−1層の画
像をガウシアンフィルタに通し,ダウンサンプリングす
ることによって得られる。ガウシアンフィルタは低域通
過フィルタの働きをするので,上層ではより両画像間の
ぼけの程度の差が低減される。
【0063】(2)各層におけるパラメータの推定 本方法では画像If(x,y)に回転、伸縮、並進を施し
た画像If(x′,y′)とIn(x,y)との平均自乗誤差
(MSE)を最小にする各パラメータを求める。第k層に
おける各パラメータをθ(k),s(k),u(k),
v(k)とすれば,第k層において最小にすべき評価関
数J(k)は
た画像If(x′,y′)とIn(x,y)との平均自乗誤差
(MSE)を最小にする各パラメータを求める。第k層に
おける各パラメータをθ(k),s(k),u(k),
v(k)とすれば,第k層において最小にすべき評価関
数J(k)は
【0064】
【数9】
【0065】と表すことができる。ここに,
【0066】
【数10】
【0067】である。ただし,B(k)はIn(k)
(x、y)とIf(k)(x′,y′)の重複領域,NB
(k)はその画素数である。各パラメータの探索点は階
層によって次のように設定する。
(x、y)とIf(k)(x′,y′)の重複領域,NB
(k)はその画素数である。各パラメータの探索点は階
層によって次のように設定する。
【0068】
【数11】
【0069】ただし、i、j、m、nは整数、△θ、△
s、△u、△vは原画像間における探索間隔、つまり各
パラメータの推定精度である。ハットθ(k+1),ハ
ットs(k+1),ハットu(k+1)、ハットv(k
+1)は上層の第k+1層で推定された各パラメータを
表す。θmax、smax、umax、vmaxは最上層において探
索範囲を限定する値で,あらかじめ設定する。ただし,
umaxとvmaxの値はそれぞれ最上層の画像各辺のサイズ
の半分とする。各層において並進のパラメータの探索間
隔△uと△vが一定であるのは,第k層での並進量は第
k+1層でのそれの2倍に相当するからである。
s、△u、△vは原画像間における探索間隔、つまり各
パラメータの推定精度である。ハットθ(k+1),ハ
ットs(k+1),ハットu(k+1)、ハットv(k
+1)は上層の第k+1層で推定された各パラメータを
表す。θmax、smax、umax、vmaxは最上層において探
索範囲を限定する値で,あらかじめ設定する。ただし,
umaxとvmaxの値はそれぞれ最上層の画像各辺のサイズ
の半分とする。各層において並進のパラメータの探索間
隔△uと△vが一定であるのは,第k層での並進量は第
k+1層でのそれの2倍に相当するからである。
【0070】本方法における推定のながれを図5に示
す。各層では,画像In(k)(x、y)と回転、伸縮、
並進の変換を行なった画像If(k)(x′、y′)とのM
SEを最小にする各パラメータを求める。最も解像度の低
い最上層(k=L)においては,あらかじめ設定した探
索範囲内で、各パラメータを広い間隔で粗く推定を行な
う。探索間隔は最下層におけるそれの2L倍に相当す
る。最上層以外の層では,順次上層で推定されたパラメ
ータの周囲5点のみに探索範囲を限定しながら推定精度
を2倍にして探索を行なう。この探索を最下層に至るま
で行い,最終的に各パラメータを推定する。
す。各層では,画像In(k)(x、y)と回転、伸縮、
並進の変換を行なった画像If(k)(x′、y′)とのM
SEを最小にする各パラメータを求める。最も解像度の低
い最上層(k=L)においては,あらかじめ設定した探
索範囲内で、各パラメータを広い間隔で粗く推定を行な
う。探索間隔は最下層におけるそれの2L倍に相当す
る。最上層以外の層では,順次上層で推定されたパラメ
ータの周囲5点のみに探索範囲を限定しながら推定精度
を2倍にして探索を行なう。この探索を最下層に至るま
で行い,最終的に各パラメータを推定する。
【0071】最後に,推定した各パラメータ,回転伸
縮,並進を施した画像If(x′,y′)とIn(x,y)
との共通領域を切り取りそれぞれの補正画像を得る。対
象シーンが3層以上の場合でも最も近景の焦点画像を基
準として,他の画像の位置合わせを行ない,共通領域を
抽出すれば補正を行なうことができる。
縮,並進を施した画像If(x′,y′)とIn(x,y)
との共通領域を切り取りそれぞれの補正画像を得る。対
象シーンが3層以上の場合でも最も近景の焦点画像を基
準として,他の画像の位置合わせを行ない,共通領域を
抽出すれば補正を行なうことができる。
【0072】シミュレーションによれば、各伸縮におい
てぼけ半径が小さければすべての場合で正しい推定が行
なわれた。ぼけ半径が大きい場合においても誤差は最大
2[pixels]までに抑えられ,良好な結果が得られた。
誤差が3[pixels]以上生じることはなかった。
てぼけ半径が小さければすべての場合で正しい推定が行
なわれた。ぼけ半径が大きい場合においても誤差は最大
2[pixels]までに抑えられ,良好な結果が得られた。
誤差が3[pixels]以上生じることはなかった。
【0073】発明の実施の形態4. <複数の焦点画像間の位置合わせ(その2:輝度投影)
>上記発明の実施の形態3の階層化マッチング方法は精
度の点で問題はないが、処理に複雑であり時間がかかる
という問題があった。そこで、簡単かつ高速処理が可能
な輝度投影方法を提案する。
>上記発明の実施の形態3の階層化マッチング方法は精
度の点で問題はないが、処理に複雑であり時間がかかる
という問題があった。そこで、簡単かつ高速処理が可能
な輝度投影方法を提案する。
【0074】この方法は、近景画像Inを基準としたとき
の遠景画像Ifの伸縮、並進(s,ベクトルt=(u,
v))の差違を推定することができる。図6に輝度投影
法による複数の焦点画像間の位置合わせ装置のブロック
図を示す。図7にその動作説明図を示す。各行・各列の
平均輝度値計算部20a,20bは、それぞれ入力画像
InとIfの各行および各列の平均輝度値を計算する。輝度
投影分布作成部21a,21bは、それぞれIn、Ifの輝
度投影分布を作成する。各行の平均輝度値の分布を垂直
分布、各列の平均輝度値の分布を水平分布とする。これ
らの処理により、図7(a)(b)のようなIn、Ifの輝
度分布が得られる。なお、図7(b)の点線の円は、図
7(a)の円と同じ大きさの円を示す。この様に、各画
像は水平分布と垂直分布という2つの1次元分布の組み合
わせとして表される。比較部22は、Inを基準としてこ
れら2つの分布を比較し、比較結果に基づき、拡大・並
進推定部23はIfの拡大と並進(順に、s、t=(u,
v))の差異を推定する。例えば、被写体が円形をして
いる場合、図7(a)の近景画像Inの輝度投影は、その
水平分布の中心c、直径a、その垂直分布の中心d、直
径bであるとする。図7(b)の遠景画像Ifの輝度投影
は、その水平分布の中心c‘、直径a’、その垂直分布
の中心d‘、直径b’であるとする。拡大sは、a‘/
a及びb’/bから推定できる。並進tのうち水平成分
uはc‘−cから推定でき、垂直成分vはd’−dから
推定できる。
の遠景画像Ifの伸縮、並進(s,ベクトルt=(u,
v))の差違を推定することができる。図6に輝度投影
法による複数の焦点画像間の位置合わせ装置のブロック
図を示す。図7にその動作説明図を示す。各行・各列の
平均輝度値計算部20a,20bは、それぞれ入力画像
InとIfの各行および各列の平均輝度値を計算する。輝度
投影分布作成部21a,21bは、それぞれIn、Ifの輝
度投影分布を作成する。各行の平均輝度値の分布を垂直
分布、各列の平均輝度値の分布を水平分布とする。これ
らの処理により、図7(a)(b)のようなIn、Ifの輝
度分布が得られる。なお、図7(b)の点線の円は、図
7(a)の円と同じ大きさの円を示す。この様に、各画
像は水平分布と垂直分布という2つの1次元分布の組み合
わせとして表される。比較部22は、Inを基準としてこ
れら2つの分布を比較し、比較結果に基づき、拡大・並
進推定部23はIfの拡大と並進(順に、s、t=(u,
v))の差異を推定する。例えば、被写体が円形をして
いる場合、図7(a)の近景画像Inの輝度投影は、その
水平分布の中心c、直径a、その垂直分布の中心d、直
径bであるとする。図7(b)の遠景画像Ifの輝度投影
は、その水平分布の中心c‘、直径a’、その垂直分布
の中心d‘、直径b’であるとする。拡大sは、a‘/
a及びb’/bから推定できる。並進tのうち水平成分
uはc‘−cから推定でき、垂直成分vはd’−dから
推定できる。
【0075】輝度投影方法は、階層化マッチング方法に
比べて計算量が著しく少なくなり非常に速くなる。シミ
ュレーション結果によると、処理時間が約1/200に
なった。その代わり若干精度が落ちるが、それでも誤差
は1pixel程度までの変化に抑えられ、良好な結果が得ら
れる。
比べて計算量が著しく少なくなり非常に速くなる。シミ
ュレーション結果によると、処理時間が約1/200に
なった。その代わり若干精度が落ちるが、それでも誤差
は1pixel程度までの変化に抑えられ、良好な結果が得ら
れる。
【0076】発明の実施の形態5.全焦点画像を得るた
めの装置の構成は図1に示されている。この構成は最も
基本的なものである。この構成にさらにフィルタを追加
することにより、全焦点画像に特殊な効果を施すことが
できる。
めの装置の構成は図1に示されている。この構成は最も
基本的なものである。この構成にさらにフィルタを追加
することにより、全焦点画像に特殊な効果を施すことが
できる。
【0077】図8(a)は、その一例を示す。フィルタ
10a,10bは焦点処理のためのフィルタであり、フ
ィルタ12は別の特殊処理のためのフィルタである。遠
景画像g2側にフィルタ12が設けられている。このフ
ィルタは任意のフィルタであるが、その一例を挙げると
横(あるいは縦)方向に画素データを足し合わせるもの
が考えられる。横(あるいは縦)方向にデータd0,d1,d
2,d3,d4,・・・があるとき、d2=(d2+d1+d0)/3、d3=
(d3+d2+d1)/3、・・・である。縦(あるいは横)方
向のデータはそのままである。このフィルタを用いる
と、遠景画像g2は横方向に流れるような画像に変換さ
れ、この変換された画像が近景画像g1と合成される。
合成された画像は、いわば「流し撮り」のような画像で
ある。
10a,10bは焦点処理のためのフィルタであり、フ
ィルタ12は別の特殊処理のためのフィルタである。遠
景画像g2側にフィルタ12が設けられている。このフ
ィルタは任意のフィルタであるが、その一例を挙げると
横(あるいは縦)方向に画素データを足し合わせるもの
が考えられる。横(あるいは縦)方向にデータd0,d1,d
2,d3,d4,・・・があるとき、d2=(d2+d1+d0)/3、d3=
(d3+d2+d1)/3、・・・である。縦(あるいは横)方
向のデータはそのままである。このフィルタを用いる
と、遠景画像g2は横方向に流れるような画像に変換さ
れ、この変換された画像が近景画像g1と合成される。
合成された画像は、いわば「流し撮り」のような画像で
ある。
【0078】また、図8(b)のように、フィルタの前
後に直交座標―極座標変換部13、極座標−直交座標変
換部14を備えても良い。この構成によれば、遠景画像
g2が放射状に流れるような画像に変換され、これが近
景画像g1に合成される。すなわち、極座標の原点を近
景画像の中心に一致させれば、合成画像は近景画像(例
えば人物)を中心に流れるような背景をもつ画像であ
る。上記フィルタは、対数変換のように非線形幾何変換
処理を行うものであってもよい。例えば、上記フィルタ
は、中心付近(r=0)において加算処理する範囲が小
さく、中心から離れるほど加算処理する範囲が大きくな
るものであってもよい。このフィルタによれば、近景画
像から離れるにしたがって画像は大きく流れ、スピード
感ある画像になる。
後に直交座標―極座標変換部13、極座標−直交座標変
換部14を備えても良い。この構成によれば、遠景画像
g2が放射状に流れるような画像に変換され、これが近
景画像g1に合成される。すなわち、極座標の原点を近
景画像の中心に一致させれば、合成画像は近景画像(例
えば人物)を中心に流れるような背景をもつ画像であ
る。上記フィルタは、対数変換のように非線形幾何変換
処理を行うものであってもよい。例えば、上記フィルタ
は、中心付近(r=0)において加算処理する範囲が小
さく、中心から離れるほど加算処理する範囲が大きくな
るものであってもよい。このフィルタによれば、近景画
像から離れるにしたがって画像は大きく流れ、スピード
感ある画像になる。
【0079】なお、以上の説明において、遠景画像g2
に対してフィルタをかけているが、本発明はこれに限る
ものではない。近景画像g1と遠景画像g2の両方にフ
ィルタをかけてもよいし、近景画像g1に対してのみフ
ィルタをかけてもよい。
に対してフィルタをかけているが、本発明はこれに限る
ものではない。近景画像g1と遠景画像g2の両方にフ
ィルタをかけてもよいし、近景画像g1に対してのみフ
ィルタをかけてもよい。
【0080】発明の実施の形態6.近景画像g1と遠景
画像g2を得るには、通常のデジタルカメラを用いて焦
点を違えて撮影すればよい。しかし、通常のやり方では
カメラの位置や向きが変わったりして近景画像g1と遠
景画像g2がずれることが多い。わずかなずれであれば
前述のレジストレーションにより補正できるが、大きく
ずれていると完全な補正には時間を要する。したがっ
て、簡単な操作でずれが少ない2枚の画像を得ることが
できる装置が望まれる。
画像g2を得るには、通常のデジタルカメラを用いて焦
点を違えて撮影すればよい。しかし、通常のやり方では
カメラの位置や向きが変わったりして近景画像g1と遠
景画像g2がずれることが多い。わずかなずれであれば
前述のレジストレーションにより補正できるが、大きく
ずれていると完全な補正には時間を要する。したがっ
て、簡単な操作でずれが少ない2枚の画像を得ることが
できる装置が望まれる。
【0081】この種の装置のブロック図を、図9に示
す。レンズ30を通った光はCCD31に入射され、処
理部で画像データに変換される。画像はビューワ33に
表示され利用者が見ることができる。ビューワ33に表
示される画像は、図10のように所定の領域に分割され
ている。図10の例では、合計9つの領域に分割されて
いる。利用者はビューワ33の画像を見ながら焦点指定
部34を操作し、焦点を合わせるべき領域を少なくとも
2つ指定する。例えば、近景画像g1を得るために、被
写体Tが写っている真中の領域(2,2)に焦点を指定
し、遠景画像g2を得るために、左上の領域(1,1)
に焦点を指定する。焦点指定部34からの信号を受け
て、処理部32は焦点調整機構36を駆動する。焦点調
整機構36は指定された領域に焦点を合わせて撮像す
る。撮像した画像のデータはメモリ35に蓄えられる。
次に、焦点調整機構36は次の指定された領域に焦点を
合わせて撮像し、画像データをメモリ35に蓄える。
す。レンズ30を通った光はCCD31に入射され、処
理部で画像データに変換される。画像はビューワ33に
表示され利用者が見ることができる。ビューワ33に表
示される画像は、図10のように所定の領域に分割され
ている。図10の例では、合計9つの領域に分割されて
いる。利用者はビューワ33の画像を見ながら焦点指定
部34を操作し、焦点を合わせるべき領域を少なくとも
2つ指定する。例えば、近景画像g1を得るために、被
写体Tが写っている真中の領域(2,2)に焦点を指定
し、遠景画像g2を得るために、左上の領域(1,1)
に焦点を指定する。焦点指定部34からの信号を受け
て、処理部32は焦点調整機構36を駆動する。焦点調
整機構36は指定された領域に焦点を合わせて撮像す
る。撮像した画像のデータはメモリ35に蓄えられる。
次に、焦点調整機構36は次の指定された領域に焦点を
合わせて撮像し、画像データをメモリ35に蓄える。
【0082】また、図11のような処理も可能である。
高速に焦点を動かし、1度のシャッターで複数画像を取
得する。焦点指定のとき、焦点合わせに必要なデータを
設定し記憶しておくことにより、高速な焦点合わせが可
能になる。
高速に焦点を動かし、1度のシャッターで複数画像を取
得する。焦点指定のとき、焦点合わせに必要なデータを
設定し記憶しておくことにより、高速な焦点合わせが可
能になる。
【0083】この発明の実施の形態6の装置により、簡
単な操作で近景画像g1と遠景画像g2をほぼ同時に撮
影できる。したがって、回転、大きさ、位置に関してず
れの少ない2つの近景画像g1と遠景画像g2を得るこ
とができる。なお、指定する領域は2つに限らない。3
つ以上を指定すれば3枚の近景画像と遠景画像が得られ
る。
単な操作で近景画像g1と遠景画像g2をほぼ同時に撮
影できる。したがって、回転、大きさ、位置に関してず
れの少ない2つの近景画像g1と遠景画像g2を得るこ
とができる。なお、指定する領域は2つに限らない。3
つ以上を指定すれば3枚の近景画像と遠景画像が得られ
る。
【0084】発明の実施の形態7. <多数の画像に基づく全焦点画像の生成と3次元構造の
取得>上記説明において、近景と遠景の2枚の画像を用
いて全焦点画像を生成したが、これに限らず3枚以上の
画像を用いても全焦点画像を生成することができる。例
えば、微小に焦点をずらしながら撮像した多数枚の昆虫
顕微鏡画像に基づいて全焦点画像を生成できる。通常の
顕微鏡画像の鮮鋭化処理では、輝度レベルの変動フィル
タによる高域成分を利用して合焦判定が行われている。
本発明の実施の形態では、ぼかした画像を生成し連続的
に比較することで合焦領域の判定を行う。また、合焦位
置に基づいて各k画像に奥行き情報を付与することによ
り対象の3次元構造を取得することができる。
取得>上記説明において、近景と遠景の2枚の画像を用
いて全焦点画像を生成したが、これに限らず3枚以上の
画像を用いても全焦点画像を生成することができる。例
えば、微小に焦点をずらしながら撮像した多数枚の昆虫
顕微鏡画像に基づいて全焦点画像を生成できる。通常の
顕微鏡画像の鮮鋭化処理では、輝度レベルの変動フィル
タによる高域成分を利用して合焦判定が行われている。
本発明の実施の形態では、ぼかした画像を生成し連続的
に比較することで合焦領域の判定を行う。また、合焦位
置に基づいて各k画像に奥行き情報を付与することによ
り対象の3次元構造を取得することができる。
【0085】この発明の実施の形態においては、連続的
な比較による選択統合法を用いて全焦点画像を再構成す
る。従来の選択統合法では、2枚の撮像画像に対しぼけ
関数を繰り返し畳み込んだぼけ画像を作成し、他方の画
像との比較を行う。微小に焦点を変える顕微鏡画像の場
合、2枚だけでの判定は信頼度を下げる。
な比較による選択統合法を用いて全焦点画像を再構成す
る。従来の選択統合法では、2枚の撮像画像に対しぼけ
関数を繰り返し畳み込んだぼけ画像を作成し、他方の画
像との比較を行う。微小に焦点を変える顕微鏡画像の場
合、2枚だけでの判定は信頼度を下げる。
【0086】このため、対象画像の前後複数枚(例えば
前後2枚の計4枚)に対し対象画像との比較を行い、判定
パターン列を利用して最終的な判定を行う。例えば、図
12(a)のように、複数の画像gn-2、gn-1、gn、g
n+1、gn+2を合焦の順に配列する。画像gn-2は遠くに
焦点が合っており、画像gn+2は近くに焦点が合ってい
る。画像gnを注目画像とする。次に、注目画像gnのあ
る部分を基準として、焦点が合っているか(合焦)/焦
点が合っていないか(非合焦)を判定する。すなわち、
注目画像gnの第1の部分を、他の画像gn-2、gn-1、
gn+1、gn+2の対応する部分と比較して、これらが合焦
/非合焦のどちらであるか判定する。合焦/非合焦は、
例えば、ガウシアンフィルタのパラメータに基づき判定
できる。例えば、図12(a)に示すように「1,1,
0,0」のような判定パターンが生成される。ここで、
0,1は各々対象画像を比して、より合焦/非合焦を示
す。すなわち、この第1の部分は画像gn-2、gn-1につ
いては非合焦であり、画像gn+1、gn+2については合焦
である。このことから注目画像gnの第1の部分は非合
焦の可能性があり、むしろ画像gn+1、gn+2において焦
点が合っていると推測される。同様に、注目画像gnの
第2の部分について「0,0,1,1」、第3の部分に
ついて「0,0,0,0」、第4の部分について「0,
0,1,0」、第5の部分について「0,1,0,0」
の判定パターンが得られる。
前後2枚の計4枚)に対し対象画像との比較を行い、判定
パターン列を利用して最終的な判定を行う。例えば、図
12(a)のように、複数の画像gn-2、gn-1、gn、g
n+1、gn+2を合焦の順に配列する。画像gn-2は遠くに
焦点が合っており、画像gn+2は近くに焦点が合ってい
る。画像gnを注目画像とする。次に、注目画像gnのあ
る部分を基準として、焦点が合っているか(合焦)/焦
点が合っていないか(非合焦)を判定する。すなわち、
注目画像gnの第1の部分を、他の画像gn-2、gn-1、
gn+1、gn+2の対応する部分と比較して、これらが合焦
/非合焦のどちらであるか判定する。合焦/非合焦は、
例えば、ガウシアンフィルタのパラメータに基づき判定
できる。例えば、図12(a)に示すように「1,1,
0,0」のような判定パターンが生成される。ここで、
0,1は各々対象画像を比して、より合焦/非合焦を示
す。すなわち、この第1の部分は画像gn-2、gn-1につ
いては非合焦であり、画像gn+1、gn+2については合焦
である。このことから注目画像gnの第1の部分は非合
焦の可能性があり、むしろ画像gn+1、gn+2において焦
点が合っていると推測される。同様に、注目画像gnの
第2の部分について「0,0,1,1」、第3の部分に
ついて「0,0,0,0」、第4の部分について「0,
0,1,0」、第5の部分について「0,1,0,0」
の判定パターンが得られる。
【0087】以上のことから明らかなように、注目画像
gnのある部分について、全ての画像において焦点が合
っていることを意味する「0,0,0,0」のパターン
が得られたとき、当該部分を採用すれば最も焦点が合っ
た画像を選択することができることがわかる。
gnのある部分について、全ての画像において焦点が合
っていることを意味する「0,0,0,0」のパターン
が得られたとき、当該部分を採用すれば最も焦点が合っ
た画像を選択することができることがわかる。
【0088】以上の処理を複数の画像・・・、gn-2、
gn-1、gn、gn+1、gn+2、・・・について行う。する
と、図12(b)のようなパターン列が得られる。各パ
ターンは、その上の画像を注目画像として図12(a)
の処理を行ったときに得られたパターンを意味する。1
段目(第1の部分)について着目すれば、画像gnのパ
ターンが「0,0,0,0」でもっとも焦点が合ってい
ることがわかるから、当該部分については画像gnを採
用すればよい。他の画像gn-2、gn-1、gn+1、gn+2の
パターンは、それぞれ「0,0,1,1」「0,0,
1,1」「0,1,0,0」「1,1,0,0」であ
り、焦点が合ってない可能性が高い。2段目(第2の部
分)についても同様である。3段目(第3の部分)につ
いては、画像gn-2、gn-1、gn、gn+1、gn+2のパタ
ーンは、それぞれ「0,0,1,1」「0,0,1,
0」「0,1,0,0」「1,1,0,0」「1,1,
0,0」であり、最も焦点が合っているパターンはな
い。しかし、画像gn-2、gn-1、gn、gn+1、gn+2全
体において比較すれば、相対的に画像gn-1、gnのパタ
ーンは合焦(0)が3つあるので比較的焦点が合ってい
るといえる。したがって、3段目においては画像gn-1
又はgnのいずれかを選択する。なお、この例の3段目
において画像gn-1とgnの間において焦点が合っている
と考えられる。
gn-1、gn、gn+1、gn+2、・・・について行う。する
と、図12(b)のようなパターン列が得られる。各パ
ターンは、その上の画像を注目画像として図12(a)
の処理を行ったときに得られたパターンを意味する。1
段目(第1の部分)について着目すれば、画像gnのパ
ターンが「0,0,0,0」でもっとも焦点が合ってい
ることがわかるから、当該部分については画像gnを採
用すればよい。他の画像gn-2、gn-1、gn+1、gn+2の
パターンは、それぞれ「0,0,1,1」「0,0,
1,1」「0,1,0,0」「1,1,0,0」であ
り、焦点が合ってない可能性が高い。2段目(第2の部
分)についても同様である。3段目(第3の部分)につ
いては、画像gn-2、gn-1、gn、gn+1、gn+2のパタ
ーンは、それぞれ「0,0,1,1」「0,0,1,
0」「0,1,0,0」「1,1,0,0」「1,1,
0,0」であり、最も焦点が合っているパターンはな
い。しかし、画像gn-2、gn-1、gn、gn+1、gn+2全
体において比較すれば、相対的に画像gn-1、gnのパタ
ーンは合焦(0)が3つあるので比較的焦点が合ってい
るといえる。したがって、3段目においては画像gn-1
又はgnのいずれかを選択する。なお、この例の3段目
において画像gn-1とgnの間において焦点が合っている
と考えられる。
【0089】以上のように、図12(a)の処理を全て
の画像について行い、画像ごとに図12(b)のような
パターン列を得る。そして、上述のように比較する画素
においてパターン列を比較することにより、図12
(b)の画像gn-1又はgnが最も合焦している画像であ
ると判断する。このように、本実施の形態では全画像の
比較結果のパターン列から各画素の合焦の判定を行う。
この処理を用いることにより高い精度で判定を行うこと
ができる。このための処理はさほど複雑ではなく、比較
的短い時間で処理できる。
の画像について行い、画像ごとに図12(b)のような
パターン列を得る。そして、上述のように比較する画素
においてパターン列を比較することにより、図12
(b)の画像gn-1又はgnが最も合焦している画像であ
ると判断する。このように、本実施の形態では全画像の
比較結果のパターン列から各画素の合焦の判定を行う。
この処理を用いることにより高い精度で判定を行うこと
ができる。このための処理はさほど複雑ではなく、比較
的短い時間で処理できる。
【0090】また、上述の合焦領域判定結果から、各画
素の合焦画像が焦点距離の短い方からn枚目であるとい
う情報を奥行き情報として付与することができる。例え
ば、第1の部分を画像gnから採用したのであれば、第
1の部分は画像gnの合焦位置にあると判定できる。第
3の部分については、画像gn-1とgnの中間位置にあ
ると判定できる。なお、本実施の形態において同じ対象
物に対して連続的に少しづつ焦点を移動して撮影してい
るところから、合焦位置は最初の焦点位置及び最後の焦
点位置に基づき簡単かつ比較的正確に得ることができ
る。
素の合焦画像が焦点距離の短い方からn枚目であるとい
う情報を奥行き情報として付与することができる。例え
ば、第1の部分を画像gnから採用したのであれば、第
1の部分は画像gnの合焦位置にあると判定できる。第
3の部分については、画像gn-1とgnの中間位置にあ
ると判定できる。なお、本実施の形態において同じ対象
物に対して連続的に少しづつ焦点を移動して撮影してい
るところから、合焦位置は最初の焦点位置及び最後の焦
点位置に基づき簡単かつ比較的正確に得ることができ
る。
【0091】本発明の実施の形態によれば、多数枚の顕
微鏡画像を連続的に比較することにより、精度よく全焦
点画像を得ることができる。また、合焦情報に基づき対
象の3次元構造を知ることができる。
微鏡画像を連続的に比較することにより、精度よく全焦
点画像を得ることができる。また、合焦情報に基づき対
象の3次元構造を知ることができる。
【0092】発明の実施の形態8.発明の実施の形態1
において、ぼけ量(R1とR2)の推定を行う必要がある。
ぼけの処理にはガウシンアンフィルタを用いるが、この
パラメータを調整することによりぼけ量を可変できる。
したがって、ガウシンアンフィルタのパラメータ(回
数)を推定することで、ぼけ量を推定することができ
る。
において、ぼけ量(R1とR2)の推定を行う必要がある。
ぼけの処理にはガウシンアンフィルタを用いるが、この
パラメータを調整することによりぼけ量を可変できる。
したがって、ガウシンアンフィルタのパラメータ(回
数)を推定することで、ぼけ量を推定することができ
る。
【0093】この手順を図13を用いて説明する。この
グラフは、ガウシンアンフィルタの回数と誤差の関係を
示す。縦軸は、ぼけのない画像とガウシアンフィルタを
かけた画像との自乗差分値であり、横軸は、ガウシンア
ンフィルタの回数である。このグラフからわかるよう
に、下に凸の曲線になる。この曲線は3次曲線で近似で
きる。
グラフは、ガウシンアンフィルタの回数と誤差の関係を
示す。縦軸は、ぼけのない画像とガウシアンフィルタを
かけた画像との自乗差分値であり、横軸は、ガウシンア
ンフィルタの回数である。このグラフからわかるよう
に、下に凸の曲線になる。この曲線は3次曲線で近似で
きる。
【0094】パラメータを1、2、3、4としていった
とき、2と3の間で極小値をとることがわかる。さらに
正確なパラメータを求めるため、図13のグラフに近似
する3次曲線を求める。次に、3次曲線の極小値をもと
め、そのときのパラメータを求める(図13において約
2.4)。この手順によりぼけ量を正確に推定すること
ができる。
とき、2と3の間で極小値をとることがわかる。さらに
正確なパラメータを求めるため、図13のグラフに近似
する3次曲線を求める。次に、3次曲線の極小値をもと
め、そのときのパラメータを求める(図13において約
2.4)。この手順によりぼけ量を正確に推定すること
ができる。
【0095】なお、実際には、パラメータ=0の近く、
例えば0.5についても差分値を求めておき、これも考
慮して近似曲線を求めるとよい。シミュレーション結果
によれば、このように設定することにより、より良い結
果が得られた。
例えば0.5についても差分値を求めておき、これも考
慮して近似曲線を求めるとよい。シミュレーション結果
によれば、このように設定することにより、より良い結
果が得られた。
【0096】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。
【0097】また、本明細書において、手段とは必ずし
も物理的手段を意味するものではなく、各手段の機能
が、ソフトウェアによって実現される場合も包含する。
さらに、一つの手段の機能が、二つ以上の物理的手段に
より実現されても、若しくは、二つ以上の手段の機能
が、一つの物理的手段により実現されてもよい。
も物理的手段を意味するものではなく、各手段の機能
が、ソフトウェアによって実現される場合も包含する。
さらに、一つの手段の機能が、二つ以上の物理的手段に
より実現されても、若しくは、二つ以上の手段の機能
が、一つの物理的手段により実現されてもよい。
【図1】 この発明の実施の形態1に係る全焦点画像及
び/又は任意焦点画像再構成装置の概略ブロック図を示
す。
び/又は任意焦点画像再構成装置の概略ブロック図を示
す。
【図2】 発明の実施の形態1に係る任意焦点画像fの
再構成モデルである。
再構成モデルである。
【図3】 発明の実施の形態1に係る再構成フィルタK
aとKbの周波数特性である。
aとKbの周波数特性である。
【図4】 発明の実施の形態2に係るブロック単位で輝
度補正の説明図である。
度補正の説明図である。
【図5】 発明の実施の形態3に係る階層的マッチング
方法による複数の焦点画像間の位置合わせ手順のフロー
チャート及び説明図である。
方法による複数の焦点画像間の位置合わせ手順のフロー
チャート及び説明図である。
【図6】 発明の実施の形態4に係る輝度投影法による
複数の焦点画像間の位置合わせ装置のブロック図であ
る。
複数の焦点画像間の位置合わせ装置のブロック図であ
る。
【図7】 発明の実施の形態4に係る輝度投影法による
複数の焦点画像間の位置合わせの説明である。
複数の焦点画像間の位置合わせの説明である。
【図8】 発明の実施の形態5に係る特殊効果のための
フィルタを備える全焦点画像及び/又は任意焦点画像再
構成装置の概略ブロック図を示す。
フィルタを備える全焦点画像及び/又は任意焦点画像再
構成装置の概略ブロック図を示す。
【図9】 発明の実施の形態6に係るデジタルカメラの
概略ブロック図である。
概略ブロック図である。
【図10】 発明の実施の形態6に係るデジタルカメラ
の動作説明図である。
の動作説明図である。
【図11】 発明の実施の形態6に係るデジタルカメラ
の動作フローチャートである。
の動作フローチャートである。
【図12】 発明の実施の形態7に係る多数の画像に基
づく全焦点画像の生成方法の説明図である。
づく全焦点画像の生成方法の説明図である。
【図13】 発明の実施の形態8に係るぼけ量推定の説
明図である。
明図である。
10 画像再構成のためのフィルタ 11 合成部 12 特殊効果用フィルタ 13 直交座標−極座標変換部 14 極座標−直交座標変換部 20 各行・各列の平均輝度値計算部 21 輝度投影分布作成部 22 比較部 23 拡大・並進推定部 30 レンズ 31 CCD 32 処理部 33 ビューワ 34 焦点指定部 35 メモリ 36 焦点調整機構
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/265 G06F 15/66 450 // H04N 101:00 15/68 400A (72)発明者 コニー リアニグナディ 東京都世田谷区上祖師谷4−24−1−B 215 Fターム(参考) 5B057 BA12 CD18 CE08 CE11 CH04 CH09 CH11 5C022 AA13 AB29 AB68 AC01 AC42 CA02 5C023 AA11 AA31 AA37 BA01 BA11 BA15 CA03 CA08 DA01 EA10 5C076 AA11 AA19 AA27 BA06
Claims (12)
- 【請求項1】 外部から入力される第1のぼけパラメー
タに基づき第1の部分に焦点が合っている第1画像を変
換する第1のフィルタと、外部から入力される第2のぼ
けパラメータに基づき第2の部分に焦点が合っている第
2画像を変換する第2のフィルタと、前記第1のフィル
タの出力及び前記第2のフィルタの出力を合成して任意
焦点画像を生成する合成部と、前記第1画像と前記第2
画像の輝度が同程度になるように、画像のブロック単位
で輝度補正を行い、輝度補正後の画像を前記第1のフィ
ルタと前記第2のフィルタに供給する輝度補正部とを備
える任意焦点画像合成装置。 - 【請求項2】 外部から入力される第1のぼけパラメー
タに基づき第1の部分に焦点が合っている第1画像を変
換する第1のフィルタと、外部から入力される第2のぼ
けパラメータに基づき第2の部分に焦点が合っている第
2画像を変換する第2のフィルタと、前記第1のフィル
タの出力及び前記第2のフィルタの出力を合成して任意
焦点画像を生成する合成部と、前記第1画像と前記第2
画像の位置合わせを、画像データを水平及び垂直方向に
投影して得られた輝度分布に基づいて行い、位置合わせ
された画像を前記第1のフィルタと前記第2のフィルタ
に供給する位置合わせ部とを備える任意焦点画像合成装
置。 - 【請求項3】 外部から入力される第1のぼけパラメー
タに基づき第1の部分に焦点が合っている第1画像を変
換する第1のフィルタと、外部から入力される第2のぼ
けパラメータに基づき第2の部分に焦点が合っている第
2画像を変換する第2のフィルタと、前記第2のフィル
タの出力に対して所定の処理を行う特殊効果フィルタ
と、前記第1のフィルタの出力及び前記特殊効果フィル
タの出力を合成して任意焦点画像を生成する合成部とを
備える任意焦点画像合成装置。 - 【請求項4】 前記特殊効果フィルタの入力側及び出力
側に、それぞれ画像データの座標を直交座標から極座標
に変換する直交座標−極座標変換部と、画像データの座
標を極座標から直交座標に戻す極座標−直交座標変換部
とを備えることを特徴とする請求項3記載の任意焦点画
像合成装置。 - 【請求項5】 外部から入力される第1乃至第Nのぼけ
パラメータに基づき第1乃至第Nの部分にそれぞれ焦点
が合っている第1乃至第N画像を焦点位置の順に並べ、
これら画像のひとつである第iの画像内の一部分に関し
て、前記第iの画像を中心としてその前後の複数の画像
において前記部分の焦点が合っているかどうかを判定す
る判定部と、前記判定部の判定パターンによりどの画像
において前記部分の焦点が合っているか比較する比較部
と、前記比較部の比較結果により前記第1乃至第Nの画
像を合成して全焦点画像を生成する合成部とを備える任
意焦点画像合成装置。 - 【請求項6】 前記判定部は、パラメータを変化させつ
つ前記第iの画像に対してフィルタ処理を行うガウシア
ンフィルタと、前記ガウシアンフィルタの出力と前記前
後の複数の画像の差分値を求める差分処理部と、前記差
分値が極小になる値を求めることにより前記パラメータ
を推定する推定部とを備えることを特徴とする請求項5
記載の任意焦点画像合成装置。 - 【請求項7】 撮像素子と、前記撮像素子から信号を受
けて画像データに変換する処理部と、前記処理部で処理
された画像データを表示する表示部と、画像内の複数の
対象を指定してそれぞれ異なる焦点の複数の画像を要求
する焦点指定部と、前記焦点指定部の指定により焦点位
置を設定する焦点調整機構と、画像データを記憶するメ
モリとを備え、 前記処理部は、指定された前記複数の対象について順番
にそれぞれ焦点を合わせ、それぞれ撮像し、前記メモリ
に得られた複数の画像データをそれぞれ格納することを
特徴とする複数画像同時撮像型カメラ。 - 【請求項8】 1回のシャッター動作で複数の焦点の異
なる画像を撮像することを特徴とする請求項7記載の複
数画像同時撮像型カメラ。 - 【請求項9】 外部から入力される第1のぼけパラメー
タに基づき第1の部分に焦点が合っている第1画像を変
換する第1のフィルタと、外部から入力される第2のぼ
けパラメータに基づき第2の部分に焦点が合っている第
2画像を変換する第2のフィルタと、前記第1のフィル
タの出力及び前記第2のフィルタの出力を合成して任意
焦点画像を生成する合成部と、前記第1画像と前記第2
画像の輝度が同程度になるように、画像のブロック単位
で輝度補正を行い、輝度補正後の画像を前記第1のフィ
ルタと前記第2のフィルタに供給する輝度補正部とを含
む任意焦点画像合成装置を備えることを特徴とする請求
項7記載の複数画像同時撮像型カメラ。 - 【請求項10】 外部から入力される第1のぼけパラメ
ータに基づき第1の部分に焦点が合っている第1画像を
変換する第1のフィルタと、外部から入力される第2の
ぼけパラメータに基づき第2の部分に焦点が合っている
第2画像を変換する第2のフィルタと、前記第1のフィ
ルタの出力及び前記第2のフィルタの出力を合成して任
意焦点画像を生成する合成部と、前記第1画像と前記第
2画像の位置合わせを、画像データを水平及び垂直方向
に投影して得られた輝度分布に基づいて行い、位置合わ
せされた画像を前記第1のフィルタと前記第2のフィル
タに供給する位置合わせ部とを含む任意焦点画像合成装
置を備えることを特徴とする請求項7記載の複数画像同
時撮像型カメラ。 - 【請求項11】 外部から入力される第1のぼけパラメ
ータに基づき第1の部分に焦点が合っている第1画像を
変換する第1のフィルタと、外部から入力される第2の
ぼけパラメータに基づき第2の部分に焦点が合っている
第2画像を変換する第2のフィルタと、前記第2のフィ
ルタの出力に対して所定の処理を行う特殊効果フィルタ
と、前記第1のフィルタの出力及び前記特殊効果フィル
タの出力を合成して任意焦点画像を生成する合成部とを
含む任意焦点画像合成装置を備えることを特徴とする請
求項7記載の複数画像同時撮像型カメラ。 - 【請求項12】 前記特殊効果フィルタの入力側及び出
力側に、それぞれ画像データの座標を直交座標から極座
標に変換する直交座標−極座標変換部と、画像データの
座標を極座標から直交座標に戻す極座標−直交座標変換
部とを備えることを特徴とする請求項11記載の複数画
像同時撮像型カメラ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000028436A JP2001223874A (ja) | 2000-02-04 | 2000-02-04 | 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ |
US09/774,646 US20010013895A1 (en) | 2000-02-04 | 2001-02-01 | Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000028436A JP2001223874A (ja) | 2000-02-04 | 2000-02-04 | 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001223874A true JP2001223874A (ja) | 2001-08-17 |
Family
ID=18553835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000028436A Pending JP2001223874A (ja) | 2000-02-04 | 2000-02-04 | 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001223874A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201533A (ja) * | 2006-01-23 | 2007-08-09 | Toshiba Corp | ボケ変換装置及び方法 |
JP2008503795A (ja) * | 2004-06-25 | 2008-02-07 | 新世代株式会社 | 画像合成装置及びピクセルミキサ |
JP2008176735A (ja) * | 2007-01-22 | 2008-07-31 | Toshiba Corp | 画像処理装置及び方法 |
JP2008219878A (ja) * | 2007-02-09 | 2008-09-18 | Olympus Imaging Corp | 復号方法、復号装置、復号プログラム、及び電子カメラ |
JP2009047734A (ja) * | 2007-08-13 | 2009-03-05 | Olympus Corp | 撮像装置及び画像処理プログラム |
JP2009047735A (ja) * | 2007-08-13 | 2009-03-05 | Olympus Corp | 撮像装置及び画像処理プログラム |
JP2010087862A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム |
US8023000B2 (en) | 2007-04-20 | 2011-09-20 | Fujifilm Corporation | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method |
JP2013205781A (ja) * | 2012-03-29 | 2013-10-07 | Fujifilm Corp | 撮像装置 |
JP2013239061A (ja) * | 2012-05-16 | 2013-11-28 | Canon Inc | 画像推定方法、プログラム、記録媒体、画像推定装置、ネットワーク機器および画像データの取得方法 |
WO2014002813A1 (ja) * | 2012-06-26 | 2014-01-03 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2014155008A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 撮像装置、その制御方法およびプログラム |
JP2017055984A (ja) * | 2015-09-16 | 2017-03-23 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9769372B2 (en) | 2014-03-10 | 2017-09-19 | Canon Kabushiki Kaisha | Image estimating method including calculating a transverse cutoff frequency, non-transitory computer readable medium, and image estimating apparatus |
CN113014820A (zh) * | 2021-03-15 | 2021-06-22 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
-
2000
- 2000-02-04 JP JP2000028436A patent/JP2001223874A/ja active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008503795A (ja) * | 2004-06-25 | 2008-02-07 | 新世代株式会社 | 画像合成装置及びピクセルミキサ |
JP4714939B2 (ja) * | 2004-06-25 | 2011-07-06 | 新世代株式会社 | ピクセルミキサ |
US7860336B2 (en) | 2006-01-23 | 2010-12-28 | Kabushiki Kaisha Toshiba | Image conversion device, image conversion method, and recording medium |
JP2007201533A (ja) * | 2006-01-23 | 2007-08-09 | Toshiba Corp | ボケ変換装置及び方法 |
JP4585456B2 (ja) * | 2006-01-23 | 2010-11-24 | 株式会社東芝 | ボケ変換装置 |
JP2008176735A (ja) * | 2007-01-22 | 2008-07-31 | Toshiba Corp | 画像処理装置及び方法 |
JP2008219878A (ja) * | 2007-02-09 | 2008-09-18 | Olympus Imaging Corp | 復号方法、復号装置、復号プログラム、及び電子カメラ |
US8023000B2 (en) | 2007-04-20 | 2011-09-20 | Fujifilm Corporation | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method |
JP2009047734A (ja) * | 2007-08-13 | 2009-03-05 | Olympus Corp | 撮像装置及び画像処理プログラム |
JP2009047735A (ja) * | 2007-08-13 | 2009-03-05 | Olympus Corp | 撮像装置及び画像処理プログラム |
JP2010087862A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム |
JP2013205781A (ja) * | 2012-03-29 | 2013-10-07 | Fujifilm Corp | 撮像装置 |
JP2013239061A (ja) * | 2012-05-16 | 2013-11-28 | Canon Inc | 画像推定方法、プログラム、記録媒体、画像推定装置、ネットワーク機器および画像データの取得方法 |
WO2014002813A1 (ja) * | 2012-06-26 | 2014-01-03 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5477518B1 (ja) * | 2012-06-26 | 2014-04-23 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2014155008A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 撮像装置、その制御方法およびプログラム |
US9769372B2 (en) | 2014-03-10 | 2017-09-19 | Canon Kabushiki Kaisha | Image estimating method including calculating a transverse cutoff frequency, non-transitory computer readable medium, and image estimating apparatus |
JP2017055984A (ja) * | 2015-09-16 | 2017-03-23 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN113014820A (zh) * | 2021-03-15 | 2021-06-22 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20010013895A1 (en) | Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein | |
JP5414752B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
KR100799088B1 (ko) | 고속 디지털 팬 틸트 줌 비디오 | |
US9412151B2 (en) | Image processing apparatus and image processing method | |
JP6395423B2 (ja) | 画像処理装置、制御方法及びプログラム | |
JP4799428B2 (ja) | 画像処理装置及び方法 | |
JP2001223874A (ja) | 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ | |
JP5153846B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及び、プログラム | |
CN105791801A (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
JP3907008B2 (ja) | 写真のための被写界の深度を増大するための方法及び手段 | |
JP2008512767A (ja) | 一般的な2次元空間変換の表現システム及び方法 | |
US20180225882A1 (en) | Method and device for editing a facial image | |
JP6071860B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5925757B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2024024012A (ja) | 学習データの生成方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
Jang et al. | Optimizing image focus for shape from focus through locally weighted non-parametric regression | |
Bando et al. | Towards digital refocusing from a single photograph | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP2009111921A (ja) | 画像処理装置及び画像処理方法 | |
CA3210569A1 (en) | Stereoscopic imaging platform with continuous autofocusing mode | |
JP5541750B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及び、プログラム | |
JPH0721365A (ja) | 画像処理方法および装置 | |
JP7414745B2 (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
JP2004310504A (ja) | 画像処理方法 | |
JP5611439B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080902 |