JP7171254B2 - 画像処理装置、撮像装置、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像処理方法に関する。

撮像装置との間の距離が異なる複数(少なくとも二つ)の被写体に共に合焦する画像を得る方法として、撮像レンズの絞りを狭めて被写界深度を深くする方法が知られている。撮像レンズの絞りを狭める方法は、被写体反射光の多い環境(例えば屋外の晴天)においては、露光期間が制約される動画であっても高ＳＮ比でかつ複数の被写体の合焦画像が得られる。しかしながらこの方法は、被写体反射光の乏しい環境（例えば曇天や夜間）で用いる場合、動画性能（露光期間、フレーム数）、画像のＳＮ比、の特性が劣化する。

また被写体反射光の乏しい環境で動画性能（露光期間、フレーム数）や画像のＳＮ比の特性劣化を避けて被写体反射光を得るために撮像レンズの絞りを広げると、被写界深度が浅くなる。その結果、被写体反射光の乏しい環境では、距離が異なる複数の被写体は画角内で共に合焦しがたくなる。

被写体反射光の乏しい環境で、動画性能、画像のＳＮ比、被写界深度の深さを充足する構成として、特許文献１は、異なる距離に合焦する光学系を撮像装置内に設けた構成を開示する。特許文献１で開示された構成は、可視光または赤外線に対して感度を有する複数の光電変換部を配列した撮像素子と、遠方にある被写体と近方にある被写体を撮像素子の撮像面に合焦する光学系を備える。特許文献１は、遠方にある被写体と近方にある被写体から入射する重畳光束を撮像素子で電気信号に変換して、撮像素子から画像情報を含む電気信号として出力することを開示する。

特開２００８－１５７９２４号公報

特許文献１の撮像素子は、遠方にある被写体に対して合焦する光学系を経る光束と、近方にある被写体に対して合焦する光学系を経る光束とを受光している。しかしながら、特許文献１の撮像素子は、遠方に合焦する光学系からは近方被写体の非合焦像も受光し、近方に合焦する光学系からは遠方被写体の非合焦像も受光する。すなわち、特許文献１の撮像素子は、遠方被写体の合焦像と非合焦像、および近方被写体の合焦像と非合焦像を受光する。そしてこれらの非合焦像は可視光画像のコントラスト低下や被写体輪郭の不明瞭さとして視認される。

本発明は、前述の課題を鑑みて、画質の低下を抑制しつつ、被写界深度を拡張した可視光画像を取得可能な技術を提供することを目的とする。

本発明の第１の態様は、
第１の距離に合焦する可視光域の画像を表す可視光画像信号と、前記第１の距離よりも短い第２の距離に合焦する赤外光域の画像と前記第１の距離よりも長い第３の距離に合焦する赤外光域の画像とを表す赤外線画像信号とを取得する第１の取得手段と、
前記可視光画像信号から第１の明度情報、色相情報、および彩度情報を取得し、前記赤
外線画像信号から少なくとも第２の明度情報を取得する、第２の取得手段と、
前記第１の明度情報から得られるエッジ情報と前記第２の明度情報から得られるエッジ情報に基づいて、第３の明度情報を取得する第３の取得手段と、
前記第３の明度情報、前記色相情報、および前記彩度情報を用いて、第２の可視光画像を生成する生成手段と、
を備える画像処理装置である。

本発明の第２の態様は、
画像処理装置が行う画像処理方法であって、
第１の距離に合焦する可視光域の画像を表す可視光画像信号から第１の明度情報、色相情報、および彩度情報を抽出し、前記第１の距離よりも短い第２の距離に合焦する赤外光域の画像と前記第１の距離よりも長い第３の距離に合焦する赤外光域の画像とを表す赤外線画像信号から少なくとも第２の明度情報を取得する第１の取得ステップと、
前記第１の明度情報から得られるエッジ情報と前記第２の明度情報から得られるエッジ情報に基づいて、第３の明度情報を取得する第２の取得ステップと、
前記第３の明度情報、前記色相情報、および前記彩度情報を用いて、第２の可視光画像を生成する生成ステップと、
を含む、画像処理方法である。

本発明によれば、画質の低下を抑制しつつ、被写界深度を拡張した可視光画像を取得できる。

第１の実施形態に係る撮像装置の構成図を示す。 実施形態に係る撮像素子の構成図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の構成図を示す。 変形例に係る撮像素子の構成図を示す。 変形例に係る撮像素子の構成図を示す。 第１の実施形態における画像処理手順を示す。 多重解像度解析工程およびエッジ情報導出工程の詳細を示す。 第２の実施形態に係る撮像装置の構成図を示す。 実施形態で用いられる回折レンズの模式図を示す。 回折レンズ材料の屈折率波長分散特性の例を示す。 回折レンズの高次回折効率入射波長依存性の例を示す。 回折レンズの合成回折効率の入射波長依存性の例を示す。 回折レンズの光軸上焦点距離の入射波長依存性を示す。 第２の実施形態における画像処理手順を示す。 判定工程の詳細を示す。 本発明の第３の実施形態の構成図を示す。

以下、図面を参照しながら各実施形態の撮像信号の処理方法及び撮像装置について説明する。

（第１の実施形態）
図１Ａは、本実施形態での撮像装置の一例を示すブロック図である。撮像装置は静止画、動画等を取得する装置であり、その具体例としてデジタルスチルカメラ、デジタルカムコーダ、監視カメラ等があげられる。

図１Ａ、本実施形態に係る撮像装置１００の構成を示す図である。撮像装置１００は、第１の撮像素子１０１、第２の撮像素子１０２、レンズ１０３、ビームスプリッタ１０４、撮像制御部１０５、前処理部１０６ａ及び１０６ｂ、画像処理部１０７、出力部１０８、表示部１０９、記録部１１０、全体制御演算部１１１を有する。

撮像素子１０１及び１０２は被写体１１２～１１４より発する光束による光学像を受光して電気信号に変換して、後段の前処理部１０６ａ及び１０６ｂへ出力する。

レンズ１０３は被写体１１２～１１４より発する光学像を撮像素子１０１及び１０２に結像させる機能を担う。なお、レンズ１０３は可視光域と赤外光域での被写体－撮像装置間の合焦距離及び撮像装置内の焦点距離が異なっている。さらに撮像素子１０１と１０２に関して、赤外光域での合焦距離及び撮像素子の合焦位置を予め互いにずらしておくことで、赤外光域で合焦距離の異なる複数の画像情報を取得できる。レンズ１０３は、図１０～図１４を用いて後述する構成を有していてもよい。

ビームスプリッタ（光束分岐手段）１０４は、レンズ１０３を経た光束を撮像素子１０１及び１０２に分配する機能を担う。ビームスプリッタ１０４は、例えばプリズムを用いて構成できる。

撮像制御部１０５は、撮像素子１０１及び１０２のシャッタ・露光の動作を同期させる機能を担う。具体的には、２台の撮像素子１０１及び１０２の動作を同期させる周期信号の生成、シャッタの動作時期や画像信号の生成、及び出力に関わる時期を制御する信号生成を行う。

前処理部１０６ａ及び１０６ｂは、撮像素子１０１及び１０２から取得した電気信号に対して水平垂直同期や符号化等の前処理を施して、後段の画像処理部１０７に画像信号として送信する。撮像素子１０１及び１０２から出力される信号がアナログ信号である場合、前処理部１０６ａ及び１０６ｂは、その内部にアナログ／デジタル変換（Ａ／Ｄ変換）回路を備え、アナログ信号をデジタル信号に変換した後に上記の前処理を施してもよい。以下、前処理部１０６ａと１０６ｂを区別する必要が無い場合には、単に前処理部１０６と記載する場合もある。

画像処理部１０７は撮像素子１０１及び１０２の後段にある前処理部１０６ａ及び１０６ｂからそれぞれ画像信号を取得して、それらの画像の一時記憶、及び種々の画像処理を行う。画像処理部１０７が実施する画像処理の例は、画像の明度・色度及び彩度情報の抽出、輪郭情報の抽出と選択、焦点深度拡張された可視光画像の再構成である。画像処理部
１０７は、ＡＳＩＣ等の論理回路によって構成してもよい。あるいは、画像処理部１０７は、汎用的なプロセッサーがプログラムを実行することによって実現されてもよい。本実施形態において、画像処理部１０７を有する撮像装置１００が、画像処理装置に相当する。また、本実施形態では、画像処理部１０７が撮像装置１００に内蔵されている構成を説明するが、撮像装置１００と別体の画像処理装置が画像処理部１０７を有していても構わない。

出力部１０８は画像処理部１０７の処理結果を基に、後段の表示部１０９及び記録部１１０への出力に適した信号への加工と、信号出力を行う。

全体制御演算部１１１は、撮像制御部１０５、画像処理部１０７、出力部１０８、表示部１０９、記録部１１０の動作を統括する。

図１Ｂは、撮像制御部１０５の一例をより詳しく説明するものである。撮像制御部１０５は、信号出力部１５０と、原発振器１６０と、監視部１９０とを有する。原発振器１６０は、周期信号の生成を行う。信号出力部１５０は、第１の撮像素子１０１と第２の撮像素子１０２を制御するための制御信号を出力する。信号出力部１５０と第１の撮像素子１０１は配線１７０によって電気的に接続されており、信号出力部１５０と第２の撮像素子１０２は配線１８０によって電気的に接続されている。２つの撮像素子を高い精度で同期させるために、配線１７０の長さと配線１８０の長さは略同じである。ここで、略同じ長さとは、同一の長さのみならず、本実施形態の効果を奏する範囲において異なる長さであってもよい。また２つの撮像素子を高い精度で同期させるために、撮像素子への制御信号入力端の前段にバッファ回路１４０、１４１が設けられていてもよい。

監視部１９０は、配線１７１及び１８１によって撮像素子１０１及び１０２にそれぞれ電気的に接続されており、配線１７３および１８３によって信号出力部１５０と電気的に接続されている。監視部１９０は、出力部１５０から生じた制御信号（配線１７２または１８２を経る経路）を基準として、撮像素子１０１および１０２にて露光開始および露光終了のタイミングの情報を含む信号（配線１７１または１８１を経る経路）を監視する。監視部１９０は、信号出力部１５０から生じた制御信号と、撮像素子１０１および１０２から返された信号との差異（信号遅延時間や位相量）を基に、信号出力部１５０に対して各撮像装置への制御信号の調整を配線１７３または１８３を経路にて行う。制御信号の調整の例は、信号遅延時間や信号位相量への補正である。

（撮像素子のブロック図）
図２は撮像装置１００に配されている撮像素子１０１及び１０２の構成を示すブロック図である。撮像素子１０１と撮像素子１０２は同様の構成を有する。

撮像素子１０１及び１０２は、複数の画素２１が二次元状に配された撮像領域２０、制御部２２、垂直走査部２３、信号処理部２４、出力部２６からなる。制御部２２、垂直走査部２３、画素信号処理部２４、出力部２６は撮像領域２０の外周に配されている。

制御部２２は、垂直走査部２３、画素信号処理部２４、出力部２６に制御信号、電源電圧等を供給する。垂直走査部２３は、撮像領域２０に配された複数の画素２１について画素行毎または複数の画素行毎に駆動信号を供給する。第１の撮像素子１０１と第２の撮像素子１０２とを高い精度で同期するために、図１に示した撮像制御部１０５は制御部２２と電気的に接続されている。

垂直走査部２３は、シフトレジスタまたはアドレスデコーダにより構成することができる。

画素信号処理部２４は、列回路２７、水平走査回路２８、水平出力線２５を含んで構成される。列回路は、各々複数の回路を含んで構成される。例えば、複数の回路とは、信号保持回路、増幅回路、ノイズ除去回路、アナログデジタル変換回路、等である。水平走査回路はシフトレジスタまたはアドレスデコーダにより構成することができる。水平出力線２５に出力される信号は、アナログ信号、デジタル信号のいずれでも良い。

出力部２６はバッファ回路を含んで構成され、水平出力線２５を介して伝達された信号を撮像素子１０１または１０２の後段にある前処理部１０６ａまたは１０６ｂへ送信する。

（画素部の等価回路図）
図３Ａは、図２に示す画素２１の等価回路の構成を示す。図３Ａは４つの画素からなる例である。画素２１は、光電変換部３０１、フローティングディフュージョン３０２（ＦＤ３０２）、転送スイッチ３０４、入力ノード３０３、リセットトランジスタ３０５、増幅部３０６、選択トランジスタ３０７を含む。同一行に配されている複数の画素２１は転送スイッチ３０４、リセットトランジスタ３０５および選択トランジスタ３０７を各々一斉に動作・停止制御する制御線ｐＴＸ１、ｐＳＥＬ、ｐＲＥＳに接続される。

光電変換部３０１は入射光によって電荷を生成して、生成された電荷を蓄積する。光電変換部３０１は、例えばフォトダイオードである。

転送スイッチ３０４は、光電変換部３０１で生成された電荷をＦＤ３０２に転送する。転送スイッチ３０４は制御線ｐＴＸ１を通じて供給される信号によって制御される。転送スイッチ３０４は、例えばＭＯＳトランジスタである。

ＦＤ３０２は、光電変換部３０１で生成された電荷を、転送スイッチ３０４の動作によって受取り保持する機能を担い、増幅部３０６の入力ノード３０３を構成する。

増幅部３０６は、増幅部３０６の入力ノード３０３に蓄積された電荷を垂直出力線３０８に増幅して画素信号として出力する。増幅部３０６は、例えばソースフォロワ回路である。

選択トランジスタ３０７は、垂直出力線３０８に信号を出力する画素３００を選択する。

リセットトランジスタ３０５は、制御線ｐＲＥＳの信号によって入力ノード３０３にある電荷を電源３０９に排出して、入力ノード３０３の電位を電源３０９の電位にする、リセット動作を行う。

図３Ｂは、図３Ａと同様に４つの画素からなる例を示す。但し、光電変換部３１０は互いに対向する電極に挟まれた光電変換膜から成り、撮像面に対して光入射側に位置する電極は光透過性を有する導電性材料で構成される。光透過性を有する導電性材料は例えば金属薄膜、酸化インジウムスズ（ＩＴＯ）、酸化亜鉛（ＺｎＯ）、インジウム－ガリウム－亜鉛酸化物（ＩＧＺＯ）等のいわゆる透明電極及び酸化物半導体が挙げられる。光電変換膜３１０は所望波長の光の入射によって電荷を生じる材料である。光電変換膜３１０で電荷を生じる入射光波長帯域は例えば可視波長帯域（３８０～７８０ｎｍ）、可視及び近赤外線に跨る波長域（３８０ｎｍ～２．５μｍ）、近赤外線域（７８０ｎｍ～２．５μｍ）が挙げられる。本開示において赤外線域は、近赤外線域であってもよいし、中赤外線域（２．５～４μｍ）であってもよいし、近赤外線から中赤外線にまたがる波長領域であって
もよい。光電変換膜３１０で電荷を生じる材料は有機半導体材料、ハロゲン化金属ペロブスカイトカイトなどの無機材料、有機あるいは無機材料を核または外殻とするいわゆる量子ドットを含む材料が挙げられる。また前述の光電変換膜３１０で電荷を生じる材料を単層あるいは複数層堆積、接合して膜構造を形成してよい。

図３Ｃは、図３Ｂの変形例を示す。本例では、光電変換部３１０が画素２１毎に２つ設けられている。画素２１毎に設けられた光電変換部３１０への露光によって生じた電荷は転送スイッチ３０４によってＦＤ３０２に転送される。

画素２１毎に設けられた２つの光電変換部３１０に接続する転送スイッチ３０４は制御線ｐＴＸ１及びｐＴＸ２を通じて供給される信号によって制御される。図３Ｃにおいて、光電変換部３１０は画素２１毎に２つを図示しているが、画素２１毎に光電変換部３１０が２つ以上設けられていてよい。また１つの光電変換部３１０に対して、転送スイッチ３０４及び転送スイッチの制御線がそれぞれ１つ設けられているが、画素２１毎に設けられている光電変換部３１０の数に応じて転送スイッチ３０４及び転送スイッチの制御線の数を変えてよい。

また複数の光電変換部３１０は撮像面を平面視した際に画素２１の中で互いに重なり合わない領域を持って並置してよい。あるいは複数の光電変換部３１０は撮像面を平面視した際に画素２１の中で互いに重なり合う領域を持って位置し、平面視した際に互いに重なり合う位置にある領域は撮像面の法線方位に対して堆積された位置関係にあってよい。

複数の光電変換部３１０は互いに電荷を生じる入射光波長帯域・強度特性が略一致していてもよく、明瞭に異なる特性を有していても良い。例えば画素２１の中の複数の光電変換部３１０が共に可視光の三原色（赤、緑、青）、または三補色（シアン、マゼンタ、イエロー）、全白、近赤外線帯域の内の１色あるいは１帯域に対して電荷生成特性を有するよう割り当てられてよい。あるいは画素２１の中の１つの光電変換部３１０は可視光の三原色、または三補色、全白、近赤外線帯域の内の１色あるいは１帯域に割り当て、他方の光電変換部３１０を他の１色あるいは１帯域に割り当ててよい。

図３Ｄは、図３Ｃの変形例を示す。本例では、光電変換部３０１と３１０が画素２１毎に１つずつ設けられている。図３Ｃと同様に、画素２１毎に設けられた光電変換部３０１及び３１０への露光によって生じた電荷は転送スイッチ３０４によってＦＤ３０２に転送される。また、画素２１毎に設けられた光電変換部３０１及び３１０に接続する転送スイッチ３０４は制御線ｐＴＸ１及びｐＴＸ２を通じて供給される信号によって制御される。画素２１毎に光電変換部３０１及び３１０の数はそれぞれ所望の数を設けてよく、光電変換部３０１及び３１０の数に応じて転送スイッチ３０４及び転送スイッチの制御線の数を変えてよい。

図３Ｄで、光電変換部３０１及び３１０は撮像面を平面視した際に画素２１の中で互いに重なり合わない領域を持って並置してよい。あるいは光電変換部３０１と３１０は撮像面を平面視した際に画素２１の中で互いに重なり合う領域を持って位置し、平面視した際に互いに重なり合う位置にある領域は撮像面の法線方位に対して堆積された位置関係にあってよい。

図３Ｃと同様に、光電変換部３０１と３１０は互いに電荷を生じる入射光波長帯域・強度特性が略一致していてもよく、明瞭に異なる特性を有していても良い。

（撮像素子での可視及び赤外光電変換部の配置例）
図４Ａ～図４Ｃは、それぞれ撮像素子１０１の構成例を示す図である。図４Ｄは、撮像
素子１０２の構成例を示す図である。

撮像素子１０１は、撮像領域２０の画素２１ごとに光電変換部３０１を備え、撮像面を平面視した際に光電変換部３０１の上方に特定波長を透過するカラーフィルタが配される。例えば、図４Ａの構成では、可視光として青（Ｂ）、緑（Ｇ）、赤（Ｒ）を透過するカラーフィルタ４０１，４０２，４０３と、赤外光（ＩＲ）を透過するカラーフィルタ４０４とが格子状に配置される。図４Ｂの構成では、可視光としてシアン（Ｃｙ）、イエロー（Ｙ）、マゼンタ（Ｍｇ）を透過するカラーフィルタ４０５，４０６，４０７と、赤外光（ＩＲ）を透過するカラーフィルタ４０４とが格子状に配置される。図４Ｃに示す構成では、可視光全域（白（Ｗ））を透過するカラーフィルタ４０８と、赤外光（ＩＲ）を透過するカラーフィルタ４０４が格子状に配置される。図４Ａ～図４Ｃに示す撮像素子１０１は可視光と赤外光に対する光電変換部が同一基板上に配置されるので、これらの光電変換部を個別の基板上に配置した撮像素子を搭載する場合よりも、プリズムなどの光束を分岐する光学系を省略できる。

図４Ｄに示すように、撮像素子１０２は、撮像素子１０１と同様に撮像領域２０の画素２１に光電変換部３０１を備える。撮像素子１０２では、全画素に対して赤外光（ＩＲ）を透過するカラーフィルタＩＲ４０４が光電変換部３０１の上方に配される。

図４Ａ～図４Ｄの構成において、撮像素子１０１の画素のうち可視光を透過するカラーフィルタを有する画素が、第１の画素群に相当する。また、撮像素子１０１の画素のうち、赤外光を透過するカラーフィルタを有する画素が、第２の画素群に相当する。撮像素子１０２の画素が、第３の画素群に相当する。

図５Ａ～図５Ｃは撮像素子１０１の別の構成例を示す図である。図５Ａ～図５Ｃのいずれの例においても、撮像素子１０１は、１つの基板で構成される。

撮像素子１０１は、撮像領域２０の画素２１ごとに可視光に対する光電変換部５０１を基板表面側に備え、赤外光に対する光電変換部５０２を光電変換部５０１の下部に備えている。撮像面を平面視した際に光電変換部５０１の上方に特定波長を透過するカラーフィルタが配されるが、本例におけるカラーフィルタは可視光に加えて赤外光に対する透過特性を備える。カラーフィルタ及び可視光に対する光電変換部５０１を伝搬する過程で可視光は赤外光に対する光電変換部５０２に届く前に減衰するため、光電変換部５０２は赤外線を検出できる。

図５Ａの例では、可視光として青（Ｂ）、緑（Ｇ）、赤（Ｒ）を透過するカラーフィルタを備える、図５Ｂの例では、可視光としてシアン（Ｃｙ）、イエロー（Ｙ）、マゼンタ（Ｍｇ）を透過するカラーフィルタを備える。図５Ｃの例では、可視光として白（Ｗ）を透過するカラーフィルタを備える。

図６Ａ～図６Ｃは撮像素子１０１のさらに別の構成例を示す図である。図６Ａ～図６Ｃのいずれの例においても、撮像素子１０１は、可視光に対する光電変換部を備えた基板６０３と、赤外線に対する光電変換部を備えた基板６０４で構成されている。基板６０３と基板６０４との間は信号線及び/または電力線が接合され、シャッタの動作時期や画像信
号の生成は一体の撮像素子として動作する。

撮像素子１０１は、撮像領域２０の画素２１ごとに、可視光に対する光電変換部６０１を備えた基板６０３と、赤外光に対する光電変換部６０２を備えた基板６０４を備えている。基板６０３が表面側に配され、基板６０４が基板６０３の下型に配される。光電変換部６０１および光電変換部６０２の上方には、特定波長を透過するカラーフィルタが配さ
れる。図５Ａ～図５Ｃの構成と同様にカラーフィルタは可視光に加えて赤外光に対する透過特性を備える。また図５Ａ～図５Ｃの構成と同様に、カラーフィルタ及び光電変換部６０１を伝搬する過程で可視光は、光電変換部６０２に届く前に減衰するため、光電変換部６０２は赤外線を検出できる。

図６Ａの例では、可視光として青（Ｂ）、緑（Ｇ）、赤（Ｒ）を透過するカラーフィルタを備える。図６Ｂの例では、可視光としてシアン（Ｃｙ）、イエロー（Ｙ）、マゼンタ（Ｍｇ）を透過するカラーフィルタを備える。図６Ｃの例では、可視光として白（Ｗ）を透過するカラーフィルタを備える。

図５Ａ～図５Ｃ及び図６Ａ～図６Ｃに示す変形例において、撮像素子１０１は、撮像領域２０の全面に、可視光に対する光電変換部を備えた第１の画素群と赤外線に対する光電変換部を備えた第２の画素群とを備える。したがって、可視光画像及び赤外線画像を高い精細度で取得できる。

（第１の実施形態での撮像信号の処理手順）
図７は、本実施形態における撮像装置１００の画像処理手順を示すフローチャートである。ここで、撮像装置１００は、図４Ａに示す第１の撮像素子１０１と図４Ｄに示す第２の撮像素子１０２を有する構成を例に用いて、図７を参照しながら画像処理手順を説明する。

撮像装置１００（図１）が動作を開始すると、手順Ｓ７００において、撮像装置１００は、撮像装置１００からＬ_２の距離に合焦する可視光画像信号と、Ｌ_１の距離に合焦する第１の赤外線画像信号と、Ｌ_３の距離に合焦する第２の赤外線画像信号を取得する。なお、Ｌ_１＜Ｌ_２＜Ｌ_３である。

より具体的には、撮像装置１００から距離Ｌ_２で隔てられた被写体１１３から発せられた可視光光束がレンズ１０３の瞳を通り、撮像素子１０１の可視光光電変換部に合焦して、撮像素子１０１が可視光画像信号を出力する。また撮像装置１００から距離Ｌ_１で隔てられた被写体１１２から発せられた赤外光束がレンズ１０３の瞳を通り、撮像素子１０１の赤外線光電変換部に合焦して、撮像素子１０１が第１の赤外線画像信号を出力する。さらに撮像装置１００から距離Ｌ_３で隔てられた被写体１１４から発せられた赤外光束がレンズ１０３の瞳を通り、撮像素子１０２の赤外線光電変換部に合焦して、撮像素子１０２が第２の赤外線画像信号を出力する。

レンズ１０３は可視光域と近赤外線域での被写体－撮像装置間合焦距離及び焦点距離が異なっている。さらに撮像素子１０１と１０２に関して近赤外線域での被写体－撮像装置間合焦距離及び撮像装置内での撮像素子の合焦位置を予め互いにずらしておくことで、撮像素子１０１と１０２は、近赤外線域で複数の被写体－撮像装置間距離の画像情報を取得できる。

撮像素子１０１から出力される可視光画像信号と第１の赤外線画像信号、及び撮像素子１０２から出力される第２の赤外線画像信号の取得動作は、撮像制御部１０５により同期される。前処理部１０６ａおよび１０６ｂは、撮像素子１０１及び１０２から画像信号を取得し、アナログデジタル信号変換、水平垂直同期や符号化等の前処理を施して、画像処理部１０７に画像信号として送信する。画像処理部１０７は、前処理部１０６ａから可視光画像信号と第１の赤外線画像信号を取得し、前処理部１０６ｂから第２の赤外線画像信号を取得する。これらの画像信号を取得する画像処理部１０７が、第１の取得手段あるいは取得手段に相当する。

画像処理部１０７は、手順Ｓ７１０で可視光画像及び赤外線画像の分別を行う。画像処理部１０７は、可視光画像に対しては手順７２１以降の処理を施し、赤外線画像に対しては手順７２２以降の処理を施す。

手順Ｓ７２１では、画像処理部１０７は、ＲＧＢ表色系の可視光画像を、ＨＳＶ表色系の画像情報に置換して、可視光画像の明度情報Ｖ_ＶＩＳ、色相情報Ｈ、彩度情報Ｓを抽出する。手順Ｓ７２１および手順Ｓ７２２（後述）を実行する画像処理部１０７が、第１の取得手段あるいは抽出手段に相当する。

次に手順Ｓ７３１において、画像処理部１０７は、可視光画像の明度情報Ｖ_ＶＩＳに多重解像度解析を施す。そして手順Ｓ７４１において、画像処理部１０７は、明度情報Ｖ_ＶＩＳの多重解像度解析データを基にラプラシアン演算を施してエッジ情報Ｖ_ＶＩＳ ^Ｌを得る。図８Ａおよび図８Ｂは画像の明度情報Ｖの多重解像度解析工程及びエッジ情報Ｖ^Ｌの導出工程を説明する図である。

まず図８Ａを参照して、明度情報Ｖの多重解像度解析工程Ｓ７２１を説明する。図４Ａに示す撮像素子１０１の画素数を縦Ｙ画素×横Ｘ画素とすると、可視光画像の三原色データの画素数は縦Ｙ／２×横Ｘ／２となる。画像処理部１０７は、このＹ／２＝Ｙ_０、Ｘ／２＝Ｘ_０から成る画像データを原画像データＧ_０として取得する（Ｓ８１０）。

次に手順Ｓ８１１で、画像処理部１０７は、原画像データＧ_０（データ数縦Ｙ_０、横Ｘ_０）に対して縦横共に隣接するデータを統合して半分のデータ数（縦Ｙ_０／２、横Ｘ_０／２）にする。データの統合は、隣接するデータ同士を加算平均あるいは相乗平均したり、一方のデータを選択したりすることにより行える。次に手順Ｓ８１２で、画像処理部１０７は、手順Ｓ８１１のデータ（縦Ｙ_０／２、横Ｘ_０／２）から縦横共に標本数２、間引き数１の比率で抽出（サブサンプリング）する。手順８１３で、画像処理部１０７は、この抽出された画像データをＧ_１として取得する。画像処理部１０７は、手順Ｓ８１１からＳ８１３の手順をｎ回繰り返す（Ｓ８１４からＳ８１１に戻り、Ｓ８１４まで進むループ）。このようにして、画像処理部１０７は、原画像Ｇ_０を基にＧ_１、Ｇ_２、…、Ｇ_ｎとなるガウシアン画像ピラミッドＧ_ｉ＝｛Ｇ_０、Ｇ_１、Ｇ_２、…、Ｇ_ｎ｝を導出する（Ｓ８１５）。

次に図８Ｂを参照して、エッジ情報Ｖ^Ｌの導出工程Ｓ７３１を説明する。画像処理部１０７は、ガウシアン画像ピラミッドＧ_ｉ＝｛Ｇ_０、Ｇ_１、Ｇ_２、…、Ｇ_ｎ｝からガウシアン画像Ｇ_ｎを得て（Ｓ８２０）、縦横共に２倍に拡大する（Ｓ８２１）。次に手順Ｓ８２２で、画像処理部１０７は、手順Ｓ８２１で作成したＧ_ｎの２倍拡大画像からガウシアン画像Ｇ_ｎ－１を差し引いた画像を得る。手順Ｓ８２３で、画像処理部１０７は、この抽出された画像データをラプラシアン画像Ｌ_ｎ－１として取得する。画像処理部１０７は、手順Ｓ８２１からＳ８２３の手順をｎ回繰り返す（Ｓ８２４からＳ８１１に戻り、Ｓ８２４まで進むループ）。このようにして、画像Ｇ_iを基にラプラシアン画像Ｌ_i－１＝｛Ｌ_ｎ－１、Ｌ_ｎ－２、…、Ｌ_０｝となるラプラシアン画像ピラミッドＬ_i－１を得る。それぞれ
のラプラシアン画像Ｌ_ｉは、特定の周波数のエッジ成分を表す。画像処理部１０７は、このラプラシアン画像ピラミッドＬ_i－１に基づいてエッジ情報Ｖ_ＶＩＳ ^Ｌを得る。

なお、エッジ情報Ｖ^Ｌの取得方法は上述のラプラシアンピラミッドを用いた手法に限られずに、既知の任意の手法を用いても構わない。

一方手順Ｓ７１０で分別された赤外線画像は、手順Ｓ７２２において手順７２１と同様にＨＳＶ表色空間の画像情報に置換されるが、赤外線画像は色相及び彩度情報を含まず、専ら明度情報のみ抽出される。以下では、第１の赤外線画像および第２の赤外線画像から
抽出される明度情報をそれぞれ、Ｖ_ＩＲ1およびＶ_ＩＲ２と称する。Ｖ_ＩＲ1およびＶ_ＩＲ２は、それぞれ第１の赤外明度情報および第２の赤外明度情報に相当する。

次に手順Ｓ７３２において、画像処理部１０７は、赤外線画像の明度情報Ｖ_ＩＲ１およびＶ_ＩＲ２に多重解像度解析を施す。そして手順Ｓ７４２において、画像処理部１０７は、明度情報Ｖ_ＩＲ１およびＶ_ＩＲ２の多重解像度解析データを基にラプラシアン演算を施してエッジ情報Ｖ_ＩＲ１ ^ＬおよびＶ_ＩＲ２ ^Ｌを得る。

ここで、手順Ｓ７３２の多重解像度解析処理および手順７４２のエッジ情報導出処理は、図８Ａおよび図８Ｂを用いて説明した手順７３１およびＳ７４２の処理と基本的に同様である。ただし、図４Ａに示す撮像素子１０１から得られる第１の赤外線画像の画素数は縦Ｙ／２×横Ｘ／２であるのに対し、図４Ｄに示す撮像素子１０２から得られる第２の赤外線画像の画素数は、縦Ｙ×横Ｘである。したがって、手順８１０では、第１の赤外線画像は縦Ｙ／２＝Ｙ_０個、横Ｘ／２＝Ｘ_０個から成る原画像データをＧ_{０（ＩＲ1）}と定め
る。一方、第２の赤外線画像は、縦横共に隣接するデータの統合を行い、縦Ｙ／２＝Ｙ_０個、横Ｘ／２＝Ｘ_０個からなる画像データをＧ_{０（ＩＲ２）}と定める。手順Ｓ８１１以降の処理は上記と同様であるため説明を省略する。

図７に戻り、エッジ情報Ｖ^Ｌ、Ｖ_ＩＲ１ ^Ｌ及びＶ_ＩＲ２ ^Ｌを抽出後の処理工程について説明する。

まず手順Ｓ７４３において、画像処理部１０７は、Ｖ_ＩＲ１ ^Ｌ及びＶ_ＩＲ２ ^Ｌの絶対値の大きさを比較してより大きなエッジ情報値を選択する。すなわち、第１の赤外線画像のエッジ強度の方が大きい場合には、画像処理部１０７は手順Ｓ７４４において、Ｖ_ＩＲ１ ^Ｌを赤外線画像のエッジ情報Ｖ_ＩＲ ^Ｌとして選択する。一方、第２の赤外線画像のエッジ強度の方が大きい場合には、画像処理部１０７は手順Ｓ７４５において、Ｖ_ＩＲ２ ^Ｌを赤外線画像のエッジ情報Ｖ_ＩＲ ^Ｌとして選択する。なお、手順７４３～７４５の選択処理は、赤外線画像の部分領域毎に個別に行われてもよい。

さて、手順Ｓ７４１及び手順Ｓ７４４またはＳ７４５を終えた段階で、可視光画像のエッジ情報Ｖ_ＶＩＳ ^Lと赤外線画像のエッジ情報Ｖ_ＩＲ ^Lが得られていることになる。

次に手順Ｓ７５０で、画像処理部１０７は、着目する画素に関する可視光画像及び赤外線画像のエッジ情報のいずれが明瞭か判定する。即ち、画像処理部１０７は、可視光画像のエッジ情報の絶対値Abs(V_ＶＩＳ ^L)と赤外線画像のエッジ情報絶対値Abs(Ｖ_ＩＲ ^L)とを
比較する。もし可視光画像のエッジ情報の絶対値Abs(Ｖ_ＶＩＳ ^L)が赤外線画像のエッジ情報の絶対値Abs(Ｖ_ＩＲ ^L)より大きければ、画像処理部１０７は、Ｖ_ＶＩＳ ^Lを明瞭なエッ
ジ情報と看做す（手順Ｓ７６１）。また可視光画像のエッジ情報の絶対値Abs(Ｖ_ＶＩＳ ^L)が赤外線画像のエッジ情報の絶対値Abs(Ｖ_ＩＲ ^L)以下であれば、画像処理部１０７は、Ｖ_ＩＲ ^Lを明瞭なエッジ情報と看做す（手順Ｓ７６２）。

なお本例でエッジ情報の絶対値Abs(Ｖ_ＶＩＳ ^L)とAbs(Ｖ_ＩＲ ^L)を比較しているが、特定解像度のエッジ情報、例えばラプラシアン画像ピラミッドの階層Ｌnの可視光及び赤外線
画像のエッジ情報に着目して選択してもよい。この場合、他の解像度のエッジ情報は、可視光画像と赤外線画像のうち選択された画像のエッジ情報を用いてもよいし、可視光及び赤外線画像のエッジ情報を合成して用いてもよい。

手順Ｓ７６１またはＳ７６２を終えた段階で、可視光画像または赤外線画像を対比してより明瞭なエッジ情報が選択されていることになる。そこで手順Ｓ７７０で、画像処理部１０７は、選択されたより明瞭なエッジ情報を基に明度情報Ｖ_ＶＩＳｎｅｗを導出（決定
）する。手順Ｓ７３１～Ｓ７６２の処理によって、明瞭なエッジ情報を有する画像の明度情報Ｖ_ＶＩＳｎｅｗ（第３の明度情報）を決定する画像処理部１０７が、第３の取得手段あるいは決定手段に相当する。

最後に手順Ｓ７８０で、画像処理部１０７は、先の手順Ｓ７７０で得た明度情報Ｖ_ＶＩＳｎｅｗと、手順Ｓ７２１で導出した色相情報Ｈ及び彩度情報Ｓとを用いて、被写界深度が拡張された可視光画像を生成する。手順Ｓ７８０によって、被写界深度が拡張された可視光画像（第２の可視光画像）を生成する画像処理部１０７が、生成手段に相当する。

以上が可視光画像及び赤外線画像を基に、被写界深度が拡張された可視光画像を得る撮像信号の処理方法及び撮像装置の構成である。

（実施形態の有利な効果）
本実施形態によれば、可視光領域での合焦距離域の画像情報に加えて、可視光領域では非合焦距離域の輪郭（エッジ）及び/または明度差情報を、可視光領域とは異なる合焦距
離域を有する赤外線画像情報によって補っている。その結果、可視光領域において合焦する被写体－撮像装置間距離より被写界深度を拡張された可視光画像が時間同時性を保ちながら得られる。

なお、複数の合焦距離域からなる可視光画像を重畳させる従来させる従来技術では、合焦像の周囲に非合焦像が重畳する事に由来する画像のコントラスト低下や被写体輪郭のぼやけが視認される。これに対して本実施形態では、可視光画像と赤外線画像のうち、より明瞭なエッジ情報を選択して利用しているので、従来技術のようなコントラスト低下や輪郭のぼやけは生じない。

さらに赤外線は可視光に比べて霧や霞に対する透過性が高く、空と雲との明暗比が強調される特徴があり、遠方監視時の画像情報取得に好ましい。また赤外線は植物や人膚の反射率が高いため、被写体距離に関わらず生体と人工物の分別に適する。従って本実施形態は昼夜間を問わず時間同時性を保ちながら広域を高精細度で監視するためにも好適である。

（第２の実施形態）
図９は本実施形態での撮像装置の別の一例を示すブロック図である。

図９において、撮像装置９００は撮像素子９０１、撮像レンズ９０２を有する。また撮像装置９００に有する符号１０６～１１１は、図１での同一符号と同じ呼称と役割を果たす。被写体１１２は近景、被写体１１３は中景、被写体１１４は遠景である。

撮像素子９０１は、第１の実施形態（図１）での第１の撮像素子１０１と同様の構成であり、撮像素子９０１内に可視光に対する光電変換部と赤外線に対する光電変換部とを共に含む。即ち、撮像素子９０１は、図２および図３に示す構成を採り得る。また、撮像素子９０１での可視光及び赤外線に対する光電変換部の配置は、図４Ａ～図４Ｃ，図５Ａ～図５Ｃ、図６Ａ～図６Ｃのいずれも採り得る。

（撮像レンズ９０２の説明）
撮像レンズ９０２は、回折光学素子を含むレンズ群によって構成される。さらに撮像レンズ９０２に含まれる回折光学素子は、２種類の回折光学素子を含む。具体的には、回折光学素子は、負の焦点距離を有する凹レンズ９０３と、正の焦点距離を有する凸レンズ９０４を堆積した、所謂堆積型回折光学素子から成る。

図１０Ａおよび図１０Ｂは、それぞれ堆積型回折光学素子の断面図および正面図である。図１０Ａおよび図１０Ｂの符号９０３、９０４は、図９において同一符号が付された部材と役割を果たす。

回折光学素子９０３及び９０４はそれぞれ異なる屈折率波長分散特性を有する材料を用いて良い。図１１は回折光学素子９０３及び９０４に用いられるレンズ材料の屈折率波長分散特性を表す。本例は回折光学素子９０３の材料にポリカーボネート系樹脂、回折光学素子９０４の材料にアクリレート系樹脂を用いている。

回折光学素子９０３及び９０４は鋸刃状の回折格子を刻んだ、所謂透過レリーフ型（膜厚変調型）回折光学素子である。レンズ表面の周期形状をレンズ光軸からレンズ辺縁方向に向けて同心円状に、回折次数ｍ、ブレーズ化次数ｐ、かつｍ＝ｐであるブレーズ化グレーチングを施すことにより、高い回折効率が得られる。図１２Ａおよび図１２Ｂは、図１１の材料を用いて、ｍ＝ｐであるブレーズ化グレーチングを施した回折光学素子での、ｍ次回折光回折効率の波長依存性を示す。図１２Ａは凹レンズ回折光学素子９０３の設計例を示し、図１２Ｂは凸レンズ回折光学素子９０４の設計例を示している。各例の設計値は、凹レンズ回折光学素子９０３（図１２Ａ）がｍ＝ｐ＝－９かつ前記次数での回折波長λ＝７００ｎｍ、凸レンズ回折光学素子９０４（図１２Ｂ）がｍ＝ｐ＝１０かつ前記次数での回折波長λ＝７００ｎｍである。凹レンズ及び凸レンズ共に、可視光から近赤外域に渡って整数次数（ｍ次）で回折効率のピークが認められる。そして回折効率のピークとなる波長が最も近接した次数の組を足し合わせると、次数の和は＋１となる。つまりｍ＝ｐであるブレーズ化グレーチングを施された正及び負の回折次数の回折光学素子を堆積した回折光学素子は、波長毎の回折次数の和が＋１と看做せるとき、０次光の入射に対して＋１次回折光を出射する回折光学素子として機能する。そして堆積型回折光学素子が０次光の入射に対して＋１次回折光を出射する回折効率は図１３に示すように、可視光域から近赤外域まで高い１次回折効率を示す。

図１０Ａおよび図１０Ｂの符号１０００はレンズ瞳の全域、符号１００１はレンズ光軸近傍のレンズ瞳域（第１領域）、符号１００２はレンズ辺縁側のレンズ瞳域（第２領域）を示す。撮像レンズ９０２のレンズ瞳全域１０００は、レンズ光軸を含む領域１００１と、レンズ領域１００１の外側の領域であるレンズ領域１００２に区分される。本例の撮像レンズ９０２は、可視光域ではレンズ瞳全域１０００へ入射する光束に関して被写体と撮像装置とを隔てる距離Ｌ_２で撮像素子に合焦する。そして赤外線領域では、レンズ光軸近傍のレンズ瞳域１００１へ入射する光束に関して被写体と撮像装置とを隔てる距離Ｌ_３で、レンズ辺縁側のレンズ瞳域１００２へ入射する光束に関して被写体と撮像装置とを隔てる距離Ｌ_１で撮像素子に合焦する。ここで距離Ｌ_１とＬ_３は互いに重複しない合焦距離の範囲である。また被写体－撮像装置間の合焦距離Ｌ_１とＬ_２の範囲、または距離Ｌ_２とＬ_３は一部重複していても良いが、可視光画像での合焦距離域を拡張する上でＬ_１、Ｌ_２、Ｌ_３の距離範囲が互いに異なる方が好ましい。

図１４は、撮像レンズ９０２の焦点距離の入射波長依存性を表している。ここで、可視光域での被写体－撮像装置間合焦距離Ｌ_２＝５００ｍ、赤外線域でのレンズ光軸近傍のレンズ瞳域１００１の被写体－撮像装置間合焦距離Ｌ_３＝８００ｍ、レンズ辺縁側のレンズ瞳域１００２の被写体－撮像装置間合焦距離Ｌ_１＝３００ｍとしている。なお可視光域の設計波長はナトリウムｄ線（λ＝５８７．５６ｎｍ）、赤外線域の設計波長はλ＝８００ｎｍである。また可視光域の焦点距離はf=３５．００００ｍｍ、赤外線域のレンズ光軸近傍のレンズ瞳域１００１での焦点距離ｆ＝３５．００２５ｍｍ、レンズ辺縁側のレンズ瞳域１００２の焦点距離ｆ＝３５．００１５ｍｍ、Ｆ値は１．４である。

なお本例で赤外線域での合焦距離域が異なるレンズ瞳域の分割数を２つとしているが、
所望の合焦距離域の数に応じてレンズ瞳域の分割数を増やしても良い。

このように回折光学素子を含む撮像レンズは可視光域での色収差を抑制しつつ、赤外線域での被写体－撮像装置間合焦距離域を複数化することができる。

また撮像レンズ９０２は、可視光域での高次回折光によるハローまたはグレアを抑制して、赤外線域での被写体－撮像装置間合焦距離域を複数化することができる。撮像レンズ９０２に含まれる回折光学素子が異種の材料、または正及び負の焦点距離を有する、または正及び負の設計回折次数を有する複数の回折光学素子を堆積した構成から成るためである。

またレンズ瞳径がレンズ辺縁部に拡張される場合、被写体－撮像装置間の合焦距離範囲は合焦点より遠方は深く、合焦点より近方は浅くなる。従ってレンズ辺縁部に入射した赤外線束の被写体－撮像装置間の合焦距離Ｌ_１はレンズ光軸近傍にした赤外線束の被写体－撮像装置間の合焦距離Ｌ_３より短い方が、レンズ瞳径が拡張されて増大したレンズへの入射光量を有効に利用できることからより好ましい。

（第２の実施形態での撮像信号の処理手順）
図１５は、本実施形態での撮像装置９００の画像処理手順を示すフローチャートである。ここで撮像装置９００は、図４Ａに示す撮像素子を有する構成を例に用いて、図１５を参照しながら画像処理手順を説明する。

撮像装置９００（図９）が動作を開始すると、手順Ｓ１５００において、撮像装置９００は、撮像装置９００からＬ_２の距離に合焦する可視光画像と、Ｌ_１およびＬ_３の距離に合焦する赤外線画像が重畳した赤外線画像を取得する。なお、距離Ｌ_１，Ｌ_２，Ｌ_３は第１の実施形態と同様にＬ_１＜Ｌ_２＜Ｌ_３である。

より具体的には、撮像装置９００から距離Ｌ_２で隔てられた被写体１１３から発せられた可視光光束が撮像レンズ９０２のレンズ瞳全域１０００を通り、撮像素子９０１の可視光光電変換部に合焦して、撮像素子９０１が可視光画像信号を出力する。また撮像装置９００から距離Ｌ_３で隔てられた被写体１１４から発せられた赤外線光束が撮像レンズ９０２の光軸近傍のレンズ瞳域１００１を通り、撮像素子９０１の赤外線光電変換部に合焦して、撮像素子９０１が赤外線画像信号を出力する。また撮像装置９００から距離Ｌ_１で隔てられた被写体１１２から発せられた赤外線光束が撮像レンズ９０２のレンズ辺縁部のレンズ瞳域１００２を通り、撮像素子９０１の赤外線光電変換部に合焦して、撮像素子９０１が赤外線画像信号を出力する。

すなわち、撮像素子９０１が出力する赤外線画像は、レンズ瞳域１００１を通る被写体１１４の合焦像と、レンズ瞳域１００２を通る被写体１１２の合焦像が重畳されたものである。換言すると、本実施形態の撮像素子９０１が出力する赤外線画像は、第１の実施形態における第１の赤外線画像と第２の赤外線画像を足し合わせた画像に相当する。

この時、レンズ瞳域１００１を通る被写体１１２の非合焦赤外線束及びレンズ瞳域１００２を通る被写体１１４の非合焦赤外線束も重畳して入射する。しかしいずれの非合焦赤外線束も合焦赤外線束に比べて信号強度が弱くなるため合焦赤外線束による赤外線画像のエッジ情報の検出に対して妨げとならない。

前処理部１０６は、撮像素子９０１から画像信号を取得し、アナログデジタル信号変換、水平垂直同期や符号化等の前処理を施して、画像処理部１０７に画像信号として送信する。画像処理部１０７は、前処理部１０６から可視光画像信号と赤外線画像信号を取得す
る。これらの画像信号を取得する画像処理部１０７が、取得手段に相当する。

画像処理部１０７は、手順Ｓ１５１０で可視光画像及び赤外線画像の分別を行う。画像処理部１０７は、可視光画像に対しては手順１５２０以降の処理を施し、赤外線画像に対しては手順１５２３以降の処理を施す。

手順Ｓ１５２３では、画像処理部１０７は、ＲＧＢ表色系の可視光画像を、ＨＳＶ表色系の画像情報に置換して、可視光画像の明度情報Ｖ_ＶＩＳ、色相情報Ｈ、彩度情報Ｓを抽出する。手順Ｓ１５２３および手順Ｓ１５２０（後述）を実行する画像処理部１０７が、抽出手段に相当する。

続く手順Ｓ１５２４で、画像処理部１０７は、明度情報Ｖ_ＶＩＳ、色相情報Ｈ、彩度情報Ｓを分別する。画像処理部１０７は、手順Ｓ１５２５で可視光画像の明度情報Ｖ_ＶＩＳに多重解像度解析を施し、手順Ｓ１５２６でＶ_ＶＩＳの多重解像度解析データを基にラプラシアン演算を施してエッジ情報Ｖ_ＶＩＳ ^Ｌを導出する。

手順Ｓ１５２７は後述するＳ１５３０での可視光画像及び赤外線画像のエッジ情報の判定に用いるための情報を導出する処理である。手順Ｓ１５２７において、画像処理部１０７は、原画像データＧ_０を基に得た彩度情報Ｓ（データ数縦Ｙ_０、横Ｘ_０）に対して、幾つかの画素群から成る区画を定め、各区画内の画素の最も低い彩度値を各区画内の彩度最低値Ｓ_minとして導出する。彩度最低値Ｓ_ｍｉｎは後述するＳ１５３０の判定処理で用い
られるが、判定方法によっては彩度最低値Ｓ_ｍｉｎは用いない場合もある。従って、Ｓ１５３０の判定方法で彩度最低値Ｓ_minを用いない場合は、手順Ｓ１５２７を省略してよい
。

一方、本実施形態での赤外線画像は、第１の実施形態での第１の赤外線画像と第２の赤外線画像を足し合わせた画像に相当する。即ち、本実施形態の赤外線画像は、被写体１１２の非合焦赤外線束及び被写体１１４の合焦赤外線束、被写体１１４の非合焦赤外線束及び被写体１１２の合焦赤外線束から得られる画像である。被写体１１２の非合焦赤外線束及び被写体１１４の合焦赤外線束はレンズ光軸近傍のレンズ瞳域１００１を通って、撮像素子９０１の赤外線光電変換部へ入射する。被写体１１４の非合焦赤外線束及び被写体１１２の合焦赤外線束は、レンズ辺縁部のレンズ瞳域１００２を通って、撮像素子９０１の赤外線光電変換部へ入射する。そして、前述の合焦及び非合焦赤外線束による赤外線画像が撮像素子９０１から出力されることになる。

こうして得られる赤外線画像は、手順Ｓ１５２０において、画像処理部１０７によってＨＳＶ表色空間系の画像情報を置換され、赤外線画像の明度情報Ｖ_ＩＲが抽出される。従って本実施形態での赤外線画像の明度情報Ｖ_ＩＲは被写体１１２及び被写体１１４の合焦及び非合焦画像の赤外線明度情報が重畳されている。さらに手順Ｓ１５２１で赤外線画像の明度情報Ｖ_ＩＲに多重解像度解析を施し、手順Ｓ１５２２でＶ_ＩＲの多重解像度解析データを基にラプラシアン演算を施してエッジ情報Ｖ_ＩＲ ^Ｌを得る。

手順Ｓ１５２１及びＳ１５２５の多重解像度解析、手順Ｓ１５２２及びＳ１５２６のラプラシアン演算とエッジ情報抽出は、それぞれ図８Ａおよび図８Ｂに示して説明したので繰り返しの説明は省略する。

手順Ｓ１５２２及びＳ１５２６を終えた段階で、可視光画像のエッジ情報Ｖ_ＶＩＳ ^Ｌと赤外線画像のエッジ情報Ｖ_ＩＲ ^Ｌが得られていることになる。

次に手順Ｓ１５３０で、画像処理部１０７は、着目する画素に関する可視光画像及び赤
外線画像のエッジ情報のいずれが明瞭か判定する。図１６Ａおよび図１６Ｂは、可視光画像及び赤外線画像のエッジ情報のＶ^Ｌの判定工程Ｓ１５３０の２つの例をより詳細に説明する図である。

図１６Ａは、判定工程Ｓ１５３０の実装例を示すフローチャートである。図１６Ａに示す処理は、可視光画像のエッジ情報の絶対値Ａｂｓ(Ｖ_ＶＩＳ ^Ｌ)と赤外線画像のエッジ情報の絶対値Ａｂｓ(Ｖ_ＩＲ ^Ｌ)とを単純に比較して、エッジ情報の絶対値が大きい方を明瞭なエッジ情報と看做す方法である。即ち、画像処理部１０７は、手順Ｓ１６１０で可視光画像のエッジ情報Ｖ_ＶＩＳ ^Ｌと赤外線画像のエッジ情報Ｖ_ＩＲ ^Ｌを取得し、手順Ｓ１６１１で、Ｖ_ＶＩＳ ^ＬとＶ_ＩＲ ^Ｌの絶対値を導出し、手順Ｓ１６１２で、Ｖ_ＶＩＳ ^ＬとＶ_ＩＲ ^Ｌの絶対値を比較する。可視光画像のエッジ情報の絶対値Ａｂｓ(Ｖ_ＶＩＳ ^Ｌ)が赤外線画像のエッジ情報の絶対値Ａｂｓ(Ｖ_ＩＲ ^Ｌ)より大きければ、手順Ｓ１６１３に進み、画像処理部１０７は、Ｖ_ＶＩＳ ^Ｌが明瞭なエッジ情報と看做す。また可視光画像のエッジ情報の絶対値Ａｂｓ(Ｖ_ＶＩＳ ^Ｌ)が赤外線画像のエッジ情報の絶対値Ａｂｓ(Ｖ_ＩＲ ^Ｌ)以下であれば、手順Ｓ１６１４に進み、画像処理部１０７は、Ｖ_ＩＲ ^Ｌが明瞭なエッジ情報と看做す。

なお本例ではエッジ情報の絶対値Abs(Ｖ_ＶＩＳ ^L)とAbs(Ｖ_ＩＲ ^L)とを比較しているが、特定解像度のエッジ情報、例えばラプラシアン画像ピラミッドの階層Ｌnの可視光及び赤
外線画像のエッジ情報に着目して選択してもよい。この場合、他の解像度のエッジ情報は、可視光画像と赤外線画像のうち選択された画像のエッジ情報を用いてもよいし、可視光及び赤外線画像のエッジ情報を合成して用いてもよい。

図１６Ｂは、判定工程Ｓ１５３０の別の実装例を示すフローチャートである。図１６Ｂに示す処理は、エッジ情報の選択に、可視光画像から得られる彩度最小値Ｓ_ｍｉｎを利用する方法である。この方法において可視光画像は、空気・霧・霞により可視光散乱が大きくなるにつれて可視光画像輪郭のぼやけと最低彩度値の上昇（画像の無彩色化）を伴うと仮定している。

画像処理部１０７は、手順Ｓ１６２０においてエッジ情報取得を取得し、手順１６２２においてエッジ情報の絶対値を導出する。これらの処理は図１６Ａの手順Ｓ１６１０及びＳ１６１１と同様である。

画像処理部１０７は、手順Ｓ１６２１において、彩度最低値Ｓ_minを取得する。彩度最
低値Ｓ_ｍｉｎは、手順Ｓ１５２７において、原画像データＧ_０（データ数縦Ｙ_０、横Ｘ_０）から得た彩度情報Ｓ（データ数縦Ｙ_０、横Ｘ_０）を分別して、ある画素群毎に彩度最低値Ｓ_minを割り付けることにより得られている。具体的には、例えば縦j画素、横k画素か
ら成る画素群を定め、原画像データＧ_０に対してj画素×k画素の区画毎に彩度情報を参照して、前記区画内画素の彩度最低値を前記区画の彩度最低値Ｓ_minとして割り付けられて
よい。また彩度情報Ｓ（データ数縦Ｙ_０、横Ｘ_０）に統合対象となる彩度データの彩度最低値Ｓ_minを拾い出す多重解像度解析を施し、解像度が粗いガウシアン画像の彩度情報を
画素群毎の彩度最低値Ｓ_ｍｉｎとして割り当てられてよい。

手順Ｓ１６２３までに、エッジ情報の絶対値Ａｂｓ(Ｖ_ＶＩＳ ^Ｌ)、Ａｂｓ（Ｖ_ＩR ^Ｌ）
及び彩度最低値Ｓ_minが得られている。手順Ｓ１６２３では、画像処理部１０７は、これ
らの情報を用いて、エッジ情報の選択を行う。

図１６Ｂにおいて、ＳをＨＳＶ表色空間での最大彩度値とする。まず、彩度最低値が第１の閾値以下（Ｓ_ｍｉｎ≦０．１Ｓ）ならば、画像処理部１０７は、可視光画像のエッジ情報Ｖ_ＶＩＳ ^Ｌを明瞭なエッジ情報とみなす（手順Ｓ１６２４）。一方、彩度最低値が第
２の閾値よりも大きい（Ｓ_ｍｉｎ＞０．７Ｓ）ならば、画像処理部１０７は、赤外線画像のエッジ情報Ｖ_ＩＲ ^Ｌを明瞭なエッジ情報とみなす（手順Ｓ１６２７）。上記以外、すなわち０．１Ｓ＜Ｓ_ｍｉｎ≦０．７Ｓであれば、可視光画像のエッジ情報の絶対値Ａｂｓ(
Ｖ_ＶＩＳ ^Ｌ)が赤外線画像のエッジ情報の絶対値Ａｂｓ(Ｖ_ＩＲ ^Ｌ)を比較して、大きい方
を明瞭なエッジ情報とみなす（手順Ｓ１６２５またはＳ１６２６）。ここで、２つの判定閾値０．１Ｓおよび０．７Ｓは一例に過ぎず、その他の値であってもよい。

なお、０．１Ｓ＜Ｓ_ｍｉｎ≦０．７Ｓの時に、Ａｂｓ（Ｖ_ＶＩＳ ^Ｌ）とＡｂｓ（Ｖ_ＩＲ ^Ｌ）を単純に比較するのではなく、Ａｂｓ（Ｖ_ＩＲ ^Ｌ）に彩度最低値Ｓ_ｍｉｎに応じた重みＦを乗じた値を比較に用いてもよい。重み関数は、例えばＦ（Ｓｍｉｎ）＝（Ｓｍｉｎ－０．１Ｓ）／（０．７Ｓ－０．１Ｓ）とする。この場合、０．１Ｓ＜Ｓ_ｍｉｎ≦０．７Ｓの時に、画像処理部１０７は、Ａｂｓ（Ｖ_ＶＩＳ ^Ｌ）がＡｂｓ（Ｆ（Ｓ_ｍｉｎ）×Ｖ_ＩＲ ^Ｌ）より大きければ、Ｖ_ＶＩＳ ^Ｌを明瞭なエッジ情報と看做す（手順Ｓ１６２５）。一方、画像処理部１０７は、Ａｂｓ（Ｖ_ＶＩＳ ^Ｌ）がＡｂｓ（Ｆ（Ｓ_ｍｉｎ）×Ｖ_ＩＲ ^Ｌ）以下であれば、Ｖ_ＩＲ ^Ｌを明瞭なエッジ情報と看做す（手順Ｓ１６２６）。なお、手順Ｓ１６２６では、Ａｂｓ（Ｆ（Ｓ_ｍｉｎ）×Ｖ_ＩＲ ^Ｌ）を明瞭なエッジ情報とみなしてもよい。

なお本例でエッジ情報の絶対値Abs(Ｖ_ＶＩＳ ^L)とAbs(Ｖ_ＩＲ ^L)を比較しているが、特定解像度のエッジ情報、例えばラプラシアン画像ピラミッドの階層Ｌnの可視光及び赤外線
画像のエッジ情報に着目して選択してもよい。この場合、他の解像度のエッジ情報は、可視光画像と赤外線画像のうち選択された画像のエッジ情報を用いてもよいし、可視光及び赤外線画像のエッジ情報を合成して用いてもよい。

図１５の説明に戻る。手順Ｓ１５３０を終えた段階で、可視光画像または赤外線画像を対比してより明瞭なエッジ情報が選択されていることになる。そこで手順Ｓ１５４０で、画像処理部１０７は、選択されたより明瞭なエッジ情報を基に明度情報Ｖ_ＶＩＳｎｅｗを導出する。手順Ｓ１５２２～Ｓ１５４０の処理によって、明瞭なエッジ情報を有する画像の明度情報Ｖ_ＶＩＳｎｅｗ（第３の明度情報）を決定する画像処理部１０７が、決定手段に相当する。

最後に手順Ｓ１５５０で、画像処理部１０７は、先の手順Ｓ１５４０で得た明度情報Ｖ_ＶＩＳｎｅｗと、手順Ｓ１５２３で導出した色相情報Ｈ及び彩度情報Ｓとを用いて、被写界深度拡張された可視光画像を生成する。

以上が可視光画像及び赤外線画像を基に、被写界深度が拡張された可視光画像を得る撮像信号の処理方法及び撮像装置の構成である。

このように本実施形態の構成においても、可視光領域での合焦距離域の画像情報に加えて、可視光領域では非合焦距離域の輪郭（エッジ）及び/または明度差情報を、可視光領
域と異なる合焦距離を有する赤外線画像情報によって補っている。その結果、可視光領域において合焦する被写体－撮像装置間距離より被写界深度を拡張された可視光画像が時間同時性を保ちながら得られる。

＜第３の実施形態＞
第３の実施形態による撮像システム及び移動体について、図１７Ａ及び図１７Ｂを用いて説明する。図１７Ａ及び図１７Ｂは、本実施形態による撮像システム及び移動体の構成を示す図である。

図１７Ａは、車載カメラに関する撮像システム４００の一例を示したものである。撮像
システム４００は、撮像装置４１０を有する。撮像装置４１０は、上述の第１または第２の実施形態に記載の撮像装置のいずれかである。撮像システム４００は、撮像装置４１０により取得された複数の画像データに対し、画像処理を行う画像処理部４１２と、撮像装置４１０により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部４１４を有する。なお、本実施形態では、画像処理部４１２が上記で説明した画像処理（図７または図１５）を実施することを想定するが、撮像装置４１０内の画像処理部１０７が当該処理を実施してもよい。また、撮像システム４００は、算出された視差に基づいて対象物までの距離を算出する距離取得部４１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部４１８と、を有する。ここで、視差取得部４１４や距離取得部４１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部４１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム４００は、車両情報取得装置４２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ４３０が接続されている。すなわち、制御ＥＣＵ４３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、ドライバーへ警報を発する警報装置４４０とも接続されている。例えば、衝突判定部４１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ４３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置４４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム４００で撮像する。図１７Ｂに、車両前方（撮像範囲４５０）を撮像する場合の撮像システム４００を示した。車両情報取得装置４２０は、撮像システム４００を動作させ撮像を実行させるように指示を送る。上述の第１乃至第３実施形態の撮像装置を撮像装置４１０として用いることにより、本実施形態の撮像システム４００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（輸送機器）に適用することができる。移動体（輸送機器）における移動装置はエンジン、モーター、車輪、プロペラなどの各種の駆動源である。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

（その他の実施形態）
撮像素子は、画素が設けられた第１半導体チップと、読み出し回路（増幅器）が設けられた第２半導体チップとを積層した構造（チップ積層構造）を有していてもよい。第２半導体チップにおける読み出し回路（増幅器）は、それぞれ、第１半導体チップの画素列に対応した列回路とすることができる。また、第２半導体チップにおける読み出し回路（増幅器）は、それぞれ、第１半導体チップの画素あるいは画素ブロックに対応したマトリックス回路とすることもできる。第１半導体チップと第２半導体チップとの接続は貫通電極（ＴＳＶ）、銅（Ｃｕ）等の金属の直接接合によるチップ間配線、チップ間のマイクロバンプによる接続などを採用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、これまで述べた各実施例を種々組み合わせて実施することができる。

１００ 撮像装置 １０１ 第１の撮像素子 １０２ 第２の撮像素子
１０３ 撮像レンズ １０７ 画像処理部

Claims (19)

1. 第１の距離に合焦する可視光域の画像を表す可視光画像信号と、前記第１の距離よりも短い第２の距離に合焦する赤外光域の画像と前記第１の距離よりも長い第３の距離に合焦する赤外光域の画像とを表す赤外線画像信号とを取得する第１の取得手段と、
   前記可視光画像信号から第１の明度情報、色相情報、および彩度情報を取得し、前記赤外線画像信号から少なくとも第２の明度情報を取得する、第２の取得手段と、
   前記第１の明度情報から得られるエッジ情報と前記第２の明度情報から得られるエッジ情報に基づいて、第３の明度情報を取得する第３の取得手段と、
   前記第３の明度情報、前記色相情報、および前記彩度情報を用いて、第２の可視光画像を生成する生成手段と、
   を備える画像処理装置。
2. 前記第１の取得手段は、前記第２の距離に合焦する赤外光域の画像を表す第１の赤外線画像信号と、前記第３の距離に合焦する赤外光域の画像を表す第２の赤外線画像信号とを、前記赤外線画像信号として取得し、
   前記第２の取得手段は、前記第１の赤外線画像信号から得られる第１の赤外明度情報と、前記第２の赤外線画像信号から得られる第２の赤外明度情報とのそれぞれを、前記第２の明度情報として抽出する、
   請求項１に記載の画像処理装置。
3. 前記第３の取得手段は、前記第１の明度情報、前記第１の赤外明度情報、前記第２の赤外明度情報のうち、エッジ強度が最も大きいものを、前記第３の明度情報として決定する、
   請求項２に記載の画像処理装置。
4. 前記第１の取得手段は、前記第２の距離に合焦する赤外光域の画像と前記第３の距離に合焦する赤外光域の画像とが重畳された画像を表す画像信号を、前記赤外線画像信号として取得する、
   請求項１に記載の画像処理装置。
5. 前記第３の取得手段は、前記第１の明度情報と前記第２の明度情報のうち、エッジ強度
   が最も大きいものを、前記第３の明度情報として決定する、
   請求項４に記載の画像処理装置。
6. 前記第３の取得手段は、前記第１の明度情報、前記第２の明度情報、および前記彩度情報に基づいて、前記第３の明度情報を決定する、
   請求項４に記載の画像処理装置。
7. 前記第３の取得手段は、
   前記彩度情報が第１の閾値以下であれば、前記第１の明度情報を前記第３の明度情報として決定し、
   前記彩度情報が前記第１の閾値よりも大きい第２の閾値よりも大きければ、前記第２の明度情報を前記第３の明度情報として決定し、
   上記以外の場合は、前記第１の明度情報と前記第２の明度情報のうち、エッジ強度が最も大きいものを、前記第３の明度情報として決定する、
   請求項６に記載の画像処理装置。
8. 前記第３の取得手段は、前記第１の明度情報から得られるエッジ強度と、前記第２の明度情報から得られるエッジ強度に前記彩度情報に基づく重み付けをした値を比較して、当該比較の結果に基づいて前記第３の明度情報を決定する、
   請求項６に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置と、
   可視光域において第１の焦点距離を有し、赤外光域において前記第１の焦点距離よりも短い第２の焦点距離および前記第１の焦点距離よりも長い第３の焦点距離を有する撮像レンズと、
   前記撮像レンズを透過した光束を受光し、第１の距離に合焦する可視光域の画像を表す可視光画像信号と、前記第１の距離よりも短い第２の距離に合焦する赤外光域の画像と前記第１の距離よりも長い第３の距離に合焦する赤外光域の画像とを表す赤外線画像信号とを出力する撮像素子と、
   を備え、
   前記画像処理装置は、前記撮像素子が出力する可視光画像信号と赤外線画像信号から、前記第２の可視光画像を生成する、
   撮像装置。
10. 移動体であって、
    請求項９に記載の撮像装置と、
    移動装置と、
    前記撮像装置から出力される信号から情報を取得する処理装置と、
    前記情報に基づいて前記移動装置を制御する制御装置と、
    を有することを特徴とする移動体。
11. 画像処理装置が行う画像処理方法であって、
    第１の距離に合焦する可視光域の画像を表す可視光画像信号から第１の明度情報、色相情報、および彩度情報を抽出し、前記第１の距離よりも短い第２の距離に合焦する赤外光域の画像と前記第１の距離よりも長い第３の距離に合焦する赤外光域の画像とを表す赤外線画像信号から少なくとも第２の明度情報を取得する第１の取得ステップと、
    前記第１の明度情報から得られるエッジ情報と前記第２の明度情報から得られるエッジ情報に基づいて、第３の明度情報を取得する第２の取得ステップと、
    前記第３の明度情報、前記色相情報、および前記彩度情報を用いて、第２の可視光画像を生成する生成ステップと、
    を含む、画像処理方法。
12. 前記赤外線画像信号は、前記第２の距離に合焦する赤外光域の画像を表す第１の赤外線画像信号と、前記第３の距離に合焦する赤外光域の画像を表す第２の赤外線画像信号とを含み、
    前記第１の取得ステップでは、前記第１の赤外線画像信号から得られる第１の赤外明度情報と、前記第２の赤外線画像信号から得られる第２の赤外明度情報とのそれぞれを、前記第２の明度情報として抽出する、
    請求項１１に記載の画像処理方法。
13. 前記第２の取得ステップでは、前記第１の明度情報、前記第１の赤外明度情報、前記第２の赤外明度情報のうち、エッジ強度が最も大きいものを、前記第３の明度情報として決定する、
    請求項１２に記載の画像処理方法。
14. 前記赤外線画像信号は、前記第２の距離に合焦する赤外光域の画像と前記第３の距離に合焦する赤外光域の画像とが重畳された画像を表す画像信号である
    請求項１１に記載の画像処理方法。
15. 前記第２の取得ステップでは、前記第１の明度情報と前記第２の明度情報のうち、エッジ強度が最も大きいものを、前記第３の明度情報として決定する、
    請求項１４に記載の画像処理方法。
16. 前記第２の取得ステップでは、前記第１の明度情報、前記第２の明度情報、および前記彩度情報に基づいて、前記第３の明度情報を決定する、
    請求項１４に記載の画像処理方法。
17. 前記第２の取得ステップでは、
    前記彩度情報が第１の閾値以下であれば、前記第１の明度情報を前記第３の明度情報として決定し、
    前記彩度情報が前記第１の閾値よりも大きい第２の閾値よりも大きければ、前記第２の明度情報を前記第３の明度情報として決定し、
    上記以外の場合は、前記第１の明度情報と前記第２の明度情報のうち、エッジ強度が最も大きいものを、前記第３の明度情報として決定する、
    請求項１６に記載の画像処理方法。
18. 前記第２の取得ステップでは、前記第１の明度情報から得られるエッジ強度と、前記第２の明度情報から得られるエッジ強度に前記彩度情報に基づく重み付けをした値を比較して、当該比較の結果に基づいて前記第３の明度情報を決定する、
    請求項１６に記載の画像処理方法。
19. 請求項１１から１８のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。

Images