JP6297234B1 - 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 - Google Patents
複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP6297234B1 JP6297234B1 JP2017549829A JP2017549829A JP6297234B1 JP 6297234 B1 JP6297234 B1 JP 6297234B1 JP 2017549829 A JP2017549829 A JP 2017549829A JP 2017549829 A JP2017549829 A JP 2017549829A JP 6297234 B1 JP6297234 B1 JP 6297234B1
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- image
- imaging
- images
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 429
- 150000001875 compounds Chemical class 0.000 title claims description 60
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000003287 optical effect Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 46
- 230000015572 biosynthetic process Effects 0.000 claims description 29
- 238000003786 synthesis reaction Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 230000010287 polarization Effects 0.000 description 15
- 238000000926 separation method Methods 0.000 description 12
- 238000005192 partition Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は特に、複数の撮像領域に同じ視野の画像を結像させ、複数の撮像領域で異なる種類の情報を表す複数の画像を取得するカメラ装置で取得される複数の画像を高解像度化するプロセッサーを備えた複眼撮像装置に関する。本発明はさらに上記の複眼撮像装置で実施される画像処理方法に関する。
本発明はさらに上記の複眼撮像装置又は画像処理方法における処理をコンピュータに実行させるプログラム、及び該プログラムを記録した記録媒体に関する。
複数の撮像領域を有する撮像素子と、
前記複数の撮像領域に対応して設けられ、対応する撮像領域に互いに同じ視野の画像を結像させる複数のレンズと、
複数の光学フィルターとを有し、
前記複数の撮像領域は、少なくとも一つの第1種の撮像領域と、前記第1種の撮像領域よりも小さく、且つ互いに同じ大きさの複数の第2種の撮像領域とを含み、
前記複数のレンズのうち、より大きい撮像領域に対応するレンズはより長い焦点距離を有し、
前記複数の光学フィルターは、前記第2種の撮像領域の各々で取得される画像が、前記第1種の撮像領域の各々で取得される画像とは異なる種類の情報を表すものとなるように設けられているカメラ装置と、
少なくとも一つの高解像度化部を備えたプロセッサーとを備え、
前記少なくとも一つの高解像度化部は、
前記第2種の撮像領域のいずれかで取得された画像を低解像度画像として受けて、前記低解像度画像からその低周波成分及び高周波成分を抽出する第1のフィルター処理部と、
前記第1種の撮像領域のいずれかで取得された画像を参照画像として受け、前記参照画像からその低周波成分及び高周波成分を抽出する第2のフィルター処理部と、
前記低解像度画像の低周波成分を前記参照画像と同じ解像度まで拡大し、拡大された低周波成分と前記参照画像の低周波成分とを、重み付け加算により合成して、合成低周波成分を生成する低周波成分合成部と、
前記低解像度画像の高周波成分を前記参照画像と同じ解像度まで拡大し、拡大された高周波成分と前記参照画像の高周波成分とを、重み付け加算により合成して、合成高周波成分を生成する高周波成分合成部と、
前記合成低周波成分と前記合成高周波成分とを合成し、高解像度画像を生成する成分合成部と
を有する。
本発明の他の態様の複眼撮像装置は、
複数の撮像領域を有する撮像素子と、
前記複数の撮像領域に対応して設けられ、対応する撮像領域に互いに同じ視野の画像を結像させる複数のレンズと、
複数の光学フィルターとを有し、
前記複数の撮像領域は、少なくとも一つの第1種の撮像領域と、前記第1種の撮像領域よりも小さく、且つ互いに同じ大きさの複数の第2種の撮像領域とを含み、
前記複数のレンズのうち、より大きい撮像領域に対応するレンズはより長い焦点距離を有し、
前記複数の光学フィルターは、前記第2種の撮像領域の各々で取得される画像が、前記第1種の撮像領域の各々で取得される画像とは異なる種類の情報を表すものとなるように設けられているカメラ装置と、
少なくとも一つの高解像度化部を備えたプロセッサーとを備え、
前記少なくとも一つの高解像度化部は、
前記第1種の撮像領域のいずれかで取得された画像を参照画像として受け、前記参照画像を縮小して、前記第2種の撮像領域のいずれかで取得された低解像度画像と同じ解像度の縮小参照画像を生成する縮小処理部と、
前記縮小参照画像と、前記低解像度画像との線形関係を近似する線形係数を計算する係数計算部と、
前記係数計算部により計算された線形係数から成る係数マップを前記参照画像と同じ解像度まで拡大する係数マップ拡大部と、
拡大された係数マップの線形係数と前記参照画像とを元に、前記低解像度画像により表される情報を持つ高解像度画像を生成する線形変換部と
を有する。
同じ視野の画像が結像される複数の撮像領域での撮像で得られる、互いに異なる種類の情報を有し、互いに解像度が異なる複数の画像を取得するステップと、
前記互いに解像度が異なる複数の画像のうち、比較的解像度の高い画像に含まれる高解像度成分を用いて比較的解像度が低い複数の画像に対して高解像度化処理を行って、互いに異なる種類の情報を持つ高解像度画像を生成する高解像度化ステップと
前記複数の互いに異なる種類の情報を持つ高解像度画像を合成して、一つ以上の合成高解像度画像を生成する合成ステップとを
有を有し、
前記高解像度化ステップは、
前記比較的解像度が低い複数の画像からその低周波成分及び高周波成分を抽出し、
前記比較的解像度の高い画像からその低周波成分及び高周波成分を抽出し、
前記比較的解像度が低い複数の画像の低周波成分を前記比較的解像度の高い画像と同じ解像度まで拡大し、拡大された低周波成分と前記比較的解像度の高い画像の低周波成分とを、重み付け加算により合成して、合成低周波成分を生成し、
前記比較的解像度が低い複数の画像の高周波成分を前記比較的解像度の高い画像と同じ解像度まで拡大し、拡大された高周波成分と前記比較的解像度の高い画像の高周波成分とを、重み付け加算により合成して、合成高周波成分を生成し、
前記合成低周波成分と前記合成高周波成分とを合成し、前記高解像度画像を生成する
ことを特徴とする。
図1(a)は、本発明の実施の形態1に係るカメラ装置1の概要を示す分解斜視図である。
図1(a)に示されるカメラ装置1は、複眼カメラ10で構成されている。複眼カメラ10は、撮像素子11と、レンズアレイ12と、フィルターアレイ13と、隔壁14とを有する。
レンズアレイ12は、それぞれの撮像領域15a、15b、…に対応して設けられた複数のレンズ12a、12b、…を含む。複数のレンズ12a、12b、…によりレンズ群が構成される。
異なる大きさの撮像領域に同じ視野の画像を結像させるため、例えばより大きい撮像領域に対応するレンズはより長い焦点距離を有する。
異なる光学特性を有する光学フィルターとしては、例えば、分光フィルター、偏光フィルター、及びNDフィルター(Neutral Density Filter)の少なくとも一つが用いられ、これらの使用により、撮像領域毎に、異なる波長帯の光による画像、異なる偏光方向の光による画像、異なる露光量での撮像による画像が取得される。
これらの光学フィルターは、単独で用いても良く、組み合わせて用いても良い。
補色系の光学フィルターは一般に光透過率が高いので、その点で好ましい。
ここで、光学フィルターを設けないとは、異なる種類の画像を取得することを目的とする光学フィルターを設けないということを意味し、他の目的の光学フィルターは設けられていても良い。
撮像領域が大きいほど、より解像度の高い画像が得られる。一方、撮像領域の数を増やせば、異なる光学特性のフィルター、或いは異なる光学特性のフィルターの異なる組合せの数を増やすことができ、従って、撮像素子11で得られる情報の種類を増やすことができる。
図2(b)の例では、撮像面11aが長方形であり、縦方向の寸法と横方向の寸法の比が3:4であり、撮像面11aが、一つの高解像度撮像領域15aと3つの低解像度撮像領域15b〜15dとに分割されている。これらの撮像領域15a〜15dの各々は正方形である。撮像面11aのうちの左側の1/4を占める帯状の部分に低解像度撮像領域15b〜15dが縦方向に順に配列され、残りの部分に高解像度撮像領域15aが配置されている。
縦方向の中央に位置する低解像度撮像領域15cの中心と高解像度撮像領域15aの中心とは横方向に並んでいる。このような配置であると、低解像度撮像領域15cで得られる画像と高解像度撮像領域15aで得られる画像との視差による位置ずれを用いてステレオマッチングを行うことにより、奥行き情報を取得することが可能である。
図2(c)の例では、撮像面11aが、1つの高解像度撮像領域15aと7つの低解像度撮像領域15b〜15hとに分割されている。具体的には、撮像面11aのうちの左側の1/4を占める帯状の部分及び下側の1/4を占める帯状の部分に低解像度撮像領域15b〜15hが配列され、残りの部分に高解像度撮像領域15aが配置されている。
図2(c)の撮像面11aは、図2(a)の撮像面11aよりも大きく、図2(c)の高解像度撮像領域15aは、図2(a)の高解像度撮像領域15aよりも大きく、より高い解像度の画像D0が取得できる。また、左側の帯状の部分において上から2番目に位置する低解像度撮像領域15cの中心と高解像度撮像領域15aの中心とは横方向に並んでおり、また下側の帯状の部分において右から2番目に位置する低解像度撮像領域15gの中心と高解像度撮像領域15aの中心とは縦方向に並んでおり、多視点ステレオマッチングを実施することで横方向と縦方向の両方で精度の高い奥行き情報を取得することができる。
図2(c)の例と図2(d)の例とで、撮像面11aの大きさが同じであれば、図2(d)の高解像度撮像領域15aは図2(c)の高解像度撮像領域15aよりも小さい。代わりに、より多くの低解像度撮像領域15b〜15mが設けられており、より多くの、互いに異なる種類の情報を持つ画像D1を取得することが可能である。
このような分割のため、撮像面11aが縦方向及び横方向にそれぞれ2つずつに分けられ、左上、右上及び右下の各1/4の部分に高解像度撮像領域15a〜15cが配置されている。さらに左下の1/4の部分が、縦方向及び横方向にそれぞれ2つずつに分けられ、それぞれの分割領域で4つの低解像度撮像領域15d〜15gが構成されている。
区別のため、第1群の撮像領域15b〜15iを中間解像度撮像領域と呼び、第2群の撮像領域15j〜15yを低解像度撮像領域と呼ぶことがある。
また、第1群の撮像領域15b〜15i及び第2群の撮像領域15j〜15yは、高解像度撮像領域15aに比べて解像度が低いので、これらをまとめて低解像度撮像領域と呼ぶこともある。
例えば多数の狭帯域の画像から成るマルチスペクトル画像を取得したい場合、比較的小さい撮像領域(低解像度撮像領域)15j〜15yのうちの一つ以上の撮像領域をそれぞれ狭帯域の画像に割り当てて、これらに対して狭帯域のバンドパスフィルターを設け、一方、基本的なRGBの色情報や近赤外情報、偏光情報など、解像度もある程度高いことが求められる情報には、比較的大きい撮像領域(中間解像度撮像領域)15b〜15eのうちの一つ以上の撮像領域を割り当てて、これらに対して、それぞれの情報を取得するための光学フィルターを設ければ良い。
実施の形態1のカメラ装置1では、該カメラ装置を構成する複眼カメラ10の撮像素子の撮像面が複数の撮像領域に分割されているので、複数の互いに異なる種類の情報を表す画像を取得することができる。
また、撮像領域が比較的大きい撮像領域と、比較的小さい撮像領域とを含むので、複数の互いに異なる種類の情報のうち、優先度の高い情報、即ち高い解像度での取得がより強く望まれる画像に、比較的大きい撮像領域を割り当てることで、そのような画像の高い解像度での取得が可能となる。
図4は、本発明の実施の形態2に係る複眼撮像装置100を示すブロック図である。図4に示される複眼撮像装置100は、カメラ装置1と、撮像制御部17と、A/D変換部18と、プロセッサー20とを備えている。カメラ装置1としては、実施の形態1で説明したものを用いることができる。
カメラ装置1から出力された撮像信号は、図示しないアナログ処理部で増幅等の処理を受けたのち、A/D変換部18でデジタル画像信号に変換されて、プロセッサー20に入力される。
画像メモリ22は、カメラ装置1を構成する複眼カメラ10の複数の撮像領域にそれぞれ対応する複数の記憶領域22−1、22−2、…を有するのが望ましい。この場合、各記憶領域に記憶されるデジタル画像信号により、対応する撮像領域で取得された画像が表される。
例えば、図2(a)の撮像領域15aで取得され高解像度画像と、撮像領域15bで取得された低解像度画像とが高解像度化部30に供給される。以下では、撮像領域15aで取得され高解像度画像を符号D0で示し、撮像領域15bで取得された低解像度画像を符号D1で示す。
図5の高解像度化部30aは、フィルターリングにより、低解像度画像D1及び参照画像D0の各々から低周波成分及び高周波成分を分離し、それぞれの成分ごとに合成する方法で高解像度化を行う。
高周波成分合成部314は、高周波成分D1Hを参照画像D0と同じ解像度まで拡大し、該拡大された高周波成分と高周波成分D0Hとを、重み付け加算により合成して、合成高周波成分D314を生成する。
図6に示される高解像度化部30bは、低解像度画像D1と参照画像D0とを入力として、参照画像D0の情報を元に低解像度画像D1を高解像度化する、ガイデッドフィルターを用いたものである。
図6に示される高解像度化部30bは、縮小処理部321、係数計算部322、係数マップ拡大部323、及び線形変換部324を有する。
I(x)は、縮小参照画像D0bの画素位置xの画素の画素値である。
I(y)は、縮小参照画像D0bの画素位置yの画素の画素値である。
ここで画素位置yは、画素位置xを中心とした局所領域Ω(x)内の画素位置である。
p(y)は、入力画像D1の画素位置yの画素の画素値である。
係数計算部322はさらに、式(3)及び式(4)で得られた係数a(x)及びb(x)を式(5)により平均化することで線形係数am(x)、bm(x)を算出する。
J(x)は、参照画像D0の画素位置xの画素の画素値である。
式(6)は、ガイデッドフィルターの出力(画像D30の画素値)q(x)と、参照画像D0の画素値J(x)とは、線形関係を有することを示す。
高解像度化部30は、位置合わせ部25で位置合わせされた画像を入力として、高解像度化を行う。
複数の高解像度化部間で、参照画像として用いる高解像度画像は互いに同じものであっても良く、異なるものであっても良い。
図8に示されるプロセッサー20cは、画像メモリ22と、高解像度化部30cと、画像拡大部31r、31bとを有する。
高解像度化部30cは、画像D1−gを画像D0で置き換え、置き換えにより得られた画像を高解像度画像D30−gとして出力する。
このような処理を行う場合、画像処理のための演算量或いは演算時間を大幅に削減でき、プロセッサーにかかるハードウエアコストを削減することができる。
実施の形態2の複眼撮像装置100では、カメラ装置の複数の撮像領域から、互いに異なる種類の情報を持つ複数の画像が得られ、これらの画像が比較的解像度の低い画像と比較的解像度の高い画像とを含み、比較的解像度の高い画像の高解像度成分を用いて比較的解像度の低い画像を高解像度化するので、互いに異なる種類の情報を持ち、解像度の高い複数の画像を得ることができる。
したがって、互いに異なる種類の情報を持つ画像の取得のための撮像領域が小さくても、高解像度の画像を生成することができ、カメラ装置のサイズを抑制しながら、互いに異なる種類の情報を持つ画像を高解像度で得ることができる。
図9は、本発明の実施の形態3に係る複眼撮像装置で用いられるプロセッサー20の一例(符号20dで示す)を示す。図9に示されるプロセッサー20dは、画像メモリ22と、複数の、即ち第1乃至第N(Nは2以上の整数)の高解像度化部30−1〜30−Nと、合成部40とを有する。実施の形態3の複眼撮像装置のうち、プロセッサー20d以外の部分は、例えば図4と同様に構成されている。
高解像度化部30−n(nは1からNのいずれか)は、高解像度画像D0を参照画像として用いて、低解像度画像D1−nを高解像度化して、高解像度画像D30−nを生成する。このような処理がすべての高解像度化部30−1〜30−Nで行われ、複数の、互いに異なる種類の情報を持つ高解像度画像D30−1〜D30−Nが生成される。
高解像度化部30−1〜30−Nの各々は、例えば、図5、図6、又は図8で説明したように構成されている。
即ち、合成部40は、高解像度化部30−1〜30−Nで生成された、互いに異なる種類の情報を持つ高解像度画像D30−1〜D30−Nを合成して、合成高解像度画像D40−a、D40−b…を生成する。
図10に示される合成部40bは、輝度/色分離部411、輝度分離部412、重み付け加算部413、及び輝度/色合成部414を有し、輝度の重み付け加算による合成を行う。
合成部40bには、複数の高解像度化部30−1、30−2、…(各々図5、図6、図8などで説明したのと同様のもの)で高解像度化されたR画像D30−r、G画像D30−g、B画像D30−b、偏光画像D30−p、及びNIR(近赤外線)画像D30−iが入力される。
なお、図8に示される画像拡大部31r、31bで拡大された画像D31−r、D31−bを合成部40bに入力し、高解像度画像の代わりに用いても良い。即ち、合成部40bが、一つ以上の高解像度画像と一つ以上の拡大画像とを合成するように構成されていても良い。
輝度分離部412は、偏光画像D30−pを入力として、輝度成分D412を分離する。
図11に示されるプロセッサー20eは、画像メモリ22と、複数の高解像度化部30−1〜30−Nと、合成部40を有するほか、カメラ情報入力端子23を有し、該端子23で、複眼カメラ10から、複眼カメラ情報Dinfoを受けて、高解像度化部30−1〜30−N及び合成部40に複眼カメラ情報Dinfoを伝える。
例えば複眼カメラ情報Dinfoが、各撮像領域に対して設けられた光学フィルターのスペクトル特性を表すものであれば、合成処理時にRGB画像とモノクロ画像から近赤外画像を抽出することができる。
本発明の実施の形態4の複眼撮像装置で用いられるプロセッサー20の構成例(符号20fで示す)を図12に示す。図12に示されるプロセッサー20fは、画像メモリ22と、複数の、即ち第1乃至第Nの高解像度化部30−1〜30−Nと、合成部41とを有する。実施の形態4の複眼撮像装置のうち、プロセッサー20f以外の部分は、例えば図4と同様に構成されている。高解像度化部30−1〜30−Nは、例えば図9で説明したのと同様のものである。
この補間には、例えば、圧縮センシングに用いられる復元手法を適用することができる。
このような処理を行うことで、より多数の互いに異なる種類の情報を持つ高解像度画像D30−1〜D30−6、D40−a〜D40−fが得られる。
実施の形態4によれば、撮像により得られた、比較的少ない、互いに異なる種類の情報を有する画像から、より多数の、互いに異なる種類の情報を有する画像を生成することができる。従って、撮像領域の数が多くなくても、多くの種類の情報を得ることができる。
本発明の実施の形態5に係る複眼撮像装置で用いられるプロセッサー20の構成例(符号20gで示す)を図14に示す。図14に示されるプロセッサー20gは、画像メモリ22と、合成部42と、高解像度化部32とを有する。実施の形態5の複眼撮像装置のうち、プロセッサー20g以外の部分は、例えば図4と同様に構成されている。
高解像度化部32は、合成部42から出力される合成画像D42−a、D42−b、…のうちの一つ以上の合成画像に対し、参照画像D0を用いて高解像度化を行い、高解像度画像(高解像度合成画像)D32−a、D32−b、…を生成する。
図15は、本発明の実施の形態6に係る複眼撮像装置102を示すブロック図である。
実施の形態6に係る複眼撮像装置102は、カメラ装置50と、撮像制御部17と、A/D変換部18、19と、プロセッサー20hとを備えている。
以下に詳しく述べるように、複眼カメラ60としては、図1(a)に示される複眼カメラ10と同様に、撮像面が複数の撮像領域に分割されたものが用いられ、一方、単眼カメラ70は、撮像面が分割されておらず、単眼カメラ70で取得された画像が、図1(a)の複眼カメラ10の高解像度撮像領域で取得された画像の代わりとして用いられる。
撮像素子61は矩形の撮像面61aを有し、該撮像面61aは例えば図17(a)に示されるように複数の、例えば9つの撮像領域65a〜65iに分割されている。これら9つの撮像領域65a〜65iは、互いに大きさが同じであり、3行3列に配列されている。
互いに異なる大きさのものである場合にも、縦横比が互いに同じであることが望ましい。
撮像素子71も矩形の撮像面71aを有する。撮像面71aの全体で一つの撮像領域75が構成されている。
撮像領域75は、撮像領域65a、65b、…と縦横比が等しい。
複眼カメラ60のレンズ62a、62b、…と、単眼カメラ70のレンズ72とによりレンズ群が構成される。
なお、撮像領域75、65a、65b、…のうちの一つ以上の撮像領域、例えば撮像領域75に対しては光学フィルターを設けない(モノクロ領域とする)こととしても良い。
画像メモリ22は、複眼カメラ60の複数の撮像領域、及び単眼カメラ70の撮像領域にそれぞれ対応する複数の記憶領域22−1、22−2、…を有するのが望ましい。
実施の形態6の複眼撮像装置102では、複眼カメラ60とは別に単眼カメラ70が設けられており、単眼カメラ70で高い解像度の画像を取得することができる。従って、複眼カメラ60の各撮像領域で得られる画像をより高い解像度に高解像度化することが可能である。
実施の形態2〜6で説明した複眼撮像装置のプロセッサーは、専用のハードウェアであっても、メモリに格納されるプログラムを実行する、コンピュータのCPUであっても良い。
Claims (9)
- 複数の撮像領域を有する撮像素子と、
前記複数の撮像領域に対応して設けられ、対応する撮像領域に互いに同じ視野の画像を結像させる複数のレンズと、
複数の光学フィルターとを有し、
前記複数の撮像領域は、少なくとも一つの第1種の撮像領域と、前記第1種の撮像領域よりも小さく、且つ互いに同じ大きさの複数の第2種の撮像領域とを含み、
前記複数のレンズのうち、より大きい撮像領域に対応するレンズはより長い焦点距離を有し、
前記複数の光学フィルターは、前記第2種の撮像領域の各々で取得される画像が、前記第1種の撮像領域の各々で取得される画像とは異なる種類の情報を表すものとなるように設けられているカメラ装置と、
少なくとも一つの高解像度化部を備えたプロセッサーとを備え、
前記少なくとも一つの高解像度化部は、
前記第2種の撮像領域のいずれかで取得された画像を低解像度画像として受けて、前記低解像度画像からその低周波成分及び高周波成分を抽出する第1のフィルター処理部と、
前記第1種の撮像領域のいずれかで取得された画像を参照画像として受け、前記参照画像からその低周波成分及び高周波成分を抽出する第2のフィルター処理部と、
前記低解像度画像の低周波成分を前記参照画像と同じ解像度まで拡大し、拡大された低周波成分と前記参照画像の低周波成分とを、重み付け加算により合成して、合成低周波成分を生成する低周波成分合成部と、
前記低解像度画像の高周波成分を前記参照画像と同じ解像度まで拡大し、拡大された高周波成分と前記参照画像の高周波成分とを、重み付け加算により合成して、合成高周波成分を生成する高周波成分合成部と、
前記合成低周波成分と前記合成高周波成分とを合成し、高解像度画像を生成する成分合成部と
を有する複眼撮像装置。 - 複数の撮像領域を有する撮像素子と、
前記複数の撮像領域に対応して設けられ、対応する撮像領域に互いに同じ視野の画像を結像させる複数のレンズと、
複数の光学フィルターとを有し、
前記複数の撮像領域は、少なくとも一つの第1種の撮像領域と、前記第1種の撮像領域よりも小さく、且つ互いに同じ大きさの複数の第2種の撮像領域とを含み、
前記複数のレンズのうち、より大きい撮像領域に対応するレンズはより長い焦点距離を有し、
前記複数の光学フィルターは、前記第2種の撮像領域の各々で取得される画像が、前記第1種の撮像領域の各々で取得される画像とは異なる種類の情報を表すものとなるように設けられているカメラ装置と、
少なくとも一つの高解像度化部を備えたプロセッサーとを備え、
前記少なくとも一つの高解像度化部は、
前記第1種の撮像領域のいずれかで取得された画像を参照画像として受け、前記参照画像を縮小して、前記第2種の撮像領域のいずれかで取得された低解像度画像と同じ解像度の縮小参照画像を生成する縮小処理部と、
前記縮小参照画像と、前記低解像度画像との線形関係を近似する線形係数を計算する係数計算部と、
前記係数計算部により計算された線形係数から成る係数マップを前記参照画像と同じ解像度まで拡大する係数マップ拡大部と、
拡大された係数マップの線形係数と前記参照画像とを元に、前記低解像度画像により表される情報を持つ高解像度画像を生成する線形変換部と
を有する複眼撮像装置。 - 前記少なくとも一つの高解像度化部が複数の高解像度化部から成り、
前記プロセッサーは、
前記複数の高解像度化部で生成された複数の高解像度画像を合成して、一つ以上の合成高解像度画像を生成する合成部をさらに有する
請求項1又は2に記載の複眼撮像装置。 - 前記複数の高解像度化部で高解像度化される複数の低解像度画像は、撮像条件を表すパラメータのうちの少なくとも一つのパラメータの種類又は値が互いに異なるものであり、従って、前記複数の高解像度化部で生成される複数の高解像度画像は、撮像条件を表すパラメータのうちの少なくとも一つのパラメータの種類又は値が互いに異なるものであり、
前記合成部は、前記複数の高解像度画像から、前記複数の高解像度画像のいずれとも、前記少なくとも一つのパラメータの種類又は値が異なる高解像度画像を補間により生成する
請求項3に記載の複眼撮像装置。 - 前記プロセッサーは、
前記複数の第2種の撮像領域で取得された複数の画像を合成して、少なくとも一つの合成低解像度画像を生成する合成部と、
前記第1種の撮像領域のいずれかで取得された画像を参照画像として受け、前記少なくとも一つの合成低解像度画像を、前記参照画像に含まれる高解像度成分を用いて高解像度化して、少なくとも一つの高解像度合成画像を生成する高解像度化部と
を有する請求項1に記載の複眼撮像装置。 - 前記第1種の撮像領域に対しては、前記異なる種類の情報を表す画像を取得するための光学フィルターが設けられていない請求項1から5のいずれか1項に記載の複眼撮像装置。
- 請求項1から6のいずれか1項に記載の複眼撮像装置における処理をコンピュータに実行させるためのプログラム。
- 請求項7に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
- 同じ視野の画像が結像される複数の撮像領域での撮像で得られる、互いに異なる種類の情報を有し、互いに解像度が異なる複数の画像を取得するステップと、
前記互いに解像度が異なる複数の画像のうち、比較的解像度の高い画像に含まれる高解像度成分を用いて比較的解像度が低い複数の画像に対して高解像度化処理を行って、互いに異なる種類の情報を持つ高解像度画像を生成する高解像度化ステップと
前記複数の互いに異なる種類の情報を持つ高解像度画像を合成して、一つ以上の合成高解像度画像を生成する合成ステップとを有し、
前記高解像度化ステップは、
前記比較的解像度が低い複数の画像からその低周波成分及び高周波成分を抽出し、
前記比較的解像度の高い画像からその低周波成分及び高周波成分を抽出し、
前記比較的解像度が低い複数の画像の低周波成分を前記比較的解像度の高い画像と同じ解像度まで拡大し、拡大された低周波成分と前記比較的解像度の高い画像の低周波成分とを、重み付け加算により合成して、合成低周波成分を生成し、
前記比較的解像度が低い複数の画像の高周波成分を前記比較的解像度の高い画像と同じ解像度まで拡大し、拡大された高周波成分と前記比較的解像度の高い画像の高周波成分とを、重み付け加算により合成して、合成高周波成分を生成し、
前記合成低周波成分と前記合成高周波成分とを合成し、前記高解像度画像を生成する
ことを特徴とする画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/023348 WO2019003258A1 (ja) | 2017-06-26 | 2017-06-26 | カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6297234B1 true JP6297234B1 (ja) | 2018-03-20 |
JPWO2019003258A1 JPWO2019003258A1 (ja) | 2019-06-27 |
Family
ID=61629101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017549829A Active JP6297234B1 (ja) | 2017-06-26 | 2017-06-26 | 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10951817B2 (ja) |
JP (1) | JP6297234B1 (ja) |
CN (1) | CN110771152B (ja) |
DE (1) | DE112017007695T5 (ja) |
WO (1) | WO2019003258A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020088686A (ja) * | 2018-11-28 | 2020-06-04 | 株式会社アサヒ電子研究所 | 複眼撮像装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
CN110491890B (zh) * | 2019-07-03 | 2022-03-15 | 芯盟科技有限公司 | 半导体结构及其形成方法 |
WO2021211127A1 (en) * | 2020-04-16 | 2021-10-21 | Hewlett-Packard Development Company, L.P. | Light signal identification |
US11999506B2 (en) * | 2021-02-16 | 2024-06-04 | Rockwell Collins, Inc. | Camera core monitor using gradient filter |
CN112926030B (zh) * | 2021-02-25 | 2024-01-23 | 南京信息工程大学 | 30m分辨率插值的气象要素确定方法 |
CN116994075B (zh) * | 2023-09-27 | 2023-12-15 | 安徽大学 | 一种基于复眼事件成像的小目标快速预警与识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061109A (ja) * | 1999-08-20 | 2001-03-06 | Japan Science & Technology Corp | 画像入力装置 |
JP2008079172A (ja) * | 2006-09-25 | 2008-04-03 | Mitsubishi Electric Corp | 2波長イメージセンサおよび2波長イメージセンサを用いた撮像方法 |
JP2009117976A (ja) * | 2007-11-02 | 2009-05-28 | Panasonic Corp | 撮像装置 |
JP2013021569A (ja) * | 2011-07-12 | 2013-01-31 | Univ Of Tokyo | 撮像素子およびこれを用いた撮像装置 |
WO2015182447A1 (ja) * | 2014-05-28 | 2015-12-03 | コニカミノルタ株式会社 | 撮像装置および測色方法 |
WO2017064760A1 (ja) * | 2015-10-13 | 2017-04-20 | オリンパス株式会社 | 積層型撮像素子、画像処理装置、画像処理方法およびプログラム |
WO2017090437A1 (ja) * | 2015-11-24 | 2017-06-01 | ソニー株式会社 | カメラモジュールおよび電子機器 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7003176B1 (en) * | 1999-05-06 | 2006-02-21 | Ricoh Company, Ltd. | Method, computer readable medium and apparatus for converting color image resolution |
US6771835B2 (en) * | 2000-06-12 | 2004-08-03 | Samsung Electronics Co., Ltd. | Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same |
CN1574894A (zh) * | 2003-06-02 | 2005-02-02 | 宾得株式会社 | 多焦距成像装置和具有该多焦距成像装置的移动装置 |
JP2005303694A (ja) | 2004-04-13 | 2005-10-27 | Konica Minolta Holdings Inc | 複眼撮像装置 |
US7916180B2 (en) * | 2004-08-25 | 2011-03-29 | Protarius Filo Ag, L.L.C. | Simultaneous multiple field of view digital cameras |
JP4545190B2 (ja) * | 2005-03-24 | 2010-09-15 | パナソニック株式会社 | 撮像装置 |
WO2007013250A1 (ja) * | 2005-07-26 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 複眼方式の撮像装置 |
JP3930898B2 (ja) * | 2005-08-08 | 2007-06-13 | 松下電器産業株式会社 | 画像合成装置および画像合成方法 |
EP2518995B1 (en) * | 2009-12-24 | 2018-08-22 | Sharp Kabushiki Kaisha | Multocular image pickup apparatus and multocular image pickup method |
US20140192238A1 (en) * | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
EP2582128A3 (en) * | 2011-10-12 | 2013-06-19 | Canon Kabushiki Kaisha | Image-capturing device |
US9395516B2 (en) * | 2012-05-28 | 2016-07-19 | Nikon Corporation | Imaging device |
JP6071374B2 (ja) * | 2012-09-21 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置 |
US9591241B2 (en) | 2012-12-11 | 2017-03-07 | Konica Minolta, Inc. | Compound eye optical system and imaging device using the same |
JPWO2014156712A1 (ja) * | 2013-03-26 | 2017-02-16 | コニカミノルタ株式会社 | 複眼光学系及び撮像装置 |
-
2017
- 2017-06-26 JP JP2017549829A patent/JP6297234B1/ja active Active
- 2017-06-26 DE DE112017007695.1T patent/DE112017007695T5/de active Pending
- 2017-06-26 CN CN201780092291.3A patent/CN110771152B/zh active Active
- 2017-06-26 WO PCT/JP2017/023348 patent/WO2019003258A1/ja active Application Filing
- 2017-06-26 US US16/615,604 patent/US10951817B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061109A (ja) * | 1999-08-20 | 2001-03-06 | Japan Science & Technology Corp | 画像入力装置 |
JP2008079172A (ja) * | 2006-09-25 | 2008-04-03 | Mitsubishi Electric Corp | 2波長イメージセンサおよび2波長イメージセンサを用いた撮像方法 |
JP2009117976A (ja) * | 2007-11-02 | 2009-05-28 | Panasonic Corp | 撮像装置 |
JP2013021569A (ja) * | 2011-07-12 | 2013-01-31 | Univ Of Tokyo | 撮像素子およびこれを用いた撮像装置 |
WO2015182447A1 (ja) * | 2014-05-28 | 2015-12-03 | コニカミノルタ株式会社 | 撮像装置および測色方法 |
WO2017064760A1 (ja) * | 2015-10-13 | 2017-04-20 | オリンパス株式会社 | 積層型撮像素子、画像処理装置、画像処理方法およびプログラム |
WO2017090437A1 (ja) * | 2015-11-24 | 2017-06-01 | ソニー株式会社 | カメラモジュールおよび電子機器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020088686A (ja) * | 2018-11-28 | 2020-06-04 | 株式会社アサヒ電子研究所 | 複眼撮像装置 |
JP7096144B2 (ja) | 2018-11-28 | 2022-07-05 | 株式会社アサヒ電子研究所 | 複眼撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110771152A (zh) | 2020-02-07 |
US20200177807A1 (en) | 2020-06-04 |
JPWO2019003258A1 (ja) | 2019-06-27 |
US10951817B2 (en) | 2021-03-16 |
CN110771152B (zh) | 2022-03-01 |
DE112017007695T5 (de) | 2020-03-12 |
WO2019003258A1 (ja) | 2019-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6297234B1 (ja) | 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 | |
US8934034B2 (en) | Generalized assorted pixel camera systems and methods | |
EP2652678B1 (en) | Systems and methods for synthesizing high resolution images using super-resolution processes | |
KR101824290B1 (ko) | 고해상도 멀티스펙트럼 이미지 캡처 기법 | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
CN110365961B (zh) | 图像去马赛克装置及方法 | |
US20130278726A1 (en) | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating | |
WO2018070100A1 (ja) | 画像処理装置、画像処理方法、及び撮影装置 | |
CN110519493B (zh) | 图像处理设备、图像处理方法和计算机可读记录介质 | |
US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
WO2010071001A1 (en) | Image processing apparatus and image processing method | |
WO2021005098A1 (en) | Signal processing apparatus and method using local length scales for deblurring | |
WO2017089832A1 (en) | Method and system for generating an output image from a plurality of corresponding input image channels | |
JP5771677B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
CN106507065A (zh) | 拍摄装置、拍摄***、图像生成装置及滤色器 | |
JP2012227758A (ja) | 画像信号処理装置及びプログラム | |
JP2018107731A (ja) | 画像生成装置及び撮像装置 | |
JP7363765B2 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
US20140118580A1 (en) | Image processing device, image processing method, and program | |
JP2014146872A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5846895B2 (ja) | 画像処理システム及びそれを備えた顕微鏡システム | |
JP2016119542A (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2011043901A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器 | |
JP2013187711A (ja) | 画像処理装置、撮像装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170922 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170922 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6297234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |