JP7363765B2 - 画像処理装置、および撮像装置、並びに画像処理方法 - Google Patents
画像処理装置、および撮像装置、並びに画像処理方法 Download PDFInfo
- Publication number
- JP7363765B2 JP7363765B2 JP2020504791A JP2020504791A JP7363765B2 JP 7363765 B2 JP7363765 B2 JP 7363765B2 JP 2020504791 A JP2020504791 A JP 2020504791A JP 2020504791 A JP2020504791 A JP 2020504791A JP 7363765 B2 JP7363765 B2 JP 7363765B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image area
- restored
- roi
- restored image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 168
- 238000003384 imaging method Methods 0.000 title claims description 54
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000011159 matrix material Substances 0.000 claims description 242
- 238000005070 sampling Methods 0.000 claims description 175
- 238000004364 calculation method Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 41
- 230000005855 radiation Effects 0.000 claims description 18
- 230000010287 polarization Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 27
- 230000005469 synchrotron radiation Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000035945 sensitivity Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/129—Coded aperture imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
特許文献1(国際公開WO2012/040192号公報)。
y=Mx
と表す事ができる。ここで、Mはマスクの透過関数を表すマトリックス、すなわちマスクマトリックス(マスク行列)である。
1.レンズレスカメラの概要と原理について
2.レンズレスカメラにおける画角設定について
3.本開示の画像処理装置の構成と処理について
4.マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて
5.画像推定部における画像推定処理の詳細シーケンスについて
6.サンプリングポイント設定例と画像生成例について
7.部分的に解像度を向上させた画像の生成処理例について
8.サンプリングポイントからの放射光を波長方向に分光する処理例について
9.本開示の画像処理の効果について
10.画像処理装置のハードウェア構成例について
11.本開示の構成のまとめ
まず、レンズレスカメラの概要と原理について説明する。
図1、図2を参照して、一般的なカメラ(撮像装置)の構成との比較により、レンズレスカメラ(レンズレス撮像装置)の概要について説明する。
図1には、
(a)レンズレスカメラ
(b)レンズありカメラ
(c)ピンホールカメラ
これらの3種類のカメラの撮像原理を示している。
このような構成により、単位サイズΔと距離dとのサイズにより光線L1乃至L3は、画像センサ11上に変調されて入射する。
DB=α2×a+β2×b+γ2×c ・・・(2)
DC=α3×a+β3×b+γ3×c ・・・(3)
以降、係数α1、β1、γ1を合わせて係数セットと呼ぶこととする。
次に、レンズレスカメラにおける画角設定について説明する。図4は、レンズレスカメラ80の概略構成を示す図である。図4に示すようにレンズレスカメラ80は、画像センサ81の前にマスク82を配置した構成を持つ。マスク82は、光の透過領域と不透過領域を2次元パターンとして設定したマスクである。このマスク82を介した光を画像センサに入力する。
y=Mx
上記関係式を用いて表すことができる。ここで、Mはマスク82の透過関数を表すマトリックスである。
y=Mx
この関係を満たすxを、センサ観測値yから求めれば良い。xは、サンプリングポイント毎の放射光ベクトルによって構成される。すなわち撮影シーンを構成するポイント単位の放射光であり、このサンプリングポイント毎の放射光ベクトルを2次元平面に展開した値が復元画像(最終画像)87の構成画素値に対応する。
(a)画角を広くした設定の撮影画像例
(b)画角を狭くした設定の撮影画像例
これらの2つの画像撮影例を示している。ユーザ(画像撮影者)は、図5(b)に示すように、特定の被写体、例えば人の領域のみを撮影範囲として限定した画像を撮影したい場合がある。このようにレンズレスカメラ80の画角(FOV)を調整して様々な領域の画像を撮影したい場合がある。
次に、図7以下を参照して、本開示の画像処理装置の構成と処理について説明する。
(入力1)レンズレスカメラ102の出力である撮影画像(観測値yall)110、
(入力2)出力する復元画像(x^roi)の画角設定情報に相当する「復元画像領域対応ROI(Region Of Interest)情報」Rroi、
これらの情報を入力して、
(出力1)所定の画角(FOV)に設定された復元画像(x^roi)、
この出力情報を生成して出力する。
撮影画像領域対応ROI情報(Rall)104、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を記憶部に保持している。なお、図7では、これらの情報を格納した記憶部を信号処理部101内部に示しているが、これらの記憶部は信号処理部101の外部に設定してもよい。
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
画像推定部109を有する。
y=Mx
この関係式を満たすマスクの透過関数を表すマトリックスである。
y=Mx
この関係式のシーン放射光ベクトルxが計測されるサンプリングポイントの設定領域に相当する。撮影画像領域対応マスクマトリックス(Mall)計算部107は、例えば、図8に示す撮影画像領域(全ROI)121にサンプリングポイントを配置したと仮定した場合の、
y=Mx
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス(Mall)を算出する。このように、撮影画像領域対応マスクマトリックス(Mall)計算部107は、撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。
y=Mx
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス(Mroi)を算出する。すなわち、レンズレスカメラ102の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。
撮影画像領域対応ROI情報(Rall)104、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を入力して、撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。
復元画像領域対応ROI情報(Rroi)103、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を入力して、復元画像領域(復元ROI)122に対応するマスクマトリックス(Mroi)を計算する。
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについては、図9に示すフローチャートを参照して後段において詳細に説明する。
(b)マスク情報(IM)105、
(c)カメラ構成情報(IC)106、
(d)撮影画像領域対応ROI情報(Rall)104、
(e)復元画像領域対応ROI情報(Rroi)103、
(f)撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)、
(g)復元画像領域対応マストマトリックス(Mroi)計算部108の算出した復元画像領域対応マストマトリックス(Mroi)、
復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。画像推定部109の実行する復元画像生成処理の詳細シーケンスについては、図10に示すフローチャートを参照して後段において詳細に説明する。
次に、図9に示すフローチャートを参照して、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについて説明する。
撮影画像領域対応マスクマトリックス(Mall)計算部107は、例えば図8に示す撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。復元画像領域対応マストマトリックス(Mroi)計算部108は、例えば図8に示す復元画像領域(復元ROI)122に対応するマスクマトリックス(Mall)を計算する。それぞれ、対応領域が異なるのみであり、基本的な処理シーケンスは同じである。図9に示すステップS103のROI情報の取得処理において、取得する情報が異なるのみである。詳細は、以下の各ステップの説明中で説明する。以下、図9に示すフローチャートの各ステップの処理について、順次、説明する。
信号処理部101の
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらは、まず、ステップS101において、マスク情報IMを取得する。なお、以下では、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これら2つのマスクマトリックス計算部を単にマスクマトリックス計算部として説明する。
次に、マスクマトリックス計算部は、ステップS102において、カメラ構成情報ICを取得する。カメラ構成情報ICは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数(N)、マスクとセンサ間の距離情報等である。
次に、マスクマトリックス計算部は、ステップS103において、ROI情報を取得する。このステップS103の処理は、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらの2つのマスクマトリックス計算部において異なる処理を実行することになる。
次に、マスクマトリックス計算部は、ステップS104において、センサ画素数Nと、サンプリングポイントの位置xと、サンプリングポイント数Pを利用して、P×NのマトリックスMを用意し、初期化する。すなわち、
センサ画素数(N)と、
サンプリングポイント数(P)によって規定される
P×Nの要素(行列要素)からなるマトリックス(行列)を生成する。なお、各要素の初期値は例えば0とする。
撮影画像領域対応マスクマトリックス(Mall)計算部107と、
復元画像領域対応マストマトリックス(Mroi)計算部108との生成するマトリックスは異なるマトリックスである。
撮影画像領域対応マスクマトリックス(Mall)計算部107と、
復元画像領域対応マストマトリックス(Mroi)計算部108との生成するP×Nの要素からなるマトリックスにおいて、
センサ画素数Nは、レンズレスカメラ102の画像センサの画素数(N)であり同一である。
ステップS105以下の処理は、ステップS104において生成したマトリックスの各要素の値の設定処理である。
次に、マスクマトリックス計算部は、ステップS107おいて、p番目のサンプリングポイントx(p)の光が、マスクを通してセンサ上に投影される時のn画素目のセンサ画素値(y)を求める。この画素値算出処理は、シミュレーション処理、あるいは実測処理によって行うことが可能である。
次に、マスクマトリックス計算部は、ステップS108おいて、ステップの処理S107で算出したセンサ画素値(y)、
すなわち、p番目のサンプリングポイントx(p)の光が、マスクを通してセンサ上に投影される時のn画素目のセンサ画素値(y)の値を適用して、
P×Nのマスクマトリックスの選択要素(p=0,n=0)の値として、
y/x(p)
を設定する。
y=Mx
この関係式に従った設定値である。
ステップS109~S114は、値の設定対象とするマトリックスの要素(行列要素)の更新処理と、処理終了判定処理である。ステップS109で、行列要素インデックスnを1つインクリメントして、
ステップS110で、
n<N
を判定し、
n<N
であれば、
新たな行列要素(p,n)について、ステップS107~S108の処理を実行して、新たな行列要素(p,n)の値を決定する。
ステップS111で、行列要素インデックスpを1つインクリメントして、
ステップS112で、
p<P
を判定し、
p<P
であれば、
新たな行列要素(p,n)について、ステップS107~S108の処理を実行して、新たな行列要素(p,n)の値を決定する。
p<P
上記式を満足しないと判定されると、P×Nのマトリックスのすべての要素の値が決定され、マトリックスが完成する。
先に説明した関係式、すなわち、撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサの観測値を長さNのシーン観測値ベクトルyとした場合の関係式、
y=Mx
この関係式に従ったマスクマトリックスである。
y=Mx
この関係式を満たす撮影画像領域対応マスクマトリックス(Mall)である。
y=Mx
この関係式を満たす復元画像領域対応マストマトリックス(Mroi)である。
次に、図10に示すフローチャートを参照して、
画像推定部109における画像推定処理の詳細シーケンスについて説明する。
(a)レンズレスカメラ102の出力である撮影画像(観測値yall)、
(b)マスク情報(IM)105、
(c)カメラ構成情報(IC)106、
(d)撮影画像領域対応ROI情報(Rall)104、
(e)復元画像領域対応ROI情報(Rroi)103、
(f)撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)、
(g)復元画像領域対応マストマトリックス(Mroi)計算部108の算出した復元画像領域対応マストマトリックス(Mroi)、
画像推定部109は、これらの各情報を入力して、所定の画角(FOV:Field Of View)に設定された復元画像(x^roi)を出力する。出力データである復元画像(x^roi)に示す(x^roi)は、所定の画角内の撮影シーン(ROI)、例えば図8に示す復元画像領域(復元ROI)122に含まれるサンプリングポイントx各々の放射光を意味する。
(ステップS201)
信号処理部101の画像推定部109は、まず、ステップS201において、マスク情報IMを取得する。ステップS201において取得するマスク情報IMは、先に説明したように、マスクの光の透過領域と不透過領域からなる2次元パターン情報等である。
次に、画像推定部109は、ステップS202において、カメラ構成情報ICを取得する。カメラ構成情報ICは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数(N)、マスクとセンサ間の距離情報等である。
次に、画像推定部109は、ステップS203において、ROI情報を取得する。このステップS203において、画像推定部109は、図7に示す撮影画像領域対応ROI情報(Rall)104と、復元画像領域対応ROI情報(Rroi)103を取得する。画像領域対応ROI情報(Rall)104は、例えば、図8に示す撮影画像領域(全ROI)121におけるサンプリングポイントの設定位置(x)情報である。
すなわち、レンズレスカメラ102の画像センサが図8に示す撮影画像領域(全ROI)121におけるサンプリングポイントの放射光を撮像したと仮定した場合のROI情報である。ROI情報は、再現する3次元領域の内、どの領域を再現するかの範囲を示した情報である。
図7に示す撮影画像領域対応ROI情報(Rall)104と、復元画像領域対応ROI情報(Rroi)103を取得する。
次に、画像推定部109は、ステップS204において、センサ画素数Nを取得する。すなわち、レンズレスカメラ102の画像センサのセンサ画素数(N)を取得する。この情報は、例えば、図7に示すカメラ構成情報IC106から取得する。
次に、画像推定部109は、ステップS205において、サンプリングポイントの位置xと、ポイント数Pを取得する。
すなわち、
サンプリングポイント数(P)と、
各サンプリングポイントの位置(x)、
を取得する。
カメラ構成情報(Ic)106、
撮影画像領域対応ROI情報(Rall)104、
復元画像領域対応ROI情報(Rroi)103、
これらのいずれから各々取得する。
次に、画像推定部109は、ステップS206において、撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)を算出する。さらに、ステップS207において、ステップS206で求めた疑似逆行列(M+ all)を利用して、サンプリングポイントの放射光推定値(x^all)を算出する。サンプリングポイントの放射光推定値(x^all)は、撮影シーン、例えば図8に示す撮影画像領域(全ROI)121に含まれるサンプリングポイントx各々の放射光を意味する。
(a)2次元平面データとして表現した撮影画像領域ROI(Rall)201、
(b)撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204、
(c)撮影画像領域対応マスクマトリックス(Mall)202を持つマスク、
(d)撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204を画像センサによって受光した場合のセンサ観測値(画素値)(yall)203、
これらを示している。
撮影画像領域対応マスクマトリックス(Mall)202と、
センサ観測値(画素値)(yall)203、
これらの値があれば、サンプリングポイントの放射光(x^all)204の推定値を以下に示す算出処理(処理a,b)によって求めることができる。
撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)を、以下の(式1)に従って算出する。
M+ allは、撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列、
MT allは、撮影画像領域対応マスクマトリックス(Mall)の転置行列を示す。また、
(MT allMall)-1は、(MT allMall)の逆行列を意味する。
撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)と、
センサ観測値(画素値)(yall)203、
これらの値から、サンプリングポイントの放射光(x^all)204の推定値を以下の(式2)を用いて算出する。
y=Mx
この関係式を、行列Mの疑似逆行列(M+)を用いて表現した式に相当する。
次に、画像推定部109は、ステップS208において、サンプリングポイントの放射光(x^all)204のうち、復元画像領域ROI(Rroi)に含まれないものを抽出し、これらを、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)とする
さらに、ステップS209において、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を求める。
y=Mx
この関係式に対応する式である。
次に、画像推定部109は、ステップS210において、復元画像領域ROI(Rroi)内のサンプリングポイントの放射光(x^roi)推定値を求める。
(a)図11を参照して説明したセンサ観測値、すなわち、撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204を画像センサによって受光した場合のセンサ観測値(画素値)(yall)203から、
(b)ステップS209において算出した復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を、
差し引く。すなわち、
(yall)-(y^out)
この減算処理によって、復元画像領域ROI(Rroi)内のサンプリングポイントからの光を観測した場合の観測値(y^roi)が得られる。
(S206)レンズレスカメラ102の撮像範囲全体の復元画像の生成に適用する撮影画像領域対応マスクマトリックスの疑似逆行列を算出し、
(S207)撮影画像領域対応マスクマトリックスの疑似逆行列と、観測画像信号から、撮影画像領域内のサンプリングポイントの放射光推定値を算出し、
なお、これらの処理において利用する疑似逆行列は、逆行列であってもよい。
先に説明した図11~図14では、説明を理解し易くするため、撮影画像領域ROI(Rall)や復元画像領域ROI(Rroi)を2次元平面データとして示して説明した。先に説明したようにこれらの領域は実際の3次元空間として表現してもよい。一般的には、サンプリングポイントは任意の3次元位置に配置する事ができる。図15は、3次元上のサンプリングポイントの輝度値から2次元画像を再構成する方法の一例を示す図である。
x^all(p1)、
x^all(p2)、
x^all(p3)、
これらの光が仮想ピンホールレンズ301を通って仮想センサ面302と交差する。
仮想センサ画素y(p1)303、
仮想センサ画素y(p2)304、
仮想センサ画素y(p3)305、
これらの観測値(画素値)が得られる。この場合、サンプリングポイントの距離によらず全てにピントの合った画像が再現される。
x^all(p1)、
x^all(p2)、
これらの光が仮想レンズ311を通して仮想センサ面313に写像される。この仮想センサ313上の画素値、すなわち、
仮想センサ画素y(p1)314、
仮想センサ画素y(p2)315、
これらの値を仮想センサ面313上で合成することで、奥行き方向のレンズボケを持つ画像を再現できる。
撮影画像領域ROI(Rall)321、
復元画像領域ROI(Rroi)322、
復元画像領域外ROI(Rout)323、
これらの領域を設定し、各領域に自由にサンプリングポイントを設定することができる。
本開示の処理を行うことで、部分的に解像度を向上させた画像を生成することが可能となる。図18を参照して、部分的に解像度を向上させた画像の生成処理について説明する。
次に、サンプリングポイントからの放射光を、波長方向に分光する処理例について説明する。具体的には、例えば各サンプリングポイントの放射光をRGBの各色対応の波長光に分離して観測する処理である。この処理を行うことで、カラー画像を生成することが可能となる。
xcol(pL+l)・・・(式a)
と表すことができる。なお、例えばサンプリングポイントからの放射光を3個の波長(R,G,B)に分離する際にはL=3、l=0~2となる。
ycol(nL+l)・・・(式b)
と表現できる。
ycol=Mcol×xcol・・・(式c)
と表すことができる。
画像センサ473の画素数(N)、
サンプリングポイントからの放射光の分離波長光数(L)、
サンプリングポイント数(P)、
としたとき、
NL×PLのマトリックス(マスク472のマスクマトリックス)である。このマトリックスは、一つのサンプリングポイントからの異なる波長の放射光の観測値をシミュレートすることで求めることができる。
本開示の画像処理装置による処理を行うことで、以下のような効果を奏することができる。レンズレスカメラにハードウェアを付加することなく、高画質かつ低計算量で、メカレスズーム、メカレスパン、背景除去などの機能を実現することができる。さらに、重要でない領域の解像度を下げることで、重要領域の解像度を変えることなく、計算量の削減や、逆に計算量を維持した状態での重要領域の解像度向上などを実現できる。本開示の処理は、遠赤外線画像など、可視光以外の波長を利用した画像に対しても有効である。
次に、図21を参照して、画像処理装置のハードウェア構成例について説明する。図21を参照して説明するハードウェアは、先に図7を参照して説明した信号処理部101の処理を実行する画像処理装置のハードウェア構成の一例である。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する(1)に記載の画像処理装置。
前記復元画像領域内のサンプリングポイント数(P)と、前記レンズレスカメラの画素数(N)によって規定されるP×Nの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する(1)または(2)に記載の画像処理装置。
前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える(1)~(3)いずれかに記載の画像処理装置。
前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する(1)~(4)いずれかに記載の画像処理装置。
前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する(1)~(5)いずれかに記載の画像処理装置。
前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する(1)~(6)いずれかに記載の画像処理装置。
前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する(1)~(7)いずれかに記載の画像処理装置。
前記マスクを介した光を受光する画像センサとからなる撮像部と、
前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
撮像装置。
前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部が、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。
81 画像センサ
82 マスク
83 信号処理部
100 画像処理装置
101 信号処理部
102 レンズレスカメラ
103 復元画像領域対応ROI情報
104 撮影画像領域対応ROI情報
105 マスク情報
106 カメラ構成情報
107 撮影画像領域対応マスクマトリックス計算部
108 復元画像領域対応マスクマトリックス計算部
109 画像推定部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
Claims (7)
- レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記画像センサの撮影画像全体に対応する撮影画像領域対応マスクマトリックス(M all )を算出する撮影画像領域対応マスクマトリックス(M all )計算部と、
前記画像センサの撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックス(M roi )を算出する復元画像領域対応マスクマトリックス(M roi )計算部と、
前記復元画像領域の復元画像を生成する画像推定部を有し、
前記撮影画像領域対応マスクマトリックス(M all )計算部は、
前記画像センサの撮影画像領域全体に配置したサンプリングポイントからの放射光と、前記画像センサの出力である観測画像信号との対応関係情報に基づいて前記撮影画像領域対応マスクマトリックス(M all )を算出し、
前記復元画像領域対応マスクマトリックス(M roi )計算部は、
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの出力である観測画像信号との対応関係情報に基づいて前記復元画像領域対応マスクマトリックス(M roi )を算出し、
前記画像推定部は、
光の透過領域と不透過領域を固定化した2次元パターンを有するマスクを介した透過光を受光して前記画像センサが出力する観測画像信号(y all )と、前記撮影画像領域対応マトリックス(M all )を適用した演算処理により、前記撮影画像領域内のサンプリングポイントの放射光推定値(x^ all )を算出する処理と、
前記撮影画像領域内のサンプリングポイントの放射光推定値(x^ all )中、前記復元画像領域に含まれないサンプリングポイントの放射光推定値である復元画像領域外放射光推定値(x^ out )を抽出する処理と、
前記撮影画像領域対応マスクマトリックス(M all )と、前記復元画像領域外放射光推定値(x^ out )を適用した運算処理により、前記復元画像領域に含まれないサンプリングポイントの観測画像信号である復元画像領域外観測画像信号(y^ out )を算出する処理と、
前記観測画像信号(y all )から前記復元画像領域外観測画像信号(y^ out )を減算することにより生成された前記復元画像領域内の観測画像信号(y all -y^ out )と、
前記復元画像領域対応マトリックス(M roi )の逆行列または疑似逆行列との演算処理により、前記復元画像領域の復元画像を生成する処理を実行する画像処理装置。 - 前記復元画像領域対応マスクマトリックス(M roi )計算部は、
前記復元画像領域内のサンプリングポイント数(P)と、前記レンズレスカメラの画素数(N)によって規定されるP×Nの前記復元画像の生成に適用する復元画像領域対応マトリックスを生成する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する請求項1に記載の画像処理装置。 - 光の透過領域と不透過領域を固定化した2次元パターンを有するマスクと、
前記マスクを介した光を受光する画像センサとからなる撮像部と、
前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記画像センサの撮影画像全体に対応する撮影画像領域対応マスクマトリックス(M all )を算出する撮影画像領域対応マスクマトリックス(M all )計算部と、
前記画像センサの撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックス(M roi )を算出する復元画像領域対応マスクマトリックス(M roi )計算部と、
前記復元画像領域の復元画像を生成する画像推定部を有し、
前記撮影画像領域対応マスクマトリックス(M all )計算部は、
前記画像センサの撮影画像領域全体に配置したサンプリングポイントからの放射光と、前記画像センサの出力である観測画像信号との対応関係情報に基づいて前記撮影画像領域対応マスクマトリックス(M all )を算出し、
前記復元画像領域対応マスクマトリックス(M roi )計算部は、
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの出力である観測画像信号との対応関係情報に基づいて前記復元画像領域対応マスクマトリックス(M roi )を算出し、
前記画像推定部は、
光の透過領域と不透過領域を固定化した2次元パターンを有するマスクを介した透過光を受光して前記画像センサが出力する観測画像信号(y all )と、前記撮影画像領域対応マトリックス(M all )を適用した演算処理により、前記撮影画像領域内のサンプリングポイントの放射光推定値(x^ all )を算出する処理と、
前記撮影画像領域内のサンプリングポイントの放射光推定値(x^ all )中、前記復元画像領域に含まれないサンプリングポイントの放射光推定値である復元画像領域外放射光推定値(x^ out )を抽出する処理と、
前記撮影画像領域対応マスクマトリックス(M all )と、前記復元画像領域外放射光推定値(x^ out )を適用した運算処理により、前記復元画像領域に含まれないサンプリングポイントの観測画像信号である復元画像領域外観測画像信号(y^ out )を算出する処理と、
前記観測画像信号(y all )から前記復元画像領域外観測画像信号(y^ out )を減算することにより生成された前記復元画像領域内の観測画像信号(y all -y^ out )と、
前記復元画像領域対応マトリックス(M roi )の逆行列または疑似逆行列との演算処理により、前記復元画像領域の復元画像を生成する処理を実行する、
撮像装置。 - 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記画像センサの撮影画像全体に対応する撮影画像領域対応マスクマトリックス(M all )を算出する撮影画像領域対応マスクマトリックス(M all )計算部と、
前記画像センサの撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックス(M roi )を算出する復元画像領域対応マスクマトリックス(M roi )計算部と、
前記復元画像領域の復元画像を生成する画像推定部を有し、
前記撮影画像領域対応マスクマトリックス(M all )計算部は、
前記画像センサの撮影画像領域全体に配置したサンプリングポイントからの放射光と、前記画像センサの出力である観測画像信号との対応関係情報に基づいて前記撮影画像領域対応マスクマトリックス(M all )を算出し、
前記復元画像領域対応マスクマトリックス(M roi )計算部は、
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの出力である観測画像信号との対応関係情報に基づいて前記復元画像領域対応マスクマトリックス(M roi )を算出し、
前記画像推定部は、
光の透過領域と不透過領域を固定化した2次元パターンを有するマスクを介した透過光を受光して前記画像センサが出力する観測画像信号(y all )と、前記撮影画像領域対応マトリックス(M all )を適用した演算処理により、前記撮影画像領域内のサンプリングポイントの放射光推定値(x^ all )を算出する処理と、
前記撮影画像領域内のサンプリングポイントの放射光推定値(x^ all )中、前記復元画像領域に含まれないサンプリングポイントの放射光推定値である復元画像領域外放射光推定値(x^ out )を抽出する処理と、
前記撮影画像領域対応マスクマトリックス(M all )と、前記復元画像領域外放射光推定値(x^ out )を適用した運算処理により、前記復元画像領域に含まれないサンプリングポイントの観測画像信号である復元画像領域外観測画像信号(y^ out )を算出する処理と、
前記観測画像信号(y all )から前記復元画像領域外観測画像信号(y^ out )を減算することにより生成された前記復元画像領域内の観測画像信号(y all -y^ out )と、
前記復元画像領域対応マトリックス(M roi )の逆行列または疑似逆行列との演算処理により、前記復元画像領域の復元画像を生成する処理を実行する画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018039315 | 2018-03-06 | ||
JP2018039315 | 2018-03-06 | ||
PCT/JP2018/045005 WO2019171691A1 (ja) | 2018-03-06 | 2018-12-06 | 画像処理装置、および撮像装置、並びに画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019171691A1 JPWO2019171691A1 (ja) | 2021-03-04 |
JP7363765B2 true JP7363765B2 (ja) | 2023-10-18 |
Family
ID=67847073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504791A Active JP7363765B2 (ja) | 2018-03-06 | 2018-12-06 | 画像処理装置、および撮像装置、並びに画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11663708B2 (ja) |
JP (1) | JP7363765B2 (ja) |
CN (1) | CN111788824B (ja) |
WO (1) | WO2019171691A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4131925A4 (en) * | 2020-03-31 | 2023-09-06 | Sony Group Corporation | IMAGE PROCESSING DEVICE AND METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM |
US20230367053A1 (en) * | 2020-10-16 | 2023-11-16 | Sony Group Corporation | Polarization imaging device, binary mask, image processing system, and image processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008542863A (ja) | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | 符号化開口画像システム |
JP2009171191A (ja) | 2008-01-16 | 2009-07-30 | Sanyo Electric Co Ltd | 撮像装置及び撮像方法 |
JP2016134732A (ja) | 2015-01-19 | 2016-07-25 | 株式会社リコー | 撮像装置及び撮像方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006009176A1 (ja) * | 2004-07-20 | 2006-01-26 | Asahi Glass Company, Limited | 液晶レンズ素子および光ヘッド装置 |
US7767949B2 (en) * | 2005-01-18 | 2010-08-03 | Rearden, Llc | Apparatus and method for capturing still images and video using coded aperture techniques |
US8558182B2 (en) * | 2009-10-09 | 2013-10-15 | University Of Rochester | Optical element, device, method, and applications |
US20120069209A1 (en) | 2010-09-22 | 2012-03-22 | Qualcomm Mems Technologies, Inc. | Lensless camera controlled via mems array |
JP5709040B2 (ja) * | 2010-10-27 | 2015-04-30 | 株式会社リコー | 分光画像撮像装置 |
JP2012124832A (ja) * | 2010-12-10 | 2012-06-28 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
KR20120080845A (ko) * | 2011-01-10 | 2012-07-18 | 삼성전자주식회사 | 광 감지 기능을 구비한 oled 디스플레이 장치 |
GB2489675A (en) * | 2011-03-29 | 2012-10-10 | Sony Corp | Generating and viewing video highlights with field of view (FOV) information |
JP2013090059A (ja) * | 2011-10-14 | 2013-05-13 | Sony Corp | 撮像装置、画像生成システム、サーバおよび電子機器 |
JP6138222B2 (ja) * | 2012-02-20 | 2017-05-31 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
JP6341087B2 (ja) * | 2012-07-12 | 2018-06-13 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JP5988790B2 (ja) * | 2012-09-12 | 2016-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
JP5574031B2 (ja) * | 2012-12-14 | 2014-08-20 | フリュー株式会社 | 画像処理装置および方法、並びにプログラム |
JP6230239B2 (ja) * | 2013-02-14 | 2017-11-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
US9359170B2 (en) * | 2013-10-14 | 2016-06-07 | Cedes Ag | Coding device and position-determining device and position-determining method |
CN107005662B (zh) * | 2014-07-12 | 2020-04-28 | 雷神公司 | 具有集成压缩采样的读出集成电路和焦平面阵列成像*** |
JP6385241B2 (ja) * | 2014-10-27 | 2018-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6598473B2 (ja) * | 2015-02-27 | 2019-10-30 | キヤノン株式会社 | 撮像装置および画像処理装置 |
US20170118489A1 (en) * | 2015-10-23 | 2017-04-27 | Broadcom Corporation | High Dynamic Range Non-Constant Luminance Video Encoding and Decoding Method and Apparatus |
US10274652B2 (en) * | 2016-02-05 | 2019-04-30 | Rambus Inc. | Systems and methods for improving resolution in lensless imaging |
JP6820908B2 (ja) * | 2016-02-26 | 2021-01-27 | 株式会社日立製作所 | 撮像装置 |
JP6672070B2 (ja) * | 2016-05-17 | 2020-03-25 | キヤノン株式会社 | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム |
JP6688716B2 (ja) * | 2016-10-04 | 2020-04-28 | 株式会社日立製作所 | 撮像装置および撮像方法 |
WO2018123318A1 (ja) * | 2016-12-27 | 2018-07-05 | 富士フイルム株式会社 | 撮像装置及び撮像モジュール |
JP6773903B2 (ja) * | 2017-06-01 | 2020-10-21 | 富士フイルム株式会社 | 画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
WO2018221025A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
CN107290846B (zh) * | 2017-08-04 | 2019-06-21 | 南京理工大学 | 基于环状可编程led照明的定量相位显微成像方法 |
JP6934072B2 (ja) * | 2017-12-26 | 2021-09-08 | 富士フイルム株式会社 | 撮像装置 |
WO2019176349A1 (ja) * | 2018-03-14 | 2019-09-19 | ソニー株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
-
2018
- 2018-12-06 JP JP2020504791A patent/JP7363765B2/ja active Active
- 2018-12-06 CN CN201880090500.5A patent/CN111788824B/zh active Active
- 2018-12-06 US US16/976,742 patent/US11663708B2/en active Active
- 2018-12-06 WO PCT/JP2018/045005 patent/WO2019171691A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008542863A (ja) | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | 符号化開口画像システム |
JP2009171191A (ja) | 2008-01-16 | 2009-07-30 | Sanyo Electric Co Ltd | 撮像装置及び撮像方法 |
JP2016134732A (ja) | 2015-01-19 | 2016-07-25 | 株式会社リコー | 撮像装置及び撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019171691A1 (ja) | 2019-09-12 |
JPWO2019171691A1 (ja) | 2021-03-04 |
CN111788824B (zh) | 2022-07-08 |
CN111788824A (zh) | 2020-10-16 |
US11663708B2 (en) | 2023-05-30 |
US20200410654A1 (en) | 2020-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6230239B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US10154216B2 (en) | Image capturing apparatus, image capturing method, and storage medium using compressive sensing | |
KR101233013B1 (ko) | 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법 | |
JP3191928B2 (ja) | 画像入出力装置 | |
JP5468404B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
JP6838994B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2022501982A (ja) | ニューラルネットワークを使用した写真の露出不足補正 | |
KR20130102550A (ko) | 초고해상도 이미지 생성 방법 및 이를 구현하기 위한 비선형 디지털 필터 | |
US6233035B1 (en) | Image recording apparatus and image reproducing apparatus | |
US11282176B2 (en) | Image refocusing | |
US10171732B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on plurality of parallax images | |
JP2018174502A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム | |
JP7363765B2 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
JP2013145982A (ja) | 撮像装置、画像処理装置及び方法 | |
JP4354096B2 (ja) | 撮像装置 | |
Shroff et al. | High resolution image reconstruction for plenoptic imaging systems using system response | |
Nguyen et al. | Multi-mask camera model for compressed acquisition of light fields | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP6491442B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
TWI605418B (zh) | 影像編輯方法以及影像處理裝置 | |
Sun | Depth Estimation Methodology for Modern Digital Photography | |
Xiao et al. | Multi-level feature aggregation network for high dynamic range imaging | |
JP6210717B2 (ja) | 画像再生装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230120 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7363765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |