JP2018084982A - 画像処理装置、情報処理方法及びプログラム - Google Patents
画像処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018084982A JP2018084982A JP2016228042A JP2016228042A JP2018084982A JP 2018084982 A JP2018084982 A JP 2018084982A JP 2016228042 A JP2016228042 A JP 2016228042A JP 2016228042 A JP2016228042 A JP 2016228042A JP 2018084982 A JP2018084982 A JP 2018084982A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- processing apparatus
- quality
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 153
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims description 97
- 230000010354 integration Effects 0.000 claims description 51
- 230000010365 information processing Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 55
- 238000003384 imaging method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 30
- 230000004048 modification Effects 0.000 description 28
- 238000012986 modification Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 210000002569 neuron Anatomy 0.000 description 21
- 238000007796 conventional method Methods 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 230000006872 improvement Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000009897 systematic effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013604 expression vector Substances 0.000 description 2
- 208000003251 Pruritus Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000008906 neuronal response Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
【解決手段】画像処理装置は、複数の画像を取得する取得手段101a〜101cと、ニューラルネットワークを用いて複数の画像を特徴量に変換する変換手段102a〜102cと、特徴量を統合する統合手段103と、統合した特徴量から複数の画像より高画質の画像を生成する生成手段104と、を有する。取得手段は、少なくとも一つの画像の属性が他の画像の属性とは異なる複数の画像を取得し、さらに、取得手段は他の画像の属性とは異なる画像として、赤外画像、輝度画像、奥行き画像の何れかを取得する。
【選択図】図2
Description
CPU11がメモリ12に記憶されているプログラムに基づき処理を実行することにより、画像処理装置10の後述する図2、図7、図13に示される機能構成、図5、図8、図12、図15、図22のフローチャートの処理が実現される。
実施形態1の画像処理装置10の目的は、簡易な構成の撮像装置(以下、低画質画像の撮像装置ともいう)による複数の低画質な画像から、高精度な構成の撮像装置で得られるような高画質な画像を生成することである。高画質化は解像度の向上、ノイズ削減、色調補正、鮮鋭化、被写界深度の変更等、様々考えられるが、本実施形態における高画質化は高解像化のこととする。
本実施形態においては各低画質の画像はカラー画像、赤外画像、フラッシュ撮像した画像のように画像の属性が相異なるものであるとする。各低画質の画像及び生成される高画質な画像の視点位置は同一であるとする。ここで視点の一致した複数の異種属性の画像を得るためには以下のような方法がある。(1)低画質画像の撮像装置の内部でハーフミラーを使って光線を分割する(2)属性の異なる受光素子を撮像デバイスに混合して配列させる。画像処理装置10が取得する低画質画像は上記のような工夫を備えた低画質画像の撮像装置により撮像されたものであるとする。
本実施形態に係る画像処理装置10を、図面を参照しながら説明する。なお、図面間で符号の同じものは同じ動作をするものとして重ねての説明を省く。
以上の従来法に対比して本実施形態を説明する。図4に模式図を示すように、複数の低画質画像301a〜301cを入力としている。ここでは低画質画像はRGBカラー画像、赤外画像、フラッシュ撮像画像のようにそれぞれ属性の異なる画像とする。なお図4には3枚の低画質画像が示されているが、低画質画像の構成枚数は2枚以上の任意の数が可能である。
これら複数の属性の画像を用いて補完的に高画質画像を生成する点が、従来法である非特許文献1と本実施形態の処理との違いである。また統合の際に画像の画素ではなく、特徴量を用いて統合する点が、特許文献1のような画像平均化をベースとする従来方法と本実施形態の処理とが異なる点である。また各複数の属性画像は統合に至るまでに、各個それぞれのNNで特徴変換され、統合に適切な抽象度の特徴量に変換される点が更に他の従来法と本実施形態の処理との差異である。本実施形態の処理では画像の統合の一つの実現形態として特徴量の連結を示しているが、後の実施形態に示すように、統合の方法は特徴量の連結には限らない。
本実施形態の画像処理装置10は、各低画質画像301a〜301cをCNNの特徴量303a〜303cへ変換する特徴変換308a〜308cを行う。特徴変換308a〜308cはここではそれぞれ二段階の畳み込み処理から成るとしている。
次に画像処理装置10が従来手法と異なるのは、特徴量統合309の処理を備える点である。特徴量統合309の処理は低画質画像のCNNの特徴量303a〜303cを連結して一つのCNNの特徴量304を得る。特徴量が一つに統合された後は、画像処理装置10は、特徴量304に高画質化変換315の処理を行って高画質画像の結果を得て最終出力とする。
S103からS107までは低画質画像301a〜301cごとに以下の処理を行うループの処理である。まずS104において、特徴変換部102は、低画質画像の撮像装置の光学構成等に由来する画像の歪みを補正する。更にS105において、特徴変換部102は、各画像のサイズ及び縦横比が一致するようにサイズやアスペクトを調整する。特徴変換部102は、これらの補正処理を、光学系や低画質画像の撮像装置の設計値を用いて行ってよい。又は予め撮像した校正用のパターン等からカメラの内部パラメーターを推定して補正してもよい。
次にS106において、特徴変換部102は、低画質画像301a〜301cをCNNの特徴量303a〜303cに変換する。これは本実施形態では下式の畳み込みの演算と活性化関数の演算からなる。
θ(x)= Max(0,x),
f'i+1(x,y,di+1)=ΣdiΣΔxΣΔyfi(x,y,di)wi(x+Δx,y+Δy,di,di+1)+bi(di)
但し、fi,fi+1は変換前と変換後の特徴量である。f(x,y,d)は画素(x,y)に関する多次元特徴量fのd番目の値である。θは半波整流の活性化関数である。ΔxとΔyとはサイズS×Sの画像パッチの各画素の座標であり、Δx,Δy∈{−S/2,…,0,…,S/2}である。またwは4次のテンソルの変換パラメーターである。bはバイアス項である。なお、ここで画像外の領域は0の値で充填されており、畳み込み演算の変換前後で画像のサイズは変えないとする。
この畳み込み演算のパラメーターw及びbは後で示す事例学習の方法で事前に獲得される。本畳み込み演算は定性的には、低画質な画像を、変換後の目標である高画質画像に対応づけるための局所パッチの符合化処理と見なすことができる。
本実施形態の画像処理装置10も部分的に上記と同様の処理を行う。異なるのは、複合化の目標となる画像が入力画像そのものではなく、高画質画像であることである。またそのため中間段階のコードブックの情報表現は、高精細な情報を十分表現し、かつ、ノイズ等にロバストであることが求められる。
非特許文献1は、NNの特徴表現がこれに適うことを実証したものである。畳み込み演算を複数回繰り返すCNNの各層には、色の組み合わせや物体形状等、様々な情報が異なる階層で表現される。また学習したタスクに応じて必要なタイプの表現が発見的に獲得される。以上がNNの畳み込み演算が高画質化のための特徴表現(符合化)を実現する背景の説明である。
図4では特徴変換308a〜308cの各処理として上記の畳み込み演算を二段階行う形態を示している。但し、ここで何段階の畳み込み演算を行うか、そのときの畳み込みのカーネルのサイズ、変換後の特徴量の次元数等は特定の形態に限定されない。また特徴変換308a〜308cの変換パラメーターはそれぞれ異なっていてよい。
f3(x,y)=[f2a(x,y)T,f2b(x,y)T,f2c(x,y)T]T
ここでf2a(x,y),f2b(x,y),f2c(x,y)はそれぞれCNNの特徴量303a〜303cの画素(x,y)に関する特徴ベクトルである。Tは転置である。
fi+1=θ(f'i+1),
f'i+1(Sx+Δx,Sy+Δy,di+1)=Σdi w' i(Δx,Δy,di,di+1)fi(x,y,di)+b'i(Δx,Δy,di+1))
但しw'は変換パラメーターである。b'はバイアス項である。Δx,Δyは各画素を変換して得られる画像パッチの座標の要素である。上式の変換により低画質の画像の特徴量304はS倍の解像度を持つ特徴量305に変換される。なお図6(A)は変換後の画像パッチサイズがSに等しい場合を示す模式図である。一方で図6(B)は変換後の各画像パッチがSより大きいケースを示す。後者のケースでは、変換後の画像パッチ間で重なる領域が存在する。重なった領域では変換後の各画素の値を総和して特徴量とする。
なお従来法の非特許文献1では逆畳み込み演算は行わず、入力画像をバイキュービック法で機械的に拡大している。それに対して本実施形態の画像処理装置10は、後述するように事例学習に基づき解像度の向上を行い、その重みはNNの層全体を通じて最適化される。
本実施形態の一連の変換に関するパラメーターは予め画像及び特徴量の変換前後の適切な関係を多数の事例画像から学習することで獲得される。学習時の動作については後述する。なおNNの各段階にはここで述べた畳み込みや活性化関数の演算に加えて、特徴量の値を正規化する処理を組み合わせてもよい。このような細かな処理のバリエーションの内容は、本実施形態にとって本質的な要素ではないのでここでは詳述しない。
次に本実施形態のNNの重み、即ち適切な変換パラメーターを学習で獲得するための詳細な処理の流れを説明する。学習に係る画像処理装置10の機能構成図は図7のようになる。これは図2に新たに高画質画像取得部107、画像比較部108及び学習事例画像保持部109が加わったものである。学習処理のフローチャートを、図8を用いて説明する。
まず学習に用いる事例画像のセットは事前に様々な被写体を撮像し、学習事例画像保持部109に保存されているとする。ここで事例画像とは画像取得部101a〜101cで撮像した低画質の画像群と、それらから最終的に生成したい目標となる高画質画像と、である。高画質画像は、低画質画像の撮像装置群とは別の撮像装置を用意して撮像が行われる。ここで高画質画像は低画質画像群と視点と焦点面が同一になるように撮像装置の位置が調整され、撮像が行われているものとする。
画像処理装置10の学習処理が開始すると、まずS201において、変換パラメーター保持部106は、全パラメーター{wi,bi,w'i,b'i}を乱数で初期化する。次にS202及びS203において、画像取得部101a〜cは、学習事例画像保持部109から各撮像系の低画質画像を読み出し、各画像の歪みやサイズ、アスペクトの補正を行って各低画質画像上の被写体が概ね一致するように変換を行う。ここで決定した画像補正の変換のパラメーターは変換パラメーター保持部106に保存され、認識時にも同じ値が利用される。画像取得部101a〜cは、補正後の画像を、学習事例画像保持部109に戻して保存する。
またもし特定の低画質画像が歪んでいたり、アスペクトやサイズが少しずつ異なっていたりするような場合は、位置ずれは非系統的に生じる。このような場合、特徴変換308a〜308cには受容野の中心のぼけたフィルタが学習される。このぼけの大きさは、低画質画像間の非系統的な位置ずれ量の標準偏差に比例する。このように低画質画像間の位置ずれはNNのフィルタによってロバストに吸収されることになる。
次にS207において、その時点までに得られている変換用のパラメーターの値を用いて特徴変換部102a〜102c、特徴量統合部103、高画質化変換部104がそれぞれ所定の順番で変換処理を行う。これによりn個の低画質画像のセットよりn枚の高画質画像が生成される。次にS208において、画像比較部108は、生成されたn枚の高画質画像と目標のn枚の高画質画像とを比較して誤差の量を算出する。画像間の総誤差量は下記の二乗誤差で定義される。
L = 1/nΣj 1/mj ΣcΣxΣy ||I* jc(x,y)−I^ jc(x,y)||2
但しI* jはn個のデータセットのうちのj番目の高画質画像の真値である。I^ jはj番目の低画質画像セットから生成された高画質画像である。mjはj番目の画像の全画素数である。cはRGBの3チャンネルを表す要素である。
W(t+1)=W(t)−η∂L/∂W(t)
但しWは何れかのパラメーターを表す。ηは学習係数である。誤差の勾配の項∂L/∂Wは誤差逆伝搬の手法を用いて最終層から順に算出される。ある層のニューロンiとその上位の層のニューロンjの間に結合があるとき、結合の重みのパラメーターWijの誤差の勾配は以下の式で求められる。
∂L/∂Wij=(∂L/∂Zj)(∂Zj/∂Wij)
但しZjはニューロンjの出力値である。
以上の更新処理を所定回数繰り返したら、S211において、特徴変換部102a〜102c、特徴量統合部103、高画質化変換部104は、変換パラメーター保持部106にネットワークの全パラメーターを保存して処理を終了する。なお上記の学習更新式には慣性項や重みの減衰項と呼ばれる項を加えたタイプ等派生の形態も様々に存在する。以上で学習時の処理についての説明を終える。
画像処理装置10は、NNで各画像を特徴量に変換する。各画像の領域は輪郭の形状や表面のテクスチャといった、被写体の見えに関する抽象的で高次元の特徴量に分解される。次に画像処理装置10は、複数の画像の特徴量502a〜502cを連結してまとめる。すると、異なる属性の画像が特徴量のレベルで集約される。次に事例ベースの学習により、上記の高次元特徴ベクトルと、変換先の目標である高画質画像503の局所領域のパターン504とが対応付けて記憶される。更にNNの各層の変換パラメーターは学習を通じて全体が最適化される。このような機序により、本実施形態の画像処理装置10は、属性の異なる低画質の画像群を利用して高画質画像503を生成することができる。
対して本実施形態において、低画質画像間にエッジの食い違いや収差による色の滲みのような食い違いがある場合を考える。低画質画像の局所パッチには様々な被写体の部分領域が含まれる。空や壁等同一被写体からは同じような輪郭やテクスチャのパッチが多く抽出される。ここである二つの異種画像間の食い違いが系統的で、常に同じ方向に同じ量だけ輪郭がずれると仮定する。すると輪郭のずれ方の類似したパッチが数多く存在することになる。NNが局所パッチを特徴量化(符号化)する際は、これらの位置ずれもパターンの一部として畳み込み演算の重みを学習する。そのため画像の食い違いはNNの特徴量変換によって吸収されることになる。
更にここで異種画像間のずれ方の方向や量が一定ではなく、画像中の位置や被写体の距離等によって異なる方向に異なる量ずれると仮定する。この場合、一つの畳み込み演算で食い違いを吸収することは難しい。但し、複数の階層のNNの特徴変換を経ることにより、上記のようなずれ方の複数のバリエーションを個別に学習し、正しく輪郭として符号化できる可能性がある。
以上説明したように、本実施形態では学習によって異種画像の食い違いを吸収して各画像を補完的に用いることができる。非特許文献2のように、ユーザーが異種画像間の食い違いに対して個別的な工夫を施す必要がない。
このように画像処理装置10は、事例ベースで高画質化処理を行っている。そのため高画質化処理の種類は高解像化に限らず様々な形態が実現可能である。暗電流ノイズの抑制、色調補正、鮮鋭化、被写界深度の変更、ボケの除去、霧や霞みの除去、等様々な種類の高画質化処理の実現が可能である。
但しこれらを精度よく行うためには、信号とノイズとを見分けるだけの必要な情報が低画質画像に乗っていることと、事例を学習するための豊富な事例を用意することとが必要である。例えば霧や霞みを除去するには、霧に隠れた被写体をある程度捉えられる赤外のようなマルチバンドの画像があることが望ましい。また暗電流ノイズを抑制するためには、暗電流と通常の模様との違いが学習できるだけの豊富な事例セットが必要となる。
ここで実施形態1の変形例として画像処理装置10を図10(A)のような構成としてもよい。本変形例の画像処理装置10は、先に説明した実施形態1とは異なり、低画質画像の特徴量903a〜903bに対して先に逆畳み込みによる高画質化の処理を行い、高画質の特徴量904a〜904bを生成する。画像処理装置10は、その後に特徴量連結の処理を行う。このように各処理の順番が前後したり、複数段階に分けて実行されたりする形態が有り得る。また逆畳み込みの高解像変換を複数回に分けて少しずつ高解像な特徴量に変換するようにしてもよい。
また実施形態1では高画質な特徴量を得るために学習に基づく逆畳み込み演算を用いた。しかし、図10(B)に示すように、画像処理装置10は、低画質画像911a〜911bをまずバイキュービック補完等の一般的な画像処理手法でアップサンプリングし、ついでNNの特徴量へと変換するようにしてもよい。また更に別の変形例として、画像処理装置10は、逆畳み込み演算の代わりに、非特許文献3で示されているような逆プーリング(unpooling)と呼ばれる特徴量の拡大コピー、及び畳み込み演算からなる二段階の変換を用いてもよい。
また別の変形例として、図10(C)に示すように、画像処理装置10は、一段階目に逆畳み込み演算による高解像化を兼ねた特徴変換を行い、その後に特徴量統合と高画質化を行うような形態でもよい。
また別の変形例として、画像処理装置10は、プーリング処理を組み合わせてもよい。プーリングは複数の画素の特徴量を集約して一つの画素の特徴量とする処理であり、パターンの変形や位置ずれに対してニューロンの反応がロバストになる効果がある。但し特徴の空間解像度は低下する。これを補うため、画像処理装置10は、プーリング後に特徴を線形補完等で再拡大したり、逆畳み込み演算によって解像度を復元したりしてもよい。本変形例の部分的な一例を図10(D)に示す。ここでは畳み込み演算の後にプーリングを行い、次いで異属性間の特徴量を連結し、逆畳み込み演算で再び解像度を拡大する、といった構成を示している。
また本実施形態では、畳み込み及び逆畳み込みの変換のパラメーターは画像上の位置に寄らず一定であったが、これを画像上の位置によって異なるパラメーターを用いるようにしてもよい。この変形例では画像の端に出やすい特定の収差や周辺光量落ち等の劣化要因を効果的に学習して除去することが期待できる。
また同様に例えば非特許文献5には撮像装置ごとに個別に撮像タイミングを制御してn回の撮像を行い、バリエーションの異なるnフレームの動画像を得る技術が示されている。このような画像をnチャンネルの画像データとして本実施形態の低画質画像の一つとして入力するような形態でもよい。
また本実施形態では低画質画像の焦点面を調整して撮像することを想定していた。ここで変形例として、何れか一つの低画質画像を基準画像として焦点面を操作して撮像し、残りの低画質画像は常に焦点面を固定するようにしてもよい。基準画像以外は深い被写界深度で撮像した画像(いわゆるパンフォーカス)としておく。この変形例では基準となる画像からは焦点面の情報を手掛かりにし、残りの画像については見えの情報のみを用いる。これによりこれまでの形態と同様、入力画像の焦点面に対応した焦点面で撮像したような高画質画像が生成される。
実施形態1では、画像処理装置10の画像取得部が得る各低画質画像と、低画質画像を変換して得られる高画質画像との視点位置が同一である構成について述べた。実施形態2では、各低画質画像と高画質画像との各々の視点位置が異なる構成について述べる。本実施形態は実施形態1と異なり光線の分割等が不要のためより簡素な構成となる。その一方で、実施形態1では存在しなかった視差が画像間に生じるため、より複雑な画像変換のパラメーターの学習を行う必要がある。
本実施形態の画像処理装置10は、ハードウェア構成として、撮像部1000を有するものとする。撮像部1000の外観の例を図11(A)に示す。ここでは撮像部1000の筺体に二つの低画質画像の撮像装置1011aと低画質画像の撮像装置1011bとが備わる例を示している。二つの低画質画像の撮像装置で撮像した低画質画像から、仮想の視点位置1012で高画質なカメラで撮像したような画像を生成することが本実施形態の処理の目的である。なおここで図11(B)に示すように低画質画像のi番目の撮像装置の視点位置と仮想的な高画質画像の視点位置との変位量をρiとする。本実施形態の機能構成は実施形態1の図2と同様である。
まず学習処理が開始されると、S301において、学習事例画像保持部109が高画質撮像装置を用いて学習用の被写体を撮像し、画像を保存する。ついでS302において、学習事例画像保持部109が二つの低画質画像の撮像装置1011a、1001bを用いて同一の被写体を撮像して保存する。このとき、学習事例画像保持部109は、低画質画像の撮像装置1011a、1001bの視点の位置を水平方向に所定の変位量だけずらしながら複数回の撮像を行う。これにより学習事例画像保持部109に様々な被写体について高画質の画像、及び同一の被写体を異なる視差で撮像した複数の低画質画像が保存されることになる。
次にS303〜S307は、各変換パラメーターの学習更新を行うループである。ループ中では変数αが0から1まで0.1ずつ増加する。S304において、高画質画像取得部107は、学習事例画像保持部109よりn枚の高画質画像を選択して取得する。次にS305において、画像取得部101aと画像取得部101bとが、高画質画像に対応するn枚の画像を学習事例画像保持部109よりそれぞれ選択して取得する。このとき、画像取得部101aと画像取得部101bとは、図11(C)に示すように、αの値に応じて変位量αρiの位置で撮像した画像をそれぞれ選択する。
これにより、学習の初期では同一の視点位置の画像が学習画像として与えられ、学習が進むと漸次、真の視点位置で撮像した画像が与えられることになる。このようにすることで学習を平易にし、局所解等に陥るのを防ぐ。S306において、特徴変換部102a、102b及び高画質化変換部104は、変換パラメーターの更新を行う。本ステップは、S306a〜S306cで構成され、この処理は実施形態1で述べた学習時の処理動作(図7のS207〜S209)と同一であるため、詳細な説明は省略する。
これにより、学習の初期では同一の視点一の画像が学習画像として与えられ、学習が進むと漸次、画像処理装置10の撮像部1000の真の視点位置で撮像した画像が与えられることになる。このようにすることで学習を平易にし、局所解等に陥るのを防ぐことができる。α=1.0での学習が終わったらS309において、特徴変換部102a、102b及び高画質化変換部104は、変換パラメーター保持部106にNNの変換パラメーターを保存する。そして、例えば、特徴変換部102a、102b及び高画質化変換部104は、図8に示すフローチャートの処理を終了する。
画像群511の各画像を特徴変換して得られる特徴表現のパターンをPL,Q,RRとする。被写体に近づいて撮像すると図9(C)に示すように更にずれたパターンPLL,Q,RRRが得られる。ここでパターンP(図9(A)に記号を付して示す)、PL及びPLLは形状がほぼ同一ながら位置の異なるパターンである。CNNの上層のニューロンは多様な形状に選択的に反応するのみならず、パターンの位置ずれに対しても選択性を持つことが知られている。P,PL,PLLを表現するニューロンの反応のベクトルの集合は類似しつつ互いに少しずつ異なっている。即ち、画像パターンの位置ずれに関しての1次元の多様体を構成している。
ニューロンの特徴表現のベクトル(P,Q,R),(PL,Q,RR),(PLL,Q,RRR),…,がそれぞれ異なる反応のパターンを示す場合、有限個のニューロンであらゆる低画質画像と高画質画像とを対応付けて記憶してゆくのは困難である。
しかしパターンの集合{P,PL,PLL}及び{R,RR,RRR}に対するニューロンの反応のベクトルは1次元の多様体である。これらのベクトルの組の集合{(P,Q,R),(PL,Q,RR),(PLL,Q,RRR)}も1次元の多様体である。ニューロンの反応パターンは位置ずれ以外に、形状についてのバリエーションも持つ高次元の多様体だがここでは簡単のために位置ずれにのみ話を限定する。
NNは多様体のパターンを効率よく学習できる手法として公知であり、特に多様体のパターンを次元圧縮するオートエンコーダーが広く知られている。本実施形態の画像処理装置10は、高次元の入力画像パターンをNNの特徴量へと次元削減し、出力画像パターンへと紐付け、再び画像へと復号化する。これは入出力データが低画質と高画質とで非対称なオートエンコーダーの一種と見なすことができる。
以上の結果、各画像上の被写体が図9(B)及び(C)のように視差によってずれている場合も、これらを効率的に高画質画像の領域と対応付けて記憶することができる。その結果、様々な低画質画像から高画質画像を生成することが可能となる。以上が本実施形態の機序の説明である。
実施形態2では各低画質画像及び高画質画像の視点位置が同一でない形態について述べた。上記実施形態では視点位置が離れていてニューロンの受容野の大きさを超えるほどの視差が生じる場合、画像間を対応づけることができないため精度が下がる問題がある。CNNをより多数の層で構成すれば高層のニューロンの受容野を大きくすることができるが、多数層のNNは学習が困難である。そこで本実施形態ではこのような問題を解決する処理等について開示する。またその際、本実施形態における特徴量の統合部が特徴量の連結操作に限らず様々な形態を取り得ることを示す。
本実施形態の画像処理装置10は実施形態2と同様に視点位置の異なる低画質画像を取得する複数の画像取得部を備える。画像処理装置10の処理の目的は取得した複数の低画質画像から大口径のレンズで撮像したような被写界深度の浅い鑑賞性の高い画像を作成することとする。本実施形態では物理的なサイズが小さい又は構成が簡易な光学系からでもこのような高画質な画像を得ることができる。
画像処理装置10の情報処理を図14(A)、15(A)及び図15(B)を用いて説明する。画像処理装置10が動作を開始すると、S401〜S406で上述の実施形態と同様の処理が行われる。即ち、低画質の画像取得部1001a〜cがN枚の画像を取得してそれぞれに歪みやサイズの画像補正を施す。なお、S404の歪み補正の際に、低画質画像の撮像装置と高画質画像の仮想視点位置との光軸が並行でない場合、画像処理装置10は、低画質画像と高画質画像との像面が並行になるように併せて射影変換による補正を行う。
続いてS407〜S410は前段で得られた低画質画像のセットにM個の異なる特徴変換を施す処理のループである。ここでM個の特徴変換はそれぞれM段階の異なる視差のケースに対応している。S408において、特徴変換部1002x〜1002zは、それぞれ距離djの焦点面に被写体があると想定して、全画像の位置が焦点面で一致するように各画像を所定の方向及び所定量ずらして重ねる。この重ねられたN枚の画像を図14(A)に記号I(j)で表す。なお画像処理時には被写体がどの距離にあるかに関わらず、特徴変換部1002x〜1002zは、一律に上記処理を行う。
次にS409において、特徴変換部1002が備える畳み込み演算部によって画像I(j)に畳み込み演算を行ってNNの特徴量f1 (j)を得る。次にS411において、特徴量統合部1003は、被写体距離取得部1007から距離マップD*を得る。この距離マップはアクティブパターン照射法等の何らかの手段で撮影と同時に各画素の距離の値を別途得るものとする。被写体距離取得部1007の実現手段はここでは問わない。
次にS412において、特徴量統合部1003は、距離マップの値d*(x,y)∈D*に基づいて、各画素についてM種類の特徴量f1 (j)(x,y)を何れか一つ選択して特徴量f2(x,y)とする。より具体的に説明すると、d*(x,y)に最も近い距離djに対応する特徴量f1 (j)(x,y)をf2(x,y)の特徴量とする。数式で表すと下式のようになる。
f2(x,y)=f1 (j^)(x,y),
j^ = argminj|d*(x,y)−dj|
なお本実施形態は実施形態1及び2と異なり逆畳み込み演算を用いない。これは本実施形態の目的が画像解像度向上でなく、大口径のレンズで撮像したような鑑賞性の高い高画質画像を得ることであるからである。
f2(x,y)=(1/Z)ΣjlCOR (j)(x,y)f1 (j)(x,y),
Z=ΣjlCOR (j)(x,y)
但し、ここでlCOR (j)は画像セットI(j)が距離djにある被写体の同一の点を写しているか否かの尤度である。
S423及びS424の処理は、S413及びS414の処理と同様である。
またここで対応点尤度の判定が常に成功するとは限らないことを考慮し、尤度そのものではなく、一つ前段の層(図14(C)にL5という記号で示す)の出力を特徴量として利用してもよい。これを対応点特徴1010と呼ぶ。この変形例の場合、特徴量統合部1003は、Mパターンの対応点特徴1010とMパターンのNNの特徴量f1 (j)とを受け取り、これを連結して高次元の特徴量f2とする。この高次の特徴量f2を入力として後段のNNの学習を行えば、対応点判定が失敗するようなケースでも破綻することなく高画質化を行える。
その他の変形例として図16(A)のような構成の撮像部を用いる画像処理装置10を開示する。本変形例の目的は非特許文献2と同様である。即ち赤外画像を補助的に用いてノイズを低減した高画質なカラー画像を得ることである。模式図を図16(B)に示す。
本実施形態の撮像部はRGB画像を撮像する撮像装置1030a、赤外画像を撮像する撮像装置1030b、赤外フラッシュ1020からなる。変換後の高画質画像の仮想視点位置1030は撮像装置1030aの視点位置と同一である。本実施形態は撮像時に赤外フラッシュを投射し、撮像装置1030aでRGBカラー画像を、撮像装置1030bで赤外画像を同時に撮像するものとする。これらを低画質画像とする。更に学習用の高画質画像は同じ被写体を撮像装置1030aで長時間露光してノイズの少ない画像を得たものとする。この後の高画質化処理の動作及び学習動作については実施形態3と共通であるので詳細を省く。以上、実施形態3の形態が他の目的の高画質化処理に応用できることを示した。この他にも様々な形態としてもよい。
例えば更に他の変形例として、図16(C)に模式図を示すように、逆光で撮像した人物のRGBカラー画像と赤外フラッシュを使用して撮像した赤外画像とから順光で撮像したようなRGBカラー画像が得られるように変換するようにしてもよい。
例えば更に他の変形例として、図16(D)に模式図を示すように露光時間の異なる複数の視点の低画質画像の撮像装置で撮像した低画質画像群から輝度のダイナミックレンジの広い画像(HDR画像)を生成するようにしてもよい。
更に他の変形例として、図16(E)に模式図を示すように磁力線強度が低出力のMRI装置で撮像した画像と、同じ被写体を撮像した超音波画像又はX線画像等の異なる属性の画像とを組み合わせる。このことで、高出力なMRI装置で撮像した画像のように高精細な画像又はボクセルデータを得るようにしてもよい。画像の組み合わせを適切に選ぶことにより低侵襲、かつ、高画質な医用画像を得ることができる。また更に例えば複数の超音波画像を入力とし、X線画像を目標画像とする等、画像の属性を変換するようにしてもよい。
更に他の変形例として、複数の結果を同時に出力するようにしてもよい。例えば図16(F)に模式図を示すように複数偏光方向の異なるフィルタを備えた複数の低画質画像の撮像装置から、被写体の表面の法線方向のマップ、及び奥行き画像(2.5次元画像)を同時に生成するようにしてもよい。目的の異なる複数の変換を行う場合、関連するタスクであればNNの層を途中まで共通して用い、画像生成の高層のNNの層のみタスクごとに別途用意して学習するようにしてもよい。異なる画像処理装置10のNNを二つ用意するよりも規模の面で有利である。
以上のように本実施形態では視点位置の異なる低画質画像を統合して高画質画像を生成する形態について述べた。更に特徴量統合部103の形態として実施形態1で示した特徴量の連結以外に、画素ごとの選択、画素ごとの重み付和(重み付平均)が有り得ることを示した。このように特徴量統合部103の形態は様々に考えられ、特定の形態に限定されない。
本実施形態では低画質画像の撮像装置の幾何的な位置関係に基づいてNNの結合関係を決定する形態について述べる。機能構成図は実施形態3で用いた図13(B)と同一である。但し実施形態3と異なり対応点判定部1008は本実施形態では必要ない。
複数視点の画像の間には図17(A)に示すエピ極線拘束と呼ばれる幾何的な関係性が存在する。これを前提として本実施形態の情報処理等について説明する。本実施形態の画像処理装置10の撮像部は図17(B)に示すように光軸の並行な4つの低画質画像の撮像装置(カメラ1〜4)を備える。図17(B)には破線の丸で高画質画像の仮想の視点位置を示す。
ここで撮像部の正面に被写体である物体a〜cが並んでいると仮定する。このとき、図7(B)に示すようにエピ極線拘束により低画質画像中の物体a〜cは直線上に並ぶ。この幾何的な関係性により、各低画質画像間で同一の点が写る可能性のある領域はエピ極線上に限られることが判る。より具体的には図17(C)に示すように、カメラ1の画像のエピ極線1−1上の領域に対応関係が有り得るのはカメラ2の画像ではエピ極線2−1上の何れかの領域に限られる。図17(C)では対応関係の一部のみに破線を引いて示している。
各低画質画像の画素(x',y')と、ニューロン(x,y)との間の結合関係を設定する。より具体的な例を図18(A)に示す。小さな視差(j=1)については、特徴量f1 (1)(x,y)の中心の画素1805に、カメラ1の画像の画素1801、カメラ2の画像の画素1802が対応している。j=Mの大きな視差については、特徴量f1 (M)(x,y)の中心の画素1806に、カメラ1の画像の画素1803、カメラ2の画像の画素1804が対応している。i番目の画像の画素の値は、各ニューロンのi番目のチャンネルに入力されるようにする。入力の結合重みは1、即ち恒等写像とする。
以上のようにエピ極線拘束と視差とによって各ニューロンと画像との入力関係を一意に決定することができるが、実際に対応関係を正確に求めるには下記のようにホモグラフィ行列を求めることになる。ホモグラフィ行列は図17(A)に示すように点Xπと、点Xπを通る平面πを想定するときに、片方の画像から平面π上の点Xπを見たときの位置xを他方の画像上の位置x'に写す3×3行列の変換行列である。ホモグラフィ行列Hは下式で表される。
x = H1Xπ,
x' = H2Xπ,
x' = H2Xπ =H2H1 -1x = Hx
2枚の画像間で対応する点を4組以上求めるとホモグラフィ行列Hが求まることが知られている。そこで校正用ボード等を視差1〜Mのそれぞれの位置に光軸に垂直に提示し、各画像間で対応点を4点以上抽出して画像間の行列Hを求める。この結果、複数視点の低画質画像の各画素を、M段階の視差の特徴量f1 (1)〜f1 (M)の各画素へと対応づけるNNの結合関係が決定される。
更に図13(B)の特徴量統合部1003が特徴量f2 (1)〜f2 (M)を連結して特徴量f3を得る。特徴量f3に高画質化変換部1004が畳み込みを行って高画質な画像I*を生成する。高画質化の変換では、遠近の位置で分かれていた高次元の特徴を統合し、高画質画像の局所領域と対応付けして変換する処理が行われる。なお各層の変換パラメーターの学習の方法はこれまでと同様である。
また更に変形例として、画像処理装置10は、上記のNNの結合関係の獲得後、学習画像に基づいて最終出力層から入力層までの全層の重みを、誤差逆伝搬法で更に調整してもよい。このように本実施形態の画像処理装置10の情報処理は、撮像装置の幾何的な位置関係によってNNの結合関係を決定すること、また各結合の重みを事例画像で学習すること、を示すものである。
実施形態5では、多数の低画質画像の撮像装置から取得した画像を段階的に統合する形態について述べる。画像処理装置10の目的は実施形態3と同様の高画質化であるとする。ここでの高画質化の対象は実施形態3と同様多岐に渡って適用が可能である。本実施形態の画像処理装置は図19(A)のような多眼カメラの撮像部の外観を有する。これに対応する高画質化の処理の模式図は図19(B)になる。画像処理装置10は、図19でA〜Hの記号を付した低画質画像の撮像装置のうち、視点位置が互いに近い低画質画像の撮像装置で撮像された低画質画像から順に特徴量の統合を行う。画像処理装置10は、図19(B)に示すようにこのような統合を3段階に分けて繰り返し、最終的な高画質画像の変換結果を得る。本実施形態のように近接した撮像系から順次統合を行う利点として、各統合の段階では視差による画像間の位置ずれが少ない点が挙げられる。そのため畳み込み演算他による特徴量の変換で視差に由来する見えのずれを容易に吸収して統合することができる。
本実施形態での学習は、これまでの学習と同様に仮想の視点位置で撮像した高画質画像を目標画像として与え、低画質画像から目標の画像が生成されるように全段階の変換パラメーターを学習する。これは誤差逆伝搬の方法で全3段階の最終層から最初の層まで誤差を伝搬させながら学習を行えばよい。
更にアレイ状の撮像装置の画像について段階的な統合を行う2つ目の派生形態を説明する。ここでは学習を一段階ずつ行って積み上げて行く形態を示す。以下では図21(A)及び(B)の模式図を用いて説明する。
画像を統合する1段階分のNNの構成はこれまでの実施の例と同様である。図21(B)に示すように1段階分のNNは特徴変換(畳み込み演算2101)、統合(連結処理2102)、画像生成(畳み込み演算3000)の3層から成る。画像の統合は2×2の近傍の範囲の低画質画像の撮像装置の画像に対して行う。統合する範囲の例を図21(A)に統合範囲1と統合範囲2としてそれぞれ黒枠及び灰色の枠で囲んで示す。図21(A)のように統合の範囲は互いにオーバーラップしている。NNの変換パラメーターの学習は統合範囲ごとに独立に行われる。
なお図21(B)には統合を行う柱状の3層のNNのうち各段階で一個しか示していないが、実際にはこのような柱状の3層のNNが1段階目に3×3個、2段階目に2×2個、3段階目に1×1個存在する。画像処理装置10は、1段階目の統合の結果、3×3個の統合された特徴量が得られる。画像処理装置10は、この3×3個の特徴量に対して逐次2段階目と3段階目との統合を行ってそれぞれ2×2個、1×1個の特徴量を得る。画像処理装置10は、1×1個に統合された特徴量から最終的に高画質画像を生成して動作を終了する。
例えばその形態の一つとしては、遮蔽された画像であるかどうかの判定を行う遮蔽画像判定部を画像処理装置10に別途備える。そして特徴量統合部103による統合の際には、遮蔽ありと判定された画像の特徴量を除去して統合する。このときの特徴量の統合の演算は、次元ごとに値を平均化する操作とする。またもし遮蔽画像判定部が遮蔽についての尤度値を出力するなら、特徴量統合部103は、平均化ではなく下式のように重み付和で特徴量を統合してもよい。
fi+1 (k)(x,y,d)=(1/Σj∈Nk lOCC i (j))Σj∈NklOCCi (j)fi (j)(x,y,d),
lOCC i+1 (k)=Σj∈NklOCC i (j)
但しfi (j)はi段階目のj番目の特徴量である。Nkは各段階でk番目の特徴量に統合される特徴量の集合である。lOCC 1 (j)は画像特徴jが遮蔽された画像か否かの尤度値である。
ここで遮蔽画像判定部の実現形態としては、例えば各画像のNNの特徴量を用いてサポートベクトルマシン等の判別器で学習判別させればよい。又は、全撮像画像を平均した平均画像と各画像とを正規化相関で比較し、平均画像と類似性の低い画像を遮蔽ありと判定してもよい。
以上、多数の低画質画像の撮像装置を備える本実施形態の画像処理装置10において、段階的に各撮像装置の取得画像を統合する実施形態について述べた。本実施形態で示される要諦は以下である。(1)NNの結合関係を低画質画像の撮像装置の光学的な配置関係に基づき決定する。(2)決定した結合の変換パラメーターを事例学習によって学習して調整する。以上の構成は従来の画像高画質化の画像処理装置10にはない新規な構成である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
よって、複数の画像からより高画質な画像を得ることができる。
11 CPU
12 メモリ
Claims (14)
- 複数の画像を取得する取得手段と、
ニューラルネットワークを用いて前記複数の画像を特徴量に変換する変換手段と、
前記特徴量を統合する統合手段と、
前記統合した特徴量から前記複数の画像より高画質の画像を生成する生成手段と、
を有する画像処理装置。 - 前記取得手段は、少なくとも一つの画像の属性が他の画像の属性とは異なる、前記複数の画像を取得する請求項1記載の画像処理装置。
- 前記取得手段は、前記他の画像の属性とは異なる画像として、赤外画像、輝度画像、奥行き画像の何れかを取得する請求項2記載の画像処理装置。
- 前記変換手段は、前記画像の属性ごとに個別のニューラルネットワークを有し、
前記統合手段は、前記個別のニューラルネットワークを用いて変換した特徴量を統合する請求項2又は3記載の画像処理装置。 - 前記取得手段は、少なくとも一つの画像に関する視点位置が他の画像に関する視点位置とは異なる、前記複数の画像を取得する請求項1記載の画像処理装置。
- 前記変換手段は、前記画像の視点位置、又は視差ごとに個別のニューラルネットワークを有し、
前記統合手段は、前記個別のニューラルネットワークを用いて変換した特徴量を統合する請求項5記載の画像処理装置。 - 前記統合手段は、前記複数の画像の視点位置と前記高画質の画像の仮想視点位置との幾何的な位置関係に基づいて前記個別のニューラルネットワークの結合関係を決定し、前記特徴量を統合する請求項6記載の画像処理装置。
- 前記統合手段は、学習用の事例画像に基づいて前記個別のニューラルネットワークの結合関係を決定し、前記特徴量を統合する請求項6記載の画像処理装置。
- 前記統合手段は、複数の段階で前記特徴量を統合し、前記統合の順番を前記特徴量に対応する前記画像の視点位置の近さに基づき決定する請求項6乃至8何れか1項記載の画像処理装置。
- 前記ニューラルネットワークは前記高画質の画像の仮想視点位置を段階的に変えながらパラメーターを学習する請求項1乃至9何れか1項記載の画像処理装置。
- 前記取得手段により取得された画像が遮蔽画像であるか否かを判定する第1の判定手段を更に有し、
前記統合手段は、前記第1の判定手段による判定の結果に基づき前記ニューラルネットワークを用いて変換した特徴量を統合する請求項1乃至10何れか1項記載の画像処理装置。 - 前記取得手段により取得された画像の各画素が所定の距離上の対応点であるか否かを判定する第2の判定手段を更に有し、
前記統合手段は、前記第2の判定手段による判定の結果に基づき前記ニューラルネットワークを用いて変換した特徴量を統合する請求項1乃至10何れか1項記載の画像処理装置。 - 画像処理装置が実行する情報処理方法であって、
複数の画像を取得する取得工程と、
ニューラルネットワークを用いて前記複数の画像を特徴量に変換する変換工程と、
前記特徴量を統合する統合工程と、
前記統合した特徴量から前記複数の画像より高画質の画像を生成する生成工程と、
を含む情報処理方法。 - コンピュータを、請求項1乃至12何れか1項記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016228042A JP6929047B2 (ja) | 2016-11-24 | 2016-11-24 | 画像処理装置、情報処理方法及びプログラム |
US15/816,678 US10762606B2 (en) | 2016-11-24 | 2017-11-17 | Image processing apparatus and method for generating high quality image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016228042A JP6929047B2 (ja) | 2016-11-24 | 2016-11-24 | 画像処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018084982A true JP2018084982A (ja) | 2018-05-31 |
JP6929047B2 JP6929047B2 (ja) | 2021-09-01 |
Family
ID=62147715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016228042A Active JP6929047B2 (ja) | 2016-11-24 | 2016-11-24 | 画像処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10762606B2 (ja) |
JP (1) | JP6929047B2 (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019235258A1 (ja) * | 2018-06-07 | 2019-12-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
JP2019211391A (ja) * | 2018-06-07 | 2019-12-12 | 株式会社東芝 | 距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法 |
JP2019212132A (ja) * | 2018-06-06 | 2019-12-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
WO2019240257A1 (ja) * | 2018-06-15 | 2019-12-19 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
JP2019216848A (ja) * | 2018-06-15 | 2019-12-26 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
JP2020030569A (ja) * | 2018-08-22 | 2020-02-27 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 |
JP2020036310A (ja) * | 2018-08-24 | 2020-03-05 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム |
JP2020042796A (ja) * | 2018-09-10 | 2020-03-19 | 富士通株式会社 | ニューラルネットワークアーキテクチャ探索装置と方法及びコンピュータ可読記憶媒体 |
JP2020047271A (ja) * | 2018-09-17 | 2020-03-26 | 株式会社ストラドビジョン | イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置 |
CN111476262A (zh) * | 2019-01-23 | 2020-07-31 | 斯特拉德视觉公司 | 利用1xH卷积的基于CNN的对象检测方法及装置 |
CN111476247A (zh) * | 2019-01-23 | 2020-07-31 | 斯特拉德视觉公司 | 利用了1xK或Kx1卷积运算的CNN方法及装置 |
JP2020144700A (ja) * | 2019-03-07 | 2020-09-10 | 株式会社日立製作所 | 画像診断装置、画像処理方法及びプログラム |
WO2020202680A1 (ja) * | 2019-03-29 | 2020-10-08 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JPWO2021157062A1 (ja) * | 2020-02-07 | 2021-08-12 | ||
JP2021133142A (ja) * | 2020-02-28 | 2021-09-13 | 株式会社日立製作所 | 医用撮像装置、医用画像処理装置、及び、画像処理プログラム |
JP2021530056A (ja) * | 2019-01-22 | 2021-11-04 | 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. | 画像処理方法及び装置、電子機器並びに記憶媒体 |
US20210398259A1 (en) | 2019-03-11 | 2021-12-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
WO2022168517A1 (ja) * | 2021-02-03 | 2022-08-11 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
US11922601B2 (en) | 2018-10-10 | 2024-03-05 | Canon Kabushiki Kaisha | Medical image processing apparatus, medical image processing method and computer-readable medium |
US12039704B2 (en) | 2018-09-06 | 2024-07-16 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and computer-readable medium |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201604345D0 (en) * | 2016-03-14 | 2016-04-27 | Magic Pony Technology Ltd | Super resolution using fidelity transfer |
US10963676B2 (en) * | 2016-12-23 | 2021-03-30 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
US20190282208A1 (en) * | 2018-03-14 | 2019-09-19 | Butterfly Network, Inc. | Methods and apparatuses for generating and displaying ultrasound images using an explaining model |
CN108986058B (zh) * | 2018-06-22 | 2021-11-19 | 华东师范大学 | 明度一致性学习的图像融合方法 |
US10650498B2 (en) * | 2018-08-02 | 2020-05-12 | Nec Corporation | System, method, and non-transitory, computer-readable medium containing instructions for image processing |
US10311337B1 (en) * | 2018-09-04 | 2019-06-04 | StradVision, Inc. | Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network |
US11030724B2 (en) | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
US11055866B2 (en) * | 2018-10-29 | 2021-07-06 | Samsung Electronics Co., Ltd | System and method for disparity estimation using cameras with different fields of view |
KR20200063289A (ko) * | 2018-11-16 | 2020-06-05 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
CN110136066B (zh) * | 2019-05-23 | 2023-02-24 | 北京百度网讯科技有限公司 | 面向视频的超分辨率方法、装置、设备和存储介质 |
JP7245740B2 (ja) * | 2019-07-25 | 2023-03-24 | 富士フイルムヘルスケア株式会社 | 画像処理装置、画像処理方法及びx線ct装置 |
US20210096243A1 (en) * | 2019-09-27 | 2021-04-01 | Butterfly Network, Inc. | Methods and apparatus for configuring an ultrasound system with imaging parameter values |
KR20210069404A (ko) * | 2019-12-03 | 2021-06-11 | 삼성전자주식회사 | 라이브니스 검사 방법 및 라이브니스 검사 장치 |
CN113052924A (zh) * | 2019-12-27 | 2021-06-29 | 无锡祥生医疗科技股份有限公司 | 用于超声图像编解码间的画质补偿方法及其卷积神经网络 |
US11252417B2 (en) * | 2020-01-05 | 2022-02-15 | Size Limited | Image data processing |
JP7427468B2 (ja) * | 2020-02-18 | 2024-02-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11393158B2 (en) * | 2020-04-02 | 2022-07-19 | Adobe Inc. | Utilizing voxel feature transformations for deep novel view synthesis |
US10839268B1 (en) * | 2020-06-22 | 2020-11-17 | Calypso Ai Corp | Artificial intelligence adversarial vulnerability audit tool |
EP4181765A1 (en) * | 2020-07-15 | 2023-05-24 | Alcon Inc. | Digital image optimization for ophthalmic surgery |
EP4181067A4 (en) * | 2020-11-30 | 2023-12-27 | Samsung Electronics Co., Ltd. | DEVICE AND METHOD FOR ENCODING AND DECODING IMAGES BY AI |
US20230343119A1 (en) * | 2021-02-26 | 2023-10-26 | Hewlett-Packard Development Company, L.P. | Captured document image enhancement |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04127009A (ja) * | 1989-09-04 | 1992-04-28 | Ricoh Co Ltd | 3次元物体撮像方式 |
JPH10271323A (ja) * | 1997-03-21 | 1998-10-09 | Sharp Corp | 画像処理方法 |
JP2012142676A (ja) * | 2010-12-28 | 2012-07-26 | Olympus Corp | 撮像装置及び画像生成方法 |
JP2013532878A (ja) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7505604B2 (en) * | 2002-05-20 | 2009-03-17 | Simmonds Precision Prodcuts, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
US20060018566A1 (en) * | 2004-07-26 | 2006-01-26 | Coleman Christopher R | System and method for adding spatial frequency into an image |
WO2008050904A1 (fr) | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
-
2016
- 2016-11-24 JP JP2016228042A patent/JP6929047B2/ja active Active
-
2017
- 2017-11-17 US US15/816,678 patent/US10762606B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04127009A (ja) * | 1989-09-04 | 1992-04-28 | Ricoh Co Ltd | 3次元物体撮像方式 |
JPH10271323A (ja) * | 1997-03-21 | 1998-10-09 | Sharp Corp | 画像処理方法 |
JP2013532878A (ja) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
JP2012142676A (ja) * | 2010-12-28 | 2012-07-26 | Olympus Corp | 撮像装置及び画像生成方法 |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019212132A (ja) * | 2018-06-06 | 2019-12-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
JP7146461B2 (ja) | 2018-06-06 | 2022-10-04 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
JP7129229B2 (ja) | 2018-06-07 | 2022-09-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
JP2019212139A (ja) * | 2018-06-07 | 2019-12-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
JP2019211391A (ja) * | 2018-06-07 | 2019-12-12 | 株式会社東芝 | 距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法 |
US11315220B2 (en) | 2018-06-07 | 2022-04-26 | Kabushiki Kaisha Toshiba | Distance measuring apparatus, vibration measuring apparatus, and industrial computed tomography apparatus |
JP7068054B2 (ja) | 2018-06-07 | 2022-05-16 | 株式会社東芝 | 距離計測装置、および距離計測方法 |
WO2019235258A1 (ja) * | 2018-06-07 | 2019-12-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
JP2019216848A (ja) * | 2018-06-15 | 2019-12-26 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
JP2022145732A (ja) * | 2018-06-15 | 2022-10-04 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
JP7114358B2 (ja) | 2018-06-15 | 2022-08-08 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
US12040079B2 (en) | 2018-06-15 | 2024-07-16 | Canon Kabushiki Kaisha | Medical image processing apparatus, medical image processing method and computer-readable medium |
JP7434447B2 (ja) | 2018-06-15 | 2024-02-20 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
KR102507711B1 (ko) * | 2018-06-15 | 2023-03-10 | 캐논 가부시끼가이샤 | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체 |
CN112367915A (zh) * | 2018-06-15 | 2021-02-12 | 佳能株式会社 | 医学图像处理装置、医学图像处理方法和程序 |
KR20210018461A (ko) * | 2018-06-15 | 2021-02-17 | 캐논 가부시끼가이샤 | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체 |
GB2589250A (en) * | 2018-06-15 | 2021-05-26 | Canon Kk | Medical image processing device, medical image processing method and program |
GB2589250B (en) * | 2018-06-15 | 2023-03-08 | Canon Kk | Medical image processing apparatus, medical image processing method and program |
WO2019240257A1 (ja) * | 2018-06-15 | 2019-12-19 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
JP2020030569A (ja) * | 2018-08-22 | 2020-02-27 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 |
JP7191588B2 (ja) | 2018-08-22 | 2022-12-19 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 |
JP2020036310A (ja) * | 2018-08-24 | 2020-03-05 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム |
JP7234057B2 (ja) | 2018-08-24 | 2023-03-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム |
US12039704B2 (en) | 2018-09-06 | 2024-07-16 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and computer-readable medium |
JP2020042796A (ja) * | 2018-09-10 | 2020-03-19 | 富士通株式会社 | ニューラルネットワークアーキテクチャ探索装置と方法及びコンピュータ可読記憶媒体 |
JP2020047271A (ja) * | 2018-09-17 | 2020-03-26 | 株式会社ストラドビジョン | イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置 |
US11922601B2 (en) | 2018-10-10 | 2024-03-05 | Canon Kabushiki Kaisha | Medical image processing apparatus, medical image processing method and computer-readable medium |
JP2021530056A (ja) * | 2019-01-22 | 2021-11-04 | 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. | 画像処理方法及び装置、電子機器並びに記憶媒体 |
CN111476262A (zh) * | 2019-01-23 | 2020-07-31 | 斯特拉德视觉公司 | 利用1xH卷积的基于CNN的对象检测方法及装置 |
JP2020119535A (ja) * | 2019-01-23 | 2020-08-06 | 株式会社ストラドビジョン | Cnnを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 |
CN111476247A (zh) * | 2019-01-23 | 2020-07-31 | 斯特拉德视觉公司 | 利用了1xK或Kx1卷积运算的CNN方法及装置 |
JP2020119539A (ja) * | 2019-01-23 | 2020-08-06 | 株式会社ストラドビジョン | ハードウェア最適化に使用される1xHコンボリューションを利用したCNN基盤の物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 |
CN111476262B (zh) * | 2019-01-23 | 2023-08-15 | 斯特拉德视觉公司 | 利用1xH卷积的基于CNN的对象检测方法及装置 |
CN111476247B (zh) * | 2019-01-23 | 2023-09-26 | 斯特拉德视觉公司 | 利用了1xK或Kx1卷积运算的CNN方法及装置 |
JP7218215B2 (ja) | 2019-03-07 | 2023-02-06 | 株式会社日立製作所 | 画像診断装置、画像処理方法及びプログラム |
JP2020144700A (ja) * | 2019-03-07 | 2020-09-10 | 株式会社日立製作所 | 画像診断装置、画像処理方法及びプログラム |
US20210398259A1 (en) | 2019-03-11 | 2021-12-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US11887288B2 (en) | 2019-03-11 | 2024-01-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
WO2020202680A1 (ja) * | 2019-03-29 | 2020-10-08 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JPWO2021157062A1 (ja) * | 2020-02-07 | 2021-08-12 | ||
JP2021133142A (ja) * | 2020-02-28 | 2021-09-13 | 株式会社日立製作所 | 医用撮像装置、医用画像処理装置、及び、画像処理プログラム |
JP7256765B2 (ja) | 2020-02-28 | 2023-04-12 | 株式会社日立製作所 | 医用撮像装置、医用画像処理装置、及び、画像処理プログラム |
WO2022168517A1 (ja) * | 2021-02-03 | 2022-08-11 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6929047B2 (ja) | 2021-09-01 |
US10762606B2 (en) | 2020-09-01 |
US20180144447A1 (en) | 2018-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6929047B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
US11882357B2 (en) | Image display method and device | |
US11663691B2 (en) | Method and apparatus for restoring image | |
CN113168670A (zh) | 使用神经网络的亮点去除 | |
CN107925751A (zh) | 用于多视点降噪和高动态范围的***和方法 | |
JP2014007730A (ja) | 情報処理方法および装置、プログラム。 | |
Pu et al. | Robust high dynamic range (hdr) imaging with complex motion and parallax | |
JP7234057B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
US20220398698A1 (en) | Image processing model generation method, processing method, storage medium, and terminal | |
JP7489253B2 (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
Hahne et al. | PlenoptiCam v1. 0: A light-field imaging framework | |
CN113628134B (zh) | 图像降噪方法及装置、电子设备及存储介质 | |
CN115298693A (zh) | 数据生成方法、学习方法和估计方法 | |
JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP2019212132A (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
US20220028039A1 (en) | Image restoration method and device | |
JP2018133064A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2018081378A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
CN115699073A (zh) | 神经网络支持的相机图像或视频处理流水线 | |
Grundhöfer et al. | Camera-specific image quality enhancement using a convolutional neural network | |
CN113379608A (zh) | 一种图像处理方法、存储介质及终端设备 | |
CN114049250B (zh) | 一种证件照人脸姿态矫正方法、装置及介质 | |
JP2005216191A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6929047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |