JP2019220176A - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- JP2019220176A JP2019220176A JP2019110453A JP2019110453A JP2019220176A JP 2019220176 A JP2019220176 A JP 2019220176A JP 2019110453 A JP2019110453 A JP 2019110453A JP 2019110453 A JP2019110453 A JP 2019110453A JP 2019220176 A JP2019220176 A JP 2019220176A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- optical filter
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims description 39
- 230000003595 spectral effect Effects 0.000 claims abstract description 156
- 230000003287 optical effect Effects 0.000 claims abstract description 110
- 238000005316 response function Methods 0.000 claims abstract description 90
- 238000013528 artificial neural network Methods 0.000 claims abstract description 87
- 230000005540 biological transmission Effects 0.000 claims abstract description 67
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 230000004044 response Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 7
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000001228 spectrum Methods 0.000 abstract description 37
- 238000013527 convolutional neural network Methods 0.000 description 55
- 230000015654 memory Effects 0.000 description 45
- 238000012986 modification Methods 0.000 description 40
- 230000004048 modification Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 31
- 238000013461 design Methods 0.000 description 14
- 238000004088 simulation Methods 0.000 description 13
- 240000004160 Capsicum annuum Species 0.000 description 11
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 239000001511 capsicum annuum Substances 0.000 description 9
- 238000000701 chemical imaging Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000001444 catalytic combustion detection Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 241000220223 Fragaria Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000012938 design process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 235000016623 Fragaria vesca Nutrition 0.000 description 2
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004456 color vision Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 235000021012 strawberries Nutrition 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000000977 primary visual cortex Anatomy 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Spectrometry And Color Measurement (AREA)
- Optical Filters (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備えたことを特徴とする。
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
近年、RGBイメージングからのハイパースペクトル再構成は、疎なコーディングと深い学習を経て著しい進歩を遂げている。しかしながら、ほとんど無視されている事実は、既存のRGBカメラが人間の三色知覚を模倣するように調整されているため、それらのスペクトル応答はハイパースペクトル再構成に必ずしも最適ではないということである。本発明に係る実施形態では、RGBスペクトル応答を使用するのではなく、ハードウェアで実施される最適化されたカメラスペクトル応答関数と、エンドツーエンドネットワークを使用するスペクトル再構成のためのマッピングとを同時に学習することを特徴としている。これにより、本発明者らのコアアイデアは、カメラのための光学フィルタの分光透過特性に対応する応答関数が最適化され、当該光学フィルタが畳み込み層のように効果的に作用するので、標準的なニューラルネットワークを学習することによって、それらの応答関数を最適化することができるということである。
以下、本発明に関連する技術文献と本実施形態の位置づけについて以下に説明する。
図1は実施形態に係る画像処理装置の構成例を示すブロック図である。図1において、実施形態に係る画像処理装置は、画像データメモリ1と、3個の畳み込みニューラルネットワーク(CNN)2A,2B,2Cと、スイッチSW1,SW2と、スペクトル再構成ニューラルネットワーク(SRNN)5と、誤差演算器6と、画像データメモリ7と、ディスプレイ8と、例えばデジタル計算機などのコンピュータで構成されるコントローラ10と、ハードウェア実装部20とを備えて構成される。本明細書において、画像データの表記において、X×YはX個の画素×Y個の画素を表し、X×Y×ZはX個の画素×Y個の画素×Z個のチャンネルを表す。
(2)中間層102はダウンサンプリングを行う最大プーリング処理部と2個の畳み込み処理部を備えて構成される。中間層102は、それぞれ3×3のサイズでストライド3の128個のフィルタを有し、入力される画像データに対して係数2のダウンサンプリング処理を行って、処理後の画像データを中間層103,117に出力する。
(3)中間層103はダウンサンプリングを行う最大プーリング処理部と2個の畳み込み処理部を備えて構成される。中間層103は、それぞれ3×3のサイズでストライド3の256個のフィルタを有し、入力される画像データに対して係数2のダウンサンプリング処理を行って、処理後の画像データを中間層104,116に出力する。
(4)中間層104はダウンサンプリングを行う最大プーリング処理部と2個の畳み込み処理部を備えて構成される。中間層104は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される画像データに対して係数2のダウンサンプリング処理を行って、処理後の画像データを中間層105,115に出力する。
(5)中間層105はダウンサンプリングを行う最大プーリング処理部と2個の畳み込み処理部を備えて構成される。中間層105は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される画像データに対して係数2のダウンサンプリング処理を行って、処理後の画像データを中間層106,114に出力する。
(6)中間層106はダウンサンプリングを行う最大プーリング処理部と2個の畳み込み処理部を備えて構成される。中間層106は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される画像データに対して係数2のダウンサンプリング処理を行って、処理後の画像データを中間層107,113に出力する。
(7)中間層107はダウンサンプリングを行う最大プーリング処理部と2個の畳み込み処理部を備えて構成される。中間層107は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される画像データに対して係数2のダウンサンプリング処理を行って、処理後の画像データを中間層108,112に出力する。
(8)中間層108はダウンサンプリングを行う最大プーリング処理部と2個の畳み込み処理部を備えて構成される。中間層108は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される画像データに対して係数2のダウンサンプリング処理を行って、処理後の画像データを中間層111,111に出力する。
(10)中間層112はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層112は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを中間層113に出力する。
(11)中間層113はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層113は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを中間層114に出力する。
(12)中間層114はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層114は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを中間層115に出力する。
(13)中間層115はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層115は、それぞれ3×3のサイズでストライド3の512個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを中間層116に出力する。
(14)中間層116はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層116は、それぞれ3×3のサイズでストライド3の256個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを中間層117に出力する。
(15)中間層117はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層117は、それぞれ3×3のサイズでストライド3の128個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを中間層118に出力する。
(16)中間層118はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層118は、それぞれ3×3のサイズでストライド3の64個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを中間層119に出力する。
(17)中間層119はアップサンプリング処理部と2個の畳み込み処理部を備えて構成される。中間層119は、それぞれ3×3のサイズでストライド3の32個のフィルタを有し、入力される2つの画像データを統合した画像データに対して係数2のアップサンプリング処理を行って、処理後の画像データを出力層120に出力する。
(2)畳み込み層としてのカメラ応答をシミュレーションし、スペクトル再構成ニューラルネットワークに追加することで、最適化された応答関数とハイパースペクトル再構成マッピングを同時に学習できる。
(3)最適化されたフィルタ設計のための2つの設定を提案する。
図3のデモザイク処理回路9を使用しない3チップの設定と、ベイヤー形式の2×2フィルタアレイを使用した1チップの設定がある。深層学習された応答関数が、特定のコンピュータビジョンのタスク、スペクトル再構成において標準的なRGB応答より優れていることを詳細後述するように実証できた。
(4)干渉フィルム製造技術を用いて、深層学習された分光曲線の変換応答関数に対応する分光透過特性を有する光学フィルタを形成し、スナップショットハイパースペクトル画像システムを構成することができる。
学習モードでは、スペクトル再構成ニューラルネットワーク(SRNN)5に、畳み込みニューラルネットワーク(CNN)2A,2B,2Cの畳み込み層を付加してエンドツーエンドネットワークを構成する。ここで、非負性及び滑らかさの制約を適切に組み込むことで、畳み込み層は効果的に、設計しようとするフィルタスペクトル応答関数として作用する。このことは、入力されるハイパースペクトル画像データを、最も適切な隠れた特徴マップ(マルチスペクトル画像)に符号化するので、後続のスペクトル再構成ニューラルネットワーク(SRNN)5は元の入力ハイパースペクトル画像データを可能な限り忠実に復元することができる。この意味で、エンドツーエンドのネットワークは自動エンコーダ/デコーダを構成する。
以下、同時のフィルタ応答設計とスペクトル再構成のためのエンドツーエンドネットワークの詳細について説明する。
本実施形態では、スペクトル再構成のために任意のエンドツーエンドネットワークを使用できる。スペクトル再構成ニューラルネットワーク(SRNN)5は、例えば、既知のU−net(例えば、非特許文献9参照)のアーキテクチャを適応させてスペクトル復元ネットワークを構成することができる。
図1に示すように、本実施形態の1つの重要な新規性は、カメラカラーイメージングの定式化と畳み込み層との間の対応関係を描くことにある。これにより、既存のネットワーク学習アルゴリズムとツールを使用してスペクトルイメージングパラメータを最適化することができる。簡略化のために、CCD又はCMOS画像センサは理想的なフラットレスポンスを一時的に有すると仮定し、実際のシステムを構成するときにこの要素に対処する。
市販のRGBカメラの中には、マルチチップの設定を採用しているものもある。すなわち、CCD又はCMOS画像センサごとに、特殊な三色プリズムアセンブリを使用する別個のカラーフィルタを有することが望ましい。また、空間的なモザイク処理がなければ、シングルチップ構成のベイヤー形式のフィルタアレイアセンブリよりも色精度と画像ノイズが優れている。1つの選択肢は、図1に示すように、ビームスプリッタ22,23及び反射板24とカラーの光学フィルタ31,41,51を一緒に組み合わせることであり、これはマルチチャンネルカメラプロトタイプを構成するのに適している。図1のマルチチップ構成では、上述のようにフィルタスペクトル応答関数を直接得ることができることは明らかである。
市販のRGBカメラの大部分は、内部にCCD又はCMOS画像センサが1つあり、2×2のベイヤー形式のカラーフィルターアレイを使用して、空間モザイク処理を使用してRGBイメージをキャプチャする。フル解像度のRGB画像を得るためには、モザイク除去法が必要である。本実施形態では、この単一チップの変形例(図3)にも拡張することができる。ベイヤー配列の空間的構成に基づいて、3つの独立したチャンネルを持つ2×2のフィルタアレイを検討し、エンドツーエンドのネットワークを介してスペクトル応答関数を設計する。
物理的制約により、フィルタ応答関数は非負である必要がある。また、既存のフィルムフィルタ製造技術では、滑らかな(スムーズな)応答曲線を高精度にしか実現することができない。従って、数値設計プロセスではこれらの制約を考慮する必要がある。
ここでは、本実施形態に係る手法の有効性を示すために、合成データの実験を行う。本発明者らは、自然シーンと屋内シーンの両方からなるデータセットについて本手法を評価する(例えば、非特許文献10,3参照)。
いわゆる「CAVE」データセット(非特許文献10)は、10nmステップで400nmから700nmまでの31のチャンネルを持つ一般的な屋内シーンのハイパースペクトルデータセットである。各バンドは、サイズ512×512の16ビットグレースケール画像である。いわゆる「Harvard」データセット(非特許文献3)は、屋外と屋内両方のシナリオを含む実世界のハイパースペクトルデータセットである。画像データは、420nmから720nmまで10nmステップで取り込まれる。誤差を最小にするために、「Harvard Natural」データセットという自然照明下で50枚の画像にラベルを付ける。また、混合又は人工照明下の27枚の画像の残りの部分を「Harvard Mixed」データセットと呼ぶ。
まず、前述したマルチチップの設定を評価する。ここでは、図1の3つの画像センサ33,43,53を使用してマルチチップ・セットアップのパフォーマンスを評価した。CAVEデータセット(非特許文献10)のための最適スペクトル応答関数を図4A〜図4Cに示す。
ハイパースペクトルデータベースの再構成のRMSEの平均値と分散値
(非特許文献10、5,10)
――――――――――――――――――――――――――――――――――――――――
CAVE Harvard Natural Mixed
(非特許文献5) (非特許文献3) (非特許文献3)
――――――――――――――――――――――――――――――――――――――――
実施形態 4.48±2.97 7.57±4.59 8.88±4.25
非特許文献1 8.84±7.23 14.89±13.23 9.74±7.45
非特許文献8 14.91±11.09 9.06±9.69 15.61±8.76
非特許文献5 7.92±3.33 8.72±7.40 9.50±6.32
――――――――――――――――――――――――――――――――――――――――
本発明者らは、フィルタアレイの設計(セクション5.2.2)での性能を実証した。代替案と比較すると、入力画像データをベイヤー形式のパターンで符号化することによってシングルチップのデジタルカメラをシミュレーションした。その後、比較を行う前にベイヤー形式の符号化画像データをカラー画像データに変換するための標準的なデモザイク法である勾配補正線形補間を実行した。
CAVEデータセット(非特許文献10)に基づいて
フィルタアレイを用いた再構成のRMSEの平均値と分散値
――――――――――――――――――――――――――――――――――
実施形態 非特許文献1 非特許文献8
――――――――――――――――――――――――――――――――――
4.73±3.12 13.25±13.88 18.13±9.33
――――――――――――――――――――――――――――――――――
本実施形態では、画像キャプチャとハイパースペクトル再構成のためのマルチスペクトルカメラの構成を目指している。本発明者らは、FLIR製GS3−U3−15S5M型カメラを図12の画像センサ33,43として使用して、300nmから1100nmまでのスペクトル範囲の光を集める画像を取り込んだ。紫外線(UV)と近赤外線(NIR)の感度を遮断するために、可視光のみを通過するバンドパスフィルタ32,42をそれぞれ、各光学フィルタ31,41と、各画像センサ33,43のカメラレンズとの間に追加した。マルチ画像センサの設定はフィルタアレイより簡単に実装できるので、セクション6.2に示すように設計作業を行った。
以上説明したように、本実施形態によれば、深層学習手法を用いて非負の無限大空間におけるフィルタ応答関数を学習する方法を示した。U−netベースの再構成ネットワークに特殊な畳み込み層を追加し、3つの独立した光学フィルタと、ベイヤー型2×2のフィルタアレイの形式で、標準のRGB応答より優れた応答関数を精度良く発見して実現した。実際のマルチスペクトルカメラを構成するために、本発明者らはまた、CCDカメラの応答を設計プロセスに組み込んだ。本発明者らは、2つの光学フィルタをうまく設計/実装し、スナップショットハイパースペクトル画像データに基づいたバイスペクトルカメラを構成した。
以上の実施形態では、ニューラルネットワークを、入力層に入力する画像データと、出力層から出力する画像データとが同一のハイパースペクトル画像データを用いて学習しているが、本発明はこれに限らず、後者を識別結果の画像データ(各カラーチャンネルが一つ一つの識別対象の抽出結果を示す)としてもよく、この場合、図1の装置において識別に最適化したフィルタの分光透過特性に対応する応答関数を得ることができる。
図15は図1の画像データメモリ1に格納される画像データのデータ構造を模式的に示す図である。図15の全面の四角は、画像表面の各画素に対応し、複数の画素が幅w方向(水平方向)及び高さh方向(垂直方法)に並置されている。ここで、幅w方向の位置と、高さh方向の位置で、画素位置が決定される。そして、図15の奥行c方向は複数のチャンネル(複数の波長に対応する)に対応する。従って、各画素は以下のデータフォーマットを有する。
図16は変形例1に係る画像処理装置の構成例を示すブロック図である。図16の画像処理装置は、図1の画像処理装置に比較して、以下の点が異なる。
(1)3個の光学フィルタ31,41,51を単一の光学フィルタ31Aで構成し、対物レンズ21の前段に設けた。この場合のハードウェア実装部に符号20Cを付す。
(2)単一の光学フィルタ31Aのみで構成したので、当該光学フィルタ31Aに対応する1個の畳み込みニューラルネットワーク(CNN)2Aのみを備える。
図17は変形例2に係る、例えば物体識別等のクラスタリングのための画像処理装置の構成例を示すブロック図である。図17の画像処理装置は、図1の画像処理装置に比較して以下の点が異なる。
(1)画像データメモリ1に代えて、学習入力画像データを格納する画像データメモリ1Aを備える。
(2)学習目的画像データを格納する画像データメモリ1Bをさらに備え、学習目的画像データを誤差演算器6に入力する。すなわち、学習モード時において、これらの学習入力画像データ及び学習目的画像データを用いて、畳み込みニューラルネットワーク(CNN)2A〜2C及びスペクトル再構成ニューラルネットワーク(SRNN)5を学習させる。
(3)画像データメモリ7に代えて、画像変換テーブルメモリ7mを有する画像変換処理部7Aを備える。動作モード時において、スペクトル再構成ニューラルネットワーク(SRNN)5から出力されるデータに対して、例えば物体識別結果を色分けするなどの画像変換処理を行ってディスプレイ8に出力して表示する。
図18は変形例3に係る画像処理装置の構成例を示すブロック図である。図18の画像処理装置は、図17の画像処理装置に比較して、以下の点が異なる。
(1)3個の光学フィルタ31,41,51を単一の光学フィルタ31Aで構成し、対物レンズ21の前段に設けた。この場合のハードウェア実装部に符号20Cを付す。
(2)単一の光学フィルタ31Aのみで構成したので、当該光学フィルタ31Aに対応する1個の畳み込みニューラルネットワーク(CNN)2Aのみを備える。
図19は変形例2,3の実施例1に係るパプリカの物体識別の画像例を示す写真画像である。図19の左側のパプリカはReal(真)のもので、右側のパプリカはFake(偽)のものであり、画像データメモリ1Aに格納するとききは、左右分割して格納される。ここで、Real/Fake識別を赤色/青色に対応させて物体識別(産地識別等を含む)を行うことができる。図17及び図18の画像データメモリ1Aには図19の各画像を格納する。一方、画像データメモリ1Bには以下の画像データが格納される。
(A)左側のパプリカに対応する画素(画像中の領域)を赤で塗りつぶした画像データ。
(B)右側のパプリカに対応する画素(画像中の領域)を青で塗りつぶした画像データ(なお、背景は黒色とする)。
(A)上段の3つのパプリカそれぞれに対応する画素(画像中の領域)を赤で塗りつぶし他画像データ。
(B)下段の3つのパプリカそれぞれに対応する画素(画像中の領域)を青で塗りつぶした画像データ(なお、背景は黒とする。)
赤の画素については、Real(真)に変換する一方、青の画素については、Fake()に変換する。これにより、ディスプレイ8には、物体識別結果を示す画像内で、Real(真)又はFake(偽)に変換されて表示される。
(A)左側の3つのイチゴそれぞれに対応する画素(画像中の領域)を赤で塗りつぶした画像データ。
(B)右側の3つのイチゴそれぞれに対応する画素(画像中の領域)を青で塗りつぶした画像データ(なお、背景は黒とする)。
赤の画素については、Real(真)に変換する一方、青の画素については、Fake()に変換する。これにより、ディスプレイ8には、物体識別結果を示す画像内で、Real(真)又はFake(偽)に変換されて表示される。
(A)右側の本人に対応する画素(画像中の領域)を赤で塗りつぶした画像データ。
(B)左側の写真における本人部分に対応する画素(画像中の領域)を青で塗りつぶした画像データ(なお、背景は黒とする)。
赤の画素については、Real(真)に変換する一方、青の画素については、Fake()に変換する。これにより、ディスプレイ8には、物体識別結果を示す画像内で、Real(真)又はFake(偽)に変換されて表示される。
2A,2B,2C 畳み込みニューラルネットワーク(CNN)
5 スペクトル再構成ニューラルネットワーク(SRNN)
6 誤差演算器
7 画像データメモリ
7A 画像変換処理部
7m 画像変換テーブルメモリ
8 ディスプレイ
9 デモザイク処理回路
10 コントローラ
20,20A,20B,20C ハードウェア実装部
21 対物レンズ
22,23 ビームスプリッタ
24 反射板
31,41,51,31A 光学フィルタ
32,42,52 バンドパスフィルタ
33,43,53 画像センサ
61,71,81 入力層
62,72,82 中間層
63,73,83 出力層
100 入力層
101〜119 中間層
120 出力層
SW1,SW2 スイッチ
Claims (17)
- 複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備えたことを特徴とする画像処理装置。 - 前記変換データは、複数次元のハイパースペクトル画像データであり、
前記学習データは、所定の複数次元のハイパースペクトル画像データであることを特徴とする請求項1記載の画像処理装置。 - 前記変換データは、前記複数の第1のニューラルネットワークからの画像データをクラスタリングしたクラスタリング結果データであり、
前記学習データは、前記クラスタリング結果データに対応し、前記クラスタリングを学習するための学習データであることを特徴とする請求項1記載の画像処理装置。 - 前記クラスタリングは、物体識別、産地識別、本人識別、個人認証、又は領域分割を含むことを特徴とする請求項3記載の画像処理装置。
- 前記第2のニューラルネットワークは、複数の畳み込み層と、複数の逆畳み込み層とを縦続接続して構成されたことを特徴とする請求項1〜4のうちのいずれか1つに記載の画像処理装置。
- 前記制御手段は、前記光学フィルタの分光透過特性に対応する応答関数の関数値が0以上であって、かつ、L2ノルムのスムーズ正規化器を用いて前記光学フィルタの分光透過特性に対応する応答関数の変化が所定のスムーズ値以上のスムーズであるという制約条件にもとで、前記複数の第1のニューラルネットワークを学習することを特徴とする請求項1〜5のうちのいずれか1つに記載の画像処理装置。
- 前記画像処理装置は複数の光学フィルタを備え、
前記画像処理装置は、前記計算された複数の光学フィルタの分光透過特性に対応する応答関数を有するように構成した複数の光学フィルタをそれぞれ前段に設けた複数の画像センサをさらに備え、
前記複数の画像センサは、撮像する画像光を前記各光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1〜6のうちのいずれか1つに記載の画像処理装置。 - 前記画像処理装置は複数の光学フィルタを備え、
前記画像処理装置は、前記計算された複数の光学フィルタの分光透過特性に対応する応答関数を有するように構成した複数の光学フィルタを前段に設けた単一の画像センサをさらに備え、
前記単一の画像センサは、撮像する画像光を前記複数の光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1〜6のうちのいずれか1つに記載の画像処理装置。 - 前記画像処理装置は、前記計算された単一の光学フィルタの分光透過特性に対応する応答関数を有するように構成した単一の光学フィルタを前段に設けた複数の画像センサをさらに備え、
前記複数の画像センサは、撮像する画像光を前記単一の光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1〜6のうちのいずれか1つに記載の画像処理装置。 - 複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークとを備えた画像処理装置のための画像処理方法であって、
制御手段が、所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算するステップを含むことを特徴とする画像処理方法。 - 前記変換データは、複数次元のハイパースペクトル画像データであり、
前記学習データは、所定の複数次元のハイパースペクトル画像データであることを特徴とする請求項10記載の画像処理方法。 - 前記変換データは、前記複数の第1のニューラルネットワークからの画像データをクラスタリングしたクラスタリング結果データであり、
前記学習データは、前記クラスタリング結果データに対応し、前記クラスタリングを学習するための学習データであることを特徴とする請求項10記載の画像処理方法。 - 前記クラスタリングは、物体識別、産地識別、本人識別、個人認証、又は領域分割を含むことを特徴とする請求項12記載の画像処理方法。
- 前記制御手段が、前記光学フィルタの分光透過特性に対応する応答関数の関数値が0以上であって、かつ、L2ノルムのスムーズ正規化器を用いて前記光学フィルタの分光透過特性に対応する応答関数の変化が所定のスムーズ値以上のスムーズであるという制約条件にもとで、前記複数の第1のニューラルネットワークを学習するステップをさらに含むことを特徴とする請求項10〜13のうちのいずれか1つに記載の画像処理方法。
- 前記画像処理装置は、前記計算された少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を有するように構成した光学フィルタを前段に設けた少なくとも1つの画像センサをさらに備え、
前記少なくとも1つの画像センサが、撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力するステップと、
前記制御手段が、前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力するステップとを含むことを特徴とする請求項10〜14のうちのいずれか1つに記載の画像処理方法。 - 複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備える画像処理装置のための画像センサ装置であって、
前記計算された少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を有するように構成した光学フィルタが前段に設けられた少なくとも1つの画像センサを備え、
前記画像センサは、撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする画像センサ装置。 - 複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備える画像処理装置のための光学フィルタ装置であって、
撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力する少なくとも1つの画像センサの前段に設けられた光学フィルタであって、前記計算された光学フィルタの分光透過特性に対応する応答関数を有するように構成した少なくとも1つの光学フィルタを備えたことを特徴とする光学フィルタ装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018114188 | 2018-06-15 | ||
JP2018114188 | 2018-06-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019220176A true JP2019220176A (ja) | 2019-12-26 |
JP7284502B2 JP7284502B2 (ja) | 2023-05-31 |
Family
ID=69096702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019110453A Active JP7284502B2 (ja) | 2018-06-15 | 2019-06-13 | 画像処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7284502B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111914611A (zh) * | 2020-05-09 | 2020-11-10 | 中国科学院空天信息创新研究院 | 城市绿地高分遥感监测方法与*** |
CN112862906A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市中钞科信金融科技有限公司 | 基于神经网络的颜色空间转换方法 |
CN112966761A (zh) * | 2021-03-16 | 2021-06-15 | 长安大学 | 一种可扩展的自适应宽度神经网络学习方法 |
CN113112585A (zh) * | 2021-03-26 | 2021-07-13 | 西北工业大学 | 一种从单幅图像中重建高质量目标三维形状的方法 |
WO2021145054A1 (ja) * | 2020-01-16 | 2021-07-22 | パナソニックIpマネジメント株式会社 | 光学フィルタアレイ、光検出装置、および光検出システム |
WO2021161646A1 (ja) * | 2020-02-14 | 2021-08-19 | 株式会社ブイ・テクノロジー | 欠陥検出装置、欠陥検出方法、欠陥修正装置 |
CN113418873A (zh) * | 2021-06-23 | 2021-09-21 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱成像***及重构光谱成像方法 |
CN113538246A (zh) * | 2021-08-10 | 2021-10-22 | 西安电子科技大学 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
JPWO2020161812A1 (ja) * | 2019-02-06 | 2021-12-02 | 日本電気株式会社 | フィルタ学習装置、フィルタ学習方法、及びプログラム |
CN113902717A (zh) * | 2021-10-13 | 2022-01-07 | 自然资源部国土卫星遥感应用中心 | 一种基于光谱库的星载高光谱农田裸土目标识别方法 |
CN114079754A (zh) * | 2020-08-19 | 2022-02-22 | 华为技术有限公司 | 一种图像传感器、信号处理方法以及设备 |
CN114830627A (zh) * | 2020-11-09 | 2022-07-29 | 谷歌有限责任公司 | 红外光引导的肖像重照明 |
CN116188612A (zh) * | 2023-02-20 | 2023-05-30 | 信扬科技(佛山)有限公司 | 图像重建方法、电子设备及存储介质 |
WO2023126996A1 (ja) * | 2021-12-27 | 2023-07-06 | 日本たばこ産業株式会社 | 植物が含有する所定の成分の量を予測する方法、システム及びプログラム |
KR102682314B1 (ko) | 2020-05-30 | 2024-07-05 | 지오 플랫폼즈 리미티드 | 이미징 시스템 및 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516992A (ja) * | 2014-05-23 | 2017-06-22 | ベンタナ メディカル システムズ, インコーポレイテッド | 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法 |
JP2017526910A (ja) * | 2014-07-24 | 2017-09-14 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) | 撮像分光法用のコンパクトな多機能システム |
-
2019
- 2019-06-13 JP JP2019110453A patent/JP7284502B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516992A (ja) * | 2014-05-23 | 2017-06-22 | ベンタナ メディカル システムズ, インコーポレイテッド | 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法 |
JP2017526910A (ja) * | 2014-07-24 | 2017-09-14 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) | 撮像分光法用のコンパクトな多機能システム |
Non-Patent Citations (2)
Title |
---|
ZHIWEI XIONG;ZHAN SHI;HUIQUN LI;LIZHI WANG;DONG LIU;FENG WU: "HSCNN: CNN-Based Hyperspectral Image Recovery from Spectrally Undersampled Projections", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW), JPN7023001620, 2017, pages 518 - 525, XP033303494, ISSN: 0005051315, DOI: 10.1109/ICCVW.2017.68 * |
柳 悠大 他: "観測波長とフィルタ配置を考慮したマルチスペクトルフィルタアレイの最適化手法", 電子情報通信学会論文誌D, vol. VolumeJ99−D No.8 [on, JPN6023016768, 1 August 2016 (2016-08-01), pages 794 - 804, ISSN: 0005051316 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020161812A1 (ja) * | 2019-02-06 | 2021-12-02 | 日本電気株式会社 | フィルタ学習装置、フィルタ学習方法、及びプログラム |
JP6952283B1 (ja) * | 2020-01-16 | 2021-10-20 | パナソニックIpマネジメント株式会社 | 光学フィルタアレイ、光検出装置、および光検出システム |
WO2021145054A1 (ja) * | 2020-01-16 | 2021-07-22 | パナソニックIpマネジメント株式会社 | 光学フィルタアレイ、光検出装置、および光検出システム |
WO2021161646A1 (ja) * | 2020-02-14 | 2021-08-19 | 株式会社ブイ・テクノロジー | 欠陥検出装置、欠陥検出方法、欠陥修正装置 |
CN111914611A (zh) * | 2020-05-09 | 2020-11-10 | 中国科学院空天信息创新研究院 | 城市绿地高分遥感监测方法与*** |
KR102682314B1 (ko) | 2020-05-30 | 2024-07-05 | 지오 플랫폼즈 리미티드 | 이미징 시스템 및 방법 |
CN114079754A (zh) * | 2020-08-19 | 2022-02-22 | 华为技术有限公司 | 一种图像传感器、信号处理方法以及设备 |
CN114830627A (zh) * | 2020-11-09 | 2022-07-29 | 谷歌有限责任公司 | 红外光引导的肖像重照明 |
CN112862906A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市中钞科信金融科技有限公司 | 基于神经网络的颜色空间转换方法 |
CN112966761A (zh) * | 2021-03-16 | 2021-06-15 | 长安大学 | 一种可扩展的自适应宽度神经网络学习方法 |
CN112966761B (zh) * | 2021-03-16 | 2024-03-19 | 长安大学 | 一种可扩展的自适应宽度神经网络学习方法 |
CN113112585A (zh) * | 2021-03-26 | 2021-07-13 | 西北工业大学 | 一种从单幅图像中重建高质量目标三维形状的方法 |
CN113112585B (zh) * | 2021-03-26 | 2024-05-14 | 西北工业大学 | 一种从单幅图像中重建高质量目标三维形状的方法 |
CN113418873A (zh) * | 2021-06-23 | 2021-09-21 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱成像***及重构光谱成像方法 |
CN113418873B (zh) * | 2021-06-23 | 2022-05-17 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱成像***及重构光谱成像方法 |
CN113538246A (zh) * | 2021-08-10 | 2021-10-22 | 西安电子科技大学 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
CN113902717A (zh) * | 2021-10-13 | 2022-01-07 | 自然资源部国土卫星遥感应用中心 | 一种基于光谱库的星载高光谱农田裸土目标识别方法 |
CN113902717B (zh) * | 2021-10-13 | 2022-04-26 | 自然资源部国土卫星遥感应用中心 | 一种基于光谱库的星载高光谱农田裸土目标识别方法 |
WO2023126996A1 (ja) * | 2021-12-27 | 2023-07-06 | 日本たばこ産業株式会社 | 植物が含有する所定の成分の量を予測する方法、システム及びプログラム |
CN116188612A (zh) * | 2023-02-20 | 2023-05-30 | 信扬科技(佛山)有限公司 | 图像重建方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7284502B2 (ja) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7284502B2 (ja) | 画像処理装置及び方法 | |
Nie et al. | Deeply learned filter response functions for hyperspectral reconstruction | |
Correa et al. | Snapshot colored compressive spectral imager | |
Hu et al. | Convolutional sparse coding for RGB+ NIR imaging | |
TW201925860A (zh) | 用於深度獲取之光場影像處理方法 | |
TWI696924B (zh) | 情報探索資料搜尋系統及程式 | |
JP2014515587A (ja) | デジタル画像装置用の画像処理パイプラインの学習 | |
Habtegebrial et al. | Deep convolutional networks for snapshot hypercpectral demosaicking | |
Peng et al. | Residual pixel attention network for spectral reconstruction from RGB images | |
WO2016029276A1 (en) | Imaging method and apparatus | |
Fubara et al. | RGB to spectral reconstruction via learned basis functions and weights | |
Pouli et al. | Image statistics in visual computing | |
US20220070369A1 (en) | Camera Image Or Video Processing Pipelines With Neural Embedding | |
Abdelhamed et al. | Leveraging the availability of two cameras for illuminant estimation | |
JP2018125701A (ja) | 画像処理システム、光学センサ、及び学習装置 | |
Zhang et al. | High light efficiency snapshot spectral imaging via spatial multiplexing and spectral mixing | |
KR20230118938A (ko) | 광학적 방법 | |
Kınlı et al. | Modeling the lighting in scenes as style for auto white-balance correction | |
CN113408545B (zh) | 一种基于微光学器件的端到端光电检测***及方法 | |
Rueda et al. | Compressive spectral imaging based on colored coded apertures | |
Guo et al. | Low-light color imaging via cross-camera synthesis | |
JP7291389B2 (ja) | 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 | |
CN111489325B (zh) | 一种甲亢疾病即时鉴定装置及其控制方法 | |
JP7415464B2 (ja) | 映像処理装置、映像処理方法およびプログラム | |
CN112989593A (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7284502 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |