TWI688276B - 機率式類神經網路為色彩影像感測器特性化的方法 - Google Patents
機率式類神經網路為色彩影像感測器特性化的方法 Download PDFInfo
- Publication number
- TWI688276B TWI688276B TW108107704A TW108107704A TWI688276B TW I688276 B TWI688276 B TW I688276B TW 108107704 A TW108107704 A TW 108107704A TW 108107704 A TW108107704 A TW 108107704A TW I688276 B TWI688276 B TW I688276B
- Authority
- TW
- Taiwan
- Prior art keywords
- color
- neural network
- probabilistic neural
- data
- characterizing
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 239000010410 layer Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 9
- 239000002356 single layer Substances 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 2
- 210000002364 input neuron Anatomy 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000007704 transition Effects 0.000 claims 1
- 238000012512 characterization method Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本發明係一種機率式類神經網路為色彩影像感測器特性化的方法，係接收色彩影像感測器之數位化數據，將數位化數據轉換成色彩特徵矩陣，色彩特徵矩陣進行資料扁平化轉移為一維數據，再透過彩色空間演算與機率式類神經網路之色彩建模進行機器學習，而產生目標標準色樣，再反覆迭代進行機器學習，以修正相關類神經網路的相關參數，及縮小目標標準色樣的色差的最小均方誤差值，最後以預定之終斷條件完成學習輸出目標標準色樣之特性化值。
Description
本發明係有關於色彩影像感測器特性化的方法，尤指一種將色彩影像感測器的數位化數據利用機率式類神經網路學習訓練出色彩特徵數據之方法及系統。
按，色彩品質管制與校驗之應用範圍極為廣泛，無論在印刷工業、掃瞄器或CCD等取像輸入裝置，均需利用色彩校正機制配合調整，以解決輸出色彩的色差或品質不良等問題。
尤其是，色彩為一非線性資訊，一般掃瞄器或CCD鏡頭之取像結果有亮度或彩度偏差時，我們並不能單純地以線性方式作校準來試圖解決，否則影像失真的的情形會較為嚴重。
舉例而言，台灣發明專利第391131號「一種應用混合式類神經網路(自我組織映射+倒傳遞類神經網路)作色彩辨識的方法」，該方法係先利用色彩區塊描述器(region description)來度量色彩的特徵值，以作為訓練樣本特徵的輸入，經過自組織(self-organizing)被自動分類後，再依分類結果將訓練樣本分別輸入不同的倒傳遞類神經網路(backpropagation neural network，簡稱：BP)進行學習，而倒傳遞對映的輸出關係即為IT8標準色樣
的XYZ值。藉由上述之學習架構，我們可以建立色彩辨識的非線性模型，在色彩訓練樣本以自我組織映射網路(self-organizing map,SOM)作自組織分類後，資料便可因其特性差異而產生不同的群聚歸類效果，此時再將此資料分別輸入倒傳遞類神經網路學習不但可以使系統快速收斂，而且對降低誤差也有良好效果。
但是前述的方法還存在一些問題，例如：需要較多的數據樣本，這對於國際照明委員會(International Commission on Illumination，簡稱：CIE)所推薦的IT8標準色彩導表(color patch)的稀疏學習數據而言，並無法以滿足對前述類神經網路對大量的要求，因此需要有改善此問題。
有鑑於先前技術的問題，本發明之目的係在較少的數據樣本之前提下，如何有效地從有限的輸入的樣本數據取得色彩的特性化值。
根據本發明之一目的，係提供一種基於類神經網路為色彩影像感測器特性化的方法，接收色彩影像感測器之數位化數據，將數位化數據轉換成色彩特徵矩陣，色彩特徵矩陣進行資料扁平化轉移為一維數據，再透過彩色空間演算與機率式類神經網路之色彩建模進行機器學習，而產生目標標準色樣，再反覆迭代進行機器學習，以修正相關類神經網路的相關參數，及縮小目標標準色樣的色差的最小均方誤差值，最後以預定之終斷條件完成學習輸出目標標準色樣之特性化值。
其中，藉由卷積網路輔以遮罩將數位化數據(如：RGB色彩矩陣)轉換為之色彩特徵矩陣，再將色彩特徵矩陣進行資料扁平化(Flatten)轉移為一維數據，此一維數據即是色彩特徵數據。
其中，數位化數據為一組8×8像素的RGB色彩矩陣，卷積網路為八層式卷積網路(8×3×32)，遮罩為C3(C3=3 x 3)，如此，數位化數據將轉換為8層(3x32)之色彩特徵矩陣。
其中，目標標準色樣之特性化值為國際色彩協會(CIE)所發佈的IT8標準色樣之L、a、b值(或XYZ)。
其中，採用國際色彩協會(CIE)所發佈的CIE76色差(△E* ab)公式定義為損失函數，藉由迭代的學習以修正相關類神經網路與多層式卷積網路相關參數，用以縮小CIE76色差(△E* ab)的最小均方誤差值不斷修，最後以預定之終斷條件完成學習。
綜上所述，本發明具有下列之一或多個優點：1.機率神經網路具有完全的平行架構，所以較易實現於晶片硬體電路；2.利用晶片硬體實現加速神經網路計算速度的目標；3.機率式類神經網路無論是以軟體或晶片硬體電路實現於色彩比對商品上皆能創造。
圖1為本發明數位化影像輸入與卷積網路轉換示意圖。
圖2為使用卷積網路之色彩特徵生成示意圖。
圖3為機率式類神經機器學習示輸出目標標準色樣之特性化值之示意圖。
為利貴審查員瞭解本發明之發明特徵、內容與優點及其所能
達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而於文中所使用之圖式，其主旨僅為示意及輔助說明書之用，故不應侷限本發明於實際實施上的專利範圍。
請參考圖1~3所示，本發明係一種利用類神經網路作色彩辨識的方法，包括：(S101)輸入數位化數據：將一組色彩影像感測器之數位化數據(例如：RGB像素的矩陣)作為機器學習之用；(S102)生成色彩特徵矩陣：藉由一種卷積網路輔以一個遮罩(Mask)將一組像素數位化數據(RGB色彩矩陣)轉換為色彩特徵矩陣；(S103)生成一維數據：再將色彩特徵矩陣進行資料扁平化轉移為一維數據，此一維數據即是色彩特徵數據；(S104)產生目標標準色樣：透過一組機率式類神經網路以進行彩色空間演算(例如：RGB-CIELAB)生成色彩建模，而產生目標標準色樣；(S105)利用損失函數，再反覆迭代進行機器學習修正相關參數，相關參數為機率式類神經網路及卷積網路運算所需之任一參數，以縮小目標標準色樣的色差的最小均方誤差值；其中反覆迭代進行機器學習係由一組學習的目標數據(L2 *，a2 *，b2 *)與一組神經網路推估的數據(L1 *，a1 *，b1 *)，推估的數據(L1 *，a1 *，b1 *)為隨機採樣，以CIE76色差(△E* ab)公式定義為損失函數(Loss Function)，其中學習的目標數據，係由分光儀(Spectrometer)所量測的色彩非從屬空間(device independent color space，i.e.CIELAB)所產生的；(S106)最後以預定之終斷條件完成學習輸出目標標準色樣之特性化值。
在本發明中，輸入數位化數據係由影像輸入裝置擷取外界的目標物產生的，而色彩影像感測器係設在影像輸入裝置中，影像輸入裝置可為：(1)數位彩色照相裝置：含數位彩色相機、數位彩色手機相機、數位彩色工業相機、數位彩色面型影像擷取裝置；(2)數位彩色掃描裝置：含數位彩色掃描機、數位彩色工業掃描機、數位彩色線型影像擷取裝置；(3)數位彩色影像感測裝置：含CCD(charged coupled device)型態數位影像感測裝置、CMOS(complementary metal-oxide-semiconductor)型態數位影像感測裝置；(4)彩色感測裝置：RGB Color Sensor；其中，影像輸入裝置在本發明實際實施時，並不限於此，舉凡可以數位化數據者，皆屬於本發明所稱之影像輸入裝置。其中影像輸入裝置所輸入的數位化數據係為含N Bit(N為>2整數)色彩深度的數位影像檔案。
在本發明中，請參閱圖1所式，其中多層式卷積網路包括：(1)單一層卷積：含一個遮罩C3(C3=3 x 3)與一個(3 x 32)色彩初值化特徵矩陣；(2)八層式卷積網路：含八個單一層卷積所構成的網路，[8層]x[單一層卷積矩陣(3 x 32)]；(3)八層式卷積網路的相關機器學習參數：八層式卷積網路所對應8個遮罩C3(3x3矩陣)所對應的矩陣係數、以及[8層]x[單一層卷積矩陣
(3 x 32)]所對應的矩陣係數，皆由經由機器智慧對於神經網路或其他智慧演算法所學習、或推論、或演化的結果而決定；在本發明中，請參閱圖1及2所式，扁平化(Flatten)轉移為一維數據包括：(1)[8層]x[單一層卷積矩陣(3 x 32)]卷積運算所得到的所得到2-D的色彩特徵圖，透過全連接層前要先轉成1-D的陣列，即為扁平化(Flatten)轉移為一維數據；(2)扁平化(Flatten)轉移一維數據的進階目的，轉移一維數據為機率式類神經網路的輸入神經元。
在本發明中，請參閱圖3所示，機率式類神經網路包括：(1)一種機率式類神經網路架構中是採用exp
z i -1)σ2-為輸出函數；(2)一種機率式類神經網路架構的輸出逼近函數，即是對應CIELAB輸出值。
據上所述，本發明利用多層式卷積網路及機率神經網路，將滿足有限的稀疏學習數據在類神經網路上的要求，並且機率神經網路具有完全的平行架構，所以較易實現於晶片硬體電路，並達到加速神經網路計算速度的目標，此外，機率式類神經網路無論是以軟體或晶片硬體電路實現於色彩比對商品上皆能創造。
綜上所述，本發明以完全新穎性，為坊間所未曽有類似者公開或申請在先，且已具有功效實質增進之產業利用性的價值，爰依法提出專利申請；然，本說明書僅為較佳實施例之敘述，並非以此作為專利範圍的界定，舉凡在本發明之原理、技術下各構成元件所作之修飾、衍變均應
涵蓋在本發明之專利範圍內。
Claims (10)
- 一種機率式類神經網路為色彩影像感測器特性化的方法，包括：輸入一數位化數據：將色彩影像經由影像輸入裝置作數位化處理，轉成該數位化數據；生成色彩特徵矩陣：藉由一卷積網路輔以遮罩將該數位化數據轉換為一色彩特徵矩陣；生成一一維數據：再將該色彩特徵矩陣進行資料扁平化轉移為該一維數據，該一維數據即是一色彩特徵數據；產生一目標標準色樣：透過一組機率式類神經網路對色彩特徵數據進行彩色空間演算生成色彩建模，而產生目標標準色樣；縮小目標標準色樣的色差的最小均方誤差值：利用一損失函數，再反覆迭代進行機器學習修正該卷積網路的相關參數，以縮小該目標標準色樣的色差的最小均方誤差值；及以預定之一終斷條件完成學習輸出該目標標準色樣之特性化值。
- 如請求項1所述的機率式類神經網路為色彩影像感測器特性化的方法，其中係由一影像輸入裝置輸入該數位化數據。
- 如請求項2所述的機率式類神經網路為色彩影像感測器特性化的方法，其中該數位化數據可為N Bit之色彩深度的數位影像檔案，其中N為>2之正整數。
- 如請求項2所述的機率式類神經網路為色彩影像感測器特性化的方法，其中該數位化數據為RGB像素的矩陣。
- 如請求項2所述的機率式類神經網路為色彩影像感測器特性化的方 法，其中該影像輸入裝置可為：數位彩色照相裝置：含數位彩色相機、數位彩色手機相機、數位彩色工業相機、數位彩色面型影像擷取裝置；或數位彩色掃描裝置：含數位彩色掃描機、數位彩色工業掃描機、數位彩色線型影像擷取裝置；或數位彩色影像感測裝置：含CCD(charged coupled device)型態數位影像感測裝置、CMOS(complementary metal-oxide-semiconductor)型態數位影像感測裝置；或彩色感測裝置：RGB Color Sensor。
- 如請求項1所述的機率式類神經網路為色彩影像感測器特性化的方法，其中該卷積網路，係為多層式卷積網路包含：每單一層卷積：含一個遮罩C3(C3=3 x 3)與一個(3x32)色彩初值化特徵矩陣；八層式卷積網路：含八個該單一層卷積所構成的網路，[8層]x[單一層卷積矩陣(3 x 32)]；八層式卷積網路的相關機器學習參數：八層式卷積網路所對應8個遮罩C3(3x3矩陣)所對應的矩陣係數、以及[8層]x[單一層卷積矩陣(3 x 32)]所對應的矩陣係數，皆由經由機器智慧對於神經網路或其他智慧演算法所學習、或推論、或演化的結果而決定。
- 如請求項5所述的機率式類神經網路為色彩影像感測器特性化的方法，其中該扁平化轉移為一維數據包含：[8層]x[單一層卷積矩陣(3 x 32)]卷積運算所得到的所得到2-D的色彩 特徵圖，透過全連接層前要先轉成1-D的陣列，即為扁平化轉移為一維數據；轉移一維數據為機率式類神經網路的輸入神經元。
- 如請求項1所述的機率式類神經網路為色彩影像感測器特性化的方法，其中該反覆迭代進行機器學習係由一組學習的目標數據(L2 *，a2 *，b2 *)與一組神經網路推估的數據(L1 *，a1 *，b1 *)，以CIE76色差(△E* ab)公式定義為損失函數。
- 如請求項1所述的機率式類神經網路為色彩影像感測器特性化的方法，其中該學習的目標數據，係由分光儀(Spectrometer)所量測的色彩非從屬空間所產生的。
- 如請求項1所述的機率式類神經網路為色彩影像感測器特性化的方法，其中該機率式類神經網路包含：該機率式類神經網路架構中是採用expz i -1)/σ2-為輸出函數；該機率式類神經網路架構的輸出逼近函數即是對應CIELAB輸出值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108107704A TWI688276B (zh) | 2019-03-06 | 2019-03-06 | 機率式類神經網路為色彩影像感測器特性化的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108107704A TWI688276B (zh) | 2019-03-06 | 2019-03-06 | 機率式類神經網路為色彩影像感測器特性化的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI688276B true TWI688276B (zh) | 2020-03-11 |
| TW202034685A TW202034685A (zh) | 2020-09-16 |
Family
ID=70766958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108107704A TWI688276B (zh) | 2019-03-06 | 2019-03-06 | 機率式類神經網路為色彩影像感測器特性化的方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI688276B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862906A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市中钞科信金融科技有限公司 | 基于神经网络的颜色空间转换方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103544506A (zh) * | 2013-10-12 | 2014-01-29 | Tcl集团股份有限公司 | 一种基于卷积神经网络的图像分类方法和装置 |
| CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
-
2019
- 2019-03-06 TW TW108107704A patent/TWI688276B/zh not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103544506A (zh) * | 2013-10-12 | 2014-01-29 | Tcl集团股份有限公司 | 一种基于卷积神经网络的图像分类方法和装置 |
| CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862906A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市中钞科信金融科技有限公司 | 基于神经网络的颜色空间转换方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202034685A (zh) | 2020-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7548262B2 (en) | Method, apparatus, imaging module and program for improving image quality in a digital imaging device | |
| WO2022100242A1 (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN107798652A (zh) | 图像处理方法、装置、可读存储介质和电子设备 | |
| Ratnasingam | Deep camera: A fully convolutional neural network for image signal processing | |
| CN103106670B (zh) | 一种计算机输入设备的色彩模型自动建立及转换方法 | |
| CN107071234A (zh) | 一种镜头阴影校正方法及装置 | |
| CN111292246A (zh) | 图像颜色校正方法、存储介质及内窥镜 | |
| WO2020010638A1 (zh) | 一种图像坏点检测方法及装置 | |
| CN112118388A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| WO2023005115A1 (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| WO2023016146A1 (zh) | 图像传感器、图像采集装置、图像处理方法及图像处理器 | |
| TWI688276B (zh) | 機率式類神經網路為色彩影像感測器特性化的方法 | |
| WO2023010750A1 (zh) | 一种图像颜色映射方法、装置、终端设备及存储介质 | |
| JP2005045446A (ja) | 色変換マトリクス算出方法および色補正方法 | |
| Cheng et al. | A lightweight convolutional neural network for camera isp | |
| CN112862906B (zh) | 基于神经网络的颜色空间转换方法 | |
| WO2022092555A1 (ko) | 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치 | |
| TW202023262A (zh) | 攝像模組之檢測方法 | |
| KR100645856B1 (ko) | 신호처리 방법 및 화상취득 장치 | |
| CN105812761B (zh) | 一种图像颜色的还原方法及终端 | |
| JP2022150562A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| RU2625523C1 (ru) | Способ определения охраноспособности обозначений в качестве товарных знаков | |
| CN117768791B (zh) | 一种基于神经网络的跨相机图像白平衡方法和*** | |
| EP4035346A1 (en) | Raw to rgb image transformation | |
| CN113516132B (zh) | 基于机器学习的颜色校准方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |