TWI768555B - 調整神經網路輸入資料的系統及方法 - Google Patents

調整神經網路輸入資料的系統及方法 Download PDF

Info

Publication number
TWI768555B
TWI768555B TW109140945A TW109140945A TWI768555B TW I768555 B TWI768555 B TW I768555B TW 109140945 A TW109140945 A TW 109140945A TW 109140945 A TW109140945 A TW 109140945A TW I768555 B TWI768555 B TW I768555B
Authority
TW
Taiwan
Prior art keywords
data
partition
partition data
neural network
decision
Prior art date
Application number
TW109140945A
Other languages
English (en)
Other versions
TW202221575A (zh
Inventor
許嘉佑
陳奕志
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Priority to TW109140945A priority Critical patent/TWI768555B/zh
Priority to CN202110164475.4A priority patent/CN112767408A/zh
Priority to US17/213,293 priority patent/US20220164605A1/en
Publication of TW202221575A publication Critical patent/TW202221575A/zh
Application granted granted Critical
Publication of TWI768555B publication Critical patent/TWI768555B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

一種用於調整輸入到決策神經網路的輸入資料的系統及方法，此系統包括：分割資料神經網路裝置及資料處理裝置。分割資料神經網路裝置接收輸入資料並將輸入資料分割為包括第一分區資料及第二分區資料的多個分區資料；資料處理裝置耦接至分割資料神經網路裝置以接收各分區資料，並在處理這些分區資料時以不同方式來處理第一分區資料及第二分區資料以使第一分區資料及第二分區資料產生不同的改變。其中，決策神經網路電性耦接至資料處理裝置以將處理過後的分區資料作為輸入資料。

Description

調整神經網路輸入資料的系統及方法
本發明是有關於一種用於輔助神經網路的系統，特別是有關於一種調整神經網路輸入資料的系統及方法。
神經網路(Neural Network)是一種藉由大量的人工神經元聯結而進行計算的電腦應用程式。在大多數情況下，神經網路可以基於外界資訊而逐漸的改變內部結構，因此在某種程度上具備了學習的功能。神經網路在建置完成後可以藉由累積外界資訊來進行自身的訓練並逐步改善自身的結構，並且在訓練完成之後可以提供相當精準的判斷結果。
當神經網路可以提供相當精準的判斷結果的時候，表示同一個神經網路對於同一個外界輸入的條件只可能產生同樣的結果。從另一個角度來看，如果需要神經網路對於同一個外界輸入條件產生其它的結果，那麼就必須要再對神經網路進行新的訓練才可能達到目的。然而，每一次藉由累積外界資訊來進行自身訓練的過程都必須要花費許多時間，因此在面對可能會經常變動判斷條件的作業程序來說，導入神經網路可能會是一種吃力不討好的工作。
舉例來說，假設A產品的封裝縫線只需要相鄰縫線之間的空隙小於1mm就符合需求，而B產品的封裝縫線需要相鄰縫線之間的空隙小於0.5mm才符合需求，那麼用來檢驗A產品封裝縫線的視覺化神經網路與 用來檢驗B產品封裝縫線的視覺化神經網路就不能共用。在這種狀況下，現有技術只能藉由建立兩套視覺化神經網路以分別對應到兩個不同產品的縫線檢驗來解決問題。一旦還有其它對封裝縫線有不同需求的產品出現，也只能依賴再增加視覺化神經網路的數量或者將不再使用的視覺化神經網路重新進行訓練才能解決問題。
由此可知，神經網路雖然可以提供精確的判斷結果，但是卻也會因為只能提供精確的判斷結果而使得在某些特殊環境下並不適合使用神經網路作為解決問題的手段。
有鑑於此，本發明的說明內容提出一種調整神經網路輸入資料的系統及方法，其藉由改變原本輸入到神經網路的資料內容而使神經網路改變最終的輸出結果。
從一個角度來看，本發明的說明內容提出一種調整神經網路輸入資料的系統，其適於調整輸入到決策神經網路的輸入資料並包括：分割資料神經網路裝置以及資料處理裝置。分割資料神經網路裝置接收輸入資料並將輸入資料分割為包括第一分區資料及第二分區資料的多個分區資料；資料處理裝置耦接至分割資料神經網路裝置以接收各分區資料，並在處理這些分區資料時以不同方式來處理第一分區資料及第二分區資料以使第一分區資料及第二分區資料產生不同的改變，並將改變後的第一分區資料及改變後的第二分區資料集合為修改後輸入資料。其中，決策神經網路耦接至資料處理裝置以將修改後輸入資料作為輸入資料，決策神經網路產生結果時依據第一分區資料與第二分區資 料之間相對關係進行判斷，且資料處理裝置改變了第一分區資料與第二分區資料之間的所述相對關係。
在一個實施例中，前述的輸入資料為一張圖像。
在一個實施例中，每一個分區資料為前述圖像中的一部分圖像，且在經過資料處理裝置的處理之後，第一分區資料所表示的第一部分圖像與第二分區資料所表示的第二部份圖像之間的距離產生變化。進一步的，決策神經網路根據第一部分圖像與第二部份圖像之間的距離決定輸出的結果。
在另一個實施例中，資料處理裝置使第一分區資料及第二分區資料產生多個不同程度的相對關係的改變以集合為相應的多個不同的修改後輸入資料，其中，這些不同的修改後輸入資料輸入至多個決策神經網路以產生相應的多個不同的結果，這些決策神經網路產生結果時依據第一分區資料與第二分區資料之間的相對關係進行判斷。
在一個實施例中，第一分區資料所表示的第一部分圖像與第二分區資料所表示的第二部份圖像互不重疊。
在一個實施例中，分割資料神經網路裝置採用語意分析神經網路分割輸入資料而產生前述的多個分區資料。
在一個實施例中，決策神經網路先接收輸入資料作為輸入以產生所述結果，當所述結果為不符合標準結果時，此系統再接收同一個輸入資料以產生修改後輸入資料，而決策神經網路再接收修改後輸入資料作為輸入以重新產生結果。
在一個實施例中，資料處理裝置依據輸入資料輸入決策神經網路所產生的結果來決定所要改變的第一分區資料與第二分區資料之間的相對關係。
從另一個角度來看，本發明的說明內容提出一種調整神經網路輸入資料的方法，其適於調整輸入到決策神經網路以產生結果的輸入資料。此方法包括：接收輸入資料；將輸入資料分割為包括第一分區資料及第二分區資料的多個分區資料；以不同方式來處理第一分區資料及第二分區資料以使第一分區資料及第二分區資料產生不同的改變而改變第一分區資料與第二分區資料之間的相對關係；將改變後的第一分區資料及改變後的第二分區資料集合為修改後輸入資料；以及以修改後輸入資料作為決策神經網路的輸入，其中，決策神經網路依據第一分區資料與第二分區資料之間的相對關係進行判斷而產生結果。
在一個實施例中，前述的輸入資料為圖像。
在一個實施例中，每一個分區資料為圖像中的一部分圖像，且在以不同方式來處理第一分區資料及第二分區資料之後，第一分區資料所表示的第一部分圖像與第二分區資料所表示的第二部份圖像之間的距離產生變化。進一步的，決策神經網路根據第一部分圖像與第二部份圖像之間的距離決定輸出的結果。
在一個實施例中，在以不同方式來處理第一分區資料及第二分區資料時，使第一分區資料及第二分區資料產生多個不同程度的相對關係的改變以集合為相應的多個不同的修改後輸入資料，其中，這些不同的修改後輸入資料輸入至多個決策神經網路以產生相應的多個不同的結果，且這些決策神經網路產生結果時依據第一分區資料與第二分區資料之間的上述相對關係進行判斷。
在一個實施例中，第一分區資料所表示的第一部分圖像與第二分區資料所表示的第二部份圖像互不重疊。
在一個實施例中，此方法係採用語意分析神經網路分割輸入資料而產生前述的分區資料。
在一個實施例中，在以不同方式來處理第一分區資料及第二分區資料以使第一分區資料及第二分區資料產生不同的改變而改變第一分區資料與第二分區資料之間的相對關係之前，更包括：輸入一輸入資料至決策神經網路以產生結果；當所產生的結果符合標準結果時輸出此結果，且不執行以不同方式來處理第一分區資料及第二分區資料以使第一分區資料及第二分區資料產生不同的改變而改變第一分區資料與第二分區資料之間的相對關係的步驟及後續步驟；以及當所產生的結果不符合標準結果時，執行以不同方式來處理第一分區資料及第二分區資料以使第一分區資料及第二分區資料產生不同的改變而改變第一分區資料與第二分區資料之間的相對關係的步驟及後續步驟。
藉由採用上述技術，本發明可以改變原本要提供到決策神經網路的資料。在提供輸入資料到決策神經網路之前，本發明提供的系統可以先分割輸入資料為多個分區資料並改變其中數個分區資料之間的關係，這些被改變彼此關係的分區資料會進一步被輸入到決策神經網路。於是，經過前述處理之後，提供給決策神經網路的輸入資料就產生了變化，而決策神經網路則是根據改變後的輸入資料來產生結果。因此，只要適當地調整資料處理裝置的參數，就可以達到最終改變決策神經網路輸出結果的目的。由於調整資料處理裝置的參數所需花費的時間顯然低於重新訓練神經網路所需花費的時間，於是本發明所提供的技術可以降低在某些特殊環境下使用神經網路時所需耗費的時間成本。
10:調整神經網路輸入資料的系統
15:決策神經網路
100:分割資料神經網路
110:資料處理裝置
300:圖像
B1、B2、B3:子區塊
d1、d2:距離
INM:輸入資料
INM1:第一分區資料
INM2:第二分區資料
INM’:修改後輸入資料
P1~P9、P1 ’~P9 ’、Q1~Q12、R1~R18:位置
S1、S2、S3:線段
S200~S206:本發明一實施例的施行步驟
圖1為根據本發明一實施例的調整神經網路輸入資料的系統的電路方塊圖。
圖2為根據本發明一實施例的調整神經網路輸入資料的系統的操作流程圖。
圖3為根據本發明一實施例的輸入資料的示意圖。
圖4為根據本發明一實施例的輸入資料的示意圖。
圖5A為根據本發明一實施例的改變後的第一分區資料的示意圖。
圖5B為根據本發明一實施例的修改後輸入資料的示意圖。
請參照圖1，其為根據本發明一實施例的調整神經網路輸入資料的系統的電路方塊圖。如圖1所示，調整神經網路輸入資料的系統(之後簡稱為系統)10包括了一個分割資料神經網路裝置100以及一個資料處理裝置110，其中，分割資料神經網路裝置100接收原本要輸入到決策神經網路15的輸入資料INM，且資料處理裝置輸出的修改後輸入資料INM’則作為替換輸入資料INM的資料而被提供至決策神經網路15。最終，決策神經網路15根據所接收到的修改後輸入資料INM’而產生最終的決策結果。在一實施例中，分割資料神經網路裝置100以及資料處理裝置110可以各自包含一處理器以執行對應的程式碼以實現各自的功能；在另一實施例中，也可以是由系統10中包含的一處理器來執行分別對應分割資料神經網路裝置100以及資料處理裝置110的程式碼以各別實現其功能。在一實施例中，決策神經網路15可以是卷積神經網路 Xception，但本領域技術人員可以知道現有多種卷積神經網路可以實現決策神經網路，本發明不以此為限。
請一併參照圖1與圖2，其中，圖2為根據本發明一實施例的調整神經網路輸入資料的系統的操作流程圖。在本實施例中，首先由分割資料神經網路裝置100接收原本要提供給決策神經網路15的輸入資料INM(步驟S200)。輸入資料INM可以是任意維度的資料，例如由序列文字或由圖像所組成的資料。以下說明將以圖像為輸入資料INM來進行，但實際運用時並不限定於此。
請同時參照圖3，其為根據本發明一實施例的輸入資料的示意圖。在本實施例中，圖像300是原本要提供給決策神經網路15的輸入資料(相當於上述輸入資料INM)，其中包含了線段S1、線段S2以及線段S3。在圖像300中，線段S1與線段S2之間的距離是d1，線段S1與線段S3或者線段S2與線段S3之間的距離是d2。在經過步驟S200而使分割資料神經網路裝置100接收了圖像300之後，分割資料神經網路裝置100會根據事先訓練好的神經網路模型來擷取圖像300的特徵並進行分割。值得一提的是，分割資料神經網路裝置100應該被訓練成可以依照決策神經網路15的決策依據來分割圖像300。舉例來說，當決策神經網路15是依照線段S1與線段S2之間的距離來決定其產生的決策結果時，分割資料神經網路裝置100就必須可以從圖像300中分割出包含線段S1的子區塊B1以及包含線段S2的子區塊B2；當決策神經網路15是依照線段S1與線段S3之間的距離來決定其產生的決策結果時，分割資料神經網路裝置100就必須可以從圖像300中分割出包含線段S1的子區塊B1以及包含線段S3的子區塊B3。整體而言，分割資料神經網路裝置100是根據決策神經網路15決策時所使用的判讀對象(上述例子中的線段S1與線段S2或者線 段S1與線段S3)來分割圖像300及其背後的資料矩陣(即其畫素矩陣)。而在不同的實際運用中，分割資料神經網路裝置100可以利用各種方式來辨識上述的各個子區塊，例如語意分析(semantic analysis)神經網路的方式，來訓練並完善其正確切割圖像的能力。在一實施例中，分割資料神經網路裝置100可以是以卷積神經網路U-Net來實現，U-Net並可以被訓練成依照決策神經網路15產生決策結果的依據來進行語意分析以適當分割圖像300，但本發明不以此為限。本領域技術人員可以知道現有多種卷積神經網路可以實現語意分析，在此不贅述。
在切割出子區塊B1、B2或B3的同時，分割資料神經網路裝置100也可以將子區塊B1、B2或B3在輸入資料INM中對應的資料內容各自劃分為對應的分區資料。在一個實施例中，分割資料神經網路裝置100利用建立對應的遮罩來劃分這些分區資料。請參照圖4，假設原本的輸入資料INM為N*M的資料矩陣(例如解析度為N*M的圖像)，子區塊B1在輸入資料INM中對應的資料內容是存放在圖4中標示為P1~P9的位置(例如圖像中的畫素位置)、子區塊B2在輸入資料INM中對應的資料內容是存放在圖4中標示為Q1~Q12的位置，子區塊B3在輸入資料INM中對應的資料內容是存放在圖4中標示為R1~R18的位置。在這種狀況下，分割資料神經網路裝置100可以建立三個各是N*M大小的遮罩。這三個遮罩中的一個遮罩(後稱第一遮罩)將在圖4中標示為P1~P9的位置的值設定為1，並且將其它位置的值設定為0；另一個遮罩(後稱第二遮罩)將在圖4中標示為Q1~Q12的位置的值設定為1，並且將其它位置的值設定為0；最後一個遮罩(後稱第三遮罩)將在圖4中標示為R1~R18的位置的值設定為1，並且將其它位置的值設定為0。
接下來，分割資料神經網路裝置100可以利用這三個遮罩分別與輸入資料INM進行「及」(AND)運算並產生對應的分區資料。也就是說，分割資料神經網路裝置100使用第一遮罩與輸入資料INM進行「及」運算而產生一個對應的分區資料，這個分區資料的內容除了圖4中標示為P1~P9的位置的值保持不變之外，其它位置的值都會因為第一遮罩的關係而變成0；類似的，分割資料神經網路裝置100使用第二遮罩與輸入資料INM進行「及」運算而產生一個對應的分區資料，這個分區資料的內容除了圖4中標示為Q1~Q12的位置的值保持不變之外，其它位置的值都會因為第二遮罩的關係而變成0；分割資料神經網路裝置100使用第三遮罩與輸入資料INM進行「及」運算而產生一個對應的分區資料，這個分區資料的內容除了圖4中標示為R1~R18的位置的值保持不變之外，其它位置的值都會因為第三遮罩的關係而變成0。
應注意的是，當決策神經網路15是依照線段S1與線段S2的相對關係來決定其產生的決策結果時，分割資料神經網路裝置100就只需要分割出包含線段S1的子區塊B1以及包含線段S2的子區塊B2即可，而且也只需要產生第一遮罩與第二遮罩以運算獲得兩個對應的分區資料。類似的，當決策神經網路15是依照線段S1與線段S3的相對關係來決定其產生的決策結果時，分割資料神經網路裝置100就只需要分割出包含線段S1的子區塊B1以及包含線段S3的子區塊B3即可，而且也只需要產生第一遮罩與第三遮罩以運算獲得兩個對應的分區資料。只有在決策神經網路15是依照線段S1、線段S2以及線段S3的相對關係來決定其產生的決策結果時，分割資料神經網路裝置100才需要同時產生第一、第二及第三遮罩並運算獲得三個對應的分區資料。
以下說明係假設決策神經網路15是依照線段S1與線段S2的相對關係來產生決策結果，但本領域的技術人員當知相關的內容也可以被類推到依照線段S1與線段S3的相對關係或依照線段S1、線段S2以及線段S3的相對關係來產生決策結果的狀況。
請再回到圖1與圖2，當決策神經網路15是依照線段S1與線段S2的相對關係來產生決策結果的時候，分割資料神經網路裝置100會在接收到圖像300(步驟S200)之後，從圖像300中分割出子區塊B1及子區塊B2，並且進一步獲得相對應的遮罩以及對應的分區資料(步驟S202)。對應於子區塊B1的分區資料(後稱第一分區資料)INM1與對應於子區塊B2的分區資料(後稱第二分區資料)INM2會被以任何可能的型態傳送到資料處理裝置110中，例如，可以分開傳送第一分區資料INM1與第二分區資料INM2，也可以傳送由第一分區資料INM1與第二分區資料INM2經過「或」(OR)運算結合而成的新資料。
在接收到第一分區資料INM1與第二分區資料INM2之後，資料處理裝置110會開始對第一分區資料INM1與第二分區資料INM2進行對應的處理。應注意的是，資料處理裝置110對於第一分區資料INM1與第二分區資料INM2所進行的資料處理應該與決策神經網路15產生決策結果時依照的相對關係相關。例如，當決策神經網路15是依照第一分區資料INM1與第二分區資料INM2之間的距離(亦即圖像300上線段S1與線段S2之間的距離d1)來產生決策結果的時候，資料處理裝置110所要進行的處理操作就可以包括：移動第一分區資料INM1的非0資料的位置、移動第二分區資料INM2的非0資料的位置或同時移動第一分區資料INM1與第二分區資料INM2的非0資料的位置，以藉此改變距離d1的值。在另一個例子中，當決策神經網路15是依照第一分區資料INM1與第二分區 資料INM2之間的亮度差來產生決策結果的時候，資料處理裝置110所要進行的處理操作就可以包括：改變第一分區資料INM1的非0資料的數值、改變第二分區資料INM2的非0資料的數值或同時改變第一分區資料INM1與第二分區資料INM2的非0資料的數值，以藉此改變第一分區資料INM1與第二分區資料INM2之間的亮度差。在一實施例中，決策神經網路15產生的決策結果可以是多個可能結果之一，其中該些可能結果可以是依照各分區資料之間的至少一個相對關係來產生，也可以是與各分區資料之間的相對關係無關，例如多個可能結果可以包括：線段S1與線段S2之間的距離太大(依照分區資料之間的距離來產生)、線段S2與線段S3之間的距離太小(依照分區資料之間的距離來產生)、線段S1與線段S2之間的亮度差太小(依照分區資料之間的亮度差來產生)、圖像中出現破損(與分區資料之間的相對關係無關)、圖像中出現線段斷線(與分區資料之間的相對關係無關)、符合標準(即不包含任何不符合標準的結果)等。在其他實施例中，資料處理裝置110所進行的處理操作也可以是其他改變各分區資料的操作，例如是將不同分區資料乘上不同的放大/縮小比例、或是將不同分區資料進行不同的濾波等。
整體而言，資料處理裝置110藉由調整第一分區資料INM1與第二分區資料INM2的內容來改變兩者之間的相對關係(步驟S204)。改變後的第一分區資料INM1’與改變後的第二分區資料INM2’會被以「或」運算的方式整合成一個新的修改後輸入資料INM’並被提供至決策神經網路15(步驟S206)。舉例來說，當資料處理裝置110為了改變第一分區資料INM1與第二分區資料INM2之間的距離(等同於改變線段S1與線段S2之間的距離)而選擇將第一分區資料INM1的非0資料向左移動一格的時候，改變後的第一分區資料INM1’的內容會如圖5A所示一樣，原 本紀錄在標示為P1~P9的位置的值會分別被往左移動一格而改成被紀錄在標示為P1’~P9’的位置上，而且，因為往左移而超出N*M矩陣範圍的內容值都被捨棄不用，因為往左移而需要在矩陣右側補充的內容值都設定為0。在這種狀況下，當資料處理裝置110藉由「或」運算將改變後的第一分區資料INM1’與改變後的第二分區資料INM2’(事實上在本實施例中並無修改，因此等同於第二分區資料INM2)整合成修改後輸入資料INM’的時候，修改後輸入資料INM’就會包括如圖5B所示的內容，其中，在標示為P1’~P9’以及Q1~Q12的位置之外的值都為0。
經過上述操作之後，由資料處理裝置110輸出的修改後輸入資料INM’與原本的輸入資料INM同樣是具有N*M大小的矩陣，因此決策神經網路15可以直接以修改後輸入資料INM’作為其輸入並根據修改後輸入資料INM’的內容來產生最後的決策結果。由此可知，資料處理裝置110對各分區資料做出的調整將可以影響到決策神經網路15所產生的決策結果。修改後輸入資料INM’的內容與原本的輸入資料INM相比，除了各個遮罩中設定為1的位置之外，其他位置的值都為0；而在原本的輸入資料INM中，各個遮罩中設定為1的位置之外的其他位置可能原本是不為0的值。也就是說，在原本的輸入資料INM中，決策神經網路15所依照來決定其決策結果的各分區資料(例如INM1以及INM2)之外的其他位置可能原本是不為0的值，但在修改後輸入資料INM’中，決策神經網路15所依照來決定其決策結果的各分區資料(例如INM1’以及INM2’)之外的其他位置的值都為0。因此，為了讓決策神經網路15能夠更準確地決定決策結果，在一實施例中，在訓練決策神經網路15時，用於訓練的訓練資料除了包括多個原始圖像資料之外，也可以包括將上述各個原始圖像資料中，除了決策神經網路15決定決策結果的各分 區資料之外的其他位置的畫素值都設為0的相應的多個遮罩圖像資料。換言之，用於訓練決策神經網路15的訓練資料可以包括上述多個原始圖像資料以及上述多個遮罩圖像資料，使得不論輸入到決策神經網路15的是修改後輸入資料INM’還是原本的輸入資料INM，決策神經網路15都能準確地決定決策結果。
仍然以產品的封裝縫線為例，假設決策神經網路15原本被訓練成只有在線段S1與線段S2之間的距離d1不大於1mm的狀況下才認定是處於適當封裝的狀態，那麼一旦要將標準修改為只有在線段S1與線段S2之間的距離d1不大於2mm的狀況下就可以被認定是處於適當封裝的時候，工程師就可以利用資料處理裝置110來調整線段S1與線段S2之間的距離以使圖像300中的距離d1為2mm時能夠因為經過處理(例如是將線段S1與線段S2之間的距離減少1mm)而變小到符合決策神經網路15的認可標準。也就是說，雖然在圖像300中的距離d1是2mm，但是在資料處理裝置110輸出給決策神經網路15的修改後輸入資料(相當於調整後的影像)中，原本是2mm的距離d1可以被改變成1mm；如此一來，決策神經網路15就會因為接收到的是距離d1為1mm的圖像(或資料)而判斷此產品的封裝縫線符合標準。在一實施例中，可以是在開始的時候，原本的輸入資料INM(例如圖像300)直接先輸入決策神經網路15以產生決策結果，如果決策結果為符合標準即完成(例如當距離d1是0.9mm)；如果決策結果為線段S1與線段S2之間距離太大的不符合標準結果(例如當距離d1是1.8mm)，再將原本的輸入資料INM輸入系統10並由資料處理裝置110調整線段S1與線段S2之間的距離(例如距離d1被減少1mm而變成是0.8mm)之後再進入決策神經網路15以重新產生決策結果，如此一來即可等效使得線段S1與線段S2之間的距離d1不大於2mm的狀況 被認定是符合標準。在另一實施例中，如果決策神經網路15產生的決策結果為與線段距離無關的其他種類的不符合標準結果(例如產品的袋面破損或產品的封裝縫線斷線等)，則不進行上述輸入系統10並由資料處理裝置110調整線段之間距離再重新產生決策結果的流程，而是直接回報該不符合標準結果。在其他實施例中，也可以是針對原本的輸入資料INM輸入決策神經網路15所產生的不同的決策結果來決定資料處理裝置110所需要進行的調整方式，例如如果決策結果為第一分區資料INM1與第二分區資料INM2之間距離太大的不符合標準結果，則資料處理裝置110調整分區資料之間的距離再重新輸入決策神經網路15產生決策結果；如果決策結果為第一分區資料INM1與第二分區資料INM2之間亮度差太小的不符合標準結果，則資料處理裝置110調整分區資料之間的亮度差再重新輸入決策神經網路15產生決策結果。
在另一實施例中，資料處理裝置110調整各分區資料時可以是同時進行多個不同程度的調整以產生相應的多個不同的修改後輸入資料INM’，再將各個不同的修改後輸入資料INM’同時輸入多個平行且相同的決策神經網路15以重新產生相應的多個不同的決策結果，以減少需要反覆手動改變調整程度再重新產生決策結果的情況，進而提升效率。以上述的產品的封裝縫線為例，假設決策神經網路15原本被訓練成只有在線段S2與線段S3之間的距離d2不小於2mm的最小標準距離的狀況下決策結果才是符合標準，而後來有需要減小上述最小標準距離(例如減小為1.5mm或1.2mm等)，在本實施例中，可以是在開始的時候，原本的輸入資料INM(例如圖像300)直接先輸入決策神經網路15以產生決策結果，如果決策結果為線段S2與線段S3之間距離d2太小的不符合標準結果，再將原本的輸入資料INM輸入系統10並由資料處理裝置110 同時產生分別相應於線段S2與線段S3之間不同調整距離(例如距離d2分別被增加0.5mm、1mm、1.5mm等)的多個不同的修改後輸入資料INM’，再將各個不同的修改後輸入資料INM’同時輸入多個平行且相同的決策神經網路15以重新產生相應的多個不同的決策結果，只要多個決策結果中至少有一個決策結果為符合標準即視為是符合標準。在另一種可能的實施例中，上述資料處理裝置110調整各分區資料時也可以是依序進行多個不同程度的調整，上述多個不同的修改後輸入資料INM’也可以是依序輸入一或多個決策神經網路15以依序產生相應的多個不同的決策結果。
由上述說明可知，本說明所提供的技術可以改變原本要提供到決策神經網路的資料。在提供輸入資料到決策神經網路之前，此系統可以先分割輸入資料為多個分區資料並改變其中數個分區資料之間的關係，這些被改變彼此關係的分區資料會進一步被輸入到決策神經網路。於是，在經過前述處理之後，提供給決策神經網路的輸入資料就產生了變化。既然決策神經網路是根據改變後的輸入資料來產生結果，於是只要適當地調整資料處理裝置的參數就可以達到最終改變決策神經網路輸出結果的目的。由於調整資料處理裝置的參數所需花費的時間顯然低於重新訓練神經網路所需花費的時間，所以本說明內容中提供的技術就可以降低在某些特殊環境下使用神經網路時所需耗費的時間成本。
10：調整神經網路輸入資料的系統 15：決策神經網路 100：分割資料神經網路 110：資料處理裝置 INM：輸入資料 INM1：第一分區資料 INM2：第二分區資料 INM’：修改後輸入資料

Claims (18)

  1. 一種調整神經網路輸入資料的系統，適於調整輸入到一決策神經網路以產生一結果的一輸入資料，其特徵在於包括： 一分割資料神經網路裝置，接收該輸入資料並分割該輸入資料而產生包括一第一分區資料及一第二分區資料的多個分區資料；以及 一資料處理裝置，耦接至該分割資料神經網路裝置以接收該些分區資料，該資料處理裝置在處理該些分區資料時以不同方式來處理該第一分區資料及該第二分區資料以使該第一分區資料及該第二分區資料產生不同的改變，並將改變後的該第一分區資料及改變後的該第二分區資料集合為一修改後輸入資料； 其中，該決策神經網路耦接至該資料處理裝置以接收該修改後輸入資料作為該決策神經網路的輸入，該決策神經網路產生該結果時依據該第一分區資料與該第二分區資料之間的一相對關係進行判斷，且該資料處理裝置改變該第一分區資料與該第二分區資料之間的該相對關係。
  2. 如請求項1所述的系統，其中該輸入資料為一圖像。
  3. 如請求項2所述的系統，其中每一該些分區資料為該圖像中的一部分圖像，且在經過該資料處理裝置的處理之後，該第一分區資料所表示的一第一部分圖像與該第二分區資料所表示的一第二部份圖像之間的距離產生變化。
  4. 如請求項3所述的系統，其中該決策神經網路根據該第一部分圖像與該第二部份圖像之間的距離決定輸出的結果。
  5. 如請求項1所述的系統，其中該資料處理裝置使該第一分區資料及該第二分區資料產生多個不同程度的該相對關係的改變以集合為相應的多個不同的修改後輸入資料，其中該些不同的修改後輸入資料輸入至多個決策神經網路以產生相應的多個不同的結果，該些決策神經網路產生結果時依據該第一分區資料與該第二分區資料之間的該相對關係進行判斷。
  6. 如請求項1所述的系統，其中該第一分區資料所表示的一第一部分圖像與該第二分區資料所表示的一第二部份圖像互不重疊。
  7. 如請求項1所述的系統，其中該分割資料神經網路裝置採用語意分析神經網路分割該輸入資料而產生該些分區資料。
  8. 如請求項1所述的系統，其中該決策神經網路先接收該輸入資料作為輸入以產生該結果，當該結果為不符合標準結果時，該系統再接收該輸入資料以產生該修改後輸入資料，而該決策神經網路再接收該修改後輸入資料作為輸入以重新產生該結果。
  9. 如請求項8所述的系統，其中該資料處理裝置依據該輸入資料輸入該決策神經網路所產生的該結果來決定所要改變的該第一分區資料與該第二分區資料之間的該相對關係。
  10. 一種調整神經網路輸入資料的方法，適於調整輸入到一決策神經網路以產生一結果的輸入資料，其特徵在於包括： 接收該輸入資料； 將該輸入資料分割為包括一第一分區資料及一第二分區資料的多個分區資料； 以不同方式來處理該第一分區資料及該第二分區資料以使該第一分區資料及該第二分區資料產生不同的改變而改變該第一分區資料與該第二分區資料之間的一相對關係； 將改變後的該第一分區資料及改變後的該第二分區資料集合為一修改後輸入資料；以及 以該修改後輸入資料作為該決策神經網路的輸入， 其中，該決策神經網路依據該第一分區資料與該第二分區資料之間的該相對關係進行判斷而產生該結果。
  11. 如請求項10所述的方法，其中該輸入資料為一圖像。
  12. 如請求項11所述的方法，其中每一該些分區資料為該圖像中的一部分圖像，且在以不同方式來處理該第一分區資料及該第二分區資料之後，該第一分區資料所表示的一第一部分圖像與該第二分區資料所表示的一第二部份圖像之間的距離產生變化。
  13. 如請求項12所述的方法，其中該決策神經網路根據該第一部分圖像與該第二部份圖像之間的距離決定輸出的結果。
  14. 如請求項10所述的方法，其中在以不同方式來處理該第一分區資料及該第二分區資料時，使該第一分區資料及該第二分區資料產生多個不同程度的該相對關係的改變以集合為相應的多個不同的修改後輸入資料，其中該些不同的修改後輸入資料輸入至多個決策神經網路以產生相應的多個不同的結果，該些決策神經網路產生結果時依據該第一分區資料與該第二分區資料之間的該相對關係進行判斷。
  15. 如請求項10所述的方法，其中該第一分區資料所表示的一第一部分圖像與該第二分區資料所表示的一第二部份圖像互不重疊。
  16. 如請求項10所述的方法，其中係採用語意分析神經網路分割該輸入資料而產生該些分區資料。
  17. 如請求項10所述的方法，其中在以不同方式來處理該第一分區資料及該第二分區資料以使該第一分區資料及該第二分區資料產生不同的改變而改變該第一分區資料與該第二分區資料之間的該相對關係之前，更包括： 輸入該輸入資料至該決策神經網路以產生該結果； 當該結果符合一標準結果時輸出該結果，且不執行以不同方式來處理該第一分區資料及該第二分區資料以使該第一分區資料及該第二分區資料產生不同的改變而改變該第一分區資料與該第二分區資料之間的該相對關係的步驟及後續步驟；以及 當該結果不符合該標準結果時，執行以不同方式來處理該第一分區資料及該第二分區資料以使該第一分區資料及該第二分區資料產生不同的改變而改變該第一分區資料與該第二分區資料之間的該相對關係的步驟及後續步驟。
  18. 如請求項17所述的方法，更包括： 依據該輸入資料輸入該決策神經網路所產生的該結果來決定所要改變的該第一分區資料與該第二分區資料之間的該相對關係。
TW109140945A 2020-11-23 2020-11-23 調整神經網路輸入資料的系統及方法 TWI768555B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109140945A TWI768555B (zh) 2020-11-23 2020-11-23 調整神經網路輸入資料的系統及方法
CN202110164475.4A CN112767408A (zh) 2020-11-23 2021-02-05 调整神经网络输入数据的***及方法
US17/213,293 US20220164605A1 (en) 2020-11-23 2021-03-26 System and Method for Adjusting Input Data of Neural Network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109140945A TWI768555B (zh) 2020-11-23 2020-11-23 調整神經網路輸入資料的系統及方法

Publications (2)

Publication Number Publication Date
TW202221575A TW202221575A (zh) 2022-06-01
TWI768555B true TWI768555B (zh) 2022-06-21

Family

ID=75705123

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109140945A TWI768555B (zh) 2020-11-23 2020-11-23 調整神經網路輸入資料的系統及方法

Country Status (3)

Country Link
US (1) US20220164605A1 (zh)
CN (1) CN112767408A (zh)
TW (1) TWI768555B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201901475A (zh) * 2017-05-19 2019-01-01 日商半導體能源硏究所股份有限公司 機器學習方法、機器學習系統及顯示系統
US20190138898A1 (en) * 2017-11-07 2019-05-09 Samsung Electronics Co., Ltd. Method and apparatus with neural network performing deconvolution
CN110021047A (zh) * 2018-01-10 2019-07-16 佳能株式会社 图像处理方法、图像处理装置和存储介质
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110276777A (zh) * 2019-06-26 2019-09-24 山东浪潮人工智能研究院有限公司 一种基于深度图学习的图像分割方法及装置
CN110288026A (zh) * 2019-06-27 2019-09-27 山东浪潮人工智能研究院有限公司 一种基于度量关系图学习的图像分割方法及装置
JP6595151B2 (ja) * 2017-06-29 2019-10-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体
US20190365341A1 (en) * 2018-05-31 2019-12-05 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (pet)
CN110543822A (zh) * 2019-07-29 2019-12-06 浙江理工大学 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201901475A (zh) * 2017-05-19 2019-01-01 日商半導體能源硏究所股份有限公司 機器學習方法、機器學習系統及顯示系統
JP6595151B2 (ja) * 2017-06-29 2019-10-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体
US20190138898A1 (en) * 2017-11-07 2019-05-09 Samsung Electronics Co., Ltd. Method and apparatus with neural network performing deconvolution
CN110021047A (zh) * 2018-01-10 2019-07-16 佳能株式会社 图像处理方法、图像处理装置和存储介质
US20190365341A1 (en) * 2018-05-31 2019-12-05 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (pet)
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110276777A (zh) * 2019-06-26 2019-09-24 山东浪潮人工智能研究院有限公司 一种基于深度图学习的图像分割方法及装置
CN110288026A (zh) * 2019-06-27 2019-09-27 山东浪潮人工智能研究院有限公司 一种基于度量关系图学习的图像分割方法及装置
CN110543822A (zh) * 2019-07-29 2019-12-06 浙江理工大学 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法

Also Published As

Publication number Publication date
TW202221575A (zh) 2022-06-01
CN112767408A (zh) 2021-05-07
US20220164605A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与***
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN103186894B (zh) 一种自适应分块的多聚焦图像融合方法
CN111709883B (zh) 一种图像检测方法、装置及设备
CN110414394A (zh) 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
CN108665460A (zh) 基于组合神经网络和分类神经网络的图像质量评价方法
CN107886127A (zh) 一种基于卷积神经网络的组织病理学图像分类方法
CN110705630A (zh) 半监督学习式目标检测神经网络训练方法、装置及应用
JP3741672B2 (ja) 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム
TWI707299B (zh) 光學檢測二次圖像分類方法
CN111626357B (zh) 一种基于神经网络模型的图像识别方法
WO2021258498A1 (zh) 一种基于围道积分的椭圆图像检测算法及***
TWI768555B (zh) 調整神經網路輸入資料的系統及方法
CN109741315A (zh) 一种基于深度强化学习的无参考图像质量客观评价方法
CN114821174B (zh) 一种基于内容感知的输电线路航拍图像数据清洗方法
CN109063732A (zh) 基于特征交互和多任务学习的图像排序方法及***
CN112541469B (zh) 基于自适应分类的人群计数方法及***
CN114022750A (zh) 基于聚集-校准cnn的焊点外观图像识别方法及***
CN112347865A (zh) 一种基于关键点检测的票据矫正方法
CN117274110B (zh) 一种基于生成式人工智能与图神经网络的影像优化方法
CN110807483A (zh) 基于fpga的模板匹配实现装置及方法
US20230316718A1 (en) Learning model generating method and inspection device
US20230037782A1 (en) Method for training asymmetric generative adversarial network to generate image and electric apparatus using the same
JP7379574B2 (ja) 疑似不良品データ生成装置
CN114677751B (zh) 学习状态的监控方法、监控装置及存储介质