TW202024994A - 基於上採樣的影像定位系統及其方法 - Google Patents

Abstract

本發明提供一種基於上採樣的影像定位系統及其方法，上述方法是於廣域影像中擷取涵蓋目標的區域影像，決定目標的概略位置，基於神經網路資料模型對區域影像執行上採樣處理以獲得高解析區域影像，映射概略位置至高解析區域影像，並分析高解析區域影像來決定目標的精確位置。本發明可大幅提升定位速度並有效降低所需的硬體成本。

Description

基於上採樣的影像定位系統及其方法

本發明涉及一種影像定位技術，特別是涉及一種基於上採樣的影像定位系統及其方法。

影像定位技術為現有的自動化生產過程中極為重要的一環。以自動組裝為例，自動化設備可經由影像定位技術取得各物件的安裝結構的位置，而可基於各安裝結構的位置來組裝物件。以自動穿孔機為例，可經由影像定位技術辨識待穿孔位置，並準確地進行穿孔作業。

為了進行精確的定位，現有的影像定位技術多是採用高解析度的攝影機來拍攝物件及其周圍環境(如物件的承載台)以獲得高解析廣域影像，再對高解析廣域影像執行物件辨識處理以於高解析廣域影像中辨識物件，並執行影像定位處理以計算物件的精確位置。

現有的影像定位技術由於必須對整張高解析廣域影像執行物件辨識處理與影像定位處理，必須耗費大量運算資源與運算時間，而降低了定位效率。並且，現有的影像定位技術由於必須採用高解析度的攝影機，這會大幅增加所需的硬體成本。

是以，現有的影像定位技術存在上述問題，而亟待更有效的方案被提出。

本發明提供一種基於上採樣的影像定位方法及系統，可縮小辨識與定位的範圍，並可經由機器學習技術來產生高解析影像。

於一實施例中，一種基於上採樣的影像定位方法包括以下步驟：於廣域影像中擷取涵蓋目標的區域影像，並決定目標的概略位置；基於神經網路資料模型對區域影像執行上採樣處理以獲得高解析區域影像，其中高解析區域影像的解析度大於區域影像的解析度；映射概略位置至高解析區域影像；及，分析高解析區域影像來決定目標的精確位置，其中精確位置的精度大於概略位置的精度。

於一實施例中，一種基於上採樣的影像定位系統包括影像擷取設備、儲存裝置及電性連接影像處理設備與儲存裝置的處理器。影像擷取設備用以對目標進行拍攝以產生廣域影像。儲存裝置用以儲存神經網路資料模型。處理器被設定來於廣域影像中擷取涵蓋目標的區域影像，並決定目標的概略位置，基於神經網路資料模型對區域影像執行上採樣處理以獲得高解析區域影像，映射概略位置至高解析區域影像，並分析高解析區域影像來決定目標的精確位置，其中高解析區域影像的解析度大於區域影像的解析度，精確位置的精度大於概略位置的精度。

本發明可大幅提升定位速度並有效降低所需的硬體成本。

下面結合圖式和具體實施例對本發明技術方案進行詳細的描述，以更進一步瞭解本發明的目的、方案及功效，但並非作為本發明所附申請專利範圍的限制。

首請參閱圖1，為本發明一實施態樣的基於上採樣的影像定位系統的架構圖。本發明公開了一種基於上採樣的影像定位系統，可依據低解析度的廣域影像來辨識目標，並對目標進行精確定位。具體而言，當欲對目標(如電子零件或印刷電路板上的指定元件或指定結構等等)進行定位時，基於上採樣的影像定位系統可對目標及其周圍(如放置電子零件的承載台或印刷電路板的全部或部分)進行拍攝以產生視野較廣(即拍攝範圍較廣)且解析度較低的廣域影像。接著，本發明的基於上採樣的影像定位系統可對廣域影像執行後述的影像定位方法來辨識目標並計算目標於廣域影像中的精確位置。

本發明的基於上採樣的影像定位系統包括電腦設備10。電腦設備10主要包括儲存裝置101、通訊裝置104、人機介面105及電性連接上述裝置的處理器100。

儲存裝置101用以儲存資料。於一實施例中，儲存裝置101儲存神經網路資料模型103。前述神經網路資料模型103是使用機器學習技術(如深度學習或神經網路)對大量範本影像進行分析訓練所產生的資料模型。前述神經網路資料模型103包括經訓練產生的大量規則，並可基於大量規則來對影像執行上取樣處理來提升影像的解析度。

通訊裝置104（如USB模組、PCI bus模組、Wi-Fi模組或藍芽模組）。通訊裝置104用以連接外部裝置(如影像擷取設備11及/或自動化設備12)，並可與外部裝置進行通訊(如自影像擷取設備11接收後述的廣域影像，或將後述的精確位置傳送置自動化設備12)。

人機介面105（如按鍵、顯示器、指示燈、蜂鳴器或前述任意組合）。人機介面105用以接受使用者操作並輸出資訊。

處理器100用以控制電腦設備10。於一實施例中，儲存裝置101包括非暫態電腦可讀取記錄媒體，前述非暫態電腦可讀取記錄媒體儲存電腦程式102，前述電腦程式102記錄有用於實現本發明各實施例的方法的程式碼或機械碼（machine code）。處理器100於執行電腦程式102的程式碼或機械碼後，可執行本發明各實施例的方法的各步驟。

於一實施例中，本發明的基於上採樣的影像定位系統更包括影像擷取設備11。電腦設備10可經由通訊設備104連接影像擷取設備11。影像擷取設備11可用以拍攝指定目標，如對印刷電路板的全部或部分進行拍攝。

於一實施例中，影像擷取設備11為解析度較低的攝影機，而具有較低的硬體成本。影像擷取設備11例如是黑白攝影機、彩色攝影機或紅外線攝影機，影像擷取設備11所拍攝之影像可透過電腦設備10之處理來辨識指定物件於影像中的位置。

於一實施例中，影像擷取設備11為黑白攝影機，並可拍攝黑白影像。藉此，所產生的影像不會包括色彩組合，而可進一步提升辨識速度與正確性。

於一實施例中，本發明的基於上採樣的影像定位系統更包括自動化設備12(如自動穿孔機或自動組裝機等等)。電腦設備10可經由通訊設備104連接自動化設備12。自動化設備12可用以依據目標的精確位置來對目標執行指定的處理(如組裝處理、穿孔處理或接合處理等等)。

請一併參閱圖5，為本發明第一實施例的影像定位方法的流程圖。本發明之各實施例的方法係使用圖1所示之基於上採樣的影像定位系統來加以實現。具體而言，本實施例的影像定位方法包括以下步驟。

步驟S10：電腦設備10的處理器100取得涵蓋目標的廣域影像，前述廣域影像是具有較廣的視野(即廣域影像所對應的拍攝範圍較廣)並具有較低的解析度。

於一實施例中，使用者可事前操作影像擷取設備11對目標及其周圍進行拍攝，以獲得前述廣域影像，並將廣域影像儲存於儲存裝置101。並且，處理器100於步驟S10是從儲存裝置101讀取前述廣域影像。

於一實施例中，處理器100是即時控制影像擷取設備11對目標及其周圍進行拍攝以產生廣域影像。

步驟S11：處理器100於所取得的廣域影像中對目標進行辨識，擷取涵蓋目標的區域影像，並決定目標的概略位置。

於一實施例中，處理器100是將廣域影像座標化，並以區域影像在廣域影像中的座標範圍作為前述概略位置。

值得一提的是，由於區域影像為廣域影像的部分，故區域影像的視野與資料量必定小於區域影像的視野與資料量。本發明經由僅對涵蓋目標的區域影像進行分析處理可有效減少所處理的資料量，而可減少執行處理所需時間。

並且，由於本發明的主要目的之一在於對目標進行定位，而不需要未涵蓋目標的其他區域影像，前述擷取處理並不會影響定位結果。

步驟S12：處理器100自儲存裝置101載入神經網路資料模型103，並基於神經網路資料模型103對所擷取的區域影像執行上採樣處理以獲得高解析區域影像。高解析區域影像的解析度大於區域影像的解析度，如高解析區域影像與區域影像具有相同視野，但高解析區域影像的像素數量大於區域影像的像素數量。

值得一提的是，使用機器學習技術產生資料模型並依據資料模型增加影像解析度為人工智慧領域的現有的上採樣技術，其技術細節於此不再贅述。並且，於後續說明中，本發明還有提出一種不同於現有的上採樣技術，而新穎且進步的上採樣技術。

本發明所屬技術領域中具有通常知識者可依據本說明書的公開內容來將後述的上採樣技術或任何現有的上採樣技術應用於本發明。

步驟S13：處理器100映射概略位置至高解析區域影像，以將廣域影像的位置編排方式套用至高解析區域影像。藉此，建立高解析區域影像的各像素與廣域影像的各像素之間的映射關係，而可得知高解析區域影像的各像素於廣域影像中所對應的位置(如座標)。

步驟S14：處理器100分析高解析區域影像以於高解析區域影像中辨識目標，並決定目標的精確位置。前述精確位置的精度大於前述概略位置的精度。

於一實施例中，處理器100是先決定目標於高解析區域影像中的位置，再依據高解析區域影像的各像素與廣域影像的各像素之間的映射關係計算目標於廣域影像中的精確位置。

值得一提的是，雖於本實施例中神經網路資料模型103是儲存於本地端的電腦設備10，並由電腦設備10來執行影像定位方法，但不以此限定。

於一實施例中，神經網路資料模型103可被儲存於雲端伺服器(圖未標示)，並且，電腦設備10是經由網路將廣域影像上傳至雲端伺服器來使雲端伺服器執行本發明的影像定位方法，並將處理結果(如目標的精確位置)回傳至電腦設備10。藉此，本發明可減少使用儲存裝置101所需的儲存資源，並可減少使用處理器100的處理資源。

本發明經由於廣域影像中擷取部分影像可大幅減少辨識與定位的範圍，而可大幅提升定位速度。並且，本發明基於神經網路資料模型來產生高解析區域影像，可不須使用高解析度的攝影機，而可有效降低所需的硬體成本。

續請一併參閱圖5及圖6，圖6為本發明第二實施例的自動化處理的流程圖。本發明進一步提出自動化處理功能。具體而言，本實施例的影像定位方法於決定精確位置後更包括以下步驟。

步驟S20：電腦設備10的處理器100依據所計算出的目標的精確位置執行自動化處理。

於一實施例中，若目標為印刷電路板上的指定元件或指定結構的影像，則電腦設備10可控制自動化設備12於印刷電路板的精確位置執行裝設處理(如標記處理、焊接處理或穿孔處理等等)。

於一實施例中，若目標為物件的安裝結構(如卡榫、安裝孔或接合處等等)的影像，則電腦設備10可控制自動化設備12於物件的精確位置執行裝設處理(如結合卡榫、鎖上螺絲、噴塗黏著劑等等)。

續請一併參閱圖3、圖5及圖7，圖3為本發明一實施態樣的影像定位處理的示意圖，圖7為本發明第三實施例的決定概略位置的流程圖。後續將配合圖3的例子來進行說明。

於圖3的例子中，廣域影像30(影像尺寸為4x4)為印刷電路板的影像且目標為印刷電路板上的指定孔洞的影像。並且廣域影像30經過座標化以後，其四個端點的座標分別為(0,0)、(4,0)、(0,4)及(4,4)。

相較於圖5所示的影像定位方法，本實施例的影像定位方法的步驟S11更包括用以實現決定概略位置功能的以下步驟。

步驟S30：電腦設備10的處理器100於分別對應廣域影像30的不同區域的多個區域影像中選擇其中之一，如選擇第一個區域Z的區域影像31。

步驟S31：處理器100比對是否所選擇的區域影像31是否符合預設的指定影像或指定圖形。

於一實施例中，儲存裝置101中預先儲存有與目標相同或極為相似的指定影像，處理器100是對指定影像與所選擇的區域影像31執行影像比對來決定兩者是否相同或相似以判斷區域影像31是否涵蓋目標。

於一實施例中，儲存裝置101中預先儲存有用來辨識指定圖形(如圓形)的一或多個辨識規則，處理器100是執行前述辨識規則來判斷區域影像31是否涵蓋目標。

若處理器100判斷所選擇的區域影像31符合指定影像或指定圖形，則執行步驟S32。否則，處理器100執行步驟S34。

步驟S32：處理器100自廣域影像30中擷取出符合的區域影像31。並且，所擷取的區域影像31涵蓋目標及其周圍。

於本例子中，所擷取的區域影像31的影像尺寸為2x2，但不以此限定。

步驟S33：處理器100 依據所選擇的該區域影像於該廣域影像中的位置設定該概略位置

於一實施例中，前述概略位置為區域影像31於廣域影像30中的座標範圍，如區域影像31的四個端點的座標所構成的範圍，四個端點的座標分別為(0,2)、(2,2)、(0,4)及(2,4)。

步驟S34：處理器100判斷是否廣域影像31的所有區域影像皆已比對完成。

若任一區域影像未比對，處理器100則執行再次步驟S30以選擇下一張區域影像進行比對。否則，處理器100執行步驟S12。

於一實施例中，於已找到符合目標的區域影像31的情況下(即步驟S32與步驟S33已被執行)，處理器100可於步驟S33後直接跳至執行步驟S12，而不執行步驟S34，即不判斷是否有其他符合目標的區域影像。藉此，本發明可有效提升比對速度。

雖於前述實施例是先擷取區域影像31再設定概略位置，但不以此限定。

於一實施例中，本發明是先設定概略位置再擷取區域影像。具體而言，處理器100可先決定目標於廣域影像30中的位置，如座標(2,3)，再將前述位置向外擴張指定距離(如1像素)來獲得一組座標範圍(如座標(1,2)、(3,3)、(2,4)及(3,4)所構成的範圍)以作為前述概略位置，並依據此概略位置於廣域影像30中擷取區域影像。

藉此，本發明可有效擷取區域影像來縮小定位範圍，並可有效取得區域影像所對應的概略位置。

續請一併參閱圖2、圖3、圖5及圖8，圖2為本發明一實施態樣的神經網路資料模型的架構圖，圖8為本發明第四實施例的上採樣處理的流程圖。

如圖2所示，本實施例進一步提出一種基於人工神經網路技術所訓練出來的神經網路資料模型103，用以執行上採樣功能，前述神經網路資料模型103至少包括用以萃取影像特徵的萃取層1030、用以放大影像的放大層1031及用以組合影像特徵與放大影像的組合層1032。

於一實施例中，萃取層1030、放大層1031及組合層1032是由卷積神經網路(Convolutional Neural Network)建構而成。

值得一提的是，相較於傳統的深度學習網路(Deep neural network)，直接使用全連接，而會忽略資料的形狀(如像素的排列資訊)，本實施例所提出的由卷積神經網路建構而成神經網路資料模型103於進行訓練時可保留資料的形狀，如透過至少一層卷積層(Convolutional)與池化層(Pooling)，而具有較佳的學習能力，必可提供較高精確度。

相較於圖5所示的影像定位方法，本實施例的影像定位方法的步驟S12更包括用以實現上採樣功能的以下步驟。

步驟S40：電腦設備10的處理器100基於神經網路資料模型103的萃取層1030分析區域影像31以獲得特徵影像32。

於一實施例中，特徵影像32中僅包括了與物件(如目標)有關的影像的特徵，而濾除了部分與物件無關的雜訊(如背景或光影變化)。藉此，可以減少雜訊所帶來的影像干擾，進而提升後續產生的高解析區域影像34的影像品質。

於一實施例中，處理器100還可進一步對特徵影像32放大處理以產生與後述的放大影像33具有相同的影像尺寸的高解析特徵影像32’。具體而言，處理器100於產生特徵影像32後，可進一步基於神經網路資料模型103來對所產生的特徵影像32執行放大處理以獲得高解析特徵影像32’。藉此，由於高解析特徵影像32’與放大影像33具有相同的影像尺寸，本發明可進一步提升後續組合高解析特徵影像32’與放大影像33的速度。

步驟S41：處理器100基於神經網路資料模型103的放大層1031對區域影像31執行放大處理以獲得放大影像33。放大影像33的影像尺寸大於區域影像。

舉例來說，若放大倍數為100倍(水平方向10倍，垂直方向10倍)，區域影像31的影像尺寸為2x2，則放大影像33的影像尺寸可為20x20(像素)。

於一實施例中，處理器100是於區域影像31中指定位置插補多個像素以獲得前述放大影像33。前述指定位置可為系統預設(如隔行插補)或由神經網路資料模型103動態指定。並且，所插補的像素的像素值可暫時設定為指定顏色(如黑色、白色或與周圍像素的相同顏色)或不設定顏色。

值得一提的是，由於區域影像31並沒有足夠的細節資訊，當直接將區域影像31放大為放大影像33時，所產生放大影像33在視覺上會有明顯畫質降低現象(如條紋雜訊或鋸齒狀雜訊)。

步驟S42：處理器100基於神經網路資料模型103的組合層1032來組合高解析特徵影像32’及放大影像33為高解析區域影像34。高解析區域影像34的影像尺寸是與高解析特徵影像32’及放大影像33相同，且解析度是大於區域影像31

於一實施例中，若於步驟S40中未對特徵影像32執行放大處理(即未產生高解析特徵影像32’)，則於步驟S42中處理器100可被設定為基於神經網路資料模型103來組合特徵影像32及放大影像33為高解析區域影像34。高解析區域影像34的影像尺寸是與放大影像33相同，且解析度是大於區域影像31與特徵影像32。

於一實施例中，處理器100是依據特徵影像32(或高解析特徵影像32’)及神經網路資料模型103來計算並修改步驟S42中所插補的各像素的像素值來產生高解析區域影像34。

值得一提的是，本發明經由神經網路資料模型103來預測所插補的各像素的像素值，可使所產生的高解析區域影像34(及高解析特徵影像32’)具有足夠的細節資訊，而不會視覺上發生如放大影像33的明顯畫質降低現象(如條紋雜訊或鋸齒狀雜訊)。

步驟S43：處理器100判斷上採樣處理是否完成，如所產生的高解析區域影像是否達到指定的放大倍數。

若判斷上採樣處理未完成，，處理器100再次執行步驟S40至步驟S42以依據當前的高解析區域影像34產生解析度更高的高解析區域影像。

舉例來說，處理器100可基於萃取層1030分析高解析區域影像34以獲得新的特徵影像(步驟S40)並進行放大以獲得新的高解析特徵影像，基於放大層1031於高解析區域影像34中插補多個像素以獲得新的放大影像(步驟S41)，並基於組合層1032來組合新的高解析特徵影像及新的放大影像為新的解析度更高的高解析區域影像(步驟S42)，以此類推，直到所產生的高解析區域影像的解析度為區域影像的解析度的指定的放大倍數。

藉此，本發明可依使用者所指定的放大倍數產生對應的高解析區域影像。

若判斷上採樣處理完成，則處理器100執行步驟S13。具體而言，於本實施例的步驟S13中，處理器100將概略位置(如區域影像31於廣域影像30中的座標範圍，即座標(0,2)、(2,2)、(0,4)及(2,4)所圍成範圍)映射至高解析區域影像34。

更進一步地，處理器100是將概略位置乘以高解析區域影像34的放大倍數(如水平方向10倍，垂直方向10倍)以獲得高解析區域影像34的座標範圍(即座標(0,0)、(20,0)、(0,20)及(20,20)所圍成範圍)。

值得一提的是，前述高解析區域影像34的座標範圍在幾何意義上可理解為高解析區域影像34於虛擬的高解析廣域影像(如圖3所示虛線的範圍)中的位置。前述虛擬的高解析廣域影像是具有相同放大倍數(如水平方向10倍，垂直方向10倍)的廣域影像，且其四個端點座標為(0,0)、(40,0)、(0,40)及(40,40)。

藉此，本發明不需實際產生高解析度的廣域影像，亦可獲得高解析區域影像34於高解析廣域影像中的位置資訊(如座標值)

續請一併參閱圖4、圖5及圖9，圖4為本發明一實施態樣的上採樣處理的示意圖，圖9為本發明第五實施例的上採樣處理的流程圖。

如圖4所示，本實施例進一步提出一種基於人工神經網路技術(如深度殘差學習網路，Deep Residual Network)所訓練出來的神經網路資料模型103，來以不同手段執行上採樣功能。不同於圖2及圖8所示的神經網路資料模型103是用來直接產生高解析區域影像，本實施例的神經網路資料模型103是產生高解析殘差資料，再組合高解析殘差資料與解析度較低的區域影像為高解析區域影像。

相較於圖5所示的影像定位方法，本實施例的影像定位方法的步驟S12更包括用以實現上採樣功能的以下步驟。

步驟S50：電腦設備10的處理器100於取得區域影像40後，基於神經網路資料模型103產生高解析殘差資料41。

於一實施例中，前述高解析殘差資料41包括多個殘差，各殘差是表示與實際值與估計值之間的差，為基於學習的預測值。

於一實施例中，前述高解析殘差資料41是與欲產生的高解析區域影像具有相同尺寸，如高解析殘差資料41的資料筆數與高解析區域影像的像素數量相同。

步驟S51：處理器100基於神經網路資料模型103組合區域影像40及高解析殘差資料41為高解析區域影像42。此高解析區域影像42是與圖3所示的高解析區域影像34具有相同或相似的特性，於此不再贅述。

值得一提的是，由於深度殘差學習網路具有網路規模較小的優點，可大幅減少運算量，進而減少執行時間。

藉此，本發明可有效提升上採樣處理的執行效率，並產生高解析區域影像。

續請一併參閱圖5及圖10，圖10為本發明第六實施例的優化影像處理的流程圖。相較於圖5所示的影像定位方法，本實施例的影像定位方法於步驟S11與步驟S13之間(如執行上採樣處理的過程中或於上採樣處理執行完成後)更包括用以實現優化影像功能的以下步驟。

步驟S60：處理器100基於神經網路資料模型103對高解析區域影像執行亮度調整處理以調整高解析區域影像的亮度分佈。

於一實施例中，本發明是於訓練神經網路資料模型103的過程中加入對應相同視野的亮度分佈異常(如過量或過暗)的範本影像與亮度分佈正常(如亮度適中)的範本影像來進行訓練。藉此，所訓練出的神經網路資料模型103可同時執行上採樣處理與亮度調整處理，即於計算所插補的像素之像素值時會自動扣除亮度偏差所帶來的影響。

步驟S61：電腦設備10的處理器100基於神經網路資料模型103對高解析區域影像執行降雜訊處理以降低高解析區域影像的雜訊比例。

於一實施例中，本發明是於訓練神經網路資料模型103的過程中加入對應相同視野的包含雜訊的範本影像與未包含雜訊(或雜訊極少)的範本影像來進行訓練。藉此，所訓練出的神經網路資料模型103可同時執行上採樣處理與降雜訊處理，即於計算所插補的像素之像素值時會自動扣除雜訊所帶來的影響。

值得一提的是，步驟S60與步驟S61之間並沒有絕對執行順序關係，雖於本實施例中是先執行步驟S60再執行步驟S61，但亦可先執行步驟S61再執行步驟S60，或者同時執行步驟S60與步驟S61，不加以限定。

藉此，本發明可有效提升所產生的高解析區域影像的畫質。

續請一併參閱圖3、圖5及圖11，圖11為本發明第七實施例的決定精確位置的流程圖。相較於圖5所示的影像定位方法，本實施例的影像定位方法的步驟S14更包括用以實現決定精確位置功能的以下步驟。

步驟S70：電腦設備10的處理器100對高解析區域影像34執行二值化處理以獲得半色調的高解析區域影像34(如黑白影像)。

步驟S71：處理器100於半色調的高解析區域影像34中辨識目標，並依據目標於高解析區域影像34中的位置及概略位置與高解析區域影像之間的映射關係決定目標的精確位置。前述精確位置是對應目標於高解析度廣域影像中的位置。

於一實施例中，如圖3所示，處理器100可依據高解析區域影像所對應的座標範圍(即座標(0,0)、(20,0)、(0,20)及(20,20)所圍成範圍)及目標於高解析區域影像中的位置決定目標的精確位置，如目標的中心所在的像素位置，即座標(16,10)。

藉此，本發明可獲得目標的精度更高的精確位置。

續請一併參閱圖5及圖12，圖12為本發明第八實施例的訓練處理的流程。相較於圖5所示的影像定位方法，本實施例的影像定位方法的步驟S14更包括用以實現訓練功能的以下步驟。

步驟S80：電腦設備10的處理器100載入多組範本影像。各組範本影像可對應相同視野或不同視野，不加以限定。

於一實施例中，各組範本影像可包括相同視野的低解析範本影像及高解析範本影像。

步驟S81：處理器100對所載入的多組範本影像執行亮度差異化處理，來使至少兩組範本影像是相同視野但不同亮度分佈。藉此增加範本影像之間的亮度差異而可提升所訓練出的神經網路資料模型103的亮度優化能力。

於一實施例中，處理器100還可對所載入的多組範本影像執行添加雜訊處理，來使至少兩組範本影像是相同視野但不同雜訊程度(如一組範本影像具有雜訊，另一組範本影像沒有或僅有極少的雜訊)。藉此增加範本影像之間的雜訊程度而可提升所訓練出的神經網路資料模型103的抗雜訊能力。

步驟S82：處理器100對多組範本影像執行訓練處理。

於一實施例中，處理器100可先將各範本影像切割為尺寸較小的範本子影像，再以尺寸較小的範本子影像執行訓練處理。藉此可分散運算量，進而降低運算資源與儲存資源的需求量。

具體而言，處理器100可先將各低解析範本影像切割為多個低解析範本子影像，將各高解析範本影像切割為多個高解析範本子影像，再對多個低解析範本子影像及多個高解析範本子影像執行訓練處理。前述多個低解析範本子影像的數量及前述多個高解析範本子影像的數量是相同的。並且，各低解析範本子影像是與對應的高解析範本影像具有相同視野。

步驟S83：處理器100依據訓練結果生成神經網路資料模型103，並儲存於儲存裝置101。

藉此，本發明可有效產生生成神經網路資料模型103。

以上所述僅為本發明的較佳具體實例，非因此即侷限本發明的專利範圍，故舉凡運用本發明內容所為的等效變化，均同理皆包含於本發明的範圍內，合予陳明。

10:電腦設備

100:處理器

101:儲存裝置

102:電腦程式

103:神經網路資料模型

104:通訊裝置

105:人機介面

11:影像擷取設備

12:自動化設備

20:區域影像

1030:萃取層

1031:放大層

1032:組合層

21:高解析區域影像

30:廣域影像

31:區域影像

32:特徵影像

32’:高解析特徵影像

33:放大影像

34:高解析區域影像

40:區域影像

41:高解析殘差資料

42:高解析區域影像

Z:區域

S10-S14:影像定位步驟

S20:自動化處理步驟

S30-S34:決定概略位置步驟

S40-S43:第一上採樣步驟

S50-S51:第二上採樣步驟

S60-S61:優化影像步驟

S70-S71:決定精確位置步驟

S80-S83:訓練步驟

本文的圖式僅僅用於說明性目的，圖式並不旨在限制本發明的公開範圍。

圖1為本發明一實施態樣的基於上採樣的影像定位系統的架構圖。

圖2為本發明一實施態樣的神經網路資料模型的架構圖。

圖3為本發明一實施態樣的影像定位處理的示意圖。

圖4為本發明一實施態樣的上採樣處理的示意圖。

圖5為本發明第一實施例的影像定位方法的流程圖。

圖6為本發明第二實施例的自動化處理的流程圖。

圖7為本發明第三實施例的決定概略位置的流程圖。

圖8為本發明第四實施例的上採樣處理的流程圖。

圖9為本發明第五實施例的上採樣處理的流程圖。

圖10為本發明第六實施例的優化影像處理的流程圖。

圖11為本發明第七實施例的決定精確位置的流程圖。

圖12為本發明第八實施例的訓練處理的流程圖。

S10-S14:影像定位步驟

Claims (17)

1. 一種基於上採樣的影像定位方法，包括以下步驟：  a) 於一廣域影像中擷取涵蓋一目標的一區域影像，並決定該目標的一概略位置；  b) 基於一神經網路資料模型對該區域影像執行上採樣處理以獲得一高解析區域影像，其中該高解析區域影像的解析度大於該區域影像的解析度；  c) 映射該概略位置至該高解析區域影像；及  d) 分析該高解析區域影像來決定該目標的一精確位置，其中該精確位置的精度大於該概略位置的精度。
2. 如請求項1所述的基於上採樣的影像定位方法，其中於該步驟a)之前更包括一步驟e) 控制一影像擷取設備對該目標進行拍攝以產生該廣域影像。
3. 如請求項2所述的基於上採樣的影像定位方法，其中該目標為印刷電路板上的指定元件或指定結構的影像；  其中，該基於上採樣的影像定位方法於該步驟d)之後更包括一步驟f) 控制一自動化設備於該印刷電路板的該精確位置執行裝設處理。
4. 如請求項1所述的基於上採樣的影像定位方法，其中該步驟a)包括以下步驟：  a1) 比對是否該廣域影像的任一該區域影像符合一指定影像或一指定圖形；  a2) 於任一該區域影像符合該指定影像或該指定圖形時，選擇符合的該區域影像；及  a3) 依據所選擇的該區域影像於該廣域影像中的位置設定該概略位置。
5. 如請求項1所述的基於上採樣的影像定位方法，其中該步驟b)包括以下步驟：  b1) 基於該神經網路資料模型的一萃取層分析該區域影像以獲得一特徵影像；  b2) 基於該神經網路資料模型的一放大層於該區域影像中插補多個像素以獲得一放大影像；及  b3) 基於該神經網路資料模型的一組合層來組合該特徵影像及該放大影像為該高解析區域影像。
6. 如請求項5所述的基於上採樣的影像定位方法，其中該步驟b1)是基於該萃取層分析該區域影像以獲得該特徵影像，並基於該神經網路資料模型對該特徵影像執行放大處理以獲得一高解析特徵影像；該步驟b3)是組合該高解析特徵影像及該放大影像為該高解析區域影像。
7. 如請求項6所述的基於上採樣的影像定位方法，其中該步驟b)更包括以下步驟：  b4) 基於該神經網路資料模型的該萃取層分析該高解析區域影像以獲得新的該特徵影像，並基於該神經網路資料模型對新的該特徵影像執行該放大處理以獲得新的高解析特徵影像；  b5) 基於該神經網路資料模型的該放大層於該高解析區域影像中插補多個像素以獲得新的該放大影像；及  b6) 基於該神經網路資料模型的該組合層來組合新的該高解析特徵影像及新的該放大影像為新的該高解析區域影像。
8. 如請求項5所述的基於上採樣的影像定位方法，其中該神經網路資料模型的該萃取層、該放大層及該組合層是由卷積神經網路建構而成。
9. 如請求項1所述的基於上採樣的影像定位方法，其中該步驟b)包括以下步驟：  b7) 基於該神經網路資料模型產生一高解析殘差資料；及  b8) 基於該神經網路資料模型組合該區域影像及該高解析殘差資料為該高解析區域影像。
10. 如請求項1所述的基於上採樣的影像定位方法，其中於該步驟c)之前更包括以下步驟：  g1) 基於該神經網路資料模型對該高解析區域影像執行降雜訊處理；及  g2) 基於該神經網路資料模型對該高解析區域影像執行亮度調整處理。
11. 如請求項1所述的基於上採樣的影像定位方法，其中該概略位置為該區域影像於該廣域影像中的座標範圍，該高解析區域影像的解析度為該區域影像的解析度的一放大倍數，該步驟c)是將該概略位置乘以該放大倍數以獲得該高解析區域影像所對應的座標範圍。
12. 如請求項11所述的基於上採樣的影像定位方法，其中該步驟d)是依據該高解析區域影像所對應的該座標範圍及該目標於該高解析區域影像中的位置決定該目標的該精確位置。
13. 如請求項1所述的基於上採樣的影像定位方法，其中該步驟d)包括以下步驟：  d1) 對該高解析區域影像執行二值化處理以獲得半色調的該高解析區域影像；及  d2) 於半色調的該高解析區域影像中辨識該目標，並依據該目標於該高解析區域影像中的位置及該概略位置與該高解析區域影像之間的一映射關係決定該目標的該精確位置，其中該精確位置是對應該目標於高解析度的該廣域影像中的位置。
14. 如請求項1所述的基於上採樣的影像定位方法，其中於該步驟b)之前更包括步驟：  h1) 載入多組範本影像，其中各組該範本影像包括相同視野的一低解析範本影像及一高解析範本影像；及  h2) 對該多組範本影像執行訓練處理以生成該神經網路資料模型。
15. 如請求項14所述的基於上採樣的影像定位方法，其中至少兩組該範本影像是相同視野但不同亮度分佈。
16. 如請求項14所述的基於上採樣的影像定位方法，其中該步驟h2)是將各該低解析範本影像切割為多個低解析範本子影像，將各該高解析範本影像切割為多個高解析範本子影像，再對該多個低解析範本子影像及該多個高解析範本子影像執行訓練處理，其中該多個低解析範本子影像的數量及該多個高解析範本子影像的數量相同，各該低解析範本子影像是與對應的該高解析範本影像相同視野。
17. 一種基於上採樣的影像定位系統，包括：  一影像擷取設備，用以對一目標進行拍攝以產生一廣域影像；  一儲存裝置，用以儲存一神經網路資料模型；以及  一處理器，電性連接該影像處理設備與該儲存裝置，該處理器被設定來於該廣域影像中擷取涵蓋該目標的一區域影像，並決定該目標的一概略位置，基於該神經網路資料模型對該區域影像執行上採樣處理以獲得一高解析區域影像，映射該概略位置至該高解析區域影像，並分析該高解析區域影像來決定該目標的一精確位置，其中該高解析區域影像的解析度大於該區域影像的解析度，該精確位置的精度大於該概略位置的精度。

Images