TWI747114B - 圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體 - Google Patents

圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI747114B
TWI747114B TW108147317A TW108147317A TWI747114B TW I747114 B TWI747114 B TW I747114B TW 108147317 A TW108147317 A TW 108147317A TW 108147317 A TW108147317 A TW 108147317A TW I747114 B TWI747114 B TW I747114B
Authority
TW
Taiwan
Prior art keywords
image
feature
neighbor
training
node
Prior art date
Application number
TW108147317A
Other languages
English (en)
Other versions
TW202109312A (zh
Inventor
李歲纏
陳大鵬
趙瑞
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202109312A publication Critical patent/TW202109312A/zh
Application granted granted Critical
Publication of TWI747114B publication Critical patent/TWI747114B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本公開實施例提供一種圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體，其中，所述方法包括：獲取第一關聯圖，所述第一關聯圖中包括主節點以及至少一個鄰居節點，所述主節點的節點值表示目標圖像的圖像特徵，所述鄰居節點的節點值表示鄰居圖像的圖像特徵，所述鄰居圖像是與所述目標圖像相似的圖像；將所述第一關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，以得到更新後的目標圖像的圖像特徵。

Description

圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體
本公開涉及電腦視覺技術，具體涉及一種圖像特徵提取及網路的訓練方法、裝置和設備。 [優先權訊息] 本專利申請要求於2019年8月23日提交的、申請號為201910782629.9、發明名稱為“圖像特徵提取及網路的訓練方法、裝置和設備”的中國專利申請的優先權，該申請的全文以引用的方式併入本文中。
圖像檢索按照描述圖像內容方式的不同，可以包括基於文本的圖像檢索和基於內容的圖像檢索(CBIR, Content Based Image Retrieval)。其中，基於內容的圖像檢索技術在電子商務、皮革布料、版權保護、醫療診斷、公共安全、街景地圖等工業領域具有廣闊的應用前景。
有鑒於此，本公開至少提供一種圖像特徵提取及網路的訓練方法、裝置和設備。
第一方面，提供一種圖像特徵的提取方法，所述方法包括：
獲取第一關聯圖，所述第一關聯圖中包括主節點以及至少一個鄰居節點，所述主節點的節點值表示目標圖像的圖像特徵，所述鄰居節點的節點值表示鄰居圖像的圖像特徵，所述鄰居圖像是與所述目標圖像相似的圖像；
將所述第一關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，以得到更新後的目標圖像的圖像特徵。
在一些實施例中，獲取第一關聯圖之前，所述方法還包括：根據所述目標圖像，由圖像庫中獲取與所述目標圖像相似的鄰居圖像。
在一些實施例中，根據所述目標圖像，由圖像庫中獲取與所述目標圖像相似的鄰居圖像，包括：通過特徵提取網路分別獲取所述目標圖像的圖像特徵和圖像庫中的各個庫圖像的圖像特徵；基於所述目標圖像的圖像特徵和圖像庫中的各個所述庫圖像的圖像特徵之間的特徵相似度，從所述圖像庫中確定與所述目標圖像相似的鄰居圖像。
在一些實施例中，基於所述目標圖像的圖像特徵和圖像庫中的各個庫圖像的圖像特徵之間的特徵相似度，確定與所述目標圖像相似的鄰居圖像，包括：將所述目標圖像與各個所述庫圖像之間的特徵相似度，按照特徵相似度的數值由大到小的順序進行排序；選取前預設位數的特徵相似度對應的庫圖像，作為與所述目標圖像相似的鄰居圖像。
在一些實施例中，基於所述目標圖像的圖像特徵和圖像庫中的各個所述庫圖像的圖像特徵之間的特徵相似度，從所述圖像庫中確定與所述目標圖像相似的鄰居圖像，包括：根據所述目標圖像的圖像特徵和各個所述庫圖像的圖像特徵之間的特徵相似度，由所述各個所述庫圖像中獲得與所述目標圖像相似的第一圖像；根據所述第一圖像的圖像特徵與各個所述庫圖像的圖像特徵之間的特徵相似度，由各個所述庫圖像中獲得與所述第一圖像相似的第二圖像；將所述第一圖像和所述第二圖像，作為所述目標圖像的鄰居圖像。
在一些實施例中，所述特徵更新網路的數量為一個，或者依次堆積的N個，其中N是大於1的整數；當所述特徵更新網路的數量為N個時：其中第i特徵更新網路的輸入，是第i-1特徵更新網路輸出的更新後的第一關聯圖，其中i是大於1且小於或等於N的整數。
在一些實施例中，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，得到更新後的目標圖像的圖像特徵，包括：確定所述第一關聯圖中的所述主節點和各所述鄰居節點之間的權重；根據所述權重將各所述鄰居節點的圖像特徵合併，得到所述主節點的加權特徵；根據所述主節點的圖像特徵和所述加權特徵，得到所述更新後的目標圖像的圖像特徵。
在一些實施例中，根據所述權重將各所述鄰居節點的圖像特徵合併，得到所述主節點的加權特徵，包括：根據所述權重，將各所述鄰居節點的圖像特徵進行加權求和，得到所述主節點的加權特徵。
在一些實施例中，根據所述主節點的圖像特徵和所述加權特徵，得到所述更新後的目標圖像的圖像特徵，包括：將主節點的圖像特徵與所述加權特徵拼接；對拼接後的特徵進行非線性映射，得到更新後的目標圖像的圖像特徵。
在一些實施例中，確定所述第一關聯圖中的所述主節點和所述鄰居節點之間的權重，包括：對所述主節點和所述鄰居節點進行線性映射；對線性映射後的所述主節點和所述鄰居節點確定內積；根據非線性處理後的所述內積，確定所述主節點與所述鄰居節點之間的權重。
在一些實施例中，所述目標圖像包括：待檢索的查詢圖像以及圖像庫中各個庫圖像；在得到所述更新後的所述目標圖像的圖像特徵之後，所述方法還包括：基於更新後的目標圖像的圖像特徵和所述各個庫圖像的圖像特徵之間的特徵相似度，由所述庫圖像中獲得所述目標圖像的相似圖像作為檢索結果。
第二方面，提供一種特徵更新網路的訓練方法，所述特徵更新網路用於更新圖像的圖像特徵；所述方法包括：
獲取第二關聯圖，所述第二關聯圖中包括訓練主節點以及至少一個訓練鄰居節點，所述訓練主節點的節點值表示樣本圖像的圖像特徵，所述訓練鄰居節點的節點值表示訓練鄰居圖像的圖像特徵，所述訓練鄰居圖像為與所述樣本圖像相似的圖像；
將所述第二關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第二關聯圖中的訓練鄰居節點的節點值更新所述主節點的節點值，得到更新後的樣本圖像的圖像特徵；
根據更新後的樣本圖像的圖像特徵，得到所述樣本圖像的預測訊息；
根據所述預測訊息調整所述特徵更新網路的網路參數。
在一些實施例中，獲取第二關聯圖之前，所述方法還包括：根據所述樣本圖像，由訓練圖像庫中獲取與所述樣本圖像相似的所述訓練鄰居圖像。
在一些實施例中，根據所述樣本圖像，由訓練圖像庫中獲取與所述樣本圖像相似的所述訓練鄰居圖像之前，所述方法還包括：通過特徵提取網路，提取訓練圖像的圖像特徵；根據所述訓練圖像的圖像特徵，獲得所述訓練圖像的預測訊息；基於所述訓練圖像的預測訊息和標簽訊息，調整所述特徵提取網路的網路參數。在一些實施例中，根據所述樣本圖像，由訓練圖像庫中獲取與所述樣本圖像相似的所述訓練鄰居圖像，包括：通過所述特徵提取網路分別獲取所述樣本圖像的圖像特徵和訓練圖像庫中的各個庫圖像的圖像特徵；以及基於所述樣本圖像的圖像特徵和各個庫圖像的圖像特徵之間的特徵相似度，確定與所述樣本圖像相似的所述訓練鄰居圖像。
第三方面，提供一種圖像特徵的提取裝置，所述裝置包括：
圖獲取模組，用於獲取第一關聯圖，所述第一關聯圖中包括主節點以及至少一個鄰居節點，所述主節點的節點值表示目標圖像的圖像特徵，所述鄰居節點的節點值表示鄰居圖像的圖像特徵，所述鄰居圖像是與目標圖像相似的圖像；
特徵更新模組，用於將所述第一關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，以得到更新後的目標圖像的圖像特徵。
在一些實施例中，所述裝置還包括：鄰居獲取模組，用於在所述圖獲取模組獲取第一關聯圖之前，根據所述目標圖像，由圖像庫中獲取與所述目標圖像相似的鄰居圖像。
在一些實施例中，所述鄰居獲取模組，用於：通過特徵提取網路分別獲取所述目標圖像的圖像特徵和圖像庫中的各個庫圖像的圖像特徵；基於所述目標圖像的圖像特徵和圖像庫中的各個所述庫圖像的圖像特徵之間的特徵相似度，從所述圖像庫中確定與所述目標圖像相似的鄰居圖像。
在一些實施例中，所述鄰居獲取模組還用於：將目標圖像與各個所述庫圖像之間的特徵相似度，按照特徵相似度的數值由大到小的順序進行排序；選取前預設位數的特徵相似度對應的庫圖像，作為所述目標圖像相似的鄰居圖像。
在一些實施例中，所述鄰居獲取模組還用於：根據所述目標圖像的圖像特徵和各個所述庫圖像的圖像特徵之間的特徵相似度，由所述各個所述庫圖像中獲得與所述目標圖像相似的第一圖像；根據第一圖像的圖像特徵與各個所述庫圖像的圖像特徵之間的特徵相似度，由各個所述庫圖像中獲得與所述第一圖像相似的第二圖像；將所述第一圖像和所述第二圖像，作為所述目標圖像的鄰居圖像。
在一些實施例中，所述特徵更新網路的數量為一個，或者依次堆積的N個，其中N是大於1的整數；當所述特徵更新網路的數量為N個時：其中第i特徵更新網路的輸入，是第i-1特徵更新網路輸出的更新後的第一關聯圖，其中i是大於1且小於或等於N的整數。
在一些實施例中，所述特徵更新模組，用於：確定所述第一關聯圖中的所述主節點和各所述鄰居節點之間的權重；根據所述權重將各所述鄰居節點的圖像特徵合併，得到所述主節點的加權特徵；根據所述主節點的圖像特徵和所述加權特徵，得到所述更新後的目標圖像的圖像特徵。
在一些實施例中，所述特徵更新模組還用於：根據所述權重，將各所述鄰居節點的圖像特徵進行加權求和，得到所述主節點的加權特徵。
在一些實施例中，所述特徵更新模組還用於：將所述主節點的圖像特徵與所述加權特徵拼接；對拼接後的特徵進行非線性映射，得到更新後的目標圖像的圖像特徵。
在一些實施例中，所述特徵更新模組還用於：對所述主節點和所述鄰居節點進行線性映射；對線性映射後的所述主節點和所述鄰居節點確定內積；根據非線性處理後的所述內積，確定所述主節點與所述鄰居節點之間的權重。
第四方面，提供一種特徵更新網路的訓練裝置，所述裝置包括：
關聯圖獲得模組，用於獲取第二關聯圖，所述第二關聯圖中包括訓練主節點以及至少一個訓練鄰居節點，所述訓練主節點的節點值表示樣本圖像的圖像特徵，所述訓練鄰居節點的節點值表示訓練鄰居圖像的圖像特徵，所述訓練鄰居圖像為與所述樣本圖像相似的圖像；
更新處理模組，用於將所述第二關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第二關聯圖中的訓練鄰居節點的節點值更新所述主節點的節點值，得到更新後的樣本圖像的圖像特徵；
參數調整模組，用於根據更新後的樣本圖像的圖像特徵，得到所述樣本圖像的預測訊息；根據所述預測訊息調整所述特徵更新網路的網路參數。
在一些實施例中，所述裝置還包括：圖像獲取模組，用於在所述關聯圖獲得模組獲取第二關聯圖之前，根據所述樣本圖像，由訓練圖像庫中獲取與所述樣本圖像相似的所述訓練鄰居圖像。
在一些實施例中，所述裝置還包括：預訓練模組，用於通過特徵提取網路，提取訓練圖像的圖像特徵；根據所述訓練圖像的圖像特徵，獲得所述訓練圖像的預測訊息；基於所述訓練圖像的預測訊息和標簽訊息，調整所述特徵提取網路的網路參數；所述訓練圖像是用於訓練所述特徵提取網路所使用的圖像，所述樣本圖像是特徵提取網路訓練完成之後用於訓練所述特徵更新網路的圖像。在一些實施例中，所述圖像獲取模組，用於：通過所述特徵提取網路分別獲取所述樣本圖像的圖像特徵和訓練圖像庫中的各個庫圖像的圖像特徵；以及基於所述樣本圖像的圖像特徵和各個庫圖像的圖像特徵之間的特徵相似度，確定與所述樣本圖像相似的所述訓練鄰居圖像。
第五方面，提供一種電子設備，所述設備包括儲存器、處理器，所述儲存器用於儲存可在處理器上運行的電腦指令，所述處理器用於在執行所述電腦指令時實現本公開任一實施例所述的圖像特徵的提取方法，或者實現本公開任一實施例所述的特徵更新網路的訓練方法。
第六方面，提供一種電腦可讀儲存媒體，其上儲存有電腦程式，所述程式被處理器執行時實現本公開任一實施例所述的圖像特徵的提取方法，或者實現本公開任一實施例所述的特徵更新網路的訓練方法。
第七方面，提供一種電腦程式，所述電腦程式用於使處理器執行本公開任一實施例所述的圖像特徵的提取方法，或者本公開任一實施例所述的特徵更新網路的訓練方法。
為了使本技術領域的人員更好地理解本公開一個或多個實施例中的技術方案，下面將結合本公開一個或多個實施例中的附圖，對本公開一個或多個實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。基於本公開一個或多個實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本公開保護的範圍。
圖像檢索按照描述圖像內容方式的不同，可以包括基於文本的圖像檢索和基於內容的圖像檢索。在一實施例中，在基於內容進行圖像檢索時，可以利用電腦提取圖像特徵，建立圖像特徵矢量描述並存入圖像特徵庫。當用戶輸入一張查詢圖像時，可以用相同的特徵提取方法提取查詢圖像的圖像特徵得到查詢向量，然後在相似性度量準則下計算查詢向量到圖像特徵庫中各個圖像特徵的相似性大小，最後按相似性大小進行排序並順序輸出對應的圖片。在該實施例中，可以發現在檢索目標對象時，容易受拍攝環境的影響，比如，光照變化、尺度變化、視角變化、遮擋以及背景的雜亂均可能影響檢索結果。
有鑒於此，為提高圖像檢索的準確性，本公開實施例提供了一種圖像特徵的提取方法，圖1是本公開至少一個實施例提供的圖像特徵的提取方法，如圖1所示，該方法可以包括如下處理：
在步驟100中，獲取第一關聯圖，所述第一關聯圖中包括主節點以及至少一個鄰居節點，所述主節點的節點值表示目標圖像的圖像特徵，所述鄰居節點的節點值表示鄰居圖像的圖像特徵，所述鄰居圖像是與目標圖像相似的圖像。
本步驟中，所述目標圖像，是待提取圖像特徵的圖像，該圖像可以是不同的應用場景中的圖像，示例性的，可以是圖像檢索應用中的待檢索圖像，下述的圖像庫可以是圖像檢索應用中的檢索圖像庫。
例如，鄰居圖像的獲得，可以是在獲取第一關聯圖之前，根據目標圖像，由圖像庫中獲取與所述目標圖像相似的鄰居圖像。示例性的，可以根據圖像特徵相似度量準則確定鄰居圖像，比如，通過特徵提取網路分別獲取所述目標圖像的圖像特徵和圖像庫中的各個庫圖像的圖像特徵，基於所述目標圖像的圖像特徵和圖像庫中的各個所述庫圖像的圖像特徵之間的特徵相似度，從所述圖像庫中確定與所述目標圖像相似的鄰居圖像。
在一個實施例中，可以將所述目標圖像與各個所述庫圖像之間的特徵相似度，按照特徵相似度的數值由大到小的順序進行排序，選取前N位的特徵相似度對應的庫圖像，作為所述目標圖像相似的鄰居圖像。該N是預設位數，比如前10位。
在另一個實施例中，還可以先根據圖像特徵之間的相似度獲取與目標圖像相似的第一圖像，再獲取與第一圖像相似的第二圖像，並將該第一圖像和第二圖像都作為目標圖像的鄰居圖像。
在步驟102中，將所述第一關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，得到更新後的目標圖像的圖像特徵。
例如，特徵更新網路可以是基於注意力的圖卷積模組（Attention-based Graph convolution，簡稱：AGCN），也可以是其他模組，不做限制。
以特徵更新網路是圖卷積模組為例，本步驟中的圖卷積模組可以根據鄰居節點的節點值更新主節點的節點值，比如，可以確定第一關聯圖中的所述主節點和各所述鄰居節點之間的權重，根據該權重將各所述鄰居節點的圖像特徵合併，得到所述主節點的加權特徵，根據所述主節點的圖像特徵和所述加權特徵，得到所述更新後的目標圖像的圖像特徵。後續的圖2所示的流程示例性的描述了圖卷積模組的更新主節點的節點值的具體過程。
實際實施中，所述圖卷積模組的數量可以是一個，或者，依次堆積的多個。示例性的，當圖卷積模組的數量是兩個時，第一關聯圖輸入第一個圖卷積模組，該第一個圖卷積模組根據各個鄰居節點的圖像特徵更新主節點的圖像特徵，該第一個圖卷積模組輸出的第一關聯圖中，主節點的圖像特徵已經更新，是更新後的第一關聯圖。該更新的第一關聯圖繼續輸入第二個圖卷積模組，由該第二個圖卷積模組繼續根據各個鄰居節點的圖像特徵更新主節點的圖像特徵，輸出再次更新後的第一關聯圖，其中的主節點的圖像特徵也已經再次更新。
本實施例中的第一關聯圖中包括多個節點（如，主節點、鄰居節點），其中每個節點的節點值表示該節點所代表的圖像的圖像特徵。並且，第一關聯圖中的每個節點都可以作為主節點，通過本實施例的圖1所述的方法來更新該節點對應的圖像的圖像特徵，比如，當該節點作為主節點時，獲取以該節點作為主節點的第一關聯圖，並將該第一關聯圖輸入特徵更新網路進行該節點的圖像特徵的更新。
本實施例的圖像特徵的提取方法，通過使用本公開實施例的特徵更新網路更新提取圖像特徵，由於該特徵更新網路根據主節點的鄰居節點的圖像特徵更新主節點的圖像特徵，使得更新後的目標圖像的圖像特徵能更準確地表達目標圖像，從而在圖像識別過程中更具魯棒性和判別能力。
圖2示例了一實施例中的特徵更新網路的處理流程，該流程描述特徵更新網路如何更新輸入到該網路的圖像的圖像特徵。如圖2所示，以該特徵更新網路是圖卷積模組為例，該特徵更新網路的處理流程可以包括如下步驟200-204。
在步驟200中，根據主節點和鄰居節點的圖像特徵，確定主節點和各鄰居節點之間權重。
本步驟中，主節點可以是網路應用階段的目標圖像，鄰居節點可以是該目標圖像的鄰居圖像。
例如，可以按照如下方式確定主節點與鄰居節點之間的權重：參見公式（1）所示，
Figure 02_image002
=
Figure 02_image004
……………..（1）
首先，可以對主節點的圖像特徵zu 和鄰居節點的圖像特徵zvi 進行線性變換，其中，vi表示主節點的其中一個鄰居節點，k表示鄰居節點的數量。Wi 和Wu 是線性變換的係數。
接著，可以對線性變換後的主節點和鄰居節點的圖像特徵確定內積。其中，可以通過函數F進行內積計算。然後，通過ReLU（Rectified Linear Unit）實現非線性變換，最後進行softmax操作後得到權重。如公式（1）所示，權重ai 是主節點u與鄰居節點vi之間的權重。
此外，本步驟中的主節點和鄰居節點之間權重的計算，不局限於上述的公式（1），例如，還可以是將主節點和鄰居節點之間的圖像特徵的相似度的取值，作為兩者之間的權重。
在步驟202中，根據所述權重，對所述鄰居節點的圖像特徵加權求和，得到所述主節點的加權特徵。
例如，可以對主節點的每個鄰居節點的圖像特徵進行非線性映射，然後利用步驟200中得到的權重，對非線性映射後的各個鄰居節點的圖像特徵進行加權求和，得到的特徵可以稱為加權特徵。如下公式（2）所示： nu
Figure 02_image006
……………..（2）
在公式（2）中，nu 即為加權特徵，zvi 是鄰居節點的圖像特徵，ai 是步驟200計算得到的所述權重。Q和q是非線性映射的係數。
在步驟204中，根據所述主節點的圖像特徵和所述加權特徵，得到更新後的目標圖像的更新特徵。
本步驟中，可以將最初得到的關聯圖中的主節點的圖像特徵與加權特徵拼接（contact）在一起，然後進行非線性映射，如下的公式（3）所示：
Figure 02_image008
=
Figure 02_image010
其中，zu 是關聯圖中的主節點的圖像特徵，nu 即為加權特徵，通過ReLU進行非線性映射，W和w是非線性映射的係數。
最後再對公式（3）得到的特徵進行規範化（normalization），如下公式（4）所示，得到最終的更新後的主節點的圖像特徵
Figure 02_image008
。
Figure 02_image008
=
Figure 02_image012
通過上述的步驟200至204，第一關聯圖中的主節點的節點值得到更新，獲得了更新後的主節點的圖像特徵。
本實施例的特徵更新網路的處理流程，通過圖卷積模組對主節點的鄰居節點的圖像特徵進行加權求和，確定主節點的加權特徵，使得能夠綜合考慮目標圖像本身的圖像特徵及其關聯的鄰居圖像的圖像特徵，從而更新後的目標圖像的圖像特徵更具魯棒性和判別能力，提高圖像檢索的準確性。
圖3是本公開至少一個實施例提供的特徵更新網路的訓練方法，如圖3所示，該方法描述特徵更新網路的訓練過程，可以包括如下處理：
在步驟300中，根據用於訓練所述特徵更新網路的樣本圖像，由訓練圖像庫中獲取與所述樣本圖像相似的訓練鄰居圖像。
需要說明的是，本實施例中的“訓練圖像庫”、“訓練鄰居圖像”，其中的“訓練”是用於表示這是應用在網路的訓練階段，並與網路應用階段提到的鄰居圖像和圖像庫在名稱上進行區分，並不構成任何限制作用。同理，下文描述中提到的“訓練主節點”、“訓練鄰居節點”也同樣僅僅是名稱上與網路應用階段出現的相同概念區分，並不構成任何限制作用。
在訓練特徵更新網路時，可以採用分組訓練方式。例如，可以將訓練樣本分成多個圖像子集（batch），每次迭代訓練向特徵更新網路輸入一個圖像子集，結合該圖像子集包括的各個樣本圖像的損失值，用損失值反向回傳網路的方式來調整網路參數。一次迭代訓練完成後，可以向特徵更新網路輸入下一個圖像子集，以進行下一次迭代訓練。
本步驟中，一個圖像子集batch中的每一個圖像可以稱為一個樣本圖像，且每個樣本圖像都可以執行步驟300至306的處理，且可以根據預測訊息和標簽訊息獲得損失值loss。
示例性的，在圖像檢索的應用場景中，所述的訓練圖像庫可以是檢索圖像庫，即將由該檢索圖像庫中檢索獲得與樣本圖像相似的圖像。所述的相似可以是與樣本圖像包括同一物體，或者與樣本圖像屬於同一類別。
本步驟中，與樣本圖像相似的圖像可以稱為“訓練鄰居圖像”。
該訓練鄰居圖像的獲得方式，例如，可以是根據圖像之間的特徵相似度，將相似度較高的圖像，確定為所述訓練鄰居圖像。
在步驟302中，獲取第二關聯圖，所述第二關聯圖中包括訓練主節點以及至少一個訓練鄰居節點，所述訓練主節點的節點值表示樣本圖像的圖像特徵，所述訓練鄰居節點的節點值表示訓練鄰居圖像的圖像特徵，所述訓練鄰居圖像為與所述樣本圖像相似的圖像。
例如，網路訓練階段的關聯圖可以稱為第二關聯圖，而前文在網路應用階段出現的關聯圖可以稱為第一關聯圖。
本步驟中，第二關聯圖上可以包括多個節點。
其中，所述第二關聯圖中的節點可以包括：一個訓練主節點、以及至少一個訓練鄰居節點。該訓練主節點代表樣本圖像，每一個訓練鄰居節點代表步驟300中確定的一個訓練鄰居圖像。每個節點的節點值是圖像特徵，例如，訓練主節點的節點值是樣本圖像的圖像特徵，訓練鄰居節點的節點值是訓練鄰居圖像的圖像特徵。
在步驟304中，將第二關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第二關聯圖中的訓練鄰居節點的節點值更新訓練主節點的節點值。
例如，該特徵更新網路可以是圖卷積模組，也可以是其他類型的模組，在此不做限定。本步驟中，所述圖卷積模組是基於注意力的圖卷積模組（Attention-based Graph convolution，簡稱：AGCN），該模組用於根據第二關聯圖中的訓練鄰居節點的圖像特徵更新訓練主節點的圖像特徵，例如，可以根據各個訓練鄰居節點的圖像特徵加權求和後更新訓練主節點的圖像特徵。
實際實施中，所述圖卷積模組的數量可以是一個，或者，依次堆積的多個。示例性的，當圖卷積模組的數量是兩個時，第二關聯圖輸入第一個圖卷積模組，該第一個圖卷積模組根據各個訓練鄰居節點的圖像特徵更新訓練主節點的圖像特徵，該第一個圖卷積模組輸出的第二關聯圖中，訓練主節點的圖像特徵已經更新，是更新後的第二關聯圖。該更新的第二關聯圖繼續輸入第二個圖卷積模組，由該第二個圖卷積模組繼續根據各個訓練鄰居節點的圖像特徵更新訓練主節點的圖像特徵，輸出再次更新後的訓練主節點的圖像特徵。
在步驟306中，根據特徵更新網路提取的樣本圖像的圖像特徵，得到所述樣本圖像的預測訊息。
本步驟中，可以根據圖卷積模組提取的圖像特徵，進一步確定樣本圖像的預測訊息。例如，圖卷積模組之後可以連接分類器，由分類器根據該圖像特徵得到樣本圖像分別屬於各個預設類別的概率。
在步驟308中，根據所述預測訊息，調整特徵更新網路的網路參數。
本步驟中，可以根據特徵更新網路輸出的預測訊息與標簽訊息的差异，確定樣本圖像對應的損失值loss。如前所述，以圖卷積模組為例，在多個batch分組訓練的方式中，可以綜合根據一個batch中的各個樣本圖像的損失值，反向傳播調整圖卷積模組的網路參數，以使得圖卷積模組根據調整後的網路參數更準確的提取圖像特徵。
例如，在根據損失值loss反向傳播調整圖卷積模組的網路參數時，可以調整圖2流程描述中提到的圖卷積模組的Wi 、Wu 、Q、q、W和w等係數。
本實施例的特徵更新網路的訓練方法，通過在訓練網路時，結合樣本圖像的相似圖像來更新樣本圖像的圖像特徵，使得能夠綜合考慮樣本圖像本身的圖像特徵及其關聯的訓練鄰居圖像的圖像特徵，從而利用訓練後的特徵更新網路得到的樣本圖像的圖像特徵更具魯棒性和判別能力，以提高圖像檢索的準確性，例如，即使受到光照變化、尺度變化、視角變化等影響，仍然能夠得到相對準確的圖像特徵。
圖4示例了另一實施例的特徵更新網路的訓練方法，該方法中，可以通過預先訓練的用於提取特徵的網路（可以稱為特徵提取網路）提取圖像特徵，並根據圖像特徵進行相似性度量，由訓練圖像庫中獲取與樣本圖像相似的訓練鄰居圖像。如圖4所示，該方法可以包括：
在步驟400中，使用訓練集預訓練一個用於提取特徵的網路。
例如，該預訓練的用於提取特徵的網路，可以稱為特徵提取網路，包括但不局限於：卷積神經網路CNN（Convolutional Neural Network）、BP（Back Propagation，逆向傳播）神經網路、離散Hopfield網路等。
訓練集中的圖像可以稱為訓練圖像。該特徵提取網路的訓練過程可以包括：通過特徵提取網路，提取訓練圖像的圖像特徵；根據所述訓練圖像的圖像特徵，獲得所述訓練圖像的預測訊息；基於所述訓練圖像的預測訊息和標簽訊息，調整所述特徵提取網路的網路參數。
其中，需要說明的是，上述的訓練圖像是指用於訓練所述特徵提取網路所使用的圖像，而之前提到的所述樣本圖像是指，該特徵提取網路訓練完成之後將應用於特徵更新網路的訓練過程，比如，通過預訓練的特徵提取網路先提取樣本圖像和訓練圖像庫中各個庫圖像的圖像特徵，再生成關聯圖之後輸入特徵更新網路進行圖像特徵更新，在該特徵更新網路訓練過程中使用的輸入圖像即樣本圖像。樣本圖像和訓練圖像可以相同也可以不同。
在步驟402中，通過特徵提取網路，分別獲取所述樣本圖像和訓練圖像庫中各個庫圖像的圖像特徵。
在步驟404中，根據所述樣本圖像和各個庫圖像的圖像特徵之間的特徵相似度，由各個庫圖像中獲得與所述樣本圖像相似的第一圖像。
本步驟中，所述的庫圖像是檢索圖像庫中的圖像。
示例性的，可以分別計算樣本圖像的圖像特徵與各個庫圖像的圖像特徵之間的特徵相似度，並根據該相似度對各個庫圖像進行排序，如，按照相似度由高到低的順序排序。再由排序結果中選擇排位在前K位的庫圖像，作為樣本圖像的第一圖像。例如，請參見圖5所示，節點31代表樣本圖像，節點32、節點33和節點34代表的庫圖像都是與該樣本圖像相似的第一圖像。
在步驟406中，根據第一圖像和庫圖像的圖像特徵之間的特徵相似度，由所述庫圖像中獲得與所述第一圖像相似的第二圖像。
本步驟中，可以接著計算第一圖像和庫圖像的圖像特徵之間的特徵相似度，由庫圖像中獲得與第一圖像相似的庫圖像，作為第二圖像。例如，請參見圖5所示，通過圖像特徵的相似度度量，節點35至節點37是與節點32相似的庫圖像，該節點35至節點37是與節點31相似的第二圖像。同樣的，與節點34相似的節點38至節點40也是與節點31相似的第二圖像。
此外，圖5是示例的情況。實際實施中，可以找到與樣本圖像對應的主節點相似的第一圖像，就停止繼續尋找鄰居圖像。或者，還可以找到第三圖像、或第四圖像等更多數量的鄰居圖像。具體查找幾層鄰居圖像可以根據不同應用場景中實際測試的效果確定。上述的第一圖像、第二圖像等都可以稱為鄰居圖像，在網路訓練階段，可以稱為訓練鄰居圖像；在網路應用階段，可以稱為鄰居圖像。
還需要說明的是，鄰居圖像的獲得也可以採用本步驟示例之外的其他方式。例如，可以設定相似度閾值，將特徵相似度高於該閾值的庫圖像的全部或部分直接作為樣本圖像的鄰居圖像。又例如，還可以不採用特徵提取網路提取圖像特徵，而是通過根據圖像多個維度的取值確定圖像特徵。
在步驟408中，根據樣本圖像和鄰居圖像，生成第二關聯圖，所述第二關聯圖中的節點包括：用於代表所述樣本圖像的訓練主節點、以及用於代表鄰居圖像的至少一個訓練鄰居節點，所述訓練主節點的節點值是所述樣本圖像的圖像特徵，所述訓練鄰居節點的節點值是所述鄰居圖像的圖像特徵。在一個實施例中，本步驟中的鄰居圖像包括步驟404中得到的第一圖像和步驟406中得到的第二圖像。
本步驟中生成的第二關聯圖，是包括多個節點的圖，可以參見圖6的示例。圖6中的節點31是訓練主節點，其他所有的節點都是訓練鄰居節點。節點值可以是該節點代表的圖像的圖像特徵，該圖像特徵例如可以是由步驟402中提取得到。
在步驟410中，將所述第二關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第二關聯圖中的訓練鄰居節點的圖像特徵更新訓練主節點的圖像特徵，得到更新後的樣本圖像的圖像特徵，並根據該更新後的圖像特徵得到樣本圖像的預測訊息。
在步驟412中，根據樣本圖像的預測訊息，調整所述特徵更新網路的網路參數以及特徵提取網路的網路參數。
本步驟的網路參數調整，可以調整特徵提取網路的網路參數，也可以不調整特徵提取網路的網路參數，可以根據實際訓練情況確定。
本實施例的特徵更新網路的訓練方法，通過在訓練網路時，結合樣本圖像的相似圖像來更新樣本圖像的圖像特徵，使得能夠綜合考慮樣本圖像本身的圖像特徵及其關聯的其他圖像的圖像特徵，從而利用訓練後的特徵更新網路得到的樣本圖像的圖像特徵更具魯棒性和判別能力，以提高圖像檢索的準確性；並且，通過採用特徵提取網路提取圖像特徵，不僅可以提高圖像特徵的提取效率，進而提高網路訓練速度，還可以根據損失值調整特徵提取網路的網路參數，使得特徵提取網路提取的圖像特徵更準確。
本公開實施例還提供了一種圖像檢索方法，該方法要由圖像庫中檢索與目標圖像相似的圖像。如圖7所示，該方法可以包括如下處理：
在步驟700中，獲取待檢索的目標圖像。
例如，假設要由圖像庫中檢索與圖像M中包括的物體相同的圖像，那麼可以將圖像M稱為目標圖像。即要由圖像庫中檢索與目標圖像有某種關聯的圖像，這種關聯可以是包括相同的物體，或者屬於相同的類別。
在步驟702中，提取得到所述目標圖像的圖像特徵。
本步驟中，可以根據本公開任一實施例所述的圖像特徵的提取方法。
在步驟704中，提取得到所述圖像庫中各個庫圖像的圖像特徵。
本步驟中，可以根據本公開任一實施例所述的圖像特徵的提取方法，例如，圖1所示的提取方法，提取圖像庫中各個庫圖像的圖像特徵。
在步驟706中，基於所述目標圖像的圖像特徵和所述各個庫圖像的圖像特徵之間的特徵相似度，獲得所述目標圖像的相似圖像作為檢索結果。
本步驟中，可以將目標圖像的圖像特徵和所述各個庫圖像的圖像特徵之間進行特徵相似度量，從而將相似的庫圖像作為檢索結果。
本實施例的圖像檢索方法，由於該提取到的樣本圖像特徵更具魯棒性和判別能力，從而提高了檢索結果的準確性。
圖像檢索可以應用於多種場景，例如，醫療診斷、街景地圖、智能視頻分析、安防監控等。如下以安防監控中的行人檢索（person search）為例，描述如何應用本公開實施例的方法訓練檢索使用的網路、以及如何利用該網路進行圖像檢索。如下的描述中，將分別說明網路訓練及其應用。
網路訓練
該網路在訓練時，可以採用分組訓練方式，例如，可以將訓練樣本分成多個圖像子集（batch），每次迭代訓練向待訓練的特徵更新網路逐個輸入一個batch中的各個樣本圖像，並最終結合圖像子集包括的各個樣本圖像的損失值調整特徵更新網路的網路參數。
下面以其中一個樣本圖像為例，描述如何得到該樣本圖像對應的損失值。
請參見圖8所示，樣本圖像81中包括一個行人82，本實施例的行人檢索的目標是由檢索圖像庫中搜索包括相同行人82的庫圖像。
假設已經預訓練完成一個用於提取圖像特徵的網路，例如，CNN網路，可以稱為特徵提取網路。通過該特徵提取網路分別提取樣本圖像81和圖像庫中的各個庫圖像的圖像特徵。然後計算樣本圖像81與各個庫圖像的特徵相似度，並根據相似度排序，選擇排位在前預設數量（例如，按照相似度由高到低排序，且排序結果在前10位）的庫圖像，作為與樣本圖像81相似的圖像，可以稱為樣本圖像81的鄰居圖像。請參見圖8，庫圖像83、庫圖像84直至庫圖像85都是鄰居圖像。這些鄰居圖像中包括的行人，可以的確與行人82相同，也可以與行人82不同但非常相似。
接著，以包括庫圖像83、庫圖像84直至庫圖像85的十個鄰居圖像為基礎，再去圖像庫中檢索分別與每一個鄰居圖像相似的庫圖像。示例性的，以庫圖像83為例，根據圖像特徵的相似度度量，由庫圖像中選擇相似度排序前十位的庫圖像作為該庫圖像83的十個鄰居圖像。請參見圖9所示，集合91中包括十個庫圖像，這些圖像是庫圖像83的十個鄰居圖像。同樣的方式，可以再檢索與庫圖像84相似的十個鄰居圖像，即圖9中的集合92。庫圖像83、庫圖像84直至庫圖像85的十個鄰居圖像都要進行同樣的相似圖像再搜索，不再詳述。如上的庫圖像83、庫圖像84等，可以稱為與樣本圖像81相似的第一圖像，而集合91、集合92中的庫圖像都可以稱為與樣本圖像81相似的第二圖像。本實施例以第一圖像和第二圖像為例，在其他的應用例子中，還可以繼續檢索與第二圖像相似的第三圖像。
然後，根據樣本圖像以及檢索得到的鄰居圖像，可以生成關聯圖。該關聯圖類似於圖6所示，圖中包括一個主節點和多個鄰居節點。其中，該主節點代表樣本圖像81，每一個鄰居節點代表一個鄰居圖像，這些鄰居節點中包括第一圖像，也包括第二圖像。每個節點的節點值是其代表的圖像的圖像特徵，該圖像特徵即在獲取鄰居圖像進行特徵相似度比較時提取使用的圖像特徵，例如，可以是通過上述的特徵提取網路提取到的圖像特徵。
請參見圖10，圖10示例了用於提取圖像特徵的特徵更新網路的網路結構。該網路結構中可以包括特徵提取網路1001，通過特徵提取網路1001分別提取了樣本圖像和圖像庫中各個庫圖像的圖像特徵1002，並根據圖像特徵的相似比較等處理，最終得到了關聯圖1003（圖中示意了部分鄰居節點，實際使用中的鄰居節點數量可以更多）。該關聯圖1003可以輸入圖卷積網路1004，該圖卷積網路1004包括堆積（stack）的多個圖卷積模組1005，每一個圖卷積模組1005都可以按照圖2所示的流程對主節點的圖像特徵進行更新。
圖卷積網路1004可以輸出主節點的最終更新的圖像特徵，作為該樣本圖像的更新後的圖像特徵，並且，可以繼續根據該更新後的圖像特徵確定樣本圖像對應的預測訊息，根據預測訊息和所述樣本圖像的標簽訊息計算樣本圖像對應的損失值loss。
每一個樣本圖像都可以按照上述的處理流程計算得到損失值，最後可以根據這些樣本圖像的損失值調整特徵更新網路的網路參數，例如包括圖卷積模組中的參數以及特徵提取網路的參數。在其他的實施例中，圖10所示的網路結構中也可以不包括特徵提取網路，而是採用其他方式獲取到關聯圖。
利用訓練完成的特徵更新網路進行行人檢索
1）：以圖10的網路結構為例，例如，可以通過圖10中的特徵提取網路1001提取圖像庫中的各個庫圖像的圖像特徵，並保存這些提取的圖像特徵。
2）：當接收到一個待檢索的目標圖像時，例如，該目標圖像是一個行人圖像。可以按照下述方式由特徵更新網路提取目標圖像的圖像特徵：
首先，將該目標圖像也通過圖10中的特徵提取網路1001提取到圖像特徵。
接著，基於目標圖像的圖像特徵和所述各個庫圖像的圖像特徵之間的特徵相似度，獲得目標圖像的鄰居圖像。根據目標圖像及其鄰居圖像可以得到關聯圖，該關聯圖中可以包括代表目標圖像的主節點、以及代表鄰居圖像的多個鄰居節點。關聯圖輸入圖10中的圖卷積網路1004，經過圖卷積模組1005對目標圖像中主節點的圖像特徵更新，最終得到的主節點的圖像特徵即為更新後的目標圖像的圖像特徵。
3）：對於每一個庫圖像，也可以按照與2）相同的處理方式，獲得最終由圖卷積網路1004輸出的更新後的各個庫圖像的圖像特徵。
4）：計算更新後的目標圖像的圖像特徵與更新後的各個庫圖像的圖像特徵之間的特徵相似度，並根據相似度排序，得到最終的檢索結果。例如，可以將相似度較高的幾個庫圖像作為檢索結果。
本實施例的圖像檢索方法，通過在進行圖像特徵提取時，結合考慮了與目標圖像關聯的鄰居圖像的圖像特徵，使得利用訓練後的特徵更新網路學習到的圖像特徵更加具有魯棒性和判別能力，從而提高圖像檢索準確率；並且，圖卷積模組可以堆積多層，具有很好的可擴展能力；在分組訓練時，一個batch中的各個樣本圖像可以利用深度學習框架和硬體進行並行計算，網路訓練的效率較高。
圖11提供了一種圖像特徵的提取裝置，該裝置可以用於執行本公開任一實施例的圖像特徵提取方法。如圖11所示，該裝置可以包括：圖獲取模組1101和特徵更新模組1102。
圖獲取模組1101，用於獲取第一關聯圖，所述第一關聯圖中包括主節點以及至少一個鄰居節點，所述主節點的節點值表示目標圖像的圖像特徵，鄰居節點的節點值表示鄰居圖像的圖像特徵，所述鄰居圖像是與目標圖像相似的圖像。
特徵更新模組1102，用於將所述第一關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，得到更新後的目標圖像的圖像特徵。
在一個例子中，如圖12所示，所述裝置還包括：鄰居獲取模組1103，用於在所述圖獲取模組獲取第一關聯圖之前，根據所述目標圖像，由圖像庫中獲取與所述目標圖像相似的鄰居圖像。
在一個例子中，所述鄰居獲取模組1103，用於：通過特徵提取網路分別獲取所述目標圖像的圖像特徵和圖像庫中的各個庫圖像的圖像特徵；基於所述目標圖像的圖像特徵和圖像庫中的各個所述庫圖像的圖像特徵之間的特徵相似度，從所述圖像庫中確定與所述目標圖像相似的鄰居圖像。
在一個例子中，鄰居獲取模組1103，還用於：將所述目標圖像與各個所述庫圖像之間的特徵相似度，按照特徵相似度的數值由大到小的順序進行排序；選取前預設位數的特徵相似度對應的庫圖像，作為所述目標圖像相似的鄰居圖像。
在一個例子中，所述鄰居獲取模組1103還用於：根據所述目標圖像和各個所述庫圖像的圖像特徵之間的特徵相似度，由各個所述庫圖像中獲得與所述目標圖像相似的第一圖像；根據所述第一圖像的圖像特徵與各個所述庫圖像的圖像特徵之間的特徵相似度，由各個所述庫圖像中獲得與所述第一圖像相似的第二圖像；將所述第一圖像和所述第二圖像，作為所述目標圖像的鄰居圖像。
在一個例子中，所述特徵更新網路的數量為一個，或者依次堆積的N個，其中N是大於1的整數；當所述特徵更新網路的數量為N個時：其中第i特徵更新網路的輸入，是第i-1特徵更新網路輸出的更新後的第一關聯圖，其中i是大於1且小於或等於N的整數。
在一個例子中，所述特徵更新模組1102，用於：確定所述第一關聯圖中的所述主節點和各所述鄰居節點之間的權重；根據所述權重將各所述鄰居節點的圖像特徵合併，得到所述主節點的加權特徵；根據所述主節點的圖像特徵和所述加權特徵，得到所述更新後的目標圖像的圖像特徵。
在一個例子中，所述特徵更新模組1102，還用於：根據所述權重，將各所述鄰居節點的圖像特徵進行加權求和，得到所述主節點的加權特徵。
在一個例子中，所述特徵更新模組1102還用於：將所述主節點的圖像特徵與所述加權特徵拼接；對拼接後的特徵進行非線性映射，得到更新後的目標圖像的圖像特徵。
在一個例子中，所述特徵更新模組1102還用於：對所述主節點和鄰居節點進行線性映射；對線性映射後的所述主節點和鄰居節點確定內積；根據非線性處理後的所述內積，確定所述主節點與所述鄰居節點之間的權重。
圖13提供了一種特徵更新網路的訓練裝置，該裝置可以用於執行本公開任一實施例的特徵更新網路的訓練方法。如圖13所示，該裝置可以包括：關聯圖獲得模組1301、更新處理模組1302和參數調整模組1303。
關聯圖獲得模組1301，用於獲取第二關聯圖，所述第二關聯圖中包括訓練主節點以及至少一個訓練鄰居節點，所述訓練主節點的節點值表示樣本圖像的圖像特徵，所述訓練鄰居節點的節點值表示訓練鄰居圖像的圖像特徵，所述訓練鄰居圖像為與所述樣本圖像相似的圖像；
更新處理模組1302，用於將所述第二關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第二關聯圖中的訓練鄰居節點的節點值更新所述主節點的節點值，得到更新後的樣本圖像的圖像特徵；
參數調整模組1303，用於根據更新後的樣本圖像的圖像特徵，得到所述樣本圖像的預測訊息；根據所述預測訊息調整所述特徵更新網路的網路參數。
在一個例子中，如圖14所示，所述裝置還包括：圖像獲取模組1304，用於在所述關聯圖獲得模組獲取第二關聯圖之前，根據所述樣本圖像，由訓練圖像庫中獲取與所述樣本圖像相似的所述訓練鄰居圖像。
在一個例子中，如圖14所示，所述裝置還包括：預訓練模組1305。
預訓練模組1305，用於通過特徵提取網路，提取訓練圖像的圖像特徵；根據所述訓練圖像的圖像特徵，獲得所述訓練圖像的預測訊息；基於所述訓練圖像的預測訊息和標簽訊息，調整所述特徵提取網路的網路參數；所述訓練圖像是用於訓練所述特徵提取網路所使用的圖像，所述樣本圖像是特徵提取網路訓練完成之後用於訓練所述特徵更新網路的圖像；
所述圖像獲取模組1304，用於：通過所述特徵提取網路分別獲取所述樣本圖像的圖像特徵和訓練圖像庫中的各個庫圖像的圖像特徵；並基於所述樣本圖像的圖像特徵和各個庫圖像的圖像特徵之間的特徵相似度，確定與所述樣本圖像相似的所述訓練鄰居圖像。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開至少一個實施例提供一種電子設備，該設備可以包括儲存器、處理器，所述儲存器用於儲存可在處理器上運行的電腦指令，所述處理器用於在執行所述電腦指令時實現本公開任一實施例所述的圖像特徵的提取方法或者特徵更新網路的訓練方法。
本公開至少一個實施例提供一種電腦可讀儲存媒體，其上儲存有電腦程式，所述程式被處理器執行時實現本公開任一實施例所述的圖像特徵的提取方法或者特徵更新網路的訓練方法。
本公開至少一個實施例提供一種電腦程式，該電腦程式用於使處理器執行本公開任一實施例所述的圖像特徵的提取方法的步驟或者特徵更新網路的訓練方法的步驟。
本領域技術人員應明白，本公開一個或多個實施例可提供為方法、系統或電腦程式產品。因此，本公開一個或多個實施例可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本公開一個或多個實施例可採用在一個或多個其中包含有電腦可用程式代碼的電腦可用儲存媒體（包括但不限於磁碟儲存器、CD-ROM、光學儲存器等）上實施的電腦程式產品的形式。
本公開實施例還提供一種電腦可讀儲存媒體，該儲存媒體上可以儲存有電腦程式，所述程式被處理器執行時實現本公開任一實施例描述的圖像特徵的提取方法的步驟，和/或，實現本公開任一實施例描述的特徵更新網路的訓練方法的步驟。其中，所述的“和/或”表示至少具有兩者中的其中一個，例如，“A和/或B”包括三種方案：A、B、以及“A和B”。
本公開中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於資料處理設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
上述對本公開特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下，在申請專利範圍中記載的行為或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多任務處理和並行處理也是可以的或者可能是有利的。
本公開中描述的主題及功能操作的實施例可以在以下中實現：數位電子電路、有形體現的電腦軟體或韌體、包括本公開中公開的結構及其結構性等同物的電腦硬體、或者它們中的一個或多個的組合。本公開中描述的主題的實施例可以實現為一個或多個電腦程式，即編碼在有形非暫時性程式載體上以被資料處理裝置執行或控制資料處理裝置的操作的電腦程式指令中的一個或多個模組。可替代地或附加地，程式指令可以被編碼在人工生成的傳播訊號上，例如機器生成的電、光或電磁訊號，該訊號被生成以將訊息編碼並傳輸到合適的接收機裝置以由資料處理裝置執行。電腦儲存媒體可以是機器可讀儲存設備、機器可讀儲存基板、隨機或串行存取儲存器設備、或它們中的一個或多個的組合。
本公開中描述的處理及邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式化電腦執行，以通過根據輸入資料進行操作並生成輸出來執行相應的功能。所述處理及邏輯流程還可以由專用邏輯電路—例如FPGA（現場可程式化閘陣列）或ASIC（專用集成電路）來執行，並且裝置也可以實現為專用邏輯電路。
適合用於執行電腦程式的電腦包括，例如通用和/或專用微處理器，或任何其他類型的中央處理單元。通常，中央處理單元將從只讀儲存器和/或隨機存取儲存器接收指令和資料。電腦的基本元件包括用於實施或執行指令的中央處理單元以及用於儲存指令和資料的一個或多個儲存器設備。通常，電腦還將包括用於儲存資料的一個或多個大容量儲存設備，例如磁碟、磁光碟或光碟等，或者電腦將可操作地與此大容量儲存設備耦接以從其接收資料或向其傳送資料，抑或兩種情況兼而有之。然而，電腦不是必須具有這樣的設備。此外，電腦可以嵌入在另一設備中，例如移動電話、個人數位助理（PDA）、移動音頻或視頻播放器、遊戲操縱臺、全球定位系統（GPS）接收機、或例如通用串行總線（USB）快閃記憶體驅動器的便攜式儲存設備，僅舉幾例。
適合於儲存電腦程式指令和資料的電腦可讀媒體包括所有形式的非易失性儲存器、媒介和儲存器設備，例如包括半導體儲存器設備（例如EPROM、EEPROM和快閃記憶體設備）、磁碟（例如內部硬碟或可移動碟）、磁光碟以及CD ROM和DVD-ROM碟。處理器和儲存器可由專用邏輯電路補充或併入專用邏輯電路中。
雖然本公開包含許多具體實施細節，但是這些不應被解釋為限制任何公開的範圍或所要求保護的範圍，而是主要用於描述特定公開的具體實施例的特徵。本公開內在多個實施例中描述的某些特徵也可以在單個實施例中被組合實施。另一方面，在單個實施例中描述的各種特徵也可以在多個實施例中分開實施或以任何合適的子組合來實施。此外，雖然特徵可以如上所述在某些組合中起作用並且甚至最初如此要求保護，但是來自所要求保護的組合中的一個或多個特徵在一些情況下可以從該組合中去除，並且所要求保護的組合可以指向子組合或子組合的變形。
類似地，雖然在附圖中以特定順序描繪了操作，但是這不應被理解為要求這些操作以所示的特定順序執行或順次執行、或者要求所有例示的操作被執行，以實現期望的結果。在某些情況下，多任務和並行處理可能是有利的。此外，上述實施例中的各種系統模組和元件的分離不應被理解為在所有實施例中均需要這樣的分離，並且應當理解，所描述的程式元件和系統通常可以一起集成在單個軟體產品中，或者封裝成多個軟體產品。
由此，主題的特定實施例已被描述。其他實施例在所附申請專利範圍的範圍以內。在某些情況下，申請專利範圍中記載的動作可以以不同的順序執行並且仍實現期望的結果。此外，附圖中描繪的處理並非必需所示的特定順序或順次順序，以實現期望的結果。在某些實現中，多任務和並行處理可能是有利的。
以上所述僅為本公開一個或多個實施例的較佳實施例而已，並不用以限制本公開一個或多個實施例，凡在本公開一個或多個實施例的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本公開一個或多個實施例保護的範圍之內。
100~102、200~204、300~308、400~412、700~706:步驟 31~40:節點 81~85:圖像 91~92:集合 1001:特徵提取網路 1002:圖像特徵 1003:關聯圖 1004:圖卷積網路 1005:圖卷積模組 1101:圖獲取模組 1102:特徵更新模組 1103:鄰居獲取模組 1301:關聯圖獲得模組 1302:更新處理模組 1303:參數調整模組 1304:圖像獲取模組 1305:預訓練模組
為了更清楚地說明本公開一個或多個實施例或相關技術中的技術方案，下面將對實施例或相關技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本公開一個或多個實施例中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。 圖1為本公開至少一個實施例提供的一種圖像特徵的提取方法。 圖2為本公開至少一個實施例提供的一種特徵更新網路的處理流程。 圖3為本公開至少一個實施例提供的一種特徵更新網路的訓練方法。 圖4為本公開至少一個實施例提供的一種特徵更新網路的訓練方法。 圖5為本公開至少一個實施例提供的獲取的鄰居圖像示意圖。 圖6為本公開至少一個實施例提供的關聯圖示意圖。 圖7為本公開至少一個實施例提供的一種圖像檢索方法。 圖8為本公開至少一個實施例提供的一種樣本圖像和庫圖像的示意圖。 圖9為本公開至少一個實施例提供的一種鄰居圖像搜索示意圖。 圖10為本公開至少一個實施例提供的一種特徵更新網路的網路結構。 圖11為本公開至少一個實施例提供的一種圖像特徵的提取裝置。 圖12為本公開至少一個實施例提供的一種圖像特徵的提取裝置。 圖13為本公開至少一個實施例提供的一種特徵更新網路的訓練裝置。 圖14為本公開至少一個實施例提供的一種特徵更新網路的訓練裝置。
100~102:步驟

Claims (8)

  1. 一種圖像特徵的提取方法，包括：根據目標圖像，由圖像庫中獲取與所述目標圖像相似的鄰居圖像；根據所述目標圖像和所述鄰居圖像生成第一關聯圖，所述第一關聯圖中包括主節點以及至少一個鄰居節點，所述主節點的節點值表示所述目標圖像的圖像特徵，所述鄰居節點的節點值表示所述鄰居圖像的圖像特徵；將所述第一關聯圖輸入特徵更新網路，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，以得到更新後的目標圖像的圖像特徵。
  2. 如申請專利範圍第1項所述的方法，其中，根據所述目標圖像，由所述圖像庫中獲取與所述目標圖像相似的鄰居圖像的步驟包括：通過特徵提取網路分別獲取所述目標圖像的圖像特徵和所述圖像庫中的各個庫圖像的圖像特徵；基於所述目標圖像的圖像特徵和所述圖像庫中的各個所述庫圖像的圖像特徵之間的特徵相似度，從所述圖像庫中確定與所述目標圖像相似的鄰居圖像。
  3. 如申請專利範圍第1項所述的方法，其中，所述特徵更新網路的數量為一個，或者依次堆積的N個，其中N是大於1的整數； 當所述特徵更新網路的數量為N個時：其中第i特徵更新網路的輸入，是第i-1特徵更新網路輸出的更新後的第一關聯圖，其中i是大於1且小於或等於N的整數。
  4. 如申請專利範圍第1項所述的方法，其中，所述特徵更新網路根據所述第一關聯圖中的鄰居節點的節點值更新所述主節點的節點值，得到更新後的目標圖像的圖像特徵的步驟包括：確定所述第一關聯圖中的所述主節點和各所述鄰居節點之間的權重；根據所述權重將各所述鄰居節點的圖像特徵合併，得到所述主節點的加權特徵；根據所述主節點的圖像特徵和所述加權特徵，得到所述更新後的目標圖像的圖像特徵。
  5. 一種特徵更新網路的訓練方法，其中，所述特徵更新網路用於更新圖像的圖像特徵；所述方法包括：根據樣本圖像，由訓練圖像庫中獲取與所述樣本圖像相似的訓練鄰居圖像；根據所述樣本圖像和所述訓練鄰居圖像生成第二關聯圖，所述第二關聯圖中包括訓練主節點以及至少一個訓練鄰居節點，所述訓練主節點的節點值表示所述樣本圖像的圖像特徵，所述訓練鄰居節點的節點值表示所述訓練鄰居圖像的圖像特徵；將所述第二關聯圖輸入所述特徵更新網路，所述特徵更新網路根據所述第二關聯圖中的訓練鄰居節點的節點值更新所述主節 點的節點值，得到更新後的樣本圖像的圖像特徵；根據所述更新後的樣本圖像的圖像特徵，得到所述樣本圖像的預測訊息；根據所述預測訊息調整所述特徵更新網路的網路參數。
  6. 如申請專利範圍第5項所述的方法，其中，根據所述樣本圖像，由所述訓練圖像庫中獲取與所述樣本圖像相似的所述訓練鄰居圖像的步驟之前，所述方法還包括：通過特徵提取網路，提取訓練圖像的圖像特徵；根據所述訓練圖像的圖像特徵，獲得所述訓練圖像的預測訊息；基於所述訓練圖像的預測訊息和標簽訊息，調整所述特徵提取網路的網路參數；根據所述樣本圖像，由所述訓練圖像庫中獲取與所述樣本圖像相似的所述訓練鄰居圖像，包括：通過所述特徵提取網路分別獲取所述樣本圖像的圖像特徵和所述訓練圖像庫中的各個庫圖像的圖像特徵；以及基於所述樣本圖像的圖像特徵和各個所述庫圖像的圖像特徵之間的特徵相似度，確定與所述樣本圖像相似的所述訓練鄰居圖像。
  7. 一種電子設備，其中，所述設備包括儲存器、處理器，所述儲存器用於儲存可在處理器上運行的電腦指令，所述處理器 用於在執行所述電腦指令時實現申請專利範圍第1至4項任一所述的方法，或者實現申請專利範圍第5或6項任一所述的方法。
  8. 一種電腦可讀儲存媒體，其上儲存有電腦程式，其中，所述程式被處理器執行時實現申請專利範圍第1至4項任一所述的方法，或，實現申請專利範圍第5或6項任一所述的方法。
TW108147317A 2019-08-23 2019-12-24 圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體 TWI747114B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910782629.9A CN110502659B (zh) 2019-08-23 2019-08-23 图像特征提取及网络的训练方法、装置和设备
CN201910782629.9 2019-08-23

Publications (2)

Publication Number Publication Date
TW202109312A TW202109312A (zh) 2021-03-01
TWI747114B true TWI747114B (zh) 2021-11-21

Family

ID=68589288

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147317A TWI747114B (zh) 2019-08-23 2019-12-24 圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體

Country Status (6)

Country Link
US (1) US20220122343A1 (zh)
JP (1) JP2022539423A (zh)
KR (1) KR20220017497A (zh)
CN (1) CN110502659B (zh)
TW (1) TWI747114B (zh)
WO (1) WO2021036028A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020111456B4 (de) 2020-04-27 2023-11-16 Ebner Industrieofenbau Gmbh Vorrichtung und Verfahren zum Erwärmen mehrerer Tiegel
CN111985616B (zh) * 2020-08-13 2023-08-08 沈阳东软智能医疗科技研究院有限公司 一种图像特征提取方法、图像检索方法、装置及设备
CN113850179A (zh) * 2020-10-27 2021-12-28 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN115221976B (zh) * 2022-08-18 2024-05-24 抖音视界有限公司 一种基于图神经网络的模型训练方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008165A (zh) * 2014-05-29 2014-08-27 华东师范大学 一种基于网络拓扑结构和节点属性的社团检测方法
US20160196479A1 (en) * 2015-01-05 2016-07-07 Superfish Ltd. Image similarity as a function of weighted descriptor similarities derived from neural networks
CN108205580A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 一种图像检索方法、装置及计算机可读存储介质
CN108985190A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 目标识别方法和装置、电子设备、存储介质、程序产品
CN109829433A (zh) * 2019-01-31 2019-05-31 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质
CN109934826A (zh) * 2019-02-28 2019-06-25 东南大学 一种基于图卷积网络的图像特征分割方法
CN109934261A (zh) * 2019-01-31 2019-06-25 中山大学 一种知识驱动参数传播模型及其少样本学习方法
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180013658A1 (en) * 2016-07-06 2018-01-11 Agt International Gmbh Method of communicating between nodes in a computerized network and system thereof
CN109657533B (zh) * 2018-10-27 2020-09-25 深圳市华尊科技股份有限公司 行人重识别方法及相关产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008165A (zh) * 2014-05-29 2014-08-27 华东师范大学 一种基于网络拓扑结构和节点属性的社团检测方法
US20160196479A1 (en) * 2015-01-05 2016-07-07 Superfish Ltd. Image similarity as a function of weighted descriptor similarities derived from neural networks
CN108205580A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 一种图像检索方法、装置及计算机可读存储介质
CN108985190A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 目标识别方法和装置、电子设备、存储介质、程序产品
CN109829433A (zh) * 2019-01-31 2019-05-31 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质
CN109934261A (zh) * 2019-01-31 2019-06-25 中山大学 一种知识驱动参数传播模型及其少样本学习方法
CN109934826A (zh) * 2019-02-28 2019-06-25 东南大学 一种基于图卷积网络的图像特征分割方法
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN110502659B (zh) 2022-07-15
CN110502659A (zh) 2019-11-26
TW202109312A (zh) 2021-03-01
KR20220017497A (ko) 2022-02-11
WO2021036028A1 (zh) 2021-03-04
US20220122343A1 (en) 2022-04-21
JP2022539423A (ja) 2022-09-08

Similar Documents

Publication Publication Date Title
TWI747114B (zh) 圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體
CN107480261B (zh) 一种基于深度学习细粒度人脸图像快速检索方法
US11949964B2 (en) Generating action tags for digital videos
CN102549603B (zh) 基于相关性的图像选择
KR102305568B1 (ko) 일정한 처리 시간 내에 k개의 극값을 찾는 방법
WO2024021394A1 (zh) 全局特征与阶梯型局部特征融合的行人重识别方法及装置
CN108664526B (zh) 检索的方法和设备
CN105589938A (zh) 基于fpga的图像检索***及检索方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
JP7430243B2 (ja) 視覚的測位方法及び関連装置
CN113240012B (zh) 一种基于二维图像的无监督多视角三维目标检索方法及装置
CN107545276A (zh) 联合低秩表示和稀疏回归的多视角学习方法
CN107291825A (zh) 一种视频中同款商品的检索方法和***
CN111950728A (zh) 图像特征提取模型的构建方法、图像检索方法及存储介质
CN107590505A (zh) 联合低秩表示和稀疏回归的学习方法
CN111125396B (zh) 一种单模型多分支结构的图像检索方法
CN114579794A (zh) 特征一致性建议的多尺度融合地标图像检索方法及***
Kishore et al. A Multi-class SVM Based Content Based Image Retrieval System Using Hybrid Optimization Techniques.
CN109918529A (zh) 一种基于树形聚类矢量量化的图像检索方法
CN113779287A (zh) 基于多阶段分类器网络的跨域多视角目标检索方法及装置
CN111368109B (zh) 遥感图像检索方法、装置、计算机可读存储介质及设备
Arulmozhi et al. Generation of Visual Patterns from BoVW for Image Retrieval using modified Similarity Score Fusion.
CN110443267A (zh) 误检过滤方法、装置、拍摄装置及存储介质
Pinge et al. A novel video retrieval method based on object detection using deep learning
KR20190040864A (ko) 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치