TWI740624B - 圖片處理方法、設備和儲存媒體 - Google Patents

圖片處理方法、設備和儲存媒體 Download PDF

Info

Publication number
TWI740624B
TWI740624B TW109129268A TW109129268A TWI740624B TW I740624 B TWI740624 B TW I740624B TW 109129268 A TW109129268 A TW 109129268A TW 109129268 A TW109129268 A TW 109129268A TW I740624 B TWI740624 B TW I740624B
Authority
TW
Taiwan
Prior art keywords
sample
picture
model
feature vector
clothing
Prior art date
Application number
TW109129268A
Other languages
English (en)
Other versions
TW202117556A (zh
Inventor
余世杰
陳大鵬
趙瑞
Original Assignee
中國商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國商深圳市商湯科技有限公司 filed Critical 中國商深圳市商湯科技有限公司
Publication of TW202117556A publication Critical patent/TW202117556A/zh
Application granted granted Critical
Publication of TWI740624B publication Critical patent/TWI740624B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申請提供圖片處理方法、設備和儲存媒體，其中，該方法包括：獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片；將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，所述第一融合特徵向量用於表示所述第一圖片和所述第二圖片的融合特徵；獲取第二融合特徵向量，其中，所述第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，所述第三圖片包含第二物件，所述第四圖片是從所述第三圖片截取的包含第二服裝的圖片；根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件。

Description

圖片處理方法、設備和儲存媒體
本申請基於申請號為201911035791.0、申請日為2019年10月28日的中國專利申請提出，並要求該中國專利申請的優先權，該中國專利申請的全部內容在此引入本申請作為參考。本申請實施例涉及影片處理領域，涉及但不限於圖片處理方法、設備和電腦儲存媒體。
行人重識別也稱行人再識別，是利用電腦視覺技術判斷圖像或者影片序列中是否存在特定行人的技術，可以應用於智慧影片監視、智慧保全等領域中，例如嫌犯追蹤、失蹤人口的尋找等。
目前的行人重識別方法在進行特徵提取時很大程度上將行人的穿著，比如服裝的顏色、款式等，作為了該行人區別於他人的特徵。因此，一旦行人更換了自己的服裝之後，當前的演算法會很難準確識別。
本申請實施例提供了一種圖片處理方法、設備和電腦儲存媒體。
本申請實施例提供一種圖片處理方法，包括： 獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片； 將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，所述第一融合特徵向量用於表示所述第一圖片和所述第二圖片的融合特徵； 獲取第二融合特徵向量，其中，所述第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，所述第三圖片包含第二物件，所述第四圖片是從所述第三圖片截取的包含第二服裝的圖片； 根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件。
實施本申請實施例，透過獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片，將第一圖片和第二圖片輸入第一模型，得到第一融合特徵向量，獲取包含第二物件的第三圖片與包含第三圖片中截取的第二服裝的第四圖片的第二融合特徵向量，根據第一融合特徵向量和第二融合特徵向量之間的目標相似度，確定第一物件與第二物件是否為同一個物件；由於在對待查詢物件（第一物件）進行特徵提取時，將待查詢物件的服裝替換為與待查詢對象可能穿過的第一服裝，即提取待查詢物件的特徵時弱化了服裝的特徵，而重點在於提取更具區分性的其他特徵，從而在待查詢物件更換服裝後，仍然能夠達到很高的識別準確率。
在本申請的一些實施例中，所述根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件，包括：響應於所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度大於第一閾值的情況，確定所述第一物件與所述第二物件為同一個物件。
透過比較第一融合特徵向量和所述第二融合特徵向量之間的目標相似度來確定第一物件與第二物件是否為同一物件，提高物件識別準確率。
在本申請的一些實施例中，所述獲取第二融合特徵向量，包括：將所述第三圖片和所述第四圖片輸入所述第一模型，得到所述第二融合特徵向量。
透過預先將第三圖片和第四圖片輸入第一模型，得到第二融合特徵向量，可以提高獲取第二融合特徵向量的效率。
在本申請的一些實施例中，所述方法還包括：回應於所述第一物件與所述第二物件為同一個物件的情況，獲取拍攝所述第三圖片的終端設備的標識；根據所述終端設備的標識，確定所述終端設備設置的目標地理位置，並建立所述目標地理位置與所述第一物件之間的關聯關係。
透過獲取拍攝第三圖片的終端設備的標識，從而確定拍攝第三圖片的終端設備設置的目標地理位置，並根據目標地理位置與第一物件之間的關聯關係，進而確定第一物件可能的位置區域，可提高對第一對象的查找效率。
在本申請的一些實施例中，所述獲取包含目標物件的第一圖片以及待查詢物件的第二圖片之前，還包括：獲取第一樣本圖片和第二樣本圖片，所述第一樣本圖片和所述第二樣本圖片均包含第一樣本物件，所述第一樣本物件在所述第一樣本圖片關聯的服裝與所述第一樣本物件在所述第二樣本圖片關聯的服裝不同；從所述第一樣本圖片中截取包含第一樣本服裝的第三樣本圖片，所述第一樣本服裝為所述第一樣本物件在所述第一樣本圖片關聯的服裝；獲取包含第二樣本服裝的第四樣本圖片，所述第二樣本服裝與所述第一樣本服裝之間的相似度大於第二閾值；根據所述第一樣本圖片、所述第二樣本圖片、所述第三樣本圖片以及所述第四樣本圖片訓練第二模型和第三模型，所述第三模型與所述第二模型的網路結構相同，所述第一模型為所述第二模型或者所述第三模型。
透過樣本圖片對第二模型和第三模型進行訓練，使得第二模型和第三模型更準確，以便於後續精確透過第二模型和第三模型提取出圖片中更具區分性的特徵。
在本申請的一些實施例中，所述根據所述第一樣本圖片、所述第二樣本圖片、所述第三樣本圖片以及所述第四樣本圖片訓練第二模型和第三模型，包括：將所述第一樣本圖片和所述第三樣本圖片輸入第二模型，得到第一樣本特徵向量，所述第一樣本特徵向量用於表示所述第一樣本圖片和所述第三樣本圖片的融合特徵；將所述第二樣本圖片和所述第四樣本圖片輸入第三模型，得到第二樣本特徵向量，所述第二樣本特徵向量用於表示所述第二樣本圖片和所述第四樣本圖片的融合特徵；根據所述第一樣本特徵向量和所述第二樣本特徵向量，確定模型總損失，並根據所述模型總損失，訓練所述第二模型和所述第三模型。
透過樣本圖片的特徵向量確定第二模型和第三模型的總損失，並根據模型總損失訓練第二模型和第三模型，以便於後續精確透過第二模型和第三模型提取出圖片中更具區分性的特徵。
在本申請的一些實施例中，所述第一樣本圖片和所述第二樣本圖片為樣本圖庫中的圖片，所述樣本圖庫包括M個樣本圖片，所述M個樣本圖片與N個樣本物件關聯，所述M大於或者等於2N，所述M、N為大於或者等於1的整數；所述根據所述第一樣本特徵向量和所述第二樣本特徵向量，確定模型總損失，包括：根據所述第一樣本特徵向量，確定第一概率向量，所述第一概率向量用於表示所述第一樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率；根據所述第二樣本特徵向量，確定第二概率向量，所述第二概率向量用於表示所述第二樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率；根據所述第一概率向量和所述第二概率向量，確定模型總損失。
透過分別確定第一樣本特徵與N個樣本物件中每個樣本物件的概率得到第一概率向量，以及確定第二樣本特徵與N個樣本物件中每個樣本物件的概率得到第二概率向量，可以更準確的透過第一概率向量與第二概率向量確定出模型總損失，從而確定當前模型是否訓練完成。
在本申請的一些實施例中，所述根據所述第一概率向量和所述第二概率向量，確定模型總損失，包括：根據所述第一概率向量，確定所述第二模型的模型損失；根據所述第二概率向量，確定所述第三模型的模型損失；根據所述第二模型的模型損失和所述第三模型的模型損失，確定模型總損失。
透過分別確定第二模型的模型損失與第三模型的模型損失，並根據第二模型的模型損失與第三模型的模型損失確定模型總損失，可以更準確確定出模型總損失，從而確定當前模型提取出的圖片中的特徵是否具有區分性，從而確定當前模型是否訓練完成。
本申請實施例還提供了一種圖片處理裝置，包括： 第一獲取模組，配置為獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片； 第一融合模組，配置為將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，所述第一融合特徵向量用於表示所述第一圖片和所述第二圖片的融合特徵； 第二獲取模組，配置為獲取第二融合特徵向量，其中，所述第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，所述第三圖片包含第二物件，所述第四圖片是從所述第三圖片截取的包含第二服裝的圖片； 物件確定模組，配置為根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件。
在本申請的一些實施例中，所述物件確定模組，配置為回應於所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度大於第一閾值的情況，確定所述第一物件與所述第二物件為同一個物件。
在本申請的一些實施例中，所述第二獲取模組，配置為將所述第三圖片和所述第四圖片輸入所述第一模型，得到所述第二融合特徵向量。
在本申請的一些實施例中，所述裝置還包括：位置確定模組，配置為響應於所述第一物件與所述第二物件為同一個物件的情況，獲取拍攝所述第三圖片的終端設備的標識；根據所述終端設備的標識，確定所述終端設備設置的目標地理位置，並建立所述目標地理位置與所述第一物件之間的關聯關係。
在本申請的一些實施例中，所述裝置還包括：訓練模組，配置為獲取第一樣本圖片和第二樣本圖片，所述第一樣本圖片和所述第二樣本圖片均包含第一樣本物件，所述第一樣本物件在所述第一樣本圖片關聯的服裝與所述第一樣本物件在所述第二樣本圖片關聯的服裝不同；從所述第一樣本圖片中截取包含第一樣本服裝的第三樣本圖片，所述第一樣本服裝為所述第一樣本物件在所述第一樣本圖片關聯的服裝；獲取包含第二樣本服裝的第四樣本圖片，所述第二樣本服裝與所述第一樣本服裝之間的相似度大於第二閾值；根據所述第一樣本圖片、所述第二樣本圖片、所述第三樣本圖片以及所述第四樣本圖片訓練第二模型和第三模型，所述第三模型與所述第二模型的網路結構相同，所述第一模型為所述第二模型或者所述第三模型。
在本申請的一些實施例中，所述訓練模組，配置為將所述第一樣本圖片和所述第三樣本圖片輸入第二模型，得到第一樣本特徵向量，所述第一樣本特徵向量用於表示所述第一樣本圖片和所述第三樣本圖片的融合特徵；將所述第二樣本圖片和所述第四樣本圖片輸入第三模型，得到第二樣本特徵向量，所述第二樣本特徵向量用於表示所述第二樣本圖片和所述第四樣本圖片的融合特徵；根據所述第一樣本特徵向量和所述第二樣本特徵向量，確定模型總損失，並根據所述模型總損失，訓練所述第二模型和所述第三模型。
在本申請的一些實施例中，所述第一樣本圖片和所述第二樣本圖片為樣本圖庫中的圖片，所述樣本圖庫包括M個樣本圖片，所述M個樣本圖片與N個樣本物件關聯，所述M大於或者等於2N，所述M、N為大於或者等於1的整數；所述訓練模組，還配置為根據所述第一樣本特徵向量，確定第一概率向量，所述第一概率向量用於表示所述第一樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率；根據所述第二樣本特徵向量，確定第二概率向量，所述第二概率向量用於表示所述第二樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率；根據所述第一概率向量和所述第二概率向量，確定模型總損失。
在本申請的一些實施例中，所述訓練模組，還配置為根據所述第一概率向量，確定所述第二模型的模型損失；根據所述第二概率向量，確定所述第三模型的模型損失；根據所述第二模型的模型損失和所述第三模型的模型損失，確定模型總損失。
本申請實施例還提供了一種圖片處理設備，包括處理器、記憶體、以及輸入輸出介面，所述處理器、記憶體和輸入輸出介面相互連接，其中，所述輸入輸出介面配置為輸入或輸出資料，所述記憶體配置為儲存圖片處理設備執行上述方法的應用程式碼，所述處理器被配置為執行上述任意一種圖片處理方法。
本申請實施例還提供了一種電腦儲存媒體，所述電腦儲存媒體儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行上述任意一種圖片處理方法。
本申請實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在圖片處理設備中運行時，所述圖片處理設備中的處理器執行上述任意一種圖片處理方法。
在本申請實施例中，透過獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片，將第一圖片和第二圖片輸入第一模型，得到第一融合特徵向量，獲取包含第二物件的第三圖片與包含第三圖片中截取的第二服裝的第四圖片的第二融合特徵向量，根據第一融合特徵向量和第二融合特徵向量之間的目標相似度，確定第一物件與第二物件是否為同一個物件；由於在對待查詢物件（第一物件）進行特徵提取時，將待查詢物件的服裝替換為與待查詢對象可能穿過的第一服裝，即提取待查詢物件的特徵時弱化了服裝的特徵，而重點在於提取更具區分性的其他特徵，從而在待查詢物件更換服裝後，仍然能夠達到很高的識別準確率。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本申請。根據下面參考附圖對示例性實施例的詳細說明，本申請的其它特徵及方面將變得清楚。
下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出進步性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
本申請實施例的方案適用於確定不同的圖片中的物件是否為同一物件的場景中，透過獲取包含第一物件的第一圖片（待查詢的圖片）以及包含第一服裝的第二圖片，將第一圖片和第二圖片輸入第一模型，得到第一融合特徵向量，獲取包含第二物件的第三圖片與包含第三圖片中截取的第二服裝的第四圖片的第二融合特徵向量，根據第一融合特徵向量和第二融合特徵向量之間的目標相似度，確定第一物件與第二物件是否為同一個物件。
本申請實施例提供了一種圖片處理方法，該圖片處理方法可以由圖片處理裝置50執行，圖片處理裝置可以是使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等，所述方法可以透過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可透過伺服器執行該方法。
第1A圖是本申請實施例提供的一種圖片處理方法的流程示意圖，如第1A圖所示，該方法包括： S101：獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片。
這裡，第一圖片可以包括第一物件的臉部和第一物件的服裝，可以是第一物件的全身照片或者半身照片，等等。在一種可能的場景中，例如第一圖片為警方提供的某個犯罪嫌疑人的圖片，則第一物件為該犯罪嫌疑人，第一圖片可以為包含該犯罪嫌疑人未遮擋臉部和服裝的全身圖片，或者包含該犯罪嫌疑人未遮擋臉部和服裝的半身圖片等；或者第一物件為失蹤物件的親屬提供的失蹤物件（例如失蹤兒童、失蹤老年人等）的照片，則第一圖片可以為包含失蹤物件的未遮擋臉部和服裝的全身照片，或者包含失蹤物件的未遮擋臉部和服裝的半身照片。
第二圖片可以包括第一物件可能穿過的服裝的圖片或者預測該第一物件可能穿的服裝，第二圖片中只包括服裝，不包括其他對象（例如行人），第二圖片中的服裝與第一圖片中的服裝可以不同。例如，第一圖片中的第一物件穿著的服裝為款式1的藍色服裝，則第二圖片中的服裝為除款式1的藍色服裝以外的服裝，例如可以為款式1的紅色服裝、款式2的藍色服裝，等等，可以理解的是，第二圖片中的服裝與第一圖片中的服裝可以相同，即預測該第一物件仍然穿著該第一圖片中的服裝。
S102：將第一圖片和第二圖片輸入第一模型，得到第一融合特徵向量，第一融合特徵向量用於表示第一圖片和第二圖片的融合特徵。
這裡，將第一圖片和第二圖片輸入第一模型，透過第一模型對第一圖片和第二圖片進行特徵提取，得到包含第一圖片和第二圖片的融合特徵的第一融合特徵向量，該第一融合特徵向量可以為進行降維處理後的低維特徵向量。
其中，第一模型可以是第4圖中的第二模型41或者第三模型42，第二模型與第三模型的網路結構相同。在本申請的一些實施例中，透過第一模型41對第一圖片和第二圖片進行特徵提取的過程可參考第4圖對應的實施例中第二模型41、第三模型42提取融合特徵過程。例如，第一模型為第二模型41，則可以透過第一特徵提取模組對第一圖片進行特徵提取，透過第二特徵提取模組對第二圖片進行特徵提取，然後將第一特徵提取模組提取的特徵與第二特徵提取模組提取的特徵透過第一融合模組得到融合特徵向量；在本申請的一些實施例中，再透過第一降維模組對該融合特徵向量進行降維處理，得到第一融合特徵向量。
需要說明的是，可以預先對第二模型41和第三模型42進行訓練，使得透過使用訓練後的第二模型41或者第三模型42提取到的第一融合特徵向量更準確，具體地對第二模型41和第三模型42進行訓練的過程可參考第4圖對應的實施例中的描述，此處不做過多描述。
S103：獲取第二融合特徵向量，其中，第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，第三圖片包含第二物件，第四圖片是從第三圖片截取的包含第二服裝的圖片。
這裡，第三圖片可以是架設在各大商場、超市、路口、銀行或者其他位置的攝影設備拍攝到的包含行人的圖片，或者可以是架設在各大商場、超市、路口、銀行或者其他位置的監控設備拍攝的監控影片中截取到的包含行人的圖片。資料庫中可以儲存多個第三圖片，則對應的第二融合特徵向量的數量也可以為多個。
在本申請的一些實施例中，可以在獲取到第三圖片的情況下，可以將每張第三圖片和從該張第三圖片中截取的包含第二服裝的第四圖片輸入第一模型，透過第一模型對第三圖片和第四圖片進行特徵提取，得到第二融合特徵向量，並且將第三圖片與第四圖片對應的第二融合特徵向量對應儲存到資料庫中，進而可以從資料庫中獲取第二融合特徵向量，從而確定第二融合特徵向量對應的第三圖片中的第二物件。具體透過第一模型對第三圖片和第四圖片進行特徵提取的過程可參考前述透過第一模型對第一圖片和第二圖片進行特徵提取的過程，在此不再贅述。一個第三圖片對應一個第二融合特徵向量，資料庫中可以儲存多個第三圖片以及每個第三圖片對應第二融合特徵向量。
在獲取第二融合特徵向量時，會獲取資料庫中的每個第二融合特徵向量。在本申請的一些實施例中，可以預先對第一模型進行訓練，使得透過使用訓練後的第一模型提取到的第二融合特徵向量更準確，具體地對第一模型進行訓練的過程可參考第4圖對應的實施例中的描述，此處不做過多描述。
S104：根據第一融合特徵向量和第二融合特徵向量之間的目標相似度，確定第一物件與第二物件是否為同一個物件。
這裡，可以根據第一融合特徵向量和第二融合特徵向量之間的目標相似度與第一閾值的關係，確定第一物件與第二物件是否為同一個物件。第一閾值可以為60%、70%、80%等任意數值，此處不對第一閾值進行限定。在本申請的一些實施例中，可以採用孿生（Siamese）網路架構來計算第一融合特徵向量與第二融合特徵向量之間的目標相似度。
在本申請的一些實施例中，由於資料庫中包含多個第二融合特徵向量，因此需要計算第一融合特徵向量與資料庫中包含的多個第二融合特徵向量中的每個第二融合特徵向量之間的目標相似度，從而根據目標相似度是否大於第一閾值確定第一物件與資料庫中的各個第二融合特徵向量對應的第二物件是否為同一個物件。響應於第一融合特徵向量和第二融合特徵向量之間的目標相似度大於第一閾值的情況，確定第一物件與第二物件為同一個物件；響應於第一融合特徵向量和第二融合特徵向量之間的目標相似度小於或者等於第一閾值的情況，確定第一物件與第二物件不為同一個物件。透過上述方式，可以確定出資料庫中的多張第三圖片中是否存在第一物件穿第一服裝或者與第一服裝相似的圖片。
在本申請的一些實施例中，可以對第一融合特徵向量和第二融合特徵向量之間的目標相似度進行計算，例如根據歐氏距離、餘弦距離、曼哈頓距離等對第一融合特徵向量和第二融合特徵向量之間的目標相似度進行計算。若第一閾值為80%，且計算得到的目標相似度為60%，則確定第一物件與第二物件不為同一個物件；若目標相似度為85%，則確定第一物件與第二物件為同一個物件。
本申請實施例的圖片處理方法，能夠應用於嫌犯追蹤、失蹤人口尋找等場景中。第1B圖是本申請實施例的一個應用場景的示意圖，如第1B圖所示，在警方查找犯罪嫌疑人的場景中，犯罪嫌疑人的圖片11為上述第一圖片，犯罪嫌疑人穿過的服裝（或者預測犯罪嫌疑人可能穿的服裝）的圖片12為上述第二圖片；預先拍攝到的圖片13為上述第三圖片，透過對預先拍攝到的圖片13，從預先拍攝到的圖片13截取到的包含服裝的圖片14為上述第四圖片；例如，預先拍攝到的圖片可以是各大商場、超市、路口、銀行等位置拍攝到的行人圖片以及監控影片中截取到的行人圖片；在本申請實施例中，可以將第一圖片、第二圖片、第三圖片和第四圖片輸入至圖片處理裝置50中；在圖片處理裝置50中可以基於前述實施例記載的圖片處理方法進行處理，從而可以確定第三圖片中的第二物件是否為第一圖片中的第一物件，即可以確定第二對象是否為犯罪嫌疑人。
在本申請的一些實施例中，響應於第一物件與第二物件為同一個物件的情況，獲取拍攝第三圖片的終端設備的標識；根據終端設備的標識，確定終端設備設置的目標地理位置，並建立目標地理位置與第一物件之間的關聯關係。
這裡，第三圖片的終端設備的標識用於唯一地標識拍攝第三圖片的終端設備，例如可以包括拍攝第三圖片的終端設備的設備出廠編號、終端設備的位置編號、終端設備的代號等用於唯一地指示該終端設備的標識；終端設備設置的目標地理位置可以包括拍攝第三圖片的終端設備的地理位置或者上傳第三圖片的終端設備的地理位置，地理位置可以具體到「A省B市C區D路E單元F層」，其中，上傳第三圖片的終端設備的地理位置可以為終端設備上傳第三圖片時對應的伺服器網際網路協議（Internet Protocol，IP）地址；這裡，當拍攝第三圖片的終端設備的地理位置與上傳第三圖片的終端設備的地理位置不一致時，可以將拍攝第三圖片的終端設備的地理位置確定為目標地理位置。目標地理位置與第一物件之間的關聯關係可以表示第一物件處於目標地理位置所在區域內，例如目標地理位置為A省B市C區D路E單元F層，則可以表示第一物件所在的位置即A省B市C區D路E單元F層，或者第一物件所在的位置為目標地理位置一定範圍內。
在本申請的一些實施例中，在確定第一物件與第二物件為同一個物件的情況下，確定包含該第二物件的第三圖片，並獲取拍攝該第三圖片的終端設備的標識，從而確定與該終端設備的標識對應的終端設備，進而確定該終端設備設置的目標地理位置，並根據目標地理位置與第一物件之間的關聯關係確定出第一物件所在的位置，實現對第一對象的追蹤。
例如，對於第1B圖所示的場景，在確定第一物件與第二物件為同一個物件的情況下，即，在確定第二物件為犯罪嫌疑人的情況下，還可以獲取上傳第三圖片的攝影設備的地理位置，從而確定犯罪嫌疑人的移動軌跡，從而實現警方對犯罪嫌疑人的追蹤以及逮捕。
在本申請的一些實施例中，還可以確定終端設備拍攝第三圖片的時刻，拍攝第三圖片的時刻代表在該時刻時第一對象處於該終端設備所在的目標地理位置，由此可根據時間間隔推斷出第一物件當前可能處於的位置範圍，從而可以對第一物件當前可能處於的位置範圍內的終端設備進行搜索，可提高查找第一對象的位置的效率。
本申請實施例中，透過獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片，將第一圖片和第二圖片輸入第一模型，得到第一融合特徵向量，獲取包含第二物件的第三圖片與包含第三圖片中截取的第二服裝的第四圖片的第二融合特徵向量，根據第一融合特徵向量和第二融合特徵向量之間的目標相似度，確定第一物件與第二物件是否為同一個物件；由於在對待第一物件進行特徵提取時，將第一對象的服裝替換為與第一對象可能穿過的第一服裝，即提取第一物件的特徵時弱化了服裝的特徵，而重點在於提取更具區分性的其他特徵，從而在目標物件更換服裝後，仍然能夠達到很高的識別準確率；在確定第一物件與第二物件為同一個物件的情況下，透過獲取拍攝包含第二物件的第三圖片的終端設備的標識，從而確定拍攝第三圖片的終端設備的地理位置，進而確定第一物件可能的位置區域，可提高對第一對象的查找效率。
在本申請的一些實施例中，為了使得模型提取到的圖片的特徵更準確，在將第一圖片和第二圖片輸入模型得到第一融合特徵向量（使用模型）之前，還可以使用大量樣本圖片對模型進行訓練，並根據訓練得到的損失值對模型進行調整，使得訓練完成的模型提取到的圖片中的特徵更準確，具體訓練模型的步驟如第2圖所示，第2圖是本申請實施例提供的另一種圖片處理方法的流程示意圖，如第2圖所示，該方法包括：
S201：獲取第一樣本圖片和第二樣本圖片，第一樣本圖片和第二樣本圖片均包含第一樣本物件，第一樣本物件在第一樣本圖片關聯的服裝與第一樣本物件在第二樣本圖片關聯的服裝不同。
這裡，第一樣本物件在第一樣本圖片關聯的服裝即第一樣本圖片中第一樣本物件穿著的服裝，其中，不包括第一樣本圖片中第一樣本物件未穿著的服裝，例如第一樣本物件手中拿著的服裝，或者身旁放著的未穿著的服裝。第一樣本圖片中的第一樣本物件的服裝與第二樣本圖片中的第一樣本物件的服裝不同。服裝不同可以包括服裝的顏色不同、服裝的款式不同、服裝的顏色以及款式都不同等。
在本申請的一些實施例中，可以預先設置一個樣本圖庫，則第一樣本圖片和第二樣本圖片為樣本圖庫中的圖片，其中，樣本圖庫包括M個樣本圖片，M個樣本圖片與N個樣本物件關聯，M大於或者等於2N， M、N為大於或者等於1的整數。在本申請的一些實施例中，樣本圖庫中的每個樣本物件對應一個編號，例如可以為樣本物件的身份標識號（Identity Document，ID）號、或者用於唯一地標識該樣本物件的數位編號等。例如樣本圖庫中有5000個樣本物件，則5000個樣本物件的編號可以為1-5000；可以理解的是，1個編號可對應多張樣本圖片，即樣本圖庫中可包括編號1的樣本物件的多張樣本圖片（即編號1的樣本物件穿不同服裝的圖片）、編號2的樣本物件的多張樣本圖片、編號3的樣本物件的多張樣本圖片，等等。編號相同的多張樣本圖片中，該樣本物件穿的服裝不同，即同一樣本物件對應的多張圖片中每張圖片中的樣本物件穿的服裝不同。第一樣本物件可以是該N個樣本物件中的任意一個樣本物件。第一樣本圖片可以是該第一樣本圖像的多張樣本圖片中的任意一張樣本圖片。
S202：從第一樣本圖片中截取包含第一樣本服裝的第三樣本圖片，第一樣本服裝為第一樣本物件在第一樣本圖片關聯的服裝。
這裡，第一樣本服裝即第一樣本圖片中第一樣本物件穿著的服裝，第一樣本服裝可以包括衣服、褲子、裙子、衣服加褲子等。第三樣本圖片可以為從第一樣本圖片截取的包含第一樣本服裝的圖片，第3A圖是本申請實施例提供的第一樣本圖片的示意圖；第3B圖是本申請實施例提供的第三樣本圖片的示意圖；如第3A圖和第3B圖所示，第三樣本圖片N3為從第一樣本圖片N1中截圖得到的圖片。當第一樣本圖片中的第一樣本物件穿有多件服裝時，第一樣本服裝可以為第一樣本圖片中占最大比例的服裝，例如第一樣本物件的外套在第一樣本圖片中占的比例為30%，第一樣本物件的襯衫在第一樣本圖片中占的比例為10%，則第一樣本服裝為第一樣本物件的外套，則第三樣本圖片為包含第一樣本物件的外套的圖片。
S203：獲取包含第二樣本服裝的第四樣本圖片，第二樣本服裝與第一樣本服裝之間的相似度大於第二閾值。
這裡，第四樣本圖片為包含第二樣本服裝的圖片，可以理解的是，第四樣本圖片中只包含第二樣本服裝，不包含樣本物件。第3C圖是本申請實施例提供的第四樣本圖片的示意圖，第3C圖中，第四樣本圖片N4表示包含第二樣本服裝的圖像。
在本申請的一些實施例中，可以透過將第三樣本圖片輸入到網際網路中查找第四樣本圖片，例如將第三樣本圖片輸入到具有圖片識別功能的應用程式中進行查找與第三樣本圖片中的第一樣本服裝相似度大於第二閾值的第二樣本服裝所在的圖片，例如可以將第三樣本圖片輸入到應用程式（Application，APP）中進行查找得到多張圖片，從中選取多張圖片中與第一樣本服裝最相似且圖片中只包含第二樣本服裝的一張圖片，即第四樣本圖片。
S204：根據第一樣本圖片、第二樣本圖片、第三樣本圖片以及第四樣本圖片訓練第二模型和第三模型，第三模型與第二模型的網路結構相同，第一模型為第二模型或者第三模型。
在本申請的一些實施例中，根據第一樣本圖片、第二樣本圖片、第三樣本圖片以及第四樣本圖片訓練第二模型和第三模型可包括以下步驟： 步驟一：將第一樣本圖片和第三樣本圖片輸入第二模型，得到第一樣本特徵向量，第一樣本特徵向量用於表示第一樣本圖片和第三樣本圖片的融合特徵。
下面具體介紹將第一樣本圖片和第三樣本圖片輸入第二模型，得到第一樣本特徵向量的過程。可參考第4圖，第4圖為本申請實施例提供的一種訓練模型的示意圖，如第4圖所示： 首先，將第一樣本圖片N1和第三樣本圖片N3輸入第二模型41，透過第二模型41中的第一特徵提取模組411對第一樣本圖片N1進行特徵提取，得到第一特徵矩陣，透過第二模型41中的第二特徵提取模組412對第三樣本圖片N3進行特徵提取，得到第二特徵矩陣；接著，透過第二模型41中的第一融合模組413對第一特徵矩陣與第二特徵矩陣進行融合處理得到第一融合矩陣；然後，透過第二模型41中的第一降維模組414對第一融合矩陣進行降維處理，得到第一樣本特徵向量；最後，透過第一分類別模組43對第一樣本特徵向量進行分類，得到第一概率向量。
在本申請的一些實施例中，第一特徵提取模組411與第二特徵提取模組412可以包括多個殘差網路，用於對圖片進行特徵提取，殘差網路中可包括多個殘差塊，殘差塊由卷積層組成，透過殘差網路中的殘差塊對圖片進行特徵提取，可以壓縮每次透過殘差網路中的卷積層對圖片進行卷積得到的圖片對應的特徵，減少模型中的參數量以及計算量；第一特徵提取模組411與第二特徵提取模組412中的參數不同；第一融合模組413配置為融合透過第一特徵提取模組411提取到的第一樣本圖片N1的特徵和透過第二特徵提取模組412提取到的第三樣本圖片N3的特徵，例如透過第一特徵提取模組411提取到的第一樣本圖片N1的特徵為512維的特徵矩陣，透過第二特徵提取模組412提取到的第三樣本圖片N3的特徵為512維的特徵矩陣，透過第一融合模組413融合第一樣本圖片N1的特徵和第三樣本圖片N3的特徵後得到1024維的特徵矩陣；第一降維模組414可以為全連接層，用於減少模型訓練中的計算量，例如融合第一樣本圖片N1的特徵和第三樣本圖片N3的特徵後的矩陣為高維特徵矩陣，透過第一降維模組414對高維特徵矩陣進行降維可以得到低維特徵矩陣，例如高維特徵矩陣為1024維，透過第一降維模組進行降維可以得到256維的低維特徵矩陣，透過降維處理可以減少模型訓練中的計算量；第一分類別模組43配置為對第一樣本特徵向量進行分類，得到第一樣本特徵向量對應的第一樣本圖片N1中的樣本物件為樣本圖庫中N個樣本物件中每個樣本物件的概率。
步驟二：將第二樣本圖片N2和第四樣本圖片N4輸入第三模型42，得到第二樣本特徵向量，第二樣本特徵向量用於表示第二樣本圖片N2和第四樣本圖片N4的融合特徵。
下面具體介紹將第二樣本圖片N2和第四樣本圖片N4輸入第三模型42，得到第二樣本特徵向量的過程。可參考第4圖，第4圖為本申請實施例提供的一種訓練模型的示意圖： 首先，將第二樣本圖片N2和第四樣本圖片N4輸入第三模型42，透過第三模型42中的第三特徵提取模組421對第二樣本圖片N2進行特徵提取，得到第三特徵矩陣，透過第四特徵提取模組422對第四樣本圖片N4進行特徵提取，得到第四特徵矩陣；接著，透過第三模型42中的第二融合模組423對第三特徵矩陣與第四特徵矩陣進行融合處理得到第二融合矩陣；最後，透過第三模型42中的第二降維模組424對第二融合矩陣進行降維處理，得到第二樣本特徵向量；最後，透過第二分類別模組44對第二樣本特徵向量進行分類，得到第二概率向量。
在本申請的一些實施例中，第三特徵提取模組421與第四特徵提取模組422可以包括多個殘差網路，用於對圖片進行特徵提取，殘差網路中可包括多個殘差塊，殘差塊由卷積層組成，透過殘差網路中的殘差塊對圖片進行特徵提取，可以壓縮每次透過殘差網路中的卷積層對圖片進行卷積得到的圖片對應的特徵，減少模型中的參數量以及計算量；其中，第三特徵提取模組421與第四特徵提取模組422中的參數不同，第三特徵提取模組421與第一特徵提取模組411中的參數可以相同，第四特徵提取模組422與第二特徵提取模組412中的參數可以相同。第二融合模組423配置為融合透過第三特徵提取模組412提取到的第二樣本圖片N2的特徵和透過第四特徵提取模組422提取到的第四樣本圖片N4的特徵，例如透過第三特徵提取模組421提取到的第二樣本圖片N2的特徵為512維的特徵矩陣，透過第四特徵提取模組422提取到的第四樣本圖片N4的特徵為512維的特徵矩陣，透過第二融合模組423融合第二樣本圖片N2的特徵和第四樣本圖片N4的特徵後得到1024維的特徵矩陣；第二降維模組424可以為全連接層，用於減少模型訓練中的計算量，例如融合第二樣本圖片N2的特徵和第四樣本圖片N4的特徵後的矩陣為高維特徵矩陣，透過第二降維模組424對高維特徵矩陣進行降維可以得到低維特徵矩陣，例如高維特徵矩陣為1024維，透過第二降維模組424進行降維可以得到256維的低維特徵矩陣，透過降維處理可以減少模型訓練中的計算量；第二分類別模組44配置為對第二樣本特徵向量進行分類，得到第二樣本特徵向量對應的第二樣本圖片N2中的樣本物件為樣本圖庫中N個樣本物件中每個樣本物件的概率。
第4圖中，第三樣本圖片N3為從第一樣本圖片N1中截取的樣本物件的服裝a的圖片，第二樣本圖片N2中的服裝為服裝b，服裝a與服裝b為不同的服裝，第四樣本圖片N4中的服裝即服裝a，第一樣本圖片N1中的樣本物件與第二樣本圖片N2中的樣本物件為同一個樣本物件，例如都為編號1的樣本物件，第4圖中的第二樣本圖片N2為包含樣本物件服裝的半身圖片，也可以為包含樣本物件服裝的全身圖片。
在步驟一至步驟二中，第二模型41與第三模型42可以為兩個參數相同的模型，在第二模型41與第三模型42為兩個參數相同的模型的情況下，透過第二模型41對第一樣本圖片N1和第三樣本圖片N3進行特徵提取與透過第三模型42對第二樣本圖片N2 和第四樣本圖片N4進行特徵提取可以同時進行。
步驟三：根據第一樣本特徵向量和第二樣本特徵向量，確定模型總損失45，並根據模型總損失45，訓練第二模型41和第三模型42。
具體根據第一樣本特徵向量和第二樣本特徵向量，確定模型總損失的方法可包括以下透過以下方式： 首先，根據第一樣本特徵向量，確定第一概率向量，第一概率向量用於表示第一樣本圖片中第一樣本物件為N個樣本物件中每個樣本物件的概率。
這裡，根據第一樣本特徵向量確定第一概率向量，該第一概率向量中包括N個值，每個值用於表示該第一樣本圖片中的第一樣本物件為N個樣本物件中每個樣本物件的概率。在本申請的一些實施例中，例如N為3000，第一樣本特徵向量為低維的256維向量，將該第一樣本特徵向量與一個256*3000的向量相乘，即得到一個1*3000的向量，其中256*3000的向量中包含樣本圖庫中3000個樣本物件的特徵。進一步對上述1*3000的向量進行歸一化處理，得到第一概率向量，該第一概率向量中包含3000個概率，該3000個概率用於表示該第一樣本物件為3000個樣本物件中每個樣本物件的概率。
其次，根據第二樣本特徵向量，確定第二概率向量，第二概率向量用於表示第二樣本圖片中第一樣本物件為N個樣本物件中每個樣本物件的概率。
這裡，根據第二樣本特徵向量確定第二概率向量，該第二概率向量中包括N個值，每個值用於表示該第二樣本圖片中的第二樣本物件為N個樣本物件中每個樣本物件的概率。在本申請的一些實施例中，例如N為3000，第二樣本特徵向量為低維的256維向量，將該第二樣本特徵向量與一個256*3000的向量相乘，即得到一個1*3000的向量，其中256*3000的向量中包含樣本圖庫中3000個樣本物件的特徵。進一步對上述1*3000的向量進行歸一化處理，得到第二概率向量，該第二概率向量中包含3000個概率，該3000個概率用於表示該第二樣本物件為3000個樣本物件中每個樣本物件的概率。
最後，根據第一概率向量和第二概率向量，確定模型總損失。
在本申請的一些實施例中，可以首先根據第一概率向量，確定第二模型的模型損失；接著，根據第二概率向量，確定第三模型的模型損失；最後，根據第二模型的模型損失和第三模型的模型損失，確定模型總損失，如第4圖所示，透過得到的模型總損失45對第二模型41與第三模型42進行調整，即對第二模型41中的第一特徵提取模組411、第一融合模組413、第一降維模組414以及第一分類別模組43，以及對第三模型42中的第二特徵提取模組421、第二融合模組423、第二降維模組424以及第二分類別模組44進行調整。
從第一概率向量中獲取最大概率值，並根據該最大概率值對應的樣本物件的編號，以及該第一樣本圖片的編號，計算第二模型的模型損失，該第二模型的模型損失用於表示該最大概率值對應的樣本物件的編號，以及該第一樣本圖片的編號之間的差異。計算得到的第二模型的模型損失越小，則說明第二模型更加準確，所提取的特徵更具區分性。
從第二概率向量中獲取最大概率值，並根據該最大概率值對應的樣本物件的編號，以及該第二樣本圖片的編號，計算第三模型的模型損失，該第三模型的模型損失用於表示該最大概率值對應的樣本物件的編號，以及該第二樣本圖片的編號之間的差異。計算得到的第三模型的模型損失越小，則說明第三模型更加準確，所提取的特徵更具區分性。
這裡，模型總損失可以為第二模型的模型損失與第三模型的模型損失之和。當第二模型的模型損失與第三模型的模型損失較大時，模型總損失也較大，即模型提取到的物件的特徵向量的準確性較低，可以採用梯度下降法對第二模型41中的各個模組（第一特徵提取模組411、第二特徵提取模組412、第一融合模組413、第一降維模組414）與第三模型42中的各個模組（第三特徵提取模組421、第四特徵提取模組422、第二融合模組423、第二降維模組424）進行調整，使得模型訓練的參數更準確，從而使得透過第二模型41、第三模型42提取到的圖片中的物件的特徵更準確，即弱化圖片中的服裝特徵，使得提取到的圖片中的特徵更多為圖片中的物件的特徵，即提取到的特徵更具區分性，從而透過第二模型41、第三模型42提取到的圖片中的物件的特徵更準確。
本申請實施例中是將樣本圖庫中的任意一個樣本物件（例如編號為1的樣本物件）輸入模型中進行訓練的過程，透過將編號為2至N的任意樣本物件輸入模型中進行訓練，可以提高模型提取圖片中的物件的準確性，具體將樣本圖庫中的編號為2至N的樣本物件輸入模型中進行訓練的過程可參考將編號為1的樣本物件輸入模型中進行訓練的過程，此處不做過多描述。
本申請實施例中，由於使用多個樣本圖庫中的樣本圖片對模型進行訓練，且樣本圖庫中的每個樣本圖片對應一個編號，透過對該編號對應的某一個樣本圖片以及該樣本圖片中的服裝圖片進行特徵提取得到融合特徵向量，並對提取到的融合特徵向量與該編號對應的樣本圖片的目標樣本特徵向量之間的相似度進行計算，可以根據計算得到的結果確定模型是否準確，在模型的損失較大（即模型不準確）的情況下，可以透過樣本圖庫中的剩餘樣本圖片繼續對模型進行訓練，由於使用了大量的樣本圖片對模型進行了訓練，因此訓練後的模型更準確，從而透過模型提取到的圖片中的物件的特徵更準確。
上面介紹了本申請實施例的方法，下面介紹本申請實施例的裝置。
參見第5圖，第5圖是本申請實施例提供的一種圖片處理裝置的組成結構示意圖，該裝置50包括： 第一獲取模組501，配置為獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片。
這裡，第一圖片可以包括第一物件的臉部和第一物件的服裝，可以是第一物件的全身照片或者半身照片，等等。在一種可能的場景中，例如第一圖片為警方提供的某個犯罪嫌疑人的圖片，則第一物件為該犯罪嫌疑人，第一圖片可以為包含該犯罪嫌疑人未遮擋臉部和服裝的全身圖片，或者包含該犯罪嫌疑人未遮擋臉部和服裝的半身圖片等；或者第一物件為失蹤物件的親屬提供的失蹤物件（例如失蹤兒童、失蹤老年人等）的照片，則第一圖片可以為包含失蹤物件的未遮擋臉部和服裝的全身照片，或者包含失蹤物件的未遮擋臉部和服裝的半身照片。第二圖片可以包括第一物件可能穿過的服裝的圖片或者預測該第一物件可能穿的服裝，第二圖片中只包括服裝，不包括其他對象（例如行人），第二圖片中的服裝與第一圖片中的服裝可以不同。例如，第一圖片中的第一物件穿著的服裝為款式1的藍色服裝，則第二圖片中的服裝為除款式1的藍色服裝以外的服裝，例如可以為款式1的紅色服裝、款式2的藍色服裝，等等，可以理解的是，第二圖片中的服裝與第一圖片中的服裝可以相同，即預測該第一物件仍然穿著該第一圖片中的服裝。
第一融合模組502，配置為將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，所述第一融合特徵向量用於表示所述第一圖片和所述第二圖片的融合特徵。
這裡，第一融合模組502將第一圖片和第二圖片輸入第一模型，透過第一模型對第一圖片和第二圖片進行特徵提取，得到包含第一圖片和第二圖片的融合特徵的第一融合特徵向量，該第一融合特徵向量可以為進行降維處理後的低維特徵向量。
其中，第一模型可以是第4圖中的第二模型41或者第三模型42，第二模型41與第三模型42的網路結構相同。具體實現中，透過第一模型對第一圖片和第二圖片進行特徵提取的過程可參考第4圖對應的實施例中第二模型41、第三模型42的提取融合特徵過程。例如，第一模型為第二模型42，則第一融合模組502可以透過第一特徵提取模組411對第一圖片進行特徵提取，透過第二特徵提取模組412對第二圖片進行特徵提取，然後將第一特徵提取模組411提取的特徵與第二特徵提取模組412提取的特徵透過第一融合模組413得到融合特徵向量；在本申請的一些實施例中，再透過第一降維模組414對該融合特徵向量進行降維處理，得到第一融合特徵向量。
需要說明的是，第一融合模組502可以預先對第二模型41和第三模型42進行訓練，使得透過使用訓練後的第二模型41或者第三模型42提取到的第一融合特徵向量更準確，具體地第一融合模組502對第二模型41和第三模型42進行訓練的過程可參考第4圖對應的實施例中的描述，此處不做過多描述。
第二獲取模組503，配置為獲取第二融合特徵向量，其中，所述第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，所述第三圖片包含第二物件，所述第四圖片是從所述第三圖片截取的包含第二服裝的圖片。
這裡，第三圖片可以是架設在各大商場、超市、路口、銀行或者其他位置的攝影設備拍攝到的包含行人的圖片，或者可以是架設在各大商場、超市、路口、銀行或者其他位置的監控設備拍攝的監控影片中截取到的包含行人的圖片。資料庫中可以儲存多個第三圖片，則對應的第二融合特徵向量的數量也可以為多個。
在第二獲取模組503獲取第二融合特徵向量時，會獲取資料庫中的每個第二融合特徵向量。具體實現中，第二獲取模組503可以預先對第一模型進行訓練，使得透過使用訓練後的第一模型提取到的第二融合特徵向量更準確，具體地對第一模型進行訓練的過程可參考第4圖對應的實施例中的描述，此處不做過多描述。
物件確定模組504，配置為根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件。
這裡，物件確定模組504可以根據第一融合特徵向量和第二融合特徵向量之間的目標相似度與第一閾值的關係，確定第一物件與第二物件是否為同一個物件。第一閾值可以為60%、70%、80%等任意數值，此處不對第一閾值進行限定。在本申請的一些實施例中，物件確定模組504可以採用Siamese網路架構來計算第一融合特徵向量與第二融合特徵向量之間的目標相似度。
在本申請的一些實施例中，由於資料庫中包含多個第二融合特徵向量，因此物件確定模組504需要計算第一融合特徵向量與資料庫中包含的多個第二融合特徵向量中的每個第二融合特徵向量之間的目標相似度，從而根據目標相似度是否大於第一閾值確定第一物件與資料庫中的各個第二融合特徵向量對應的第二物件是否為同一個物件。若第一融合特徵向量和第二融合特徵向量之間的目標相似度大於第一閾值，則物件確定模組504確定待第一物件與第二物件為同一個物件；若第一融合特徵向量和第二融合特徵向量之間的目標相似度小於或者等於第一閾值，則物件確定模組504確定第一物件與第二物件不為同一個物件。透過上述方式，物件確定模組504可以確定出資料庫中的多張第三圖片中是否存在第一物件穿第一服裝或者與第一服裝相似的圖片。
在本申請的一些實施例中，物件確定模組504，配置為回應於所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度大於第一閾值的情況，確定所述第一物件與所述第二物件為同一個物件。
在本申請的一些實施例中，物件確定模組504可以對第一融合特徵向量和第二融合特徵向量之間的目標相似度進行計算，例如根據歐氏距離、餘弦距離、曼哈頓距離等對第一融合特徵向量和第二融合特徵向量之間的目標相似度進行計算。例如，若第一閾值為80%，且計算得到的目標相似度為60%，則確定第一物件與第二物件不為同一個物件；若目標相似度為85%，則確定第一物件與第二物件為同一個物件。
在本申請的一些實施例中，所述第二獲取模組503，配置為將所述第三圖片和所述第四圖片輸入所述第一模型，得到所述第二融合特徵向量。
在第二獲取模組503獲取到第三圖片的情況下，可以將每張第三圖片和從該張第三圖片中截取的包含第二服裝的第四圖片輸入第一模型，透過第一模型對第三圖片和第四圖片進行特徵提取，得到第二融合特徵向量，並且將第三圖片與第四圖片對應的第二融合特徵向量對應儲存到資料庫中，進而可以從資料庫中獲取第二融合特徵向量，從而確定第二融合特徵向量對應的第三圖片中的第二物件。具體第二融合模組505第一模型對第三圖片和第四圖片進行特徵提取的過程可參考前述透過第一模型對第一圖片和第二圖片進行特徵提取的過程，在此不再贅述。一個第三圖片對應一個第二融合特徵向量，資料庫中可以儲存多個第三圖片以及每個第三圖片對應第二融合特徵向量。
在第二融合模組505獲取第二融合特徵向量時，會獲取資料庫中的每個第二融合特徵向量。在本申請的一些實施例中，第二融合模組505可以預先對第一模型進行訓練，使得透過使用訓練後的第一模型提取到的第二融合特徵向量更準確，具體地對第一模型進行訓練的過程可參考第4圖對應的實施例中的描述，此處不做過多描述。
在本申請的一些實施例中，所述裝置50還包括： 位置確定模組506，配置為回應於所述第一物件與所述第二物件為同一個物件的情況，獲取拍攝所述第三圖片的終端設備的標識。
這裡，第三圖片的終端設備的標識用於唯一地標識拍攝第三圖片的終端設備，例如可以包括拍攝第三圖片的終端設備的設備出廠編號、終端設備的位置編號、終端設備的代號等用於唯一地指示該終端設備的標識；終端設備設置的目標地理位置可以包括拍攝第三圖片的終端設備的地理位置或者上傳第三圖片的終端設備的地理位置，地理位置可以具體到「A省B市C區D路E單元F層」，其中，上傳第三圖片的終端設備的地理位置可以為終端設備上傳第三圖片時對應的伺服器IP位址；這裡，當拍攝第三圖片的終端設備的地理位置與上傳第三圖片的終端設備的地理位置不一致時，位置確定模組506可以將拍攝第三圖片的終端設備的地理位置確定為目標地理位置。目標地理位置與第一物件之間的關聯關係可以表示第一物件處於目標地理位置所在區域內，例如目標地理位置為A省B市C區D路E單元F層，則可以表示第一物件所在的位置即A省B市C區D路E單元F層。
所述位置確定模組506，配置為根據所述終端設備的標識，確定所述終端設備設置的目標地理位置，並建立所述目標地理位置與所述第一物件之間的關聯關係。
在本申請的一些實施例中，位置確定模組506在確定第一物件與第二物件為同一個物件的情況下，確定包含該第二物件的第三圖片，並獲取拍攝第三圖片的終端設備的標識，從而確定與該終端設備的標識對應的終端設備，進而確定該終端設備設置的目標地理位置，並根據目標地理位置與第一物件之間的關聯關係確定出第一物件所在的位置，實現對第一對象的追蹤。
在本申請的一些實施例中，位置確定模組506還可以確定終端設備拍攝第三圖片的時刻，拍攝第三圖片的時刻代表在該時刻時第一對象處於該終端設備所在的目標地理位置，由此可根據時間間隔推斷出第一物件當前可能處於的位置範圍，從而可以對第一物件當前可能處於的位置範圍內的終端設備進行搜索，可提高查找第一對象的位置的效率。
在本申請的一些實施例中，所述裝置50還包括： 訓練模組507，配置為獲取第一樣本圖片和第二樣本圖片，所述第一樣本圖片和所述第二樣本圖片均包含第一樣本物件，所述第一樣本物件在所述第一樣本圖片關聯的服裝與所述第一樣本物件在所述第二樣本圖片關聯的服裝不同； 這裡，第一樣本物件在第一樣本圖片關聯的服裝即第一樣本圖片中第一樣本物件穿著的服裝，其中，不包括第一樣本圖片中第一樣本物件未穿著的服裝，例如第一樣本物件手中拿著的服裝，或者身旁放著的未穿著的服裝。第一樣本圖片中的第一樣本物件的服裝與第二樣本圖片中的第一樣本物件的服裝不同。服裝不同可以包括服裝的顏色不同、服裝的款式不同、服裝的顏色以及款式都不同等。
所述訓練模組507，配置為從所述第一樣本圖片中截取包含第一樣本服裝的第三樣本圖片，所述第一樣本服裝為所述第一樣本物件在所述第一樣本圖片關聯的服裝； 這裡，第一樣本服裝即第一樣本圖片中第一樣本物件穿著的服裝，第一樣本服裝可以包括衣服、褲子、裙子、衣服加褲子等。第三樣本圖片可以為從第一樣本圖片截取的包含第一樣本服裝的圖片，如第3A圖和第3B圖所示，第三樣本圖片N3為從第一樣本圖片N1中截圖得到的圖片。當第一樣本圖片中的第一樣本物件穿有多件服裝時，第一樣本服裝可以為第一樣本圖片中占最大比例的服裝，例如第一樣本物件的外套在第一樣本圖片中占的比例為30%，第一樣本物件的襯衫在第一樣本圖片中占的比例為10%，則第一樣本服裝為第一樣本物件的外套，則第三樣本圖片為包含第一樣本物件的外套的圖片。
所述訓練模組507，配置為獲取包含第二樣本服裝的第四樣本圖片，所述第二樣本服裝與所述第一樣本服裝之間的相似度大於第二閾值。
這裡，第四樣本圖片為包含第二樣本服裝的圖片，可以理解的是，第四樣本圖片中只包含第二樣本服裝，不包含樣本物件。
在本申請的一些實施例中，訓練模組507可以透過將第三樣本圖片輸入到網際網路中查找第四樣本圖片，例如將第三樣本圖片輸入到具有圖片識別功能的應用程式中進行查找與第三樣本圖片中的第一樣本服裝相似度大於第二閾值的第二樣本服裝所在的圖片，例如訓練模組507可以將第三樣本圖片輸入APP中進行查找得到多張圖片，從中選取多張圖片中與第一樣本服裝最相似且圖片中只包含第二樣本服裝的一張圖片，即第四樣本圖片。
所述訓練模組507，配置為根據所述第一樣本圖片、所述第二樣本圖片、所述第三樣本圖片以及所述第四樣本圖片訓練第二模型和第三模型，所述第三模型與所述第二模型的網路結構相同，所述第一模型為所述第二模型或者所述第三模型。
在本申請的一些實施例中，所述訓練模組507，配置為將所述第一樣本圖片和所述第三樣本圖片輸入第二模型，得到第一樣本特徵向量，所述第一樣本特徵向量用於表示所述第一樣本圖片和所述第三樣本圖片的融合特徵。
下面具體介紹將第一樣本圖片和第三樣本圖片輸入第二模型，得到第一樣本特徵向量的過程。可參考第4圖，第4圖為本申請實施例提供的一種訓練模型的示意圖，如圖所示： 首先，訓練模組507將第一樣本圖片N1和第三樣本圖片N3輸入第二模型41，透過第二模型41中的第一特徵提取模組411對第一樣本圖片N1進行特徵提取，得到第一特徵矩陣，透過第二模型41中的第二特徵提取模組412對第三樣本圖片N3進行特徵提取，得到第二特徵矩陣；接著，訓練模組507透過第二模型41中的第一融合模組413對第一特徵矩陣與第二特徵矩陣進行融合處理得到第一融合矩陣；然後，透過第二模型41中的第一降維模組414對第一融合矩陣進行降維處理，得到第一樣本特徵向量；最後，訓練模組507透過第一分類別模組43對第一樣本特徵向量進行分類，得到第一概率向量。
所述訓練模組507，配置為將所述第二樣本圖片N2和所述第四樣本圖片N4輸入第三模型42，得到第二樣本特徵向量，所述第二樣本特徵向量用於表示所述第二樣本圖片N2和所述第四樣本圖片N4的融合特徵。
下面具體介紹將第二樣本圖片N2和第四樣本圖片N4輸入第三模型42，得到第二樣本特徵向量的過程。可參考第4圖，第4圖為本申請實施例提供的一種訓練模型的示意圖： 首先，訓練模組507將第二樣本圖片N2和第四樣本圖片N4輸入第三模型42，透過第三模型42中的第三特徵提取模組421對第二樣本圖片N2進行特徵提取，得到第三特徵矩陣，透過第四特徵提取模組422對第四樣本圖片N4進行特徵提取，得到第四特徵矩陣；接著，訓練模組507透過第三模型42中的第二融合模組423對第三特徵矩陣與第四特徵矩陣進行融合處理得到第二融合矩陣；最後，訓練模組507透過第三模型42中的第二降維模組424對第二融合矩陣進行降維處理，得到第二樣本特徵向量；最後，訓練模組507透過第二分類別模組44對第二樣本特徵向量進行分類，得到第二概率向量。
第二模型41與第三模型42可以為兩個參數相同的模型，在第二模型41與第三模型42為兩個參數相同的模型的情況下，透過第二模型41對第一樣本圖片N1和第三樣本圖片N3進行特徵提取與透過第三模型42對第二樣本圖片N2和第四樣本圖片N4進行特徵提取可以同時進行。
所述訓練模組507，配置為根據所述第一樣本特徵向量和所述第二樣本特徵向量，確定模型總損失，並根據所述模型總損失45，訓練所述第二模型41和所述第三模型42。
在本申請的一些實施例中，所述第一樣本圖片和所述第二樣本圖片為樣本圖庫中的圖片，所述樣本圖庫包括M個樣本圖片，所述M個樣本圖片與N個樣本物件關聯，所述M大於或者等於2N，所述M、N為大於或者等於1的整數； 所述訓練模組507，配置為根據所述第一樣本特徵向量，確定第一概率向量，所述第一概率向量用於表示所述第一樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率。
在本申請的一些實施例中，訓練模組507可以預先設置一個樣本圖庫，則第一樣本圖片和第二樣本圖片為樣本圖庫中的圖片，其中，樣本圖庫包括M個樣本圖片，M個樣本圖片與N個樣本物件關聯，M大於或者等於2N， M、N為大於或者等於1的整數。可選地，樣本圖庫中的每個樣本物件對應一個編號，例如可以為樣本物件的ID號、或者用於唯一地標識該樣本物件的數位編號等。例如樣本圖庫中有5000個樣本物件，則5000個樣本物件的編號可以為1-5000,可以理解的是，1個編號可對應多張樣本圖片，即樣本圖庫中可包括編號1的樣本物件的多張樣本圖片（即編號1的樣本物件穿不同服裝的圖片）、編號2的樣本物件的多張樣本圖片、編號3的樣本物件的多張樣本圖片，等等。編號相同的多張樣本圖片中，該樣本物件穿的服裝不同，即同一樣本物件對應的多張圖片中每張圖片中的樣本物件穿的服裝不同。第一樣本物件可以是該N個樣本物件中的任意一個樣本物件。第一樣本圖片可以是該第一樣本圖像的多張樣本圖片中的任意一張樣本圖片。
這裡，訓練模組507根據第一樣本特徵向量確定第一概率向量，該第一概率向量中包括N個值，每個值用於表示該第一樣本圖片中的第一樣本物件為N個樣本物件中每個樣本物件的概率。具體可選的，例如N為3000，第一樣本特徵向量為低維的256維向量，訓練模組507將該第一樣本特徵向量與一個256*3000的向量相乘，即得到一個1*3000的向量，其中256*3000的向量中包含樣本圖庫中3000個樣本物件的特徵。進一步對上述1*3000的向量進行歸一化處理，得到第一概率向量，該第一概率向量中包含3000個概率，該3000個概率用於表示該第一樣本物件為3000個樣本物件中每個樣本物件的概率。
所述訓練模組507，配置為根據所述第二樣本特徵向量，確定第二概率向量，所述第二概率向量用於表示所述第二樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率。
這裡，訓練模組507根據第二樣本特徵向量確定第二概率向量，該第二概率向量中包括N個值，每個值用於表示該第二樣本圖片中的第二樣本物件為N個樣本物件中每個樣本物件的概率。具體可選的，例如N為3000，第二樣本特徵向量為低維的256維向量，訓練模組507將該第二樣本特徵向量與一個256*3000的向量相乘，即得到一個1*3000的向量，其中256*3000的向量中包含樣本圖庫中3000個樣本物件的特徵。進一步對上述1*3000的向量進行歸一化處理，得到第二概率向量，該第二概率向量中包含3000個概率，該3000個概率用於表示該第二樣本物件為3000個樣本物件中每個樣本物件的概率。
所述訓練模組507，配置為根據所述第一概率向量和所述第二概率向量，確定模型總損失45。
訓練模組507透過得到的模型總損失45對第二模型41與第三模型42進行調整，即對第二模型41中的第一特徵提取模組411、第一融合模組413、第一降維模組414以及第一分類別模組43，以及對第三模型42中的第二特徵提取模組421、第二融合模組423、第二降維模組424以及第二分類別模組44進行調整。
在本申請的一些實施例中，所述訓練模組507，配置為根據所述第一概率向量，確定所述第二模型41的模型損失。
訓練模組507從第一概率向量中獲取最大概率值，並根據該最大概率值對應的樣本物件的編號，以及該第一樣本圖片的編號，計算第二模型41的模型損失，該第二模型41的模型損失用於表示該最大概率值對應的樣本物件的編號，以及該第一樣本圖片的編號之間的差異。訓練模組507計算得到的第二模型41的模型損失越小，則說明第二模型41更加準確，所提取的特徵更具區分性。
所述訓練模組507，配置為根據所述第二概率向量，確定所述第三模型42的模型損失。
訓練模組507從第二概率向量中獲取最大概率值，並根據該最大概率值對應的樣本物件的編號，以及該第二樣本圖片的編號，計算第三模型42的模型損失，該第三模型42的模型損失用於表示該最大概率值對應的樣本物件的編號，以及該第二樣本圖片的編號之間的差異。訓練模組507計算得到的第三模型42的模型損失越小，則說明第三模型42更加準確，所提取的特徵更具區分性。
所述訓練模組507，配置為根據所述第二模型41的模型損失和所述第三模型42的模型損失，確定模型總損失。
這裡，模型總損失可以為第二模型41的模型損失與第三模型的模型損失之和。當第二模型的模型損失與第三模型的模型損失較大時，模型總損失也較大，即模型提取到的物件的特徵向量的準確性較低，可以採用梯度下降法對第二模型中的各個模組（第一特徵提取模組、第二特徵提取模組、第一融合模組、第一降維模組）與第三模型中的各個模組（第三特徵提取模組、第四特徵提取模組、第二融合模組、第二降維模組）進行調整，使得模型訓練的參數更準確，從而使得透過第二、第三模型提取到的圖片中的物件的特徵更準確，即弱化圖片中的服裝特徵，使得提取到的圖片中的特徵更多為圖片中的物件的特徵，即提取到的特徵更具區分性，從而透過第二、第三模型提取到的圖片中的物件的特徵更準確。
需要說明的是，第5圖對應的實施例中未提及的內容可參見方法實施例的描述，這裡不再贅述。
本申請實施例中，透過獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片，將第一圖片和第二圖片輸入第一模型，得到第一融合特徵向量，獲取包含第二物件的第三圖片與包含第三圖片中截取的第二服裝的第四圖片的第二融合特徵向量，根據第一融合特徵向量和第二融合特徵向量之間的目標相似度，確定第一物件與第二物件是否為同一個物件；由於在對第一物件進行特徵提取時，將第一對象的服裝替換為與第一對象可能穿過的第一服裝，即提取第一物件的特徵時弱化了服裝的特徵，而重點在於提取更具區分性的其他特徵，從而在目標物件更換服裝後，仍然能夠達到很高的識別準確率；在確定第一物件與第二物件為同一個物件的情況下，透過獲取拍攝包含第二物件的第三圖片的終端設備的標識，從而確定拍攝第三圖片的終端設備的地理位置，進而確定第一物件可能的位置區域，可提高對第一對象的查找效率；由於使用樣本圖庫中的多個樣本圖片對模型進行訓練，且樣本圖庫中的每個樣本圖片對應一個編號，透過對該編號對應的某一個樣本圖片以及該樣本圖片中的服裝圖片進行特徵提取得到融合特徵向量，並對提取到的融合特徵向量與該編號對應的樣本圖片的目標樣本特徵向量之間的相似度進行計算，可以根據計算得到的結果確定模型是否準確，在模型的損失較大（即模型不準確）的情況下，可以透過樣本圖庫中的剩餘樣本圖片繼續對模型進行訓練，由於使用了大量的樣本圖片對模型進行了訓練，因此訓練後的模型更準確，從而透過模型提取到的圖片中的物件的特徵更準確。
參見第6圖，第6圖是本申請實施例提供的一種圖片處理設備的組成結構示意圖，該設備60包括處理器601、記憶體602以及輸入輸出介面603。處理器601連接到記憶體602和輸入輸出介面603，例如處理器601可以透過匯流排連接到記憶體602和輸入輸出介面603。
處理器601被配置為支援所述圖片處理設備執行上述任意一種圖片處理方法中相應的功能。該處理器601可以是中央處理器（central processing unit， CPU）、網路處理器（network processor，NP）、硬體晶片或者其任意組合。上述硬體晶片可以是專用積體電路（application specific integrated circuit，ASIC）、可程式設計邏輯器件（programmable logic device，PLD）或其組合。上述PLD可以是複雜可程式設計邏輯器件（complex programmable logic device，CPLD）、現場可程式設計邏輯閘陣列（field-programmable gate array，FPGA）、通用陣列邏輯（generic array logic，GAL）或其任意組合。
記憶體602記憶體用於儲存程式碼等。記憶體602可以包括易失性記憶體（volatile memory，VM），例如隨機存取記憶體（random access memory， RAM）；記憶體602也可以包括非易失性記憶體（non-volatile memory，NVM），例如唯讀記憶體（read-only memory，ROM）快閃記憶體（flash memory）硬碟（hard disk drive， HDD）或固態硬碟（solid-state drive， SSD）；記憶體602還可以包括上述種類的記憶體的組合。
所述輸入輸出介面603配置為輸入或輸出資料。
處理器601可以調用所述程式碼以執行以下操作： 獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片； 將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，所述第一融合特徵向量用於表示所述第一圖片和所述第二圖片的融合特徵； 獲取第二融合特徵向量，其中，所述第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，所述第三圖片包含第二物件，所述第四圖片是從所述第三圖片截取的包含第二服裝的圖片； 根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件。
需要說明的是，各個操作的實現還可以對應參照上述方法實施例的相應描述；所述處理器601還可以與輸入輸出介面603配合執行上述方法實施例中的其他操作。
本申請實施例還提供一種電腦儲存媒體，所述電腦儲存媒體儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電腦執行時使所述電腦執行如前述實施例所述的方法，所述電腦可以為上述提到的圖片處理設備的一部分。例如為上述的處理器601。
本申請實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在圖片處理設備中運行時，所述圖片處理設備中的處理器執行上述任意一種圖片處理方法。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以透過電腦程式來指示相關的硬體來完成，所述的程式可儲存於電腦可讀取儲存媒體中，該程式在執行時，可包括如上述各方法的實施例的流程。其中，所述的儲存媒體可為磁碟、光碟、ROM或RAM等。
以上所揭露的僅為本申請較佳實施例而已，當然不能以此來限定本申請之權利範圍，因此依本申請請求項所作的等同變化，仍屬本申請所涵蓋的範圍。 [工業實用性]
本申請提供圖片處理方法、設備和儲存媒體，其中，該方法包括：獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片；將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，所述第一融合特徵向量用於表示所述第一圖片和所述第二圖片的融合特徵；獲取第二融合特徵向量，其中，所述第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，所述第三圖片包含第二物件，所述第四圖片是從所述第三圖片截取的包含第二服裝的圖片；根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件。該技術方案可以實現準確提取圖片中物件的特徵，從而實現提高圖片中物件的識別準確率。
S101,S102,S103,S104:步驟 11,12,13,14:圖片 S201,S202,S203,S204:步驟 N1:第一樣本圖片 N2:第一樣本圖片 N3:第三樣本圖片 N4:第四樣本圖片 41:第二模型 411:第一特徵提取模組 412:第二特徵提取模組 413:第一融合模組 414:第一降維模組 42:第三模型 421:第三特徵提取模組 422:第四特徵提取模組 423:第二融合模組 424:第二降維模組 43:第一分類別模組 44:第二分類別模組 45:模型總損失 50:圖片處理裝置 501:第一獲取模組 502:第一融合模組 503:第二獲取模組 504:物件確定模組 505:第二融合模組 506:位置確定模組 507:訓練模組 60:圖片處理裝置 601:處理器 602:記憶體 603:輸入輸出介面
為了更清楚地說明本申請實施例中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對於本領域普通技術人員來講，在不付出進步性勞動的前提下，還可以根據這些附圖獲得其他的附圖。 第1A圖是本申請實施例提供的一種圖片處理方法的流程示意圖； 第1B圖是本申請實施例的一個應用場景的示意圖； 第2圖是本申請實施例提供的另一種圖片處理方法的流程示意圖； 第3A圖是本申請實施例提供的第一樣本圖片的示意圖； 第3B圖是本申請實施例提供的第三樣本圖片的示意圖； 第3C圖是本申請實施例提供的第四樣本圖片的示意圖； 第4圖為本申請實施例提供的一種訓練模型的示意圖； 第5圖是本申請實施例提供的一種圖片處理裝置的組成結構示意圖； 第6圖是本申請實施例提供的一種圖片處理設備的組成結構示意圖。
S101,S102,S103,S104:步驟

Claims (9)

  1. 一種圖片處理方法，應用於圖片處理裝置，包括：獲取包含第一物件的第一圖片以及僅包含第一服裝的第二圖片；將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，所述第一融合特徵向量用於表示所述第一圖片和所述第二圖片的融合特徵；獲取第二融合特徵向量，其中，所述第二融合特徵向量用於表示第三圖片和第四圖片的融合特徵，所述第三圖片包含第二物件，所述第四圖片是從所述第三圖片截取的包含第二服裝的圖片；根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件；其中，所述將所述第一圖片和所述第二圖片輸入第一模型，得到第一融合特徵向量，包括：對所述第一圖片進行特徵提取，對所述第二圖片進行特徵提取；將所述第一圖片提取的特徵與所述第二圖片提取的特徵進行融合，得到所述第一融合特徵向量；所述根據所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度，確定所述第一物件與所述第二物件是否為同一個物件，包括：響應於所述第一融合特徵向量和所述第二融合特徵向量之間的目標相似度大於第一閾值的情況，確定所述第一物件與所述第二物件為同一個物件。
  2. 如請求項1所述的方法，其中，所述獲取第二融合特徵向量，包括：將所述第三圖片和所述第四圖片輸入所述第一模型，得到所述第二融合特徵向量。
  3. 如請求項1所述的方法，其中，所述方法還包括： 回應於所述第一物件與所述第二物件為同一個物件的情況，獲取拍攝所述第三圖片的終端設備的標識；根據所述終端設備的標識，確定所述終端設備設置的目標地理位置，並建立所述目標地理位置與所述第一物件之間的關聯關係。
  4. 如請求項1所述的方法，其中，所述獲取包含第一物件的第一圖片以及包含第一服裝的第二圖片之前，還包括：獲取第一樣本圖片和第二樣本圖片，所述第一樣本圖片和所述第二樣本圖片均包含第一樣本物件，所述第一樣本物件在所述第一樣本圖片關聯的服裝與所述第一樣本物件在所述第二樣本圖片關聯的服裝不同；從所述第一樣本圖片中截取包含第一樣本服裝的第三樣本圖片，所述第一樣本服裝為所述第一樣本物件在所述第一樣本圖片關聯的服裝；獲取包含第二樣本服裝的第四樣本圖片，所述第二樣本服裝與所述第一樣本服裝之間的相似度大於第二閾值；根據所述第一樣本圖片、所述第二樣本圖片、所述第三樣本圖片以及所述第四樣本圖片訓練第二模型和第三模型，所述第三模型與所述第二模型的網路結構相同，所述第一模型為所述第二模型或者所述第三模型。
  5. 如請求項4所述的方法，其中，所述根據所述第一樣本圖片、所述第二樣本圖片、所述第三樣本圖片以及所述第四樣本圖片訓練第二模型和第三模型，包括：將所述第一樣本圖片和所述第三樣本圖片輸入第二模型，得到第一樣本特徵向量，所述第一樣本特徵向量用於表示所述第一樣本圖片和所述第三樣本圖片的融合特徵；將所述第二樣本圖片和所述第四樣本圖片輸入第三模型，得到第二樣本特徵向量，所述第二樣本特徵向量用於表示所述第二樣本圖片和所述第四樣本圖 片的融合特徵；根據所述第一樣本特徵向量和所述第二樣本特徵向量，確定模型總損失，並根據所述模型總損失，訓練所述第二模型和所述第三模型。
  6. 如請求項5所述的方法，其中，所述第一樣本圖片和所述第二樣本圖片為樣本圖庫中的圖片，所述樣本圖庫包括M個樣本圖片，所述M個樣本圖片與N個樣本物件關聯，所述M大於或者等於2N，所述M、N為大於或者等於1的整數；所述根據所述第一樣本特徵向量和所述第二樣本特徵向量，確定模型總損失，包括：根據所述第一樣本特徵向量，確定第一概率向量，所述第一概率向量用於表示所述第一樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率；根據所述第二樣本特徵向量，確定第二概率向量，所述第二概率向量用於表示所述第二樣本圖片中所述第一樣本物件為所述N個樣本物件中每個樣本物件的概率；根據所述第一概率向量和所述第二概率向量，確定模型總損失。
  7. 如請求項6所述的方法，其中，所述根據所述第一概率向量和所述第二概率向量，確定模型總損失，包括：根據所述第一概率向量，確定所述第二模型的模型損失；根據所述第二概率向量，確定所述第三模型的模型損失；根據所述第二模型的模型損失和所述第三模型的模型損失，確定模型總損失。
  8. 一種圖片處理設備，包括處理器、記憶體以及輸入輸出介面，所述處理器、記憶體和輸入輸出介面相互連接，其中，所述輸入輸出介面 配置為輸入或輸出資料，所述記憶體配置為儲存程式碼，所述處理器配置為調用所述程式碼，執行如請求項1至7任一項所述的方法。
  9. 一種電腦儲存媒體，所述電腦儲存媒體儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行如請求項1至7任一項所述的方法。
TW109129268A 2019-10-28 2020-08-27 圖片處理方法、設備和儲存媒體 TWI740624B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911035791.0 2019-10-28
CN201911035791.0A CN110795592B (zh) 2019-10-28 2019-10-28 图片处理方法、装置及设备

Publications (2)

Publication Number Publication Date
TW202117556A TW202117556A (zh) 2021-05-01
TWI740624B true TWI740624B (zh) 2021-09-21

Family

ID=69441751

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109129268A TWI740624B (zh) 2019-10-28 2020-08-27 圖片處理方法、設備和儲存媒體

Country Status (6)

Country Link
US (1) US20220215647A1 (zh)
JP (1) JP2022549661A (zh)
KR (1) KR20220046692A (zh)
CN (1) CN110795592B (zh)
TW (1) TWI740624B (zh)
WO (1) WO2021082505A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795592B (zh) * 2019-10-28 2023-01-31 深圳市商汤科技有限公司 图片处理方法、装置及设备
CN111629151B (zh) * 2020-06-12 2023-01-24 北京字节跳动网络技术有限公司 视频合拍方法、装置、电子设备及计算机可读介质
CN115862060B (zh) * 2022-11-25 2023-09-26 天津大学四川创新研究院 基于猪脸识别与猪只重识别的猪只唯一化识别方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM469556U (zh) * 2013-08-22 2014-01-01 Univ Kun Shan 以雲端進行人臉偵測之智慧監視裝置
CN103853794A (zh) * 2012-12-07 2014-06-11 北京瑞奥风网络技术中心 一种基于部件关联的行人检索方法
TWI509532B (zh) * 2013-12-19 2015-11-21 Inst Information Industry 行人偵測系統與方法
CN106844394A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 基于行人上下衣颜色判别的视频检索方法
CN107330360A (zh) * 2017-05-23 2017-11-07 深圳市深网视界科技有限公司 一种行人衣着颜色识别、行人检索方法和装置
CN107729805A (zh) * 2017-09-01 2018-02-23 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
CN109543536A (zh) * 2018-10-23 2019-03-29 北京市商汤科技开发有限公司 图像标识方法及装置、电子设备和存储介质
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109934176A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人识别***、识别方法及计算机可读存储介质
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6398920B2 (ja) * 2015-09-03 2018-10-03 オムロン株式会社 違反者検出装置およびこれを備えた違反者検出システム
CN106803055B (zh) * 2015-11-26 2019-10-25 腾讯科技（深圳）有限公司 人脸识别方法和装置
CN105631403B (zh) * 2015-12-17 2019-02-12 小米科技有限责任公司 人脸识别方法及装置
CN107291825A (zh) * 2017-05-26 2017-10-24 北京奇艺世纪科技有限公司 一种视频中同款商品的检索方法和***
CN110019895B (zh) * 2017-07-27 2021-05-14 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及电子设备
CN108763373A (zh) * 2018-05-17 2018-11-06 厦门美图之家科技有限公司 人脸图像检索方法及装置
CN109657533B (zh) * 2018-10-27 2020-09-25 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN110795592B (zh) * 2019-10-28 2023-01-31 深圳市商汤科技有限公司 图片处理方法、装置及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853794A (zh) * 2012-12-07 2014-06-11 北京瑞奥风网络技术中心 一种基于部件关联的行人检索方法
TWM469556U (zh) * 2013-08-22 2014-01-01 Univ Kun Shan 以雲端進行人臉偵測之智慧監視裝置
TWI509532B (zh) * 2013-12-19 2015-11-21 Inst Information Industry 行人偵測系統與方法
CN106844394A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 基于行人上下衣颜色判别的视频检索方法
CN107330360A (zh) * 2017-05-23 2017-11-07 深圳市深网视界科技有限公司 一种行人衣着颜色识别、行人检索方法和装置
CN107729805A (zh) * 2017-09-01 2018-02-23 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
CN109543536A (zh) * 2018-10-23 2019-03-29 北京市商汤科技开发有限公司 图像标识方法及装置、电子设备和存储介质
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109934176A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人识别***、识别方法及计算机可读存储介质
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法

Also Published As

Publication number Publication date
TW202117556A (zh) 2021-05-01
WO2021082505A1 (zh) 2021-05-06
KR20220046692A (ko) 2022-04-14
US20220215647A1 (en) 2022-07-07
CN110795592A (zh) 2020-02-14
CN110795592B (zh) 2023-01-31
JP2022549661A (ja) 2022-11-28

Similar Documents

Publication Publication Date Title
TWI740624B (zh) 圖片處理方法、設備和儲存媒體
US10755086B2 (en) Picture ranking method, and terminal
CN108805900B (zh) 一种跟踪目标的确定方法及装置
Piao et al. Saliency detection via depth-induced cellular automata on light field
WO2016187888A1 (zh) 基于字符识别的关键词通知方法及设备、计算机程序产品
JP6546611B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
KR20120064581A (ko) 영상 분류 방법 및 이를 위한 장치
WO2016139964A1 (ja) 注目領域抽出装置および注目領域抽出方法
CN105512220B (zh) 图像页面输出方法及装置
CN109815902B (zh) 一种行人属性区域信息获取方法、装置及设备
Rawat et al. ClickSmart: A context-aware viewpoint recommendation system for mobile photography
CN104601876B (zh) 路人侦测方法与装置
CN111881849A (zh) 图像场景检测方法、装置、电子设备及存储介质
WO2022160857A1 (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
US20170195557A1 (en) Image Enhancement and Repair Using Sample Data from Other Images
CN109840885B (zh) 图像融合方法及相关产品
KR20160078964A (ko) 이미지 합성물 생성
CN104765796A (zh) 一种图像识别搜索方法及装置
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
CN111126102A (zh) 人员搜索方法、装置及图像处理设备
JP2011090410A (ja) 画像処理装置、画像処理システムおよび画像処理装置の制御方法
JP2018018500A (ja) 顔識別方法
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN114140674B (zh) 结合图像处理及数据挖掘技术的电子证据可用性鉴别方法