TWI785267B - 影像處理方法、電子設備和儲存介質 - Google Patents
影像處理方法、電子設備和儲存介質 Download PDFInfo
- Publication number
- TWI785267B TWI785267B TW108129692A TW108129692A TWI785267B TW I785267 B TWI785267 B TW I785267B TW 108129692 A TW108129692 A TW 108129692A TW 108129692 A TW108129692 A TW 108129692A TW I785267 B TWI785267 B TW I785267B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- features
- images
- similarity
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本公開關於一種影像處理方法及裝置、電子設備和儲存介質,所述方法包括對圖像資料集中的多個圖像執行特徵提取處理,獲得與所述多個圖像對應的圖像特徵;基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,其中同一聚類內的圖像包括相同對象;其中,採用分散式並行執行的方式執行所述特徵提取處理和所述聚類處理中的至少一個處理過程。本公開實施例可實現圖像的快速聚類。
Description
本公開關於電腦視覺技術領域,尤其關於一種影像處理方法及裝置、電子設備和儲存介質。
隨著智慧城市的建設,城市級的監控系統每天都在產生著海量的抓拍人臉圖片。這些人臉資料具有規模大、空間區域分佈廣、高重複性以及無身份等特點,而現有的視頻分析系統無法快速有效地對海量的圖像資料進行聚類分析。
本公開提出了一種影像處理的技術方案。
根據本公開的一方面,提供了一種影像處理方法,包括:對圖像資料集中的多個圖像執行特徵提取處理,獲得與所述多個圖像對應的圖像特徵;基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,其中同一聚類內的圖像包括相同對象;其中,採用分散式並行執行的方式執行所述特徵提取處理和所述聚類處理中的
至少一個處理過程。基於上述配置可以基於提取的圖像特徵實現圖像的精確聚類,同時分散式並行執行的方式可以提高特徵提取和聚類的速度,提高影像處理效率。
在一些可能的實施方式中,利用分散式並行執行的方式執行所述特徵提取處理,包括:將所述圖像資料集中的多個圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型並行執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。基於上述配置,可以實現利用多個特徵提取模型分散式並行的執行多個圖像的特徵提取過程,從而提高特徵提取效率。
在一些可能的實施方式中,所述基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,包括:對所述圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵;基於獲得的所述量化特徵執行對所述多個圖像的聚類處理,得到所述至少一個聚類。基於上述配置,通過對圖像特徵進行量化處理,得到的量化特徵的在保證特徵資訊的有效性的前提先資料量被縮減,能夠加快聚類處理的速度。
在一些可能的實施方式中,所述對所述圖像的圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵,包括:對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特
徵;分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。基於上述配置,通過分散式並行的執行圖像特徵的量化處理,可以提高量化處理的效率。
在一些可能的實施方式中,在所述分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵之前,所述方法還包括:為所述多個第一分組分別配置第一索引,得到多個第一索引;所述分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵,包括:將所述多個第一索引分別分配給多個量化器,每個量化器被分配的第一索引不同;利用所述多個量化器分別並行執行分配的所述第一索引對應的第一分組內的圖像特徵的量化處理。基於上述配置,可以通過配置的第一索引方便的建立第一索引和第一分組的關聯,同時方便為各量化器分配量化處理任務。
在一些可能的實施方式中,所述量化處理包括PQ編碼處理。
在一些可能的實施方式中,所述基於獲得的所述量化特徵執行所述多個圖像的聚類處理,得到所述至少一個聚類,包括:獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1為大於或等於1的整數;利用所
述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果。基於上述配置,可以方便的利用量化特徵之間的相似度進行圖像的聚類。
在一些可能的實施方式中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果,包括:從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果,包括:獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵為所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2為大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。基於上述配置,可以在通過量化特徵之間的相似
度得到的K1近鄰的基礎上,進一步通過圖像特徵之間的相似度執行圖像的聚類,提高聚類精度。
在一些可能的實施方式中,所述獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,所述方法還包括:對所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵;並且,所述獲取任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括:分散式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。基於上述配置,通過分散式並行的方式得到量化特徵之間的相似度可以提供處理速度。
在一些可能的實施方式中,在所述分散式並行地獲取所述第二分組內圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,還包括:為所述多個第二分組分別配置第二索引,得到多個第二索引;並且,所述分散式並行地獲取所述第二分組內圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括:基於所述第二索引,建立所述第二索引對應的相似度運算任務,所述相似度運算任務為獲取所述第二索引對應的第二分組內的靶心圖表像的量化特徵與所述靶心圖表像以外的全部圖像的量化特徵之間的第一相似度;分散式並行執行所述多個第二索引中每個第二索引對應的相似度獲取任務。基於上述配置,通過配置
的第二索引,可以建立第二索引和第二分組的關聯,同時通過第二索引可以方便分配相似度運算任務。
在一些可能的實施方式中,所述方法還包括:獲取所述圖像特徵的第三索引,並關聯地儲存所述第三索引和與所述第三索引相應的圖像特徵;所述第三索引包括:通過圖像採集設備採集與所述第三索引對應的圖像的時間、地點以及所述圖像採集設備的標識中的至少一種。基於上述配置,可以方便的建立圖像的索引,通過該索引還可以獲得圖像中對象的時空資訊。
在一些可能的實施方式中,所述方法還包括:確定得到的所述聚類的類中心;為所述類中心配置第四索引,並關聯地儲存所述第四索引和與所述第四索引對應的類中心。基於上述配置,方便儲存和查詢類中心。
在一些可能的實施方式中,所述確定得到的所述聚類的類中心,包括:基於所述聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。基於上述配置,能夠獲得準確的表達聚類內的圖像對象的特徵資訊的類中心。
在一些可能的實施方式中,所述方法還包括:獲取輸入圖像的圖像特徵;對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類。通過上述配置,可以方便的獲取任意新增的圖像中的對象所對應的聚類。
在一些可能的實施方式中,所述基於所述輸入圖像的量化特徵以及得到的聚類的類中心,確定所述輸入圖像所在的聚類,包括:獲取所述輸入圖像的量化特徵與各所述聚類的類中心的量化特徵之間的第三相似度;基於所述第三相似度確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3為大於或者等於1的整數;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;回應於所述K3個類中心中一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值,則將所述輸入圖像加入至所述一類中心對應的聚類。
在一些可能的實施方式中,所述基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類,還包括:回應於不存在與所述輸入特徵的圖像特徵的第四相似度大於第三閾值的類中心,基於所述輸入圖像的量化特徵以及所述圖像資料集中的圖像的量化特徵執行所述聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,所述方法還包括:基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。基於上述配置,可以根據得到的聚類對應的對象的身份。
在一些可能的實施方式中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,包括:獲得所述身份特徵庫中已知對象的量化特
徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;回應於所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值,則確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。通過上述配置,可以根據已知對象的量化特徵以及圖像特徵方便且精確的實現聚類對應的對象的身份識別。
在一些可能的實施方式中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,還包括:回應於所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值,則確定不存在與所述已知對象匹配的聚類。
根據本公開提供的第二方面,提供了一種影像處理裝置,所述裝置包括:特徵提取模組,其用於對圖像資料集中的多個圖像執行特徵提取處理,獲得與所述多個圖像對應的圖像特徵;聚類模組,其用於基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,其中同一聚類內的圖像包括相同對象;其中,採用分散式並行執行的方式執行所述特徵提取處理和所述聚類處理中的至少一個處理過程。基於上述配置可以基於提取的圖像特徵實
現圖像的精確聚類,同時分散式並行執行的方式可以提高特徵提取和聚類的速度,提高影像處理效率。
在一些可能的實施方式中,所述特徵提取模組利用分散式並行執行的方式執行所述特徵提取處理,包括:將所述圖像資料集中的多個圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型並行執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。基於上述配置,可以實現利用多個特徵提取模型分散式並行的執行多個圖像的特徵提取過程,從而提高特徵提取效率。
在一些可能的實施方式中,所述聚類模組包括:量化單元,其用於對所述圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵;聚類單元,其用於基於獲得的所述量化特徵執行對所述多個圖像的聚類處理,得到所述至少一個聚類。基於上述配置,通過對圖像特徵進行量化處理,得到的量化特徵的在保證特徵資訊的有效性的前提先資料量被縮減,能夠加快聚類處理的速度。
在一些可能的實施方式中,所述量化單元還用於對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。基於上述配置,通過分散式並行的執行圖像特徵的量化處理,可以提高量化處理的效率。
在一些可能的實施方式中,所述裝置還包括:第一索引配置模組,其用於為所述多個第一分組分別配置第一索引,得到多個第一索引;所述量化單元還用於將所述多個第一索引分別分配給多個量化器,每個量化器被分配的第一索引不同;利用所述多個量化器分別並行執行分配的所述第一索引對應的第一分組內的圖像特徵的量化處理。基於上述配置,可以通過配置的第一索引方便的建立第一索引和第一分組的關聯,同時方便為各量化器分配量化處理任務。
在一些可能的實施方式中,所述量化處理包括PQ編碼處理。
在一些可能的實施方式中,所述聚類單元還用於獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1為大於或等於1的整數;利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果。基於上述配置,可以方便的利用量化特徵之間的相似度進行圖像的聚類。
在一些可能的實施方式中,所述聚類單元還用於從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基
於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述聚類單元還用於獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵為所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2為大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。基於上述配置,可以在通過量化特徵之間的相似度得到的K1近鄰的基礎上,進一步通過圖像特徵之間的相似度執行圖像的聚類,提高聚類精度。
在一些可能的實施方式中,所述聚類單元還用於在獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,對所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵;並且,所述聚類單元還用於分散式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。基於上述配置,通過分
散式並行的方式得到量化特徵之間的相似度可以提供處理速度。
在一些可能的實施方式中,所述裝置還包括:第二索引配置模組,其用於在所述聚類單元執行所述分散式並行地獲取所述第二分組內圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,為所述多個第二分組分別配置第二索引,得到多個第二索引;所述聚類單元還用於基於所述第二索引,建立所述第二索引對應的相似度運算任務,所述相似度運算任務為獲取所述第二索引對應的第二分組內的靶心圖表像的量化特徵與所述靶心圖表像以外的全部圖像的量化特徵之間的第一相似度;分散式並行執行所述多個第二索引中每個第二索引對應的相似度獲取任務。基於上述配置,通過配置的第二索引,可以建立第二索引和第二分組的關聯,同時通過第二索引可以方便分配相似度運算任務。
在一些可能的實施方式中,所述裝置還包括儲存模組,其用於獲取所述圖像特徵的第三索引,並關聯地儲存所述第三索引和與所述第三索引相應的圖像特徵;所述第三索引包括:通過圖像採集設備採集與所述第三索引對應的圖像的時間、地點以及所述圖像採集設備的標識中的至少一種。基於上述配置,可以方便的建立圖像的索引,通過該索引還可以獲得圖像中對象的時空資訊。
在一些可能的實施方式中,所述聚類模組還包括類中心確定單元,其用於確定得到的所述聚類的類中心,
並控制為所述類中心配置第四索引,並關聯地儲存所述第四索引和與所述第四索引對應的類中心。基於上述配置,方便儲存和查詢類中心。
在一些可能的實施方式中,類中心確定單元還用於基於所述聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。基於上述配置,能夠獲得準確的表達聚類內的圖像對象的特徵資訊的類中心。
在一些可能的實施方式中,所述裝置還包括:獲取模組,其用於獲取輸入圖像的圖像特徵;量化模組,用於對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;所述聚類模組還用於基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類。通過上述配置,可以方便的獲取任意新增的圖像中的對象所對應的聚類。
在一些可能的實施方式中,所述聚類模組還用於獲取所述輸入圖像的量化特徵與各所述聚類的類中心的量化特徵之間的第三相似度;基於所述第三相似度確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3為大於或者等於1的整數;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;回應於所述K3個類中心中一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值,則將所述輸入圖像加入至所述一類中心對應的聚類。
在一些可能的實施方式中,所述聚類模組還用於回應於不存在與所述輸入特徵的圖像特徵的第四相似度大於第三閾值的類中心,基於所述輸入圖像的量化特徵以及所述圖像資料集中的圖像的量化特徵執行所述聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,所述裝置還包括:身份識別模組,其用於基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。基於上述配置,可以根據得到的聚類對應的對象的身份。
在一些可能的實施方式中,所述身份識別模組還用於獲得所述身份特徵庫中已知對象的量化特徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;回應於所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值,則確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。通過上述配置,可以根據已知對象的量化特徵以及圖像特徵方便且精確的實現聚類對應的對象的身份識別。
在一些可能的實施方式中,所述身份識別模組還用於回應於所述K4個已知對象的圖像特徵與相應的類中
心的圖像特徵的第六相似度均小於所述第四閾值,則確定不存在與所述已知對象匹配的聚類。
根據本公開協力廠商面,提供了一種電子設備,其包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行第一方面中任意一項所述的方法。
根據本公開第四方面,提供了一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的方法。
在本公開實施例中,可以對圖像執行特徵提取,並基於得到的圖像特徵執行聚類處理,其中,特徵提取過程以及聚類處理過程中的至少一個過程可以採用分散式執行的方式,從而可以加快特徵提取和聚類處理的速度。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本公開。
根據下麵參考附圖對示例性實施例的詳細說明,本公開的其它特徵及方面將變得清楚。
10:特徵提取模組
20:聚類模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音頻組件
812:輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:記憶體
1950:網路介面
1958:輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分,這些附圖示出了符合本公開的實施例,並與說明書一起用於說明本公開的技術方案。
圖1示出根據本公開實施例的一種影像處理方法的流程圖;圖2示出根據本公開實施例的一種影像處理方法中步驟S10的流程圖;圖3示出根據本公開實施例的一種影像處理方法中步驟S20的流程圖;圖4示出根據本公開實施例的一種影像處理方法中步驟S21的流程圖;圖5示出根據本公開實施例的一種影像處理方法中步驟S22的流程圖;圖6示出根據本公開實施例的一種影像處理方法中步驟S223的流程圖;圖7示出根據本公開實施例的一種影像處理方法中步驟S223的另一流程圖;圖8示出根據本公開實施例的一種影像處理方法執行聚類增量處理的流程圖;圖9示出根據本公開實施例的一種影像處理方法中步驟S43的流程圖;圖10示出根據本公開實施例的一種影像處理方法中確定聚類匹配的對象身份的流程圖;
圖11示出根據本公開實施例的一種影像處理裝置的方塊圖;圖12示出根據本公開實施例的一種電子設備的方塊圖;圖13示出根據本公開實施例的一種電子設備的另一方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,為了更好地說明本公開,在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理
解,沒有某些具體細節,本公開同樣可以實施。在一些實例中,對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述,以便於凸顯本公開的主旨。
本公開實施例提供了一種影像處理方法,該方法可以用於對圖像進行快速的聚類。另外該影像處理方法可以應用在任意的影像處理裝置中,例如影像處理方法可以由終端設備或伺服器或其它處理設備執行,其中,終端設備可以為使用者設備(User Equipment,UE)、移動設備、使用者終端、終端、蜂窩電話、無繩電話、個人數文書處理(Personal Digital Assistant,PDA)、手持設備、電腦設備、車載設備、可穿戴設備等。在一些可能的實現方式中,該影像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。上述僅為示例性說明,在其他實施例中也可以通過其他的設備或者裝置執行影像處理方法。
圖1示出根據本公開實施例的一種影像處理方法的流程圖,如圖1所示,所述影像處理方法可以包括:S10:對圖像資料集中的多個圖像執行特徵提取處理,獲得與所述圖像對應的圖像特徵;S20:基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,其中同一聚類內的圖像包括相同對象。
本公開實施例提供的影像處理方法中的特徵提取處理和聚類處理的過程中的至少一個處理過程可以通過分散式並行執行的方式運行,通過分散式並行執行的方式可
以提高特徵提取和聚類的處理速度,進而提高影像處理的速度。下麵結合附圖對本公開實施例的具體過程進行詳細說明。
首先可以獲取圖像資料集,在一些可能的實施方式中,圖像資料集可以包括多個圖像,該多個圖像可以為至少一個圖像採集設備採集的圖像,例如可以為設置在路邊、公共區域、辦公樓、安防區域內設置的攝像頭採集的圖像,或者也可以為手機、照相機等設備採集的圖像,本公開對此不做具體限定。
在一些可能的實施方式中,本公開實施例的圖像資料集中的圖像中可以包括相同類型的對象,例如可以包括人物對象,對應的通過本公開實施例的影像處理方法可以獲得相應的人物對象的時空軌跡資訊。或者,在其他實施例中,圖像資料集中的圖像也可以包括其他類型的對象,如動物、移動物體(如飛行器)等,從而可以確定相應的對象的時空軌跡。
在一些可能的實施方式中,在步驟S10之前還可以獲取圖像資料集的步驟,其中獲取圖像資料集的方式可以包括直接與圖像採集設備連接,直接接收圖像採集設備採集的圖像,或者也可以通過與伺服器或者其他電子設備連接,接收伺服器或者其他電子設備傳輸的圖像。另外,本公開實施例中的圖像資料集中的圖像也可以為經過預處理的圖像,例如該預處理可以從採集的圖像中截取包括人臉的圖像(人臉圖像),或者也可以刪除採集的圖像中信噪比低,
較為模糊或者不包括人物對象的圖像。上述僅為示例性說明,本公開不限定獲取圖像資料集的具體方式。
在一些可能的實施方式中,圖像資料集還可以包括各圖像關聯的第三索引,其中第三索引用於確定圖像對應的時空資料,時空資料包括時間資料和空間位置資料中的至少一種,例如第三索引可以包括以下資訊中的至少一種:圖像的採集時間、採集地點以及採集圖像的圖像採集設備的標識、圖像採集設備所安裝的位置以及為圖像配置的序號。從而通過圖像關聯的第三索引可以確定圖像中的對象的出現時間、地點等時空資料資訊。
在一些可能的實施方式,圖像採集設備在採集圖像並發送採集的圖像時,還可以發送該圖像的第三索引,例如可以發送採集圖像的時間、採集圖像的地點、採集圖像的圖像採集設備(如攝像頭)的標識等資訊。在接收到圖像和第三索引後,可以將該圖像與相應的第三索引關聯的儲存,如儲存在資料庫中,該資料庫可以為本地資料庫也可以為雲端資料庫,從而方便資料的讀取和調用。
在得到圖像資料集之後,本公開實施例可以通過步驟S10對圖像資料集中的圖像執行特徵提取處理。在一些可能的實施方式中,可以通過特徵提取演算法提取圖像的圖像特徵,也可以通過經過訓練能夠執行特徵提取的神經網路執行該圖像特徵的提取。其中,本公開實施例中圖像資料集中的圖像為人臉圖像,經特徵提取演算法或者神經網路處理得到的圖像特徵可以為人臉對象的人臉特徵。其中,特徵
提取演算法可以包括主成分分析(PCA)、線性判別分析(LDA)、獨立元分析(ICA)等演算法中的至少一種,或者也可以採用其他能夠識別人臉區域並得到人臉區域的特徵的演算法,神經網路可以為卷積神經網路(如VGG網路),通過卷積神經網路對圖像進行卷積處理,並得到圖像的人臉區域的特徵,即人臉特徵。本公開實施例對特徵提取演算法以及特徵提取的神經網路不作具體限定,只要能夠實現人臉特徵(圖像特徵)的提取,即可以作為本公開實施例。
另外,在一些可能的實施方式中,為了加快圖像特徵的提取速度,本公開實施例可以分散式並行的提取各圖像的圖像特徵。
圖2示出根據本公開實施例的一種影像處理方法中步驟S10的流程圖。其中,所述對圖像資料集中的多個圖像執行特徵提取處理,獲得與所述圖像對應的圖像特徵(步驟S10),可以包括:
S11:將所述圖像資料集中的多個圖像進行分組,得到多個圖像組;在一些可能的實施方式中,可以將圖像資料集中的多個圖像進行分組,得到多個圖像組,每個圖像組中可以包括至少一個圖像。其中對圖像進行分組的方式可以包括平均分組或者隨機分組。得到的圖像組的數量可以為預先配置的組數,該組數可以小於或者等於下述特徵提取模型的數量。
S12:將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型並行執行相應圖像組中的圖
像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
在一些可能的實施方式中,基於得到的多個圖像組,可以執行特徵提取的分散式並行處理過程。其中可以將得到的多個圖像組中的每個圖像組分配給特徵提取模型中的一個模型,通過特徵提取模型執行被分配的圖像組內的圖像的特徵提取處理,得到相應圖像的圖像特徵。
在一些可能的實施方式,特徵提取模型可以採樣上述特徵提取演算法執行特徵提取處理,或者特徵提取模型可以構造為上述特徵提取神經網路得到圖像特徵,本公開對此不作具體限定。
在一些可能的實施方式中,利用多個特徵提取模型分散式並行的執行各圖像組的特徵提取,例如每個特徵提取模型可以同時執行一個圖像組或者多個圖像組的圖像特徵提取,從而加快特徵提取的速度。
在一些可能的實施方式中,在得到圖像的圖像特徵之後,可以關聯的儲存圖像的第三索引和圖像特徵,建立第三索引和圖像特徵之間的映射關係,並可以在資料庫中儲存該映射關係。例如,監控的即時圖片流可以被輸入至前端的分散式特徵提取模組(特徵提取模型),通過該分散式特徵提取模組提取圖像特徵後,將該圖像特徵以持久化特徵形態儲存基於時空資訊的特徵資料庫,即將第三索引和圖像特徵以持久化特徵的形式儲存在特徵資料庫中。在資料庫中,該持久化特徵以索引結構儲存,持久化特徵在資料庫中
的第三索引key可以包括Region id、Camera idx、Captured time和Sequence。其中,Region id為攝像頭區域標識,Camera idx為區域內的攝像頭id,Captured time為圖片的採集時間,Sequence id為自增的序列標識(如依次排列的數位等標識),可以用於去重,第三索引可以構成每條圖像特徵的唯一標識並可以將圖像特徵的時空資訊包含在內。經第三索引與對應的圖像特徵關聯儲存,可以方便的獲得各圖像的圖像特徵(持久化特徵),同時獲知圖像中對象的時空資料資訊(時間和位置)。
基於圖像的圖像特徵可以執行圖像的聚類處理,形成至少一個聚類,其中得到的每個聚類中包括的圖像為相同對象的圖像。圖3示出根據本公開實施例的一種影像處理方法中步驟S20的流程圖,其中,基於所述第一特徵執行所述多個圖像的聚類處理,得到至少一個聚類(步驟S30),可以包括:
S21:對所述圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵;在得到圖像的圖像特徵之後可以進一步得到各圖像特徵的量化特徵,例如可以直接通過量化編碼演算法對圖像特徵進行量化處理得到相應的量化特徵。其中本公開實施例可以採用PQ編碼(Product quantization)得到圖像資料集中的圖像的量化特徵。例如通過PQ量化器執行該量化處理。其中通過PQ量化器執行量化處理的過程可以包括將圖像特徵的向量空間分解成多個低維向量空間的笛卡爾積,並
對分解得到的低維向量空間分別做量化,這樣每個圖像特徵就能有多個低維空間的量化組合表示,即得到量化特徵。對於PQ編碼的具體過程,本公開對此不做具體說明,本領域技術人員可以通過現有技術手段實現該量化過程。通過量化處理可以實現圖像特徵的資料壓縮,例如本公開實施例圖像的圖像特徵的維度可以為N,每維資料為float32浮點數,經量化處理後得到的量化特徵的維度可以為N,以及每維度的資料為half浮點數,即通過量化處理可以減少特徵的資料量。
如上述實施例所述,可以通過至少一個量化器對全部圖像的圖像特徵執行量化處理,得到全部圖像對應的量化特徵。在通過多個量化器執行圖像特徵的量化處理過程時,可以採用分散式並行執行的方式,從而提高處理速度。
S22:基於獲得的所述量化特徵執行所述多個圖像的聚類處理,得到所述至少一個聚類。
在得到量化特徵之後,可以根據量化特徵執行圖像的聚類處理,由於量化特徵相對於原始的圖像特徵減少了特徵資料量,在運算過程中可以提高處理速度,從而提高聚類速度,同時量化特徵還保留了圖像中的特徵資訊,可以保證聚類的精度。
下面對量化處理以及聚類處理的過程進行詳細的說明,如上述實施例所述,為了加快量化特徵的獲取過程,本公開實施例可以採用分散式並行執行的方式執行所述量化處理,其中圖4示出根據本公開實施例的一種影像處理
方法中步驟S21的流程圖,其中,所述對所述圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵,可以包括:
S211:對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;本公開實施例可以對圖像特徵進行分組,分散式並行的執行對各分組的圖像特徵的量化處理,得到相應的量化特徵。在通過多個量化器執行圖像資料集的圖像特徵的量化處理時,可以通過該多個量化器分佈並行執行不同圖像的圖像特徵的量化處理,從而可以減少量化處理所需時間,提高運算速度。
在並行執行各圖像特徵的量化處理過程時,可以將圖像特徵分成多個分組(多個第一分組),該第一分組也可以與上述對圖像的分組(圖像組)相同,即按照圖像分組的方式將圖像特徵分成對應數量的分組,即可以直接得到的圖像組的圖像特徵確定圖像特徵的分組,或者也可以重新形成多個第一分組,本公開對此不作具體限定。每個第一分組至少包括一個圖像的圖像特徵。其中,對於第一分組的數量本公開不作具體限定,其可以根據量化器的數量、處理能力以及圖像的數量綜合確定,本領域技術人員或者神經網路可以根據實際需求確定。
另外,本公開實施例中,對所述多個圖像的圖像特徵進行分組處理的方式可以包括:對所述多個圖像的圖像特徵執行平均分組,或者,按照隨機分組方式對所述多個圖像的圖
像特徵執行分組。即本公開實施例可以按照分組的數量對圖像資料集中各圖像的圖像特徵進行平均分組,或者也可以隨機分組,得到多個第一分組。只要能夠將多個圖像的圖像特徵分成多個第一分組,即可以作為本公開實施例。
在一些可能的實施方式中,在對圖像特徵進行分組得到多個第一分組的情況下,還可以為各第一分組分配標識(如第一索引),並將第一索引和第一分組關聯儲存。例如,圖像資料集的各圖像特徵可以形成為圖像特徵庫T(特徵資料庫),將圖像特徵庫T中的圖像特徵進行分組(分片)得到n個第一分組{S1,S2,...Sn},其中Si表示第i個第一分組,i為大於或者等於1且小於或者等於n的整數,n表示第一分組的數量,n為大於或者等於1的整數。其中每個第一分組中可以包括至少一個圖像的圖像特徵。為了方便區分各第一分組以及方便量化處理,可以為各第一分組分配相應的第一索引{I11,I12,...I1n},其中第一分組Si的第一索引可以為I1i。
S212:分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
在一些可能的實施方式中,在對圖像特徵進行分組得到多個(至少兩個)第一分組後,可以分別並行的執行各第一分組內的圖像特徵的量化處理。例如可以通過多個量化器執行該量化處理,每個量化器可以執行一個或多個第一分組的圖像特徵的量化處理,從而加快處理速度。
在一些可能的實施方式,也可以按照各第一分組的第一索引為各量化器分配相應的量化處理任務。即可以
將各第一分組的第一索引分別分配給多個量化器,其中每個量化器被分配的第一索引不同,通過量化器分別並行的執行所分配的第一索引對應的量化處理任務,即執行對應的第一分組內的圖像特徵的量化處理。
另外,為了進一步提高量化處理速度,可以使得量化器的數量大於或者等於第一分組的數量,同時每個量化器可以至多被分配一個第一索引,即每個量化器可以僅執行一個第一索引對應的第一分組內的圖像特徵的量化處理。但上述並不作為本公開實施例的具體限定,分組數量以及量化器的數量,以及每個量化器被分配的第一索引的數量可以根據不同的需求進行設定。
如上述實施例所述,量化處理可以減小圖像特徵的資料量。本公開實施例中量化處理的方式可以為PQ編碼(Product quantization),例如通過PQ量化器執行該量化處理。通過量化處理可以實現圖像特徵的資料壓縮,例如本公開實施例圖像的圖像特徵的維度可以為N,每維資料為float32浮點數,經量化處理後得到的量化特徵的維度可以為N,以及每維度的資料為half浮點數,即通過量化處理可以減少特徵的資料量。
通過上述實施例,可以實現量化處理的分佈並行執行,提高量化處理的速度。
在得到圖像資料集中的圖像的量化特徵之後,也可以將量化特徵和第三索引關聯的儲存,從而可以建立第
一索引、第三索引、圖像、圖像特徵以及量化特徵的關聯儲存,方便資料的讀取和調用。
另外,在得到圖像的量化特徵的情況下,可以利用各圖像的量化特徵對該圖像資料集執行聚類處理。其中,圖像資料集中圖像可以為相同對象或者不同對象的圖像,本公開實施例可以針對圖像進行聚類處理,得到多個聚類,其中得到的每個聚類內的圖像為相同對象的圖像。
圖5示出根據本公開實施例的一種影像處理方法中步驟S22的流程圖,其中,所述基於獲得的所述量化特徵執行所述多個圖像的聚類處理,得到所述至少一個聚類(步驟S22),可以包括:
S221:獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;在一些可能的實施方式中,在得到圖像的圖像特徵對應的量化特徵之後,則可以基於量化特徵執行圖像的聚類處理,即得到相同對象的聚類(具有相同身份的對象的聚類)。其中,本公開實施例可以首先得到任意兩個量化特徵之間的第一相似度,其中第一相似度可以為余弦相似度,在其他實施例中也可以採用其他的方式確定量化特徵之間的第一相似度,本公開對此不作具體限定。
在一些可能的實施方式中,可以利用一個運算器計算任意兩個量化特徵之間的第一相似度,也可以通過多個運算器分佈並行的計算各量化特徵之間的第一相似度。通過多個運算器並行執行運算可以加快運算速度。
同樣的,本公開實施例還可以基於量化特徵的分組分佈執行各分組的量化特徵與其餘量化特徵之間的第一相似度。其中,可以對各圖像的量化特徵進行分組,得到多個第二分組,每個第二分組包括至少一個圖像的量化特徵。其中,可以直接基於第一分組確定第二分組,即根據第一分組的圖像特徵確定相應的量化特徵,並根據第一分組內的圖像特徵對應的量化特徵直接形成第二分組。或者,也可以按照各圖像的量化特徵進行重新分組,得到多個第二分組。同樣的,該分組的方式可以為平均分組或者隨機分組,本公開對此不作具體限定。
在得到多個第二分組後,也可以為各第二分組配置第二索引,得到多個第二索引,通過第二索引可以區分各第二分組,還可以將第二索引和第二分組關聯儲存。例如,圖像資料集的各圖像的量化特徵可以形成為量化特徵庫L,或者可以將量化特徵也關聯的儲存到上述圖像特徵庫T中,量化特徵與圖像、圖像特徵、第一索引、第二索引、第三索引可以對應的關聯儲存。通過對量化特徵庫L中的量化特徵進行分組(分片)可以得到m個第二分組{L1,L2,...Lm},其中Lj表示第j個第二分組,j為大於或者等於1且小於或者等於m的整數,m表示第二分組的數量,m為大於或者等於1的整數。為了方便區分各第二分組以及方便聚類處理,可以為各第二分組分配相應的第一索引{I21,I22,...I2m},其中第二分組Lj的第二索引可以為I2j。
在得到多個第二分組後,可以利用多個運算器分別執行該多個第二分組內的量化特徵與其餘量化特徵的第一相似度。由於圖像資料集的資料量可能會很大,可以利用多個運算其並行執行各第二分組中任意一個量化特徵與其餘全部量化特徵之間的第一相似度。
在一些可能的實施方式中,可以包括多個運算器,該運算器可以為任意具有運算處理功能的電子器件,如CPU、處理器、單片機等,本公開對此不作具體限定。其中,每個運算器可以計算一個或多個第二分組中的各量化特徵與其餘全部圖像的量化特徵之間的第一相似度,從而加快處理速度。
在一些可能的實施方式,也可以按照各第二分組的第二索引為各運算器分配相應的相似度運算任務。即可以將各第二分組的第二索引分別分配給多個運算器,其中每個運算被分配的第二索引不同,通過運算器分別並行的執行所分配的第二索引對應的相似度運算任務,相似度運算任務為獲取第二索引對應的第二分組內的圖像的量化特徵與該圖像以外的全部圖像的量化特徵之間的第一相似度。從而通過多個運算器的並行執行,則可以快速的得到任意兩個圖像的量化特徵之間的第一相似度。
另外,為了進一步提高相似度運算速度,可以使得運算器的數量大於或者等於第二分組的數量,同時每個運算器可以至多被分配一個第二索引,可以每個運算器僅執行一個第二索引對應的第二分組內的量化特徵與其餘量化特徵之間
的第一相似度運算。但上述並不作為本公開實施例的具體限定,分組數量以及運算器的數量,以及每個運算器被分配的第二索引的數量可以根據不同的需求進行設定。
本公開實施例中,由於量化特徵的特徵量相對於圖像特徵被縮減,因此減少了運算成本的耗費,同時通過多個運算器的並行處理,可以進一步提高運算速度。
S222:基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1為大於或等於1的整數;在得到任意兩個量化特徵之間的第一相似度之後,可以獲取任一圖像的K1近鄰圖像,即與任一圖像的量化特徵的第一相似度最高的K1個量化特徵對應的圖像,該任一圖像和第一相似度最高的K1個量化特徵對應的圖像則為近鄰圖像,表徵可能包括相同對象的圖像。其中可以獲得針對任一量化特徵的第一相似度序列,第一相似度序列為與該任一量化特徵從高到低或者從低到高排序的量化特徵的序列,在得到第一相似度序列之後,即可以方便的確定與該任一量化特徵的第一相似度最高的K1個量化特徵,進而確定任一圖像的K1近鄰。其中K1的數量可以根據圖像資料集中的數量確定,如可以為20、30,或者在其他實施例中也可以設置成其他數值,本公開對此不作具體限定。
S223:利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果。
在一些可能的實施方式中,在得到每個圖像的K1近鄰圖像之後,可以執行後續的聚類處理。圖6示出根據本公開實施例的一種影像處理方法中步驟S223的流程圖。其中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果(步驟S223),可以包括:S2231:從所述任一圖像的K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;S2232:將所述第一圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
在一些可能的實施方式中,得到每個圖像的K1近鄰圖像(量化特徵的第一相似度最高的K1個圖像)之後,可以直接從與每個圖像的K1近鄰圖像中選擇出第一相似度大於第一閾值的圖像,通過選擇出的第一相似度大於第一閾值的圖像形成第一圖像集。其中第一閾值可以為設定的值,如可以為90%,但不作為本公開的具體限定。通過第一閾值的設定可以選擇出與任一圖像最相近的圖像。
在從任一圖像的K1近鄰圖像中選擇出第一相似度大於第一閾值的第一圖像集之後,可以將該任一圖像與選擇出的第一圖像集中的全部圖像標注為第一狀態,並根據處於第一狀態的圖像形成一個聚類。例如,從圖像A的K1近鄰圖像中選擇出第一相似度大於第一閾值的圖像為包括
A1和A2的第一圖像集,則可以將A分別與A1、A2標注為第一狀態,從與A1的K1近鄰圖像中選擇出第一相似度大於第一閾值的圖像為包括B1第一圖像集,此時可以將A1與B1標注為第一狀態,以及A2的K1近鄰圖像中不存在第一相似度大於第一閾值的圖像,不再對A2進行第一狀態的標注。通過上述,則可以將A、A1、A2、B1歸為一個聚類。即圖像A、A1、A2、B1中包括相同的對象。
通過上述方式可以方便的得到聚類結果,由於量化特徵縮減了圖像特徵量,可以加快聚類速度,同時通過設置第一閾值,可以提高聚類精度。
在另一些可能的實施例中,可以進一步結合圖像特徵的相似度來提高聚類精度。圖7示出根據本公開實施例的一種影像處理方法中步驟S223的另一流程圖,其中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果(步驟S223),還可以包括:
S22311:獲取所述任一圖像的圖像特徵與該任一圖像相應的K1近鄰圖像的圖像特徵之間的第二相似度;在一些可能的實施方式中,得到每個圖像的K1近鄰圖像(量化特徵第一相似度最高的K1個圖像)之後,可以進一步計算該任一圖像的圖像特徵和其對應的K1近鄰圖像的圖像特徵之間的第二相似度。也就是說,在得到任一圖像的K1近鄰圖像之後,還可以對進一步計算該任一圖像的圖像特徵與K1個近鄰圖像的圖像特徵之間的第二相似度。其中
該第二相似度也可以為余弦相似度,或者在其他實施例中也可以通過其他方式確定相似度,本公開不作具體限定。
S22312:基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵為所述K1個圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2為大於或者等於1且小於或者等於K1的整數;
在一些可能的實施方式中,可以得到的任一圖像的圖像特徵與對應的K1近鄰圖像的圖像特徵之間的第二相似度,並進一步選擇出第二相似度最高的K2個圖像特徵,將該K2個圖像特徵對應的圖像確定為該任一圖像的K2近鄰圖像。其中,K2的數值可以根據需求自行設定。
S22313:從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的第二相似度大於第二閾值的第二圖像集;在一些可能的實施方式中,得到每個圖像的K2近鄰圖像(圖像特徵的第二相似度最高的K2個圖像)之後,可以直接從與每個圖像的K2近鄰圖像中選擇出第二相似度大於第二閾值的圖像,選擇出的圖像可以形成第二圖像集。其中第二閾值可以為設定的值,如可以為90%,但不作為本公開的具體限定。通過第二閾值的設定可以選擇出與任一圖像最相近的圖像。
S22314:將所述第二圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
在一些可能的實施方式中,在從任一圖像的K2近鄰圖像中選擇出圖像特徵之間的第二相似度大於第一閾值的第二圖像集之後,可以將該任一圖像與選擇出的第二圖像集中的全部圖像標注為第一狀態,並根據處於第一狀態的圖像形成一個聚類。例如,從圖像A的K2近鄰圖像中選擇出第二相似度大於第二閾值的圖像為圖像A3和A4,則可以將A和A3、A4標注為第一狀態,從與A3的K2近鄰圖像中選擇出第二相似度大於第二閾值的圖像為圖像B2,此時可以將A3與B2標注為第一狀態,以及A4的K2近鄰圖像中不存在第二相似度大於第二閾值的圖像,不再對A4進行第一狀態的標注。通過上述,則可以將A、A3、A4、B2歸為一個聚類。即圖像A、A3、A4、B2中包括相同的對象。
通過上述方式可以方便的得到聚類結果,由於量化特徵縮減了圖像特徵量,同時基於量化特徵得到的K1近鄰進一步確定圖像特徵最接近的K2近鄰,從而在加快聚類速度的同時進一步提高了聚類精度。另外,執行量化特徵、圖像特徵之間的相似度的計算過程中,也可以採用分散式並行運算的方式,從而加快聚類速度。
在執行聚類處理之後,可以得到至少一個聚類,其中,每個聚類中可以包括至少一個圖像,相同聚類中的圖像可以視作包括相同的對象。其中,在執行聚類處理後還可以進一步確定得到的每個聚類的類中心。在一些可能的實施方式中,可以將聚類中每個圖像的圖像特徵的平均值作為該聚類的類中心。在得到類中心後還可以為該類中心分配
第四索引,用於區別各類中心對應的聚類。也就是說,本公開實施例的各圖像包括作為圖像標識的第三索引、作為圖像特徵的第一分組的標識的第一索引,作為量化特徵所在第二分組的標識的第二索引,以及作為聚類的標識的第四索引,上述索引以及對應的特徵、圖像等資料可以關聯的儲存。在其他實施例中,可能還存在其他特徵資料的索引,本公開對此不作具體限定。另外,圖像的第三索引、圖像特徵的第一分組的第一索引、量化特徵的第二分組的第二索引以及聚類的第四索引均不相同,可以通過不同的符號標識進行表示。
另外,在通過本公開實施例得到的多個聚類之後,還可以對接收的圖像進行聚類處理,確定接收的圖像所屬的聚類,即執行聚類的增量處理,其中,在確定出接收的圖像匹配的聚類之後,可以將該接收的圖像分配到相應的聚類中,如果當前的聚類與該接收的圖像均不匹配,則可以將該接收的圖像單獨作為一個聚類,或者與現有的圖像資料集融合重新執行聚類處理。圖8示出根據本公開實施例的一種影像處理方法執行聚類增量處理的流程圖,其中所述聚類增量處理可以包括:
S41:獲取輸入圖像的圖像特徵;在一些可能的實施方式中,輸入圖像可以為圖像採集設備即時採集的圖像,或者也可以為通過其他設備傳輸的圖像,或者也可以本機存放區的圖像。本公開對此不做具體限定。在得到輸入圖像之後,可以得到輸入圖像的圖像特徵,與上述實施例相同,可以通過特徵採集演算法得到圖像特
徵,也可以通過卷積神經網路的至少一層卷積處理得到圖像特徵。其中,圖像可以為人臉圖像,對應的圖像特徵為人臉特徵。
S42:對所述輸入圖像的圖像特徵執行量化處理,得到輸入圖像的量化特徵;在得到圖像特徵之後,可以進一步對該圖像特徵執行量化處理,得到相應的量化特徵。其中,本公開實施例獲取的輸入圖像可以為一個或者多個,在執行圖像特徵的獲取以及圖像特徵的量化處理時,都可以通過分佈並行執行的方式獲取,具體並行執行的過程與上述實施例所述的過程相同,在此不作重複說明。
S43:基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類。
在得到圖像的量化特徵之後,可以根據該量化特徵與各聚類的類中心確定該輸入圖像所在的聚類。圖9示出根據本公開實施例的一種影像處理方法中步驟S43的流程圖,其中所述基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類(步驟S43),可以包括:
S4301:獲取所述輸入圖像的量化特徵與各所述聚類的類中心的量化特徵之間的第三相似度;如上所述,可以根據聚類中各圖像的圖像特徵的平均值確定聚類的類中心(類中心的圖像特徵),對應的也可以得到類中心的量化特徵,如可以通過對類中心的圖像特徵執行
量化處理得到該類中心的量化特徵,或者也可以對聚類內各圖像的量化特徵執行均值處理,得到該類中心的量化特徵。
進一步地,可以獲得輸入圖像與每個聚類的類中心的量化特徵之間的第三相似度,同樣的該第三相似度可以為余弦相似度,但不作為本公開的具體限定。
在一些可能的實施方式中,可以對多個類中心進行分組,得到多個類中心組,將該多個類中心組分別分配給多個運算器,每個運算器被分配的類中心組不同,通過多個運算器分別並行的執行各類中心組內的類中心與輸入圖像的量化特徵之間的第三相似度,從而加快處理速度。
S4302:基於所述第三相似度確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3為大於或者等於1的整數;在得到輸入圖像的量化特徵與聚類的類中心的量化特徵之間的第三相似度後,可以得到相似度最高的K3個類中心。其中,K3的數目小於聚類的數目。得到的該K3個類中心可以表示為與輸入對象最為匹配的K3個聚類。
在一些可能的實施方式中,可以通過分佈並行執行的方式得到輸入圖像與各聚類的類中心的量化特徵之間的第三相似度。即可以對各中心進行分組,通過不同的運算器運算對應的分組的類中心的量化特徵與輸入圖像的量化特徵之間的相似度,從而提高運算速度。
S4303:獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;
在一些可能的實施方式中,在得到與輸入圖像的量化特徵的第四相似度最高的K3個類中心時,可以進一步得到該輸入圖像的圖像特徵與對應的K3個類中心的圖像特徵之間的第四相似度,同樣的,該第四相似度可以為余弦相似度,但不作為本公開的具體限定。
同樣的,在運算輸入圖像的圖像特徵與相應的K3個類中心的圖像特徵之間的第四相似度時,也可以採用分佈並行執行的方式運算,例如將K3個類中心分成多組,並將該K3個類中心分別分配給多個運算器,運算器可以執行分配的類中心的圖像特徵與輸入圖像的圖像特徵之間的第四相似度,從而可以加快運算速度。
S4304:回應於所述K3個類中心中一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值,則將所述輸入圖像加入至該類中心對應的聚類;S4305:回應於所述K3個類中心中不存在與所述輸入特徵的圖像特徵的第四相似度大於第三閾值的類中心,基於所述輸入圖像的量化特徵以及所述圖像資料集中的圖像的量化特徵執行所述聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,如果輸入圖像的圖像特徵與K3個類中心的圖像特徵之間的第四相似度存在大於第三閾值的第四相似度,此時可以確定為該輸入圖像與第四相似度最高的類中心對應的聚類匹配,即該輸入圖像中包括的對象與第四相似度最高的聚類所對應的對象為相同對
象。此時可以將該輸入圖像加入至該聚類中,例如可以將該聚類的標識分配給輸入圖像,以關聯的儲存,從而可以確定輸入圖像所屬的聚類。
在一些可能的實施方式中,如果輸入圖像的圖像特徵與K3個類中心的圖像特徵之間的第四相似度均小於第三閾值,則此時可以確定輸入圖像與全部的聚類均不匹配。此時可以將該輸入圖像作為單獨的聚類,或者也可以將輸入圖像與現有的圖像資料集融合得到新的圖像資料集,對新的圖像資料集重新執行步驟S20,即對所有的圖像重新進行聚類,得到至少一個新的聚類,通過該方式可以精確地對圖像資料進行聚類。
在一些可能的實施方式中,如果一聚類內包括的圖像發生變化,如新加入了新的輸入圖像,或者重新執行了聚類處理,可以重新確定聚類的類中心,從而提高類中心的精確地,方便後續過程中的精確地聚類處理。
在對圖像聚類之後,還可以確定各個聚類內的圖像所匹配的對象身份,即可以基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。圖10示出根據本公開實施例的一種影像處理方法中確定聚類匹配的對象身份的流程圖,其中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,包括:
S31:獲得所述身份特徵庫中已知對象的量化特徵;
在一些可能的實施方式中,身份特徵庫中包括多個已知身份的對象資訊,例如可以包括已知身份的對象的人臉圖像以及對象的身份資訊,身份資訊可以包括姓名、年齡、工作等基本資訊。
對應的,身份特徵庫中還可以包括每個已知對象的圖像特徵和量化特徵,其中可以通過每個已知對象的人臉圖像得到相應的圖像特徵,以及對圖像特徵進行量化處理得到量化特徵。
在一些可能的實施方式中,可以採用分佈並行執行的方式得到已知對象的圖像特徵和量化特徵,具體方式與上述實施例所述的過程相同,在此不作重複說明。
S32:確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;在一些可能的實施方式中,在得到每個已知對象的量化特徵後,可以進一步得到已知對象的量化特徵與得到的聚類的類中心的量化特徵之間的第五相似度。第五相似度可以為余弦相似度,但不作為本公開的具體限定。進一步地,可以確定與每個類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵。即可以從身份特庫中找到與類中心的量化特徵的第五相似度最高的K4個已知對象,該K4個已知對象可以為與類中心匹配對最高的K4個身份。
在另一些可能的實施方式中,也可以得到與每個已知對象的量化特徵的第五相似度最高的K4個類中心。該K4個類中心對應的對應為與已知對象的身份的匹配度最高的K4個類中心。
同樣的,可以對已知對象的量化特徵進行分組,通過至少一個量化器執行該已知對象的量化特徵與得到的聚類的類中心的量化特徵之間的第五相似度,從而提高處理速度。
S33:獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;在一些可能的實施方式中,在得到每個類中心對應的K4個已知對象之後,可以進一步確定每個類中心與相應的K4個已知對象的的圖像特徵之間的第六相似度,其中第六相似度可以為余弦相似度,但不作為本公開的具體限定。
在一些可能的實施方式中,在確定的是與已知對象對應的K4個類中心的情況下,在得到已知對象對應的K4個類中心之後,可以進一步確定該已知對象的圖像特徵與該K4個類中心的圖像特徵之間的第六相似度,其中第六相似度可以為余弦相似度,但不作為本公開的具體限定。
S34:回應於K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值,則確定第六相似度最高的所述已知對象與該類中心對應的聚類匹配;
S35:回應於K4個已知對象的圖像特徵與相應的類中心的圖像特徵第六相似度均小於第四閾值,則確定不存在與所述已知對象匹配的聚類。
在一些可能的實施方式中,如果確定的是與類中心匹配的K4個已知對象,此時如果K4個已知對象的圖像特徵中存在至少一個已知對象的圖像特徵與相應的類中心之間的第六相似度大於第四閾值,此時可以將第六相似度最高的已知對象的圖像特徵確定為與類中心最匹配的圖像特徵,此時可以將該第六相似度最高的已知對象的身份確定為與該類中心匹配的身份,即該類中心對應的聚類中各圖像的身份為第六相似度最高的已知對象的身份。或者,在確定的是與已知對象對應的K4個類中心的情況下,如果已知對象對應的K4個類中心中存在與已知對象的圖像特徵之間的第六相似度大於第四閾值的類中心,可以將第六相似度最高的類中心與該已知對象進行匹配,即該第六相似度最高的類中心對應的聚類與該已知對象的身份匹配,從而確定了相應聚類的對象的身份。
在一些可能的實施方式中,在確定的是與類中心匹配的K4個已知對象的情況下,此時,如果K4個已知對象與對應的類中心的圖像特徵之間的第六相似度全部小於第四閾值,則說明不存在與類中心匹配的身份對象。或者在確定的是與已知對象匹配的K4個類中心的情況下,如果K4個類中心的圖像特徵與所述已知對象的圖像特徵之間的第
六相似度均小於第四閾值,則表明得到的聚類中不存在與該已知對象匹配的身份。
綜上所述,可以通過得到圖像的量化特徵執行聚類處理,可以加快聚類處理的速度,同時還可以基於量化特徵執行身份識別處理,在保證身份識別精度的前提下還可以提高身份識別的速度。
可以理解,本公開提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本公開不再贅述。
此外,本公開還提供了影像處理裝置、電子設備、電腦可讀儲存介質、程式,上述均可用來實現本公開提供的任一種影像處理方法,相應技術方案和描述和參見方法部分的相應記載,不再贅述。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖11示出根據本公開實施例的一種影像處理裝置的方塊圖,如圖11所示,所述影像處理裝置包括:特徵提取模組10,其用於對圖像資料集中的多個圖像執行特徵提取處理,獲得與所述多個圖像對應的圖像特徵;聚類模組20,其用於基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,其中同一聚類內的圖像包括相同對象;
其中,採用分散式並行執行的方式執行所述特徵提取處理和所述聚類處理中的至少一個處理過程。
在一些可能的實施方式中,所述特徵提取模組利用分散式並行執行的方式執行所述特徵提取處理,包括:將所述圖像資料集中的多個圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型並行執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
在一些可能的實施方式中,所述聚類模組包括:量化單元,其用於對所述圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵;聚類單元,其用於基於獲得的所述量化特徵執行對所述多個圖像的聚類處理,得到所述至少一個聚類。
在一些可能的實施方式中,所述量化單元還用於對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
在一些可能的實施方式中,所述裝置還包括:第一索引配置模組,其用於為所述多個第一分組分別配置第一索引,得到多個第一索引;
所述量化單元還用於將所述多個第一索引分別分配給多個量化器,每個量化器被分配的第一索引不同;利用所述多個量化器分別並行執行分配的所述第一索引對應的第一分組內的圖像特徵的量化處理。
在一些可能的實施方式中,所述量化處理包括PQ編碼處理。
在一些可能的實施方式中,所述聚類單元還用於獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1為大於或等於1的整數;利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果。
在一些可能的實施方式中,所述聚類單元還用於從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述聚類單元還用於獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;
基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵為所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2為大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述聚類單元還用於在獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,對所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵;並且,所述聚類單元還用於分散式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。
在一些可能的實施方式中,所述裝置還包括:第二索引配置模組,其用於在所述聚類單元執行所述分散式並行地獲取所述第二分組內圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,為所述多個第二分組分別配置第二索引,得到多個第二索引;所述聚類單元還用於基於所述第二索引,建立所述第二索引對應的相似度運算任務,所述相似度運算任務為獲取所
述第二索引對應的第二分組內的靶心圖表像的量化特徵與所述靶心圖表像以外的全部圖像的量化特徵之間的第一相似度;分散式並行執行所述多個第二索引中每個第二索引對應的相似度獲取任務。
在一些可能的實施方式中,所述裝置還包括儲存模組,其用於獲取所述圖像特徵的第三索引,並關聯地儲存所述第三索引和與所述第三索引相應的圖像特徵;所述第三索引包括:通過圖像採集設備採集與所述第三索引對應的圖像的時間、地點以及所述圖像採集設備的標識中的至少一種。
在一些可能的實施方式中,所述聚類模組還包括類中心確定單元,其用於確定得到的所述聚類的類中心,並控制為所述類中心配置第四索引,並關聯地儲存所述第四索引和與所述第四索引對應的類中心。
在一些可能的實施方式中,類中心確定單元還用於基於所述聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。
在一些可能的實施方式中,所述裝置還包括:獲取模組,其用於獲取輸入圖像的圖像特徵;量化模組,用於對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;
所述聚類模組還用於基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類。
在一些可能的實施方式中,所述聚類模組還用於獲取所述輸入圖像的量化特徵與各所述聚類的類中心的量化特徵之間的第三相似度;基於所述第三相似度確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3為大於或者等於1的整數;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;回應於所述K3個類中心中一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值,則將所述輸入圖像加入至所述一類中心對應的聚類。
在一些可能的實施方式中,所述聚類模組還用於回應於不存在與所述輸入特徵的圖像特徵的第四相似度大於第三閾值的類中心,基於所述輸入圖像的量化特徵以及所述圖像資料集中的圖像的量化特徵執行所述聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,所述裝置還包括:身份識別模組,其用於基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。
在一些可能的實施方式中,所述身份識別模組還用於獲得所述身份特徵庫中已知對象的量化特徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;回應於所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值,則確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。
在一些可能的實施方式中,所述身份識別模組還用於回應於所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值,則確定不存在與所述已知對象匹配的聚類。
在一些實施例中,本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖12示出根據本公開實施例的一種電子設備的方塊圖。例如,電子設備800可以是行動電話、電腦、數位廣播終端、消息收發設備、遊戲控制台、平板設備、醫療設備、健身設備、個人數位助理等終端。
參照圖12,電子設備800可以包括以下一個或多個組件:處理組件802,記憶體804,電源組件806,多媒體組件808,音頻組件810,輸入/輸出(I/O)的介面812,感測器組件814,以及通信組件816。
處理組件802通常控制電子設備800的整體操作,諸如與顯示,電話呼叫,資料通信,相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件802可以包括一個或多個模組,便於處理組件802和其他組件之間的交互。例如,處理組件802可以包括多媒體模組,以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令,連絡人資
料,電話簿資料,消息,圖片,視頻等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現,如靜態隨機存取記憶體(SRAM),電可擦除可程式設計唯讀記憶體(EEPROM),可擦除可程式設計唯讀記憶體(EPROM),可程式設計唯讀記憶體(PROM)、唯讀記憶體(ROM)、磁記憶體、快閃記憶體、磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統,一個或多個電源,及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板,螢幕可以被實現為觸控式螢幕,以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件808包括一個前置攝像頭和/或後置攝像頭。當電子設備800處於操作模式,如拍攝模式或視訊模式時,前置攝像頭和/或後置攝像頭可以接收外部的多媒體資料。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如,音頻組件810包括一個麥克風(MIC),當電子設備800處於操作模式,如呼叫模式、記錄模式和語音辨識模式時,麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中,音頻組件810還包括一個揚聲器,用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面,上述週邊介面模組可以是鍵盤,點擊輪,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器,用於為電子設備800提供各個方面的狀態評估。例如,感測器組件814可以檢測到電子設備800的打開/關閉狀態,組件的相對定位,例如所述組件為電子設備800的顯示器和小鍵盤,感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變,使用者與電子設備800接觸的存在或不存在,電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器,如CMOS或CCD圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器組件814還可以包括加速度感測器,陀螺儀感測器,磁感測器,壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路,如WiFi,2G或3G,或它們的組合。在一個示例性實施例中,通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中,所述通信組件816還包括近場通信(NFC)模組,以促進短程通信。例如,在NFC模組可基於射頻識別(RFID)技術,紅外資料協會(IrDA)技術,超寬頻(UWB)技術,藍牙(BT)技術和其他技術來實現。
在示例性實施例中,電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體804,上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖13示出根據本公開實施例的一種電子設備的另一方塊圖。例如,電子設備1900可以被提供為一伺服器。參照圖13,電子設備1900包括處理組件1922,其進一步包括一個或多個處理器,以及由記憶體1932所代表的記憶體資源,用於儲存可由處理組件1922的執行的指令,例
如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外,處理組件1922被配置為執行指令,以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理,一個有線或無線網路介面1950被配置為將電子設備1900連接到網路,和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統,例如Windows ServerTM、Mac OS XTM、UnixTM,LinuxTM、FreeBSDTM或類似。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體1932,上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質,其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括:可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM
或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個電腦/處理設備,或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個電腦/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個電腦/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼,所述程式設計語言包括對象導向的程式設計語言-諸如Smalltalk、C++等,以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可
以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在關於遠端電腦的情形中,遠端電腦可以通過任意種類的網路-包括局域網(LAN)或廣域網路(WAN)-連接到使用者電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路,例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA),該電子電路可以執行電腦可讀程式指令,從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解,流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器,從而生產出一種機器,使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時,產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中,這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀介質則包括
一個製造品,其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上,使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟,以產生電腦實現的過程,從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如,兩個連續的方塊實際上可以基本並行地執行,它們有時也可以按相反的循序執行,這依所關於的功能而定。也要注意的是,方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例,上述說明是示例性的,並非窮盡性的,並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對
於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進,或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖,無元件符號說明。
Claims (20)
- 一種影像處理方法,包括:對圖像資料集中的多個圖像執行特徵提取處理,獲得與所述多個圖像對應的圖像特徵;基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,其中同一所述聚類內的圖像包括相同對象;其中,採用分散式並行執行的方式執行所述特徵提取處理和所述聚類處理中的至少一個處理過程;所述方法還包括:獲得身份特徵庫中已知對象的量化特徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;回應於所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值,則確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。
- 根據請求項1所述的方法,利用分散式並行執行的方式執行所述特徵提取處理,包括: 將所述圖像資料集中的多個圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型並行執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
- 根據請求項1所述的方法,所述基於獲得的所述圖像特徵執行對所述多個圖像的聚類處理,得到至少一個聚類,包括:對所述圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵;基於獲得的所述量化特徵執行對所述多個圖像的聚類處理,得到所述至少一個聚類。
- 根據請求項3所述的方法,所述對所述圖像的圖像特徵執行量化處理,獲得與所述圖像特徵對應的量化特徵,包括:對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
- 根據請求項4所述的方法,在所述分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵之前,所述方法還包括: 為所述多個第一分組分別配置第一索引,得到多個第一索引;所述分散式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵,包括:將所述多個第一索引分別分配給多個量化器,每個量化器被分配的第一索引不同;利用所述多個量化器分別並行執行分配的所述第一索引對應的第一分組內的圖像特徵的量化處理。
- 根據請求項3所述的方法,所述量化處理包括PQ編碼處理。
- 根據請求項3所述的方法,所述基於獲得的所述量化特徵執行所述多個圖像的聚類處理,得到所述至少一個聚類,包括:獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1為大於或等於1的整數;利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果。
- 根據請求項7所述的方法,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果,包括: 從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
- 根據請求項7所述的方法,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述聚類處理的聚類結果,包括:獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵為所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2為大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
- 根據請求項7所述的方法,所述獲取所述多個圖像中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,所述方法還包括:對所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵; 並且,所述獲取任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括:分散式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。
- 根據請求項10所述的方法,在所述分散式並行地獲取所述第二分組內圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,還包括:為所述多個第二分組分別配置第二索引,得到多個第二索引;並且,所述分散式並行地獲取所述第二分組內圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括:基於所述第二索引,建立所述第二索引對應的相似度運算任務,所述相似度運算任務為獲取所述第二索引對應的第二分組內的靶心圖表像的量化特徵與所述靶心圖表像以外的全部圖像的量化特徵之間的第一相似度;分散式並行執行所述多個第二索引中每個第二索引對應的相似度獲取任務。
- 根據請求項1所述的方法,所述方法還包括:獲取所述圖像特徵的第三索引,並關聯地儲存所述第三索引和與所述第三索引相應的圖像特徵;所述第三索引包括:通過圖像採集設備採集與所述第三索引對應的圖像的時間、地點以及所述圖像採集設備的標識中的至少一種。
- 根據請求項1所述的方法,所述方法還包括: 確定得到的所述聚類的類中心;為所述類中心配置第四索引,並關聯地儲存所述第四索引和與所述第四索引對應的類中心。
- 根據請求項13所述的方法,所述確定得到的所述聚類的類中心,包括:基於所述聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。
- 根據請求項1所述的方法,所述方法還包括:獲取輸入圖像的圖像特徵;對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類。
- 根據請求項15所述的方法,所述基於所述輸入圖像的量化特徵以及得到的聚類的類中心,確定所述輸入圖像所在的聚類,包括:獲取所述輸入圖像的量化特徵與各所述聚類的類中心的量化特徵之間的第三相似度;基於所述第三相似度確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3為大於或者等於1的整數;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度; 回應於所述K3個類中心中一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值,則將所述輸入圖像加入至所述一類中心對應的聚類。
- 根據請求項16所述的方法,所述基於所述輸入圖像的量化特徵以及得到的所述聚類的類中心,確定所述輸入圖像所在的聚類,還包括:回應於不存在與所述輸入特徵的圖像特徵的第四相似度大於第三閾值的類中心,基於所述輸入圖像的量化特徵以及所述圖像資料集中的圖像的量化特徵執行所述聚類處理,得到至少一個新的聚類。
- 根據請求項1所述的方法,所述方法還包括:回應於所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值,則確定不存在與所述已知對象匹配的聚類。
- 一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行請求項1至18中任意一項所述的方法。
- 一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現請求項1至18中任意一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910404653.9 | 2019-05-15 | ||
CN201910404653.9A CN110175546B (zh) | 2019-05-15 | 2019-05-15 | 图像处理方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202044107A TW202044107A (zh) | 2020-12-01 |
TWI785267B true TWI785267B (zh) | 2022-12-01 |
Family
ID=67691160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108129692A TWI785267B (zh) | 2019-05-15 | 2019-08-20 | 影像處理方法、電子設備和儲存介質 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210073577A1 (zh) |
JP (1) | JP7128906B2 (zh) |
CN (1) | CN110175546B (zh) |
SG (1) | SG11202011658TA (zh) |
TW (1) | TWI785267B (zh) |
WO (1) | WO2020228163A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225280B (zh) * | 2020-01-22 | 2021-10-01 | 复旦大学 | 基于嵌入式平台的轻量级视频分析*** |
CN111818364B (zh) * | 2020-07-30 | 2021-08-06 | 广州云从博衍智能科技有限公司 | 视频融合方法、***、设备及介质 |
CN114494782B (zh) * | 2022-01-26 | 2023-08-08 | 北京百度网讯科技有限公司 | 图像处理方法、模型训练方法、相关装置及电子设备 |
CN114549883B (zh) * | 2022-02-24 | 2023-09-05 | 北京百度网讯科技有限公司 | 图像处理方法、深度学习模型的训练方法、装置和设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156118A (zh) * | 2015-04-07 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 基于计算机***的图片相似度计算方法及其*** |
CN106203508A (zh) * | 2016-07-11 | 2016-12-07 | 天津大学 | 一种基于Hadoop平台的图像分类方法 |
US10147018B2 (en) * | 2014-06-30 | 2018-12-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5581574B2 (ja) | 2008-07-09 | 2014-09-03 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
US8107740B2 (en) * | 2008-08-15 | 2012-01-31 | Honeywell International Inc. | Apparatus and method for efficient indexing and querying of images in security systems and other systems |
CN102741882B (zh) | 2010-11-29 | 2015-11-25 | 松下电器(美国)知识产权公司 | 图像分类装置、图像分类方法、集成电路、模型制作装置 |
JP2013020480A (ja) | 2011-07-12 | 2013-01-31 | Hitachi Ltd | 画像検索システム |
CN103164713B (zh) * | 2011-12-12 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 图像分类方法和装置 |
JP5577372B2 (ja) * | 2012-03-29 | 2014-08-20 | 楽天株式会社 | 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体 |
US8768049B2 (en) * | 2012-07-13 | 2014-07-01 | Seiko Epson Corporation | Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model |
CN103235825B (zh) * | 2013-05-08 | 2016-05-25 | 重庆大学 | 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法 |
CN103605765B (zh) * | 2013-11-26 | 2016-11-16 | 电子科技大学 | 一种基于聚类紧凑特征的海量图像检索*** |
US9613407B2 (en) * | 2014-07-03 | 2017-04-04 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
CN104392250A (zh) * | 2014-11-21 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种基于MapReduce的图像分类方法 |
CN104881735A (zh) * | 2015-05-13 | 2015-09-02 | 国家电网公司 | 用于支撑智慧城市运行管理的智能电网大数据挖掘***及方法 |
CN104933445B (zh) * | 2015-06-26 | 2019-05-14 | 电子科技大学 | 一种基于分布式K-means的海量图像分类方法 |
JP6544482B2 (ja) | 2015-09-11 | 2019-07-17 | 日本電気株式会社 | 物体認識装置、物体認識方法及び記憶媒体 |
CN106959948A (zh) * | 2016-01-08 | 2017-07-18 | 普华诚信信息技术有限公司 | 针对分布式特性对大数据进行预处理的***及其预处理方法 |
JP6732518B2 (ja) * | 2016-04-27 | 2020-07-29 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US10032067B2 (en) * | 2016-05-28 | 2018-07-24 | Samsung Electronics Co., Ltd. | System and method for a unified architecture multi-task deep learning machine for object recognition |
CN108182443B (zh) * | 2016-12-08 | 2020-08-07 | 广东精点数据科技股份有限公司 | 一种基于决策树的图像自动标注方法和装置 |
CN107085607B (zh) * | 2017-04-19 | 2020-06-30 | 电子科技大学 | 一种图像特征点匹配方法 |
CN107844532A (zh) * | 2017-10-19 | 2018-03-27 | 大连大学 | 基于MapReduce与倒排泰森多边形的大规模近邻查询方法 |
CN108376177B (zh) * | 2018-03-15 | 2019-10-25 | 百度在线网络技术(北京)有限公司 | 用于处理信息的方法和分布式*** |
CN108921587B (zh) * | 2018-05-24 | 2020-02-28 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及服务器 |
CN109063790B (zh) * | 2018-09-27 | 2021-03-16 | 北京地平线机器人技术研发有限公司 | 对象识别模型优化方法、装置和电子设备 |
CN109522937B (zh) * | 2018-10-23 | 2021-02-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109740660A (zh) * | 2018-12-27 | 2019-05-10 | 深圳云天励飞技术有限公司 | 图像处理方法及装置 |
CN109740013A (zh) * | 2018-12-29 | 2019-05-10 | 深圳英飞拓科技股份有限公司 | 图像数据处理方法及图像检索方法 |
-
2019
- 2019-05-15 CN CN201910404653.9A patent/CN110175546B/zh active Active
- 2019-08-19 SG SG11202011658TA patent/SG11202011658TA/en unknown
- 2019-08-19 JP JP2020556815A patent/JP7128906B2/ja active Active
- 2019-08-19 WO PCT/CN2019/101438 patent/WO2020228163A1/zh active Application Filing
- 2019-08-20 TW TW108129692A patent/TWI785267B/zh active
-
2020
- 2020-11-20 US US16/953,875 patent/US20210073577A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10147018B2 (en) * | 2014-06-30 | 2018-12-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
CN106156118A (zh) * | 2015-04-07 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 基于计算机***的图片相似度计算方法及其*** |
CN106203508A (zh) * | 2016-07-11 | 2016-12-07 | 天津大学 | 一种基于Hadoop平台的图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202044107A (zh) | 2020-12-01 |
CN110175546B (zh) | 2022-02-25 |
JP2021528715A (ja) | 2021-10-21 |
CN110175546A (zh) | 2019-08-27 |
US20210073577A1 (en) | 2021-03-11 |
JP7128906B2 (ja) | 2022-08-31 |
WO2020228163A1 (zh) | 2020-11-19 |
SG11202011658TA (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI761851B (zh) | 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體 | |
TWI785267B (zh) | 影像處理方法、電子設備和儲存介質 | |
TWI754855B (zh) | 人臉圖像識別方法、裝置、電子設備及儲存介質 | |
TWI710964B (zh) | 圖像聚類方法及裝置、電子設備和儲存介質 | |
CN110472091B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN109389162B (zh) | 样本图像筛选方法和装置、电子设备及存储介质 | |
WO2021093375A1 (zh) | 检测同行人的方法及装置、***、电子设备和存储介质 | |
WO2022057302A1 (zh) | 聚类方法及装置、电子设备和存储介质 | |
US20220019772A1 (en) | Image Processing Method and Device, and Storage Medium | |
CN109145150B (zh) | 目标匹配方法及装置、电子设备和存储介质 | |
JP2016516251A (ja) | クラスタリング方法、クラスタリング装置、端末装置、プログラム及び記録媒体 | |
CN109522937B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111582383B (zh) | 属性识别方法及装置、电子设备和存储介质 | |
TWI779449B (zh) | 對象計數方法、電子設備、電腦可讀儲存介質 | |
CN109101542B (zh) | 图像识别结果输出方法及装置、电子设备和存储介质 | |
TW202036476A (zh) | 圖像處理方法及裝置、電子設備和儲存介質 | |
TW202309772A (zh) | 行爲識別方法及電子設備和儲存媒體 | |
TW202242715A (zh) | 身份辨識方法及電子設備、電腦可讀儲存媒體 | |
CN111814627B (zh) | 人员检测方法及装置、电子设备和存储介质 | |
CN110019907A (zh) | 一种图像检索方法及装置 | |
CN111651627A (zh) | 数据处理方法及装置、电子设备和存储介质 | |
CN111062407A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN115082999A (zh) | 合影图像人物分析方法、装置、计算机设备和存储介质 | |
CN111814631A (zh) | 人员检测方法及装置、电子设备和存储介质 |