JP7128906B2 - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

画像処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7128906B2
JP7128906B2 JP2020556815A JP2020556815A JP7128906B2 JP 7128906 B2 JP7128906 B2 JP 7128906B2 JP 2020556815 A JP2020556815 A JP 2020556815A JP 2020556815 A JP2020556815 A JP 2020556815A JP 7128906 B2 JP7128906 B2 JP 7128906B2
Authority
JP
Japan
Prior art keywords
image
features
images
cluster
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020556815A
Other languages
English (en)
Other versions
JP2021528715A (ja
Inventor
チュイビー ホアン
カン ワン
ユーホン チェン
タオ モー
シアオ ジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2021528715A publication Critical patent/JP2021528715A/ja
Application granted granted Critical
Publication of JP7128906B2 publication Critical patent/JP7128906B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

(関連出願の相互参照)
本願は、2019年5月15日に中国特許局に提出された出願番号201910404653.9の中国特許出願に基づく優先権を主張するものであり、該中国特許出願の全内容を参照として本願に組み込まれる。
本開示は、コンピュータビジョン技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
スマートシティ型の街づくりに伴い、都市レベルのモニタリングシステムには、膨大な量の顔キャプチャー画像が日々発生している。これらの顔データは、規模が大きく、空間領域における分布が広く、重複性が高くアイデンティティに関わる情報が存在しない等の特徴を有するが、従来の映像分析システムによれば、膨大な量の画像データについてクラスター分析を迅速かつ効果的に行うことができない。
本開示の実施例は、画像処理の技術的解決手段を提供する。
本開示の実施例の一態様によれば、画像処理方法を提供する。該方法は、画像データセット内の複数の画像に対して特徴抽出処理を行い、前記複数の画像にそれぞれ対応する画像特徴を取得することと、取得された前記画像特徴に基づいて、前記複数の画像に対してクラスタリング処理を行い、少なくとも1つのクラスターを得ることであって、ここで同一のクラスター内の画像には同じ対象が含まれることと、を含み、ここで、分散型並列実行の方式で、前記特徴抽出処理及び前記クラスタリング処理のうちの少なくとも1つの処理プロセスを実行する。上記構成によれば、抽出された画像特徴に基づいて画像の正確なクラスタリングを行うと共に、分散型並列実行の方式を利用することで特徴抽出及びクラスタリング速度を向上させることができ、画像処理効率を向上させることができる。
幾つかの可能な実施形態において、前記分散型並列実行の方式で、前記特徴抽出処理を実行することは、前記画像データセット内の複数の画像をグループ化し、複数の画像群を得ることと、前記複数の画像群をそれぞれ複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを利用して、前記特徴抽出モデルに対応する画像群における画像の特徴抽出処理を並列実行し、前記複数の画像の画像特徴を得ることであって、各特徴抽出モデルに入力された画像群が異なることと、を含む。上記構成によれば、複数の特徴抽出モデルを利用して、複数の画像の特徴抽出プロセスを分散型並列実行の方式で実行することができ、特徴抽出効率を向上させることができる。
幾つかの可能な実施形態において、前記取得された前記画像特徴に基づいて、前記複数の画像に対してクラスタリング処理を行い、少なくとも1つのクラスターを得ることは、前記画像特徴に対して、量子化処理を実行し、前記画像特徴に対応する量子化特徴を得ることと、取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得ることと、を含む。上記構成によれば、画像特徴を量子化処理することで得られた量子化特徴の特徴情報の有効性を確保する上で、データ量を縮減し、クラスタリング処理の速度を向上させることができる。
幾つかの可能な実施形態において、前記画像の画像特徴に対して、量子化処理を実行し、前記画像特徴に対応する量子化特徴を得ることは、前記複数の画像の画像特徴をグループ化処理し、複数の第1群を得ることであって、前記第1群には少なくとも1つの画像の画像特徴が含まれることと、前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得ることと、を含む。上記構成によれば、画像特徴の量子化処理を分散型並列実行の方式で実行することで、量子化処理の効率を向上させることができる。
幾つかの可能な実施形態において、前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得る前に、前記方法は、前記複数の第1群のためにそれぞれ第1インデックスを設定し、複数の第1インデックスを得ることを更に含み、前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得ることは、前記複数の第1インデックスをそれぞれ複数の量子化器に割り当てることであって、各量子化器に割り当てられる第1インデックスが異なることと、前記複数の量子化器を利用して、割り当てられた第1インデックスに対応する第1群内の画像特徴の量子化処理をそれぞれ並列実行することと、を含む。上記構成によれば、設定された第1インデックスにより、第1インデックスと第1群を容易に関連付けることができると共に、量子化処理タスクを容易に各量子化器に割り当てることができる。
幾つかの可能な実施形態において、前記量子化処理は、PQ(Product Quantization)符号化処理を含む。
幾つかの可能な実施形態において、取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得ることは、前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することと、前記第1類似度に基づいて、前記いずれか1つの画像のK1隣接画像を決定することであって、前記K1隣接画像の量子化特徴が前記いずれか1つの画像の量子化特徴との第1類似度が最も高いK1個の量子化特徴であり、前記K1が1以上の整数であることと、前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して、前記クラスタリング処理のクラスタリング結果を決定することと、を含む。上記構成によれば、量子化特徴同士の類似度を利用して画像のクラスタリングを行うことが容易である。
幾つかの可能な実施形態において、前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して前記クラスタリング処理のクラスタリング結果を決定することは、前記いずれか1つの画像の量子化特徴との第1類似度が第1閾値を超える第1画像セットを前記K1隣接画像から選択することと、前記第1画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成することであって、前記第1状態は画像に同じ対象を含む状態であることと、を含む。
幾つかの可能な実施形態において、前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して前記クラスタリング処理のクラスタリング結果を決定することは、前記いずれか1つの画像の画像特徴と前記いずれか1つの画像のK1隣接画像の画像特徴との第2類似度を取得することと、前記第2類似度に基づいて、前記いずれか1つの画像のK2隣接画像を決定することであって、前記K2隣接画像の画像特徴が前記K1隣接画像のうち前記いずれか1つの画像の画像特徴との第2類似度が最も高いK2個の画像特徴であり、K2が1以上であってK1以下である整数であることと、前記いずれか1つの画像の画像特徴との前記第2類似度が第2閾値を超える第2画像セットを前記K2隣接画像から選択することと、前記第2画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成することであって、前記第1状態は画像に同じ対象を含む状態であることと、を含む。上記構成によれば、量子化特徴同士の類似度によりK1隣接画像を得る上で、画像特徴同士の類似度により、画像のクラスタリングを更に実行し、クラスタリング精度を向上させることができる。
幾つかの可能な実施形態において、前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得する前に、前記方法は、前記複数の画像の量子化特徴についてグループ化処理し、複数の第2群を得ることであって、前記第2群には少なくとも1つの画像の量子化特徴が含まれることを更に含み、また、いずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することは、前記第2群における画像の量子化特徴と前記他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得することを含む。上記構成によれば、分散型並列実行の方式で量子化特徴同士の類似度を得ることで、処理速度を向上させることができる。
幾つかの可能な実施形態において、前記第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得する前に、前記複数の第2群のためにそれぞれ第2インデックスを設定し、複数の第2インデックスを得ることを更に含み、また、前記複数の第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することは、前記第2インデックスに基づいて、前記第2インデックスに対応する類似度演算タスクを確立することであって、前記類似度演算タスクが、前記第2インデックスに対応する第2群におけるターゲット画像の量子化特徴と前記ターゲット画像以外の全ての画像の量子化特徴との第1類似度を取得するものであることと、前記複数の第2インデックスのうちの各第2インデックスに対応する類似度取得タスクを分散型並列実行の方式で実行することと、を含む。上記構成によれば、設定された第2インデックスにより、第2インデックスと第2群との関連付けを確立すると共に、第2インデックスにより、類似度演算タスクを容易に割り当てることができる。
幾つかの可能な実施形態において、前記方法は、前記画像特徴の第3インデックスを取得し、前記第3インデックスと前記第3インデックスに対応する画像特徴とを関連付けて記憶することを更に含み、前記第3インデックスは、画像採取装置により前記第3インデックスに対応する画像を採取する時間、場所及び前記画像採取装置の識別子のうちの少なくとも1つを含む。上記構成によれば、画像のインデックスを容易に確立することができ、該インデックスにより、画像における対象の時空間情報を更に取得することができる。
幾つかの可能な実施形態において、前記方法は、得られた前記クラスターのクラスター中心を決定することと、前記クラスター中心のために、第4インデックスを設定するように制御し、前記第4インデックスと前記第4インデックスに対応するクラスター中心とを関連付けて記憶することと、を更に含む。上記構成によれば、クラスター中心を容易に記憶して照会することができる。
幾つかの可能な実施形態において、得られた前記クラスターのクラスター中心を決定することは、前記クラスター内の各画像の画像特徴の平均値に基づいて、前記クラスターのクラスター中心を決定することを含む。上記構成によれば、クラスター内の画像対象の特徴情報を正確に表すことができるクラスター中心を取得することができる。
幾つかの可能な実施形態において、前記方法は、入力画像の画像特徴を取得することと、前記入力画像の画像特徴に対して量子化処理を行い、前記入力画像の量子化特徴を得ることと、前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定することと、を更に含む。上記構成によれば、任意の新規追加された画像における対象に対応するクラスターを容易に取得することができる。
幾つかの可能な実施形態において、前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定することは、前記入力画像の量子化特徴と各前記クラスターのクラスター中心の量子化特徴との第3類似度を取得することと、前記第3類似度に基づいて、前記入力画像の量子化特徴との第3類似度が最も高いK3個のクラスター中心を決定することであって、K3が1以上の整数であることと、前記入力画像の画像特徴と前記K3個のクラスター中心の画像特徴との第4類似度を取得することと、前記K3個のクラスター中心のうちの1つのクラスター中心の画像特徴と前記入力画像の画像特徴との第4類似度が最も高く且つ該第4類似度が第3閾値を超えることに応答して、前記入力画像を前記1つのクラスター中心に対応するクラスターに加えることと、を含む。
幾つかの可能な実施形態において、前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定することは、前記入力画像の画像特徴との第4類似度が第3閾値を超えるクラスター中心が存在しないことに応答して、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて、前記クラスタリング処理を実行し、少なくとも1つの新たなクラスターを得ることを更に含む。
幾つかの可能な実施形態において、前記方法は、アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することを更に含む。上記設定により、得られたクラスターに対応する対象のアイデンティティを得ることができる。
幾つかの可能な実施形態において、前記アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することは、前記アイデンティティ特徴ライブラリにおける既知の対象の量子化特徴を取得することと、前記既知の対象の量子化特徴と前記少なくとも1つのクラスターのクラスター中心の量子化特徴との第5類似度を決定することであって、前記クラスター中心の量子化特徴との第5類似度が最も高いK4個の既知のオブジェクトの量子化特徴を決定することと、前記クラスター中心の画像特徴と対応するK4個の既知の対象の画像特徴との第6類似度を取得することと、前記K4個の既知の対象のうちの1つの既知の対象の画像特徴と前記クラスター中心の画像特徴との第6類似度が最も高く且つ該第6類似度が第4閾値を超えることに応答して、前記第6類似度が最も高い前記1つの既知の対象が前記クラスター中心に対応するクラスターとマッチングしたと判定することと、を含む。上記構成によれば、既知の対象の量子化特徴及び画像特徴に基づいて、クラスターに対応する対象のアイデンティティ識別を容易かつ正確に実現させることができる。
幾つかの可能な実施形態において、前記アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することは、前記K4個の既知の対象の画像特徴と対応するクラスター中心の画像特徴との第6類似度がいずれも前記第4閾値未満であることに応答して、前記既知の対象とマッチングしたクラスターが存在しないと判定することを更に含む。
本開示の実施例の第2態様によれば、画像処理装置を提供する。前記装置は、画像データセット内の複数の画像に対して特徴抽出処理を行い、前記複数の画像にそれぞれ対応する画像特徴を取得するように構成される特徴抽出モジュールと、取得された前記画像特徴に基づいて、前記複数の画像に対してクラスタリング処理を行い、少なくとも1つのクラスターを得ように構成されるクラスタリングモジュールであって、ここで同一のクラスター内の画像には同じ対象が含まれるクラスタリングモジュールと、を備え、ここで、分散型並列実行の方式で、前記特徴抽出処理及び前記クラスタリング処理のうちの少なくとも1つの処理プロセスを実行する。上記構成によれば、抽出された画像特徴に基づいて画像の正確なクラスタリングを行うと共に、分散型並列実行の方式を利用することで特徴抽出及びクラスタリング速度を向上させることができ、画像処理効率を向上させることができる。
幾つかの可能な実施形態において、前記特徴抽出モジュールは、前記画像データセット内の複数の画像をグループ化し、複数の画像群を得ることと、前記複数の画像群をそれぞれ複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを利用して、前記特徴抽出モデルに対応する画像群における画像の特徴抽出処理を並列実行し、前記複数の画像の画像特徴を得ることと、を実行するように構成され、各特徴抽出モデルに入力された画像群が異なる。上記構成によれば、複数の特徴抽出モデルを利用して、複数の画像の特徴抽出プロセスを分散型並列実行の方式で実行することができ、特徴抽出効率を向上させることができる。
幾つかの可能な実施形態において、前記クラスタリングモジュールは、前記画像特徴に対して、量子化処理を実行し、前記画像特徴に対応する量子化特徴を得るように構成される量子化ユニットと、取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得るように構成されるクラスタリングユニットと、を備える。上記構成によれば、画像特徴を量子化処理することで得られた量子化特徴の特徴情報の有効性を確保する上で、データ量を縮減し、クラスタリング処理の速度を向上させることができる。
幾つかの可能な実施形態において、前記量子化ユニットは更に、前記複数の画像の画像特徴をグループ化処理し、複数の第1群を得ることであって、前記第1群には少なくとも1つの画像の画像特徴が含まれることと、前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得ることと、を実行するように構成される。上記構成によれば、画像特徴の量子化処理を分散型並列実行の方式で実行することで、量子化処理の効率を向上させることができる。
幾つかの可能な実施形態において、前記装置は、前記複数の第1群のためにそれぞれ第1インデックスを設定し、複数の第1インデックスを得るように構成される第1インデックス設定モジュールを更に備え、前記量子化ユニットは更に、前記複数の第1インデックスをそれぞれ複数の量子化器に割り当てることであって、各量子化器に割り当てられる第1インデックスが異なることと、前記複数の量子化器を利用して、割り当てられた第1インデックスに対応する第1群内の画像特徴の量子化処理をそれぞれ並列実行することと、を実行するように構成される。上記構成によれば、設定された第1インデックスにより、第1インデックスと第1群を容易に関連付けることができると共に、量子化処理タスクを容易に各量子化器に割り当てることができる。
幾つかの可能な実施形態において、前記量子化処理は、PQ(Product Quantization)符号化処理を含む。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することと、前記第1類似度に基づいて、前記いずれか1つの画像のK1隣接画像を決定することであって、前記K1隣接画像の量子化特徴が前記いずれか1つの画像の量子化特徴との第1類似度が最も高いK1個の量子化特徴であり、前記K1が1以上の整数であることと、前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して、前記クラスタリング処理のクラスタリング結果を決定することと、を実行するように構成される。上記構成によれば、量子化特徴同士の類似度を利用して画像のクラスタリングを行うことが容易である。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記いずれか1つの画像の量子化特徴との第1類似度が第1閾値を超える第1画像セットを前記K1隣接画像から選択することと、前記第1画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成することと、を実行するように構成され、前記第1状態は画像に同じ対象を含む状態である。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記いずれか1つの画像の画像特徴と前記いずれか1つの画像のK1隣接画像の画像特徴との第2類似度を取得することと、前記第2類似度に基づいて、前記いずれか1つの画像のK2隣接画像を決定することであって、前記K2隣接画像の画像特徴が前記K1隣接画像のうち前記いずれか1つの画像の画像特徴との第2類似度が最も高いK2個の画像特徴であり、K2が1以上であってK1以下である整数であることと、前記いずれか1つの画像の画像特徴との前記第2類似度が第2閾値を超える第2画像セットを前記K2隣接画像から選択することと、前記第2画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成することと、を実行するように構成され、前記第1状態は画像に同じ対象を含む状態である。上記構成によれば、量子化特徴同士の類似度によりK1隣接画像を得る上で、画像特徴同士の類似度により、画像のクラスタリングを更に実行し、クラスタリング精度を向上させることができる。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得する前に、前記複数の画像の量子化特徴についてグループ化処理し、複数の第2群を得るように構成され、前記第2群には少なくとも1つの画像の量子化特徴が含まれ、また、前記クラスタリングユニットは更に、前記第2群における画像の量子化特徴と前記他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得するように構成される。上記構成によれば、分散型並列実行の方式で量子化特徴同士の類似度を得ることで、処理速度を向上させることができる。
幾つかの可能な実施形態において、前記装置は、前記クラスタリングユニットにより前記第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得する前に、前記複数の第2群のためにそれぞれ第2インデックスを設定し、複数の第2インデックスを得るように構成される第2インデックス設定モジュールを更に備え、前記クラスタリングユニットは更に、前記第2インデックスに基づいて、前記第2インデックスに対応する類似度演算タスクを確立することであって、前記類似度演算タスクが、前記第2インデックスに対応する第2群におけるターゲット画像の量子化特徴と前記ターゲット画像以外の全ての画像の量子化特徴との第1類似度を取得するものであることと、前記複数の第2インデックスのうちの各第2インデックスに対応する類似度取得タスクを分散型並列実行の方式で実行することと、を実行するように構成される。上記構成によれば、設定された第2インデックスにより、第2インデックスと第2群との関連付けを確立すると共に、第2インデックスにより、類似度演算タスクを容易に割り当てることができる。
幾つかの可能な実施形態において、前記装置は、前記画像特徴の第3インデックスを取得し、前記第3インデックスと前記第3インデックスに対応する画像特徴とを関連付けて記憶するように構成される記憶モジュールを更に備え、前記第3インデックスは、画像採取装置により前記第3インデックスに対応する画像を採取する時間、場所及び前記画像採取装置の識別子のうちの少なくとも1つを含む。上記構成によれば、画像のインデックスを容易に確立することができ、該インデックスにより、画像における対象の時空間情報を更に取得することができる。
幾つかの可能な実施形態において、前記クラスタリングモジュールは、得られた前記クラスターのクラスター中心を決定し、前記クラスター中心のために、第4インデックスを設定するように制御し、前記第4インデックスと前記第4インデックスに対応するクラスター中心とを関連付けて記憶するように構成されるクラスター中心決定ユニットを更に備える。上記構成によれば、クラスター中心を容易に記憶して照会することができる。
幾つかの可能な実施形態において、前記クラスター中心決定ユニットは更に、前記クラスター内の各画像の画像特徴の平均値に基づいて、前記クラスターのクラスター中心を決定するように構成される。上記構成によれば、クラスター内の画像対象の特徴情報を正確に表すことができるクラスター中心を取得することができる。
幾つかの可能な実施形態において、前記装置は、入力画像の画像特徴を取得するように構成される取得モジュールと、前記入力画像の画像特徴に対して量子化処理を行い、前記入力画像の量子化特徴を得るように構成される量子化モジュールと、を更に備え、前記クラスタリングモジュールは更に、前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定するように構成される。上記構成によれば、任意の新規追加された画像における対象に対応するクラスターを容易に取得することができる。
幾つかの可能な実施形態において、前記クラスタリングモジュールは更に、前記入力画像の量子化特徴と各前記クラスターのクラスター中心の量子化特徴との第3類似度を取得することと、前記第3類似度に基づいて、前記入力画像の量子化特徴との第3類似度が最も高いK3個のクラスター中心を決定することであって、K3が1以上の整数であることと、前記入力画像の画像特徴と前記K3個のクラスター中心の画像特徴との第4類似度を取得することと、前記K3個のクラスター中心のうちの1つのクラスター中心の画像特徴と前記入力画像の画像特徴との第4類似度が最も高く且つ該第4類似度が第3閾値を超えることに応答して、前記入力画像を前記1つのクラスター中心に対応するクラスターに加えることと、を実行するように構成される。
幾つかの可能な実施形態において、前記クラスタリングモジュールは更に、前記入力画像の画像特徴との第4類似度が第3閾値を超えるクラスター中心が存在しないことに応答して、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて、前記クラスタリング処理を実行し、少なくとも1つの新たなクラスターを得るように構成される。
幾つかの可能な実施形態において、前記装置は、アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定するように構成されるアイデンティティ識別モジュールを更に備える。上記設定により、得られたクラスターに対応する対象のアイデンティティを得ることができる。
幾つかの可能な実施形態において、前記アイデンティティ識別モジュールは更に、前記アイデンティティ特徴ライブラリにおける既知の対象の量子化特徴を取得し、前記既知の対象の量子化特徴と前記少なくとも1つのクラスターのクラスター中心の量子化特徴との第5類似度を決定し、前記クラスター中心の量子化特徴との第5類似度が最も高いK4個の既知のオブジェクトの量子化特徴を決定し、前記クラスター中心の画像特徴と対応するK4個の既知の対象の画像特徴との第6類似度を取得し、前記K4個の既知の対象のうちの1つの既知の対象の画像特徴と前記クラスター中心の画像特徴との第6類似度が最も高く且つ該第6類似度が第4閾値を超えることに応答して、前記第6類似度が最も高い前記1つの既知の対象が前記クラスター中心に対応するクラスターとマッチングしたと判定するように構成される。上記構成によれば、既知の対象の量子化特徴及び画像特徴に基づいて、クラスターに対応する対象のアイデンティティ識別を容易かつ正確に実現させることができる。
幾つかの可能な実施形態において、前記アイデンティティ識別モジュールは更に、前記K4個の既知の対象の画像特徴と対応するクラスター中心の画像特徴との第6類似度がいずれも前記第4閾値未満であることに応答して、前記既知の対象とマッチングしたクラスターが存在しないと判定するように構成される。
本開示の実施例の第3態様によれば、電子機器を提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、第1態様におけるいずれか一項に記載の方法を実行するように構成される。
本開示の実施例の第4態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、第1態様におけるいずれか一項に記載の方法を実現させる。
本開示の実施例において、画像に対して特徴抽出を行い、得られた画像特徴に基づいてクラスタリング処理を実行することができる。ここで、特徴抽出プロセス及びクラスタリング処理プロセスのうちの少なくとも1つのプロセスを分散型実行の方式で実行することで、特徴抽出及びクラスタリング処理の速度を向上させることができる。
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本開示を限定するものではないことが理解されるべきである。
本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本開示の技術的解決手段を解釈することに用いられる。
本開示の実施例による画像処理方法を示すフローチャートである。 本開示の実施例による画像処理方法のステップS10を示すフローチャートである。 本開示の実施例による画像処理方法のステップS20を示すフローチャートである。 本開示の実施例による画像処理方法のステップS21を示すフローチャートである。 本開示の実施例による画像処理方法のステップS22を示すフローチャートである。 本開示の実施例による画像処理方法のステップS223を示すフローチャートである。 本開示の実施例による画像処理方法のステップS223を示すもう1つのフローチャートである。 本開示の実施例による画像処理方法におけるクラスターインクリメント処理を示すフローチャートである。 本開示の実施例による画像処理方法のステップS43を示すフローチャートである。 本開示の実施例による画像処理方法におけるクラスターとマッチングした対象アイデンティティの決定を示すフローチャートである。 本開示の実施例による画像処理装置を示すブロック図である。 本開示の実施例による電子機器を示すブロック図である。 本開示の実施例による電子機器を示すもう1つのブロック図である。
以下、図面を参照しながら本開示の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
本明細書において、用語「及び/又は」は、関連対象の関連関係を説明するためのものであり、3通りの関係が存在することを表す。例えば、A及び/又はBは、Aのみが存在すること、AとBが同時に存在すること、Bのみが存在するという3つの場合を表す。また、本明細書において、用語「少なくとも1つ」は、複数のうちのいずれか1つ又は複数のうちの少なくとも2つの任意の組み合わせを表す。例えば、A、B、Cのうちの少なくとも1つを含むことは、A、B及びCからなる集合から選ばれるいずれか1つ又は複数の要素を含むことを表す。
なお、本開示をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
本開示の実施例は、画像処理方法を提供する。該方法は、画像に対して迅速にクラスタリングすることに用いられる。また、該画像処理方法は、如何なる画像処理装置にも適用される。例えば、画像処理方法は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置(User Equipment:UE)、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント(Personal Digital Assistant:PDA)、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの考えられる実現形態において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。上記は、例示的な説明に過ぎず、他の実施例において他の機器又は装置により画像処理方法を実行することもできる。
図1は、本開示の実施例による画像処理方法を示すフローチャートである。図1に示すように、前記画像処理方法は、以下を含んでもよい。
S10:画像データセット内の複数の画像に対して特徴抽出処理を行い、前記複数の画像にそれぞれ対応する画像特徴を取得する。
S20:取得された前記画像特徴に基づいて、前記複数の画像に対してクラスタリング処理を行い、少なくとも1つのクラスターを得、ここで同一のクラスター内の画像には同じ対象が含まれる。
本開示の実施例で提供される画像処理方法における特徴抽出処理及びクラスタリング処理のうちの少なくとも1つの処理プロセスを分散型並列実行の方式で実行することができる。分散型並列実行の方式によれば、特徴抽出及びクラスタリングの処理速度を向上させ、画像処理速度を更に向上させることができる。以下、図面を参照しながら、本開示の実施例の具体的なプロセスを詳しく説明する。
まず、画像データセットを取得する。幾つかの可能な実施形態において、画像データセットは、複数の画像を含んでもよい。該複数の画像は、少なくとも1つの画像採取装置により採取された画像であってもよい。例えば、路側、パブリックエリア、オフィスビル、警備エリア内に設けられたカメラにより採取された画像であってもよい。または、携帯電話、写真機などの機器により採取された画像であってもよい。本開示の実施例はこれを具体的に限定しない。
幾つかの可能な実施形態において、本開示の実施例の画像データセット内の画像には、同じタイプの対象が含まれてもよい。例えば、画像データセット内の複数の画像は、いずれも人物対象を含む画像であってもよい。なお、本開示の実施例の画像処理方法によれば、対応する人物対象の時空間軌跡情報を得ることができる。又は、他の実施例において、画像データセット内の複数の画像はいずれも、例えば動物、移動物体(例えば飛行機)などのような他のタイプの対象であってもよい。それにより、対応する対象の時空間軌跡を決定することができる。
幾つかの実施形態において、ステップS10の前に、画像データセットを取得するステップを更に実行する。ここで、画像データセットの取得方式は、画像採取装置に直接的に接続され、画像採取装置により採取された画像を直接的に受信するという方式であってもよいし、サーバ又は他の電子機器に接続され、サーバ又は他の電子機器から伝送された画像を受信するという方式であってもよい、なお、本開示の実施例の画像データセット内の画像は、前処理された画像であってもよい。例えば、該前処理により、顔を含む画像(顔画像)を採取された画像から切り出することができる。又は、採取された画像における信号対雑音比が低い画像、ぼやけた画像又は人物対象を含まない画像を削除することもできる。上記は、例示的な説明に過ぎず、本開示の実施例は、画像データセットの具体的な取得方式を限定するものではない。
幾つかの可能な実施形態において、画像データセットは、各画像に関連付けられた第3インデックスを更に含んでもよい。第3インデックスは、画像に対応する時空間データの決定に用いられる。時空間データは、時間データ及び空間位置データのうちの少なくとも1つを含む。例えば、第3インデックスは、画像の採取時間、採取場所及び画像を採取する画像採取装置の識別子、画像採取装置の設置位置及び画像のために設定された番号のうちの少なくとも1つを含んでもよい。従って、画像に関連付けられた第3インデックスにより、画像における対象の出現時間、場所などの時空間データ情報を決定することができる。
幾つかの可能な実施形態において、画像採取装置は、画像を採取して、採取された画像を送信する時、該画像の第3インデックスを送信することもできる。例えば、画像採取時間、画像採取場所、画像を採取する画像採取装置(例えばカメラ)の識別子などの情報を送信することができる。画像及び第3インデックスを受信してから、該画像及び対応する第3インデックスを関連付けて記憶することができる。例えば、データベースに記憶する。該データベースは、ローカルデータベースであってもよいし、クラウドデータベースであってもよい。それにより、データ読み取り及び呼出しを容易にする。
画像データセットを得てから、本開示の実施例は、ステップS10により、画像データセット内の画像に対して特徴抽出処理を行うことができる。幾つかの可能な実施形態において、特徴抽出アルゴリズムにより画像の画像特徴を抽出してもよいし、特徴抽出を実行できる訓練されたニューラルネットワークにより該画像特徴抽出を実行してもよい。ここで、本開示の実施例の画像データセット内の画像は、顔画像である。特徴抽出アルゴリズム又はニューラルネットワークにより処理されて得られた画像特徴は、顔対象の顔特徴であってもよい。ここで、特徴抽出アルゴリズムは、主成分分析(Principal Components Analysis:PCA)、線形判別分析(Linear Discriminant Analysis:LDA)、独立成分分析(Independent Component Correlation Algorithm:ICA)等のアルゴリズムのうちの少なくとも1つを含んでもよい。又は、顔領域を認識して顔領域の特徴を得ることができるアルゴリズムであってもよい。ニューラルネットワークは、畳み込みニューラルネットワーク(例えば、視覚幾何学グループ(Visual Geometry Group:VGG)ネットワーク)であってもよい。畳み込みニューラルネットワークにより画像を畳み込み処理し、画像における顔領域の特徴、即ち顔特徴を得る。本開示の実施例は、特徴抽出アルゴリズム及び特徴抽出用ニューラルネットワークを具体的に限定せず、顔特徴(画像特徴)の抽出を実現できるものであれば、本開示の実施例とすることができる。
なお、幾つかの可能な実施形態において、画像特徴の抽出速度を速くするために、本開示の実施例は、各画像の画像特徴を分散型並列実行の方式で抽出することができる。
図2は、本開示の実施例による画像処理方法のステップS10を示すフローチャートである。ここで、画像データセット内の複数の画像に対して特徴抽出処理を行い、前記画像に対応する画像特徴を得ること(ステップS10)は、以下を含んでもよい。
S11:前記画像データセット内の複数の画像をグループ化し、複数の画像群を得る。
幾つかの可能な実施形態において、画像データセット内の複数の画像をグループ化し、複数の画像群を得ることができる。各画像群には、少なくとも1つの画像が含まれてもよい。画像グループ化方式は、平均なグループ化又はランダムなグループ化を含んでもよい。得られた画像群の数は、予め設定された群数であってもよい。該群数は、下記特徴抽出モデルの数以下であってもよい。
S12:前記複数の画像群をそれぞれ複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを利用して、対応する画像群における画像の特徴抽出処理を並列実行し、前記複数の画像の画像特徴を得、各特徴抽出モデルに入力された画像群が異なる。
幾つかの可能な実施形態において、得られた複数の画像群に基づいて、特徴抽出処理プロセスを分散型並列実行の方式で実行することができる。ここで、得られた複数の画像群における各画像群を特徴抽出モデルのうちの1つの特徴抽出モデルに割り当て、特徴抽出モデルにより、割り当てられた画像群における画像の特徴抽出処理を実行し、対応する画像の画像特徴を得ることができる。
幾つかの可能な実施形態において、特徴抽出モデルは、上記特徴抽出アルゴリズムをサンプリングし特徴抽出処理を実行することができる。又は、特徴抽出モデルは、上記特徴抽出ニューラルネットワークとして構成して画像特徴を得ることができる。本開示の実施例はこれを具体的に限定しない。
幾つかの可能な実施形態において、複数の特徴抽出モデルを利用して、各画像群の特徴抽出を分散型並列実行の方式で実行する。例えば、各特徴抽出モデルは、1つの画像群又は複数の画像群の画像特徴抽出を同時に実行することで、特徴抽出速度を向上させることができる。
幾つかの可能な実施形態において、画像の画像特徴を得てから、前記方法は、前記画像特徴の第3インデックスを取得し、前記第3インデックスと前記第3インデックスに対応する画像特徴とを関連付けて記憶し、第3インデックスと画像特徴とのマッピング関係を確立し、データベースに該マッピング関係を記憶することを更に含む。例えば、モニタリングされたリアルタイム画像ストリームをフロントエンドの分散型特徴抽出モジュール(特徴抽出モデル)に入力し、該分散型特徴抽出モジュールにより画像特徴を抽出してから、該画像特徴を永続的な特徴の形態で時空間情報の特徴データベースに記憶する。つまり、第3インデックス及び画像特徴を永続的な特徴の形態で特徴データベースに記憶する。データベースにおいて、該永続的な特徴は、インデックス構造で記憶される。永続的な特徴のデータベースにおける第3インデックスkeyは、Region id、Camera idx、Captured time及びSequenceを含んでもよい。ここで、Region idは、カメラ領域識別子であり、Camera idxは、領域内のカメラ識別子(id)であり、Captured timeは、画像採取時間であり、Sequence idは、インクリメントするシーケンス識別子(例えば、順次配列される数字等の識別子)であり、重複排除に適用可能である。第3インデックスは、各画像特徴の一意的な識別子を構成して画像特徴の時空間情報を含んでもよい。第3インデックスと対応する画像特徴とを関連付けて記憶することで、各画像の画像特徴(永続的な特徴)を容易に得ることができると共に、画像における対象の時空間データ情報(時間及び位置)を知ることができる。
画像の画像特徴に基づいて画像のクラスタリング処理を実行し、少なくとも1つのクラスターを形成することができる。ここで得られた各クラスターに含まれる画像は、同一対象の画像である。図3は、本開示の実施例による画像処理方法のステップS20を示すフローチャートである。ここで、前記第1特徴に基づいて、前記複数の画像のクラスタリング処理を実行し、少なくとも1つのクラスターを得ること(ステップS30)は、以下を含んでもよい。
S21:前記画像特徴に対して量子化処理を行い、前記画像特徴に対応する量子化特徴を得る。
画像の画像特徴を得てから、各画像特徴の量子化特徴を更に得ることができる。例えば、直接的に量子化符号化アルゴリズムにより画像特徴を量子化処理することで、対応する量子化特徴を得ることができる。ここで、本開示の実施例は、PQ(Product Quantization)符号化により、画像データセット内の画像の量子化特徴を得ることができる。例えば、PQ量子化器により、該量子化処理を実行する。ここで、PQ量子化器により量子化処理を実行するプロセスは、画像特徴のベクトル空間を複数の低次元ベクトル空間のデカルト積に分解し、分解により得られた低次元ベクトル空間をそれぞれ量子化処理し、各画像特徴を複数の低次元空間の量子化組み合わせで表し、量子化特徴を得ることを含んでもよい。PQ符号化の具体的なプロセスについて、本開示の実施例は具体的に説明しない。量子化処理により、画像特徴のデータ圧縮を実現させることができる。例えば、本開示の実施例の画像の画像特徴の次元数は、Nであってもよい。次元別データは、float32浮動小数点数である。量子化処理で得られた量子化特徴の次元数は、Nであってもよい。次元別データは、half浮動小数点数である。量子化処理により、特徴のデータ量を低減させることができる。
上記実施例に記述したように、少なくとも1つの量子化器により、全ての画像の画像特徴を量子化処理し、全ての画像に対応する量子化特徴を得ることができる。複数の量子化器により画像特徴の量子化処理プロセスを実行する時、分散型並列実行の方式を利用することで、処理速度を向上させることができる。
S22:得られた前記量子化特徴に基づいて、前記複数の画像のクラスタリング処理を実行し、前記少なくとも1つのクラスターを得る。
量子化特徴を得てから、量子化特徴に基づいて、画像のクラスタリング処理を実行することができる。オリジナルの画像特徴に比べて、量子化特徴の特徴データ量が少なくなるため、演算過程において処理速度を向上させ、クラスタリング速度を向上させ、量子化特徴において画像中の特徴情報を保留し、クラスタリングの精度を確保することができる。
以下、量子化処理及びクラスタリング処理の過程を詳しく説明する。上記実施例に記載したように、量子化特徴の取得過程を速くするために、本開示の実施例は、分散型並列実行の方式で、前記量子化処理を実行することができる。ここで、図4は、本開示の実施例による画像処理方法のステップS21を示すフローチャートである。ここで、前記画像特徴に対して量子化処理を実行し、前記画像特徴に対応する量子化特徴を得ることは、以下を含んでもよい。
S211:前記複数の画像の画像特徴をグループ化処理し、複数の第1群を得、前記第1群には少なくとも1つの画像の画像特徴が含まれる。
本開示の実施例は、画像特徴をグループ化し、各群の画像特徴の量子化処理を分散型並列実行の方式で実行し、対応する量子化特徴を得ることができる。複数の量子化器により、画像データセットの画像特徴の量子化処理を実行する時、該複数の量子化器により、様々な画像の画像特徴の量子化処理を分散型並列実行の方式で実行し、量子化処理に必要な時間を低減させ、演算速度を向上させることができる。
各画像特徴の量子化処理プロセスを並列実行する時、画像特徴を複数の群(即ち、複数の第1群)に分けることができる。該第1群は、上記画像の群(画像群)と同じであってもよい。つまり、画像グループ化の方式で、画像特徴を対応する数の群に分ける。つまり、得られた画像群の画像特徴に基づいて画像特徴の群を直接的に決定することができる。又は、複数の第1群を再び形成してもよい。本開示の実施例はこれを具体的に限定しない。各第1群は少なくとも1つの画像の画像特徴を含む。ここで、第1群の数について本開示は具体的に限定しない。それは、量子化器の数、処理能力及び画像の数によって総合的に決定されてもよい。当業者又はニューラルネットワークは、実際の需要に応じて決定することができる。
また、本開示の実施例において、前記複数の画像の画像特徴に対するグループ化処理方式は、前記複数の画像の画像特徴に対して平均なグループ化を実行すること、又は、ランダムなグループ化の方式で、前記複数の画像の画像特徴をグループ化することを含んでもよい。つまり、本開示の実施例は、群の数に応じて画像データセット内の各画像の画像特徴を平均にグループ化することができる。または、ランダムにグループ化して複数の第1群を得ることもできる。複数の画像の画像特徴を複数の第1群に分けることができるものであれば、本開示の実施例とすることができる。
幾つかの可能な実施形態において、画像特徴をグループ化して複数の第1群を得る場合、各第1のために識別子(例えば、第1インデックス)を割り当て、第1インデックスと第1群とを関連付けて記憶することもできる。例えば、画像データセット内の各画像特徴で画像特徴ライブラリT(特徴データベース)を構成し、画像特徴ライブラリTにおける画像特徴をグループ化(スライシング)し、n個の第1群{S,S,…S}を得る。ここで、Sは、i番目の第1群を表し、iは、1以上であってn以下である整数である。nは第1群の数を表し、nは、1以上の整数である。ここで、各第1群には、少なくとも1つの画像の画像特徴が含まれてもよい。各第1群の区別化及び量子化処理を容易にするために、各第1群のために、対応する第1インデックス{I11,I12,…I1n}を割り当てることができる。ここで、第1群Sの第1インデックスは、I1iであってもよい。
S212:前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得る。
幾つかの可能な実施形態において、画像特徴をグループ化して複数の(少なくとも2つの)第1群を得てから、各第1群内の画像特徴の量子化処理をそれぞれ並列実行することができる。例えば、複数の量子化器により、該量子化処理を実行する。各量子化器は、1つ又は複数の第1群の画像特徴の量子化処理を実行することができる。それにより処理速度を向上させる。
幾つかの可能な実施形態において、各第1群の第1インデックスに応じて、各量子化器のために、対応する量子化処理タスクを割り当てることもできる。つまり、前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得ることは、前記複数の第1群の第1インデックスをそれぞれ複数の量子化器に割り当てることであって、各量子化器に割り当てられる第1インデックスが異なることと、前記複数の量子化器を利用して、割り当てられた第1インデックスに対応する第1群内の画像特徴の量子化処理をそれぞれ並列実行し、つまり、対応する第1群内の画像特徴の量子化処理を実行することと、を含む。
なお、量子化処理速度を更に向上させるために、量子化器の数を第1群の数以上にすると共に、各量子化器のために、最大1つの第1インデックスを割り当てる。つまり、各量子化器は、1つの第1インデックスに対応する第1群内の画像特徴の量子化処理のみを実行することができる。しかしながら、上記は本開示の実施例を具体的に限定するものではない。群の数及び量子化器の数、並びに各量子化器に割り当てられた第1インデックスの数は、様々な需要に応じて設定する。
上記実施例に記述したように、量子化処理によれば、画像特徴のデータ量を低減させることができる。本開示の実施例における量子化処理の方式は、PQ(Product Quantization)符号化であってもよい。例えば、PQ量子化器により該量子化処理を実行する。量子化処理によれば、画像特徴のデータ圧縮を実現させることができる。例えば、本開示の実施例の画像の画像特徴の次元数は、Nであってもよい。次元別データは、float32浮動小数点数である。量子化処理で得られた量子化特徴の次元数は、Nであってもよい。次元別データは、half浮動小数点数である。つまり、量子化処理により、特徴のデータ量を低減させることができる。
上記実施例により、量子化処理を分散型並列実行の方式で実行し、量子化処理の速度を向上させることができる。
画像データセット内の画像の量子化特徴を得てから、量子化特徴と第3インデックスとを関連付けて記憶することで、第1インデックス、第3インデックス、画像、画像特徴及び量子化特徴を関連付けて記憶することができ、データの読み取り及び呼出しを容易に行うことができる。
なお、画像の量子化特徴を得た場合、各画像の量子化特徴を利用して該画像データセットについてクラスタリング処理を行うことができる。ここで、画像データセット内の画像は、同じ対象又は異なる対象の画像であってもよい。本開示の実施例は、画像をクラスタリング処理し、複数のクラスターを得ることができる。ここで、得られた各クラスター内の画像は、同じ対象の画像である。
図5は、本開示の実施例による画像処理方法のステップS22を示すフローチャートである。ここで、取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得ること(ステップS22)は、以下を含んでもよい。
S221:前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得する。
幾つかの可能な実施形態において、画像の画像特徴に対応する量子化特徴を得てから、量子化特徴に基づいて、画像のクラスタリング処理を実行することができる。つまり、同じ対象のクラスター(同じアイデンティティを持つ対象のクラスター)を得る。ここで、本開示の実施例は、まず、いずれか2つの量子化特徴同士の第1類似度を得る。ここで、第1類似度は、コサイン類似度であってもよい。他の実施例において、他の方式で量子化特徴同士の第1類似度を決定することもできる。本開示の実施例はこれを具体的に限定しない。
幾つかの可能な実施形態において、1つの演算器により、いずれか2つの量子化特徴同士の第1類似度を算出することができる。複数の演算器により、各量子化特徴同士の第1類似度を分散型並列実行の方式で算出することもできる。複数の演算器により演算を分散型並列実行の方式で実行することで演算速度を速くすることができる。
同様に、本開示の実施例は、量子化特徴のグループ化に基づいて各群の量子化特徴と他の量子化特徴との第1類似度を得ることもできる。ここで、前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得する前に、前記方法は、前記複数の画像の量子化特徴についてグループ化処理し、複数の第2群を得、前記第2群には少なくとも1つの画像の量子化特徴が含まれることを更に含む。ここで、直接的に第1群に基づいて第2群を決定することができる。つまり、第1群の画像特徴に基づいて、対応する量子化特徴を決定し、第1群における画像特徴に対応する量子化特徴に基づいて、第2群を直接的に形成する。又は、各画像の量子化特徴に応じて再グループ化を行い、複数の第2群を得ることもできる。同様に、該グループ化方式は、平均なグループ化又はランダムなグループ化であってもよい。本開示の実施例はこれを具体的に限定しない。
本実施形態において、いずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することは、前記第2群における画像の量子化特徴と前記他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得することを含む。
本開示の一任意選択的な実施例において、前記第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得する前に、前記複数の第2群のためにそれぞれ第2インデックスを設定し、複数の第2インデックスを得ることを更に含み、また、前記複数の第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することは、前記第2インデックスに基づいて、前記第2インデックスに対応する類似度演算タスクを確立し、前記類似度演算タスクが、前記第2インデックスに対応する第2群におけるターゲット画像の量子化特徴と前記ターゲット画像以外の全ての画像の量子化特徴との第1類似度を取得するものであることと、前記複数の第2インデックスのうちの各第2インデックスに対応する類似度取得タスクを分散型並列実行の方式で実行することと、を含む。
複数の第2群を得てから、各第2群のために、第2インデックスを設定し、複数の第2インデックスを得ることもできる。第2インデックスにより、各第2群を区分することができる。第2インデックスと第2群とを関連付けて記憶することもできる。例えば、画像データセット内の各画像特徴で画像特徴ライブラリLを構成する。又は量子化特徴を上記画像特徴ライブラリTに関連付けて記憶する。量子化特徴と画像、画像特徴、第1インデックス、第2インデックス、第3インデックスを関連付けて記憶することができる。量子化特徴ライブラリLにおける量子化特徴をグループ化(スライシング)することで、m個の第2群{L,L,…L}を得ることができる。ここで、Lは、j番目の第2群を表し、jは、1以上であってm以下である整数であり、mは、第2群の数を表し、mは1以上の整数である。各第2群の区別化及びクラスタリング処理を容易にするために、各第2群のために、対応する第1インデックス{I21,I22,…I2m}を割り当てることができる。ここで、第2群Lの第2インデックスは、I2jであってもよい。
複数の第2群を得てから、複数の演算器により、該複数の第2群における量子化特徴と他の量子化特徴との第1類似度をそれぞれ算出することができる。画像データセットのデータ量が大きいことがあるため、複数の演算器により、各第2群におけるいずれか1つの量子化特徴と他の全ての量子化特徴との第1類似度を並列演算することができる。
幾つかの可能な実施形態において、複数の演算器を含んでもよい。該演算器は、中央演算装置(CPU)、プロセッサ、ワンチップマイコンなどのような演算処理能力を持つ如何なる電子機器であってもよい。本開示の実施例はこれを具体的に限定しない。ここで、各演算器は、1つ又は複数の第2群における各量子化特徴と他の全ての画像の量子化特徴との第1類似度を算出することができ、処理速度を速くすることができる。
幾つかの可能な実施形態において、各第2群の第2インデックスに応じて、各演算器のために、対応する類似度演算タスクを割り当てることもできる。つまり、各第2群の第2インデックスをそれぞれ複数の演算器に割り当て、各演算器に割り当てられる第2インデックスが異なり、演算器を利用して、割り当てられた第2インデックスに対応する類似度演算タスクをそれぞれ並列実行する。類似度演算タスクは、第2インデックスに対応する第2群における画像の量子化特徴と該画像以外の全ての画像の量子化特徴との第2類似度を取得することである。これにより、複数の演算器による並列実行により、いずれか2つの画像の量子化特徴同士の第1類似度を迅速に得ることができる。
なお、類似度演算速度を更に向上させるために、演算器の数を第2群の数以上にすると共に、各演算器のために、最大1つの第2インデックスを割り当てる。各演算器は、1つの第2インデックスに対応する第2群内の画像特徴の量子化特徴と他の量子化特徴との第1類似度演算のみを実行することができる。しかしながら、上記は本開示の実施例を具体的に限定するものではない。群の数及び演算器の数、並びに各演算器に割り当てられた第2インデックスの数は、様々な需要に応じて設定する。
本開示の実施例において、画像特徴に比べて、量子化特徴の特徴量が縮減されるため、演算コストを低減させる。また、複数の演算器による並列処理によれば、演算速度を更に向上させることができる。
S222:前記第1類似度に基づいて、前記いずれか1つの画像のK1隣接画像を決定し、前記K1隣接画像の量子化特徴が前記いずれか1つの画像の量子化特徴との第1類似度が最も高いK1個の量子化特徴であり、前記K1が1以上の整数である。
いずれか2つの量子化特徴同士の第1類似度を得てから、いずれか1つの画像のK1隣接画像を取得することができる。つまり、いずれか1つの画像の量子化特徴との第1類似度が最も高いK1個の量子化特徴に対応する画像を取得することができる。該いずれか1つの画像と第1類似度が最も高いK1個の量子化特徴に対応する画像は、隣接画像である。同じ対象の画像を含むことがあることを表す。ここで、いずれか1つの量子化特徴に対する第1類似度シーケンスを得ることができる。第1類似度シーケンスは、該いずれか1つの量子化特徴と降順又は昇順で配列された量子化特徴のシーケンスである。第1類似度シーケンスを得てから、該いずれか1つの量子化特徴との第1類似度が最も高いK1個の量子化特徴を容易に決定し、更にいずれか1つの画像のK1隣接画像を決定することができる。ここで、K1の数は、画像データセット内の数に応じて決定されてもよい。例えば、20、30であってもよい。又は、他の実施例において、他の数値としてもよい。本開示の実施例はこれを具体的に限定しない。
S223:前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して前記クラスタリング処理のクラスタリング結果を決定する。
幾つかの可能な実施形態において、各画像のK1隣接画像を得てから、後続のクラスタリング処理を実行することができる。図6は、本開示の実施例による画像処理方法のステップS223を示すフローチャートである。ここで、前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して前記クラスタリング処理のクラスタリング結果を決定する(ステップS223)は、以下を含んでもよい。
S2231:前記いずれか1つの画像の量子化特徴との第1類似度が第1閾値を超える第1画像セットを前記K1隣接画像から選択する。
S2232:前記第1画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成し、前記第1状態は画像に同じ対象を含む状態である。
幾つかの可能な実施形態において、各画像のK1隣接画像(量子化特徴の第1類似度が最も高いK1個の画像)を得てから、各画像のK1隣接画像から、第1類似度が第1閾値を超える画像を選択し、選択された第1類似度が第1閾値を超える画像により第1画像セットを形成する。ここで、第1閾値は、90%のような所定の値であってもよいが、本開示の実施例を具体的に限定するものではない。第1閾値の設定により、いずれか1つの画像に最も近い画像を選択することができる。
いずれか1つの画像のK1隣接画像から、第1類似度が第1閾値を超える第1画像セットを選択してから、該いずれか1つの画像及び選択された第1画像セット内の全ての画像を第1状態とラベル付けし、第1状態である画像に基づいて、1つのクラスターを形成することができる。例えば、画像AのK1隣接画像から選択された第1類似度が第1閾値を超える画像は、A1及びA2を含む第1画像セットである。従って、AとA1、A2を第1状態とラベル付けすることができる。A1のK1隣接画像から選択された第1類似度が第1閾値を超える画像は、B1を含む第1画像セットである。この場合、A1とB1を第1状態とラベル付けすることができる。また、A2のK1隣接画像には、第1類似度が第1閾値を超える画像が存在しない。A2を第1状態とラベル付けしない。上記によれば、A、A1、A2、B1を1つのクラスターにまとめることができる。つまり、画像A、A1、A2、B1には、同じ対象が含まれる。
上記方式によれば、クラスタリング結果を容易に得ることができる。量子化特徴が画像の特徴量を縮減させることができるため、クラスタリング速度を速くすると共に、第1閾値を設定することで、クラスタリング精度を向上させることができる。
別の幾つかの考えられる実施例において、更に、画像特徴の類似度を利用してクラスタリング速度を向上させることができる。図7は、本開示の実施例による画像処理方法のステップS223を示すもう1つのフローチャートである。ここで、前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して前記クラスタリング処理のクラスタリング結果を決定すること(ステップS223)は以下を含んでもよい。
S22311:前記いずれか1つの画像の画像特徴と前記いずれか1つの画像のK1隣接画像の画像特徴との第2類似度を取得する。
幾つかの可能な実施形態において、各画像のK1隣接画像(量子化特徴の第1類似度が最も高いK1個の画像)を得てから、該いずれか1つの画像の画像特徴とそれに対応するK1隣接画像の画像特徴との第2類似度を更に算出することができる。つまり、いずれか1つの画像のK1隣接画像を得てから、該いずれか1つの画像の画像特徴とK1個の隣接画像の画像特徴との第2類似度を算出することもできる。ここで、該第2類似度は、コサイン類似度であってもよい。又は、他の実施例において他の方式で類似度を決定してもよい。本開示は、これを具体的に限定しない。
S22312:前記第2類似度に基づいて、前記いずれか1つの画像のK2隣接画像を決定し、前記K2隣接画像の画像特徴が前記K1個の画像のうち前記いずれか1つの画像の画像特徴との第2類似度が最も高いK2個の画像特徴であり、K2が1以上であってK1以下である整数である。
幾つかの可能な実施形態において、いずれか1つの画像の画像特徴と対応するK1隣接画像の画像特徴との第2類似度を得、第2類似度が最も高いK2個の画像特徴を更に選択し、該K2個の画像特徴に対応する画像を該いずれか1つの画像のK2隣接画像と決定することができる。ここで、K2の数値は、必要に応じて設定してもよい。
S22313:前記いずれか1つの画像の画像特徴との第2類似度が第2閾値を超える第2画像セットを前記K2隣接画像から選択する。
幾つかの可能な実施形態において、各画像のK2隣接画像(画像特徴の第2類似度が最も高いK2個の画像)を得てから、各画像のK2隣接画像から、第2類似度が第2閾値を超える画像を選択することができる。選択された画像で第2画像セットを形成することができる。ここで、第2閾値は、90%のような所定の値であってもよいが、本開示の実施例を具体的に限定するものではない。第2閾値の設定により、いずれか1つの画像に最も近い画像を選択することができる。
S22314:前記第2画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成し、前記第1状態は画像に同じ対象を含む状態である。
幾つかの可能な実施形態において、いずれか1つの画像のK2隣接画像から、画像特徴同士の第2類似度が第1閾値を超える第2画像セットを選択してから、該いずれか1つの画像と選択された第2画像セット内の全ての画像をいずれも第1状態とラベル付けし、第1状態である画像に応じて1つのクラスターを形成することができる。例えば、画像AのK2隣接画像から選択された第2類似度が第2閾値を超える画像は、画像A3及びA4である。従って、AとA3、A4を第1状態とラベル付けすることができる。A3のK2隣接画像から選択された第2類似度が第2閾値を超える画像は、画像B2である。この場合、A3とB2を第1状態とラベル付けすることができる。また、A4のK2隣接画像には、第2類似度が第2閾値を超える画像が存在しないため、A4を第1状態とラベル付けしない。上記によれば、A、A3、A4、B2を1つのクラスターにまとめることができる。つまり、画像A、A3、A4、B2には同じ対象が含まれる。
上記方式によれば、クラスタリング結果を容易に得ることができる。量子化特徴が画像の特徴量を縮減させ、また、量子化特徴に基づいて得られたK1隣接画像により、画像特徴が最も近いK2隣接画像を得ることで、クラスタリング速度を速くすると共に、クラスタリング精度を向上させる。なお、量子化特徴、画像特徴同士の類似度の演算プロセスにおいて、分散型並列演算の方式を利用することで、クラスタリング速度を速くすることもできる。
クラスタリング処理を実行してから、少なくとも1つのクラスターを得ることができる。ここで、各クラスターには、少なくとも1つの画像が含まれてもよい。同じクラスターにおける画像は、同じ対象を含むものと認められる。ここで、クラスタリング処理を実行してから、前記方法は、得られた各クラスターのクラスター中心を決定することを更に含んでもよい。幾つかの可能な実施形態において、得られた各クラスターのクラスター中心を決定することは、クラスターにおける各画像の画像特徴の平均値に基づいて、該クラスターのクラスター中心を得ることを含む。クラスター中心を得てから、該クラスター中心のために、各クラスター中心に対応するクラスターを区別するための第4インデックスを割り当て、前記第4インデックスと前記第4インデックスに対応するクラスター中心とを関連付けて記憶することもできる。つまり、本開示の実施例における各画像は、画像識別子とした第3インデックス、画像特徴の第1群の識別子とした第1インデックス、量子化特徴の所在する第2群の識別子とした第2インデックス、及びクラスターの識別子とした第4インデックスを含む。上記インデックス及び対応する特徴、画像などのデータを関連付けて記憶することができる。他の実施例において、他の特徴データのインデックスが存在する可能性もある。本開示の実施例はこれを具体的に限定しない。なお、画像の第3インデックス、画像特徴の第1群の第1インデックス、量子化特徴の第2群の第2インデックス及びクラスターの第4インデックスは、いずれも異なる。それらは、異なる符号識別子で表わされる。
なお、本開示の実施例で複数のクラスターを得てから、受信した画像をクラスタリング処理し、受信した画像の属するクラスターを決定し、つまり、クラスターのインクリメント処理を行うことができる。ここで、受信した画像とマッチングしたクラスターを決定してから、該受信した画像を対応するクラスターに割り当てることができる。現在のクラスターと該受信した画像がマッチングしないと、該受信した画像を単独で1つのクラスターとしてもよいし、又は既存の画像データセットと融合してクラスタリング処理を再実行してもよい。図8は、本開示の実施例による画像処理方法におけるクラスターインクリメント処理を示すフローチャートである。ここで、前記クラスターインクリメント処理は、以下を含んでもよい。
S41:入力画像の画像特徴を取得する。
幾つかの可能な実施形態において、入力画像は、画像採取装置によりリアルタイムで採取された画像であってもよいし、他の装置から伝送された画像であってもよいし、ローカルに記憶されている画像であってもよい。本開示の実施例は、これを具体的に限定しない。入力画像を得てから、入力画像の画像特徴を得ることができる。上記実施例と同様に、特徴採取アルゴリズムにより画像特徴を得ることができる。畳み込みニューラルネットワークの少なくとも1つの畳み込み処理により画像特徴を得ることもできる。ここで、画像は、顔画像であってもよい。対応する画像特徴は、顔特徴である。
S42:前記入力画像の画像特徴に対して量子化処理を行い、入力画像の量子化特徴を得る。
画像特徴を得てから、該画像特徴に対して更に量子化処理を行い、対応する量子化特徴を得ることができる。ここで、本開示の実施例で取得された入力画像は1つ又は複数であってもよい。画像特徴の取得及び画像特徴の量子化処理を行う時、いずれも分散型並列実行の方式で実行することができる。具体的な実行過程は、上記実施例に記載の過程と同じである。ここで詳細な説明を省略する。
S43:前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定する。
画像の量子化特徴を得てから、該量子化特徴及び各クラスターのクラスター中心に基づいて、該入力画像の所在するクラスターを決定することができる。図9は、本開示の実施例による画像処理方法のステップS43を示すフローチャートである。ここで、前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定すること(ステップS43)は以下を含んでもよい。
S4301:前記入力画像の量子化特徴と各前記クラスターのクラスター中心の量子化特徴との第3類似度を取得する。
上述したように、クラスターにおける各画像の画像特徴の平均値に基づいて、クラスターのクラスター中心(クラスター中心の画像特徴)を決定することができる。なお、クラスター中心の量子化特徴を得ることもできる。例えば、クラスター中心の画像特徴に対して量子化処理を行うことで該クラスター中心の量子化特徴を得ることができる。又は、クラスターにおける各画像の量子化特徴について平均化処理を行い、該クラスター中心の量子化特徴を得ることができる。
更に、入力画像と各クラスターのクラスター中心の量子化特徴との第3類似度を得ることができる。同様に、該第3類似度は、コサイン類似度であってもよいが、これは本開示の実施例を具体的に限定するものではない。
幾つかの可能な実施形態において、複数のクラスター中心をグループ化し、複数のクラスター中心群を得、該複数のクラスター中心群をそれぞれ複数の演算器に割り当てる。各演算器に割り当てられたクラスター中心群が異なる。複数の演算器により、各クラスター中心群におけるクラスター中心と入力画像の量子化特徴との第3類似度をそれぞれ並列実行することで、処理速度を速くする。
S4302:前記第3類似度に基づいて、前記入力画像の量子化特徴との第3類似度が最も高いK3個のクラスター中心を決定し、K3は、1以上の整数である。
入力画像の量子化特徴とクラスターのクラスター中心の量子化特徴との第3類似度を得てから、類似度が最も高いK3個のクラスター中心を得ることができる。ここで、K3の数値は、クラスター中心の数より小さい。該K3個のクラスター中心は、入力対象と最もマッチングしたK3個のクラスターとして表される。
幾つかの可能な実施形態において、分散型並列実行の方式で、入力画像と各クラスターのクラスター中心の量子化特徴との第3類似度を得ることができる。つまり、各中心についてグループ化し、様々な演算器により、対応する群のクラスター中心の量子化特徴と入力画像の量子化特徴との類似度を算出することで、演算速度を向上させることができる。
S4303:前記入力画像の画像特徴と前記K3個のクラスター中心の画像特徴との第4類似度を取得する。
幾つかの可能な実施形態において、入力画像の量子化特徴との第4類似度が最も高いK3個のクラスター中心を得た時、該入力画像の画像特徴と対応するK3個のクラスター中心の画像特徴との第4類似度を更に得ることができる。同様に、該第4類似度は、コサイン類似度であってもよいが、本開示の実施例を具体的に限定するものではない。
同様に、入力画像の画像特徴と対応するK3個のクラスター中心の画像特徴との第4類似度を演算する時、分散型並列実行の方式で演算することもできる。例えば、K3個のクラスター中心を複数の群に分け、該K3個のクラスター中心をそれぞれ複数の演算器に割り当てる。演算器は、割り当てられたクラスター中心の画像特徴と入力画像の画像特徴との第4類似度を算出することができ、演算速度を速くすることができる。
S4304:前記K3個のクラスター中心のうちの1つのクラスター中心の画像特徴と前記入力画像の画像特徴との第4類似度が最も高く且つ該第4類似度が第3閾値を超えることに応答して、前記入力画像を該クラスター中心に対応するクラスターに加える。
S4305:前記K3個のクラスター中心には前記入力画像の画像特徴との第4類似度が第3閾値を超えるクラスター中心が存在しないことに応答して、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて、前記クラスタリング処理を実行し、少なくとも1つの新たなクラスターを得る。
幾つかの可能な実施形態において、入力画像の画像特徴とK3個のクラスター中心の画像特徴との第4類似度には、第3閾値を超える第4類似度が存在すれば、該入力画像が第4類似度が最も高いクラスター中心に対応するクラスターとマッチングしたと判定することができる。つまり、該入力画像に含まれる対象と第4類似度が最も高いクラスターに対応する対象は同じ対象である。この場合、該入力画像を該クラスターに加えることができる。例えば、該クラスターの識別子を入力画像に割り当て、関連付けて記憶することで、入力画像の属するクラスターを決定することができる。
幾つかの可能な実施形態において、入力画像の画像特徴とK3個のクラスター中心の画像特徴との第4類似度がいずれも第3閾値未満であれば、入力画像が全てのクラスターとマッチングしないと判定することができる。この場合、該入力画像を単独のクラスターとしてもよいし、入力画像と既存の画像データセットを融合させて新たな画像データセットを得、新たな画像データセットについてステップS20を再実行し、つまり、全ての画像に対してクラスタリングを再実行し、少なくとも1つの新たなクラスターを得る。該方式によれば、画像データを正確にクラスタリングすることができる。
幾つかの可能な実施形態において、クラスターに含まれる画像が変わった場合、例えば、新たな入力画像が新規追加された場合、又は、クラスタリング処理が再実行された場合、クラスターのクラスター中心を再決定することで、クラスター中心の正確度を向上させ、後続の過程における正確なクラスタリング処理を容易にすることができる。
画像に対してクラスタリングしてから、各クラスターにおける画像とマッチングした対象アイデンティティを決定することもできる。つまり、アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することができる。図10は、本開示の実施例による画像処理方法におけるクラスターとマッチングした対象アイデンティティの決定を示すフローチャートである。ここで、アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することは以下を含む。
S31:前記アイデンティティ特徴ライブラリにおける既知の対象の量子化特徴を取得する。
幾つかの可能な実施形態において、アイデンティティ特徴ライブラリには、複数の既知のアイデンティティの対象情報が含まれる。例えば、既知のアイデンティティの対象の顔画像及び対象のアイデンティティ情報を含んでもよい。アイデンティティ情報は、姓名、年齢、職種などの基本情報を含んでもよい。
なお、アイデンティティ特徴ライブラリには、各既知の対象の画像特徴及び量子化特徴が含まれてもよい。ここで、各既知の対象の顔画像により、対応する画像特徴を得、画像特徴に対して量子化処理を行うことで量子化特徴を得ることができる。
幾つかの可能な実施形態において、分散型並列実行の方式で、既知の対象の画像特徴及び量子化特徴を得ることができる。具体的な方式は、上記実施例に記載の過程と同じである。ここで、詳細な説明を省略する。
S32:前記既知の対象の量子化特徴と前記少なくとも1つのクラスターのクラスター中心の量子化特徴との第5類似度を決定し、前記クラスター中心の量子化特徴との第5類似度が最も高いK4個の既知の対象の量子化特徴を決定し、K4が1以上の整数である。
幾つかの可能な実施形態において、各既知の対象の量子化特徴を得てから、既知対象の量子化特徴と得られたクラスターのクラスター中心の量子化特徴との第5類似度を更に得ることができる。第5類似度は、コサイン類似度であってもよいが、本開示を具体的に限定するものではない。更に、各クラスター中心の量子化特徴との第5類似度が最も高いK4個の既知の対象の量子化特徴を決定することができる。つまり、アイデンティティ特徴ライブラリから、クラスター中心の量子化特徴との第5類似度が最も高いK4個の既知の対象を見付けることができる。該K4個の既知の対象は、クラスター中心との整合性が最も高いK4個のアイデンティティであってもよい。
別の幾つかの可能な実施形態において、各既知の対象の量子化特徴との第5類似度が最も高いK4個のクラスター中心を得ることもできる。該K4個のクラスター中心は、既知の対象のアイデンティティとの整合性が最も高いK4個のクラスター中心である。
同様に、既知の対象の量子化特徴をグループ化し、少なくとも1つの量子化器により、該既知の対象の量子化特徴と得られたクラスターのクラスター中心の量子化特徴との第5類似度を実行することで、処理速度を向上させることができる。
S33:前記クラスター中心の画像特徴と対応するK4個の既知の対象の画像特徴との第6類似度を取得する。
幾つかの可能な実施形態において、各クラスター中心に対応するK4個の既知の対象を得てから、各クラスター中心と対応するK4個の既知の対象の画像特徴との第6類似度を更に決定することができる。ここで、第6類似度は、コサイン類似度であってもよいが、本開示を具体的に限定するものではない。
幾つかの可能な実施形態において、決定されたものが、既知の対象に対応するK4個のクラスター中心である場合、既知の対象に対応するK4個のクラスター中心を得てから、該既知の対象の画像特徴と該K4個のクラスター中心の画像特徴との第6類似度を更に決定することができる。ここで、第6類似度は、コサイン類似度であってもよいが、本開示を具体的に限定するものではない。
S34:K4個の既知の対象のうちの1つの既知の対象の画像特徴と前記クラスター中心の画像特徴との第6類似度が最も高く且つ該第6類似度が第4閾値を超えることに応答して、第6類似度が最も高い前記既知の対象が該クラスター中心に対応するクラスターとマッチングしたと判定する。
S35:K4個の既知の対象の画像特徴と対応するクラスター中心の画像特徴との第6類似度がいずれも第4閾値未満であることに応答して、前記既知の対象とマッチングしたクラスターが存在しないと判定する。
幾つかの可能な実施形態において、決定されたものが、クラスター中心とマッチングしたK4個の既存の対象であれば、K4個の既存の対象の画像特徴のうち、少なくとも1つの既知の対象の画像特徴と対応するクラスター中心との第6類似度が第4閾値を超えると、第6類似度が最も高い既知の対象の画像特徴をクラスター中心と最もマッチングした画像特徴と決定することができる。この場合、該第6類似度が最も高い既知の対象のアイデンティティを該クラスター中心とマッチングしたアイデンティティと決定することができる。つまり、該クラスター中心に対応するクラスターにおける各画像のアイデンティティは、第6類似度が最も高い既知の対象のアイデンティティである。又は、決定されたものが、既知の対象に対応するK4個のクラスター中心であれば、既知の対象に対応するK4個のクラスター中心には、既知の対象の画像特徴との第6類似度が第4閾値を超えるクラスター中心が存在すると、第6類似度が最も高いクラスター中心と該既知の対象をマッチングすることができる。つまり、該第6類似度が最も高いクラスター中心に対応するクラスターを該既知の対象のアイデンティティとマッチングすることで、対応するクラスターの対象のアイデンティティを決定することができる。
幾つかの可能な実施形態において、決定されたものが、クラスター中心とマッチングしたK4個の既知の対象であれば、K4個の既知の対象と対応するクラスター中心の画像特徴との第6類似度がいずれも第4閾値未満であると、クラスター中心とマッチングしたアイデンティティ対象が存在しないことを表す。又は、決定されたものが、既知の対象とマッチングしたK4のクラスター中心であれば、K4個のクラスター中心の画像特徴と前記既知の対象の画像特徴との第6類似度がいずれも第4閾値未満であると、得られたクラスターには該既知の対象とマッチングしたアイデンティティが存在しないことを表す。
要するに、得られた画像の量子化特徴によりクラスタリング処理を実行することで、クラスタリング処理の速度を向上させると共に、量子化特徴に基づいてアイデンティティ識別処理を実行し、アイデンティティ識別精度を確保する上で、アイデンティティ識別の速度を向上させることもできる。
本開示に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本開示において逐一説明しないことが理解されるべきである。
本開示は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本開示で提供されるいずれか1つの画像処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、同業者であれば理解すべきである。
図11は、本開示の実施例による画像処理装置を示すブロック図である。図11に示すように、前記画像処理装置は、
画像データセット内の複数の画像に対して特徴抽出処理を行い、前記複数の画像にそれぞれ対応する画像特徴を取得するように構成される特徴抽出モジュール10と、
取得された前記画像特徴に基づいて、前記複数の画像に対してクラスタリング処理を行い、少なくとも1つのクラスターを得、ここで同一のクラスター内の画像には同じ対象が含まれるように構成されるクラスタリングモジュール20とを備え、ここで、分散型並列実行の方式で、前記特徴抽出処理及び前記クラスタリング処理のうちの少なくとも1つの処理プロセスを実行する。
幾つかの可能な実施形態において、前記特徴抽出モジュール10は、前記画像データセット内の複数の画像をグループ化し、複数の画像群を得、前記複数の画像群をそれぞれ複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを利用して、前記特徴抽出モデルに対応する画像群における画像の特徴抽出処理を並列実行し、前記複数の画像の画像特徴を得、各特徴抽出モデルに入力された画像群が異なるように構成される。
幾つかの可能な実施形態において、前記クラスタリングモジュール20は、前記画像特徴に対して、量子化処理を実行し、前記画像特徴に対応する量子化特徴を得るように構成される量子化ユニットと、取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得るように構成されるクラスタリングユニットと、を備える。
幾つかの可能な実施形態において、前記量子化ユニットは更に、前記複数の画像の画像特徴をグループ化処理し、複数の第1群を得、前記第1群には少なくとも1つの画像の画像特徴が含まれ、前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得るように構成される。
幾つかの可能な実施形態において、前記装置は、前記複数の第1群のためにそれぞれ第1インデックスを設定し、複数の第1インデックスを得るように構成される第1インデックス設定モジュールを更に備え、前記量子化ユニットは更に、前記複数の第1インデックスをそれぞれ複数の量子化器に割り当て、各量子化器に割り当てられる第1インデックスが異なり、前記複数の量子化器を利用して、割り当てられた第1インデックスに対応する第1群内の画像特徴の量子化処理をそれぞれ並列実行するように構成される。
幾つかの可能な実施形態において、前記量子化処理は、PQ符号化処理を含む。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得し、前記第1類似度に基づいて、前記いずれか1つの画像のK1隣接画像を決定することであって、前記K1隣接画像の量子化特徴が前記いずれか1つの画像の量子化特徴との第1類似度が最も高いK1個の量子化特徴であり、前記K1が1以上の整数であることと、前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して、前記クラスタリング処理のクラスタリング結果を決定することと、を実行するように構成される。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記いずれか1つの画像の量子化特徴との第1類似度が第1閾値を超える第1画像セットを前記K1隣接画像から選択し、前記第1画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成するように構成され、前記第1状態は画像に同じ対象を含む状態である。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記いずれか1つの画像の画像特徴と前記いずれか1つの画像のK1隣接画像の画像特徴との第2類似度を取得し、前記第2類似度に基づいて、前記いずれか1つの画像のK2隣接画像を決定し、前記K2隣接画像の画像特徴が前記K1隣接画像のうち前記いずれか1つの画像の画像特徴との第2類似度が最も高いK2個の画像特徴であり、K2が1以上であってK1以下である整数であり、前記いずれか1つの画像の画像特徴との前記第2類似度が第2閾値を超える第2画像セットを前記K2隣接画像から選択し、前記第2画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成するように構成され、前記第1状態は画像に同じ対象を含む状態である。
幾つかの可能な実施形態において、前記クラスタリングユニットは更に、前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得する前に、前記複数の画像の量子化特徴についてグループ化処理し、複数の第2群を得、前記第2群には少なくとも1つの画像の量子化特徴が含まれるように構成され、
前記クラスタリングユニットは更に、前記第2群における画像の量子化特徴と前記他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得するように構成される。
幾つかの可能な実施形態において、前記装置は、前記クラスタリングユニットにより前記第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得する前に、前記複数の第2群のためにそれぞれ第2インデックスを設定し、複数の第2インデックスを得るように構成される第2インデックス設定モジュールを更に備え、
前記クラスタリングユニットは更に、前記第2インデックスに基づいて、前記第2インデックスに対応する類似度演算タスクを確立し、前記類似度演算タスクが、前記第2インデックスに対応する第2群におけるターゲット画像の量子化特徴と前記ターゲット画像以外の全ての画像の量子化特徴との第1類似度を取得することであり、前記複数の第2インデックスのうちの各第2インデックスに対応する類似度取得タスクを分散型並列実行の方式で実行するように構成される。
幾つかの可能な実施形態において、前記装置は、前記画像特徴の第3インデックスを取得し、前記第3インデックスと前記第3インデックスに対応する画像特徴とを関連付けて記憶するように構成される記憶モジュールを更に備え、
前記第3インデックスは、画像採取装置により前記第3インデックスに対応する画像を採取する時間、場所及び前記画像採取装置の識別子のうちの少なくとも1つを含む。
幾つかの可能な実施形態において、前記クラスタリングモジュールは、得られた前記クラスターのクラスター中心を決定し、前記クラスター中心のために、第4インデックスを設定するように制御し、前記第4インデックスと前記第4インデックスに対応するクラスター中心とを関連付けて記憶するように構成されるクラスター中心決定ユニットを更に備える。
幾つかの可能な実施形態において、前記クラスター中心決定ユニットは更に、前記クラスター内の各画像の画像特徴の平均値に基づいて、前記クラスターのクラスター中心を決定するように構成される。
幾つかの可能な実施形態において、前記装置は、入力画像の画像特徴を取得するように構成される取得モジュールと、前記入力画像の画像特徴に対して量子化処理を行い、前記入力画像の量子化特徴を得るように構成される量子化モジュールと、を更に備え、前記クラスタリングモジュールは更に、前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定するように構成される。
幾つかの可能な実施形態において、前記クラスタリングモジュールは更に、前記入力画像の量子化特徴と各前記クラスターのクラスター中心の量子化特徴との第3類似度を取得し、前記第3類似度に基づいて、前記入力画像の量子化特徴との第3類似度が最も高いK3個のクラスター中心を決定し、K3が1以上の整数であり、前記入力画像の画像特徴と前記K3個のクラスター中心の画像特徴との第4類似度を取得し、前記K3個のクラスター中心のうちの1つのクラスター中心の画像特徴と前記入力画像の画像特徴との第4類似度が最も高く且つ該第4類似度が第3閾値を超えることに応答して、前記入力画像を前記1つのクラスター中心に対応するクラスターに加えるように構成される。
幾つかの可能な実施形態において、前記クラスタリングモジュールは更に、前記入力画像の画像特徴との第4類似度が第3閾値を超えるクラスター中心が存在しないことに応答して、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて、前記クラスタリング処理を実行し、少なくとも1つの新たなクラスターを得るように構成される。
幾つかの可能な実施形態において、前記装置は、アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定するように構成されるアイデンティティ識別モジュールを更に備える。
幾つかの可能な実施形態において、前記アイデンティティ識別モジュールは更に、前記アイデンティティ特徴ライブラリにおける既知の対象の量子化特徴を取得し、前記既知の対象の量子化特徴と前記少なくとも1つのクラスターのクラスター中心の量子化特徴との第5類似度を決定し、前記クラスター中心の量子化特徴との第5類似度が最も高いK4個の既知のオブジェクトの量子化特徴を決定し、前記クラスター中心の画像特徴と対応するK4個の既知の対象の画像特徴との第6類似度を取得し、前記K4個の既知の対象のうちの1つの既知の対象の画像特徴と前記クラスター中心の画像特徴との第6類似度が最も高く且つ該第6類似度が第4閾値を超えることに応答して、前記第6類似度が最も高い前記1つの既知の対象が前記クラスター中心に対応するクラスターとマッチングしたと判定するように構成される。
幾つかの可能な実施形態において、前記アイデンティティ識別モジュールは更に、前記K4個の既知の対象の画像特徴と対応するクラスター中心の画像特徴との第6類似度がいずれも前記第4閾値未満であることに応答して、前記既知の対象とマッチングしたクラスターが存在しないと判定するように構成される。
幾つかの実施例において、本開示の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
本開示の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
本開示の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、プロセッサは、上記方法を実行するように構成される。
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
図12は一例示的な実施例による電子機器を示すブロック図である。例えば、電子機器800は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。
図12を参照すると、電子機器800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)インタフェース812、センサコンポーネント814及び通信コンポーネント816のうちの1つ又は複数を備えてもよい。
処理コンポーネント802は一般的には、電子機器800の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント802は、指令を実行するための1つ又は複数のプロセッサ820を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント802は、他のユニットとのインタラクションのために、1つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント802はマルチメディアモジュールを備えることで、マルチメディアコンポーネント808と処理コンポーネント802とのインタラクションに寄与する。
メモリ804は、各種のデータを記憶することで電子機器800における操作をサポートするように構成される。これらのデータの例として、電子機器800上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ804は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ(Static Random Access Memory:SRAM)、電気的消去可能なプログラマブル読み出し専用メモリ(Electrically Erasable Programmable Read-Only Memory:EEPROM)、電気的に消去可能なプログラマブル読出し専用メモリ(Erasable Programmable Read-Only Memory:EPROM)、プログラマブル読出し専用メモリ(Programmable Read-Only Memory:PROM)、読出し専用メモリ(Read Only Memory:ROM)、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
電源コンポーネント806は電子機器800の様々なユニットに電力を提供する。電源コンポーネント806は、電源管理システム、1つ又は複数の電源、及び電子機器800のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
マルチメディアコンポーネント808は、上記電子機器800とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ(Liquid Crystal Display:LCD)及びタッチパネル(Touch Panel:TP)を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する1つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント808は、フロントカメラ及び/又はリアカメラを備える。電子機器800が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び/又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
オーディオコンポーネント810は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント810は、マイクロホン(Microphone:MIC)を備える。電子機器800が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ804に記憶するか、又は通信コンポーネント816を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント810は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
I/Oインタフェース812は、処理コンポーネント802と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
センサコンポーネント814は、1つ又は複数のセンサを備え、電子機器800のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント814は、電子機器800のオン/オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器800のディスプレイ及びキーパッドである。センサコンポーネント814は電子機器800又は電子機器800における1つのユニットの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位又は加速/減速及び電子機器800の温度の変動を検出することもできる。センサコンポーネント814は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント814は、金属酸化膜半導体素子(Complementary Metal-Oxide Semiconductor:CMOS)又は電荷結合素子(Charge Coupled Device:CCD)画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント814は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
通信コンポーネント816は、電子機器800と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器800は、WiFi、2G又は3G又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント816は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント816は、近接場通信(Near Field Communication:NFC)モジュールを更に備えることで近距離通信を促進する。例えば、NFCモジュールは、無線周波数識別(Radio Frequency Identification:RFID)技術、赤外線データ協会(Infrared Data Association:IrDA)技術、超広帯域(Ultra WideBand:UWB)技術、ブルートゥース(BlueTooth:BT)技術及び他の技術に基づいて実現される。
例示的な実施例において、電子機器800は、1つ又は複数の特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、デジタル信号プロセッサ(Digital Signal Processor:DSP)、デジタル信号処理機器(DSPD)、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array:FPGA)、コントローラ、マイクロコントローラ(Micro Controller Unit:MCU)、マイクロプロセッサ(Microprocessor)又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
例示的な実施例において、コンピュータプログラム命令を記憶したメモリ804のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器800のプロセッサ820により実行され上記方法を完了する。
図13は、本開示の実施例による電子機器を示すもう1つのブロック図である。例えば、電子機器1900は、サーバとして提供されてもよい。図13を参照すると、電子機器1900は、処理コンポーネント1922を備える。それは1つ又は複数のプロセッサと、メモリ1932で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント1922により実行される命令を記憶するためのものである。メモリ1932に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する1つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント1922は、命令を実行して、上記方法を実行するように構成される。
電子機器1900は、電子機器1900の電源管理を実行するように構成される電源コンポーネント1926と、電子機器1900をネットワークに接続するように構成される有線又は無線ネットワークインタフェース1950と、入力出力(I/O)インタフェース1958を更に備えてもよい。電子機器1900は、Windows ServerTM、Mac OS XTM、UnixTM, LinuxTM、FreeBSDTM又は類似したものような、メモリ1932に記憶されているオペレーティングシステムを実行することができる。
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ1932のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922により実行されて上記方法を完了する。
本開示は、システム、方法及び/又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本開示の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM又はフラッシュ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多目的ディスク(DVD)、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波(例えば、光ファイバケーブルを通過する光パルス)、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング/処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び/又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。各コンピューティング/処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング/処理装置におけるコンピュータ可読記憶媒体に記憶する。
本開示の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は1つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Smalltalk、C++などのようなオブジェクト指向プログラミング言語と、「C」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク(LAN)やワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる(例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する)。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)又はプログラマブル論理アレイ(PLA)のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本開示の各態様を実現させることができる。
ここで、本開示の実施例の方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照しながら、本開示の各態様を説明する。フローチャート及び/又はブロック図の各ブロック及びフローチャート及び/又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における1つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び/又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び/又はブロック図おける1つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び/又はブロック図における1つ又は複数のブロック中で規定している機能/操作を実現させる。
図面におけるフローチャート及びブロック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、1つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、1つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックにラベル付けされる機能は図面中にラベル付けされる順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び/又はフローチャートにおける各ブロック、及びブロック図及び/又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることにも留意されたい。
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

Claims (21)

  1. 画像処理方法であって、
    画像データセット内の複数の画像に対して特徴抽出処理を行い、前記複数の画像にそれぞれ対応する画像特徴を取得することと、
    取得された前記画像特徴に基づいて、前記複数の画像に対してクラスタリング処理を行い、少なくとも1つのクラスターを得ることであって、ここで同一のクラスター内の画像には同じ対象が含まれることと、を含み、
    ここで、分散型並列実行の方式で、前記特徴抽出処理及び前記クラスタリング処理のうちの少なくとも1つの処理プロセスを実行し、
    前記分散型並列実行の方式で、前記特徴抽出処理を実行することは、
    前記画像データセット内の複数の画像をグループ化し、複数の画像群を得ることと、
    前記複数の画像群をそれぞれ複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを利用して、前記特徴抽出モデルに対応する画像群における画像の特徴抽出処理を並列実行し、前記複数の画像の画像特徴を得ることであって、各特徴抽出モデルに入力された画像群が異なることと、を含み、
    前記分散型並列実行の方式で、前記クラスタリング処理を実行することは、
    前記複数の画像の画像特徴をグループ化処理し、複数の第1群を得ることであって、前記第1群には少なくとも1つの画像の画像特徴が含まれることと、
    前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得ることと、
    前記取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得ることと、を含むことを特徴とする、方法。
  2. 前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得る前に、前記方法は、
    前記複数の第1群のためにそれぞれ第1インデックスを設定し、複数の第1インデックスを得ることを更に含み、
    前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得ることは、
    前記複数の第1インデックスをそれぞれ複数の量子化器に割り当てることであって、各量子化器に割り当てられる第1インデックスが異なることと、
    前記複数の量子化器を利用して、割り当てられた第1インデックスに対応する第1群内の画像特徴の量子化処理をそれぞれ並列実行することと、を含むことを特徴とする
    請求項に記載の方法。
  3. 前記量子化処理は、PQ(Product Quantization)符号化処理を含むことを特徴とする
    請求項1又は2に記載の方法。
  4. 前記取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得ることは、
    前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することと、
    前記第1類似度に基づいて、前記いずれか1つの画像のK1隣接画像を決定することであって、前記K1隣接画像の量子化特徴が前記いずれか1つの画像の量子化特徴との第1類似度が最も高いK1個の量子化特徴であり、前記K1が1以上の整数であることと、
    前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して、前記クラスタリング処理のクラスタリング結果を決定することと、を含むことを特徴とする
    請求項1~3のうちいずれか一項に記載の方法。
  5. 前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して前記クラスタリング処理のクラスタリング結果を決定することは、
    前記いずれか1つの画像の量子化特徴との第1類似度が第1閾値を超える第1画像セットを前記K1隣接画像から選択することと、
    前記第1画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成することであって、前記第1状態は画像に同じ対象を含む状態であることと、を含むことを特徴とする
    請求項に記載の方法。
  6. 前記いずれか1つの画像及び前記いずれか1つの画像のK1隣接画像を利用して前記クラスタリング処理のクラスタリング結果を決定することは、
    前記いずれか1つの画像の画像特徴と前記いずれか1つの画像のK1隣接画像の画像特徴との第2類似度を取得することと、
    前記第2類似度に基づいて、前記いずれか1つの画像のK2隣接画像を決定することであって、前記K2隣接画像の画像特徴が前記K1隣接画像のうち前記いずれか1つの画像の画像特徴との第2類似度が最も高いK2個の画像特徴であり、K2が1以上であってK1以下である整数であることと、
    前記いずれか1つの画像の画像特徴との前記第2類似度が第2閾値を超える第2画像セットを前記K2隣接画像から選択することと、
    前記第2画像セット内の全ての画像及び前記いずれか1つの画像を第1状態とラベル付けし、第1状態とラベル付けされた各画像に基づいて、1つのクラスターを形成することであって、前記第1状態は画像に同じ対象を含む状態であることと、を含むことを特徴とする
    請求項に記載の方法。
  7. 前記複数の画像のうちのいずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得する前に、前記方法は、
    前記複数の画像の量子化特徴についてグループ化処理し、複数の第2群を得ることであって、前記第2群には少なくとも1つの画像の量子化特徴が含まれることを更に含み、
    前記いずれか1つの画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することは、
    前記第2群における画像の量子化特徴と前記他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得することを含むことを特徴とする
    請求項4~6のうちいずれか一項に記載の方法。
  8. 前記第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を分散型並列実行の方式で取得する前に、
    前記複数の第2群のためにそれぞれ第2インデックスを設定し、複数の第2インデックスを得ることを更に含み、
    また、前記複数の第2群における画像の量子化特徴と他の画像の量子化特徴との第1類似度を取得することは、
    前記第2インデックスに基づいて、前記第2インデックスに対応する類似度演算タスクを確立することであって、前記類似度演算タスクが、前記第2インデックスに対応する第2群におけるターゲット画像の量子化特徴と前記ターゲット画像以外の全ての画像の量子化特徴との第1類似度を取得するものであることと、
    前記複数の第2インデックスのうちの各第2インデックスに対応する類似度取得タスクを分散型並列実行の方式で実行することと、を含むことを特徴とする
    請求項に記載の方法。
  9. 前記方法は、
    前記画像特徴の第3インデックスを取得し、前記第3インデックスと前記第3インデックスに対応する画像特徴とを関連付けて記憶することを更に含み、
    前記第3インデックスは、画像採取装置により前記第3インデックスに対応する画像を採取する時間、場所及び前記画像採取装置の識別子のうちの少なくとも1つを含むことを特徴とする
    請求項1~のうちいずれか一項に記載の方法。
  10. 前記方法は、
    得られた前記クラスターのクラスター中心を決定することと、
    前記クラスター中心のために、第4インデックスを設定し、前記第4インデックスと前記第4インデックスに対応するクラスター中心とを関連付けて記憶することと、を更に含むことを特徴とする
    請求項1~のうちいずれか一項に記載の方法。
  11. 前記得られた前記クラスターのクラスター中心を決定することは、
    前記クラスター内の各画像の画像特徴の平均値に基づいて、前記クラスターのクラスター中心を決定することを含むことを特徴とする
    請求項10に記載の方法。
  12. 前記方法は、
    入力画像の画像特徴を取得することと、
    前記入力画像の画像特徴に対して量子化処理を行い、前記入力画像の量子化特徴を得ることと、
    前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定することと、を更に含むことを特徴とする
    請求項1~11のうちいずれか一項に記載の方法。
  13. 前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定することは、
    前記入力画像の量子化特徴と各前記クラスターのクラスター中心の量子化特徴との第3類似度を取得することと、
    前記第3類似度に基づいて、前記入力画像の量子化特徴との第3類似度が最も高いK3個のクラスター中心を決定することであって、K3が1以上の整数であることと、
    前記入力画像の画像特徴と前記K3個のクラスター中心の画像特徴との第4類似度を取得することと、
    前記K3個のクラスター中心のうちの1つのクラスター中心の画像特徴と前記入力画像の画像特徴との第4類似度が最も高く且つ該第4類似度が第3閾値を超えることに応答して、前記入力画像を前記1つのクラスター中心に対応するクラスターに加えることと、を含むことを特徴とする
    請求項12に記載の方法。
  14. 前記入力画像の量子化特徴及び得られた前記クラスターのクラスター中心に基づいて、前記入力画像の所在するクラスターを決定することは、
    前記入力画像の画像特徴との第4類似度が第3閾値を超えるクラスター中心が存在しないことに応答して、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて、前記クラスタリング処理を実行し、少なくとも1つの新たなクラスターを得ることを更に含むことを特徴とする
    請求項13に記載の方法。
  15. 前記方法は、
    アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することを更に含むことを特徴とする
    請求項1~14のうちいずれか一項に記載の方法。
  16. 前記アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することは、
    前記アイデンティティ特徴ライブラリにおける既知の対象の量子化特徴を取得することと、
    前記既知の対象の量子化特徴と前記少なくとも1つのクラスターのクラスター中心の量子化特徴との第5類似度を決定し、前記クラスター中心の量子化特徴との第5類似度が最も高いK4個の既知のオブジェクトの量子化特徴を決定することと、
    前記クラスター中心の画像特徴と対応するK4個の既知の対象の画像特徴との第6類似度を取得することと、
    前記K4個の既知の対象のうちの1つの既知の対象の画像特徴と前記クラスター中心の画像特徴との第6類似度が最も高く且つ該第6類似度が第4閾値を超えることに応答して、前記第6類似度が最も高い前記1つの既知の対象が前記クラスター中心に対応するクラスターとマッチングしたと判定することと、を含むことを特徴とする
    請求項15のうちいずれか一項に記載の方法。
  17. 前記アイデンティティ特徴ライブラリにおける少なくとも1つの対象のアイデンティティ特徴に基づいて、各前記クラスターに対応する対象アイデンティティを決定することは、
    前記K4個の既知の対象の画像特徴と対応するクラスター中心の画像特徴との第6類似度がいずれも前記第4閾値未満であることに応答して、前記既知の対象とマッチングしたクラスターが存在しないと判定することを更に含むことを特徴とする
    請求項16に記載の方法。
  18. 画像処理装置であって、
    画像データセット内の複数の画像に対して特徴抽出処理を行い、前記複数の画像にそれぞれ対応する画像特徴を取得するように構成される特徴抽出モジュールと、
    取得された前記画像特徴に基づいて、前記複数の画像に対してクラスタリング処理を行い、少なくとも1つのクラスターを得るクラスタリングモジュールであって、ここで同一のクラスター内の画像には同じ対象が含まれるように構成されるクラスタリングモジュールと、を備え、
    ここで、分散型並列実行の方式で、前記特徴抽出処理及び前記クラスタリング処理のうちの少なくとも1つの処理プロセスを実行し、
    前記特徴抽出モジュールは、前記画像データセット内の複数の画像をグループ化し、複数の画像群を得ることと、前記複数の画像群をそれぞれ複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを利用して、前記特徴抽出モデルに対応する画像群における画像の特徴抽出処理を並列実行し、前記複数の画像の画像特徴を得ることと、をさらに実行するように構成され、各特徴抽出モデルに入力された画像群が異なり、
    前記クラスタリングモジュールは、
    前記複数の画像の画像特徴をグループ化処理し、複数の第1群を得ることであって、前記第1群には少なくとも1つの画像の画像特徴が含まれることと、前記複数の第1群の画像特徴の量子化処理を分散型並列実行の方式で実行し、前記画像特徴に対応する量子化特徴を得ることと、を実行するように構成される量子化ユニットと、
    取得された前記量子化特徴に基づいて前記複数の画像に対してクラスタリング処理を実行し、前記少なくとも1つのクラスターを得るように構成されるクラスタリングユニットと、を備えることを特徴とする、装置。
  19. 電子機器であって、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項1~17のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
  20. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時に、請求項1~17のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
  21. コンピュータに、請求項1~17のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2020556815A 2019-05-15 2019-08-19 画像処理方法及び装置、電子機器並びに記憶媒体 Active JP7128906B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910404653.9 2019-05-15
CN201910404653.9A CN110175546B (zh) 2019-05-15 2019-05-15 图像处理方法及装置、电子设备和存储介质
PCT/CN2019/101438 WO2020228163A1 (zh) 2019-05-15 2019-08-19 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021528715A JP2021528715A (ja) 2021-10-21
JP7128906B2 true JP7128906B2 (ja) 2022-08-31

Family

ID=67691160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020556815A Active JP7128906B2 (ja) 2019-05-15 2019-08-19 画像処理方法及び装置、電子機器並びに記憶媒体

Country Status (6)

Country Link
US (1) US20210073577A1 (ja)
JP (1) JP7128906B2 (ja)
CN (1) CN110175546B (ja)
SG (1) SG11202011658TA (ja)
TW (1) TWI785267B (ja)
WO (1) WO2020228163A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225280B (zh) * 2020-01-22 2021-10-01 复旦大学 基于嵌入式平台的轻量级视频分析***
CN111818364B (zh) * 2020-07-30 2021-08-06 广州云从博衍智能科技有限公司 视频融合方法、***、设备及介质
CN113709384A (zh) * 2021-03-04 2021-11-26 腾讯科技(深圳)有限公司 基于深度学习的视频剪辑方法、相关设备及存储介质
CN114494782B (zh) * 2022-01-26 2023-08-08 北京百度网讯科技有限公司 图像处理方法、模型训练方法、相关装置及电子设备
CN114549883B (zh) * 2022-02-24 2023-09-05 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法、装置和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017274A (ja) 2008-07-09 2010-01-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
WO2012073421A1 (ja) 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2013020480A (ja) 2011-07-12 2013-01-31 Hitachi Ltd 画像検索システム
CN104392250A (zh) 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于MapReduce的图像分类方法
CN104933445A (zh) 2015-06-26 2015-09-23 电子科技大学 一种基于分布式K-means的海量图像分类方法
CN106203508A (zh) 2016-07-11 2016-12-07 天津大学 一种基于Hadoop平台的图像分类方法
JP2018526753A (ja) 2015-09-11 2018-09-13 日本電気株式会社 物体認識装置、物体認識方法及び記憶媒体
CN109063790A (zh) 2018-09-27 2018-12-21 北京地平线机器人技术研发有限公司 对象识别模型优化方法、装置和电子设备
CN109740660A (zh) 2018-12-27 2019-05-10 深圳云天励飞技术有限公司 图像处理方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107740B2 (en) * 2008-08-15 2012-01-31 Honeywell International Inc. Apparatus and method for efficient indexing and querying of images in security systems and other systems
CN103164713B (zh) * 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
JP5577372B2 (ja) * 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体
US8768049B2 (en) * 2012-07-13 2014-07-01 Seiko Epson Corporation Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model
CN103235825B (zh) * 2013-05-08 2016-05-25 重庆大学 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法
CN103605765B (zh) * 2013-11-26 2016-11-16 电子科技大学 一种基于聚类紧凑特征的海量图像检索***
JP6431302B2 (ja) * 2014-06-30 2018-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9613407B2 (en) * 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
CN106156118B (zh) * 2015-04-07 2019-07-23 阿里巴巴集团控股有限公司 基于计算机***的图片相似度计算方法及其***
CN104881735A (zh) * 2015-05-13 2015-09-02 国家电网公司 用于支撑智慧城市运行管理的智能电网大数据挖掘***及方法
CN106959948A (zh) * 2016-01-08 2017-07-18 普华诚信信息技术有限公司 针对分布式特性对大数据进行预处理的***及其预处理方法
JP6732518B2 (ja) * 2016-04-27 2020-07-29 キヤノン株式会社 画像処理装置および画像処理方法
US10032067B2 (en) * 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN108182443B (zh) * 2016-12-08 2020-08-07 广东精点数据科技股份有限公司 一种基于决策树的图像自动标注方法和装置
CN107085607B (zh) * 2017-04-19 2020-06-30 电子科技大学 一种图像特征点匹配方法
CN108021689A (zh) * 2017-10-19 2018-05-11 大连大学 使用基于MapReduce的IVkNN算法进行查询的方法
CN108376177B (zh) * 2018-03-15 2019-10-25 百度在线网络技术(北京)有限公司 用于处理信息的方法和分布式***
CN108921587B (zh) * 2018-05-24 2020-02-28 腾讯科技(深圳)有限公司 一种数据处理方法、装置及服务器
CN109522937B (zh) * 2018-10-23 2021-02-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109740013A (zh) * 2018-12-29 2019-05-10 深圳英飞拓科技股份有限公司 图像数据处理方法及图像检索方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017274A (ja) 2008-07-09 2010-01-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
WO2012073421A1 (ja) 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2013020480A (ja) 2011-07-12 2013-01-31 Hitachi Ltd 画像検索システム
CN104392250A (zh) 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于MapReduce的图像分类方法
CN104933445A (zh) 2015-06-26 2015-09-23 电子科技大学 一种基于分布式K-means的海量图像分类方法
JP2018526753A (ja) 2015-09-11 2018-09-13 日本電気株式会社 物体認識装置、物体認識方法及び記憶媒体
CN106203508A (zh) 2016-07-11 2016-12-07 天津大学 一种基于Hadoop平台的图像分类方法
CN109063790A (zh) 2018-09-27 2018-12-21 北京地平线机器人技术研发有限公司 对象识别模型优化方法、装置和电子设备
CN109740660A (zh) 2018-12-27 2019-05-10 深圳云天励飞技术有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN110175546B (zh) 2022-02-25
TWI785267B (zh) 2022-12-01
SG11202011658TA (en) 2020-12-30
JP2021528715A (ja) 2021-10-21
CN110175546A (zh) 2019-08-27
TW202044107A (zh) 2020-12-01
WO2020228163A1 (zh) 2020-11-19
US20210073577A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP7128906B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN110502651B (zh) 图像处理方法及装置、电子设备和存储介质
JP6926339B2 (ja) 画像のクラスタリング方法及び装置、電子機器並びに記憶媒体
CN109829433B (zh) 人脸图像识别方法、装置、电子设备及存储介质
CN109089133B (zh) 视频处理方法及装置、电子设备和存储介质
CN110472091B (zh) 图像处理方法及装置、电子设备和存储介质
CN110781957B (zh) 图像处理方法及装置、电子设备和存储介质
US20220019772A1 (en) Image Processing Method and Device, and Storage Medium
CN109145150B (zh) 目标匹配方法及装置、电子设备和存储介质
JP2016516251A (ja) クラスタリング方法、クラスタリング装置、端末装置、プログラム及び記録媒体
CN109522937B (zh) 图像处理方法及装置、电子设备和存储介质
CN109920016B (zh) 图像生成方法及装置、电子设备和存储介质
CN111582383B (zh) 属性识别方法及装置、电子设备和存储介质
CN109101542B (zh) 图像识别结果输出方法及装置、电子设备和存储介质
CN110909817B (zh) 分布式聚类方法及***、处理器、电子设备及存储介质
CN116775915A (zh) 资源推荐方法、推荐预测模型训练方法、装置及设备
CN114168798A (zh) 文本存储管理与检索方法及装置
CN112131999B (zh) 身份确定方法及装置、电子设备和存储介质
CN114842404A (zh) 时序动作提名的生成方法及装置、电子设备和存储介质
CN114356529A (zh) 图像处理方法及装置、电子设备和存储介质
CN114155295A (zh) 信息提取方法、装置及介质
CN117219081A (zh) 音频处理方法、装置、电子设备及存储介质
CN113326388A (zh) 基于倒排表的数据检索方法、***、介质及装置
CN115730140A (zh) 内容项的展示方法、装置、设备以及存储介质
CN116647664A (zh) 一种视频质量评估网络确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220819

R150 Certificate of patent or registration of utility model

Ref document number: 7128906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150