JP6547626B2 - 画像の特徴量に関する処理システム、処理方法及びプログラム - Google Patents

画像の特徴量に関する処理システム、処理方法及びプログラム Download PDF

Info

Publication number
JP6547626B2
JP6547626B2 JP2015544890A JP2015544890A JP6547626B2 JP 6547626 B2 JP6547626 B2 JP 6547626B2 JP 2015544890 A JP2015544890 A JP 2015544890A JP 2015544890 A JP2015544890 A JP 2015544890A JP 6547626 B2 JP6547626 B2 JP 6547626B2
Authority
JP
Japan
Prior art keywords
classification
likelihood
image
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015544890A
Other languages
English (en)
Other versions
JPWO2015064292A1 (ja
Inventor
祐介 ▲高▼橋
祐介 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015064292A1 publication Critical patent/JPWO2015064292A1/ja
Application granted granted Critical
Publication of JP6547626B2 publication Critical patent/JP6547626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

本発明に係るいくつかの態様は、画像の特徴量に関する処理システム、処理方法及びプログラムに関する。
画像処理においては、色情報などの種々の特徴量が利用されることが多い。例えば特許文献１は、画像に映る人の特徴量を示す特徴情報として、輝度分布情報、輝度輪郭情報、及び色分布情報を利用することを開示している。
その他、特許文献２−５も、関連技術を開示している。
特開２０１１−０６００２４号公報 特開２０１０−０６８１２０号公報 特開２００９−２３１９２１号公報 特開２００８−０８５９９５号公報 特開２００５−２５０６９２号公報
ここで、画像から抽出される特徴量は、同一の物体に係る画像であったとしても、画像の撮影条件等に応じて変化する。そこで引用文献１に係る手法では、特徴情報の信頼性の高低を示す信頼度を考慮するようにしている。
しかしながら、画像からは必ずしも信頼度の高い特徴量が得られるとは限らない。そのような場合には、特徴量を用いた処理、例えば同一物体（人物も含む）であるか否かの判定等も好適に行うことが難しい。
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、好適に画像の特徴量を処理することのできる画像の特徴量に関する処理システム、処理方法及びプログラムを提供することを目的の１つとする。
本発明に係る１の画像の特徴量に関する処理システムは、複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受ける入力手段と、分類が対応付けられた前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は各画素ブロックの特徴量に基づき、各画素又は各画素ブロックが取りうる特徴量の各値と、各値が前記複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を生成する手段とを備える。
本発明に係る１の画像の特徴量に関する処理システムは、画像の入力を受ける入力手段と、画像の各画素又は各画素ブロックが取りうる特徴量の各値と、各値が複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を格納する手段と、画像内の物体領域の各画素又は各画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、当該物体領域の前記複数の分類に係る尤度分布を示す分類尤度情報を生成する手段とを備える。
本発明に係る１の画像の特徴量に関する処理方法は、複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受けるステップと、分類が対応付けられた前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は各画素ブロックの特徴量に基づき、各画素又は各画素ブロックが取りうる特徴量の各値と、各値が前記複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を生成するステップとをコンピュータが行なう。
本発明に係る１の画像の特徴量に関する処理方法は、画像の入力を受けるステップと、画像の各画素又は各画素ブロックが取りうる特徴量の各値と、各値が複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を格納するステップと、画像内の物体領域の各画素又は各画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、当該物体領域の前記複数の分類に係る尤度分布を示す分類尤度情報を生成するステップとをコンピュータが行なう。
本発明に係る１の画像の特徴量に関するプログラムは、複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受ける処理と、分類が対応付けられた前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は各画素ブロックの特徴量に基づき、各画素又は各画素ブロックが取りうる特徴量の各値と、各値が前記複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を生成する処理とをコンピュータに実行させる。
本発明に係る１の画像の特徴量に関するプログラムは、画像の入力を受ける処理と、画像の各画素又は各画素ブロックが取りうる特徴量の各値と、各値が複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を格納する処理と、画像内の物体領域の各画素又は各画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、当該物体領域の前記複数の分類に係る尤度分布を示す分類尤度情報を生成する処理とをコンピュータに実行させる。
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
本発明によれば、好適に画像の特徴量を処理することのできる画像の特徴量に関する処理システム、処理方法及びプログラムを提供することができる。
第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 分類毎のサンプル画像の具体例を示す図である。 尤度テーブルの具体例を示す図である。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 分類ヒストグラムの具体例を示す図である。 分類ヒストグラムの生成方法を説明するための図である。 学習用の画像について説明するための図である。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１及び図５に示す画像処理システムを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
（１ 第１実施形態）
図１乃至図１１は、第１実施形態を説明するための図である。以下、これらの図を参照しながら説明する。本実施形態に係る処理は、尤度分類情報を生成する処理と、当該尤度分類情報を利用する処理とに大きく分かれる。よって、「１．１」で尤度分類情報を生成する処理について説明し、「１．２」で尤度分類情報を利用する処理について説明する。「１．３」では、尤度分類情報を生成する処理や尤度分類情報を利用する処理を実行可能なハードウェア構成の具体例を説明する。最後に、「１．４」で、本実施形態に係る効果などを説明する。
（１．１ 尤度分類情報を生成する処理）
（１．１．１ 概要）
監視や検索などの用途のために、単一若しくは複数のカメラで撮影された画像（映像を構成する画像フレームも含む）にそれぞれ映る人物に対して、同一物体（人物も含む）であるかを特定することが求められている。このとき、画像に映る物体の物体領域から、色彩、輝度、エッジ等の画像特徴量を抽出した上で、当該画像特徴量の類似度を算出することにより、同一性を判定することが考えられる。しかしながら、撮影画像に映る画像特徴量は、照明や対象物体の向き、画像内の大きさ等の様々な要因により、大きく変化する場合がある。
このような環境変化による影響を抑制するため、同一性判定のための特徴量間の距離の判定方法で工夫することも考えられる。例えば、特徴量間の距離指標を高次元非線形空間で学習した上で、当該高次元非線形空間での距離指標を用いて類似度を算出する手法が考えられる。しかしながら、このような計算手法は非常に処理量が大きいため、実時間での運用には不向きである。
そこで本実施形態に係る画像処理システム１００では、予め様々な環境下で撮影されたサンプル画像を用いることにより、物体の向きや姿勢、照明条件等に伴う画像特徴量の変化が学習されたデータである尤度分布情報を生成する。画像の物体領域の照合の際には、色値等の画像特徴量を直接用いるのではなく、画像特徴量を元に尤度分布情報を参照することにより得られる分類特徴量を用いて照合することにより、確度の高い照合を、少ない計算量で行なう。
（１．１．２ システム構成）
以下、図１を参照しながら、本実施形態に係る、尤度分類情報を生成する処理を行なう画像処理システム１００のシステム構成を説明する。図１は、画像処理システム１００のシステム構成を示すブロック図である。
画像処理システム１００は、画像入力部１０１、尤度分布算出部１０５、尤度分布算出部１０５、及びデータベース１０７を含む。
画像入力部１０１は、例えば、監視カメラやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）デジタルカメラ、ビデオカメラなどである図示しない１以上の撮影装置により、照明条件、撮影装置からの距離、物体の向き等が様々異なる各種撮影条件下で撮影された、対象物体が映った多数のサンプル画像（動画像を構成する画像フレームも含む）の入力を受ける。
この時、画像入力部１０１から入力されるサンプル画像は、それぞれ、物体領域が特定され、更に、当該物体領域に対して、カテゴリ（後に詳述する）が対応付けられているものとする。なお、物体領域は画像全体であっても良い。即ち、サンプル画像全体若しくは大部分に物体が映っている場合には、画像全体を物体領域として捉えることができる。
物体領域に映る物体としては、例えば人物や、車や自転車、バイク、荷物等の各種移動体であること等が考えられる。以下の例では、対象物体が人物である場合を中心に説明する。
物体領域の特定は、コンピュータ等による画像処理により行なうことも考えられるし、或いは、人手で行なうことも考えられる。コンピュータによる画像処理で行う場合には、例えば、予め用意された、若しくは生成された背景画像（主に静止物から構成される画像）と、人物などの各種物体が写った画像とを比較する背景差分により特定することが考えられる。また、ビデオカメラ等により撮影装置を移動させながら物体を移動撮影する場合には、前景となる対象物体と背景とを、オプティカルフロー（各画素領域の動き）を用いて分離し、画角中心付近でフロー（移動量）の違いを用いて物体領域を特定することが考えられる。或いは、対象物体が既知である場合には、事前知識から対象領域（物体領域）を絞り込むこともできる。例えば、人物の上着を検出対象の領域とする場合には、頭部検出、上半身検出等により人物の全身領域を特定した上で、人物の全身の上から１／３〜１／２の領域を利用することにより、頭部領域及び下半身領域を取り除くことができる。
カテゴリは、例えば物体を表現する視覚的な分類である。たとえば、青色の洋服、黄色の洋服、紫色の洋服、黒色の洋服等の、ユーザが任意に選択した色の洋服や、青と赤の縞模様、白と赤の水玉模様といった任意の模様の洋服をも含むことができる。この各カテゴリは、例えば、色や模様のバリエーションが豊富な同一素材の服を選択することができる。このように同一素材の服を選ぶことで、素材の違いによる色や模様の変動を除去した状態で、照明変動や姿勢などの撮影環境の変動による色の変動を取得することができるためである。
ところで、カテゴリとしては、色バリエーションの服ではなく、一般的な「青色」等の色分類を選択する方法も考えられる。しかしながら、そのような一般的な色の分類を選んだ場合には、色の範囲が曖昧で、水色や紺色なども含み得るため、色空間での対応範囲が広くなる。つまり、水色と紺の服を特徴量化するときに、一般的な色カテゴリを用いると、どちらも青で表現されてしまう可能性がある。よって、一般的な色空間で選択した色を使用する場合には、「水色」や「紺色」と、「照明変動による明るい青や暗い青」との違いが混在した状態で取得されてしまう。
一方、色バリエーション服の１つの「青色の服」を選択した場合では、撮影環境下での色の分布は特定の青色の分布が限定的に取得できる。色バリエーション服を用いると、水色と紺色は、それぞれ青色服と白色服の組み合わせ、青色服と黒色服の組み合わせで表現される。青色服、白色服、黒色服がさまざまな撮影環境下で撮影されているため、照明変動がある水色や紺色も、安定して青色服と白色服の組み合わせ、青色服と黒色服の組み合わせで表現される。
以下、カテゴリが、洋服の色である場合を中心に説明する。
画像入力部１０１から入力されるサンプル画像は、例えば、予め赤色、青色等の、処理対象としたいカテゴリの洋服を着たそれぞれの人物が、照明条件や撮影装置からの距離、向き等が様々異なる状況下で撮影されたそれぞれの画像とすることができる。このとき、それぞれのカテゴリの人物（物体）に係る画像を、それぞれ、複数の条件下で撮影すればよい。
図２は、画像入力部１０１から入力されるサンプル画像の具体例を示す図である。図２の例では、異なる時刻、異なる場所、異なる照明環境等の、種々の条件下で撮影された各カテゴリ（図２の例ではシャツの色に相当する）の人物が撮影されたサンプル画像が、それぞれ２０枚ずつ画像入力部１０１に入力される。なお、入力画像数はこれに限られるものではなく、これ以上であってもこれ以下であっても良い。
画素特徴量抽出部１０３は、画像入力部１０１により入力されたサンプル画像のうち、物体領域内の各画素から、視覚特徴量（画素値）を抽出する。
尤度分布算出部１０５は、画素特徴量抽出部１０３が抽出した、サンプル画像の物体領域内の各画素値と、それぞれの物体領域に対応付けられるカテゴリとを用いて、当該物体領域から取得される視覚特徴量がカテゴリ毎にどの程度の頻度で現れるかを、その視覚特徴量のカテゴリらしさ（尤度）である尤度分布情報１０８として求める。より具体的には、尤度分布算出部１０５は、カテゴリが対応付けられた物体領域内の各画素を分析することにより、各画素値が、各カテゴリに該当する確からしさ（尤度）を示す尤度分布情報１０８を生成する。
以下、具体例を用いて説明する。視覚特徴の例として、図２に示したように、服の色に着目する場合を説明する。図２に示すような各物体（赤色のシャツや黄色のシャツなど）が写ったサンプル画像の物体領域内の各画素に対し、画素特徴量抽出部１０３は画素値（視覚特徴量）を抽出する。ここで、画素値としては、例えばＲＧＢ、ＨＳＶ、Ｌａｂ、ＹＣｂＣｒ等により表現できる色の特徴量の他、垂直方向／水平方向／斜め方向のエッジ等、種々考えられるが、ここではＲＧＢ値であるものとする。なお、カテゴリとして模様のある洋服を選択する場合には、エッジなどの模様を表現しうる特徴量を用いることも考えられる。尤度分布算出部１０５は、各カテゴリの物体領域に対して、物体領域に含まれる各画素値毎に、出現頻度を記録していく。
このような処理を、処理対象の全てのカテゴリ（図２の例では６色のシャツ）に対して行なうことにより、各画素値に対する、６つのカテゴリに対する出現頻度のデータを得ることができる。
尤度分布算出部１０５は、この出現頻度（分布）のデータを正規化することにより、ある画素値（ここではＲＧＢ値として説明する。）が、どのカテゴリらしいかを表す尤度を算出する。これにより、図３に示すような尤度テーブル（尤度分布情報１０８）を生成することができる。
図３の尤度テーブル（尤度分布情報１０８）の具体例において、左側の３列に相当する画素値（ＲＧＢ値）は画像内の画素値を示しており、残りの列は各カテゴリに属する尤度を示している。図３の例において、（Ｒ，Ｇ，Ｂ）＝（０，０，０）の場合には、カテゴリ１に属する尤度が１であり、残りのカテゴリに属する尤度が０となっている。同様に、（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）の場合には、カテゴリ２に属する尤度が０．７、カテゴリ５に属する尤度が０．５であり、その他のカテゴリに属する尤度は０となっている。（Ｒ，Ｇ，Ｂ）＝（２３９，１７０，１２３）の場合には、カテゴリ２，３，４，６にそれぞれ属する尤度が、０．３、０．１、０．１、０．５となっている。
以下、尤度の算出方法の詳細を説明する。カテゴリ数をｍ個とする。つまり、カテゴリの集合Ｃは以下のように表現できる。
また、画素値は、ＲＧＢ色空間を２５６×２５６×２５６に離散化したものを用いるものとする。なお、画素値はもっと荒い粒度で用いたり、或いはより詳細な粒度で用いたりすることも可能である。このとき、尤度テーブル（尤度分布情報１０８）の作成とは、３次元色空間内の色値ｇi（ｉ＝１，２，・・・２５６×２５６×２５６）のカテゴリｃ∈ＣらしさＷ（ｃ｜ｇi）を算出することと言える。
尤度テーブルの作成には、写る対象物体に対してカテゴリが紐付いたサンプル画像群を用いる。カテゴリｃが対応付けられたサンプル画像（物体領域）がＮc枚あるとする。其々のサンプル画像には、前述のとおり、画素抽出対象の物体領域（マスク領域）が設定されている。ｉ番目のサンプル画像（物体領域）の抽出対象の画素数がｎc,iとする。すると、離散化された画素値ｇが与えられた時に、尤度テーブルの返す値Ｗ（ｃ｜ｇ）は以下のようになる。
式（１）において、Ｄ（ｇ｜ｃ）はカテゴリｃに属する画素値ｇの分布に比例する数であり、以下の式（２）により与えることができる。
ここで、ｇi,kはｉ番目の画像（物体領域）のｋ番目の画素の画素値であり、ｄは以下の式３で表される重みである。
ここで、ｄｉｓｔ（ａ，ｂ）はａとｂとの間の色空間での距離を算出するための関数である。
ｄは、画素値分布計算時の、１枚の学習画像中の１画素の重みに相当する。例えば、サンプル画像が３０枚あり、それぞれの物体領域の面積（画素数）が２００であるものとすると、１画素辺りの重みは１／（３０×２００）となる。また、頑健性を向上させるため、式（３）では、色空間で閾値ｔｈ以下の距離で隣接する画素値を持つ画素に対しても、その半分の重みを与えるようにしている。
尤度分布算出部１０５が生成した尤度テーブル（尤度分布情報１０８）は、データベース１０７に出力され、記憶される。記憶方法は、内蔵するＨＤＤ等の記憶媒体でも良いし、ネットワークを介して接続される他の情報処理装置上の記憶媒体であっても良い。
（１．１．３ 処理の流れ）
以下、画像処理システム１００の処理の流れを、図４を参照しながら説明する。図４は、本実施形態に係る画像処理システム１００の、尤度分布情報１０８（尤度テーブル）を生成する処理の流れを示すフローチャートである。
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。この点、図９及び図１０のフローチャートに関しても同様である。
まず画像入力部５０１は、サンプル画像の入力を受ける（Ｓ４０１）。この時、サンプル画像には物体が写る物体領域と、当該物体のカテゴリとの情報も併せて受け取る（Ｓ４０３）。
画素特徴量抽出部１０３は、サンプル画像中の物体領域中から１つの画素を選択し、当該画素値（例えばＲＧＢ値）を抽出する（Ｓ４０５）。画素特徴量抽出部１０３は、このような画素値の抽出を、物体領域内の全ての画素に対して行なう（Ｓ４０７）。また、当該サンプル画像内の全ての物体領域内の画素に対する処理が終わると（Ｓ４０７）、画素特徴量抽出部１０３は、次のサンプル画像に対して同様の処理を行なう（Ｓ４０９のＮｏ）。
なお、画素特徴量抽出部１０３が抽出する画素、及び後述の尤度分布算出部１０５による処理対象の画素は、個別の画素単位ではなく、ブロックのように複数の画素を単位とすることもできる。この場合、ブロック内の各画素値の平均や最頻値をブロックの代表値として用いることが考えられる。このようにすることにより、以後の処理対象数が減るため、処理を高速化することができる。
全てのサンプル画像内の全ての物体領域内の画素に対する処理が終わると（Ｓ４０９のＹｅｓ）、尤度分布算出部１０５は、其々のカテゴリに対して、各カテゴリの画像数（物体領域数）、及び画素数を算出する（Ｓ４１１）。その上で、これらの画像数や画素数、及び画素値に基いて、各画素値に対してカテゴリ毎の出現頻度（尤度）を算出する（Ｓ４１３）。尤度分布算出部１０５は算出した情報を尤度分布情報１０８（尤度テーブル）としてまとめた上で、データベース１０７へ出力する（Ｓ４１５）。
（１．２ 尤度分類情報を利用する処理）
続いて、尤度分類情報を利用する処理について、図５乃至図１０を参照しながら説明する。以下では、尤度分類情報を用いて、画像処理システム５００が、同一物体であるか否かの判別を行う場合について説明する。
（１．２．１ システム構成）
まず、図５を参照しながら、本実施形態に係る、尤度分類情報を利用する処理を行なう画像処理システム５００のシステム構成を説明する。図５は、画像処理システム５００のシステム構成を示すブロック図である。なお、画像処理システム５００は、画像処理システム１００と同一の情報処理装置（コンピュータ）内に実装されても良いし、それぞれ別の情報処理装置内に実装されても良い。
画像処理システム５００は、画像入力部５０１、画素特徴量抽出部５０３、分類尤度情報生成部５０５、データベース５０７、照合部５０９、データベース５１１、学習用情報入力部５１３、分類重み情報生成部５１５を含む。これらの構成は、必ずしも１台の情報処理装置により実現される必要はなく、複数の情報処理装置により実現されても良い。例えば、学習用情報入力部５１３及び分類重み情報生成部５１５を、画像入力部５０１、画素特徴量抽出部５０３、分類尤度情報生成部５０５及び照合部５０９とは別の情報処理装置上に実装することが考えられる。
画像入力部５０１は、例えば、監視カメラやＣＣＤデジタルカメラ、ビデオカメラなどである図示しない１以上の撮影装置により撮影された、物体検知対象の画像（動画像を構成する画像フレームも含む）の入力を受ける。
画素特徴量抽出部５０３では、画像内の処理対象物体に関する視覚特徴量を得る。視覚特徴量の例としては、例えばＲＧＢ、ＨＳＶ、Ｌａｂ、ＹＣｂＣｒ等による色特徴量の他、水平方向／垂直方向／斜め方向のエッジ等を用いることが考えられるが、以下ではＲＧＢ値を用いるものとして説明する。
ここで、画素特徴量抽出部５０３は、入力画像内の対象物体の位置（領域）を検出する。この手法は種々考えられるが、例えば、予め用意された、若しくは生成された背景画像（主に静止物から構成される画像）と、人物などの各種物体が写った画像とを比較する背景差分により特定することが考えられる。また、ビデオカメラ等により撮影装置を移動させながら物体を移動撮影する場合には、前景となる対象物体と背景とを、オプティカルフロー（各画素領域の動き）を用いて分離し、画角中心付近でフロー（移動量）の違いを用いて物体領域を特定することが考えられる。或いは、対象物体が既知である場合には、事前知識から対象領域（物体領域）を絞り込むこともできる。例えば、人物の上着を検出対象の領域とする場合には、頭部検出、上半身検出等により人物の全身領域を特定した上で、人物の全身の上から１／３〜１／２の領域を利用することにより、頭部領域及び下半身領域を取り除くことができる。
分類尤度情報生成部５０５では、画素特徴量抽出部５０３が物体領域内の各画素から抽出した画素値をキーとして、ＤＢ５０７に格納された尤度分布情報５０８を随時参照することにより、図６に具体例を示す分類尤度情報を生成する。ここで、ＤＢ５０７に格納される尤度分布情報５０８は、画像処理システム１００が生成できるものであり、図３に具体例が示されるものである。
分類尤度情報生成部５０５が生成する分類尤度情報は、入力画像の物体領域内の各画素の画素値に対して、尤度テーブル（尤度分布情報５０８）を参照することにより得られる各カテゴリに属する尤度を得た上で、それらの値をカテゴリ毎に加算した上で正規化したものである。つまり、処理対象の物体領域の特徴を、ＲＧＢ値等の色情報やエッジ情報といった画素値により表現したものではなく、各カテゴリの構成比率を示すヒストグラムにより表現される特徴量である。換言すると、分類尤度情報は、処理対象である物体領域の特徴量が、予め尤度分布情報５０８として学習された、少数のカテゴリで表現されたものである。
以下、分類尤度情報生成部５０５の処理の具体例を、図６を参照しながら説明する。
前述のとおり、画素特徴量抽出部５０３は、入力画像から物体領域を特定した上で、当該物体領域内の各画素の画素値を抽出する。図７の例では、画素値として、ＲＧＢ値（２３９，１７０，１２３）が抽出されている。
分類尤度情報生成部５０５は、当該画素値をキーとして尤度分布情報５０８を参照する。図３の例を見ると、ＲＧＢ値（２３９，１７０，１２３）は、各カテゴリの尤度が（０．０，０．３，０．１，０．１，０．０，０．５）となっている。そこで、これらの値（各カテゴリの尤度）を、各カテゴリ毎に生成されるビンの値に加算する。分類尤度情報生成部５０５は、処理対象の物体領域内の各画素に対して同様の処理を繰り返すことにより、カテゴリのヒストグラムが生成される。最後にこれを画素数で除算することにより各カテゴリの合計値が１となるように正規化することで、分類尤度情報（分類ヒストグラム）が生成される。
図５の説明に戻り、照合部５０９は、各画像の物体領域の同一性を判定するために、分類尤度情報（分類ヒストグラム）の類似度が閾値を超えているか否かを判別する。類似度が閾値を超えている場合には、両物体領域に写る物体が同一であると判別できる。
類似度の算出方法は、種々考えられる。例えば、類似度の算出対象である２つの物体領域Ａ、Ｂの分類ヒストグラムをそれぞれＦｅｔＡ、ＦｅｔＢとすると、類似度ｓ（Ａ，Ｂ）は以下のようにして算出することができる。
式４において、ｍはカテゴリ数であり、ｍｉｎ（ａ，ｂ）は、ａ，ｂのうちの小さい値を返す関数である。αiは、カテゴリ毎に予め設定される重みであり、ＤＢ５１１に格納される分類重み情報５１２に相当し、詳しくは後述する。式（４）を用いると、２次以上の計算が不要となるため、計算速度を向上させることが可能となる。
なお、類似度の算出方法は前述のとおり式４に限られるものではなく、例えば、ユークリッド距離等によっても算出することができる。
ＤＢ５１２は、前述のとおり分類重み情報５１２を記憶する。分類重み情報５１２は、照合部５０９におけるカテゴリ毎の類似度計算に用いるものであり、分類重み情報生成部５１５により生成される。ＤＢ５１２による記憶方法は、ＨＤＤ等の内蔵記憶媒体に記憶しても良いし、ネットワークを介して接続される他の情報処理装置内の記憶媒体に記憶しても良い。
学習用情報入力部５１３は、分類重み情報生成部５１５が分類重み情報５１２を生成する際に使用する、分類尤度情報（分類ヒストグラム）の入力を受ける。ここで入力される分類尤度情報は、図８に示すように、異なる撮影装置のペア（カメラペア）や異なる撮影環境等で撮影された各画像中の、それぞれ同一物体である物体領域に対して生成された分類ヒストグラム（ポジティブデータ）、非同一物体である物体領域に対して生成された分類ヒストグラム（ネガティブデータ）である。なお、学習用情報入力部５１３が入力される分類尤度情報は、分類尤度情報生成部５０５の出力とすることも可能である。
分類重み情報生成部５１５は、学習用情報入力部５１３から入力された、ポジティブデータである分類ヒストグラムのペアや、ネガティブデータである分類ヒストグラムのペアを用いて、カテゴリ毎の類似度計算に用いる分類重み情報５１２を生成する。分類重み情報生成部５１５は、これらのデータを用いて同一人物照合率が高くなるように、マッチングの際の重みを学習する。学習には、例えば線形ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等を用いることができる。なお、分類重み情報生成部５１５は、カメラペア毎に、それぞれの環境で撮影された画像のペア毎に、分類重み情報５１２を生成することができる。
なお、分類重み情報生成部５１５による分類毎の重みの計算の結果、重みが小さくなる（即ち、同一性判定の際に寄与度が小さい）分類に関しては、画像処理システム１００による尤度分布情報５０８の生成や、照合部５０９による同一性判定の対象から外すようにすることも考えられる。そのようにすると、尤度分布情報５０８のデータ量が小さくなるとともに、尤度分布情報５０８の生成や、照合部５０９による処理量が削減され、結果として短時間で処理を完了させることが可能となる。
（１．２．２ 処理の流れ）
以下、画像処理システム５００の処理の流れを、図９及び図１０を参照しながら説明する。図９は、分類尤度情報（分類ヒストグラム）を生成するまでの処理の流れ、図１０は同一物体であるか否かを判別する際の処理の流れを示すフローチャートである。
（１．２．２．１ 分類ヒストグラム生成の処理の流れ）
まず、画像入力部５０１は処理対象である画像の入力を受ける（Ｓ９０１）。この画像は、１以上の撮影装置により撮影されたものであり、例えば、１以上の監視カメラが撮影する映像を構成する１以上の画像フレームとすることができる。
画素特徴量抽出部５０３は、入力画像から、同一性判定対象の物体が写る物体領域を特定する（Ｓ９０３）。物体領域の特定方法の具体例に関しては前述したため、ここでは省略する。
更に画素特徴量抽出部５０３は、物体領域の中から１の画素を選択して、当該画素の画素値を取得する（Ｓ９０５）。画素値は種々考えられるが、例えばＲＧＢ値等の色特徴量の他、エッジ等の画像を分析した結果得られる特徴量をも含むことができる。
なお、画素特徴量抽出部５０３が抽出し、後の分類尤度情報生成部５０５等で処理する画素は、個別の画素単位ではなく、ブロックのように複数の画素を単位とすることもできる。この場合、ブロック内の各画素値の平均や最頻値をブロックの代表値として用いることが考えられる。このようにすることにより、以後の処理対象数が減るため、処理を高速化することができる。
分類尤度情報生成部５０５は、画素特徴量抽出部５０３が抽出した画素値をキーとして、尤度分布情報５０８を参照することにより、分類毎の尤度を取得する（Ｓ９０７）。更に、取得した尤度の値を各分類のビンに其々加算する（Ｓ９０９）。このような処理を、画素特徴量抽出部５０３及び分類尤度情報生成部５０５は、物体領域の全ての画素に対して行なう（Ｓ９１１）。
物体領域の全ての画素に対する処理が終わると（Ｓ９１１のＹｅｓ）、分類尤度情報生成部５０５は各分類のビン（即ち尤度の合計）を正規化することにより、分類尤度情報（分類ヒストグラム）とする（Ｓ９１３）。
（１．２．２．２ 同一性判定の処理の流れ）
続いて、図１０を参照しながら、画像処理システム５００による、各画像に写る物体の同一性判定の処理を説明する。
照合部５０９は、分類尤度情報生成部５０５により生成された、同一性判定対象の２つの物体領域に係る分類尤度情報（分類ヒストグラム）を読み込む（Ｓ１００１）。その上で、照合部５０９は、両分類尤度情報の類似度を算出する。ここでは、照合部５０９が式（４）により類似度を算出する場合について説明する。
照合部５０９は、まず１つのカテゴリ（ここではｃiとする）を選択した上で、当該カテゴリに係る処理対象の２つの分類尤度情報の重なりの大きさを求める（Ｓ１００３）。これは、式（４）のｍｉｎ（ＦｅｔＡi，ＦｅｔＢi）を求める処理に相当する。その上で照合部５０９はＤＢ５１１からカテゴリ毎の重みを示す分類重み情報５１２を読込む（Ｓ１００５）。これは、式（４）のαiに対応する。照合部５０９は各分類の尤度の重なりに重みを乗算した上で、類似度ｓの値に加算する（Ｓ１００９）。
Ｓ１００３乃至Ｓ１００９の処理を照合部５０９は全カテゴリに対して行なう（Ｓ１０１１）。その結果求められた類似度ｓが、予め定められた閾値を超える場合には（Ｓ１０１３のＹｅｓ）、照合部５０９は、処理対象の両物体領域に写る物体が同一であると判定する（Ｓ１０１５）。一方、類似度ｓが閾値を下回る場合には（Ｓ１０１３のＮｏ）、照合部５０９は処理対象の両物体領域に写る物体が非同一であると判定する（Ｓ１０１７）。
なお、図１０のフローチャートでは同一性判定の処理について説明したがこれに限られるものではなく、同一である可能性の高い物体を出力するような、検索用途に用いることも考えられる。そのような場合には、Ｓ１０１３乃至Ｓ１０１７の処理を行わずに、類似度の高い順（降順に）に物体を並べるようにしても良い。
（１．３ ハードウェア構成の具体例）
以下、図１１を参照しながら、上述してきた画像処理システム１００や画像処理システム５００をコンピュータ１１００により実現する場合のハードウェア構成の一例を説明する。なお、画像処理システム１００、５００のそれぞれの機能は、複数のコンピュータにより実現することも可能であるし、或いは同一の１台のコンピュータにより実現することも可能である。
図１１に示すように、コンピュータ１１００は、プロセッサ１１０１、メモリ１１０３、記憶装置１１０５、入力インタフェース（Ｉ／Ｆ）部１１０７、データＩ／Ｆ部１１０９、通信Ｉ／Ｆ部１１１１、及び表示装置１１１３を含む。
プロセッサ１１０１は、メモリ１１０３に記憶されているプログラムを実行することにより、コンピュータ１１００における様々な処理を制御する。例えば、図１に示した画像入力部１０１、画素特徴量抽出部１０３、及び尤度分布算出部１０５や、図５に示した画像入力部５０１、画素特徴量抽出部５０３、分類尤度情報生成部５０５、照合部５０９、学習用情報入力部５１３及び分類重み情報生成部５１５に係る処理は、メモリ１１０３に一時記憶された上で主にプロセッサ１１０１上で動作するプログラムとして実現可能である。
メモリ１１０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ１１０３は、プロセッサ１１０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。
記憶装置１１０５は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置１１０５は、オペレーティングシステムや、画像入力部１０１、画素特徴量抽出部１０３、尤度分布算出部１０５、画像入力部５０１、画素特徴量抽出部５０３、分類尤度情報生成部５０５、照合部５０９、学習用情報入力部５１３及び分類重み情報生成部５１５を実現するための各種プログラムや、ＤＢ１０７、５０７、及び５０９を含む各種データ等を記憶できる。記憶装置１１０５に記憶されているプログラムやデータは、必要に応じてメモリ１１０３にロードされることにより、プロセッサ１１０１から参照される。
入力Ｉ／Ｆ部１１０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部１１０７の具体例としては、キーボードやマウス、タッチパネル等があげられる。入力Ｉ／Ｆ部１１０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介してコンピュータ１１００に接続されても良い。
データＩ／Ｆ部１１０９は、コンピュータ１１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部１１０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部１１０９は、コンピュータ１１００の外部に設けられても良い。その場合、データＩ／Ｆ部１１０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ１１００へと接続される。
通信Ｉ／Ｆ部１１１１は、コンピュータ１１００の外部の装置、例えば撮影装置（ビデオカメラや監視カメラ、デジタルカメラ）等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ部１１１１はコンピュータ１１００の外部に設けられてもよい。その場合、通信Ｉ／Ｆ部１１１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ１１００に接続される。
表示装置１１１３は、例えば照合部５０９による照合結果等を表示するためのデバイスである。表示装置１１１３による照合結果の表示方法は種々考えられるが、例えば、同一と判定された物体が写る画像を並べて表示したり、追跡対象の物体と同一と判定された物体をグラフィックで囲んで目立たせて表示したりすることが考えられる。表示装置１１１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等があげられる。表示装置１１１３は、コンピュータ１１００の外部に設けられても良い。その場合、表示装置１１１３は、例えばディスプレイケーブル等を介してコンピュータ１１００に接続される。
（１．４ 本実施形態に係る効果）
以上説明したように、本実施形態に係る画像処理システム１００は、対象物体の視覚特徴量を、様々な環境で撮影されたサンプル画像から学習した、カテゴリ毎の出現頻度（尤度）として表現する。これにより、非線形な撮影環境に対して頑健な色分布情報を生成することが可能となる。
また、本実施形態に係る画像処理システム５００は、画像処理システム１００により生成された尤度分布情報５０８を用いて特徴量を生成した上で同一性の判定を行う。このとき、尤度分布情報５０８を用いた特徴量に、撮影環境の違いに応じた学習結果が反映されているため、撮影環境の違いを類似度判定方法において考慮する場合よりも計算量を削減することが可能となる。
また、画像処理システム５００は、予め学習したカテゴリ毎の線形重みを考慮して類似度を計算するため、この点でも、計算処理コストの削減が可能となる。
つまり、本実施形態に係る画像処理システム１００及び５００は、それぞれ、好適に画像の特徴量を処理することができる。
（２ 第２実施形態）
以下、第２実施形態を、図１２及び図１３を参照しながら説明する。図１２及び図１３は、それぞれ画像の特徴量を処理する画像処理システム１２００及び１３００の機能構成を示すブロック図である。図１２に示すように、画像処理システム１２００は、入力部１２１０及び生成部１２２０を含む。
入力部１２１０は、複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受ける。
生成部１２２０は、分類が対応付けられた複数のサンプル画像中の各物体に係る領域に含まれる各画素の特徴量に基づき、各画素が取りうる特徴量の各値と、各値が前記複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を生成する。
また、図１３に示すように、画像処理システム１３００は、入力部１３１０、格納部１３２０、及び生成部１３３０を含む。
入力部１３１０は、画像の入力を受ける。
格納部１３２０は、画像の各画素が取りうる特徴量の各値と、各値が複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を格納する。
生成部１３３０は、画像内の物体領域の各画素の特徴量の値に対して、尤度分布情報を参照することにより、当該物体領域の複数の分類に係る尤度分布を示す分類尤度情報を生成する。
このように実装することで、本実施形態に係る画像処理システム１２００及び１３００によれば、好適に画像の特徴量を処理することができる。
（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
（付記１）
複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受ける入力手段と、分類が対応付けられた前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は画素ブロックの特徴量に基づき、各画素又は画素ブロックが取りうる特徴量の各値と、各値が前記複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を生成する手段とを備える、画像の特徴量に関する処理システム。
（付記２）
前記特徴量は色を表現するものを含み、前記分類は、色バリエーションの服である、付記１記載の処理システム。
（付記３）
画像の入力を受ける入力手段と、画像の各画素又は画素ブロックが取りうる特徴量の各値と、各値が複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を格納する手段と、画像内の物体領域の各画素又は画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、当該物体領域の前記複数の分類に係る尤度分布を示す分類尤度情報を生成する手段とを備える、画像の特徴量に関する処理システム。
（付記４）
前記入力手段により入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別する判別手段を更に備える、付記３記載の処理システム。
（付記５）
前記判別手段は、各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮する、付記４記載の処理システム。
（付記６）
分類毎の前記重みを、画像を撮影する撮影装置のペアに対して算出する手段を更に備える、付記５記載の処理システム。
（付記７）
前記特徴量は、色を表現するものを含む、付記３乃至付記６のいずれか１項記載の処理システム。
（付記８）
前記特徴量は、模様に関するものを含む、付記３乃至付記７のいずれか１項記載の処理システム。
（付記９）
複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受けるステップと、分類が対応付けられた前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は画素ブロックの特徴量に基づき、各画素又は画素ブロックが取りうる特徴量の各値と、各値が前記複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を生成するステップとをコンピュータが行なう、画像の特徴量に関する処理方法。
（付記１０）
前記特徴量は色を表現するものを含み、前記分類は、色バリエーションの服である、付記９記載の処理方法。
（付記１１）
画像の入力を受けるステップと、画像の各画素又は画素ブロックが取りうる特徴量の各値と、各値が複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を格納するステップと、画像内の物体領域の各画素又は画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、当該物体領域の前記複数の分類に係る尤度分布を示す分類尤度情報を生成するステップとをコンピュータが行なう、画像の特徴量に関する処理方法。
（付記１２）
入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別するステップを更に備える、付記１１記載の処理方法。
（付記１３）
各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮する、付記１２記載の処理方法。
（付記１４）
分類毎の前記重みを、画像を撮影する撮影装置のペアに対して算出するステップを更に備える、付記１３記載の処理方法。
（付記１５）
前記特徴量は、色を表現するものを含む、付記１１乃至付記１４のいずれか１項記載の処理方法。
（付記１６）
前記特徴量は、模様に関するものを含む、付記１１乃至付記１５のいずれか１項記載の処理方法。
（付記１７）
複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受ける処理と、分類が対応付けられた前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は画素ブロックの特徴量に基づき、各画素又は画素ブロックが取りうる特徴量の各値と、各値が前記複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を生成する処理とをコンピュータに実行させる、画像の特徴量に関するプログラム。
（付記１８）
前記特徴量は色を表現するものを含み、前記分類は、色バリエーションの服である、付記１７記載のプログラム。
（付記１９）
画像の入力を受ける処理と、画像の各画素又は画素ブロックが取りうる特徴量の各値と、各値が複数の分類のそれぞれに属する尤度とが対応付けられた尤度分布情報を格納する処理と、画像内の物体領域の各画素又は画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、当該物体領域の前記複数の分類に係る尤度分布を示す分類尤度情報を生成する処理とをコンピュータに実行させる、画像の特徴量に関するプログラム。
（付記２０）
入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別する処理を更にコンピュータに実行させる、付記１９記載のプログラム。
（付記２１）
各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮する、付記２０記載のプログラム。
（付記２２）
分類毎の前記重みを、画像を撮影する撮影装置のペアに対して算出する処理を更にコンピュータに実行させる、付記２１記載のプログラム。
（付記２３）
前記特徴量は、色を表現するものを含む、付記１９乃至付記２２のいずれか１項記載のプログラム。
（付記２４）
前記特徴量は、模様に関するものを含む、付記１９乃至付記２３のいずれか１項記載のプログラム。
この出願は、２０１３年１０月３０日に出願された日本出願特願２０１３−２２５９１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ ：カテゴリ
２ ：カテゴリ
３ ：カテゴリ
５ ：カテゴリ
１００ ：画像処理システム
１０１ ：画像入力部
１０３ ：画素特徴量抽出部
１０５ ：尤度分布算出部
１０７ ：データベース
１０８ ：尤度分布情報
５００ ：画像処理システム
５０１ ：画像入力部
５０３ ：画素特徴量抽出部
５０５ ：分類尤度情報生成部
５０７ ：データベース
５０８ ：尤度分布情報
５０９ ：照合部
５１１ ：データベース
５１２ ：分類重み情報
５１３ ：学習用情報入力部
５１５ ：分類重み情報生成部
１１００ ：コンピュータ
１１０１ ：プロセッサ
１１０３ ：メモリ
１１０５ ：記憶装置
１１０７ ：入力インタフェース部
１１０９ ：データインタフェース部
１１１１ ：通信インタフェースＦ部
１１１３ ：表示装置
１２００ ：画像処理システム
１２１０ ：入力部
１２２０ ：生成部
１３００ ：画像処理システム
１３１０ ：入力部
１３２０ ：格納部
１３３０ ：生成部

Claims (9)

  1. 複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受ける入力手段と、
    前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は各画素ブロックの特徴量の各値と、前記各値が前記複数の分類のそれぞれに属する尤度と、が対応付けられた尤度分布情報を生成する手段と、
    前記入力手段により入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別する判別手段と、
    を備え、
    前記判別手段は、各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮し、
    前記分類尤度情報は、異なる撮影装置のペアまたは異なる撮影環境下において、同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペア、および、非同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペアを含み、
    分類毎の前記重みを、画像を撮影する撮影装置のペアに対して算出する手段を更に備える、
    画像の特徴量に関する処理システム。
  2. 前記特徴量は色を表現するものを含み、
    前記分類は、色バリエーションの服である、
    請求項１記載の処理システム。
  3. 画像の入力を受ける入力手段と、
    画像の各画素又は各画素ブロックの特徴量の各値と、前記各値が複数の分類のそれぞれに属する尤度と、が対応付けられた尤度分布情報を格納する手段と、
    画像内の物体領域の各画素又は各画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、前記物体領域における前記分類の構成比率を示す分類尤度情報を生成する手段と
    前記入力手段により入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別する判別手段と、
    を備え、
    前記判別手段は、各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮し、
    前記分類尤度情報は、異なる撮影装置のペアまたは異なる撮影環境下において、同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペア、および、非同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペアを含み、
    分類毎の前記重みを、前記分類ヒストグラムのペアを用いて算出する
    画像の特徴量に関する処理システム。
  4. 前記特徴量は、色を表現するものを含む、
    請求項３記載の処理システム。
  5. 前記特徴量は、模様に関するものを含む、
    請求項３または４記載の処理システム。
  6. 複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受け、
    前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は各画素ブロックの特徴量の各値と、前記各値が前記複数の分類のそれぞれに属する尤度と、が対応付けられた尤度分布情報を生成することと、
    入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別することと、
    を含み、
    各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮し、
    前記分類尤度情報は、異なる撮影装置のペアまたは異なる撮影環境下において、同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペア、および、非同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペアを含み、
    分類毎の前記重みを、前記分類ヒストグラムのペアを用いて算出する
    画像の特徴量に関する処理方法。
  7. 画像の入力を受け、
    画像の各画素又は各画素ブロックの特徴量の各値と、前記各値が複数の分類のそれぞれに属する尤度と、が対応付けられた尤度分布情報を格納し、
    画像内の物体領域の各画素又は各画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、前記物体領域における前記分類の構成比率を示す分類尤度情報を生成することと、
    入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別することと、
    各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮することと、
    を含み、
    前記分類尤度情報は、異なる撮影装置のペアまたは異なる撮影環境下において、同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペア、および、非同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペアを含み、
    分類毎の前記重みを、前記分類ヒストグラムのペアを用いて算出する
    画像の特徴量に関する処理方法。
  8. 複数の分類に対して、分類が対応付けられる物体がそれぞれ異なる条件下で撮影された複数のサンプル画像の入力を受ける処理と、
    前記複数のサンプル画像中の各物体に係る領域に含まれる各画素又は各画素ブロックの特徴量の各値と、前記各値が前記複数の分類のそれぞれに属する尤度と、が対応付けられた尤度分布情報を生成する処理と、
    入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別する処理と、
    各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮する処理と、
    をコンピュータに実行させ、
    前記分類尤度情報は、異なる撮影装置のペアまたは異なる撮影環境下において、同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペア、および、非同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペアを含み、
    分類毎の前記重みを、前記分類ヒストグラムのペアを用いて算出する処理
    をコンピュータに実行させる、画像の特徴量に関するプログラム。
  9. 画像の入力を受ける処理と、
    画像の各画素又は各画素ブロックの特徴量の各値と、前記各値が複数の分類のそれぞれに属する尤度と、が対応付けられた尤度分布情報を格納する処理と、
    画像内の物体領域の各画素又は各画素ブロックの特徴量の値に対して、前記尤度分布情報を参照することにより、前記物体領域における前記分類の構成比率を示す分類尤度情報を生成する処理と、
    入力される１以上の画像内の各物体領域に対してそれぞれ生成される分類尤度情報に基づき、各物体領域が同一物体に係るものであるか否かを判別する処理と、
    各物体領域が同一物体に係るものであるか否かを判別する際に、各分類に係る分類尤度情報の値に対して、それぞれ重みを考慮する処理と、
    をコンピュータに実行させ、
    前記分類尤度情報は、異なる撮影装置のペアまたは異なる撮影環境下において、同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペア、および、非同一物体である物体領域が撮影されることによって生成された分類ヒストグラムのペアを含み、
    分類毎の前記重みを、前記分類ヒストグラムのペアを用いて算出する処理
    をコンピュータに実行させる、画像の特徴量に関するプログラム。
JP2015544890A 2013-10-30 2014-10-02 画像の特徴量に関する処理システム、処理方法及びプログラム Active JP6547626B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013225917 2013-10-30
JP2013225917 2013-10-30
PCT/JP2014/076380 WO2015064292A1 (ja) 2013-10-30 2014-10-02 画像の特徴量に関する処理システム、処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2015064292A1 JPWO2015064292A1 (ja) 2017-03-09
JP6547626B2 true JP6547626B2 (ja) 2019-07-24

Family

ID=53003905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015544890A Active JP6547626B2 (ja) 2013-10-30 2014-10-02 画像の特徴量に関する処理システム、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10140555B2 (ja)
JP (1) JP6547626B2 (ja)
WO (1) WO2015064292A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154630A1 (ja) * 2016-03-09 2017-09-14 日本電気株式会社 画像処理装置、画像処理方法および記録媒体
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム
US10755419B2 (en) * 2017-01-30 2020-08-25 Nec Corporation Moving object detection apparatus, moving object detection method and program
JP2019109709A (ja) * 2017-12-18 2019-07-04 株式会社東芝 画像処理装置、画像処理方法およびプログラム
WO2023152898A1 (ja) * 2022-02-10 2023-08-17 日本電気株式会社 学習装置、照合装置、学習方法、照合方法及びコンピュータ可読媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165965A (ja) * 2003-12-05 2005-06-23 Canon Inc 画像認識システムおよび画像認識方法
JP2005250692A (ja) 2004-03-02 2005-09-15 Softopia Japan Foundation 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
JP4418829B2 (ja) 2006-09-28 2010-02-24 シャープ株式会社 色補正方法および画像処理装置
JP5022956B2 (ja) 2008-03-19 2012-09-12 株式会社東芝 画像処理装置、画像処理方法および画像処理システム
JP2010068120A (ja) 2008-09-09 2010-03-25 Toshiba Corp 監視システム
JP5085621B2 (ja) 2009-09-10 2012-11-28 株式会社東芝 画像認識処理に適用する特徴情報選択装置、画像認識処理装置、監視システム、方法、及びプログラム
JP2011237907A (ja) 2010-05-07 2011-11-24 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP5771413B2 (ja) 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
BR112013025032A2 (pt) 2011-03-28 2017-01-10 Nec Corp dispositivo de rastreamento de pessoa, método de rastreamento de pessoa, e meio legível por computador não transitório que armazena programa de rastreamento de pessoa
US20120301014A1 (en) * 2011-05-27 2012-11-29 Microsoft Corporation Learning to rank local interest points
JP5836779B2 (ja) * 2011-12-02 2015-12-24 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置およびプログラム

Also Published As

Publication number Publication date
US20160253581A1 (en) 2016-09-01
US10140555B2 (en) 2018-11-27
JPWO2015064292A1 (ja) 2017-03-09
WO2015064292A1 (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
US20220138490A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
US8792722B2 (en) Hand gesture detection
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
US8750573B2 (en) Hand gesture detection
JP6547626B2 (ja) 画像の特徴量に関する処理システム、処理方法及びプログラム
US20170032222A1 (en) Cross-trained convolutional neural networks using multimodal images
CN108292362A (zh) 用于光标控制的手势识别
KR20200130440A (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스(method for identifying an object within an image and mobile device for executing the method)
JP5361664B2 (ja) 画像処理装置、画像処理方法
JP7142420B2 (ja) 画像処理装置、学習方法、学習済モデル、画像処理方法
Vanetti et al. Gas meter reading from real world images using a multi-net system
CN107025442B (zh) 一种基于颜色和深度信息的多模态融合手势识别方法
US11151583B2 (en) Shoe authentication device and authentication process
JP2014041477A (ja) 画像認識装置及び画像認識方法
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
Bao et al. Context modeling combined with motion analysis for moving ship detection in port surveillance
JP5349622B2 (ja) パターン識別装置
JP6384167B2 (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
Hassen et al. Multi-shot person re-identification approach based key frame selection
JP4966946B2 (ja) 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム
Jothilakshmi et al. Automatic Machine Learning Forgery Detection Based On SVM Classifier
JP2021174442A (ja) 個体識別システム
JP2021174439A (ja) 個体識別システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190313

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R150 Certificate of patent or registration of utility model

Ref document number: 6547626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150