JP2019505866A - 通行人の頭部識別方法及びシステム - Google Patents

通行人の頭部識別方法及びシステム Download PDF

Info

Publication number
JP2019505866A
JP2019505866A JP2018519925A JP2018519925A JP2019505866A JP 2019505866 A JP2019505866 A JP 2019505866A JP 2018519925 A JP2018519925 A JP 2018519925A JP 2018519925 A JP2018519925 A JP 2018519925A JP 2019505866 A JP2019505866 A JP 2019505866A
Authority
JP
Japan
Prior art keywords
pixel
point
region
value
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018519925A
Other languages
English (en)
Other versions
JP6549797B2 (ja
Inventor
チャン，ヨン
リウ，レイ
チェン，ツェホン
チャオ，ドンニン
リ，ヤンシャン
Original Assignee
シェンチェン ユニバーシティー
シェンチェン ユニバーシティー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シェンチェン ユニバーシティー, シェンチェン ユニバーシティー filed Critical シェンチェン ユニバーシティー
Publication of JP2019505866A publication Critical patent/JP2019505866A/ja
Application granted granted Critical
Publication of JP6549797B2 publication Critical patent/JP6549797B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、画像処理の技術分野に適用し、通行人の頭部識別方法及びシステムを提供している。その通行人の頭部識別方法は、目標領域のデプス画像を採集するとともに、デプス画像から前景画像を抽出するステップＳ１と、前景画像から全ての興味領域であるＲＯＩ領域を抽出するステップＳ２と、ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築することで現在の画素点が頭部領域内に属する画素点である確率を算出し、ＲＯＩ領域毎における画素点それぞれの確率値を得て、ＲＯＩ領域毎における画素点それぞれの確率値とプリセットした第１の閾値とを比較し、第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部であるステップＳ３とを含む。本発明の提供した識別方法は、頭部識別の正確率と効率を向上している。【選択図】 図１

Description

本発明は、画像処理の技術分野に属し、特に、通行人の頭部識別方法及びシステムに関する。
コンピュータの視覚技術の急速な進歩につれてスマートビデオモニタリングの産業チェーン全体も高速に発展され、これに伴って生まれる巨大なビジネスチャンスは、ますます多くの企業や研究機関を、この業界のフロンティア技術の研究・開発に投入するように呼び起こしている。この背景の下で、画像処理やパターン識別に基づく通行人の検出技術が次第に発展して行き、かかる技術はスマートビデオモニタリングの分野で次第にとても重要な地位を占拠していく。
従来の画像処理に基づく通行人の頭部識別方法は、一般に、人のいくつかの体特徴、例えば髪の毛の色、頭部のアウトライン又は頭・肩部のモデル等を識別することによって実現したが、上記特徴はいずれも代表的なものではない。例えば、多少染めたことがある髪の毛の色はよく識別することができなく、髪の毛の色も光の照射等の要因によって変化し、且つ、着た衣服が髪の毛の色に近接し、或いは帽子を被った等の場合にも識別を邪魔して、識別の正確率を低下させる。カメラを用いて人の頭部のアウトラインを抽出する際に、頭部のアウトラインが通行人の動きに応じて変化して、一貫性を有しない。頭・肩部のモデルが採用したのはカメラで斜め下に撮影した様子であり、これは遮ってしまうとの問題があり、正確に識別することができない。
本発明が解決しようとする技術問題は、画像処理の方式によってスマート的で効率よく人の頭部を識別するための通行人の頭部識別方法及びシステムを提供することである。
本発明は、
デプスカメラが垂直に地面を狙った時に目標領域から採集したデプス画像を取得し、前記デプス画像から前景画像を抽出するステップＳ１と、
前記前景画像から興味領域であるＲＯＩ領域として全ての頭部の潜在領域を抽出するステップＳ２と、
ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築することによって現在の画素点が頭部領域内に属する画素点である確率を算出し、ＲＯＩ領域毎における画素点それぞれの確率値を得て、ＲＯＩ領域毎における画素点それぞれの確率値とプリセットした第１の閾値とを比較し、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部であるステップＳ３とを含む通行人の頭部識別方法を提供している。
さらに、前記ステップＳ１は、具体的に、デプスカメラを用いて垂直に地面を狙い、目標領域のデプス画像を採集して、デプス画像における座標が（ｘ，ｙ）である点の画素値ｆ（ｘ，ｙ）を取得し、前記画素値ｆ（ｘ，ｙ）と予めに背景モデリングすることによって得られた座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）とを比較するとともに、公式と合わせて前景画像における座標が（ｘ，ｙ）である点の画素値ｍａｓｋ（ｘ，ｙ）を取得し、
前記公式は、

Figure 2019505866
であり、
その中、Ｔｂｇは、背景モデルと前景画像との区分閾値であり、
上記した予めに背景モデリングすることによって座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）を得る過程は、具体的に、若干枚の前記目標領域の背景画像を採集し、前記若干枚の背景画像における座標が（ｘ，ｙ）である点の画素値を平均化することで得られ、
前記座標が（ｘ，ｙ）である点の画素値は、該点の目標領域における対応点から前記デプスカメラまでの相対的距離である。
さらに、前記ステップＳ２は、具体的に、
前記前景画像における画素点Ｐそれぞれを中心点とし、公式に従ってその８隣領域における画素点の画素値の平均値ｍを算出するステップＳ２１と、
前記公式は、
Figure 2019505866
であり、
その中、ｐ(ｋ)は、該隣領域内の画素点の画素値であり、
該隣領域の平均値ｍとその中心点画素値
Figure 2019505866
との差分の絶対値ｄがプリセットした第２の閾値Ｔｍよりも小さいと、偏差（Ｖａｒｉａｎｃｅ）公式に従って該隣領域内の偏差ｖを算出するステップＳ２２と、
前記偏差公式は、
Figure 2019505866
であり、
偏差ｖがプリセットした第３の閾値Ｔｖよりも小さいと、該隣領域がＲＯＩ領域に属すると判定するステップＳ２３とを含んでいる。
さらに、前記ステップＳ３は、具体的に、
ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築し、前記同心円の内円半径はｒであり、外円半径はｎ×ｒであるステップＳ３１と、
その中、
Figure 2019505866
であり、Ｒは、統計して得られる人の頭部領域の中心点からエッジまでの平均画素点数であり、
Figure 2019505866
であり、
内円内で取得した画素点の画素値を順位付けして、内円領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＩｎｎｅｒを記録し、前記配列ＡｒｒａｙＩｎｎｅｒの長さはｌｅｎｇｔｈＩｎｎｅｒであり、その中、画素値の最も大きい点の画素値はＮｉｎｎｅｒＭａｘであり、また、内外円との間の領域内から取得した画素点の画素値を順位付けして、内外円との間の領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＯｕｔｅｒを記録し、前記配列ＡｒｒａｙＯｕｔｅｒの長さはｌｅｎｇｔｈＯｕｔｅｒであり、その中、画素値の最も小さい点の画素値はＮｏｕｔｅｒＭｉｎであるステップＳ３２と、
上記取得した画素点は、各々領域内で均一分布を満たし、且つ、内円領域内から取得した画素点の数ｌｅｎｇｔｈＩｎｎｅｒは内外円との間の領域から取得した画素点の数ｌｅｎｇｔｈＯｕｔｅｒと同等であり、
配列ＡｒｒａｙＯｕｔｅｒの中でＮｉｎｎｅｒＭａｘよりも小さい点の数をＮｕｍ_１として算出し、配列ＡｒｒａｙＩｎｎｅｒの中でＮｏｕｔｅｒＭｉｎよりも大きい点の数をＮｕｍ_２として算出し、公式に従って現在の画素点が頭部領域内に属する画素点である確率Ｌを算出するとともに、確率値を記録するステップＳ３３と、
前記公式は、
Ｌ=（ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ-Ｎｕｍ_１- Ｎｕｍ_２）/(ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ)であり、
同心円の内円半径をｒｎｅwに増えるステップＳ３４であって、ｒｎｅw=ｒ+ｒ×αであり、その中αは、同心円の内円半径ｒの増える速度を表し、
Figure 2019505866
であり、その時、外円半径はｎ×ｒｎｅwであり、ｒｎｅw≦２Ｒである時、ｒ= ｒｎｅwとし、上記ステップＳ３２〜Ｓ３４を繰り返してＲＯＩ領域における画素点それぞれが頭部領域内に属する画素点である確率を算出するとともに、確率値を記録し、記録した画素点それぞれの最大確率を該画素点が頭部領域内に属する画素点である最終確率とし、ｒｎｅw＞２Ｒである時、ステップＳ３５へ移行するステップＳ３４と、
画素点それぞれの最終確率と前記第１の閾値とを比較して、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部であるステップＳ３５とを含んでいる。
本発明は、さらに、
デプスカメラが垂直に地面を狙った時に目標領域から採集したデプス画像を取得し、前記デプス画像から前景画像を抽出するための前景画像抽出モジュールと、
前記前景画像から興味領域であるＲＯＩ領域として全ての頭部の潜在領域を抽出するためのＲＯＩ領域抽出モジュールと、
同心円を構築することによって人の頭部領域を識別するための、具体的に、ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築することによって現在の画素点が頭部領域内に属する画素点である確率を算出し、ＲＯＩ領域毎における画素点それぞれの確率値を得て、ＲＯＩ領域毎における画素点それぞれの確率値とプリセットした第１の閾値とを比較し、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部である頭部識別モジュールとを備える通行人の頭部識別システムを提供している。
さらに、前記前景画像抽出モジュールは、具体的に、デプスカメラを用いて垂直に地面を狙い、目標領域のデプス画像を採集して、デプス画像における座標が（ｘ，ｙ）である点の画素値ｆ（ｘ，ｙ）を取得し、画素値ｆ（ｘ，ｙ）と予めに背景モデリングすることによって得られた座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）とを比較するとともに、公式と合わせて前景画像における座標が（ｘ，ｙ）である点の画素値ｍａｓｋ（ｘ，ｙ）を取得するためのものであり、
前記公式は、
Figure 2019505866
であり、
その中、Ｔｂｇは、背景モデルと前景画像との区分閾値であり、
上記した予めに背景モデリングすることによって座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）を得る過程は、具体的に、若干枚の前記目標領域の背景画像を採集し、前記若干枚の背景画像における座標が（ｘ，ｙ）である点の画素値を平均化することで得られ、
前記座標が（ｘ，ｙ）である点の画素値は、該点の目標領域における対応点から前記デプスカメラまでの相対的距離である。
さらに、前記ＲＯＩ領域抽出モジュールは、具体的に、
前記前景画像における画素点Ｐそれぞれを中心点とし、公式に従ってその８隣領域における画素点の画素値の平均値ｍを算出するための平均値算出サブモジュールと、
前記公式は、
Figure 2019505866
であり、
その中、ｐ(ｋ)は、該隣領域内の画素点の画素値であり、
該隣領域の平均値ｍとその中心点画素値
Figure 2019505866
との差分の絶対値ｄがプリセットした第２の閾値Ｔｍよりも小さい時、偏差公式に従って該隣領域内の偏差ｖを算出するための偏差算出サブモジュールと、
前記偏差公式は、
Figure 2019505866
であり、
偏差ｖがプリセットした第３の閾値Ｔｖよりも小さい時、該隣領域がＲＯＩ領域に属すると判定するためのＲＯＩ領域判定サブモジュールとを備えている。
さらに、前記頭部識別モジュールは、具体的に、
ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築するための、前記同心円の内円半径はｒであり、外円半径はｎ×ｒである同心円構築サブモジュールと、
その中、
Figure 2019505866
であり、Ｒは、統計して得られる人の頭部領域の中心点からエッジまでの平均画素点数であり、
Figure 2019505866
であり、
内円内で取得した画素点の画素値を順位付けするためのものであり、内円領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＩｎｎｅｒを記録し、前記配列ＡｒｒａｙＩｎｎｅｒの長さはｌｅｎｇｔｈＩｎｎｅｒであり、その中、画素値の最も大きい点の画素値はＮｉｎｎｅｒＭａｘであり、また、内外円との間の領域内から取得した画素点の画素値を順位付けするためのものであり、内外円との間の領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＯｕｔｅｒを記録し、前記配列ＡｒｒａｙＯｕｔｅｒの長さはｌｅｎｇｔｈＯｕｔｅｒであり、その中、画素値の最も小さい点の画素値はＮｏｕｔｅｒＭｉｎである画素値順位付けサブモジュールと、
上記取得した画素点は、各々領域内で均一分布を満たし、且つ、内円領域内から取得した画素点の数ｌｅｎｇｔｈＩｎｎｅｒは内外円との間の領域から取得した画素点の数ｌｅｎｇｔｈＯｕｔｅｒと同等であり、
配列ＡｒｒａｙＯｕｔｅｒの中でＮｉｎｎｅｒＭａｘよりも小さい点の数をＮｕｍ_１として算出し、配列ＡｒｒａｙＩｎｎｅｒの中でＮｏｕｔｅｒＭｉｎよりも大きい点の数をＮｕｍ_２として算出し、公式に従って現在の画素点が頭部領域内に属する画素点である確率Ｌを算出するとともに、確率値を記録するための第１の確率値確定サブモジュールと、
前記公式は、
Ｌ=（ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ-Ｎｕｍ_１- Ｎｕｍ_２）/(ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ)であり、
同心円の内円半径をｒｎｅwに増えるための第２の確率値確定サブモジュールであって、ｒｎｅw=ｒ+ｒ×αであり、その中αは、同心円の内円半径ｒの増える速度を表し、
Figure 2019505866
であり、その時、外円半径はｎ×ｒｎｅwであり、ｒｎｅw≦２Ｒである時、ｒ= ｒｎｅwとし、前記画素値順位付けサブモジュールに戻ってＲＯＩ領域における画素点それぞれが頭部領域内に属する画素点である確率を算出するとともに、確率値を記録し、記録した画素点それぞれの最大確率を該画素点が頭部領域内に属する画素点である最終確率とし、ｒｎｅw＞２Ｒである時、頭部識別サブモジュールに入る第２の確率値確定サブモジュールと、
画素点それぞれの最終確率と前記第１の閾値とを比較して、前記第１の閾値よりも低い画素点を濾過除去するためのものであり、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部である頭部識別サブモジュールとを備えている。
本発明は、従来技術と比べて、次のような有益な効果を有している。即ち、本発明の提供する通行人の頭部識別方法及びシステムは、一方、頭部の識別を行う前に、先に前景画像からＲＯＩ領域を画定して頭部の潜在領域をロックし、効果的にアルゴリズムの計算量を低減させ、識別の速度を向上し、他方、人体で頭部領域しか同心円の属性を有しない特徴と合わせて、同心円を利用して頭部領域を計測し、頭部識別の正確率を向上するとともに、衣服の色や、頭部の色等が頭部識別に対する影響を効果的に避けて、アルゴリズムの耐干渉能力を向上させている。
本発明の実施例が提供する通行人の頭部識別方法の流れ模式図である。 本発明の実施例が提供する通行人の頭部識別システムのモジュール模式図である。 本発明の実施例が提供する人流量統計方法の流れ模式図である。 本発明の実施例が提供する人流量統計システムのモジュール模式図である。
以下、本発明の目的、技術手段及び利点をもっと明瞭化するために、図面及び実施例を組合わせて、本発明についてさらに詳しく説明する。ここで記述した具体的な実施例は本発明を解釈するためのものに過ぎず、本発明を限定するためのものではないことを理解できるであろう。
本発明の主に実現する構想は、デプスカメラを用いて目標領域のデプス画像を採集し、背景モデリングすることによって、前記デプス画像から前景画像を抽出し、頭部領域が比較的に平坦である特徴を利用して、前記前景画像からＲＯＩ領域として全ての頭部の潜在領域を抽出し、ＲＯＩ領域毎にデプスカメラの距離（即ち、画素値）に対する頭部領域が肩及び体の他の領域よりも小さいという特徴を利用して、同心円を構築することによって人の頭部を識別し、具体的に、頭部領域内の画素点を円心として同心円を構築し、内円内の画素点の画素値が普遍的に内外円との間の画素点の画素値よりも小さいという特徴と合わせて、ＲＯＩ領域における点それぞれを円心として同心円を構築し、該点が頭部領域に属する確率を算出するとともに、前記確率とプリセットした第１の閾値とを比較して、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部である。
以下、具体的にこのような通行人の頭部識別方法を紹介する。図１に示すように、
デプスカメラが垂直に地面を狙った時に目標領域から採集したデプス画像を取得し、前記デプス画像から前景画像を抽出するステップＳ１を含んでいる。
具体的に、本発明で目標領域を採集するために用いたカメラはデプスカメラであり、その画像形成の原理は、目標へ光パルスを連続的に発信し、そしてセンサーを利用して目標から戻る光を受信することによって、光パルスの往復時間を検知することにより目標体の距離を得ることであるため、デプスカメラの形成した画像は、１枚の相対的距離の画像である。即ち、画像における画素点それぞれの値は、目標の前記デプスカメラからの相対的距離である。通行人同士の遮りを避けるために、デプスカメラの撮影角度は垂直に地面を狙うようにし、この角度は通行人同士の遮りを効果的に低減できる。
前記ステップＳ１は、具体的に、デプスカメラを用いて垂直に地面を狙い、目標領域のデプス画像を採集して、デプス画像における座標が（ｘ，ｙ）である点の画素値ｆ（ｘ，ｙ）を取得し、画素値ｆ（ｘ，ｙ）と予めに背景モデリングすることによって得られた座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）とを比較するとともに、公式と合わせて前景画像における座標が（ｘ，ｙ）である点の画素値ｍａｓｋ（ｘ，ｙ）を取得する。
前記公式は、
Figure 2019505866
であり、
その中、Ｔｂｇは、背景モデルと前景画像との区分閾値である。即ち、ｍａｓｋ（ｘ，ｙ）において背景画像に属する画素点値を０とし、ｍａｓｋ（ｘ，ｙ）において画素値が０ではない点が前景画像における点となる。
具体的に、上記した予めに背景モデリングすることによって座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）を得る過程は、具体的に、若干枚の前記目標領域の背景画像を採集し、前記若干枚の背景画像における座標が（ｘ，ｙ）である点の画素値を平均化することで、前記目標領域に直面する背景モデルｂｇ（ｘ，ｙ）が得られ、（ｘ，ｙ）は画像中の座標を表し、前記座標が（ｘ，ｙ）である点の画素値は、該点の目標領域における対応点から前記デプスカメラまでの相対的距離である。
具体的に、上記目標領域は、デプスカメラの採集可能な範囲内の被検出領域であり、前記目標領域におけるある点から前記デプスカメラまでの相対的距離を画像における該点の画素値としている。
また、前記前景画像から興味領域であるＲＯＩ領域として全ての頭部の潜在領域を抽出するステップＳ２を含む。
具体的に、頭部領域が比較的に平坦であるため、デプス画像において頭部領域の画素点値が比較的に近接している。即ち、領域の偏差が小さい。つまり、画像上で画素値の平坦な領域を潜在する頭部領域を表すＲＯＩ領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ、興味領域）に画定することによって、後期の頭部識別はＲＯＩ領域上で行うことができ、ＲＯＩ領域の確定は後期頭部判別の負荷を低減している。
前記ステップＳ２は、具体的に、
前記前景画像における画素点Ｐそれぞれを中心点とし、公式に従ってその８隣領域における画素点の画素値の平均値ｍを算出するステップＳ２１を含んでいる。
具体的に、前記８隣領域は、１個の画素点を中心点とし、その隣の８個の画素点から当該中心点の８隣領域を構成している。
前記公式は、
Figure 2019505866
であり、
その中、ｐ(ｋ)は、該隣領域内の画素点の画素値である。
さらに、該隣領域の平均値ｍとその中心点画素値
Figure 2019505866
との差分の絶対値ｄがプリセットした第２の閾値Ｔｍよりも小さいと、偏差公式に従って該隣領域内の偏差ｖを算出するステップＳ２２を含んでいる。
即ち、
Figure 2019505866
であり、
前記偏差公式は、
Figure 2019505866
である。
さらに、偏差ｖがプリセットした第３の閾値Ｔｖよりも小さいと、該隣領域がＲＯＩ領域に属すると判定するステップＳ２３を含んでいる。
具体的に、前景画像における画素点Ｐそれぞれについて上記判定を行うと、前景画像における全てのＲＯＩ領域を抽出することができる。
また、ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築することによって現在の画素点が頭部領域内に属する画素点である確率を算出し、ＲＯＩ領域毎における画素点それぞれの確率値を得て、ＲＯＩ領域毎における画素点それぞれの確率値とプリセットした第１の閾値とを比較し、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部であるステップＳ３を含んでいる。
事実上、通行人の姿勢が如何なっても頭部領域はいつも体の最高領域であり、デプスカメラの画像形成原理に基づいて、頭部領域の画素値が体の他の領域よりも小さいため、この特徴と合わせて、前景画像上に同心円を構築する方式で実現することができる。
前記ステップＳ３は、具体的に、
ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築し、前記同心円の内円半径はｒであり、外円半径はｎ×ｒであるステップＳ３１を含んでいる。
その中、
Figure 2019505866
であり、Ｒは、統計して得られる人の頭部領域の中心点からエッジまでの平均画素点数であり、
Figure 2019505866
である。
具体的に、統計することで人の頭部領域の中心点からエッジまでの平均画素点数を得る方法は、デプスカメラを用いて垂直に大量の通行人が撮影領域を通る画像を撮影し、大量の通行人の画像から通行人の頭部領域の半径、即ち、頭部領域の中心からエッジまでの画素点数（この画素点数を頭部領域の半径という）を統計し、統計して得た頭部領域の半径を平均化して、平均頭部領域半径Ｒを取得し、上記平均頭部領域半径Ｒの半分を同心円内円の半径とし、即ち内円半径ｒは
Figure 2019505866
であり、外円の半径は内円半径のｎ倍、即ち外円半径はｎ×ｒであり、一定の範囲で、ｎが大きいほど、判断基準を厳しくさせている。
また、内円内で取得した画素点の画素値を順位付けして、内円領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＩｎｎｅｒを記録し、前記配列ＡｒｒａｙＩｎｎｅｒの長さはｌｅｎｇｔｈＩｎｎｅｒであり、その中、画素値の最も大きい点の画素値はＮｉｎｎｅｒＭａｘであり、また、内外円との間の領域内から取得した画素点の画素値を順位付けして、内外円との間の領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＯｕｔｅｒを記録し、前記配列ＡｒｒａｙＯｕｔｅｒの長さはｌｅｎｇｔｈＯｕｔｅｒであり、その中、画素値の最も小さい点の画素値はＮｏｕｔｅｒＭｉｎであるステップＳ３２を含んでいる。
上記取得した画素点は、各々領域内で均一分布を満たし、且つ、内円領域内から取得した画素点の数ｌｅｎｇｔｈＩｎｎｅｒは内外円との間の領域から取得した画素点の数ｌｅｎｇｔｈＯｕｔｅｒと同等である。
さらに、配列ＡｒｒａｙＯｕｔｅｒの中でＮｉｎｎｅｒＭａｘよりも小さい点の数をＮｕｍ_１として算出し、配列ＡｒｒａｙＩｎｎｅｒの中でＮｏｕｔｅｒＭｉｎよりも大きい点の数をＮｕｍ_２として算出し、公式に従って現在の画素点が頭部領域内に属する画素点である確率Ｌを算出するとともに、確率値を記録するステップＳ３３を含んでいる。
前記公式は、
Ｌ=（ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ-Ｎｕｍ_１- Ｎｕｍ_２）/(ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ)であり、
ＮｉｎｎｅｒＭａｘ＜ＮｏｕｔｅｒＭｉｎであると、Ｎｕｍ_１=０であるため、確率を直接に１と記し、
ＮｉｎｎｅｒＭａｘ＞ＮｏｕｔｅｒＭｉｎであると、公式（ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ-Ｎｕｍ_１- Ｎｕｍ_２）/(ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ)に従って確率を算出する。
以下に、上記した同心円を利用してある点が頭部領域に属する確率を算出する方式について、二通りの具体的な実施例を挙げて説明する。
実施例一：仮に１、２、３、４、５が内円における画素点値であり、７、８、９、１０、１１が外円と内円との間の画素点値であると、内円における画素値の最も大きい点の値は５であり、外円と内円との間で画素値の最も小さい点の値は７であり、５＜７であるため、確率は１となり、計算公式は（５+５-０-０）/(５+５)=１である。
実施例二：仮に３４、５６、７８、１００、２３４、５００が内円における画素点値であり、９８、１２３、４６６、７００、８７７、１００が外円と内円との間の画素点値であると、内円における画素値の最も大きい点の値は５００であり、外円と内円との間で画素値の最も小さい点の値は９８であり、５００＞９８であるため、確率は（６+６-３-３）/(６+６)=０.５となる。
さらに、同心円の内円半径をｒｎｅwに増えるステップＳ３４であって、ｒｎｅw=ｒ+ｒ×αであり、その中αは、同心円の内円半径ｒの増える速度を表し、
Figure 2019505866
であり、その時、外円半径はｎ×ｒｎｅwであり、ｒｎｅw≦２Ｒである時、ｒ= ｒｎｅwとし、上記ステップＳ３２〜Ｓ３４を繰り返してＲＯＩ領域における画素点それぞれが頭部領域内に属する画素点である確率を算出するとともに、確率値を記録し、記録した画素点それぞれの最大確率を該画素点が頭部領域内に属する画素点である最終確率とすることで、１枚の確率図が得られ、確率図において点毎の確率値がこの点が頭部領域に属する程度を表し、ｒｎｅw＞２Ｒであると時、ステップＳ３５へ移行するステップＳ３４と、
画素点それぞれの最終確率と前記第１の閾値とを比較して、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部であるステップＳ３５とを含んでいる。
以下に、通行人の頭部識別システムについて説明する。図２に示すように、
デプスカメラが垂直に地面を狙った時に目標領域から採集したデプス画像を取得し、前記デプス画像から前景画像を抽出するための前景画像抽出モジュール１０を備えている。
前記前景画像抽出モジュール１０は、具体的に、デプスカメラを用いて垂直に地面を狙い、目標領域のデプス画像を採集して、デプス画像における座標が（ｘ，ｙ）である点の画素値ｆ（ｘ，ｙ）を取得し、画素値ｆ（ｘ，ｙ）と予めに背景モデリングすることによって得られる座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）とを比較するとともに、公式と合わせて前景画像における座標が（ｘ，ｙ）である点の画素値ｍａｓｋ（ｘ，ｙ）を得るために用いられる。
前記公式は、
Figure 2019505866
であり、
その中、Ｔｂｇは、背景モデルと前景画像との区分閾値である。
上記した予めに背景モデリングすることによって座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）を得る過程は、具体的に、若干枚の前記目標領域の背景画像を採集し、前記若干枚の背景画像における座標が（ｘ，ｙ）である点の画素値を平均化することで得られる。
前記座標が（ｘ，ｙ）である点の画素値は、該点の目標領域における対応点から前記デプスカメラまでの相対的距離である。
また、前記前景画像から興味領域であるＲＯＩ領域として全ての頭部の潜在領域を抽出するためのＲＯＩ領域抽出モジュール１１を備えている。
前記ＲＯＩ領域抽出モジュール１１は、具体的に、
前記前景画像における画素点Ｐそれぞれを中心点とし、公式に従ってその８隣領域における画素点の画素値の平均値ｍを算出するための平均値算出サブモジュールを備えている。
前記公式は、
Figure 2019505866
であり、
その中、ｐ(ｋ)は、該隣領域内の画素点の画素値である。
また、該隣領域の平均値ｍとその中心点画素値
Figure 2019505866
との差分の絶対値ｄがプリセットした第２の閾値Ｔｍよりも小さい時、偏差公式に従って該隣領域内の偏差ｖを算出するための偏差算出サブモジュールを備えている。
即ち、
Figure 2019505866
であり、
前記偏差公式は、
Figure 2019505866
である。
さらに、偏差ｖがプリセットした第３の閾値Ｔｖよりも小さい時、該隣領域がＲＯＩ領域に属すると判定するためのＲＯＩ領域判定サブモジュールを備えている。
頭部識別モジュール１２は、同心円を構築することによって人の頭部領域を識別するためのものであり、具体的に、ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築することによって現在の画素点が頭部領域内に属する画素点である確率を算出し、ＲＯＩ領域毎における画素点それぞれの確率値を得て、ＲＯＩ領域毎における画素点それぞれの確率値とプリセットした第１の閾値とを比較し、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部となる。
前記頭部識別モジュール１２は、具体的に、
ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築するための、前記同心円の内円半径はｒであり、外円半径はｎ×ｒである同心円構築サブモジュールを備えている。
その中、
Figure 2019505866
であり、Ｒは、統計して得られる人の頭部領域の中心点からエッジまでの平均画素点数であり、
Figure 2019505866
である。
画素値順位付けサブモジュールは、内円内で取得した画素点の画素値を順位付けするためのものであり、内円領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＩｎｎｅｒを記録し、前記配列ＡｒｒａｙＩｎｎｅｒの長さはｌｅｎｇｔｈＩｎｎｅｒであり、その中、画素値の最も大きい点の画素値はＮｉｎｎｅｒＭａｘであり、また、内外円との間の領域内から取得した画素点の画素値を順位付けするためのものであり、内外円との間の領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＯｕｔｅｒを記録し、前記配列ＡｒｒａｙＯｕｔｅｒの長さはｌｅｎｇｔｈＯｕｔｅｒであり、その中、画素値の最も小さい点の画素値はＮｏｕｔｅｒＭｉｎである。
上記取得した画素点は、各々領域内で均一分布を満たし、且つ、内円領域内から取得した画素点の数ｌｅｎｇｔｈＩｎｎｅｒは内外円との間の領域から取得した画素点の数ｌｅｎｇｔｈＯｕｔｅｒと同等である。
第１の確率値確定サブモジュールは、配列ＡｒｒａｙＯｕｔｅｒの中でＮｉｎｎｅｒＭａｘよりも小さい点の数をＮｕｍ_１として算出し、配列ＡｒｒａｙＩｎｎｅｒの中でＮｏｕｔｅｒＭｉｎよりも大きい点の数をＮｕｍ_２として算出し、公式に従って現在の画素点が頭部領域内に属する画素点である確率Ｌを算出するとともに、確率値を記録するためのものである。
前記公式は、
Ｌ=（ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ-Ｎｕｍ_１- Ｎｕｍ_２）/(ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ)であり、
第２の確率値確定サブモジュールは、同心円の内円半径をｒｎｅwに増えるためのものであり、ｒｎｅw=ｒ+ｒ×αであり、その中αは同心円の内円半径ｒの増える速度を表し、
Figure 2019505866
であり、その時、外円半径はｎ×ｒｎｅwであり、ｒｎｅw≦２Ｒである時、ｒ= ｒｎｅwとし、前記画素値順位付けサブモジュールに戻ってＲＯＩ領域における画素点それぞれが頭部領域内に属する画素点である確率を算出するとともに、確率値を記録し、記録した画素点それぞれの最大確率を該画素点が頭部領域内に属する画素点である最終確率とし、ｒｎｅw＞２Ｒである時、頭部識別サブモジュールに入る。
頭部識別サブモジュールは、画素点それぞれの最終確率と前記第１の閾値とを比較して、前記第１の閾値よりも低い画素点を濾過除去するためのものであり、残りの領域形式で存在する画素点は頭部領域の点であり、領域それぞれが識別された１つの頭部である。
上記通行人の頭部識別方法によって通行人の頭部を識別した後、カウント方法に合わせて、マーケット、空港、バス停、地下鉄駅等の人流量の密集している公衆場所に人流量統計サービスを提供することができる。次に、人流量統計方法について具体的に説明する。前記人流量統計方法は上記通行人の頭部識別システムに基づくことであり、前記人流量統計方法は、前記通行人の頭部識別システムにて識別された通行人の頭部領域をトラッキングすることによってその動き軌跡を確定し、前記動き軌跡が所定領域を通り抜く時にカウントして、目標領域の人流量を統計する。
図３に示すように、前記人流量の統計方法は、具体的に次のようなステップを含む。
ステップＡ１：矩形枠で識別された頭部領域を取り囲み、前記頭部領域を前記矩形枠に内接させる。
ステップＡ２：前景画像において直前フレームの画像における各頭部領域を次のフレームの画像における全ての頭部領域とそれぞれ連合近似性計算する。
具体的に、連続する２フレーム同士の頭部領域の位置と面積に激しい変化がないことに鑑みて、頭部目標に対するトラッキングは、連続する２フレーム間の頭部の矩形枠の対角線の交点位置座標と頭部領域の面積の大きさの連合近似性を算出することによって確定する。
計算公式は、
Figure 2019505866
であり、
その中、ｄ１及びｄ２は、連続する２フレームの画像におけるいずれか１つの頭部領域をそれぞれ代表し、
Figure 2019505866
、
Figure 2019505866
及び
Figure 2019505866
は、連合近似性、位置近似性及び面積近似性をそれぞれ代表し、その中で
Figure 2019505866
及び
Figure 2019505866
の計算公式は、
Figure 2019505866
であり、
その中、(ｘ１，ｙ１)及び(ｘ２，ｙ２)は、連続する２フレームの画像におけるいずれか１つの頭部領域ｄ１及びｄ２の対角線の交点の座標をそれぞれ表し、ｓ１及びｓ２は、連続する２フレームの画像におけるいずれか１つの頭部領域ｄ１及びｄ２の面積をそれぞれ表し、ａｘ、ａｙは、連続する２フレームの画像における全ての頭部領域の矩形枠の対角線の交点座標のＸ軸及びＹ軸での偏差を表し、ａｓは、連続する２フレームの画像における全ての頭部領域の面積の偏差を表す。
ステップＡ３：算出した直前フレームの画像における各頭部領域と次のフレームの画像における全ての頭部領域とのそれぞれ連合近似性の最大値を閾値と比較し、閾値より大きいと、直前フレームの画像における該頭部領域と次のフレームの画像で前記連合近似性の最大値に対応する頭部領域との整合に成功したことを代表し、閾値よりも小さいと、整合に失敗して、目標を失ったことを代表する。
ステップＡ４：連続する２フレームの画像毎に整合に成功した２つの頭部領域の矩形枠の対角線の交点を結ぶことにより、前記頭部領域の動き軌跡を確定する。
ステップＡ５：前記動き軌跡がプリセット領域を通り抜けたことを検出した時にカウントして、目標領域の人流量を統計する。
具体的に、前記プリセット領域は、前記前景画像のフレーム画像に設けた２本の平行な仮想判定線Ｌ１とＬ２及び前記前景画像のエッジから形成される領域であり、前記動き軌跡が連続にＬ１とＬ２を通り抜けたことを検出した時、人数カウンターがカウントする。もっと具体的に、前記動き軌跡が連続に仮想判定線を通り抜く順番がＬ１とＬ２であることを検出した時、出カウンターがカウントし、前記動き軌跡が連続に仮想判定線を通り抜く順番がＬ２とＬ１であることを検出した時、入カウンターがカウントし、上記の方式を採用して全ての頭部領域の動き軌跡を検出しカウントするとともに、出カウンターと入カウンターそれぞれの結果をリアルタイムに出力する。
その中、Ｌ１とＬ２の距離は、標準成年人の頭頂部領域の長さの２倍であり、且つ、Ｌ１とＬ２の中線はフレーム画像の中線である。
次に、人流量の統計システムについて具体的に説明する。前記人流量の統計方法は上記通行人の頭部識別システムに基づき、前記人流量の統計システムは、前記通行人の頭部識別システムが識別した頭部領域をトラッキングすることによってその動き軌跡を確定し、前記動き軌跡がプリセット領域を通り抜けた時カウントして、目標領域の人流量を統計するためのものである。
図４に示すように、前記人流量の統計システムは、具体的に次のような部分を備える。
頭部領域枠空けモジュール２０：矩形枠を用いて識別した頭部領域を取り囲み、前記頭部領域を前記矩形枠に内接させるためのものである。
連合近似性計算モジュール２１：前景画像において直前フレームの画像における各頭部領域を次のフレームの画像における全ての頭部領域とそれぞれ連合近似性計算するためのものである。
具体的に、前記連合近似性は、連続する２フレーム間の頭部の矩形枠の対角線の交点位置座標と頭部領域の面積の大きさの連合近似性である。
計算公式は、
Figure 2019505866
であり、
その中、ｄ１及びｄ２は、連続する２フレームの画像におけるいずれか１つの頭部領域をそれぞれ代表し、
Figure 2019505866
、
Figure 2019505866
及び
Figure 2019505866
は、連合近似性、位置近似性及び面積近似性をそれぞれ代表し、その中で
Figure 2019505866
及び
Figure 2019505866
の計算公式は、
Figure 2019505866
であり、
その中、(ｘ１，ｙ１)及び(ｘ２，ｙ２)は、連続する２フレームの画像におけるいずれか１つの頭部領域ｄ１及びｄ２の対角線の交点の座標をそれぞれ表し、ｓ１及びｓ２は、連続する２フレームの画像におけるいずれか１つの頭部領域ｄ１及びｄ２の面積をそれぞれ表し、ａｘ、ａｙは、連続する２フレームの画像における全ての頭部領域の矩形枠の対角線の交点座標のＸ軸及びＹ軸での偏差を表し、ａｓは、連続する２フレームの画像における全ての頭部領域の面積の偏差を表す。
頭部領域整合モジュール２２：算出した直前フレームの画像における各頭部領域と次のフレームの画像における全ての頭部領域とのそれぞれ連合近似性の最大値を閾値と比較するためのものであり、閾値より大きいと、直前フレームの画像における該頭部領域と次のフレームの画像で前記連合近似性の最大値に対応する頭部領域との整合に成功したことを代表し、閾値よりも小さいと、整合に失敗して、目標を失ったことを代表する。
動き軌跡確定モジュール２３：連続する２フレームの画像毎に整合に成功した２つの頭部領域の矩形枠の対角線の交点を結ぶことにより、前記頭部領域の動き軌跡を確定するためのものである。
人流量統計モジュール２４：前記動き軌跡がプリセット領域を通り抜けたことを検出した時にカウントして、目標領域の人流量を統計するためのものである。
具体的に、前記プリセット領域は、前記前景画像のフレーム画像に設けた２本の平行な仮想判定線Ｌ１とＬ２及び前記前景画像のエッジから形成される領域であり、前記動き軌跡が連続にＬ１とＬ２を通り抜けたことを検出した時、人数カウンターがカウントする。また、前記動き軌跡が連続に仮想判定線を通り抜く順番がＬ１とＬ２であることを検出した時、出カウンターがカウントし、前記動き軌跡が連続に仮想判定線を通り抜く順番がＬ２とＬ１であることを検出した時、入カウンターがカウントし、出カウンター及び入カウンターそれぞれの結果をリアルタイムに出力する。
その中、Ｌ１とＬ２の距離は、標準成年人の頭頂部領域の長さの２倍であり、且つ、Ｌ１とＬ２の中線はフレーム画像の中線である。
上記に提供した人流量の統計方法及びシステムによれば、空港や、マーケット、駅等の人流量の密集した所に人流量統計サービスを提供することができる。
本発明の提供する通行人の頭部識別方法は、一方、頭部の識別を行う前に、先に前景画像からＲＯＩ領域を画定して頭部の潜在領域をロックし、効果的にアルゴリズムの計算量を低減させ、識別の速度を向上し、他方、人体で頭部領域しか同心円の属性を有しない特徴と合わせて、同心円を利用して頭部領域を計測し、頭部識別の正確率を向上するとともに、衣服の色や、頭部色等が頭部識別に対する影響を効果的に避けて、アルゴリズムの耐干渉能力を向上させている。
以上は本発明の好ましい実施例に過ぎず、本発明を限定するものではない。本発明の精神及び原則内でのいかなる改正、同等取替え及び改善等は、いずれも本発明の保護範囲に含まれることである。

Claims (8)

  1. デプスカメラが垂直に地面を狙った時に目標領域から採集したデプス画像を取得し、前記デプス画像から前景画像を抽出するステップＳ１と、
    前記前景画像から興味領域であるＲＯＩ領域として全ての頭部の潜在領域を抽出するステップＳ２と、
    ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築することによって現在の画素点が頭部領域内に属する画素点である確率を算出し、ＲＯＩ領域毎における画素点それぞれの確率値を得て、ＲＯＩ領域毎における画素点それぞれの確率値とプリセットした第１の閾値とを比較し、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部であるステップＳ３とを含むことを特徴とする通行人の頭部識別方法。
  2. 前記ステップＳ１は、具体的に、デプスカメラを用いて垂直に地面を狙い、目標領域のデプス画像を採集して、デプス画像における座標が（ｘ，ｙ）である点の画素値ｆ（ｘ，ｙ）を取得し、前記画素値ｆ（ｘ，ｙ）と予めに背景モデリングすることによって得られた座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）とを比較するとともに、公式と合わせて前景画像における座標が（ｘ，ｙ）である点の画素値ｍａｓｋ（ｘ，ｙ）を取得し、
    前記公式は、

    Figure 2019505866
    であり、
    その中、Ｔｂｇは、背景モデルと前景画像との区分閾値であり、
    上記した予めに背景モデリングすることによって座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）を得る過程は、具体的に、若干枚の前記目標領域の背景画像を採集し、前記若干枚の背景画像における座標が（ｘ，ｙ）である点の画素値を平均化することで得られ、
    前記座標が（ｘ，ｙ）である点の画素値は、該点の目標領域における対応点から前記デプスカメラまでの相対的距離であることを特徴とする請求項１に記載の通行人の頭部識別方法。
  3. 前記ステップＳ２は、具体的に、
    前記前景画像における画素点Ｐそれぞれを中心点とし、公式に従ってその８隣領域における画素点の画素値の平均値ｍを算出するステップＳ２１と、
    前記公式は、
    Figure 2019505866
    であり、
    その中、ｐ(ｋ)は、該隣領域内の画素点の画素値であり、
    該隣領域の平均値ｍとその中心点画素値
    Figure 2019505866
    との差分の絶対値ｄがプリセットした第２の閾値Ｔｍよりも小さいと、偏差公式に従って該隣領域内の偏差ｖを算出するステップＳ２２と、
    前記偏差公式は、
    Figure 2019505866
    であり、
    偏差ｖがプリセットした第３の閾値Ｔｖよりも小さいと、該隣領域がＲＯＩ領域に属すると判定するステップＳ２３とを含んでいることを特徴とする請求項１に記載の通行人の頭部識別方法。
  4. 前記ステップＳ３は、具体的に、
    ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築し、前記同心円の内円半径はｒであり、外円半径はｎ×ｒであるステップＳ３１と、
    その中、
    Figure 2019505866
    であり、Ｒは、統計して得られる人の頭部領域の中心点からエッジまでの平均画素点数であり、
    Figure 2019505866
    であり、
    内円内で取得した画素点の画素値を順位付けして、内円領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＩｎｎｅｒを記録し、前記配列ＡｒｒａｙＩｎｎｅｒの長さはｌｅｎｇｔｈＩｎｎｅｒであり、その中、画素値の最も大きい点の画素値はＮｉｎｎｅｒＭａｘであり、また、内外円との間の領域内から取得した画素点の画素値を順位付けして、内外円との間の領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＯｕｔｅｒを記録し、前記配列ＡｒｒａｙＯｕｔｅｒの長さはｌｅｎｇｔｈＯｕｔｅｒであり、その中、画素値の最も小さい点の画素値はＮｏｕｔｅｒＭｉｎであるステップＳ３２と、
    上記取得した画素点は、各々領域内で均一分布を満たし、且つ、内円領域内から取得した画素点の数ｌｅｎｇｔｈＩｎｎｅｒは内外円との間の領域から取得した画素点の数ｌｅｎｇｔｈＯｕｔｅｒと同等であり、
    配列ＡｒｒａｙＯｕｔｅｒの中でＮｉｎｎｅｒＭａｘよりも小さい点の数をＮｕｍ_１として算出し、配列ＡｒｒａｙＩｎｎｅｒの中でＮｏｕｔｅｒＭｉｎよりも大きい点の数をＮｕｍ_２として算出し、公式に従って現在の画素点が頭部領域内に属する画素点である確率Ｌを算出するとともに、確率値を記録するステップＳ３３と、
    前記公式は、
    Ｌ=（ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ-Ｎｕｍ_１- Ｎｕｍ_２）/(ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ)であり、
    同心円の内円半径をｒｎｅwに増えるステップＳ３４であって、ｒｎｅw=ｒ+ｒ×αであり、その中αは、同心円の内円半径ｒの増える速度を表し、
    Figure 2019505866
    であり、その時、外円半径はｎ×ｒｎｅwであり、ｒｎｅw≦２Ｒである時、ｒ= ｒｎｅwとし、上記ステップＳ３２〜Ｓ３４を繰り返してＲＯＩ領域における画素点それぞれが頭部領域内に属する画素点である確率を算出するとともに、確率値を記録し、記録した画素点それぞれの最大確率を該画素点が頭部領域内に属する画素点である最終確率とし、ｒｎｅw＞２Ｒである時、ステップＳ３５へ移行するステップＳ３４と、
    画素点それぞれの最終確率と前記第１の閾値とを比較して、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部であるステップＳ３５とを含むことを特徴とする請求項１に記載の通行人の頭部識別方法。
  5. デプスカメラが垂直に地面を狙った時に目標領域から採集したデプス画像を取得し、前記デプス画像から前景画像を抽出するための前景画像抽出モジュールと、
    前記前景画像から興味領域であるＲＯＩ領域として全ての頭部の潜在領域を抽出するためのＲＯＩ領域抽出モジュールと、
    同心円を構築することによって人の頭部領域を識別するための、具体的に、ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築することによって現在の画素点が頭部領域内に属する画素点である確率を算出し、ＲＯＩ領域毎における画素点それぞれの確率値を得て、ＲＯＩ領域毎における画素点それぞれの確率値とプリセットした第１の閾値とを比較し、前記第１の閾値よりも低い画素点を濾過除去し、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部である頭部識別モジュールとを備えることを特徴とする通行人の頭部識別システム。
  6. 前記前景画像抽出モジュールは、具体的に、デプスカメラを用いて垂直に地面を狙い、目標領域のデプス画像を採集して、デプス画像における座標が（ｘ，ｙ）である点の画素値ｆ（ｘ，ｙ）を取得し、画素値ｆ（ｘ，ｙ）と予めに背景モデリングすることによって得られた座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）とを比較するとともに、公式と合わせて前景画像における座標が（ｘ，ｙ）である点の画素値ｍａｓｋ（ｘ，ｙ）を取得するためのものであり、
    前記公式は、
    Figure 2019505866
    であり、
    その中、Ｔｂｇは、背景モデルと前景画像との区分閾値であり、
    上記した予めに背景モデリングすることによって座標が（ｘ，ｙ）である点の画素値ｂｇ（ｘ，ｙ）を得る過程は、具体的に、若干枚の前記目標領域の背景画像を採集し、前記若干枚の背景画像における座標が（ｘ，ｙ）である点の画素値を平均化することで得られ、
    前記座標が（ｘ，ｙ）である点の画素値は、該点の目標領域における対応点から前記デプスカメラまでの相対的距離であることを特徴とする請求項５に記載の通行人の頭部識別システム。
  7. 前記ＲＯＩ領域抽出モジュールは、具体的に、
    前記前景画像における画素点Ｐそれぞれを中心点とし、公式に従ってその８隣領域における画素点の画素値平均値ｍを算出するための平均値算出サブモジュールと、
    前記公式は、
    Figure 2019505866
    であり、
    その中、ｐ(ｋ)は、該隣領域内の画素点の画素値であり、
    該隣領域の平均値ｍとその中心点画素値
    Figure 2019505866
    との差分の絶対値ｄがプリセットした第２の閾値Ｔｍよりも小さい時、偏差公式に従って該隣領域内の偏差ｖを算出するための偏差算出サブモジュールと、
    前記偏差公式は、
    Figure 2019505866
    であり、
    偏差ｖがプリセットした第３の閾値Ｔｖよりも小さい時、該隣領域がＲＯＩ領域に属すると判定するためのＲＯＩ領域判定サブモジュールとを備えていることを特徴とする請求項５に記載の通行人の頭部識別システム。
  8. 前記頭部識別モジュールは、具体的に、
    ＲＯＩ領域毎における画素点それぞれを円心として、同心円を構築するための、前記同心円の内円半径はｒであり、外円半径はｎ×ｒである同心円構築サブモジュールと、
    その中、
    Figure 2019505866
    であり、Ｒは、統計して得られる人の頭部領域の中心点からエッジまでの平均画素点数であり、
    Figure 2019505866
    であり、
    内円内で取得した画素点の画素値を順位付けするためのものであり、内円領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＩｎｎｅｒを記録し、前記配列ＡｒｒａｙＩｎｎｅｒの長さはｌｅｎｇｔｈＩｎｎｅｒであり、その中、画素値の最も大きい点の画素値はＮｉｎｎｅｒＭａｘであり、また、内外円との間の領域内から取得した画素点の画素値を順位付けするためのものであり、内外円との間の領域から取得した画素点の画素値から形成される配列ＡｒｒａｙＯｕｔｅｒを記録し、前記配列ＡｒｒａｙＯｕｔｅｒの長さはｌｅｎｇｔｈＯｕｔｅｒであり、その中、画素値の最も小さい点の画素値はＮｏｕｔｅｒＭｉｎである画素値順位付けサブモジュールと、
    上記取得した画素点は、各々領域内で均一分布を満たし、且つ、内円領域内から取得した画素点の数ｌｅｎｇｔｈＩｎｎｅｒは内外円との間の領域から取得した画素点の数ｌｅｎｇｔｈＯｕｔｅｒと同等であり、
    配列ＡｒｒａｙＯｕｔｅｒの中でＮｉｎｎｅｒＭａｘよりも小さい点の数をＮｕｍ_１として算出し、配列ＡｒｒａｙＩｎｎｅｒの中でＮｏｕｔｅｒＭｉｎよりも大きい点の数をＮｕｍ_２として算出し、公式に従って現在の画素点が頭部領域内に属する画素点の確率Ｌを算出するとともに、確率値を記録するための第１の確率値確定サブモジュールと、
    前記公式は、
    Ｌ=（ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ-Ｎｕｍ_１- Ｎｕｍ_２）/(ｌｅｎｇｔｈＩｎｎｅｒ+ｌｅｎｇｔｈＯｕｔｅｒ)であり、
    同心円の内円半径をｒｎｅwに増えるための第２の確率値確定サブモジュールであって、ｒｎｅw=ｒ+ｒ×αであり、その中αは、同心円の内円半径ｒの増える速度を表し、
    Figure 2019505866
    であり、その時、外円半径はｎ×ｒｎｅwであり、ｒｎｅw≦２Ｒである時、ｒ= ｒｎｅwとし、前記画素値順位付けサブモジュールに戻ってＲＯＩ領域における画素点それぞれが頭部領域内に属する画素点である確率を算出するとともに、確率値を記録し、記録した画素点それぞれの最大確率を該画素点が頭部領域内に属する画素点である最終確率とし、ｒｎｅw＞２Ｒである時、頭部識別サブモジュールに入る第２の確率値確定サブモジュールと、
    画素点それぞれの最終確率と前記第１の閾値とを比較して、前記第１の閾値よりも低い画素点を濾過除去するためのものであり、残りの領域形式で存在する画素点が頭部領域の点であり、領域それぞれが識別された１つの頭部である頭部識別サブモジュールとを備えていることを特徴とする請求項５に記載の通行人の頭部識別システム。
JP2018519925A 2016-12-27 2016-12-27 通行人の頭部識別方法及びシステム Expired - Fee Related JP6549797B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/112383 WO2018119668A1 (zh) 2016-12-27 2016-12-27 一种行人头部识别方法及***

Publications (2)

Publication Number Publication Date
JP2019505866A true JP2019505866A (ja) 2019-02-28
JP6549797B2 JP6549797B2 (ja) 2019-07-24

Family

ID=62629663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018519925A Expired - Fee Related JP6549797B2 (ja) 2016-12-27 2016-12-27 通行人の頭部識別方法及びシステム

Country Status (3)

Country Link
US (1) US10445567B2 (ja)
JP (1) JP6549797B2 (ja)
WO (1) WO2018119668A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145211A (zh) * 2019-12-05 2020-05-12 大连民族大学 单目摄像机直立行人头部像素高度获取方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN109684933A (zh) * 2018-11-30 2019-04-26 广州大学 一种前方行人窜出马路的预警方法
CN109872355B (zh) * 2019-01-25 2022-12-02 合肥哈工仞极智能科技有限公司 一种基于深度相机的最短距离获取方法及装置
US10915786B2 (en) * 2019-02-28 2021-02-09 Sap Se Object detection and candidate filtering system
US11559221B2 (en) * 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
CN111833398B (zh) * 2019-04-16 2023-09-08 杭州海康威视数字技术股份有限公司 一种图像中的像素点标记方法及装置
CN111060442B (zh) * 2019-04-30 2022-06-17 威海戥同测试设备有限公司 一种基于图像处理的油液颗粒检测方法
CN110210417B (zh) * 2019-06-05 2021-09-28 达闼机器人有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
CN110929695B (zh) * 2019-12-12 2024-02-27 易诚高科（大连）科技有限公司 一种人脸识别和行人重识别关联方法
US11741620B1 (en) * 2020-01-24 2023-08-29 Apple Inc. Plane detection using depth sensor and semantic information
CN113516743A (zh) * 2020-03-27 2021-10-19 北京达佳互联信息技术有限公司 头发的渲染方法、装置、电子设备及存储介质
CN111639562B (zh) * 2020-05-15 2023-06-20 圣点世纪科技股份有限公司 一种手掌感兴趣区域的智能定位方法
CN111710008B (zh) * 2020-05-29 2023-07-11 北京百度网讯科技有限公司 人流密度的生成方法、装置、电子设备以及存储介质
CN113205068B (zh) * 2021-05-27 2024-06-14 苏州魔视智能科技有限公司 洒水车喷头监控方法、电子设备及车辆
CN113343917B (zh) * 2021-06-30 2024-05-31 上海申瑞继保电气有限公司 基于直方图的变电站设备识别方法
CN114081198B (zh) * 2021-10-26 2023-02-17 农业农村部南京农业机械化研究所 一种球茎类作物自动切根装置及方法
CN114973310B (zh) * 2022-04-06 2024-06-07 国网智慧能源交通技术创新中心(苏州)有限公司 一种基于红外热成像的被动人体定位方法及***
CN116645372B (zh) * 2023-07-27 2023-10-10 汉克威(山东)智能制造有限公司 一种制动气室外观图像智能检测方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010154134A (ja) * 2008-12-24 2010-07-08 Toshiba Corp 映像監視システム
JP2010204719A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 入場管理システム、入場管理装置、および入場管理方法
CN102930524A (zh) * 2012-09-11 2013-02-13 无锡数字奥森科技有限公司 一种基于垂直放置的深度摄像头的人头检测方法
US20130272576A1 (en) * 2011-09-30 2013-10-17 Intel Corporation Human head detection in depth images
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和***
CN105138979A (zh) * 2015-08-19 2015-12-09 南京理工大学 基于立体视觉的运动人体头部检测方法
WO2016199244A1 (ja) * 2015-06-10 2016-12-15 株式会社日立製作所 物体認識装置及び物体認識システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010154134A (ja) * 2008-12-24 2010-07-08 Toshiba Corp 映像監視システム
JP2010204719A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 入場管理システム、入場管理装置、および入場管理方法
US20130272576A1 (en) * 2011-09-30 2013-10-17 Intel Corporation Human head detection in depth images
CN102930524A (zh) * 2012-09-11 2013-02-13 无锡数字奥森科技有限公司 一种基于垂直放置的深度摄像头的人头检测方法
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和***
WO2016199244A1 (ja) * 2015-06-10 2016-12-15 株式会社日立製作所 物体認識装置及び物体認識システム
CN105138979A (zh) * 2015-08-19 2015-12-09 南京理工大学 基于立体视觉的运动人体头部检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145211A (zh) * 2019-12-05 2020-05-12 大连民族大学 单目摄像机直立行人头部像素高度获取方法
CN111145211B (zh) * 2019-12-05 2023-06-30 大连民族大学 单目摄像机直立行人头部像素高度获取方法

Also Published As

Publication number Publication date
US20180181803A1 (en) 2018-06-28
JP6549797B2 (ja) 2019-07-24
US10445567B2 (en) 2019-10-15
WO2018119668A1 (zh) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN108986064B (zh) 一种人流量统计方法、设备及***
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
Mithun et al. Detection and classification of vehicles from video using multiple time-spatial images
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
TWI409718B (zh) 移動中車輛之車牌定位方法
Wang et al. Review on vehicle detection based on video for traffic surveillance
CN104978567B (zh) 基于场景分类的车辆检测方法
US20090309966A1 (en) Method of detecting moving objects
US20130243343A1 (en) Method and device for people group detection
CN104484645B (zh) 一种面向人机交互的“1”手势识别方法与***
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN104751491A (zh) 一种人群跟踪及人流量统计方法及装置
CN106127137A (zh) 一种基于3d轨迹分析的目标检测识别算法
WO2018076392A1 (zh) 一种基于人体头顶部识别的行人统计方法及装置
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN106372570A (zh) 一种人流量统计的方法
CN105160297A (zh) 基于肤色特征的蒙面人事件自动检测方法
CN106778637B (zh) 一种对男女客流的统计方法
CN103577875A (zh) 一种基于fast的计算机辅助cad人数统计方法
CN102915433A (zh) 基于字符组合的车牌定位和识别方法
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
CN103456123B (zh) 一种基于流动和扩散特征的视频烟气探测方法
CN114998317B (zh) 镜头遮挡检测方法、装置、摄像装置和存储介质
Chen et al. A precise information extraction algorithm for lane lines

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190627

R150 Certificate of patent or registration of utility model

Ref document number: 6549797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees