JP7280335B1 - 立位座位分離計数装置及び立位座位分別処理方法 - Google Patents

Abstract

【課題】ベクトル焦点法を用いて画像から人物の立位と座位とを簡易に分別でき、且つ、立位と座位との判別の信頼性が高い立位座位分離計数装置及び立位座位分別処理方法を提供する。【解決手段】立位座位分離計数装置において、画像処理装置は、人物の立位モデルを作成し、この立位モデルの上半身部分を流用して座位モデルを作成するモデル作成プロセス部と、ベクトル焦点法により前記立位モデルと前記座位モデルの２種類の人物モデルに基づいて撮像部で取得した画像から人物を認識する画像処理プロセス部と、画像処理プロセス部で認識した人物が立位か座位かを判定する評価プロセス部とを備える。評価プロセス部は、ベクトル焦点法により立位モデルで投票処理したときの一致度の極大点と座位モデルで投票処理したときの一致度の極大点の２つの極大点を比較して、画像の人物が立位か座位かを判定するモデル比較判定部を備える。【選択図】図１

Description

本発明は、監視領域を上方から撮像した画像より人物の立位と座位とを判別する立位座位分離計数装置及び立位座位分別処理方法に関する。

例えば、飲食店やフードコート、オフィスなどのテナントにおいて、施設の利用時間の測定・利用率の測定ということが重要視されている。施設の入退場を計測することで平均滞留時間を算出できるが、座席があるような施設においては、施設の利用状況の把握のため、利用者が着席しているデータと起立・歩行しているデータをそれぞれ分けて計測されたデータを取得できることが好ましい。一般に、人物が座っているか立っているかを区別しようとすると、ToF（Time of Flight）やステレオカメラなどで距離を測定して判別することは可能であるが、コストの観点から１台のカメラを用いて立位と座位とを判別した処理を行えることが望まれる。従来、１台のカメラで撮像した画像から人物などの物体を認識する方法として、ベクトル焦点法が知られている（特許文献１～３）。このベクトル焦点法は、例えば、人物を認識する場合、人物の形状を模した人物モデルを作成し、撮像した画像を人物モデルにより投票処理を行うことで一致度に応じて画像から人物を認識する技術である。

特許第３３９０４２６号公報 特許第３４０６５７７号公報 特許第３４０６５８７号公報

前記ベクトル焦点法の技術を活用して人物が立っているのか座っているのかを認識するには、ポーズ毎に人物モデルを作成して人物の姿勢を認識することで可能となる。しかしながら、立位と座位とを誤判定することなく正しく分別するためには立位や座位それぞれのモデル形状を計測し、その形状を模した人物モデルを定義・作成する必要があり、姿勢の数の分だけモデル作成にかかる工数が倍増してしまうという課題があった。また、他には機械学習や深層学習による検出や姿勢の推定を行うことも可能であるが、それぞれの姿勢から大量の学習データを作成した上で、推論のためのモデル（ネットワーク）を作成する必要があり、更にメモリ量と計算処理能力が高い画像処理装置が必要となり、モデルの作成や動作環境の作成に多大な工数や高いコストがかかるという課題があった。

本発明は、以上の事情に鑑みてなされたものであり、ベクトル焦点法を用いて画像から人物の立位と座位とを簡易に分別でき、且つ、立位と座位との判別の信頼性が高い立位座位分離計数装置及び立位座位分別処理方法を提供することを目的とする。

本発明に係る立位座位分離計数装置は、
監視領域を上方から撮像して画像を取得する撮像部と、撮像部で取得された画像から立位の人物と座位の人物とを分別して認識する画像処理装置と、画像処理装置で分別した立位と座位との人数を集計する集計部とを備える立位座位分離計数装置であって、
画像処理装置は、人物の立位姿勢を模した立位モデルを撮像部の撮像環境に基づいて作成し、この立位モデルの下半身部分が無い上半身部分を流用して、この上半身部分のモデルを座位の高さ位置に移動させて撮像環境に適合するように再構築することで座位モデルを作成するモデル作成プロセス部と、撮像部で取得した画像を人物モデルに基づいて投票処理を行うことで一致度に応じて人物を認識するベクトル焦点法により、前記立位モデルと前記座位モデルの２種類の人物モデルに基づいて撮像部で取得した画像から人物を認識する画像処理プロセス部と、画像処理プロセス部で認識した人物が立位か座位かを判定する評価プロセス部とを備え、
評価プロセス部は、ベクトル焦点法により立位モデルで投票処理したときの一致度の極大点と座位モデルで投票処理したときの一致度の極大点の２つの極大点の比較から、立位モデルと座位モデルのどちらと一致度が高いかを評価して、画像の人物が立位か座位かを判定するモデル比較判定部を備える。

また、本発明に係る立位座位分別処理方法は、
監視領域を上方から撮像部で撮像して取得する画像から立位と座位との人物を分別して認識する立位座位分別処理方法であって、
人物モデルとして立位モデルと座位モデルとを撮像部の撮像環境に基づいて事前に設定し、この際、座位モデルは、立位モデルの設定位置において立位モデルの下半身部分が無い上半身部分を流用して、この上半身部分のモデルを座位の高さ位置に移動させて撮像環境に適合するように再構築されており、
撮像部で取得した画像を人物モデルに基づいて投票処理を行うことで一致度に応じて人物を認識するベクトル焦点法により、前記立位モデルと前記座位モデルの２種類の人物モデルに基づいて撮像部で取得した画像から人物を認識する画像処理ステップと、
画像処理ステップで認識した人物について、ベクトル焦点法により立位モデルで投票処理したときの一致度の極大点と座位モデルで投票処理したときの一致度の極大点の２つの極大点の比較から、立位モデルと座位モデルのどちらと一致度が高いかを評価して、画像の人物が立位か座位かを判定するモデル比較判定ステップと、
画像処理ステップで認識された画像の人物について、下半身位置に、背景画像とは異なる非背景特徴が見られる場合は、座位では無く立位であると判定する下半身判定処理ステップと、
モデル比較判定ステップ及び下半身判定処理ステップの結果の集計から座位と判定された画像の人物について、上半身の所定位置に、経時的な変化が見られる場合は、人物以外の物体では無く座位の人物であると判定する静止判定処理ステップと、
静止判定処理ステップで座位と判定された画像の人物について、経時的に追跡した結果、所定以上移動している場合は、座位では無く立位であると判定する移動判定処理ステップとを備える。

以上の本発明によれば、撮像部で取得した画像から人物の立位と座位とを簡易に分別でき、且つ、立位と座位との判別の信頼性が高いという効果が発揮される。

実施形態による立位座位分離計数装置の構成を示すブロック図である。 立位モデルと座位モデルを作成してベクトル焦点法でカメラ画像から立位の人物と座位の人物とを認識する方法を説明するための模式図である。 実際のカメラ画像においてベクトル焦点法を用いて立位モデルと座位モデルとにより立位の人物と座位の人物とを捉えているイメージを示すカメラ画像である。 立位モデルと座位モデルとを作成する手順を示すフロー図である。 立位モデルと座位モデルとの検査領域データとなる特徴点のイメージを示す模式図である。 実際のカメラ画像において立位モデルと座位モデルのそれぞれにて下半身位置における非背景特徴のチェックを行っているイメージを示すカメラ画像である。 実施形態による立位座位分離計数装置の動作を説明するフローチャートである。

以下に、本発明の実施形態について添付図面を参照しながら説明する。
実施形態の立位座位分離計数装置は、監視領域を撮像した画像から立位の人物と座位の人物とを分別して認識し、立位と座位との人数を集計する装置である。図１に示すように、実施形態の立位座位分離計数装置１は、監視領域を上方から撮像する１台のカメラ２（撮像部）と、この１台のカメラ２で取得したカメラ画像から立位の人物と座位の人物とを分別して認識する画像処理装置３と、画像処理装置３で分別した立位と座位との人数をそれぞれ集計する集計部４とを備える。

監視領域としては、例えば、飲食店、フードコート、オフィスなどの座席のある施設を対象とすることができる。撮像部を構成する１台のカメラ２は、ＣＭＯＳカメラ等を使用することができ、監視領域の天井又は壁等に設置して監視領域を上方から撮像する。カメラ２は、上方から監視領域全体を撮像できるように広角レンズを備えるものであってもよい。カメラ２は、画像処理装置３と有線、無線又はＬＡＮ等のネットワーク等により通信可能に接続され、監視領域を上方から撮像したカメラ画像を画像処理装置３に出力する。

画像処理装置３は、人物モデルとして立位モデルと座位モデルとを生成するモデル作成プロセス部５と、カメラ画像を人物モデルに基づいて投票処理を行うことで一致度に応じて人物を認識するベクトル焦点法を用いてモデル作成プロセス部５で作成された立位モデルと座位モデルの２種類の人物モデルに基づいてカメラ画像から人物を認識する画像処理プロセス部６と、カメラ画像から認識された人物が立位か座位かを判定する評価プロセス部７と、画像処理プロセス部６で認識されたカメラ画像上の人物を経時的に追跡処理を行う追跡プロセス部８とを備えている。

ここで、ベクトル焦点法による人物認識方法について簡単に説明すると、図２を参照して、まず、人物の外形形状を模した人物モデル（本実施形態では、立位モデルと座位モデル）を作成し（図２（Ａ）参照）、この人物モデルをカメラ画像上にカメラ２の撮像環境に応じて配置し、カメラ画像の各画素点について処理点（所定の画素点）を中心とする円形状にフーリエ変換（円形フーリエ）を行うことで各画素の輝度勾配と勾配方向を算出する（図２（Ｂ）参照）。輝度勾配は人物モデルの特徴に沿って現れ、輝度勾配が一定以上の画素を有効画素とし、この有効画素の集合体が人物モデルを反映した領域となる。勾配方向は人物モデルの特徴境界に対する法線方向のベクトル（法線ベクトルｂ）となる。この勾配方向は、例えば、３６０度を１６方向に分割した各方向を選ぶようにしてもよい。そして、各画素の輝度勾配の位置（人物モデルの輪郭に相当する位置）について、人物モデルの中心点ｐとの間で勾配方向の角度（角度情報）と長さ（座標情報）を求め、これを人物モデルの形状データとして取得する。

次に、カメラ２で撮像した実際のカメラ画像に対して円形フーリエを行って輝度勾配と勾配方向を算出し、人物モデルの形状データに基づいて中心点ｐへの投票処理を行い、所定範囲内に閾値を超えた点が集まったと評価できる場合は、このカメラ画像内に人物モデルに相当する人物像が存在すると判断して人物の認識を行う。このとき、前記投票処理の結果が最も高い点が極大点ｄとなる（図２（Ｃ）参照）。この場合、カメラ画像の人物と人物モデルとの一致度が低下すると、前記投票処理の結果において前記閾値を超えた点の集まりが低下することとなり極大点ｄも低くなる。従って、例えば、カメラ画像に写った同一人物に対して、図２に示すように、２種類の人物モデルとして立位モデルと座位モデルとで投票処理を行ったときのそれぞれの極大点ｄを比較することで、極大点ｄが高い方の人物モデル（立位モデル又は座位モデル）に一致していると判別できる。すなわち、カメラ画像の人物は、極大点ｄの高い方の人物モデルの姿勢をしていると判別することが可能となる（本実施形態のモデル比較判定部７１）。なお、本実施形態では、図３に示す実際のカメラ画像のように、立位モデルと座位モデルの２種類の人物モデルに基づいてカメラ画像から立位の人物と座位の人物とを認識する。

追跡プロセス部８でカメラ画像の人物を追跡する場合、前記極大点ｄの位置をカメラ画像の人物が存在する位置座標とし、カメラ２により時間経過順に取得されるカメラ画像に対して同様に極大点ｄの位置座標を求め、この極大点ｄを経時的に追跡することでこの極大点ｄで示される人物の追跡を行うことができる。なお、追跡を行う場合、過去のフレーム（直前のフレーム又は一定フレーム数以前のフレーム）のカメラ画像においてベクトル焦点法で認識したカメラ画像の人物の像を基にして人物モデルを再構築して現フレームのカメラ画像から人物認識を行うようにしてもよい。

再び図１を参照して、モデル作成プロセス部５は、立位姿勢の人物モデルとなる立位モデルを生成する立位モデル生成部５１と、座位姿勢の人物モデルとなる座位モデルを生成する座位モデル生成部５２とを有する。画像処理プロセス部６は、ベクトル焦点法によってカメラ画像から人物を認識する人物認識部６１と、特徴量（例えば、輝度）の変化から背景でないと判定するための検査領域を事前に定義する非背景特徴算出部６２とを有する。

図４に示すように、モデル作成プロセス部５の立位モデル生成部５１は、カメラ２の環境設定（レンズ特性、カメラ設置高さ、カメラ設置角度など）の条件値を指定（ステップｉ）し、立位姿勢の人物の形状を模した立位モデルの寸法定義を指定（ステップｉｉ）することで、監視領域を撮像したカメラ画像上に適した立位モデルを生成する（ステップｉｉｉ）。この立位モデルの生成処理において、天井等の上方に設置されたカメラ２からカメラ２のレンズを通して見た人物形状と整合した立位モデルの形状データが計算により算出される（ステップｉｖ）。立位モデルの形状データは、モデル作成プロセス部５から画像処理プロセス部６に出力され、画像処理プロセス部６の人物認識部６１においてベクトル焦点法によりカメラ画像から立位の人物認識を行うための人物モデルとなる。

そして、図５も参照して、画像処理プロセス部６の非背景特徴算出部６２において、立位モデルの形状データから立位モデルの範囲内に特徴検査範囲を定義する（ステップＩ）。立位モデルの特徴検査範囲の定義により、立位モデルにおける上半身位置（例えば、頭部、肩部など）及び下半身位置を示す検査領域データが計算により算出して設定される（ステップＩＩ）。この立位モデルの検査領域データは、カメラ画像の人物の姿勢（立位、座位）や人物以外の物体か否かを検証するためのチェックポイントを定義したものとなる。これにより、例えば、図６に示す実際のカメラ画像のように、カメラ画像に写った立位の人物や座位の人物について、立位か座位かの検証において下半身が現れているか否かをチェックするために、立位モデルの下半身位置を通して特徴チェックを行うことができる（図６の左側上下のカメラ画像）。

また、モデル作成プロセス部５の座位モデル生成部５２は、立位モデル生成部５１で生成した立位モデルから座位モデルを生成する（ステップｖ）。この座位モデルは、立位モデルの形状データを基にして、立位モデルの下半身部分が無い上半身部分を流用した上半身モデルであり（図２（Ａ）参照）、更に、この上半身モデルを一般的な座位の高さ位置（例えば、身長を１７０ｃｍとした場合、１７０ｃｍ－４０ｃｍ相当の高さ位置）に移動させた位置にてカメラ２の環境設定条件に合わせて大きさ等を計算により算出し再構築することで座位モデルの形状データが作成される（ステップｖｉ）。座位モデルの形状データは、モデル作成プロセス部５から画像処理プロセス部６に出力され、画像処理プロセス部６の人物認識部６１においてベクトル焦点法によりカメラ画像から座位の人物認識を行うための人物モデルとなる。

そして、図５も参照して、画像処理プロセス部６の非背景特徴算出部６２において、座位モデルの形状データ及び座位モデルの基となった立位モデルの検査領域データから座位モデルの範囲内及び直下位置に特徴検査範囲を定義する（ステップＩＩＩ）。座位モデルの特徴検査範囲の定義により、座位モデルにおける上半身位置（例えば、頭部、肩部など）、座位モデルの直下位置としての下半身位置を示す検査領域データを計算により算出して設定される（ステップＩＶ）。この座位モデルの検査領域データは、カメラ画像の人物の姿勢（立位、座位）や人物以外の物体か否かを検証するためのチェックポイントを定義したものとなる。これにより、例えば、図６に示す実際のカメラ画像のように、カメラ画像に写った立位の人物や座位の人物について、立位か座位かの検証において下半身が現れているか否かをチェックするために、座位モデルに対する下半身位置を通して特徴チェックを行うことができる（図６の右側上下のカメラ画像）。

再び図１を参照して、評価プロセス部７は、画像処理プロセス部６で認識したカメラ画像の人物について、ベクトル焦点法により立位モデルで投票処理したときの一致度の極大点と座位モデルで投票処理したときの一致度の極大点の２つの極大点の比較から、立位モデルと座位モデルのどちらと一致度が高いかを評価して、カメラ画像の人物が立位か座位かを判定するモデル比較判定部７１と、画像処理プロセス部６で認識されたカメラ画像の人物について、下半身位置に、特徴量の差として背景画像とは異なる非背景特徴が見られる場合は、座位では無く立位であると判定する下半身判定処理部７２と、モデル比較判定部７１の判定結果と下半身判定処理部７２の判定結果を総合して集計し、カメラ画像の人物を立位と座位とに仮判定する集計処理部７３と、集計処理部７３で座位と仮判定された人物について、上半身の所定位置に、経時的な変化が見られる場合は、人物以外の物体では無く座位の人物であると判定する静止判定処理部７４とを備えている。

追跡プロセス部８は、評価プロセス部７で判定された立位の人物と座位の人物をそれぞれ経時的に追跡処理を行う追跡処理部８１と、評価プロセス部７の静止判定処理部７４で座位と判定された人物ついて、追跡処理部８１で経時的に追跡した結果、所定以上移動している場合は、座位では無く立位であると判定する移動判定処理部８２とを備えている。

次に、立位座位分離計数装置１の動作について説明する。
なお、監視領域にカメラ２を設置したとき、立位座位分離計数装置１を稼働する前に、画像処理装置３において、図４～図６に示すような、立位モデルの形状データ、座位モデルの形状データ、立位モデルの検査領域データ、座位モデルの検査領域データが事前に設定され登録される。

図７のフローチャートを参照して、立位座位分離計数装置１の動作は、まず、ステップＳ１にて、画像取得ステップにより、カメラ２で監視領域を上方から撮像したカメラ画像を取得し、この取得したカメラ画像を画像処理装置３へ出力する。次に、画像処理装置３において、ステップＳ２にて、画像処理プロセス部６の人物認識部６１で画像処理ステップを実行し、ベクトル焦点法を用いてカメラ画像から人物を認識する処理を行う。この画像処理ステップの人物認識処理では、カメラ画像を人物モデルにより投票処理を行うことで一致度に応じてカメラ画像から人物を認識するベクトル焦点法により、モデル作成プロセス部５で作成された立位モデルと座位モデルの２種類の人物モデルに基づいてカメラ画像から人物を認識する。

続いて、ステップＳ３にて、評価プロセス部７のモデル比較判定部７１でモデル比較判定ステップを実行し、画像処理ステップで認識したカメラ画像の人物が立位か座位かを判定する。このモデル比較判定ステップでは、画像処理ステップで認識した人物について、ベクトル焦点法により立位モデルで投票処理したときの一致度の極大点と座位モデルで投票処理したときの一致度の極大点の２つの極大点の比較から、立位モデルと座位モデルのうち一致度が高いモデルに対応してカメラ画像の人物が立位か座位かを判定する。つまり、画像処理ステップでは、ベクトル焦点法により立位モデルと座位モデルの２種類のモデルで人物を認識した場合、カメラ画像の立位の人物は、立位モデルだけでなく座位モデルともある程度合致するため、同一人物に対して立位でもあり座位でもあると重複して認識されてしまう可能性があるが、このモデル比較判定ステップによって、立位モデルと座位モデルとのそれぞれのベクトル焦点法による極大点を比較して評価することで、ベクトル焦点法により立位モデルと座位モデルの２種類のモデルで人物を捉えても立位と座位とを重複判定することなく正しく分別することができる。

また、ステップＳ４にて、評価プロセス部７の下半身判定処理部７２で下半身判定処理ステップを実行し、画像処理ステップで認識したカメラ画像の人物について下半身が存在するか否かチェックする。この下半身判定処理ステップでは、画像処理ステップで認識した人物に対し、非背景特徴算出部６２で設定した検査領域データに基づいて、立位モデルの下半身位置、座位モデルの下半身となる位置に、背景画像とは異なる非背景特徴が見られるか否かをチェックし、非背景特徴のデータが見られる場合は人物の下半身が存在すると推定し、その人物は座位では無く立位であると判定する。ここで、前記非背景特徴とは、背景として登録された画像に対して特徴量の変化などから背景ではないと判定できる特徴を指し、前記特徴量の変化は、例えば、輝度の差分、ＳＩＦＴ（Scale Invariant Feature Transform）特徴、その他の特徴検出手法で検出することができる。画像処理ステップでは、上述のとおり、同一人物を立位でもあり座位でもあると重複認識され得るが、この下半身判定処理ステップによって、カメラ画像の人物に下半身が存在するか否かをチェックすることで、画像処理ステップで認識した人物について、立位の人物を座位であると誤判定することを防止することができる。

そして、ステップＳ５にて、評価プロセス部７の集計処理部７３で集計処理ステップを実行し、モデル比較判定ステップの判定結果と下半身判定処理ステップの判定結果とを総合して、カメラ画像の人物を立位の人物と座位の人物とに振り分ける。すなわち、集計処理ステップでは、モデル比較判定ステップ及び下半身判定処理ステップで立位と判定された人物については立位の人物として集計し、一方、モデル比較判定ステップで座位と判定された人物のうち下半身判定処理ステップで立位と判定されたものを除いた人物を座位の人物として集計する。この集計処理ステップでの集計処理で立位とされた人物については、ステップＳ７にて追跡プロセス部８の追跡処理部８１で追跡処理を実行して経時的に追跡を行い、ステップＳ８にて立位の人物情報として確定し、集計部４へ出力する。

一方、集計処理ステップでの集計処理で座位とされた人物については、ステップＳ９にて、評価プロセス部７の静止判定処理部７４で静止判定処理ステップを実行し、頭部となる位置に経時的な変化が見られるか否かをチェックする。なお、チェックする位置は、頭部でなく肩部でもよいし、頭部と肩部の両方でもよく、上半身の所定位置から決定することができる。この静止判定処理ステップでは、非背景特徴算出部６２で設定した検査領域データに基づいて、座位モデルの頭部となる位置に、非背景特徴のデータがほとんど無く経時的な変化が見られない場合、この座位と判定された人物は、誤って人物として認識された背景オブジェクト、例えば、植木や椅子やバッグ等の荷物等のような人物以外の物体であると判断して、人物認識の登録をキャンセルし（ステップＳ１０で「ｎｏ」の処理）、以後の処理を終了する。これにより、カメラ画像に写った人物以外の物体を座位の人物であると誤判定することが防止される。一方、座位モデルの頭部となる位置に非背景特徴のデータが見られ、経時的な変化があると認められる場合、その変化は、体の一部としての頭部の動きであると推定でき、その人物は、人物以外の物体では無く座位の人物であると判定する（ステップＳ１０で「ｙｅｓ」の処理）。

静止判定処理ステップで座位と判定された人物については、ステップＳ１１にて、追跡プロセス部８の追跡処理部８１で経時的に追跡を行いながら、ステップＳ１２にて、追跡プロセス部８の移動判定処理部８２で移動判定処理ステップを実行する。この移動判定処理ステップにおいて、人物の追跡の結果、移動量が大きい場合（例えば、過去５秒の追跡位置を基準にしたとき、体の幅の２倍以上の移動量がある）、立位の人物を誤って座位と判定していたとし、この人物については立位であると最終決定する（ステップＳ１２で「ｙｅｓ」の処理）。一方、人物の移動量がほとんど無いか非常に小さい場合は、この人物は座位であると最終決定し（ステップＳ１２で「ｎｏ」の処理）、ステップＳ１３にて座位の人物情報として確定し、集計部４へ出力する。
以上の処理により、カメラ画像から認識した人物を立位と座位とに分別して各人数を集計部４にて経時的に集計することができる。

以上説明した本実施形態の立位座位分離計数装置１は、以下の作用効果を有する。
モデル作成プロセス部５により、人物モデルとして立位モデルと座位モデルの２種類だけ作成するので、メモリ量や計算処理能力の高い画像処理装置３が必要となることもない。また、座位モデルは、立位モデルが着座時にマッチするように立位モデルの上半身モデルから作成するので（図２（Ａ）、図４のステップｖ、ｖｉ）、座位モデルの形状データを独自に作成する必要がなく、人物モデルを最小の種類で簡易に作成することができる。

ベクトル焦点法により、単に、立位モデルと座位モデルの２種類のモデルでカメラ画像から人物を認識した場合に同一人物に対して立位でもあり座位でもあると重複して認識するおそれがある。この点、本実施形態では、評価プロセス部７のモデル比較判定部７１によって、ベクトル焦点法での立位モデルと座位モデルの投票処理による２つの極大点を比較して一致度が高い方からカメラ画像の人物が立位か座位かを判定することで（図７のステップＳ３）、ベクトル焦点法により立位モデルと座位モデルの２種類のモデルで人物を捉えても立位と座位とを重複判定することなく正しく判別することができる。

下半身判定処理部７２により、画像処理プロセス部６で認識されたカメラ画像の人物について、下半身位置に、監視領域の背景画像に対して特徴量の差として非背景特徴が見られる場合は、座位では無く立位であると判定する（図７のステップＳ４）。すなわち、カメラ画像の人物の下半身位置に、例えば、輝度の差のような特徴量の差として背景画像とは異なる非背景特徴が見られる場合は、下半身の画像が存在していると考えられるため、この場合、下半身判定処理部７２によって、この人物は、座位では無く立位であると判定される。従って、ベクトル焦点法により立位モデルと座位モデルの２種類のモデルで人物を捉えても、立位の人物を座位であると誤判定することが防止され、立位と座位とを誤判定することなく正しく判別することができる。

静止判定処理部７４により、集計処理部７３で座位と判定されたカメラ画像の人物について、頭部等の上半身の所定位置に、経時的な変化が見られる場合は、人物以外の物体では無く座位の人物であると判定する（図７のステップＳ９、Ｓ１０）。すなわち、着座している人は、着座位置から移動することなく留まっていても、体の一部である頭部や肩部を動かすことが多いため、椅子や植木や荷物などの人物以外の静止した物体と区別できるので、本実施形態では、静止判定処理部７４によって、頭部等に動きが見られる場合は、人物以外の物体では無く座位の人物であると判定される。従って、ベクトル焦点法により座位モデルで人物を捉えても人物以外の物体を座位の人物であると誤判定することなく正しく判定することができる。

追跡プロセス部８に備える移動判定処理部８２により、評価プロセス部７で座位と判定されたカメラ画像の人物ついて、経時的に追跡した結果、所定以上移動している場合は、座位では無く立位であると判定する（図７のステップＳ１２で「ｙｅｓ」）。すなわち、立っている人は、立ち位置に留まっていても、１、２歩動くことが多いので、本実施形態では、評価プロセス部７で座位と判定されたカメラ画像の人物であっても、移動判定処理部８２によって、体の幅の２倍以上のように所定以上移動していた場合は、座位では無く立位であると判定される。従って、ベクトル焦点法により立位モデルと座位モデルの２種類のモデルで人物を捉えても立位と座位とを誤判定することなく正しく判定することができる。

以上より、本実施形態によれば、監視領域を上方から１台のカメラ２で撮像したカメラ画像から人物の立位か座位かの姿勢を簡易に分別でき、且つ、立位と座位との判別の信頼性が高いという効果が得られる。

なお、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲内で様々な変更を行うことが可能である。
例えば、追跡処理部８１は、カメラ画像の人物について、移動が少なくなり、且つ、人物モデルによる人物認識が低下したときは、人物モデルの頭部に該当する部分を追跡すべき人物モデルとして次のフレームへの追跡を実行する構成を備えるようにしてもよい。この構成について、以下に説明する。

画像処理プロセス部６において立位モデルと座位モデルの２種類の人物モデルに基づいてカメラ画像から人物を認識する場合、立位モデルは、人物の頭と胴体が存在する一定形状の人物モデル（図２参照）とし、この一定形状の人物モデルに基づいてカメラ画像から人物を認識しているため、着座動作や立ち上がり動作のように頭と胴体の位置関係がく字状の斜め形状になると、立位モデルとのマッチングが悪化して人物認識が低下し、最悪の場合はカメラ画像から人物を見失うおそれがある。一旦、人物を見失うと、次に同一人物であるにもかかわらず、立位又は座位の別の人物として新たに認識し登録されてしまう。

そこで、上記のように、追跡処理部８１によって、カメラ画像の人物について、移動が少なくなり、且つ、人物モデルによる人物認識が低下したときは、一時的に、頭部だけを追跡することで、着座動作や立ち上がり動作のようなく字状の斜め形状となっても、正常に同一人物として追跡することができる。従って、ベクトル焦点法により立位モデルと座位モデルの２種類のモデルで人物を捉えても、人物の着座動作や立ち上がり動作の際も正常に同一人物の追跡を行うことができ、立位と座位の判定精度を高く保持することができる。また、頭部だけを常に追跡するような場合は、頭部程度の大きさのバッグや荷物などの人物以外の物体を人物であると誤認識や誤追跡するおそれがあるが、上述のように、限られた範囲で一時的に頭部だけの追跡を行うため、このような誤認識や誤追跡を防止することができ、同一人物の認識及び追跡の精度を高く保持することができる。

１ 立位座位分離計数装置
２ カメラ（撮像部）
３ 画像処理装置
４ 集計部
５ モデル作成プロセス部
６ 画像処理プロセス部
７ 評価プロセス部
８ 追跡プロセス部
５１ 立位モデル生成部
５２ 座位モデル生成部
６１ 人物認識部
６２ 非背景特徴算出部
７１ モデル比較判定部
７２ 下半身判定処理部
７３ 集計処理部
７４ 静止判定処理部
８１ 追跡処理部
８２ 移動判定処理部

Claims (5)

1. 監視領域を上方から撮像して画像を取得する撮像部と、撮像部で取得された画像から立位の人物と座位の人物とを分別して認識する画像処理装置と、画像処理装置で分別した立位と座位との人数を集計する集計部とを備える立位座位分離計数装置であって、
   画像処理装置は、人物の立位姿勢を模した立位モデルを撮像部の撮像環境に基づいて作成し、この立位モデルの下半身部分が無い上半身部分を流用して、この上半身部分のモデルを座位の高さ位置に移動させて撮像環境に適合するように再構築することで座位モデルを作成するモデル作成プロセス部と、撮像部で取得した画像を人物モデルに基づいて投票処理を行うことで一致度に応じて人物を認識するベクトル焦点法により、前記立位モデルと前記座位モデルの２種類の人物モデルに基づいて撮像部で取得した画像から人物を認識する画像処理プロセス部と、画像処理プロセス部で認識した人物が立位か座位かを判定する評価プロセス部とを備え、
   評価プロセス部は、ベクトル焦点法により立位モデルで投票処理したときの一致度の極大点と座位モデルで投票処理したときの一致度の極大点の２つの極大点の比較から、立位モデルと座位モデルのどちらと一致度が高いかを評価して、画像の人物が立位か座位かを判定するモデル比較判定部を備える、立位座位分離計数装置。
2. 評価プロセス部は、画像処理プロセス部で認識された画像の人物について、下半身位置に、背景画像とは異なる非背景特徴が見られる場合は、座位では無く立位であると判定する下半身判定処理部を更に備える、請求項１に記載の立位座位分離計数装置。
3. 評価プロセス部は、モデル比較判定部及び下半身判定処理部の結果の集計から座位と判定された人物について、上半身の所定位置に、経時的な変化が見られる場合は、人物以外の物体では無く座位の人物であると判定する静止判定処理部を更に備える、請求項２に記載の立位座位分離計数装置。
4. 画像処理装置は、画像処理プロセス部で認識した画像上の人物を追跡処理する追跡プロセス部を更に備え、
   追跡プロセス部は、評価プロセス部で座位と判定された画像の人物について、経時的に追跡した結果、所定以上移動している場合は、座位では無く立位であると判定する移動判定処理部を備える、請求項１～３のいずれか１項に記載の立位座位分離計数装置。
5. 監視領域を上方から撮像部で撮像して取得する画像から立位と座位との人物を分別して認識する立位座位分別処理方法であって、
   人物モデルとして立位モデルと座位モデルとを撮像部の撮像環境に基づいて事前に設定し、この際、座位モデルは、立位モデルの設定位置において立位モデルの下半身部分が無い上半身部分を流用して、この上半身部分のモデルを座位の高さ位置に移動させて撮像環境に適合するように再構築されており、
   撮像部で取得した画像を人物モデルに基づいて投票処理を行うことで一致度に応じて人物を認識するベクトル焦点法により、前記立位モデルと前記座位モデルの２種類の人物モデルに基づいて撮像部で取得した画像から人物を認識する画像処理ステップと、
   画像処理ステップで認識した人物について、ベクトル焦点法により立位モデルで投票処理したときの一致度の極大点と座位モデルで投票処理したときの一致度の極大点の２つの極大点の比較から、立位モデルと座位モデルのどちらと一致度が高いかを評価して、画像の人物が立位か座位かを判定するモデル比較判定ステップと、
   画像処理ステップで認識された画像の人物について、下半身位置に、背景画像とは異なる非背景特徴が見られる場合は、座位では無く立位であると判定する下半身判定処理ステップと、
   モデル比較判定ステップ及び下半身判定処理ステップの結果の集計から座位と判定された画像の人物について、上半身の所定位置に、経時的な変化が見られる場合は、人物以外の物体では無く座位の人物であると判定する静止判定処理ステップと、
   静止判定処理ステップで座位と判定された画像の人物について、経時的に追跡した結果、所定以上移動している場合は、座位では無く立位であると判定する移動判定処理ステップとを備える、立位座位分別処理方法。
   

Images