JP2020091649A - 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】 画像内で検出された被写体を特定の領域と関連付けて滞留時間を計測可能とする技術を提供する。【解決手段】 画像処理装置であって、処理対象画像に被写体を検出する領域を設定し、時間的に連続する複数の処理対象画像を解析して被写体を検出し、時間的に連続する複数の処理対象画像における被写体の検出結果に基づいて、被写体が領域内に滞留している滞留時間を決定し、該決定において、被写体が領域内から領域外に移動して、領域内に戻った場合に、被写体が領域外に位置していた時間を滞留時間に含める。【選択図】 図１

Description

本発明は、画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラムに関する。

監視カメラで撮影された画像や、撮影後に記憶装置に記憶された画像を解析し、活用する事例が増えている。例えば、人体検出や人体追尾の技術を用いて領域内の人数を数えたり、ラインを通過した人数を数えたりすることができる。これにより、特定領域の人体の活動状況、特には特定領域に滞在している時間を把握することが可能である。特許文献１及び２には、特定領域内における人物の滞留時間（滞在時間）を測定する発明が開示されている。

特開２０１５−６９６３９号公報 特開２０１７−１８２６５４号公報

しかしながら、一つの窓口等に対して人物が対応を受ける所定の場所各々に対して領域を設定し、領域内における滞留時間を計測する場合、人物が複数の領域内で検出される場合がある。また、人物が一時的に異なる領域に出入りしてしまう場合や、異なる領域を通過する場合も考えられる。このような場合、人物が利用しようとしていると推測される窓口と関連付けられた特定の領域における滞留時間として、滞留時間を計測する技術が必要とされている。

そこで本発明は、画像内で検出された被写体を特定の領域と関連付けて滞留時間を計測可能とする技術を提供する。

上記課題を解決するための発明は、画像処理装置であって、
処理対象画像に被写体を検出する領域を設定する設定手段と、
時間的に連続する複数の処理対象画像を解析し、被写体を検出する検出手段と、
前記時間的に連続する複数の処理対象画像における前記被写体の検出結果に基づいて、前記被写体が前記領域内に滞留している滞留時間を決定する決定手段と
を備え、
前記決定手段は、前記被写体が前記領域内から前記領域外に移動して、前記領域内に戻った場合に、前記被写体が前記領域外に位置していた時間を前記滞留時間に含めることを特徴とする。

本発明によれば、画像内で検出された被写体を特定の領域と関連付けて滞留時間を計測することができる。

発明の実施形態に係るシステム構成の一例を示す図、及び、画像処理装置のハードウェア構成の一例を示す図。 発明の実施形態に係る画像処理装置の機能構成の一例を示す図。 発明の実施形態に係る判定領域の設定方法を説明するための図。 発明の実施形態に係る処理の一例を示すフローチャート。 発明の実施形態に係る測定結果を登録するテーブルの一例を示す図。 発明の実施形態に係る滞留単位調整処理の一例を説明するための図。 発明の実施形態に係る滞留単位調整処理の一例を示すフローチャート。 発明の実施形態に係る滞留単位調整処理の他の一例を説明するための図。 発明の実施形態に係る滞留単位調整処理の他の一例を示すフローチャート。 発明の実施形態に係る滞留単位調整処理の更なる例を説明するための図。 発明の実施形態に係る滞留単位調整処理の更なる例を示すフローチャート。

以下、図を参照して、発明の実施形態を説明する。なお以下の実施形態において示す構成は一例に過ぎず、発明は図示された構成に限定されるものではない。

［実施形態１］
図１（Ａ）を参照して、発明の実施形態に係るシステム構成について説明する。図１（Ａ）は、本実施形態における画像処理システム１０の構成の一例を示したブロック図である。画像処理システム１０は、少なくとも１台の撮像装置（ネットワークカメラ）１１０と画像処理装置１２０とがネットワーク１３０を介して接続されて構成される。

撮像装置１１０は、例えば店舗、劇場、映画館、スタジアムといった監視対象区域に設置される監視カメラである。撮像装置１１０は、監視対象区域における所定の領域（監視領域）を撮影するように設置され、ネットワーク１３０を介して撮影した画像（動画像、静止画像）を画像処理装置１２０に配信する機能を持つ。また、撮像装置１１０は複数台が用意され、監視対象区域内の複数の監視領域をそれぞれ撮影するため、個々に設置されていてもよい。

撮像装置１１０は、監視対象区域内の監視領域を撮影することにより画像を生成する。撮像装置１１０では、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子を用いて光電変換により得られたアナログ画像信号をＡ／Ｄ変換によりデジタル画像信号に変換する。また、デジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施する。更に、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.２６４、H.２６５、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp４やavi形式などを含む任意の形式の画像データを生成しても良い。符号化された画像データは、画像処理装置１２０に配信される。撮像装置１１０では、例えば、静止画像のほかに、１秒間に所定数のフレーム分（例えば、３０フレーム）の画像を取得して、監視領域の３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。

画像処理装置１２０は、例えばパソコン、サーバー、タブレット等の、情報処理装置、通信装置、制御装置等として実現することができる。画像処理装置１２０は、ネットワーク１３０を介して撮像装置１１０と通信し、撮像装置１１０の動作を制御することができる。例えば、撮像装置１１０の撮影方向、画質設定やＰＴＺの制御等の変更要求を行ったりすることができる。また、撮像装置１１０で撮像された動画像及び静止画像をネットワーク１３０を介して受信する。画像処理装置１２０は単一の装置により実現される場合だけでなく、複数の装置が協働して各機能を実現してもよい。

画像処理装置１２０は、撮像装置１１０に対して、後述する判定領域の設定や撮像制御のコマンドを送信してもよい。撮像装置１１０は、それらのコマンドに対するレスポンスを画像処理装置１２０に送信する。画像処理装置１２０は、取得した映像情報に対して、後述する判定領域の設定や判定処理、出力処理など処理に関する設定をする。

ネットワーク１３０は、ＬＡＮ（Local Area Network）として構成することができる。但し、ネットワーク１３０はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。また、ＬＡＮ１３０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１（Ａ）において、撮像装置１１０及び画像処理装置１２０は、１台ずつがネットワーク１３０に接続されているが、接続台数は図１（Ａ）に示す数に限定されず、より多くの台数が接続されていてもよい。

次に、図１（Ｂ）を参照して、画像処理装置１２０のハードウェア構成について説明する。図１（Ｂ）は、発明の実施形態に係る画像処理装置１２０のハードウェア構成の一例を示すブロック図である。図１（Ｂ）に示した構成は、画像処理装置１２０の構成の一例に過ぎず、適宜変形変更が可能である。

ＣＰＵ１２１は、主記憶部１２２に格納されているコンピュータプログラムやデータを用いて処理を実行する。これにより、画像処理装置１２０全体の動作制御を行うと共に、画像処理装置１２０が行うものとして後述する各処理を実行する。ＣＰＵ１２１は、主記憶部１２２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、後述する機能を実現する。主記憶部１２２は、ＲＡＭ（Random Access Memory）等の記憶装置である。主記憶部１２２は、補助記憶部１２３からロードされたコンピュータプログラムやデータ、ネットワークＩ／Ｆ１２７を介して撮像装置１１０から受信、もしくはファイルから取得した各種のデータや画像を格納するためのエリアを有する。さらに主記憶部１２２は、ＣＰＵ１２１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶部１２２は、各種のエリアを適宜提供することができる。

補助記憶部１２３は、ＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）等の大容量情報記憶装置である。補助記憶部１２３には、ＯＳ（オペレーティングシステム）や、画像処理装置１２０が行うものとして後述する各処理をＣＰＵ１２１に実行させるためのコンピュータプログラムやデータが保存されている。また補助記憶部１２３には、ネットワークＩ／Ｆ１２６を介して撮像装置１１０から受信した各種のデータや撮像画像、もしくは、ネットワーク１３０に接続された他の外部装置（画像サーバ等）から取得した画像等も保存される。補助記憶部１２３に保存されているコンピュータプログラムやデータは、ＣＰＵ１２１による制御に従って適宜主記憶部１２２にロードされ、ＣＰＵ１２１による処理対象となる。

入力部１２４は、例えばキーボードやマウス、タッチパネルなどのユーザインターフェースにより構成され、画像処理装置１２０のユーザが操作することで各種の指示を画像処理装置１２０に入力できる。表示部１２５は、液晶画面などにより構成されており、画像処理装置１２０による処理結果を画像や図、文字などでもって表示することができる。ネットワークＩ／Ｆ１２６は、画像処理装置１２０がネットワーク１３０を介して撮像装置１１０との間のデータ通信を行うために利用するインターフェースである。

図１（Ｂ）では、画像処理装置１２０が入力部１２４と表示部１２５とを備えた１つの装置としているが、入力部１２４と表示部１２５とを画像処理装置１２０とは別体としてもよい。また、表示部１２５は画像処理装置１２０と一体として入力部１２４を別体としてもよい。あるいは、入力部１２４は画像処理装置１２０と一体化させ表示部１２５を別体としてもよい。更には入力部１２４と表示部１２５とを一体化させつつ、画像処理装置１２０とは別体としてもよい。入力部１２４や表示部１２５を画像処理装置１２０とは別体とする場合には、画像処理装置１２０は、接続用のインターフェースを更に備えることができる。

次に、図２を参照して発明の実施形態に対応する画像処理装置１２０の機能構成について説明する。図２は、発明の実施形態に対応する画像処理装置１２０の機能構成の一例を示すブロック図である。以下、各機能ブロックが果たす機能について説明する。

通信部２０１は、ネットワーク１３０を介して撮像装置１１０と通信する。画像取得部２０２は、撮像装置１１０から通信部２０１を介して取得した画像、もしくは、補助記憶部１２３に記憶されている画像を、処理対象画像として取得する。画像は静止画であってもよいし、動画であってもよい。動画は、時間的な連続性（あるいは、関連性）を有する複数のフレーム画像により構成され、各フレーム画像（以下、簡単のため「画像」ともいう）が本実施形態における処理対象画像となる。なお、時間的に連続する複数の画像とは、撮像装置１１０によって撮像された動画の各フレーム画像を間引いた画像であってもよい。例えば、撮像装置１１０によって撮像された動画の各フレーム画像を所定の数ごとに１つ取得して、それを処理対象画像としてもよい。

人体検出部２０３は、処理対象画像を解析し、画像中に含まれる被写体である人体（人物）を検出する。本実施形態では、処理対象の被写体が人体である場合を説明するが、被写体には人体以外の車両などの有体物が含まれてもよい。人体追尾部２０４は、時間的に連続する複数の画像（フレーム）の間で検出された人体のうち、同一人体を識別して追尾する。

領域内外判定部２０５は、検出した人体の位置情報と設定された領域の位置情報とに基づいて、当該人物が領域の内側に存在するのか、或いは、領域の外側に存在するのかを判定する領域内外判定を行う。滞留時間計測部２０６は、設定された領域内に人体が滞留した滞留時間を計測する。滞留時間計測部２０６は、検出された人体毎に、滞留開始時刻、滞留終了時刻、滞留時間を、人体を識別する情報及び領域と関連付けて、「滞留単位」として補助記憶部１２３に保持する。

滞留単位調整部２０７は、滞留時間計測部２０６により生成された滞留単位の調整を行う。当該処理のことを、本実施形態では滞留単位調整処理と呼ぶ。滞留単位調整処理の詳細は後述する。滞留領域時間決定部２０８は、調整された滞留単位に基づいて、検出された各人体が滞留した判定領域を決定し、滞留時間を決定する。出力部２０９は、調整され決定された滞留単位を出力する。表示制御部２１０は、撮像装置１１０から通信部２０１を介して取得した画像、もしくは補助記憶部１２３に記憶されている画像を、複数の処理ブロック２０２から２１２を介して、表示部１２５に表示するための処理を行う。画像を表示する際に、滞留単位に基づく人体単位の滞留時間を表示させることもできる。表示制御部２１０は、画像処理装置１２０からの操作を受け付けるためのGUIを表示部１２５に表示することができる。

入力受付部２１１は、入力部１２４からの信号の取り込みを行う。画像処理装置１２０を操作するユーザは、入力部１２４を介して表示部１２５に表示されたＧＵＩを操作し入力を行うことができる。後述する領域の設定等もＧＵＩを介してユーザが行うことができる。領域設定部２１２は、画像内に領域を設定し、設定した領域に関する領域設定情報を保持する。一度設定した領域の領域設定情報は、次に変更が加えられるまで保持される。

以上の構成に基づき、画像処理装置１２０は、画像解析、設定、計測、出力等の処理を行う。上記の構成で、画像処理システム１０において実行される処理の概要を説明する。まず、処理対象画像を解析して被写体となる人体を検出する。人体が画像内で複数検出された場合、時系列で個別に人体の同定を行い、同一の人体を追尾する（画像間において移動する人体の軌跡を追跡する）。また、画像内に領域が設定されている場合は、領域内に人体が滞留していた時間を計測する。時刻情報と共に計測した結果をファイル等に出力する。その際に、検出情報や追尾情報、設定情報を合わせて出力してもよい。また、検出情報やフレーム間の同一人体を識別する情報、設定情報、計測結果のいずれか一つ以上を表示部１２５に表示してもよい。

次に図３を参照して、画像内に判定領域を設定する方法を説明する。本実施形態において、画像処理システム１０は、受付窓口や接客カウンタ、会計レジなど人が対応を受けるような場所に対して適用され、受付窓口に並ぶ人物を撮影し、対応に要した時間を測定する。よって、本実施形態では、対応窓口の各々に対して判定領域を設定する。例えば、本実施形態では、図３の対応窓口３０４で対応を受けた顧客毎の対応に要した時間をできるだけ正確に計測することを目的の一つとする。判定領域の設定は、判定領域３０１のように対応窓口３０４の向かい側に設定する。対応窓口３０５、対応窓口３０６で対応を受けた人毎の対応に要した時間を計測したい場合も同様である。判定領域を順に判定領域３０２、判定領域３０３のように各々の対応窓口の向かい側に設定する。

図３において、画像内に設定される複数の判定領域は、判定領域３０１から３０３のように互いに隣接し合って設定される。この場合、各判定領域内で検出される人体が、判定領域内を移動する過程において、領域の外に出てしまったり、或いは、隣の別の領域に入り込んでしまったりすることが考えられる。その場合であっても、検出人体に対応する各人物は自身が対応を受けている窓口の前に位置しているものであって、たまたま紛れ込んだ隣の領域に対応する窓口において対応を受けているわけではない。従って、人体が一時的に異なる領域で検出されたり、或いは、本来属していた領域の外に出たりした場合であっても、その時間は元の領域で対応を受けている時間に含めるべきと考えることができる。以下に説明する実施形態では、特定の領域外で人体が検出されることがあっても、特定の領域に滞在している時間として計測可能とする技術について説明する。

まず、図４のフローチャートを参照して画像処理システム１０における全体的な処理の流れを説明する。ここでの処理は画像処理装置１２０が、画像処理装置１２０の内部の補助記憶部１２３から主記憶部１２２にプログラムを読み出して、ＣＰＵ１２１がそのプログラムに基づいて実行する処理である。

画像処理装置１２０は、補助記憶部１２３に滞留時間などの情報を保持する。保持する情報は、検出された人体を識別する識別情報と、判定領域毎の滞留時間、滞留開始時刻及び滞留終了時刻の情報とを含み、これらをまとめて「滞留単位」と呼ぶ。補助記憶部１２３に保持された滞留単位の情報は、検出された人体の判定領域における滞留時間を計測するために使用される。この処理の手順について詳細を以下に説明する。

Ｓ４０１では、領域設定部２１２は、監視対象区域を撮影して得られた処理対象の画像において滞留時間を計測する判定領域を設定する。判定領域は１つ以上の任意の数を設定することができる。画像内に設定されたそれぞれの判定領域の位置情報は、補助記憶部１２３に保持される。続くＳ４０２では、画像取得部２０２は、処理対象の画像を取得する。画像取得部２０２は、通信部２０１を介して撮像装置１１０から画像を取得するか、もしくは、補助記憶部１２３に記憶された画像を取得する。処理対象画像が動画のフレーム画像である場合、１フレーム画像毎に撮影時刻の情報が付随している。当該撮影時刻の情報は、処理対象画像において人体が検出された時刻情報として利用することができる。続くＳ４０３では、人体検出部２０３は、取得した処理対象の画像を解析して人体を検出する。

続くＳ４０４では、人体追尾部２０４は、補助記憶部１２３に保持されている検出された人体の位置情報から、時間的に連続する画像間の同一人体を特定する。特定した人体に同一人体を識別するための識別情報を付与し、補助記憶部１２３に保持する。同一人体については共通の識別情報が付与され、時間的に連続するフレーム画像における人体の位置情報が当該識別情報と関連付けられることにより、画像間における同一人体の移動を追跡することができる。

続くＳ４０５では、領域内外判定部２０５は、補助記憶部１２３に保持されている検出された人体の位置情報と判定領域の位置情報とを取得して領域内外判定を行う。ここでは、判定領域の位置情報により特定される判定領域の範囲に人体の位置情報が含まれるか否かに基づいて、検出された人体が判定領域の内側にいるのか、それとも判定領域の外側にいるのかを判定することができる。また、判定領域が複数ある場合には、検出された人体がいずれの判定領域に属しているかを特定する。領域内外判定の結果は、補助記憶部１２３に保持する。

続くＳ４０６では、滞留時間計測部２０６は、補助記憶部１２３に保持されている画像毎の時刻情報と、人体の識別情報と、領域内外判定結果とを取得する。取得した情報に基づいて、滞留時間を計測する。例えば、ある判定領域で人体が検出された時刻を当該人体が検出された画像の撮像時刻に基づいて特定し、その後に同一人体が同一判定領域内にいないと判定されるまでの時間を累積して滞留時間とすることができる。滞留時間の開始時刻は、判定領域内で初めて人体が検出された画像の撮像時刻に相当する。また、滞留時間の終了時刻は、判定領域内で連続的に検出されていた人体が最後に検出された画像の撮像時刻に相当する。計測した滞留時間は、人体を特定するための識別情報と、領域を特定するための情報と関連付けられて補助記憶部１２３に保持される。

このとき、領域及び人体単位に生成された滞留時間の情報を「滞留単位」と呼ぶ。滞留時間計測部２０６は、同一の人体が同一の判定領域内で連続して検出されている間は、同一の滞留単位の情報を更新していく。例えば、滞留時間の終了時刻を現在の画像の撮像時刻に更新し、それに合わせて滞留時間を更新する。同一の人体が判定領域外に出た場合、新たな滞留単位を生成してその情報を更新し、判定領域内に戻った場合には、再度新たな滞留単位を生成して滞留時間の情報を更新していく。これにより、検出された人体が領域内外を移動する場合には、現在位置に応じた滞留単位が複数生成されることになる。

Ｓ４０７では、滞留単位調整部２０７は、補助記憶部１２３に保持している滞留単位を比較して、滞留単位を調整する。例えば、同一の人体について生成された滞留単位について、滞留時間が最も長い滞留単位を選択して、滞留時間の長さを調整することができる。滞留領域時間決定部２０８は滞留単位調整部２０７で調整した滞留単位に基づいて、出力部２０９が集計処理や出力処理、表示処理に使用する滞留した判定領域、滞留時間を決定する。出力部２０９では、選択された滞留単位は、適当なタイミングで出力してもよい。表示制御部２１０では、画像だけでなく、滞留単位の情報を表示してもよい。続くＳ４０８では、画像取得部２０２が、未処理の画像が存在するか否かを判定し、画像が存在する場合は、処理はＳ４０２に戻る。一方、未処理の画像が存在しない場合は、本処理を終了する。

次に図５を参照して、図４の処理に基づいて生成された測定結果を登録するテーブルのデータ構成の一例について説明する。図５は、発明の実施形態に対応する測定結果を登録するテーブルの一例を示す図である。

テーブル５００の情報は、補助記憶部１２３に保持される。テーブル５００の行は、各々の判定領域に滞留した滞留時間を含む滞留単位を人体毎に表す。列５０１は人体の判定領域内での滞留開始時刻を表す。列５０２は人体の判定領域内での滞留終了時刻を表す。列５０３は人体を一意に識別するための人体識別情報（追尾ＩＤと呼ぶ）を登録する。この追尾ＩＤにより、処理対象画像において検出された人体を、複数の画像間において一意に識別することができる。列５０４、列５０５、列５０６は判定領域で人体が滞留した滞留時間を表している。判定領域の設定数は処理が可能であれば、数の制限は設けなくてよい。また、滞留時間を「００：０３：００」のように「時：分：秒」を各々二桁ずつ「：」で区切った形式で表しているが、滞留時間の表示の形式はこれに限らない。秒単位、ミリ秒単位などで表示をしてもよい。

図５に示した例では、検出された人体がそれぞれ同一の領域内に留まったまま、領域外にでることがない場合を示している。この場合には、滞留開始時刻６１１と滞留終了時刻６１２との差分が、そのまま対応する領域における滞留時間となる。これに対し、領域が近接して設定される場合には、同一人体が複数の領域で検出される場合がある。

そこで、図６を参照して、同一人体が複数の領域内で検出された場合の滞留単位調整処理について説明する。当該処理は、図４のＳ４０７における処理に相当する。本実施形態では、累計滞留時間が最も長い判定領域に対応する窓口で対応を受けたものと推定して、累計滞留時間が最長の滞留単位を選択する。詳細を以下に説明する。

図６（Ａ）は、２つの隣接して設定された判定領域の間を人体が移動する様子の一例を示している。ユースケース６００は、ある処理対象画像に設定された判定領域Ａ６０１と判定領域Ｂ６０２とを切り出して示すものであり、判定領域上の点は、複数の画像フレームにおいて検出された同一人体の各位置を示している。また、矢印は移動の方向（経路、軌跡）を示している。

図６（Ｂ）は、ユースケース６００に示す人体の測定結果の一例を示すテーブルである。テーブル６１０では、同一人体が複数の領域内で検出された場合の滞留情報を時刻順に滞留単位で示している。テーブル６１０の情報は補助記憶部１２３に保持されている。テーブル６１０に示す情報は、Ｓ４０７の滞留単位調整処理を行う前の情報である。

テーブル６１０の各行は、人体の各々の判定領域での滞留時間を含む滞留単位を表しており、登録されている項目は図５に示したものと基本的に同じである。列６１１は人体の判定領域内での滞留開始時刻を表す。列６１２は人体の判定領域内での滞留終了時刻を表す。列６１３は時間的に連続する画像間で同一人体を識別するための識別情報を表し、ここでは追尾ＩＤで識別している。列６１４は判定領域Ａ６０１に人体が滞留した滞留時間を表している。列６１５は判定領域Ｂ６０２に人体が滞留した滞留時間を表している。

テーブル６１０に示すように、検出された人体は、１６：００：００から１６：０４：００の４分間は判定領域Ａ６０１に滞在した後、１６：０４：０５から１６：０４：１５の１０秒間だけ判定領域Ｂ６０２に滞在した。その後、判定領域Ａ６０１に戻って２分２０秒間滞在している。

次に図６（Ｃ）は、テーブル６１０のうち、同一の追尾ＩＤ６１３を有する滞留時間を抽出したテーブル６２０を示す。ここで、同一人体について複数の判定領域で滞留時間が記録されている場合、各判定領域における滞留時間の累計を求める。また、いずれの領域にも属していない時間の長さを領域外の累計滞留時間として求める。

列６２１はフレーム間の同一人体識別情報を表し、ここでは追尾ＩＤで識別している。列６２２は判定領域Ａ６０１における累計滞留時間を表している。追尾ＩＤ１５の判定領域Ａでの一回目の出入り時の滞留時間は００：０４：００である。判定領域Ａでの二回目の出入り時の滞留時間は００：０２：２０である。よって、判定領域Ａでの累計滞留時間は００：０６：２０である。同様に、列６２３は判定領域Ｂ６０２における累計滞留時間を表している。追尾ＩＤ１５の判定領域Ｂでの滞留時間は００：００：１０である。よって、判定領域Ｂ６０２での累計滞留時間は００：００：１０である。

列６２４は、判定領域Ａ６０１及び判定領域Ｂ６０２のどの判定領域にも属さない判定領域外で人体が滞留した累計滞留時間を表している。追尾ＩＤ１５の判定領域外での滞留時間は判定領域Ａから判定領域Ｂへ移動する間の滞留時間００：００：０５と判定領域Ｂから判定領域Ａへ移動する間の滞留時間００：００：０５とする。判定領域外の累計滞留時間は００：００：１０とする。

テーブル６２０に示す例では、追尾ＩＤ１５の人体は、判定領域Ａ６０１の累計滞留時間６２２と判定領域Ｂ６０１の累積滞留時間６２３とを比較すると、前者が最も長いため、判定領域Ａ６０１の滞留単位を選択する。判定領域外の累計滞留時間６２４は比較の対象にはしない。

図６（Ｄ）は、上記で選択した滞留単位に基づいて滞留時間を調整し、複数の滞留単位を統合した単独の滞留単位を示すテーブル６３０を示す。判定領域Ａ６０１に一回目に入った滞留開始時刻と判定領域Ａ６０１を二回目に出た滞留終了時刻を順に、追尾ＩＤ１５の判定領域Ａ６０１での滞留開始時刻、滞留終了時刻とする。滞留時間は、滞留開始時刻と滞留終了時刻の差分とし、滞留単位を一つに決定（統合）する。テーブル６２０に基づく処理の結果から、累計滞留時間が最も長い判定領域Ａの滞留時間を００：０６：４０とする。判定領域Ｂ６０２の滞留時間は０にする。これにより得られた滞留単位により、テーブル６１０に示される滞留単位調整処理前の情報を更新する。

但し、最終的な滞留単位の決定結果はこれに限られるものではない。判定領域Ａ６０１での一回目の出入り時の滞留単位と二回目の出入り時の滞留単位を統合せず、各々で保持してもよい。また、それぞれを保持する場合に、二回目の滞留時間が所定の時間よりも長い場合には別々に保持し、所定の時間以下の場合には統合するようにしてもよい。あるいは、一回目と二回目の間の領域外に滞留した時間が所定の時間よりも長い場合に、それぞれを別々に保持するようにしてもよい。このようにして、同一人体が複数の判定領域に滞留したことがある場合は、累計滞留時間が最も長い判定領域の滞留単位を基準として調整を行う。累計滞留時間が最長の判定領域を明確にすることで、実際に対応を受けた窓口等を特定する判断が容易になる。

次に図７のフローチャートを参照して、滞留単位調整処理の流れを説明する。Ｓ７０１〜Ｓ７０７の処理を、前回の処理対象画像で人体追尾が終了していない全人体それぞれについて繰り返す。人体全てに対してＳ７０１〜Ｓ７０７の処理が行われるまでの間行う。

Ｓ７０２では、滞留単位調整部２０７は、処理対象の人体について人体追尾処理が終了しているか否かを判定する。当該終了判定は、直前の処理対象画像には存在していた判定対象の人体が、現在の処理対象画像に存在しない場合に行うことができる。具体的に、滞留単位調整部２０７は、補助記憶部１２３に保持されている人体追尾情報と、処理対象となっている現在の画像の人体追尾情報とを比較する。比較の結果、保持されている人体追尾情報には含まれるが、現在の画像に存在しない人体がある場合は、当該人体については人体追尾が終了していると判定することができる。人体追尾が終了していると判定された場合、処理はＳ７０３進み、人体追尾が終了していないと判定された場合、処理はＳ７０７に進む。

Ｓ７０３では、滞留単位調整部２０７は、補助記憶部１２３に保持されている対象人体の滞留単位を取得する。そして、追跡ＩＤに基づき特定される同一人体の同一判定領域の滞留単位の滞留時間を足して累計滞留時間を求める。続くＳ７０４では、滞留単位調整部２０７は、Ｓ７０３で求めた判定領域各々の累計滞留時間を比較する。Ｓ７０５では、滞留単位調整部２０７は、累計滞留時間が最長の判定領域の滞留単位を選択する。続くＳ７０６では、Ｓ７０５で選択された累計滞留時間が最長の判定領域の滞留単位に、他の滞留単位を統合する。以上の処理を、処理対象の画像において検出された全ての人体について繰り返す。

本実施形態によれば、受付窓口や接客カウンタ、会計レジなど人が対応を受けるような場所において、各々の人体の設定領域内の滞留時間を計測することが可能となるので、受付窓口等で対応に要した時間を正確に測定できる。更に、本実施形態では、累計滞留時間を調整し、その後、各窓口対応時間の平均時間を求めることが可能となるので、一人当たりの窓口対応時間を統計的に正確に計測できる。その結果、人員配置の最適化などの業務の効率化や改善に活用できる。

上述の実施形態では、各判定領域における累積滞留時間の長さに基づいて処理する場合を説明したが、これ以外にも例えば同一人体が判定領域各々で検出された回数の累計を計数して、判定領域内で検出回数が最も多い滞留単位を選択してもよい。

本実施形態では、人体毎に判定領域各々の滞留単位を保持し、判定領域各々の滞留時間を比較し、最も累積滞留時間が長い滞留単位を選択して、滞留時間の調整を行う。これにより検出された人体が判定領域内から判定領域外あるいは別の判定領域に移動して、判定領域内に戻った場合に、人体が判定領域の外に位置していた時間を滞留時間に含めることができる。また、検出人物と関連付けられる判定領域を一つの判定領域に絞り込むことができ、実際に対応を受けた窓口等を特定する判断が容易になる。

［実施形態２］
次に、発明の第２の実施形態について説明する。本実施形態では、人体が一時的に異なる判定領域もしくは、判定領域外に出入りしてしまう場合の滞留単位調整処理の他の例を説明する。実施形態１では、他の判定領域に出入りした時間を、累計滞留時間が最長の判定領域の滞留時間に統合する例を説明した。これに対して、本実施形態では、人体が一定時間内に異なる判定領域から元いた判定領域内に戻った場合の滞留単位調整処理について説明する。一定時間とはここでは、ある程度の短い時間を想定している。その場合は、異なる判定領域への出入りは無かったものとして計測する。詳細を以下に説明する。

本実施形態におけるシステム構成や画像処理装置１２０のハードウェア構成、ソフトウェア構成は実施形態１で図１（Ａ）、図１（Ｂ）及び図２を参照して説明したものと同様であるので、本実施形態における説明は省略する。

次に図８（Ａ）から図８（Ｃ）を参照して、本実施形態における、同一人体が複数の領域内で検出された場合の滞留単位調整処理について説明する。図８（Ａ）は、１つ判定領域の内外を人体が移動する様子の一例を示している。ユースケース８００は、ある処理対象の画像において判定領域Ａ８０１を切り出して示すものであり、判定領域上の丸い点は、複数の画像フレームにおいて検出された同一人体の各位置を示している。また、矢印は移動の方向（経路、軌跡）を示している。

点８０２はフレーム００１−Ｆｒａｍｅでの人体の検出位置を示している。点８０３から８０６は、それぞれフレーム００２−Ｆｒａｍｅからフレーム００５−Ｆｒａｍｅで検出された同一人体の検出位置を示している。図の矢印でも示しているように、フレーム番号順に時間が経過している。この場合、点８０４では人体は判定領域Ａ８０１の外に出ている。その他の点は判定領域Ａ８０１内で検出されている。

図８（Ｂ）は、ユースケース８００に示す人体の検出結果の一例を示すテーブルである。テーブル８１０では、同一人体が判定領域の外に一時的に出て、その後戻ってくる場合の滞留情報を時刻順に滞留単位で示している。テーブル８１０の情報は補助記憶部１２３に保持される。テーブル８１０に示す情報は、滞留単位調整処理を行う前の情報である。

テーブル８１０の行は、人体毎の各々の判定領域での滞留時間を含む滞留単位を表す。行８１１は追尾ＩＤ１５の人体が判定領域Ａ８０１に滞留した滞留単位を表している。行８１２は追尾ＩＤ１５の人体が判定領域外に滞留した滞留単位を表している。行８１３は追尾ＩＤ１５の人体が判定領域Ａ８０１に滞留した滞留単位を表している。この場合、判定領域外には００：００：１０の１０秒しか滞留していない。本実施形態では、人体が一時的に判定領域外の異なる判定領域に出入りした場合、もしくは一時的に領域外に出入りした場合の滞留時間が閾値以下の場合は、一時的な出入りは無かったものとする。ここでは、一例として閾値を２０秒以下とすると、判定領域外へ出入りした時間が閾値よりも短かった場合は、当該時間を判定領域Ａ８０１での滞留時間に含めることとする。このとき、一時的に判定領域外に出入りした滞留単位８１２を削除し、判定領域Ａ８０１に滞留していたときの滞留単位８１１と滞留単位８１３とを統合する。

図８（Ｃ）のテーブル８２０は、判定領域Ａ８０１に滞留している際の２つの滞留単位８１１と滞留単位８１３とを統合した滞留単位を示す。テーブル８２０において、滞留開始時刻８２１は、行８１１の滞留開始時刻とする。また、滞留終了時刻８２２は、行８１３の滞留終了時刻とする。判定領域Ａ８０１の滞留時間を滞留開始時刻８２１と滞留終了時刻８２２との差分とする。ここでは１６：００：００と１６：０５：００の差分００：０５：００が追尾ＩＤ１５の人体が判定領域Ａ８０１で滞留した滞留時間となる。つまり、判定領域外に出入りしたことは無かったこととする。その結果、対応を受けたと考えられる一つの判定領域を容易に決定することができる。

また、一時的に異なる判定領域、もしくは判定領域外に出入りしたとしてもその間の時間は元いた判定領域の滞留時間に加える。継続して一つの判定領域に滞留しているように滞留時間を調整することで、実際に対応を受けた窓口等を特定する判断が容易になる。また、実際に対応に要した時間をより正確に決定することができる。

次に図９のフローチャートを参照して、本実施形態における滞留単位調整処理の流れを説明する。Ｓ９０１〜Ｓ９０５の処理を、前回の処理対象画像で人体追尾が終了していない人体それぞれについて繰り返す。人体全てに対してＳ９０１〜Ｓ９０５の処理が行われるまでの間行う。

Ｓ９０２では、滞留単位調整部２０７は、処理対象の人体が現在の処理対象画像において滞留している判定領域が、それ以前に滞留していた判定領域であるか否かを判定する。この判定は、処理対象の人体が、以前に滞留していた判定領域の外に出た後に、また戻ってきたかどうかを判定する処理である。具体的には、補助記憶部１２３に保持されている処理対象の人体の滞留単位を取得し、現在滞留している判定領域と比較する。一回でも滞留したことがある判定領域と判定された場合は、処理はＳ９０３に進み、一回も滞留したことがない場合は処理はＳ９０５に進む。

Ｓ９０３では、滞留単位調整部２０７は、現在判定領域に滞留している滞留単位の滞留開始時刻と同一の判定領域に滞留した滞留単位の滞留終了時刻との差分を求める。求めた差分は、一時的に異なる判定領域、もしくは判定領域外に出入りした時間を示す。また、当該差分は、異なる判定領域と判定領域外との両方に滞留した時間の合計を示すこともできる。当該差分と閾値とを比較して、差分が閾値以下の場合、処理はＳ９０４に進む。差分が閾値より大きい場合には処理はＳ９０５に進む。Ｓ９０４においては、算出した差分を現在判定領域の滞留時間に含めるように処理する。これにより一時的に異なる領域に出入りしたことは無かったこととすることができる。具体的には、異なる領域に滞留した滞留単位を削除し、元いた判定領域に滞留していた時の滞留単位と統合する。統合した結果の滞留単位を統合単位と呼ぶことにする。最初に滞留した時の滞留単位の滞留開始時刻を統合滞留単位の滞留開始時刻とする。そして、最後に滞留した時の滞留単位の滞留終了時刻を統合滞留単位の滞留終了時刻とする。統合滞留単位の滞留時間は、統合滞留単位の滞留開始時刻と統合滞留単位の滞留終了時刻の差分とする。以上の処理を、処理対象の画像において検出された全ての人体について繰り返す。

以上、説明したように、本実施形態では、人体が一時的に異なる判定領域もしくは、判定領域外に出入りしてしまう場合に滞留単位を調整する。当該調整により、異なる判定領域への出入りは無かったものとして滞留時間を決定することができる。一時的に異なる領域にいた時間が閾値以下であれば、元の判定領域に滞留していたとして滞留時間を統合する。一時的に出入りした余分な情報を削除することで、容易に一つの判定領域を決定できる。つまり、実際に対応を受けた窓口等を特定する判断が容易になる。また、同一判定領域の最初に滞留した時の滞留開始時刻と最後に滞留した時の滞留終了時刻の差分を求め、滞留時間を統合している。その結果、実際に対応を受けた時間をより正確に決定することができる。

［実施形態３］
次に、発明の第３の実施形態について説明する。監視対象区域を撮像している場合に、判定対象領域内で検出される人体には、当該領域に滞留している人体の他に、当該領域を通過する人体が含まれる可能性がある。このような人体は、滞留時間を計測する対象から除外すべきであり、本実施形態では異なる判定領域を通過する人体のための滞留単位調整処理を説明する。

本実施形態では、人体が判定領域を通過する際の移動速度を求め、移動速度と速度の閾値とを比較して、閾値以下の移動速度の場合に、該当する判定領域で対応を受けていたと判定する。一方、移動速度が閾値よりも速い場合には、当該人体は判定領域を追加しているだけであって判定領域で対応を受けてはいないとみなして、処理対象から除外する。詳細を以下に説明する。

本実施形態におけるシステム構成や画像処理装置１２０のハードウェア構成、ソフトウェア構成は実施形態１で図１（Ａ）、図１（Ｂ）及び図２を参照して説明したものと同様であるので、本実施形態における説明は省略する。

次に、図１０を参照して、本実施形態における滞留単位調整処理について説明する。図１０は、２つ隣接して設定された判定領域の内外を人体が移動する様子の一例を示している。ユースケース１０００は、ある処理対象の画像において判定領域Ａ１００１及び判定領域Ｂ１００２を切り出して示すものであり、判定領域上の人物図形は、複数の画像フレーム（００１−Ｆｒａｍｅから００４−Ｆｒａｍｅ）において検出された同一人体の各位置を示している。また、点線は移動の経路（軌跡）を示している。

人物図形１００３は、フレーム００１−Ｆｒａｍｅにおいて検出された人物の位置を示している。同様に、人物図形１００４から１００６は、フレーム００２−Ｆｒａｍｅ〜０００４−Ｆｒａｍｅで検出された同一人物の位置を示している。このときフレーム番号の増加は時間の経過に対応する。

図１０で示す例では、フレーム００１−Ｆｒａｍｅにおいて検出された人物１００３の位置は、判定領域外となっている。その後、同一人物は、フレーム００２−Ｆｒａｍｅにおいて判定領域Ｂ１００２内の人物図形１００４の位置で検出され、更に、フレーム００３−Ｆｒａｍｅとフレーム００４−Ｆｒａｍｅにおいて判定領域Ａ１００１で人物図形１００５、１００６の位置で検出されている。このとき、人物図形１００３の位置から人物図形１００４の位置まで移動するのに要した時間を時間１とする。また、人物図形１００４の位置から人物図形１００５の位置へ移動するのに要した時間を時間２とする。さらに、人物図形１００５の位置から人物図形１００６の位置へ移動するのに要した時間を時間３とする。

ここで、簡単のためそれぞれの移動時間である時間１、時間２及び時間３の時間は全て等しいものとする。そして、時間１の間に移動した距離が最も長く、時間２の間に移動した距離が二番目に長く、時間３に移動した距離が最も短いとする。よって、速度は時間１の間に移動した速度が最も速く、次いで時間２の間に移動した速度、時間３の間に移動した速度の順で速度が遅くなる。

例えば、時間３における移動速度が速度の閾値よりも遅く、それ以外の移動速度が当該閾値よりも速い場合、判定領域Ａ１００１に向かって移動していたと推測できる。この場合、滞留時間として測定する意味があるのは判定領域Ａ１００１内に滞留した時間であって、それ以前の人物図形１００３、１００４の位置における時間は計測する必要がない。本実施形態では、移動速度に基づいて判定領域Ａ１００１内での滞留時間を効率的に測定するための方法を説明する。

ここで、図１１のフローチャートを参照して本実施形態における滞留単位調整処理の流れを説明する。Ｓ１１０１〜Ｓ１１１０の処理を、時系列的に前回の処理対象画像で人体追尾が終了していない各々の人体について繰り返す。人体全てに対して、Ｓ１１０１〜Ｓ１１１０の処理が完了するまでの間行う。

Ｓ１１０２では、滞留単位調整部２０７は、補助記憶部１２３に保持されている対象の人体の領域内外判定結果が判定領域内であるかを確認する。領域内外判定結果は、後述するように図４のＳ４０５において領域内外判定処理を行った際に既に補助記憶部１２３に保持されている。人体が判定領域内である場合は、処理はＳ１１０３進み、判定領域外である場合は、処理はＳ１１０９に進む。

続くＳ１１０３では、滞留単位調整部２０７は、補助記憶部１２３に保持されている対象の人体の人体追尾の結果から人体の移動速度が速度の閾値以下であるかを判定する。人体の移動速度は、Ｓ４０４において人体追尾処理を行った際に既に補助記憶部１２３に保持されている。人体の移動速度が閾値以下である場合は、処理はＳ１１０４に進み、人体の移動速度が閾値より大きい（速い）場合は、処理はＳ１１０６に進む。続くＳ１１０４では、滞留単位調整部２０７は、移動速度が閾値以下で遅いので処理対象の人材が現在の判定領域に滞留していると判定する。続くＳ１１０５では、滞留単位調整部２０７は、処理対象の人体の前回の処理対象画像に基づき生成、或いは、更新された滞留単位を、現在の計測結果が反映された現在の滞留単位に更新する。前回の滞留単位がない場合は新規に用意する。

Ｓ１１０６では、滞留単位調整部２０７は、移動速度が閾値より速いので、処理対象の人材が現在の判定領域を通過していると判定する。続くＳ１１０７では、現在の判定領域が前回と同じ判定領域であるかを確認する。前回と同じ判定領域の場合、処理はＳ１１０８に進み、前回とは異なる判定領域の場合は、Ｓ１１０９に進む。Ｓ１１０８では、対象の人体の現在の計測結果が反映された現在の滞留単位を前回の滞留単位の値に戻す。これにより、滞留時間の計測がされなかったこと同等の状態にする。Ｓ１１０９では、対象の人体の前回の滞留単位と、現在の滞留単位の値とを共に削除する。これにより、判定領域を通過しているだけの人体については判定領域の滞留時間の計測はしない。

次に本実施形態に対応する図４のフローチャートの処理の変更部分について以下で説明する。以下の説明においては、本実施形態に対応して実施形態１とは処理が異なる部分のみを説明し、それ以外の部分は実施形態１において既に説明済みであるので説明を省略する。

Ｓ４０４では、実施形態１で説明した処理に追加して、直前の処理対象画像と現在の処理対象画像の間における人体の位置情報と、各々の処理対象画像の時刻情報に基づいて、人体の移動速度を決定する速度決定処理を行い、決定した移動速度を補助記憶部１２３に保持する。続くＳ４０５では、実施形態１で説明した処理に追加して、人体の移動速度を閾値と比較して、比較結果に基づいて領域内外判定を行う。具体的には、移動速度が閾値以下の場合は、移動速度が遅いとし、対象の判定領域内で滞留中であると判定し、かつ、判定領域内であると判定する。一方、人体の移動速度が閾値以下でない場合、移動速度が速いので、対象の判定領域内は通過したと判定し、かつ、判定領域外と判定する。

続くＳ４０６では、滞留時間計測部２０６は、補助記憶部１２３に保持されている各画像の撮像時刻に基づく時刻情報と、人体の識別情報、領域内外判定結果を取得する。滞留時間計測部２０６は、実施形態１で記載したのと同様の処理により前回の滞留単位を更新して現在の滞留単位を生成する。このとき、生成した現在の滞留単位は、前回の滞留単位には上書きせず、別途補助記憶部１２３に保存する。保存された前回の滞留単位と現在の滞留単位とは、図１１の処理の流れに応じて更新されたり削除されたりする。

このようにして、人体の移動速度が閾値以下の場合は、対象の判定領域内で滞留中であると判断し、滞留時間を計測する。一方、人体の移動速度が閾値以下でない場合は、対象の判定領域内は通過したと判定し、対象の判定領域の滞留時間の計測はしない。

また、上記では人体の移動速度に基づいて人体が判定領域を通過したか否かを判定していたが、判定は移動速度に寄らなくてもよい。例えば、フレーム間の人体の移動距離を求め、移動距離の大きさに基づいて、移動距離が閾値以下の場合には滞留中と判定し、閾値より大きい場合は通過していると判定してもよい。

以上、説明したように、本実施形態によれば、判定領域を通過する場合に滞留単位を調整することができる。具体的には、移動速度の閾値を設け、速度が閾値以下であれば、判定領域内として滞留時間を計測する。閾値より大きければ、通過しているとして判定領域外として、判定領域外と同等の扱いとする。このように、人体が判定領域を単に通過しただけの場合に、当該人体の滞留時間を計測することを効果的に防止できる。その結果、実際に対応を受けた窓口等を特定することが容易になる。

以上、発明の例示的な実施形態について説明したが、発明はこれらの実施形態に限定されることなく、その要旨の範囲内で種々の変形および変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：システム、１１０：撮像装置、１２０：画像処理装置、１３０：ネットワーク

Claims (11)

1. 処理対象画像に被写体を検出する領域を設定する設定手段と、
   時間的に連続する複数の処理対象画像を解析し、被写体を検出する検出手段と、
   前記時間的に連続する複数の処理対象画像における前記被写体の検出結果に基づいて、前記被写体が前記領域内に滞留している滞留時間を決定する決定手段と
   を備え、
   前記決定手段は、前記被写体が前記領域内から前記領域外に移動して、前記領域内に戻った場合に、前記被写体が前記領域外に位置していた時間を前記滞留時間に含めることを特徴とする画像処理装置。
2. 前記決定手段は、前記被写体が前記領域内において最初に検出されてから、前記領域内で最後に検出されるまでの時間により、前記滞留時間を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記被写体が前記領域外に位置していた時間が第1の閾値以下である場合に、前記被写体が前記領域外に位置していた時間を前記滞留時間に含めることを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、第１の領域と第２の領域とを設定し、
   前記決定手段は、前記第１の領域と前記第２の領域のうち、前記被写体が滞留している時間の合計がより長い領域について、前記滞留時間を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記被写体が前記領域外に位置していた時間には、前記第１の領域と前記第２の領域のうち、前記被写体が滞留している時間の合計がより短い領域に前記被写体が滞留していた時間が含まれることを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の時間的に連続する処理対象画像における前記被写体の検出結果に基づいて、前記被写体の移動速度を決定する速度決定手段をさらに備え、
   前記決定手段は、前記被写体の前記領域内における前記移動速度が第２の閾値以下の場合に、前記被写体の前記領域内における滞留時間を決定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、前記被写体の前記領域内における前記移動速度が前記第２の閾値より大きい場合に、前記被写体が前記領域内に滞留している時間を前記滞留時間に含めないことを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記被写体の前記移動速度が前記第2の閾値より大きく、かつ、前記被写体が前記領域とは異なる領域に移動した場合、前記被写体が前記領域内に滞留している時間を前記滞留時間に含めないことを特徴とする請求項６または７に記載の画像処理装置。
9. 所定の領域を撮像して画像を生成する撮像装置と、
   前記撮像装置により生成された画像を処理する請求項１から８のいずれか１項に記載の画像処理装置と
   を備えるシステム。
10. 設定手段が、処理対象画像に被写体を検出する領域を設定する設定工程と、
    検出手段が、時間的に連続する複数の処理対象画像を解析し、被写体を検出する検出工程と、
    決定手段が、前記時間的に連続する複数の処理対象画像における前記被写体の検出結果に基づいて、前記被写体が前記領域内に滞留している滞留時間を決定する決定工程と
    を含み、
    前記決定工程では、前記被写体が前記領域内から前記領域外に移動して、前記領域内に戻った場合に、前記被写体が前記領域外に位置していた時間を前記滞留時間に含めることを特徴とする画像処理装置の制御方法。
11. コンピュータを請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images