JP7279241B1 - システムおよびプログラム - Google Patents

Abstract

【課題】カメラにより撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供する。
【解決手段】本開示の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第１閾値、および対象エリアに人が留まっている時間に関する第２閾値を設定し、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測し、対象エリアに第２閾値以上の時間留まった人の数が第１閾値以上になったときの映像を示すサムネイルを生成し、生成されたサムネイルを表示する。
【選択図】図２

Description

本開示は、システムおよびプログラムに関する。

従来、防犯目的で設置されるカメラの撮影範囲内に監視エリアを設定し、当該監視エリア内に不審者が存在するか否かを検出する技術が知られている。

特許第６０４７９１０号公報

一方、近年、店舗などにカメラを設置し、当該カメラにより撮影された映像をＤＸ（デジタルトランスフォーメーション）に利用する試みがある。この場合、上述した従来技術のような防犯目的とは異なる新たな観点のアプローチで、カメラにより撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することが必要となりうる。

そこで、本開示が解決しようとする課題の一つは、カメラにより撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することが可能なシステムおよびプログラムを提供することである。

本開示の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第１閾値、および対象エリアに人が留まっている時間に関する第２閾値を設定し、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測し、対象エリアに第２閾値以上の時間留まった人の数が第１閾値以上になったときの映像を示すサムネイルを生成し、生成されたサムネイルを表示する。

また、本開示の他の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第１閾値、および対象エリアに人が留まっている時間に関する第２閾値を設定し、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測し、所定エリアに第２閾値以上の時間留まった人の数が第１閾値以上になったときの情報を時系列で示すタイムラインを生成し、生成されたタイムラインを表示する。

また、本開示のさらに他の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアとの境界線を示すラインと、当該ラインを介して対象エリアに入る方向を示すＩＮ方向およびラインを介して対象エリアから出る方向を示すＯＵＴ方向と、を設定し、ラインをＩＮ方向に通過した人の数とラインをＯＵＴ方向に通過した人の数とを区別して集計し、ラインをＩＮ方向に通過した人の数およびラインをＯＵＴ方向に通過した人の数のそれぞれの時間遷移を区別して示すグラフを生成し、生成されたグラフを表示する。

また、本開示のさらに他の一例としてのプログラムは、ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第１閾値、および対象エリアに人が留まっている時間に関する第２閾値を設定することと、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測することと、対象エリアに第２閾値以上の時間留まった人の数が第１閾値以上になったときの映像を示すサムネイルを生成することと、生成されたサムネイルを表示することと、をコンピュータに実行させるための、プログラムである。

また、本開示のさらに他の一例としてのプログラムは、ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第１閾値、および対象エリアに人が留まっている時間に関する第２閾値を設定することと、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測することと、所定エリアに第２閾値以上の時間留まった人の数が第１閾値以上になったときの情報を時系列で示すタイムラインを生成することと、生成されたタイムラインを表示することと、をコンピュータに実行させるための、プログラムである。

また、本開示のさらに他の一例としてのプログラムは、ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、ユーザの指示に応じて、対象エリアとの境界線を示すラインと、当該ラインを介して対象エリアに入る方向を示すＩＮ方向およびラインを介して対象エリアから出る方向を示すＯＵＴ方向と、を設定することと、ラインをＩＮ方向に通過した人の数とラインをＯＵＴ方向に通過した人の数とを区別して集計することと、ラインをＩＮ方向に通過した人の数およびラインをＯＵＴ方向に通過した人の数のそれぞれの時間遷移を区別して示すグラフを生成することと、生成されたグラフを表示することと、をコンピュータに実行させるための、プログラムである。

図１は、実施形態にかかるシステムの機能的構成を示した例示的かつ模式的なブロック図である。 図２は、実施形態にかかるシステムにおいて実行される処理の流れを示した例示的かつ模式的なシーケンス図である。 図３は、実施形態にかかる条件の設定を説明するための例示的かつ模式的な図である。 図４は、実施形態にかかる対象エリアの登録・編集を説明するための例示的かつ模式的な図である。 図５は、実施形態にかかる検知のロジックを説明するための例示的かつ模式的な図である。 図６は、実施形態にかかるサムネイルの表示態様の一例を示した例示的かつ模式的な図である。 図７は、実施形態にかかるタイムラインの表示態様の一例を示した例示的かつ模式的な図である。 図８は、実施形態にかかるタイムラインの表示態様の他の一例を示した例示的かつ模式的な図である。 図９は、実施形態にかかるグラフの表示態様の一例を示した例示的かつ模式的な図である。 図１０は、実施形態にかかるグラフの表示態様の他の一例を示した例示的かつ模式的な図である。 図１１は、実施形態にかかるカメラ、クラウドプラットフォーム、およびユーザ端末に含まれる情報処理装置のハードウェア構成を示した例示的かつ模式的なブロック図である。 図１２は、変形例において設定可能な追加条件の一例を示した例示的かつ模式的な図である。 図１３は、変形例において設定可能な追加条件の他の一例を示した例示的かつ模式的な図である。

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に制限されるものではない。

＜実施形態＞
図１は、実施形態にかかるシステム１００の機能的構成を示した例示的かつ模式的なブロック図である。

図１に示されるように、実施形態にかかるシステム１００は、カメラ１１０と、クラウドプラットフォーム１２０と、ユーザ端末１３０と、を含む。

カメラ１１０は、機能モジュールとして、撮影部１１１と、検知部１１２と、通信部１１３と、を含む。また、クラウドプラットフォーム１２０は、機能モジュールとして、通信部１２１と、記録部１２２と、画像情報生成部１２３と、を含む。また、ユーザ端末１３０は、機能モジュールとして、入力受付部１３１と、通信部１３２と、表示再生部１３３と、を含む。

カメラ１１０は、たとえば店舗などに設置され、ネットワーク経由でクラウドプラットフォーム１２０と通信可能に接続される。また、クラウドプラットフォーム１２０は、ネットワーク経由でユーザ端末１３０と通信可能に接続される。これにより、カメラによって撮影された映像（および当該映像に基づいて検出される情報）は、クラウドプラットフォーム１２０を介してユーザ端末１３０に提供され、店舗のＤＸに利用される。

ここで、カメラ１１０により撮影された映像をＤＸに利用するためには、従来から知られている単純な防犯目的とは異なる、新たな観点からのアプローチが必要となる。

たとえば、店舗内におけるレジ前などのエリアに留まっている人の数（以下、滞留数と表現することがある）および当該エリアに人が留まっている時間（以下、滞留時間と表現することがある）に着目することは、ＤＸにおいて有益である。また、店舗内のエリアに出入りした人の数（以下、通過数と表現することがある）を、エリアの境界線を示すラインを人がどの方向に通過したかを区別しながら把握することも、ＤＸにおいて有益である。

このように、カメラ１１０により撮影された映像をＤＸに利用する場合、当該映像に基づいて防犯目的以外にも利用可能な情報を提供することが望まれる。

そこで、実施形態では、図１に示される各機能モジュールが次の図２に示されるような流れで動作することで、カメラ１１０により撮影された映像に基づいて防犯目的以外にも利用可能な情報を提供することが実現される。

図２は、実施形態にかかるシステム１００において実行される処理の流れを示した例示的かつ模式的なシーケンス図である。なお、図２では、簡単化のため、クラウドプラットフォーム１２０が単にクラウド１２０として表現されている。

まず、ユーザ端末１３０を用いてカメラ１１０に対して各種の条件の設定を行うための設定処理について説明する。詳細は後述するが、条件とは、たとえば、カメラ１１０の撮影範囲のうちのどのエリアを対象として上述した滞留数および滞留時間の検知を行うか、および、どのエリアのどのラインを対象として上述した通過数の検知を行うか、などに関する条件である。

設定処理においては、まず、ステップＳ２０１において、ユーザ端末１３０の入力受付部１３１は、下記の図３および図４に示されるようなＵＩ（ユーザインターフェース）を介したユーザの操作に基づく条件の設定を受け付ける。

図３は、実施形態にかかる条件の設定を説明するための例示的かつ模式的な図である。

図３に示される画像３００は、ユーザによる条件の設定に関する操作を受け付けるＵＩの一例である。この画像３００は、５つの領域３１０、３２０、３３０、３４０、および３５０を含む。

領域３１０には、カメラ１１０により現在撮影されている映像がユーザの参考のために表示される。また、領域３２０には、現在の設定内容を設定するための名前の入力を受け付けるインターフェースが表示される。また、領域３３０には、上述した滞留数および滞留時間の検知を行う対象エリアの設定を受け付けるインターフェースが表示される。具体的には、予め登録されたエリアの一覧をプルダウンメニューで表示し、その中からユーザが選択したエリアを設定する。エリアの登録は、たとえば右上の「エリアの登録・編集」をクリックすると表示される、次の図４に示されるようなＵＩを介したユーザの操作に基づいて行われる。なお、このようにエリアの設定を登録＆選択という２段階で行う設計とした理由は、同じエリアでも滞留人数や滞留時間等の条件が異なる設定を複数設定したい場合に、そのエリアを毎回何度も１から設定するユーザの手間を軽減させるとともに、エリアの位置や大きさ形等がブレなく共通のものとするためである。

図４は、実施形態にかかる対象エリアの登録・編集を説明するための例示的かつ模式的な図である。なお、この例ではエリアとラインを共通の画面で登録・編集しているが、これらは別々の画面で行うようにしてもよい。左側には、設定済のエリア名（またはライン名）４０２が一覧表示されるとともに、設定可能なエリア数（またはライン数）の上限値と現在設定済のエリア数（またはライン数）を示す情報、新たなエリア（またはライン）を登録するための新規作成ボタン４０３が表示される。各エリア名４０２において、左側にある「色のアイコン」は、領域４０１Ａに表示された画像４００内に設定されたエリア（またはライン）の色と連動しており、これをクリックして色を選択することでエリア（またはライン）毎に所望の色を設定することが可能である。また、右側にある「削除」ボタンは、これをクリックすることで対応するエリア（またはライン）を削除することが可能である。エリア名（またはライン名）４０２の中から１つをクリックして選択すると、その名称と画像４００内の対応するエリア（またはライン）が共に強調表示され、選択されていることが識別可能となる。エリア（またはライン）が選択された状態で、画像４００内の対応するエリア（またはライン）をクリック／ドラッグ等すると、そのエリア（またはライン）の位置や形を変更することが可能である。

図４に示される画像４０１は、ユーザによる対象エリアの設定に関する操作を受け付けるＵＩの一例である。たとえば、図４に示される例では、対象エリアとして、６つのエリア４１１～４１６が設定されている。ユーザは、新規作成ボタン４０３をクリックした後、領域４０１Ａに表示された画像４００上でドラッグ＆ドロップ操作などを行うことにより、所望の位置、大きさ、および形のエリアを設定することが可能である。たとえば、エリアの頂点を順次クリックしていき、最後の頂点でダブルクリックすることにより、それらの頂点を結ぶエリアが設定される。

なお、図４に示される画像４００は、上述した通過数の検知を行う対象のラインの設定にも利用される。たとえば、図４に示される例では、ラインとして、７つのライン４２１～４２７が設定されている。ユーザは、新規作成ボタン４０３をクリックした後、画像４００上でクリック操作などを行うことで始点および終点を設定することにより、所望のラインを設定することが可能である。たとえば、１回目のクリックで始点を、２回目のクリックで終点を決定し、その２点間を結ぶラインおよびそれと直交する方向にＩＮ／ＯＵＴを示す矢印が互いに反対向きで設定される。

ここで、図４に示される例では、ライン４２１～４２７の一端が、丸いマークで強調されているが、この強調された一端は、ラインの終点を示す。また、図４に示される例では、ライン４２１に対して、互いに逆方向の２つの矢印４２１Ａおよび４２１Ｂが設定されているが、これらの矢印４２１Ａおよび４２１Ｂは、ライン４２１の始点および終点の設定に応じて自動で設定される。これにより、ＩＮ／ＯＵＴそれぞれのカウントを行うためのラインを一度に引けるため、ユーザの操作の手間が軽減され、同じ場所にＩＮ／ＯＵＴ共通のラインを正確に設定でき、設定したラインが見た目に分かりやすいＵＩとすることが可能となる。矢印４２１Ａおよび４２１Ｂは、上述した通過数の検知の際に、ライン４２１を人がどの方向に通過したかを区別するため利用される。たとえば、図４に示される例では、矢印４２１ＡがＩＮ方向、矢印４２１ＢがＯＵＴ方向として定義されている。なお、図４には図示されていないが、他のライン４２２～４２７に対しても、ライン４２１と同様の２つの方向が設定されることは、言うまでもない。また、本実施形態においては、主に建物や部屋の出入口、フロアを領域ごとに区分けした場合の境界線等にラインを引いて、そこを通過した人数をカウントすることにより様々な場所の人流を可視化することを想定しているため、ＩＮ／ＯＵＴという言葉を用いているが、これ以外の言葉で表現してもよい。なお、図４に示される保存ボタン４０４は、上記のように行ったエリアおよびラインの設定を保存するためのクリック操作を受け付けるインターフェースである。

図３に戻り、領域３４０には、上述した滞留数および滞留時間に関する閾値の設定を受け付けるインターフェースが表示される。また、領域３５０には、滞留数および滞留時間が閾値を超えたか否かの検知およびその通知をどのタイミング（たとえば時間帯、曜日、日付など）で行うかの設定を受け付けるインターフェースが表示される。

図２に戻り、ステップＳ２０１における条件の設定が終了すると、ステップＳ２０２において、ユーザ端末１３０の通信部１３２は、設定された条件をクラウドプラットフォーム１２０に送信する。そして、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０により送信された条件を受信する。

そして、ステップＳ２０３において、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０から受信した条件をカメラ１１０に転送する。そして、カメラ１１０の通信部１１３は、クラウドプラットフォーム１２０により送信された条件を受信する。

そして、ステップＳ２０４において、カメラ１１０の検知部１１２は、クラウドプラットフォーム１２０から受信した条件を、以下で説明する撮影処理に利用するために保存する。このようにして、設定処理が終了する。

次に、カメラ１１０による映像の撮影と、当該映像に基づく各種の情報の検知と、を含む撮影処理について説明する。

撮影処理においては、まず、ステップＳ２１１において、カメラ１１０の撮影部１１１は、映像を撮影する。そして、ステップＳ２１２において、カメラ１１０の検知部１１２は、上述した設定処理において行われた設定に基づいて、映像に対して、上述した滞留数および滞留時間の計測と、上述した通過数の集計と、を含む検知処理を実行する。滞留数の検知は、たとえば次の図５に示されるようなロジックで実行される。

図５は、実施形態にかかる滞留数の検知のロジックを説明するための例示的かつ模式的な図である。

図５に示される例において、５つの線分５０１～５０５は、５人の人が対象エリアに留まった滞留時間を示す。より具体的に、線分５０１は、１人目の人が時間ｔ１から時間ｔ８まで対象エリアに留まったことを示す。同様に、線分５０２は、２人目の人が時間ｔ３から時間ｔ１２まで対象エリアに留まったことを示し、線分５０３は、３人目の人が時間ｔ５から時間ｔ１４まで対象エリアに留まったことを示す。また、線分５０４は、４人目の人が時間ｔ７から時間ｔ１３まで対象エリアに留まったことを示し、線分５０５は、５人目の人が時間ｔ９から時間ｔ１５まで対象エリアに留まったことを示す。このように、実施形態において、滞留時間は、人ごとに計測される。

ここで、実施形態では、対象エリア（図２のステップＳ２０１で設定されたエリア）に少なくとも所定の時間Ｔ（ステップＳ２０１で設定された滞留時間）以上留まった人の数を滞留数としてカウントするように構成される。そして、この滞留数がステップＳ２０１で設定された滞留人数以上となった場合に、ステップＳ２０１で設定された条件（エリア／滞留人数／滞留時間）を全て満たすと判断する。このため、図５に示される例では、１人目の人が対象エリアに入った時間ｔ１から所定の時間Ｔが経過した後の時間ｔ２になって初めて、滞留数が１にカウントアップする。

そして、線分５０１および５０２に示されるように、１人目の人は、２人目の人が対象エリアに入った時間ｔ３から所定の時間Ｔが経過した後の時間ｔ４においても、対象エリアに留まっている。したがって、時間ｔ４になると、滞留数が２にカウントアップする。

同様に、線分５０１～５０３に示されるように、３人目の人が対象エリアに入った時間ｔ５から所定の時間Ｔが経過した後の時間ｔ６になると、１人目～３人目の３人が対象エリアに留まっていることになる。したがって、時間ｔ６になると、滞留数が３にカウントアップする。

ここで、線分５０１に示されるように、１人目の人は、時間ｔ８で対象エリアから出る。このため、時間ｔ８になると、滞留数は２にカウントダウンする。なお、線分５０４に示されるように、時間ｔ８は、４人目の人が対象エリアに入った時間ｔ７よりも後であるが、時間ｔ７から所定の時間Ｔが経過する前であるため、時間ｔ８における滞留数は、３ではなく、あくまで２である。

そして、線分５０２～５０４に示されるように、４人目の人が対象エリアに入った時間ｔ７から所定の時間Ｔが経過した後の時間ｔ１０になると、２人目～４人目の人が対象エリアに留まっていることになる。したがって、時間ｔ１０になると、滞留数が３にカウントアップする。

そして、線分５０２～５０５に示されるように、５人目の人が対象エリアに入った時間ｔ９から所定の時間Ｔが経過した後の時間ｔ１１になると、２人目～５人目の人が対象エリアに留まっていることになる。したがって、時間ｔ１１になると、滞留数が４にカウントアップする。

そして、線分５０２に示されるように、２人目の人は、時間ｔ１２で対象エリアから出る。このため、時間ｔ１２になると、滞留数は３にカウントダウンする。そして、線分５０４に示されるように、４人目の人は、時間ｔ１３で対象エリアから出る。このため、時間ｔ１３になると、滞留数は２にカウントダウンする。そして、線分５０３に示されるように、３人目の人は、時間ｔ１４で対象エリアから出る。このため、時間ｔ１４になると、滞留数は１にカウントダウンする。そして、線分５０５に示されるように、５人目の人は、時間ｔ１５で対象エリアから出る。このため、時間ｔ１５になると、滞留数は０にカウントダウンする。

図２に戻り、ステップＳ２１２が終了すると、ステップＳ２１３において、カメラ１１０の通信部１１３は、ステップＳ２１１において撮影された映像と、ステップＳ２１２における検知処理の結果とを、クラウドプラットフォーム１２０に送信する。ここで、映像には、撮影した時刻が対応付けられ、検知結果には、少なくとも図５の検知ロジックによりステップＳ２０１で設定された条件を全て満たすと判断された時刻が含まれる。なお、検知結果は、ステップＳ２０１で設定された条件を満たすときのみ送信しても、それ以外のときにも送信してもよい。そして、クラウドプラットフォーム１２０の通信部１２１は、カメラ１１０により送信された情報を受信する。

そして、ステップＳ２１４において、クラウドプラットフォーム１２０の記録部１２２は、カメラ１１０から受信した映像および検知結果を記録する。そして、ステップＳ２１５において、クラウドプラットフォーム１２０の画像情報生成部１２３は、ＤＸに有益な情報として、たとえば次の図６に示されるサムネイルのような画像情報を生成する。このようにして、撮影処理が終了する。

図６は、実施形態にかかるサムネイルの表示態様の一例を示した例示的かつ模式的な図である。

図６に示される画像６００は、クラウドプラットフォーム１２０により生成されるサムネイルを含むＵＩの一例である。このＵＩは、後述する確認処理において、ＤＸに有益な情報としてユーザ端末１３０に提供されうる。図６に示される画像６００は、２つの領域６１０および６２０を含む。これらの２つの領域６１０および６２０は、それぞれ異なる設定のもとでの検知結果を示す。

図６に示される例において、領域６１０および６２０には、それぞれ複数のサムネイルが表示されている。各サムネイルは、たとえば、図５の検知ロジックによりステップＳ２０１（図２参照）で設定された条件を全て満たすと判断された場合、検知された滞留数が閾値（第１閾値）を超え、検知された滞留時間が閾値（第２閾値）を超えた場合などといった、上述した設定処理において設定された各種の条件を満たすタイミングの映像を切り取ったものである。このようなサムネイルをユーザ端末１３０に提供すれば、ＤＸに利用するためにユーザが映像を確認するにあたり、映像において着目すべきタイミングを適切に絞り込むことが可能になる。なお、各サムネイルには、ステップＳ２０１で設定されたエリアと、検知された対象を示すバウンディングボックスも表示する。これにより、ユーザが複数のサムネイルの中から所望のものを更に探しやすくなる。

なお、ＤＸに有益な画像情報は、上記のようなサムネイルに限られない。たとえば、実施形態において、クラウドプラットフォーム１２０の画像情報生成部１２３は、下記の図６および図７に示されるタイムラインのような画像情報も生成しうる。

図７は、実施形態にかかるタイムラインの表示態様の一例を示した例示的かつ模式的な図である。たとえば、図６のサムネイルの何れかをクリックした場合に、それに対応する時刻を中心としたタイムラインを表示するようにしてもよい。

図７に示される画像７００は、クラウドプラットフォーム１２０により生成されるタイムラインを含むＵＩの一例である。このＵＩは、後述する確認処理において、ＤＸに有益な情報としてユーザ端末１３０に提供されうる。

図７に示される画像７００は、タイムラインが表示される領域７０１を含む。このタイムラインは、たとえば、図５の検知ロジックによりステップＳ２０１（図２参照）で設定された条件を全て満たすと判断された場合、検知された滞留数が閾値を超えた場合、検知された滞留時間が閾値を超えた場合などといった、上述した設定処理において設定された各種の条件を満たす映像のタイミングを時系列で識別可能に示すものである。ここでいう識別可能とは、たとえばタイムラインにおいて前述の条件を満たすタイミングに色付きの帯やフラグ等を付けて表示する態様を意味する。色を付ける場合、その色は前述した領域（またはライン）の登録・編集において設定した色と同じ色に対応させるのが好ましい。図７において、前述の条件を満たすケースが「立ち入り検知」のイベントとして分類され、他のイベント「サウンド」「モーション」「スナップショット」等と識別可能な色で、タイムライン上に色付きの帯が表示される。そして、その中からユーザが所望の時刻を指定すると、その時刻に対応する映像が中央の画面に表示される。このようなタイムラインをユーザ端末１３０に提供しても、上述したサムネイルをユーザ端末１３０に提供する場合と同様に、ＤＸに利用するためにユーザが映像を確認するにあたり、映像において着目すべきタイミングを適切に絞り込むことが可能になる。

なお、図７に示される例では、上述した設定処理において設定された各種の条件を満たす映像のタイミングを単一軸で示すタイムラインが用いられている。しかしながら、実施形態では、次の図８に示されるような、上述した設定処理において設定された各種の条件を満たす映像のタイミングを、条件ごとに複数軸に分けて示すタイムラインを用いることも可能である。

図８は、実施形態にかかるタイムラインの表示態様の他の一例を示した例示的かつ模式的な図である。

図８に示される画像８００は、クラウドプラットフォーム１２０により生成されるタイムラインを含むＵＩの、図７とは異なる一例である。図８に示される画像８００は、タイムラインが表示される領域８０１を含む。このタイムラインは、図７に示されるタイムラインと異なり、各種の条件を満たす映像のタイミングが複数軸に分けて示されている。このようなタイムラインをユーザ端末１３０に提供すれば、ＤＸに利用するためにユーザが映像を確認するにあたり、映像において着目すべきタイミングをより細かい観点で絞り込むことが可能になる。特に、設定の数が多くなると単一軸のタイムライン上では検知結果の表示が重なり見え難くなるところ、複数軸のタイムライン上で示せばその様なことはなくなる。一方、複数軸のタイムラインはＵＩ上でスペースをとるが、図８に示すように映像のウインドウをサムネイルのように縮小し、何れかのタイムライン上で時刻が指定された場合に映像のウインドウを拡大してその時刻に対応する映像を再生するようにすればよい。

さらに、ＤＸに有益な画像情報は、上記のようなサムネイルおよびタイムラインに限られない。たとえば、実施形態において、クラウドプラットフォーム１２０の画像情報生成部１２３は、下記の図９および図１０に示されるグラフのような画像情報も生成しうる。

図９は、実施形態にかかるグラフの表示態様の一例を示した例示的かつ模式的な図である。

図９に示される画像９００は、クラウドプラットフォーム１２０により生成されるグラフを含むＵＩの一例である。このＵＩは、後述する確認処理において、ＤＸに有益な情報としてユーザ端末１３０に提供されうる。

図９に示される画像９００には、検知された滞留数の時間遷移を示すグラフが表示されている。左上には、ステップＳ２０１（図２参照）で設定されたエリアを含むサムネイルと、その設定の名称が表示される。また、図９に示される画像９００は、どの期間のグラフを表示するかを設定するためのインターフェース９０１と、グラフの集計間隔（各棒に対応する横軸のメモリ間隔）を調整するためのインターフェース９０２と、滞留時間（集計対象とする条件）を調整するためのインターフェース９０３と、を含む。これらを変更して「更新」ボタンをクリックすると、その条件に従ってグラフが更新される。このようなグラフをユーザ端末１３０に提供すれば、対象エリアにおける人の滞留状況を統計的に把握することが可能になる。

なお、図９に示される例では、滞留数の時間遷移を示すグラフが用いられている。しかしながら、実施形態では、次の図１０に示されるような、上述した設定処理において設定されたラインを通過した人の数の時間遷移を、当該人がどの方向にラインを通過したかを区別して示すグラフを用いることも可能である。

図１０は、実施形態にかかるグラフの表示態様の他の一例を示した例示的かつ模式的な図である。

図１０に示される画像１０００は、クラウドプラットフォーム１２０により生成されるグラフを含むＵＩの図９とは異なる一例である。この画像１０００には、ラインを通過した人の数の時間遷移を、当該人がどの方向にラインを通過したかを区別して示すグラフが表示されている。左上には、ステップＳ２０１（図２参照）で設定されたラインを含むサムネイルと、その設定の名称が表示される。また、図１０に示される画像１０００は、どの期間のグラフを表示するかを設定するためのインターフェース１００１と、グラフの集計間隔（各棒に対応する横軸のメモリ間隔）を調整するためのインターフェース１００２と、を含む。このようなグラフをユーザ端末１３０に提供すれば、ラインを介した人の出入りの状況を統計的に把握することが可能になる。

図２に戻り、上述した撮影処理において撮影される映像および検知される情報を確認するための確認処理について説明する。

確認処理においては、まず、ステップＳ２２１において、ユーザ端末１３０の入力受付部１３１は、上述した撮影処理において撮影される映像および検知される情報を確認するためのユーザの操作に基づく確認要求を受け付ける。

そして、ステップＳ２２２において、ユーザ端末１３０の通信部１３２は、受け付けた確認要求をクラウドプラットフォーム１２０に送信する。そして、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０により送信された確認要求を受信する。

そして、ステップＳ２２３において、クラウドプラットフォーム１２０の画像情報生成部２２３は、ユーザ端末１３０から受信した確認要求に応じて、上述した撮影処理において生成した画像情報（サムネイル、タイムライン、またはグラフ）を読み出す。

そして、ステップＳ２２４において、クラウドプラットフォーム１２０の通信部１２１は、ステップＳ２２３において読み出された画像情報をユーザ端末１３０に送信する。そして、ユーザ端末１３０の通信部１３２は、クラウドプラットフォーム１２０により送信された画像情報を受信する。

そして、ステップＳ２２５において、ユーザ端末１３０の表示再生部１３３は、クラウドプラットフォーム１２０から受信した画像情報をディスプレイ（不図示）に表示する。画像情報は、たとえば上述した図６～図１０に示されるような態様で表示される。

そして、ステップＳ２２６において、ユーザ端末１３０の入力受付部１３１は、上述した画像情報に基づいてユーザが所望のタイミングの映像を選択（指定）する操作としての選択指示を受け付ける。具体的には、図６におけるサムネイルの選択、図７および図８におけるタイムライン上の時刻の指定、図９および図１０におけるグラフ上の棒の指定等が、これに当たる。

そして、ステップＳ２２７において、ユーザ端末１３０の通信部１３２は、受け付けた選択指示をクラウドプラットフォーム１２０に送信する。そして、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０により送信された選択指示を受信する。

そして、ステップＳ２２８において、クラウドプラットフォーム１２０の画像情報生成部２２３は、ユーザ端末１３０から受信した選択指示に応じて、上述した撮影処理において記録した映像を読み出す。すなわち、ステップＳ２２６で選択（指定）されたものに対応する時刻の映像を読み出す。

そして、ステップＳ２２９において、クラウドプラットフォーム１２０の通信部１２１は、ステップＳ２２８において読み出された映像をユーザ端末１３０に送信する。そして、ユーザ端末１３０の通信部１３２は、クラウドプラットフォーム１２０により送信された映像を受信する。

そして、ステップＳ２３０において、ユーザ端末１３０の表示再生部１３３は、クラウドプラットフォーム１２０から受信した映像をディスプレイ（不図示）上で再生する。たとえば、図７のＵＩで中央の画面に当該映像を再生する。なお、ステップＳ２２６において図６～図１０のＵＩを介して選択（指定）が行われるが、これが図７を介した操作であった場合には中央の画面の更新を、その他の図を介した操作であった場合には図７への推移を、それぞれ行うものとする。このようにして、確認処理が終了する。

以上説明したように、実施形態にかかるシステム１００は、ネットワーク（不図示）に接続されたカメラ１１０により撮影された映像を表示する。このシステム１００は、ユーザの指示に応じて、対象エリアに留まっている人の数に関する閾値（第１閾値）、および対象エリアに人が留まっている時間に関する閾値（第２閾値）を設定するように構成されうる。そして、システム１００は、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測（検知）するように構成されうる。そして、システム１００は、たとえば、対象エリアに上記の第２閾値以上の時間留まった人の数が上記の第１閾値以上になったときの映像を示すサムネイルを生成し、生成されたサムネイルを表示するように構成されうる。このような構成によれば、カメラ１１０により撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することができる。

また、実施形態において、システム１００は、対象エリアを変更可能に設定するように構成されうる。このような構成によれば、変更可能な様々な対象エリアに関する情報を提供することができる。

また、実施形態において、システム１００は、さらに、所望の時間帯、曜日、または日付のうちいずれか１つ以上に関する条件を設定し、当該条件が成立したときの映像を示すサムネイルも生成するように構成されうる。このような構成によれば、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間に関する観点からの情報に加えて、時間帯、曜日、または日付のうちいずれか１つ以上に関する様々な観点からの情報も提供することができる。

また、実施形態において、システム１００は、サムネイルが複数表示されている場合、ユーザの指示に応じて、表示されたサムネイルの中からいずれかを選択し、選択されたサムネイルに対応する映像を再生するように構成されうる。このような構成によれば、サムネイルを選択するだけで、当該サムネイルに対応するより詳細な情報としての映像を容易に確認することができる。

また、実施形態において、システム１００は、対象エリアに人が留まっている時間を人ごとに計測し、当該人ごとに計測された時間に基づいてサムネイルを生成するように構成されうる。このような構成によれば、たとえば人を区別しない場合と異なり、より詳細な情報を提供することができる。

さらに、実施形態において、システム１００は、所定エリアに第２閾値以上の時間留まった人の数が第１閾値以上になったときの情報を時系列で示すタイムラインを生成し、生成されたタイムラインを表示するようにも構成されうる。このような構成によっても、上記のサムネイルを利用する場合と同様に、カメラ１１０により撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することができる。

また、実施形態にかかるシステム１００は、ユーザの指示に応じて、表示されたタイムラインの中から時刻を指定し、指定された時刻に対応する映像を再生するように構成される。このような構成によれば、タイムラインの中から時刻を指定するだけで、当該時刻におけるより詳細な情報としての映像を容易に確認することができる。

また、実施形態において、システム１００は、対象エリアに人が留まっている時間を人ごとに計測し、当該人ごとに計測された時間に基づいてタイムラインを生成するように構成されうる。このような構成によれば、たとえば人を区別しない場合と異なり、より詳細な情報を提供することができる。

さらに、実施形態において、システム１００は、ユーザの指示に応じて、対象エリアとの境界線を示すラインと、当該ラインを介して対象エリアに入る方向を示すＩＮ方向およびラインを介して対象エリアから出る方向を示すＯＵＴ方向と、を設定するように構成されうる。そして、システム１００は、ラインをＩＮ方向に通過した人の数とラインをＯＵＴ方向に通過した人の数とを区別して集計するように構成される。そして、システム１００は、ラインをＩＮ方向に通過した人の数およびラインをＯＵＴ方向に通過した人の数のそれぞれの時間遷移を区別して示すグラフを生成し、生成されたグラフを表示するように構成される。このような構成によっても、上記のサムネイルおよびタイム欄を利用する場合と同様に、カメラ１１０により撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することができる。

なお、実施形態において、システム１００は、人の数の集計を行う期間を指定し、指定された期間内の集計結果に対応するグラフを生成するように構成される。このような構成によれば、指定された期間に応じて様々なグラフを容易に生成することができる。

また、実施形態において、システム１００は、人の数の集計を複数回行うときの時間間隔を指定し、指定された時間間隔で集計したグラフを生成するように構成される。このような構成によれば、指定された時間間隔に応じて様々なグラフを容易に生成することができる。

最後に、上述した実施形態にかかるシステム１００を構成するカメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０に含まれるハードウェア構成について説明する。実施形態において、カメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０は、たとえば次の図１１に示されるようなハードウェア構成を有する情報処理装置１１００を含むように構成される。

図１１は、実施形態にかかるカメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０に含まれる情報処理装置１１００のハードウェア構成を示した例示的かつ模式的なブロック図である。

なお、図１１は、カメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０において実質的に共通するハードウェア構成のみを示したものである。このため、カメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０の実際のハードウェア構成は、図１１に示されている以外の部分で様々に異なる点について留意されたい。

図１１に示されるように、情報処理装置１１００は、プロセッサ１１１０と、メモリ１１２０と、ストレージ１１３０と、入出力インターフェース（Ｉ／Ｆ）１１４０と、通信インターフェース（Ｉ／Ｆ）１１５０と、を備えている。これらのハードウェアは、バス１１６０に接続されている。

プロセッサ１１１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、情報処理装置１１００の各部の動作を統括的に制御する。

メモリ１１２０は、たとえばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、プロセッサ１１１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ１１１０がプログラムを実行するための作業領域の提供などを実現する。

ストレージ１１３０は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含み、各種のデータを不揮発的に記憶する。

入出力インターフェース１１４０は、たとえばキーボードおよびマウスなどのような入力装置（不図示）から情報処理装置１１００へのデータの入力と、たとえば情報処理装置１１００からディスプレイおよびスピーカなどのような出力装置（不図示）へのデータの出力と、を制御する。

通信インターフェース１１５０は、情報処理装置１１００が他の装置と通信を実行することを可能にする。

実施形態にかかるカメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０が有する各機能モジュール（図１参照）は、それぞれの情報処理装置１１００のプロセッサ１１１０がメモリ１１２０またはストレージ１１３０に予め記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュール群として実現される。ただし、実施形態では、図１に示される機能モジュール群のうち一部または全部が、専用に設計された回路のようなハードウェアのみによって実現されてもよい。

なお、上述した情報処理プログラムは、必ずしもメモリ１１２０またはストレージ１１３０に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

＜変形例＞
上述した実施形態の変形例として、たとえば下記の図１２および図１３に示されるように、カメラ１１０に対する設定処理において設定可能な条件をさらに追加する構成が考えられる。

図１２は、変形例において設定可能な追加条件の一例を示した例示的かつ模式的な図である。

図１２に示される画像１２００は、上述した図３に示されるような、ユーザによる条件の設定に関する操作を受け付けるＵＩ上に追加的に表示されうる。この画像１２００は、カメラ１１０に検知させるべき対象物の種類を指定するためのインターフェースを含む。このインターフェースを利用すれば、検知対象を絞りこむことができるので、有益である。

また、図１３は、変形例において設定可能な追加条件の他の一例を示した例示的かつ模式的な図である。

図１３に示される画像１３００も、上述した図３に示されるような、ユーザによる条件の設定に関する操作を受け付けるＵＩ上に追加的に表示されうる。この画像１３００は、カメラ１１０に検知させるべき検知対象の数の変化の種類を指定するためのインターフェースを含む。このインターフェースを利用すれば、検知対象の数が特定の態様で変化したことを容易に検知することができるので、有益である。

以上、本開示の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ システム
１１０ カメラ
１１１ 撮影部
１１２ 検知部
１１３ 通信部
１２０ クラウドプラットフォーム
１２１ 通信部
１２２ 記録部
１２３ 画像情報生成部
１３０ ユーザ端末
１３１ 入力受付部
１３２ 通信部
１３３ 表示再生部

Claims (14)

1. ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、
   対象エリアに留まっている人の数に関する第１閾値、および前記対象エリアに人が留まっている時間に関する第２閾値の指示を受け付けるインターフェースが同一画面上に設けられたユーザインターフェースを出力し、
   前記ユーザインターフェースを介したユーザの指示に応じて、前記第１閾値、および前記第２閾値を設定し、
   前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測し、
   前記対象エリアに前記第２閾値以上の時間留まった人の数が前記第１閾値以上になったときの映像を示すサムネイルを生成し、
   生成された前記サムネイルを表示する、
   システム。
2. 前記対象エリアに人が入った時間と前記対象エリアから人が出た時間とに基づいて、前記対象エリアに人が留まっている時間を計測し、前記対象エリアに人が入った時間から所定の時間が経過したときに前記対象エリアに留まっている人の数をカウントアップし、前記対象エリアから人が出たときに前記対象エリアに留まっている人の数をカウントダウンする、
   請求項１に記載のシステム。
3. 更に前記対象エリアを変更可能に設定する、
   請求項１に記載のシステム。
4. 更に所望の時間帯、曜日、または日付のうち何れか１つ以上に関する条件を設定し、
   前記条件が成立したときの映像を示す前記サムネイルも生成する、
   請求項１に記載のシステム。
5. 前記サムネイルが複数表示されている場合、ユーザの指示に応じて、表示された前記サムネイルの中から何れかを選択し、
   選択された前記サムネイルに対応する映像を再生する、
   請求項１に記載のシステム。
6. 前記対象エリアに人が留まっている時間を人ごとに計測し、
   人ごとに計測された前記時間に基づいて前記サムネイルを生成する、
   請求項１に記載のシステム。
7. ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、
   ユーザの指示に応じて、対象エリアに留まっている人の数に関する第１閾値、および前記対象エリアに人が留まっている時間に関する第２閾値を設定し、
   前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測し、
   前記対象エリアに前記第２閾値以上の時間留まった人の数が前記第１閾値以上になった前記映像のタイミングを示すオブジェクトを時系列上に配置したタイムラインを生成し、
   生成された前記タイムラインを表示する、
   システム。
8. 前記対象エリアに人が入った時間と前記対象エリアから人が出た時間とに基づいて、前記対象エリアに人が留まっている時間を計測し、前記対象エリアに人が入った時間から所定の時間が経過したときに前記対象エリアに留まっている人の数をカウントアップし、前記対象エリアから人が出たときに前記対象エリアに留まっている人の数をカウントダウンする、
   請求項７に記載のシステム。
9. 更に前記対象エリアを変更可能に設定する、
   請求項７に記載のシステム。
10. 更に所望の時間帯、曜日、または日付のうち何れか１つ以上に関する条件を設定し、
    前記条件が成立したときの情報を時系列で示す前記タイムラインも生成する、
    請求項７に記載のシステム。
11. ユーザの指示に応じて、表示された前記タイムラインの中から時刻を指定し、
    指定された前記時刻に対応する映像を再生する、
    請求項７に記載のシステム。
12. 前記対象エリアに人が留まっている時間を人ごとに計測し、
    人ごとに計測された前記時間に基づいて前記タイムラインを生成する、
    請求項７に記載のシステム。
13. ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、
    対象エリアに留まっている人の数に関する第１閾値、および前記対象エリアに人が留まっている時間に関する第２閾値の指示を受け付けるインターフェースが同一画面上に設けられたユーザインターフェースを出力することと、
    前記ユーザインターフェースを介したユーザの指示に応じて、前記第１閾値、および前記第２閾値を設定することと、
    前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測することと、
    前記対象エリアに前記第２閾値以上の時間留まった人の数が前記第１閾値以上になったときの映像を示すサムネイルを生成することと、
    生成された前記サムネイルを表示することと、
    をコンピュータに実行させるための、プログラム。
14. ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、
    ユーザの指示に応じて、対象エリアに留まっている人の数に関する第１閾値、および前記対象エリアに人が留まっている時間に関する第２閾値を設定することと、
    前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測することと、
    前記対象エリアに前記第２閾値以上の時間留まった人の数が前記第１閾値以上になった前記映像のタイミングを示すオブジェクトを時系列上に配置したタイムラインを生成することと、
    生成された前記タイムラインを表示することと、
    をコンピュータに実行させるための、プログラム。

Images