JP6764214B1 - 混雑情報報知システム - Google Patents

Abstract

【課題】各種施設において、施設利用者や利用予定者に対して、感染症拡大を回避するために必要とされる社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を、画像から直感的に容易に把握することができる態様で報知すること。【解決手段】撮影画像中の人を骨格情報のみで表示するように画像処理を施したプライバシー保護処理済画像を生成し、監視対象領域における実際の距離において個々の人から所定距離内にある個々の円形領域の外縁を示す環状線を、個々の人の動きに応じて移動させながら、プライバシー保護処理済画像中に重ねて表示する画像処理部２４と、当該環状線が重ねて表示されているプライバシー保護処理済画像を、混雑情報として発信する、情報発信部２５とを、備える、混雑情報報知システムとする。【選択図】図４

Description

本発明は、混雑情報報知システムに関する。詳しくは、本発明は、感染症の感染拡大を回避するために必要とされる、所謂社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を、利用者に直感的に分かりやすい画像で報知するシステムに関する。

感染症の感染拡大を回避するために、必要とされる社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を施設利用者や利用予定者に分かりやすく報知する手段が求められている。

監視画像から監視領域内の混雑度を検知して監視者に報知するシステムは既に知られている（例えば、特許文献１）。特許文献１に記載のシステムによって得た混雑度に係る数値情報を顧客に向けて発信すれば混雑状況を報知することは可能である。

ここで、施設等の利用者に混雑の逼迫度を直感的に理解してもらうためには、数値情報のみに留まらず、それに加えて、施設内の混雑の様子を写した画像も併せてみせることが有効である。従来の混雑情報報知システムにおいて、監視者は、実際の監視対象領域の画像を併せて確認することができるが、このような画像を不特定多数の利用者に開示することはプライバシー保護の要請に反するために許されないことである。

この問題に対しては、例えば、特許文献２に開示されている技術を応用して、人物を骨格線のみで表示する情報にまで抽象化して表示することにより、プライバシー保護を更に徹底することが考えられる。

しかしながら、画像内の個々の人が、そのような骨格線のみで表示されている場合には、２次元の画像内において平面視上重なる位置に複数の人が存在していると、当該画像から混雑状況を直感的に把握することが難しい場合があり、この点、改善策が模索されていた。

特開２０１８−４２０４９号公報 特許第６５６２４３７号公報

本発明は、店舗、飲食店、遊園地、役所、銀行等の各種施設において、利用者のプライバシーの保護に十分に配慮しながら、施設利用者や利用予定者に対して、感染症拡大を回避するために必要とされる社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を、画像から直感的に容易に把握することができる態様で報知することを目的とする。

本発明者は、近年開発が進んでいる画像からの骨格情報抽出技術を利用することによって、利用者のプライバシー保護の完全性を確保しながら、この場合において、更に、画像内で骨格情報の形態で表示されている個々の人の周囲に重ねて、所定サイズの円形のライン（「ソーシャルディスタンシング・サークル」）を表示することによって、画像からの、人と人との距離や密度の直感的把握の容易さを、顕著に向上させることができることに想到し、本発明を完成するに至った。本発明は、具体的に、以下の解決手段により、上述の課題を解決する。

（１） 監視対象領域を撮影する撮影部と、前記撮影部が撮影した撮影画像中の人を識別する人識別部と、前記人識別部によって識別された人の画像から骨格情報を抽出する骨格情報抽出部と、前記人識別部によって識別された前記撮影画像中の人を骨格情報のみで表示するように画像処理を施したプライバシー保護処理済画像を生成し、前記監視対象領域における実際の距離において個々の前記人から所定距離内にある個々の円形領域の外縁を示す環状線を、個々の前記人の動きに応じて移動させながら、前記プライバシー保護処理済画像中に重ねて表示する画像処理部と、前記環状線が重ねて表示されているプライバシー保護処理済画像を、混雑情報として発信する、情報発信部と、を備える、混雑情報報知システム。

（１）の混雑情報報知システムによれば、各種施設において、感染症拡大を回避するために必要とされる社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を、利用者のプライバシーの保護に十分に配慮しながら、施設利用者や利用予定者に対して、映像によって直感的に把握できる分かりやすい態様で報知することができる。

（２） 前記画像処理部は、前記所定距離を、任意の所望の距離に初期設定することができ、又、該所定距離を必要に応じて任意の距離に変更することができる、ソーシャルディスタンス調整機構を備える、（１）に記載の混雑情報報知システム。

（２）の混雑情報報知システムによれば、個々の監視対象領域の特性や実態に応じて変動する、「好ましい社会的距離（ソーシャルディスタンス）」に応じて、表示する環状線（本明細書においては「ソーシャルディスタンシング・サークル」とも称する）の直径を任意の最適値に適宜調整することができるので、ため、想定される「好ましい社会的距離（ソーシャルディスタンス）」が異なる様々な施設においても、（１）の混雑情報システムの奏する上記の効果を享受することができる。

（３） 前記人識別部によって識別された人の数から前記監視対象領域内で所定の単位面積を占める部分領域の混雑度を算出する混雑度算出部を、更に備える、（１）又は（２）に記載の混雑情報報知システム。

（３）の混雑情報報知システムによれば、監視画像を直感的な把握が容易なプライバシー保護処理済画像からなる混雑情報に加工することと併せて、当該監視画像から混雑度に係る客観的な数値データ等を得ることができる。

（４） 前記情報発信部は、前記画像処理部によって生成されたプライバシー保護処理済画像と前記混雑度算出部が算出した混雑度を示す文字情報とを組み合わせた情報を、混雑情報として発信する、（３）に記載の混雑情報報知システム。

（４）の混雑情報報知システムによれば、プライバシー保護処理済画像と、（３）の混雑情報報知システムにおいて得られる客観的な数値データとを組合せた、直感的に把握が容易で、且つ、客観性のある混雑情報を発信することができる。

（５） 前記情報発信部は、過去の月、日、曜日、時間、及び、天気毎の混雑情報を蓄積したデータを、ニューラルネットワークを有する機械学習型の情報解析装置に学習させて得た現時点以後の混雑予測データを、前記混雑情報と併せて発信する、（１）から（４）の何れかに記載の混雑情報報知システム。

（５）の混雑情報報知システムによれば、当該施設等の利用予定者、或いは、利用を検討している潜在的な利用予定者対して、現時点から近い将来にかけてのタイムリーな混雑予想情報をリアルタイムで発信することができる。これにより、当該施設等の利用者等は、混雑を避けて利用する等、当該店舗等の利用のタイミングを適切に判断することができるという利便性を提供し、尚且つ、施設側は、混雑の発生を回避しながらトータルの集客を維持することができるという効果を享受することができる。

（６） 前記情報発信部は、販売促進情報を、前記混雑情報と併せて発信する、（１）から（５）の何れかに記載の混雑情報報知システム。

（６）の混雑情報報知システムによれば、特に店舗等において、（１）から（５）の何れかに記載の混雑情報報知システムを用いる場合において、当該店舗の利用予定者、或いは、利用を検討している潜在的な利用予定者対して、適切な混雑予想情報と併せて、様々な販売促進情報を組合せて発信することができる。これにより、当該店舗等の集客に寄与することができる。

（７） 撮影部が、監視対象領域を撮影する撮影ステップと、人識別部が、前記撮影部が撮影した撮影画像中の人を識別する人識別ステップと、骨格情報抽出部が、前記人識別部によって識別された人の画像から骨格情報を抽出する骨格情報抽出ステップと、画像処理部が、前記人識別部によって識別された前記撮影画像中の人を骨格情報のみで表示するように画像処理を施したプライバシー保護処理済画像を生成し、更に、前記監視対象領域における実際の距離において個々の前記人から所定距離内にある個々の円形領域の外縁を示す環状線を、個々の前記人の動きに応じて移動させながら、前記プライバシー保護処理済画像中に重ねて表示する画像処理ステップと、情報発信部が、前記環状線が重ねて表示されている前記プライバシー保護処理済画像を、混雑情報として発信する、混雑情報発信ステップと、を含む、混雑情報報知方法。

（７）の混雑情報報知方法によれば、店舗、飲食店、遊園地、役所、銀行等の各種施設において、感染症拡大を回避するために必要とされる社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を、利用者のプライバシーの保護に十分に配慮しながら、施設利用者や利用予定者に対して、映像によって直感的に把握できる分かりやすい態様で報知することができる。

（８） 混雑度算出部が、前記人識別部によって識別された人の数から前記監視対象領域内で所定の単位面積を占める部分領域の混雑度を算出する混雑度算出ステップが更に行われ、前記混雑情報発信ステップにおいて、前記情報発信部が、前記画像処理部によって生成された前記プライバシー保護処理済画像と前記混雑度算出部が算出した混雑度を示す文字情報とを組み合わせた情報を、混雑情報として発信する、（７）に記載の混雑情報報知方法。

（８）の混雑情報報知方法によれば、プライバシー保護処理済画像と、客観的な数値データとを組合せた、直感的に把握が容易で、且つ、客観性のある混雑情報を発信することができる。

（９） 前記混雑情報発信ステップにおいて、前記情報発信部が、過去の月、日、曜日、時間、及び、天気毎の混雑情報を蓄積したデータを、ニューラルネットワークを有する機械学習型の情報解析装置に学習させて得た現時点以後の混雑予測データを、前記混雑情報と併せて発信する、（８）に記載の混雑情報報知方法。

（９）の混雑情報報知方法によれば、当該施設等の利用予定者、或いは、利用を検討している潜在的な利用予定者対して、現時点から近い将来にかけてのタイムリーな混雑予想情報をリアルタイムで発信することができる。これにより、当該施設等の利用者等は、混雑を避けて利用する等、当該店舗等の利用のタイミングを適切に判断することができるという利便性を提供し、尚且つ、施設側は、混雑の発生を回避しながらトータルの集客を維持することができるという効果を享受することができる。

（１０） 混雑情報発信ステップにおいて、前記情報発信部が、販売促進情報を、前記混雑情報と併せて発信する、（８）又は（９）に記載の混雑情報報知方法。

（１０）の混雑情報報知方法によれば、特に店舗等において、（８）又は（９）に記載の混雑情報報知方法を用いる場合において、当該店舗の利用予定者、或いは、利用を検討している潜在的な利用予定者対して、適切な混雑予想情報と併せて、様々な販売促進情報を組合せて発信することができる。これにより、当該店舗等の集客に寄与することができる。

（１１） （７）から（１０）の何れかに記載の混雑情報報知方法において、前記人識別ステップ、前記骨格情報抽出ステップ、前記画像処理ステップを、前記人識別部、前記骨格情報抽出部、及び、前記画像処理部を含んで構成される演算処理部に実行させる、混雑情報報知用のプログラム。

（１１）のプログラムによれば、店舗、飲食店、遊園地、役所、銀行等の各種施設の混雑度を、利用者に報知するシステムにおいて、感染症拡大を回避するために必要とされる社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を、利用者のプライバシーの保護に十分に配慮しながら、施設利用者や利用予定者に対して、映像によって直感的に把握できる分かりやすい態様で報知することができる。

本発明によれば、店舗、飲食店、遊園地、役所、銀行等の各種施設において、利用者のプライバシーの保護に十分に配慮しながら、施設利用者や利用予定者に対して、感染症拡大を回避するために必要とされる社会的距離（ソーシャルディスタンス）を確保するために有用な混雑情報を、画像から直感的に容易に把握することができる態様で報知することができる。

本発明の混雑情報報知システムの構成を示すブロック図である。 本発明の混雑情報報知システムに係る撮影画像の一例を示す図である。 本発明の混雑情報報知システムに係るプライバシー保護処理済画像の一例を示す図である。 本発明の混雑情報報知システムに係るプライバシー保護処理済画像の一例であって、監視対象領域における実際の距離において個々の人から所定距離内にある個々の円形領域の外縁を示す環状線であるソーシャルディスタンシング・サークルが重ねて表示されている実施形態を示す図である。 図４の環状線（ソーシャルディスタンシング・サークル）の説明に供する模式図である。 本発明の混雑情報報知システムに係るプライバシー保護処理済画像の一例であって、撮影画像中の長さと、監視対象領域における実際の距離とが、対応している状態で、特定の部分領域を示すグリッド線が撮影画像中に表示されている実施形態を示す図である。 本発明の混雑情報報知システムによって、利用者の情報受信端末に表示される、混雑情報の一例を示す図である。

以下、本発明を実施するための最良の形態について説明する。

＜混雑情報報知システム＞
図１は、本発明の混雑情報報知システム１の構成を示すブロック図である。以下の説明では、具体的な構成を例示して説明を行うが、これらは、適宜変更することができる。

［全体構成］
混雑情報報知システム１は、撮影部１０と、演算処理部２０と、によって構成される。又、混雑情報報知システム１から発信される情報は、システムの利用者が所持する情報受信端末３０に向けて発信される。

以下においては、本発明の混雑情報報知システムを、撮影部１０と演算処理部２０とを離れた位置に別々に配置した構成からなる混雑情報報知システム１を好ましい実施形態の一例として、その詳細を説明する。しかし、本発明は、撮影部１０と演算処理部２０とを一つの混雑情報報知システムとして一体化した構成とすることも可能であるし、或いは、演算処理部２０の一部のみを撮影部１０に搭載した構成とすることもできる。

混雑情報報知システム１は、上記の各構成部分を、相互に情報通信可能に接続した情報処理システムである。各部間の接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続によって混雑情報報知システム１を構成することもできる。

［撮影部］
撮影部１０は、店舗、飲食店、公園、遊園地、競技場、役所、銀行等、各種施設において混雑度監視する監視対象領域を撮影する、所謂、監視カメラである。

撮影部１０は、監視対象領域を連続的に撮影することができる従来公知の各種の監視用カメラで構成することができる。又、撮影部１０を構成する監視カメラは監視対象領域とする空間内の３次元位置情報を直接的に取得できる３Ｄカメラで構成することもできるし、監視対象領域とする３次元空間を２次元の画像として撮影する単眼のカメラで構成することもできる。

混雑情報報知システム１において、撮影部１０が、２次元情報のみを有する監視画像を撮影可能な単眼カメラである場合、混雑情報報知システム１は、監視画像中の位置を監視対象領域である３次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部（ブロック図中の図示は省略）を、更に備える構成とすることが好ましい。尚、撮影部１０が監視対象領域とする空間内の３次元位置情報を直接的に取得できる３Ｄカメラである場合には、上記態様の座標設定部は必須ではない。座標設定部は撮影部１０に内蔵されていてもよいし、演算処理部２０の一部として、追加的に別途の装置として付加されていてもよい。

ここで、図２は、撮影部１０が撮影した撮影画像１００の一例を示す図である。撮影部１０は、撮影画像１００を、演算処理部２０で演算処理することができるようにデジタル形式の画像データに加工して、当該画像データを演算処理部２０に向けて出する機能を有するものであれば、既存の各種のデジタルカメラを特に制限なく用いることができる。

［演算処理部］
演算処理部２０は、撮影部１０から出力され、送信された画像データに対して、混雑情報を作成するために必要な各種の演算処理を行う。演算処理部２０は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部２０は、本発明の実施に係る動作に特化した専用装置として構成することもできる。又、演算処理部２０は、以上の機能を備える情報処理装置をサーバーとしてクラウド上に構成して、これを多数のクライアントで共有する構成とすることもできる。

上記何れの構成においても、演算処理部２０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部２０は、本発明に係るコンピュータプログラムである混雑情報報知用のプログラムを実行することにより、以下に説明する各種動作、及び、混雑情報報知方法を具体的に実行することができる。

演算処理部２０は、撮影部１０から画像データを受信することができるように撮影部１０と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部２０は、撮影部１０の近傍に配置せずに、撮影部１０から離れた遠隔地に配置してもよい。

演算処理部２０は、少なくとも、人識別部２１、骨格情報抽出部２２、画像処理部２４、及び、情報発信部２５を備える。又、演算処理部２０は、混雑度算出部２３を更に備えることが好ましい。必要に応じて座標設定部を備える構成とすることができる。

（人識別部）
人識別部２１は、撮影部１０が撮影した撮影画像１００中から、人を、自動的に識別して検出する。この人の識別は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって撮影画像１００中から背景以外の対象物を抽出することができる。この背景差分は公知の技術であり、撮影部１０で撮影された撮影画像の画像データと、事前に取得しておいた撮影対象領域の背景画像との差分をとることで、動きのある対象物を抽出する技術である。

又、抽出した監視対象の特定については、近年、画像認識分野において、認識率の飛躍的向上が注目を集めている、ニューラルネットワークを有する機械学習型の画像解析装置（所謂「ディープラーニング技術を用いた画像認識装置」）を用いることが好ましい。

尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ）

これらの様々な公知の画像認識技術により、撮影画像中の「人」を自動的に、且つ、極めて高い正解率で識別することができる。

（骨格情報抽出部）
骨格情報抽出部２２は、撮影画像１００中の人１０１、１０２、・・・、１０５から、対応する骨格情報１０１Ａ、１０２Ａ、・・・、１０５Ａを抽出する。骨格情報１０１Ａ、１０２Ａ、・・・、１０５Ａとは、人１０１、１０２、・・・、１０５の頭、両肩、腰、手、脚の各関節部分に相当する複数の特徴点と、各点を連接する線分で構成される画像情報である（図３参照）。

図３に示すような、人の骨格情報の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の画像から「人」の骨格情報を抽出することができる。又、これら各特徴点の位置や速度を解析することによって、人の位置及び動きを認識することができる
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

（混雑度算出部）
混雑度算出部２３は、人識別部２１が識別した人の人数から当該領域内の混雑度を算出する。混雑度、即ち、任意の部分領域毎の人の人数は、例えば、人１０１、１０２、・・・、１０５が、監視対象領域内で占める「実際の位置」を、骨格情報１０１Ａ、１０２Ａ、・・・、１０５Ａを構成する特徴点が下記に説明する座標設定部が設定した座標上に占める位置（３次元位置情報）として把握し、この３次元位置情報を解析することによって、客観的な数値データとして得ることができる。

（画像処理部）
画像処理部２４は、撮影画像１００（図２）に画像処理を施して、プライバシー保護処理済画像１００Ａ（図３）を生成する。プライバシー保護処理済画像１００Ａとは、図３に示す通り、撮影画像１００中の人１０１、１０２、・・・、１０５を、骨格情報抽出部２２で抽出した、対応する骨格情報１０１Ａ、１０２Ａ、・・・、１０５Ａのみで表示するように画像処理を施した画像のことを言うものとする。

そして、混雑情報報知システム１においては、図４に示すように、監視対象領域における実際の距離において、個々の人１０１Ｂ、１０２Ｂ、１０３Ｂ、１０４Ｂ、１０５Ｂ、１０６Ｂから、それぞれ所定距離ｒ内にある個々の円形領域の外縁を示す環状線である環状線（ソーシャルディスタンシング・サークル）１０１Ｃ、１０２Ｃ、１０３Ｃ、１０４Ｃ、１０５Ｃ、１０６Ｃが、プライバシー保護処理済画像１００Ｃ中に重ねて表示される。環状線（ソーシャルディスタンシング・サークル）１０１Ｃ〜１０６Ｃは、個々の人１０１Ｂ〜１０６Ｃが移動すれば、当該移動に応じて移動し、常に、個々の人１０１Ｂ〜１０６Ｃの位置を中心とする円として表示される。尚、図５は、プライバシー保護処理済画像１００Ｃによって表示されている３次元領域における施設の床面等に相当するＸＹ平面上（１００Ｃ’）で、環状線（ソーシャルディスタンシング・サークル）１０１Ｃ〜１０６Ｃが実際に占める位置を示している。

又、上記の所定距離ｒ（図５参照）は、一般に要求される所謂「社会的距離（ソーシャルディスタンス）」に合せて、通常、初期設定としては、２ｍに設定される。但し、この所定距離ｒは、必要に応じて任意の所望の距離に変更することができるようにしておくことが好ましい。このような調整を行うために必要な機構、構成を総称して、本明細書においては、「ソーシャルディスタンス調整機構」と称するものとする。

又、プライバシー保護処理済画像には、更に、撮影画像中の長さと、監視対象領域における実際の距離との対応を表示するグリッド線（図示せず）が表示されていることがより好ましい。グリッド線は画像中に示される線分の長さによって、監視対象領域内での実際の距離が把握できるものであればよい。これにより、システムの利用者が、プライバシー保護処理済画像から、そこに骨格情報として表示されている人と人の実際の距離を容易に把握することができる。又、図６に例示するように、監視対象領域内で実際に、所定の単位面積を占める部分領域を、部分領域グリッド線１１０によって示すことによって、当該部分領域の混雑度（密集度）をより、把握容易な視覚情報として表示することができる。

（情報発信部）
情報発信部２５は、画像処理部２４によって上述の画像処理を施したプライバシー保護処理済画像１００Ａを、システムの利用者に対して施設の混雑情報を報知するための情報として発信する。尚、ここで、システムの利用者として想定されているのは、当該施設の管理担当者等、及び、当該施設の利用を検討している全ての潜在的な利用者である。但し、必要に応じて、認証された特定の顧客グループだけに混雑情報を開示するようにすることもできる。

情報発信部２５の発信する混雑情報は、プライバシー保護処理済画像１００Ａと、混雑度を示す文字情報２００と、を組み合わせた情報であること好ましい。この文字情報２００とは、混雑度を官能的に示す「たいへん込んでいます」、「空いています」等と言った文言による情報と、実際の特定領域内の滞在人数（密集度）に係る数値による情報とを含み、何れも、混雑度算出部２３で得たデータに基づいて生成することができる。そして、このように生成した混雑情報を、例えば、図７に示すように、例えばスマートフォン等、システムの利用者の情報受信端末３０に表示させることが好ましい。又、上記混雑情報は、例えば、当該店舗のＨＰ等、利用者が適宜ダウンロード可能な態様でＷｅｂ上の何れかの記憶媒体に記憶させておくこともできるし、街頭ディスプレイ等の各サイネージで、リアルタイムな情報として公衆に向けて広く表示することもできる。

（座標設定部）
尚、例えば、特許６５８１２８０号に公開されているように２次元の画像情報から３次元座標を生成可能な座標設定部を更に演算処理部２０に設けることにより、撮影部１０が撮影した撮影画像中の床面に相当する位置を実寸法と関連付けて特定可能な座標を設定することもできる。このような座標設定部が設定する座標とは、撮影部１０が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面にあるとしたときに、その床面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、実寸法と関連付けて設定される。このような座標設定部を設けることにより、距離測定デバイスや３Ｄカメラ等を導入することなく廉価で取得可能な単眼カメラによってのみ取得された２次元情報のみを有する画像からであっても、自動的な処理のみにより高い精度で人の識別を効率よく実行することができる。

［情報受信端末］
情報受信端末３０は、システムの利用者が情報発信部２５の発信する混雑情報を受信することができる装置、機器であれば特に限定されず、使用者の所持する又は貸与されている様々な機器を用いることができる。情報受信端末３０は、具体的には、モニター付きのパーソナルコンピュータ、或いは、容易に持ち運ぶことができる小型の携帯情報処理端末等のように、上記の混雑情報を、システムの利用者が、認知可能な映像・文字・音声等で適宜表示することができる各種の情報処理端末、或いは、そのような要求に対応可能なモニター等を含む各種の情報表示装置によって構成することができる。

＜混雑情報報知方法＞
好ましくは、本発明の混雑情報報知システム１の動作によって実行することができる本発明の混雑情報報知方法は、撮影部１０において実行される撮影ステップ、人識別部２１において実行される人識別ステップ、骨格情報抽出部２２において実行される骨格情報抽出ステップ、混雑度算出部２３において実行される混雑度算出ステップ、画像処理部２４において実行される画像処理ステップ、及び、情報発信部２５において実行される混雑情報発信ステップが順次行われることによって、全体プロセスとして実行される。尚、混雑情報発信ステップにおいては、画像処理ステップにおいて生成されたプライバシー保護処理済画像１００Ａのみを混雑情報として発信する態様として実施することもできる。

（撮影ステップ）
撮影ステップでは、撮影部１０が、監視対象領域の撮影を行う。ここで、この撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

（人識別ステップ）
人識別ステップでは、人識別部２１が、撮影部１０が撮影した撮影画像中の人を識別する。人を識別した場合には、骨格情報抽出ステップ、又は、混雑度算出ステップへ進み、人が識別されていない場合には、撮影ステップへ戻り、監視動作を継続する。

（骨格情報抽出ステップ）
骨格情報抽出ステップでは、骨格情報抽出部２２が、人識別ステップで識別された人１０１、１０２、・・・、１０５（図２参照）から、対応する骨格情報１０１Ａ、１０２Ａ、・・・、１０５Ａ（図３）を抽出する。

（混雑度算出ステップ）
混雑度算出ステップでは、混雑度算出部２３が、人識別ステップで識別された人の数を特定し、この単位面積当たりに滞留する人数に係る数値データから監視対象領域の混雑度を算出する。ここでいう混雑度の判断基準は、本方法を適用する対象施設の業態、業種、場所等によって、任意に変更することができる。一例として、初期設定として、任意の単位面積（例えば５ｍ^２）の領域において、当該領域内に３人以上の人が識別された場合に、当該領域については混雑していると判断するように初期設定としての判断基準を設定しておき、必要に応じて、上記の単位面積と人数とを適宜調整するという実施態様を例示することができる。

（画像処理ステップ）
画像処理ステップでは、画像処理部２４が、撮影画像１００中の人１０１、１０２、・・・、１０５（図２参照）を、対応する骨格情報１０１Ａ、１０２Ａ、・・・、１０５Ａ（図３）のみで表示するように画像処理を施すことによってプライバシー保護処理済画像１００Ａを生成する。

そして、混雑情報報知システム１においては、図４、図５に示すように、監視対象領域における実際の距離において、個々の人１０１Ｂ、１０２Ｂ、１０３Ｂ、１０４Ｂ、１０５Ｂ、１０６Ｂから、それぞれ所定距離ｒ内にある個々の円形領域の外縁を示す環状線（ソーシャルディスタンシング・サークル）１０１Ｃ、１０２Ｃ、１０３Ｃ、１０４Ｃ、１０５Ｃ、１０６Ｃが、プライバシー保護処理済画像１００Ｃ中に重ねて表示される。この「環状線（ソーシャルディスタンシング・サークル）」は、中心位置である個々の人が移動すれば、当該移動に応じて移動し、常に、個々の人の位置を中心とした同径の円として表示される。又、上記の所定距離ｒ（図５参照）は、上述の通り、「ソーシャルディスタンス調整機構」によって、必要に応じて任意の距離に適宜変更することができる。

又、プライバシー保護処理済画像１００Ａには、撮影画像１００中の長さと、監視対象領域における実際の距離との対応を表示するグリッド線を表示することが更に好ましい。

（混雑情報発信ステップ）
混雑情報発信ステップでは、情報発信部２５が、画像処理ステップにおいて生成されたプライバシー保護処理済画像１００Ａを、混雑情報として発信する。又、混雑情報は、プライバシー保護処理済画像１００Ａに「環状線（ソーシャルディスタンシング・サークル）」が重ねて示されるプライバシー保護処理済画像１００Ｃと、混雑度算出ステップで算出された混雑度を示す文字情報２００と、を組み合わせた情報（図７参照）とすることが好ましい。

又、混雑情報は、所定の部分領域内において、個々の「環状線（ソーシャルディスタンシング・サークル）」で示される領域の重なり箇所の数が加味された情報として発することがより好ましい。例えば、図６の場合であれば、部分領域グリッド線で示されている部分領域中で、６つの環状線（ソーシャルディスタンシング・サークル）のうち３つ（１０２Ｃ、１０３Ｃ、及び、１０４Ｃ）が、相互に重なっている。このような重なりの数が所定の領域内で所定の数を超えている場合に、何らかの警告情報（警告音等）を、システムの使用者又は当該施設等の利用者が認知できる態様で発することにより、密集の解消を促すこともできる。

又、過去の月、日、曜日、時間、及び、天気毎の混雑情報を蓄積したデータを、ニューラルネットワークを有する機械学習型の情報解析装置（所謂「ディープラーニング技術を用いた情報解析装置（人口知能）」）に学習させて、現時点以後の混雑予測データを得て、この混雑予測データを上記の混雑データと併せて発信することもできる。更に、その他の販売促進情報等を混雑情報とともに発信することもできる。

混雑情報発信ステップの実行後に、演算処理部２０が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合には、監視動作を終了し、それ以外の場合には、撮影ステップへ戻り、監視を継続する。

１ 混雑情報報知システム
１０ 撮影部
２０ 演算処理部
２１ 人識別部
２２ 骨格情報抽出部
２３ 混雑度算出部
２４ 画像処理部
２５ 情報発信部
３０ 情報受信端末
１００ 撮影画像
１０１、１０２、１０３、１０４、１０５ 人
１００Ａ、１００Ｂ、１００Ｃ プライバシー保護処理済画像
１０１Ａ、・・・、１０１Ｂ、・・・、１０６Ｂ 骨格情報
１０１Ｃ、１０２Ｃ、・・・、１０６Ｃ 環状線
１１０ 部分領域グリッド線
２００ 文字情報

Claims (9)

1. 監視対象領域を撮影する撮影部と、
   前記撮影部が撮影した撮影画像中の人を識別する人識別部と、
   前記人識別部によって識別された人の画像から骨格情報を抽出する骨格情報抽出部と、
   前記人識別部によって識別された前記撮影画像中の人を骨格情報のみで表示するように画像処理を施したプライバシー保護処理済画像を生成し、前記監視対象領域における実際の距離において個々の前記人から所定距離内にある個々の円形領域の外縁を示す環状線を、個々の前記人の動きに応じて移動させながら、前記プライバシー保護処理済画像中に重ねて表示する画像処理部と、
   前記環状線が重ねて表示されているプライバシー保護処理済画像を、混雑情報として発信する、情報発信部と、を備え、
   前記画像処理部は、前記所定距離を、任意の所望の距離に初期設定することができ、又、該所定距離を必要に応じて任意の距離に変更することができる、ソーシャルディスタンス調整機構を備える、
   混雑情報報知システム。
2. 前記人識別部によって識別された人の数から前記監視対象領域内で所定の単位面積を占める部分領域の混雑度を算出する混雑度算出部を、更に備える、
   請求項１に記載の混雑情報報知システム。
3. 前記情報発信部は、前記画像処理部によって生成されたプライバシー保護処理済画像と前記混雑度算出部が算出した混雑度を示す文字情報とを組み合わせた情報を、混雑情報として発信する、
   請求項２に記載の混雑情報報知システム。
4. 前記情報発信部は、過去の月、日、曜日、時間、及び、天気毎の混雑情報を蓄積したデータを、ニューラルネットワークを有する機械学習型の情報解析装置に学習させて得た現時点以後の混雑予測データを、前記混雑情報と併せて発信する、
   請求項１から３の何れかに記載の混雑情報報知システム。
5. 前記情報発信部は、販売促進情報を、前記混雑情報と併せて発信する、
   請求項１から４の何れかに記載の混雑情報報知システム。
6. 撮影部が、監視対象領域を撮影する撮影ステップと、
   人識別部が、前記撮影部が撮影した撮影画像中の人を識別する人識別ステップと、
   骨格情報抽出部が、前記人識別部によって識別された人の画像から骨格情報を抽出する骨格情報抽出ステップと、
   画像処理部が、前記人識別部によって識別された前記撮影画像中の人を骨格情報のみで表示するように画像処理を施したプライバシー保護処理済画像を生成し、更に、前記監視対象領域における実際の距離において個々の前記人から所定距離内にある個々の円形領域の外縁を示す環状線を、個々の前記人の動きに応じて移動させながら、前記プライバシー保護処理済画像中に重ねて表示する画像処理ステップと、
   混雑度算出部が、前記人識別部によって識別された人の数から前記監視対象領域内で所定の単位面積を占める部分領域の混雑度を算出する混雑度算出ステップと、
   情報発信部が、前記環状線が重ねて表示されている前記プライバシー保護処理済画像を、混雑情報として発信する、混雑情報発信ステップと、
   を含み、
   前記混雑情報発信ステップにおいて、前記情報発信部が、前記画像処理部によって生成された前記プライバシー保護処理済画像と前記混雑度算出部が算出した混雑度を示す文字情報とを組み合わせた情報を、混雑情報として発信する、
   混雑情報報知方法。
7. 前記混雑情報発信ステップにおいて、前記情報発信部が、過去の月、日、曜日、時間、及び、天気毎の混雑情報を蓄積したデータを、ニューラルネットワークを有する機械学習型の情報解析装置に学習させて得た現時点以後の混雑予測データを、前記混雑情報と併せて発信する、
   請求項６に記載の混雑情報報知方法。
8. 混雑情報発信ステップにおいて、前記情報発信部が、販売促進情報を、前記混雑情報と併せて発信する、
   請求項６又は７に記載の混雑情報報知方法。
9. 請求項６から８の何れかに記載の混雑情報報知方法において、
   前記人識別ステップ、前記骨格情報抽出ステップ、前記画像処理ステップを、
   前記人識別部、前記骨格情報抽出部、及び、前記画像処理部を含んで構成される演算処理部に実行させる、混雑情報報知用のプログラム。

Images