JP2021175153A - 混雑情報報知システム - Google Patents
混雑情報報知システム Download PDFInfo
- Publication number
- JP2021175153A JP2021175153A JP2020080487A JP2020080487A JP2021175153A JP 2021175153 A JP2021175153 A JP 2021175153A JP 2020080487 A JP2020080487 A JP 2020080487A JP 2020080487 A JP2020080487 A JP 2020080487A JP 2021175153 A JP2021175153 A JP 2021175153A
- Authority
- JP
- Japan
- Prior art keywords
- congestion
- information
- image
- unit
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、本発明の混雑情報報知システム1の構成を示すブロック図である。尚、図1を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜変更して示している。又、以下の説明では、具体的な構成を例示して説明を行うが、これらは、適宜変更することができる。
混雑情報報知システム1は、撮影部10と、演算処理部20によって構成される。又、混雑情報報知システム1から発信される情報はシステムの利用者が所持する情報受信端末30に向けて発信される。
撮影部10は、店舗、飲食店、遊園地、役所、銀行等、各種施設において混雑度監視する監視対象領域を撮影する、所謂、監視カメラである。撮影部10は、監視対象領域を連続的に撮影することができる従来公知の各種の監視用カメラで構成することができる。又、撮影部10を構成する監視カメラは監視対象領域とする空間内の3次元位置情報を直接的に取得できる3Dカメラで構成することもできるし、監視対象領域とする3次元空間を2次元の画像として撮影する単眼のカメラで構成することもできる。
演算処理部20は、撮影部10から出力され、送信された画像データに対して、混雑情報を作成するために必要な各種の演算処理を行う。演算処理部20は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部20は、本発明の実施に係る動作に特化した専用装置として構成することもできる。又、演算処理部20は、以上の機能を備える情報処理装置をサーバーとしてクラウド上に構成して、これを多数のクライアントで共有する構成とすることもできる。
人識別部21は、撮影部10が撮影した撮影画像100中から、人を、自動的に識別して検出する。この人の識別は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって撮影画像100中から背景以外の対象物を抽出することができる。この背景差分は公知の技術であり、撮影部10で撮影された撮影画像の画像データと、事前に取得しておいた撮影対象領域の背景画像との差分をとることで、動きのある対象物を抽出する技術である。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
(http://www.orsj.o.jp/archive2/or60−4/or60_4_198.pdf)
骨格情報抽出部22は、撮影画像100中の人101、102、・・・、105から、対応する骨格情報101A、102A、・・・、105Aを抽出する。骨格情報101A、102A、・・・、105Aとは、人101、102、・・・、105の頭、両肩、腰、手、脚の各関節部分に相当する複数の特徴点と、各点を連接する線分で構成される画像情報である(図3参照)。
「Zhe Cao 他 Realtime Multi−Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017」
混雑度算出部23は、人識別部21が識別した人の人数から当該領域内の混雑度を算出する。混雑度、即ち、任意の部分領域毎の人の人数は、例えば、人101、102、・・・、105が、監視対象領域内で占める「実際の位置」を、骨格情報101A、102A、・・・、105Aを構成する特徴点が下記に説明する座標設定部が設定した座標上に占める位置(3次元位置情報)として把握し、この3次元位置情報を解析することによって、客観的な数値データとして得ることができる。
画像処理部24は、撮影画像100(図2)に画像処理を施して、プライバシー保護処理済画像100A(図3)を生成する。プライバシー保護処理済画像100Aとは、図3に示す通り、撮影画像100中の人101、102、・・・、105を、骨格情報抽出部22で抽出した、対応する骨格情報101A、102A、・・・、105Aのみで表示するように画像処理を施した画像のことを言うものとする。
情報発信部25は、画像処理部24によって上述の画像処理を施したプライバシー保護処理済画像100Aを、システムの利用者に対して施設の混雑情報を報知するための情報として発信する。尚、ここで、システムの利用者として想定されているのは、当該施設の管理担当者等、及び、当該施設の利用を検討している全ての潜在的な利用者である。但し、必要に応じて、認証された特定の顧客グループだけに混雑情報を開示するようにすることもできる。
尚、例えば、特許6581280号に公開されているような座標設定部を更に演算処理部20に設けることにより、撮影部10が撮影した撮影画像中の床面に相当する位置を実寸法と関連付けて特定可能な座標を設定することもできる。このような座標設定部が設定する座標とは、撮影部10が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面にあるとしたときに、その床面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、実寸法と関連付けて設定される。このような座標設定部を設けることにより、距離測定デバイスや3Dカメラ等を導入することなく廉価で取得可能な単眼カメラによってのみ取得された2次元情報のみを有する画像からであっても、自動的な処理のみにより高い精度で人の識別を効率よく実行することができる。
情報受信端末30は、システムの利用者が情報発信部25の発信する混雑情報を受信することができる装置、機器であれば特に限定されず、使用者の所持する又は貸与されている様々な機器を用いることができる。情報受信端末30は、具体的には、モニター付きのパーソナルコンピュータ、或いは、容易に持ち運ぶことができる小型の携帯情報処理端末等のように、上記の混雑情報を、システムの利用者が、認知可能な映像・文字・音声等で適宜表示することができる各種の情報処理端末、或いは、そのような要求に対応可能なモニター等を含む各種の情報表示装置によって構成することができる。
好ましくは、本発明の混雑情報報知システム1の動作によって実行することができる本発明の混雑情報報知方法は、撮影部10において実行される撮影ステップ、人識別部21において実行される人識別ステップ、骨格情報抽出部22において実行される骨格情報抽出ステップ、混雑度算出部23において実行される混雑度算出ステップ、画像処理部24において実行される画像処理ステップ、及び、情報発信部25において実行される混雑情報発信ステップが順次行われることによって、全体プロセスとして実行される。但し、最小限の構成とする場合は、混雑情報発信ステップは必須の構成ではない。本発明の混雑情報報知方法は、画像処理ステップにおいて生成されたプライバシー保護処理済画像100Aのみを混雑情報として発信する態様として実施することもできる。
撮影ステップでは、撮影部10が、監視対象領域の撮影を行う。ここで、この撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。
人識別ステップでは、人識別部21が、撮影部10が撮影した撮影画像中の人を識別する。人を識別した場合には、骨格情報抽出ステップ、又は、混雑度算出ステップへ進み、人が識別されていない場合には、撮影ステップへ戻り、監視動作を継続する。
骨格情報抽出ステップでは、骨格情報抽出部22が、人識別ステップで識別された人101、102、・・・、105(図2参照)から、対応する骨格情報101A、102A、・・・、105A(図3)を抽出する。
混雑度算出ステップでは、混雑度算出部23が、人識別ステップで識別された人の数を特定し、この単位面積当たりに滞留する人数に係る数値データから監視対象領域の混雑度を算出する。ここでいう混雑度の判断基準は、本方法を適用する対象施設の業態、業種、場所等によって、任意に変更することができる。一例として、初期設定として、任意の単位面積(例えば5m2)の領域において、当該領域内に3人以上の人が識別された場合に、当該領域については混雑していると判断するように初期設定としての判断基準を設定しておき、必要に応じて、上記の単位面積と人数とを適宜調整するという実施態様を例示することができる。或いは、
画像処理ステップでは、画像処理部24が、撮影画像100中の人101、102、・・・、105(図2参照)を、対応する骨格情報101A、102A、・・・、105A(図3)のみで表示するように画像処理を施すことによってプライバシー保護処理済画像100Aを生成する。
混雑情報発信ステップでは、情報発信部25が、画像処理ステップにおいて生成されたプライバシー保護処理済画像100Aを、混雑情報として発信する。又、混雑情報は、プライバシー保護処理済画像100Aと、混雑度算出ステップで算出された混雑度を示す文字情報200と、を組み合わせた情報(図4参照)とすることが好ましい。
10 撮影部
20 演算処理部
21 人識別部
22 骨格情報抽出部
23 混雑度算出部
24 画像処理部
25 情報発信部
30 情報受信端末
100 撮影画像
101、102、103、104、105 人
100A プライバシー保護処理済画像
101A、102A、103A、104A、105A 骨格情報
111 背景
200 文字情報
混雑度算出ステップでは、混雑度算出部23が、人識別ステップで識別された人の数を特定し、この単位面積当たりに滞留する人数に係る数値データから監視対象領域の混雑度を算出する。ここでいう混雑度の判断基準は、本方法を適用する対象施設の業態、業種、場所等によって、任意に変更することができる。一例として、初期設定として、任意の単位面積(例えば5m2)の領域において、当該領域内に3人以上の人が識別された場合に、当該領域については混雑していると判断するように初期設定としての判断基準を設定しておき、必要に応じて、上記の単位面積と人数とを適宜調整するという実施態様を例示することができる。
Claims (9)
- 監視対象領域を撮影する撮影部と、
前記撮影部が撮影した撮影画像中の人を識別する人識別部と、
前記人識別部によって識別された人の画像から骨格情報を抽出する骨格情報抽出部と、
前記撮影画像中の人を骨格情報のみで表示するように画像処理を施してプライバシー保護処理済画像を生成する画像処理部と、
前記画像処理部によって生成されたプライバシー保護処理済画像を、混雑情報として発信する、情報発信部と、を備える、
混雑情報報知システム。 - 前記人識別部によって識別された人の数から前記監視対象領域の混雑度を算出する混雑度算出部を更に備える、
請求項1に記載の混雑情報報知システム。 - 前記情報発信部は、前記プライバシー保護処理済画像と、前記混雑度を示す文字情報と、を組み合わせた情報を、前記混雑情報として、発信する、
請求項2に記載の混雑情報報知システム。 - 前記プライバシー保護処理済画像には、前記撮影画像中の長さと、前記監視対象領域における実際の距離との対応を表示するグリッド線が表示されている、
請求項1から3の何れかに記載の混雑情報報知システム。 - 撮影部が、監視対象領域を撮影する撮影ステップと、
人識別部が、前記撮影部が撮影した撮影画像中の人を識別する人識別ステップと、
骨格情報抽出部が、前記人識別部によって識別された人の画像から骨格情報を抽出する骨格情報抽出ステップと、
画像処理部が、前記撮影画像中の人を骨格情報のみで表示するように画像処理を施してプライバシー保護処理済画像を生成する画像処理ステップと、
情報発信部が、前記プライバシー保護処理済画像を、混雑情報として発信する、混雑情報発信ステップと、を含む、
混雑情報報知方法。 - 混雑度算出部が、前記人識別部によって識別された人の数から前記監視対象領域の混雑度を算出する混雑度算出ステップを更に含む、
請求項5に記載の混雑情報報知方法。 - 混雑情報発信ステップにおいては、前記プライバシー保護処理済画像と、前記混雑度を示す文字情報と、を組み合わせた情報を、前記混雑情報として、発信する
請求項6に記載の混雑情報報知方法。 - 前記プライバシー保護処理済画像には、前記撮影画像中の長さと、前記監視対象領域における実際の距離との対応を表示するグリッド線が表示されている、請求項5から7の何れかに記載の混雑情報報知方法。
- 請求項5から8に記載の何れかの混雑情報報知方法において、
前記人識別ステップ、前記骨格情報抽出ステップ、及び、前記画像処理ステップを、
前記人識別部、前記骨格情報抽出部、及び、前記画像処理部を含んで構成される演算処理部に実行させる、混雑情報報知用のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080487A JP6744652B1 (ja) | 2020-04-30 | 2020-04-30 | 混雑情報報知システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080487A JP6744652B1 (ja) | 2020-04-30 | 2020-04-30 | 混雑情報報知システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6744652B1 JP6744652B1 (ja) | 2020-08-19 |
JP2021175153A true JP2021175153A (ja) | 2021-11-01 |
Family
ID=72047874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020080487A Active JP6744652B1 (ja) | 2020-04-30 | 2020-04-30 | 混雑情報報知システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6744652B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102622502B1 (ko) * | 2022-11-23 | 2024-01-09 | 주식회사 파놉티콘 | 실시간 영상을 이용한 인구 밀집도 관리 시스템 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7104755B2 (ja) * | 2020-09-10 | 2022-07-21 | ソフトバンク株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
JP7520663B2 (ja) | 2020-09-24 | 2024-07-23 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7520662B2 (ja) | 2020-09-24 | 2024-07-23 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2022163109A1 (ja) * | 2021-01-26 | 2022-08-04 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法および非一時的なコンピュータ可読媒体 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007133847A (ja) * | 2005-10-14 | 2007-05-31 | Asahi Kasei Corp | 混雑状況提示装置、及び、混雑状況情報閲覧システム |
JP2009226978A (ja) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | 車両用周囲監視装置 |
JP2012051678A (ja) * | 2010-08-31 | 2012-03-15 | Sumitomo Heavy Ind Ltd | 視界補助システム |
JP2015186202A (ja) * | 2014-03-26 | 2015-10-22 | パナソニック株式会社 | 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 |
JP2016048834A (ja) * | 2014-08-27 | 2016-04-07 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
JP2016082431A (ja) * | 2014-10-17 | 2016-05-16 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
JP2017134513A (ja) * | 2016-01-26 | 2017-08-03 | パナソニックIpマネジメント株式会社 | 施設利用支援方法、施設利用支援装置および利用者端末装置 |
JP6562437B1 (ja) * | 2019-04-26 | 2019-08-21 | アースアイズ株式会社 | 監視装置、及び、監視方法 |
JP2020034960A (ja) * | 2018-08-27 | 2020-03-05 | 株式会社シークェンス | 被監視者の姿勢検知装置 |
JP2020052867A (ja) * | 2018-09-28 | 2020-04-02 | 株式会社Axive | 姿勢解析装置、姿勢解析方法、及びプログラム |
-
2020
- 2020-04-30 JP JP2020080487A patent/JP6744652B1/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007133847A (ja) * | 2005-10-14 | 2007-05-31 | Asahi Kasei Corp | 混雑状況提示装置、及び、混雑状況情報閲覧システム |
JP2009226978A (ja) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | 車両用周囲監視装置 |
JP2012051678A (ja) * | 2010-08-31 | 2012-03-15 | Sumitomo Heavy Ind Ltd | 視界補助システム |
JP2015186202A (ja) * | 2014-03-26 | 2015-10-22 | パナソニック株式会社 | 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 |
JP2016048834A (ja) * | 2014-08-27 | 2016-04-07 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
JP2016082431A (ja) * | 2014-10-17 | 2016-05-16 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
JP2017134513A (ja) * | 2016-01-26 | 2017-08-03 | パナソニックIpマネジメント株式会社 | 施設利用支援方法、施設利用支援装置および利用者端末装置 |
JP2020034960A (ja) * | 2018-08-27 | 2020-03-05 | 株式会社シークェンス | 被監視者の姿勢検知装置 |
JP2020052867A (ja) * | 2018-09-28 | 2020-04-02 | 株式会社Axive | 姿勢解析装置、姿勢解析方法、及びプログラム |
JP6562437B1 (ja) * | 2019-04-26 | 2019-08-21 | アースアイズ株式会社 | 監視装置、及び、監視方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102622502B1 (ko) * | 2022-11-23 | 2024-01-09 | 주식회사 파놉티콘 | 실시간 영상을 이용한 인구 밀집도 관리 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP6744652B1 (ja) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6744652B1 (ja) | 混雑情報報知システム | |
JP6764214B1 (ja) | 混雑情報報知システム | |
JP6534499B1 (ja) | 監視装置、監視システム、及び、監視方法 | |
CN108476304B (zh) | 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视***以及丢弃物体监视方法 | |
CN109583278B (zh) | 人脸识别报警的方法、装置、***及计算机设备 | |
CN102045543B (zh) | 图像处理装置及图像处理方法 | |
JP7067604B2 (ja) | イベント監視システム、イベント監視方法、およびプログラム | |
KR101840300B1 (ko) | Cctv 영상의 검색 장치 및 방법 | |
JP2015002477A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
JP2022191288A (ja) | 情報処理装置 | |
CN111539338A (zh) | 行人口罩佩戴管控方法、装置、设备及计算机存储介质 | |
JP5088463B2 (ja) | 監視システム | |
JPWO2018083793A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
WO2016194275A1 (ja) | 動線分析システム、カメラ装置及び動線分析方法 | |
CN107301373B (zh) | 数据处理方法、装置及存储介质 | |
JP2014215747A (ja) | 追跡装置、追跡システム、及び、追跡方法 | |
JP5909709B1 (ja) | 動線分析システム、カメラ装置及び動線分析方法 | |
JP2022082627A (ja) | 情報処理方法、情報処理システム及び情報処理装置 | |
KR101036107B1 (ko) | 고유식별 정보를 이용한 증강 현실 구현시스템 | |
JP5909712B1 (ja) | 動線分析システム、カメラ装置及び動線分析方法 | |
CN109924946A (zh) | 一种救援方法及装置 | |
JP7145589B2 (ja) | 情報提供システム | |
JP6593948B1 (ja) | 共用スペース用の監視システム及び監視方法 | |
CN107548555A (zh) | 影像监视方法和服务器以及影像监视*** | |
JP7285536B2 (ja) | 分類器生成装置、対象者推定装置及びそれらのプログラム、並びに対象者推定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200430 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200430 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6744652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |