JP7392851B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年は様々な目的で画像処理が用いられている。例えば特許文献１には、空間内の環境を調整して第１対象者からの飛沫の到達範囲が第２対象者の呼吸域から外れるようにするシステムにおいて、第１対象者及び第２対象者の顔の位置及び向きを画像処理によって決定することが記載されている。

国際公開第２０２０／０４４８２６号

感染症にかかるリスクを減らすためには、感染症にかかる可能性がある場所を避けることが重要である。しかし、そのような場所を把握することは難しい。本発明の目的の一つは、感染症にかかる可能性がある場所を把握しやすくすることにある。

本発明によれば、少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理手段と、
前記要注意場所を示す情報を出力する出力手段と、
を備える画像処理装置が提供される。

本発明によれば、コンピュータが、
少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理と、
前記要注意場所を示す情報を出力する出力処理と、
を行う画像処理方法が提供される。

本発明によれば、コンピュータに、
少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理機能と、
前記要注意場所を示す情報を出力する出力機能と、
を持たせるプログラムが提供される。

本発明によれば、感染症にかかる可能性がある場所を把握しやすくなる。

実施形態に係る画像処理装置の使用環境を説明するための図である。 画像処理装置の機能構成の一例を示す図である。 記憶部が記憶している情報の一例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置が行う処理の第１例を示すフローチャートである。 図５のステップＳ２０で行われる第１距離の算出方法の一例を示す図である。 図５のステップＳ４０において表示部に表示される画像の第１例を示す図である。 図５のステップＳ４０において表示部に表示される画像の第１例を示す図である。 画像処理装置が行う処理の第２例を示すフローチャートである。 画像処理装置が行う処理の第３例を示すフローチャートである。 画像処理装置が行う処理の第４例を示すフローチャートである。 図１１のステップＳ１４０で表示部に表示される画面の一例を示している。 画像処理装置が行う処理の第５例を示すフローチャートである。 画像処理装置が行う処理の第６例を示すフローチャートである。 表示部に表示される現在の感染リスク情報を示す図である。 表示部に表示される将来の感染リスク情報を示す図である。 図５のステップＳ４０において表示部に表示される画像の第２例を示す図である。 図５のステップＳ４０において表示部に表示される画像の第２例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

図１は、実施形態に係る画像処理装置１０の使用環境を説明するための図である。画像処理装置１０は撮像装置２０とともに使用される。

撮像装置２０は例えば固定カメラであり、複数の人、例えば不特定多数の人が往来する領域（以下、対象領域と記載）を繰り返し撮影する。このため、撮像装置２０が生成する画像は複数の人を含んでいる。撮像装置２０が生成する画像のフレームレートは任意であるが、例えば動画を構成するようなフレームレートであってもよい。そして撮像装置２０は、生成した画像を画像処理装置１０に送信する。

画像処理装置１０は、撮像装置２０が生成した画像を処理することにより、対象領域にいる人の間隔、すなわちある人（以下、基準となる人と記載）と、その人に最も近い人の距離（以下、第１距離と記載）を算出する。そして画像処理装置１０は、この第１距離を用いて、対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報（以下、感染リスク情報）を生成する。

図１に示す例において、画像処理装置１０は一つの撮像装置２０に接続している。ただし画像処理装置１０は複数の撮像装置２０に接続していてもよい。この場合、複数の撮像装置２０は互いに異なる対象領域を撮像している。また、複数の撮像装置２０のそれぞれは、当該撮像装置２０を識別する情報（以下、撮像装置識別情報と記載）に紐づけて画像を外部に送信する。このようにすると、複数、例えば１００か所以上の多数の対象領域のそれぞれについて、感染リスク情報を容易に生成することができる。

図２は、画像処理装置１０の機能構成の一例を示す図である。本図に示す画像処理装置１０は、画像処理部１１０及びリスク情報生成部１２０を備えている。

画像処理部１１０は、撮像装置２０が生成した画像、すなわち複数の人を含む画像を取得して処理する。一例として、画像処理部１１０は、複数の人の少なくとも一部の人を上記した基準となる人として、上記した第１距離を算出する。第１距離の算出方法の具体例については後述する。

さらに画像処理部１１０は、必要に応じて画像に対してその他の処理も行い、様々な情報を生成する。

なお、画像処理装置１０が複数の撮像装置２０に接続している場合、画像処理部１１０は、画像を、その画像を生成した撮像装置２０の撮像装置識別情報に紐づけて取得する。

リスク情報生成部１２０は、第１距離を用いて、撮像装置２０の撮影対象となっている対象領域における感染リスク情報を生成する。一例として、リスク情報生成部１２０は、第１距離が基準値以下であるか否かを判断し、当該判断結果を用いて感染リスク情報を生成する。この基準値は、いわゆる社会的距離に基づいて定められる。社会的距離は、感染症の感染を防ぐために、隣り合う人の間で保たれるべき物理的距離である。そして基準値の大きさは、対象としている感染症の主な感染経路に基づいて設定される。例えば飛沫感染が主となる感染症に対し、基準値には１．５ｍ以上６ｍ以下の値が用いられる。また、接触感染が主となる感染症については、基準値には５０ｃｍ以上１．５ｍ以下の値が用いられる。

なお、感染リスク情報は、例えば対象領域において感染症にかかるリスク又は感染症にかからない安全率そのものを示している。この場合、上記した判断結果から感染リスク情報を生成する方法としては、例えば以下の方法がある。

（方法１）リスク情報生成部１２０は、第１距離が基準値以下になった人の組み合わせの、数を画像毎に算出し、この数が多くなるにつれて感染リスク情報が示すリスクを高める。この方法を用いると、リスク情報生成部１２０は、画像毎に感染リスク情報を生成することができる。
（方法２）リスク情報生成部１２０は、第１距離が基準値以下になった人の組み合わせの、単位時間あたりの発生量を算出し、この発生量が多くなるにつれて感染リスク情報が示すリスクを高める。この方法において、リスク情報生成部１２０は、異なるタイミングで生成された複数の画像の処理結果を用いる。
（方法３）方法２において、リスク情報生成部１２０は、単位時間あたりかつ単位面積あたりの発生量を用いる。

なお、上記した各方法において、画像処理部１１０は、時間的に連続する複数の画像を処理すると、第１距離が基準値以下になった状態が継続した時間を算出できる。リスク情報生成部１２０は、この継続した時間の長さが長くなるにつれて、感染リスク情報が示すリスクを高めてもよい。

なお、第１距離を用いずに感染リスク情報を生成する方法もある。例えば、リスク情報生成部１２０は、対象領域における単位面積当たりの人の密度を算出し、この密度が多くなるにつれて感染リスク情報が示すリスクを高めてもよい。

またリスク情報生成部１２０は、第１距離が基準値以下になったことそのものを、感染リスク情報として用いてもよい。

また画像処理部１１０は、撮像装置２０が生成した画像を記憶部１５０に記憶させる。ここで画像処理部１１０は、画像を処理することによって生成した情報を、当該画像に紐づけて記憶部１５０に記憶させてもよい。なお、本図に示す例において、記憶部１５０は画像処理装置１０の一部となっている。ただし、記憶部１５０は画像処理装置１０の外部の装置であってもよい。

画像処理部１１０は、記憶部１５０に記憶されている画像を処理することにより、上記した情報を生成してもよい。この場合、撮像装置２０が生成した画像をいったん記憶部１５０に記憶させた後、所望するタイミングで記憶部１５０から読み出して処理することができる。なお、記憶部１５０の有無にかかわらず、画像処理部１１０は、撮像装置２０が生成した画像を撮像装置２０から取得し、リアルタイムで処理することができる。

図２に示す画像処理装置１０は、さらに表示制御部１３０を備えている。表示制御部１３０は、第１距離が基準値以下である人の組み合わせ、すなわち基準となる人とその人に最も近い人の組み合わせを認識させるための表示を、処理対象となった画像に重ねたうえで、この表示及び画像を表示部１４０に表示させる。表示部１４０はディスプレイを有している。本図に示す例において、表示部１４０は画像処理装置１０の一部であるが、画像処理装置１０の外部にあってもよい。

図３は、記憶部１５０が記憶している情報の一例を示す図である。本図に示す例において、記憶部１５０は、撮像装置２０が生成した画像（図３においては画像データと記載）を、その画像が生成された日時を特定する情報（例えば日時そのもの又はフレーム番号）に紐づけて記憶している。また記憶部１５０は、撮像装置２０が生成した画像を、その画像を処理することによって得られた情報（図３においては解析結果と記載）とともに記憶している。なお、この解析結果は感染リスク情報を含んでいてもよい。

図４は、画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（例えば画像処理部１１０、リスク情報生成部１２０、及び表示制御部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部１５０としても機能する。

入出力インタフェース１０５０は、画像処理装置１０と各種入出力機器とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置１０は、ネットワークインタフェース１０６０を介して撮像装置２０と通信してもよい。

図５は、画像処理装置１０が行う処理の第１例を示すフローチャートである。まず画像処理装置１０の画像処理部１１０は、処理対象となる画像を取得する（ステップＳ１０）。そして画像処理部１１０は、この画像を処理し、画像内に含まれる人毎に、上記した第１距離を算出する（ステップＳ２０）。この算出において、画像処理部１１０は、画像内における、距離の算出対象となっている人の高さ、位置、及びその画像を生成した撮像装置２０の上下方向の向きを用いて、第１距離を算出する。この際、詳細を後述するように、画像処理部１１０は、人の身長としてあらかじめ設定されている値（以下、基準身長と記載）を用いる。

次いでリスク情報生成部１２０は、ステップＳ２０で生成された第１距離を用いて、感染リスク情報を生成する。感染リスク情報の生成方法の例は、図２を用いて説明した通りである（ステップＳ３０）。

そして表示制御部１３０は、生成した感染リスク情報を表示部１４０に表示させる。この際、表示制御部１３０は、感染リスク情報とともに、その感染リスク情報を生成するときに用いた画像（動画の場合もある）を表示させてもよい（ステップＳ４０）。ここで表示される画像の例については、後述する。

図６は、図５のステップＳ２０で行われる第１距離の算出方法の一例を示す図である。画像処理部１１０は、基準となる人を特定する。そして、その人の周囲に位置する人のそれぞれに対して、本図に示す処理を行う。

まず画像処理部１１０は、基準となる人、又はその人の周囲に位置する人の画像内における高さｔを算出する。ここでは、例えば画素数で表される。次いで画像処理部１１０は、基準となる人から周囲に位置する人までの画像内における距離ｄを算出する。ここでｄは、ｔと同じ単位（例えば画素数）で表される。次いで画像処理部１１０は、ｄ／ｔを算出し、この値に上記した基準身長を乗ずることにより、基準となる人とその周囲に位置する人の距離を算出する。

基準となる人の周囲に他の人が一人しかいない場合、その人について算出された距離が第１距離になる。またほかの人が複数いた場合、これら複数の人それぞれについて上記した距離を算出し、その距離の最小値が第１距離になる。

なお、上記したように、基準身長は予め設定されている。撮像装置２０が設置されている場所（例えば国）によって、この基準身長を変えてもよい。例えば基準身長は、対象となっている撮像装置２０が設置されている国の成人の平均身長が用いられる。具体的な処理の例として、記憶部１５０は、基準身長を特定する情報を撮像装置識別情報別に記憶している。そして画像処理部１１０は、処理対象となっている画像を生成した撮像装置２０の撮像装置識別情報を取得し、この撮像装置識別情報に対応する基準身長を記憶部１５０から読み出して使用する。

また画像処理部１１０は、画像処理によって高さｔの算出対象となった人の属性（例えば性別及び年齢層の少なくとも一方）が推定できた場合、この属性によって基準身長を変更してもよい。

なお、ほとんどの画像には、その画像を生成した撮像装置２０に固有の歪が生じている。画像処理部１１０は、第１距離を算出する際、この歪を補正する処理を行うのが好ましい。画像処理部１１０は、画像内における人の位置に応じたひずみ補正処理を行う。一般的に、画像の歪は、例えば撮像装置２０が有する光学系（例えばレンズ）、及びその撮像装置２０の上下方向の向き（例えば水平面に対する角度）に起因している。そこで画像内における人の位置に応じたひずみ補正処理の内容は、撮像装置２０が有する光学系（例えばレンズ）、及びその撮像装置２０の上下方向の向きに応じて設定される。

なお、本図を用いて説明した処理において、大きさがある程度規格化されている物体が画像に含まれていた場合、画像処理部１１０は、人の身長の代わりにこの物体の大きさを用いて第１距離を算出してもよい。

図７は、図５のステップＳ４０において表示部１４０に表示される画像の一例を示す図である。表示制御部１３０は、表示部１４０に、感染リスク情報とともに、感染リスク情報を生成するときに用いた画像（動画の場合もある）を表示させる。この際、表示制御部１３０は、第１距離が基準値以下である人の組み合わせを認識させるための表示を画像に重ねたうえで、その表示及び画像を、表示部１４０に表示させる。

本図に示す例において、表示制御部１３０は、表示部１４０に、画像処理部１１０が認識した人の組み合わせを示すマークを表示させている。そして表示制御部１３０は、このマークの態様を、第１距離が基準値以下であるか否かで変えている。より詳細には、本図に示す例において、人の組み合わせを構成する二人は、円又は楕円で囲まれている。そしてこの円又は楕円の表示色や線の態様（実線、点線、及び一点鎖線など）が、第１距離が基準値以下であるか否かで変わっている。

なお、表示される画像が動画の場合、図７及び図８に示すように、時間が経過するにつれて、第１距離の算出対象となる人の組み合わせが変わる。例えば図７のタイミングにおいて、人Ｐ_２にとって、人Ｐ_１が第１距離を算出するときの相手になっているが、それより後の図８のタイミングでは、人Ｐ_４が第１距離を算出するときの相手になっている。

図１７及び図１８は、図５のステップＳ４０において表示部１４０に表示される画像の第２例を示す図である。これらの図において、表示制御部１３０は、人ごとに、当該人を中心とした社会的距離の推奨値（例えば上記した基準値）の範囲を示すマークを表示させる。そしてある人に対応するマークとその近くの人に対応するマークとが重なった場合、すなわちある人とその近くの人の距離が社会的距離の推奨値以下になった場合（例えば図１７、図１８の人Ｐ_１，Ｐ_２）、これら２人それぞれに対応するマークを、他の人に対応するマーク（例えば図１７の人Ｐ_３、図１８の人Ｐ_３，Ｐ_４，Ｐ_５，Ｐ_６）とは異なる態様で表示させる。態様の異ならせ方は、例えば表示色を変えたり、マークを構成する線の態様（実線、点線、及び一点鎖線など）を異ならせるなどである。表示制御部１３０は、表示色を変える場合、例えば通常の状態のマークを青色で表示し、２つのマークが重なっている場合はこれら２つのマークを赤色で表示させる。

図１７に示す例では、表示制御部１３０は、感染リスク情報を生成するときに用いた画像（動画の場合もある）に、上記したマークを重ねている。一方、図１８に示す例では、人の配置を平面図で示したうえで、当該平面図に上記したマークを重ねている。表示制御部１３０は、図１７に示す表示及び図１８に示す表示を、同時に表示部１４０に表示させてもよい。

図７、図８、図１７、及び図１８に示す表示は、リアルタイムの動画や画像を用いて行われてもよい。この場合、これらに示した表示は、例えば対象領域の近くに設置された表示部１４０に対して行われてもよいし、インターネットや放送のコンテンツとして用いられてもよい。

図９は、画像処理装置１０が行う処理の第２例を示すフローチャートである。本図に示す例は、画像処理部１１０が第１距離を算出するときに第２距離も算出し（ステップＳ２２）、この第２距離をさらに用いて感染リスク情報を生成する（ステップＳ３０）点を除いて、図５に示した例と同様である。

第２距離は、基準となる人と、その人から２番目に近い人までの距離である。第２距離の算出方法は、１番目ではなく２番目に近い人までの距離を選択する点を除いて、第１距離の算出方法と同様である。そしてリスク情報生成部１２０は、感染リスク情報を生成する際に、第２距離が近くなるにつれて、リスクが高まる（安全率が下がる）ようにする。なお、画像処理部１１０は、基準となる人と、その人から３番目に近い人までの距離（第３距離）をさらに生成してもよい。この場合、リスク情報生成部１２０は、さらに第３距離を用いて感染リスク情報を生成する。

図１０は、画像処理装置１０が行う処理の第３例を示すフローチャートである。本図に示す例は、リスク情報生成部１２０が、感染リスク情報を生成する際に、人と人の間の距離以外の情報をさらに用いる点を除いて、図５又は図９に示した例と同様である。

具体的には、ステップＳ１０及びステップＳ２０（又はステップＳ２２）は、図５（又は図９）に示した例と同様である。そして画像処理部１１０は、画像を処理することにより、感染リスク情報を生成するために必要な、追加の情報を生成する。ここで生成される情報は、人の顔の向きの特定結果、顔への装着物の有無及びその種類の特定結果、並びに人の口の動きの特定結果の少なくとも一つである（ステップＳ２４）。

「人の顔の向き」は、少なくとも、基準となる人の顔の向きと、その人に最も近い人の顔の向きと、の少なくとも一方を含んでいる。そしてリスク情報生成部１２０は、人の顔が相手に対向する方向に近づくにつれて、感染リスク情報が示すリスクを高める（安全率を下げる）。ここで画像処理部１１０及びリスク情報生成部１２０は、第２距離や第３距離を用いる場合、さらに第２距離を算出するときの相手となる人の顔の向きや、第３距離を算出するときの相手となる人の顔の向きを用いてもよい。

「顔への装着物の有無」は、少なくとも、基準となる人における装着物の有無と、その人に最も近い人における装着物の有無と、の少なくとも一方を含んでいる。そしてリスク情報生成部１２０は、特定の種類の装着物が検知された場合、それ以外の場合と比較して、感染リスク情報が示すリスクを下げる（安全率を上げる）。ここで特定の種類の装着物は、口及び鼻の少なくとも一方（好ましくは双方）を覆うもの、例えばマスクやマフラーである。ここで画像処理部１１０及びリスク情報生成部１２０は、第２距離や第３距離を用いる場合、さらに第２距離を算出するときの相手となる人や、第３距離を算出するときの相手となる人に対して、同様のことを行ってもよい。

「口の動き」は、少なくとも口が動いていることである。口が動いている場合、その人は話している可能性が高い。そこでリスク情報生成部１２０は、基準となる人と、その人に最も近い人と、の少なくとも一方において口が動いている場合、それ以外の場合と比較して、感染リスク情報が示すリスクを高める（安全率を下げる）。ここで画像処理部１１０及びリスク情報生成部１２０は、第２距離や第３距離を用いる場合、さらに第２距離を算出するときの相手となる人の口の動きや、第３距離を算出するときの相手となる人の口の動きを用いてもよい。

図１１は、画像処理装置１０が行う処理の第４例を示すフローチャートである。画像処理装置１０は、図５、図９、又は図１０に示した処理に加えて、本図に示した処理も行う。

本図に示す例において、撮像装置２０は固定カメラである。このため、画像内の各位置は、対象領域の特定の位置に対応している。画像処理部１１０は、この対応関係を予め記憶している。そして、画像処理部１１０は、複数の人の近接状態に関する指標である近接指標が基準を満たした場所（以下、要注意場所と記載）を特定する。そしてリスク情報生成部１２０（出力部の一例）は、要注意場所を示す情報を出力する。

より詳細には、画像処理装置１０の画像処理部１１０は、図５及び図１０のステップＳ２０、又は図９のステップＳ２２において、画像内における第１距離が基準値以下となった位置を特定することにより、対象領域のうち第１距離が基準値以下となった位置を特定する。そして、画像処理部１１０は、処理された画像に紐づけて、当該位置を示す情報を記憶部１５０に記憶させる。

そして画像処理装置１０のリスク情報生成部１２０は、記憶部１５０に記憶されている情報を処理することにより、対象期間において第１距離が基準値以下となった回数（上記した近接指標の一例）を対象領域内の位置別に集計する。対象期間の長さは、例えば１日でもよいし、１週間でもよいし、一ヵ月でもよい。

詳細には、まずリスク情報生成部１２０は、対象となる撮像装置２０を特定する情報、対象期間の始まりと終わりを特定する情報を取得する。この取得は、例えばユーザから入力されることにより行われる。次いでリスク情報生成部１２０は、対象となる撮像装置２０が対象期間に生成した画像の解析結果を記憶部１５０から読み出す。ここで読みだされる情報は、第１距離が基準値以下となった位置を示す情報を含んでいる。この情報は、画像毎に生成されている（ステップＳ１１０）。

また対象領域は、あらかじめ複数の部分に区分けされている。そしてリスク情報生成部１２０は、これら複数の部分別に、第１距離が基準値以下となった回数をカウントする（ステップＳ１２０）。なお、記憶部１５０が記憶している情報のうち上記した「第１距離が基準値以下となった位置」は、この部分を示す情報であってもよい。

そしてリスク情報生成部１２０は、カウント数が基準値以上になった部分を示す情報を出力する。この情報によって示される部分は、感染リスクが高い部分、すなわち要注意場所である。本図に示す例において、リスク情報生成部１２０は、この部分を示す情報を出力する。この出力先は、例えば表示制御部１３０である。この場合、表示制御部１３０は、この部分を示す情報を表示するための表示情報を生成し（ステップＳ１３０）、当該表示情報を表示部１４０に表示させる（ステップＳ１４０）。

図２を用いて説明したように、画像処理部１１０は、時間的に連続する複数の画像を処理すると、第１距離が基準値以下になった状態が継続した時間を算出できる。この場合、画像処理部１１０は、第１距離が基準値以下になった状態が基準時間以上継続した回数をカウントして、上記した処理を行ってもよい。

また、リスク情報生成部１２０が行う出力は、対象領域内において人が密集しやすい場所を特定し、そのような場所を改善するため（例えば人の動線を改善するため）に用いられる。一例として対象領域が屋内である場合、この出力は、その屋内（例えば待合室や廊下）に配置されている物体（例えば待合室のベンチ）の配置や数を変えるための参考データとして用いられる。なお、改善対象となる動線には、例えば、病院内における待合室から診察室までの動線、病院の入り口から治療室までの動線がある。

ここで、屋内の例としては、病院、役所、駅、及び空港などの施設が挙げられるが、店舗、例えばショッピングモールなどの大規模店舗（空港や駅に併設されている場合を含む）であってもよい。後者の場合、リスク情報生成部１２０が行う出力は、大規模店舗となっている建物内において人が密集しやすい場所を特定している。そしてこの特定結果は、テナントの配置や動線を変更して当該場所で人が密集しないようにする際の参考データとして用いられる。

上述した例において、「要注意場所」を設定するときの単位は、一つの対象領域を複数の部分に分割することによって設定されている。一方、画像処理装置１０に複数の撮像装置２０が接続しており、これら複数の撮像装置２０が同一の施設の互いに異なる場所を撮影していることがある。この場合、「要注意場所」を設定するときの単位は、一つの撮像装置２０の撮像領域（すなわち一つの対象領域）であってもよい。このようにするためには、画像処理部１１０は、上記した複数の部分別ではなく、撮像装置２０別に、第１距離が基準値以下になった回数、又はこの状態が基準時間以上継続した回数をカウントすればよい。

図１２は、図１１のステップＳ１４０で表示部１４０に表示される画面の一例を示している。本図に示す例において、表示部１４０は、対象領域の平面図を表示している。そして表示制御部１３０は、表示部１４０に、この平面図において、ステップＳ１２０におけるカウント数が基準値以上になった部分を、他の部分とは識別可能に表示させる。

なお、カウント数に関する基準値として、複数の値が段階的に設定されていてもよい。この場合、リスク情報生成部１２０は、ステップＳ１２０におけるカウント数が基準値のうちどの値を超えたかを特定し、特定した値を示す情報を出力する。例えば表示制御部１３０は、この出力に応じて、当該部分の表示態様を変えてもよい。例えば最も低い基準値のみを超えた部分は緑色で示され、最も高い基準値を超えた部分は赤色で示されてもよい。

図１３は、画像処理装置１０が行う処理の第５例を示すフローチャートである。画像処理装置１０は、図５、図９、又は図１０に示した処理に加えて、本図に示した処理も行う。また画像処理装置１０は、さらに図１１に示した処理も行ってもよい。

本図において、画像処理装置１０のリスク情報生成部１２０は、感染症にかかるリスクが高まるタイミング（安全率が下がるタイミング）を特定する。このタイミングは、例えば曜日別、時間帯別、又は曜日かつ時間帯別に設定される。

本図に示す例において、ステップＳ１１０に示した処理は図１１を用いて説明した処理と同様である。

次いでリスク情報生成部１２０が、タイミング別に、第１距離が基準値以下となった回数をカウントする（ステップＳ１２２）。ここでリスク情報生成部１２０は、さらに図１１に示したように、対象領域内の複数の部分別に、タイミング別のカウントを行ってもよい。

次いでリスク情報生成部１２０は、カウント数が基準値以上になったタイミングを示す情報を出力する。この情報によって示されるタイミング（例えば時間帯や曜日）は、感染リスクが高いタイミングである。一例として、リスク情報生成部１２０は、このタイミングを示す情報を表示制御部１３０に出力する。すると表示制御部１３０は、このタイミングを示す情報を表示するための表示情報を生成し（ステップＳ１３０）、当該表示情報を表示部１４０に表示させる（ステップＳ１４０）。

なお、対象領域が店内である場合、表示部１４０は、当該店の入り口やショーウインドウの中に設けられていてもよい。このようにすると、その店に入ろうとする人は、その店がすいていると思われるタイミングを認識することができる。また表示制御部１３０は、ステップＳ１３０で生成された表示情報をインターネット上で公開してもよい。このようにすると、その店に行こうとする人は、その店がすいていると思われるタイミングを認識することができる。

また対象領域が店内であり、表示部１４０が当該店の入り口やショーウインドウの中に設けられている場合、表示制御部１３０は、表示部１４０に、現在の感染リスク情報を表示させてもよいし、リアルタイムの動画や画像を用いて図７、図８、図１７、および図１８に示した表示を行わせてもよい。

図１４は、画像処理装置１０が行う処理の第６例を示すフローチャートである。画像処理装置１０は、図５、図９、又は図１０に示した処理に加えて、本図に示した処理も行う。また画像処理装置１０は、さらに図１１及び図１３に示した処理の少なくとも一方を行ってもよい。

本図に示す例において、リスク情報生成部１２０は、過去の感染リスク情報の履歴及び当該履歴を統計処理した結果の少なくとも一方を、複数の撮像装置２０別、すなわち複数の対象領域ごとに記憶部１５０に記憶させている。なお、これら複数の対象領域は、人の流れにおいて互いに関連している。一例として、これら複数の対象領域は互いに隣り合っていてもよいし、同一の道路や鉄道（地下鉄）に沿っていてもよい。

そしてリスク情報生成部１２０は、記憶部１５０が過去の感染リスク情報の履歴のみを記憶している場合、この履歴を統計処理する。そして感染リスク情報の履歴を統計処理した結果、及び現在の感染リスク情報を用いて、将来の所定タイミングにおける感染リスク情報の推定結果を生成する。所定タイミングは、例えば１時間後であってもよいし、３時間後であってもよいし、５時間後であってもよいが、２４時間以内であるのが好ましい。履歴を統計処理した結果は、例えば機械学習によって生成されたモデルであるが、これに限定されない。なおこのモデルは、現在の感染リスク情報が入力されると、将来の所定タイミングにおける感染リスク情報の推定結果を出力するものである。

まずリスク情報生成部１２０は、互いに異なる対象領域に設置された複数の撮像装置２０のそれぞれが生成した現在の画像を処理することにより、複数の対象領域それぞれの現在の感染リスク情報を生成する（ステップＳ２１０）。この際、リスク情報生成部１２０は、現在から所定時間前までの間に生成された画像を、さらに処理してもよい。

次いでリスク情報生成部１２０は、これら複数の対象領域それぞれにおける、感染リスク情報の履歴を統計処理した結果を取得する。この取得は、記憶部１５０から読み出すことにより行われてもよいし、感染リスク情報の履歴をその場で統計処理することにより行われてもよい。次いでリスク情報生成部１２０は、感染リスク情報の履歴を統計処理した結果、及び現在の感染リスク情報を用いて、将来の所定タイミングにおける感染リスク情報の推定結果を生成する（ステップＳ２２０）。

次いで表示制御部１３０は、リスク情報生成部１２０が生成した、現在の感染リスク情報、及び将来の所定タイミングにおける感染リスク情報の推定結果を表示するための表示情報を生成する（ステップＳ２３０）。表示部１４０は、この表示情報を用いて、現在の感染リスク情報、及び将来の所定タイミングにおける感染リスク情報の推定結果を表示する（ステップＳ２４０）。この表示を見た人は、自分が行動を起こすタイミング（例えば電車に乗るタイミングや目的地に行くタイミング）を感染リスクが少ないタイミングにすることができる。

なお、リスク情報生成部１２０は、将来の所定タイミングにおける感染リスク情報の推定結果を生成する際に、統計処理の代わりに、現在の感染リスク情報の増減の傾向を特定し、この特定結果を用いてもよい。リスク情報生成部１２０は、この増減の傾向を、例えば、過去から現在までの第１距離が基準値以下となった回数の推移を用いることにより、特定する。

図１５は、表示部１４０に表示される現在の感染リスク情報を示している。上記したように、リスク情報生成部１２０は、複数の対象領域別に、感染リスク情報を生成している。本図に示す例において、複数の対象領域は一つの大きな地域を複数に分割した領域である。そして表示制御部１３０は、表示部１４０に、感染リスク情報が示すリスクが基準値以上となった対象領域を、他の対象領域から識別可能な状態で表示させている。なお、表示制御部１３０は、この処理において、過去から現在までの感染リスク情報の推移を表示させてもよい。

図１６は、表示部１４０に表示される将来の感染リスク情報を示している。本図に示す例において、表示制御部１３０は、表示部１４０に、将来の感染リスク情報が示すリスクが基準値以上となった対象領域を、他の対象領域から識別可能な状態で表示させている。ここで、複数の対象領域は、人の流れにおいて互いに関連している場合、ある対象領域の将来の感染リスク情報を生成する際に、その対象領域の周囲の現在の感染リスク情報を用いることもできる。これは、ある対象領域にいる人は、数時間後には他の対象領域に移動することがあるためである。

なお、図１５及び図１６に示した表示は、インターネット上で公開されてもよいし、テレビの放送内容に含まれてもよい。

以上、本実施形態によれば、画像処理装置１０の画像処理部１１０は、撮像装置２０が生成した画像、すなわち複数の人を含む画像を取得して処理することにより、複数の人の少なくとも一部の人について、当該人に最も近い人までの距離（第１距離）を算出する。そしてリスク情報生成部１２０は、第１距離を用いて、撮像装置２０の撮影対象となっている対象領域における感染リスク情報を生成する。このため、対象領域において感染症にかかるリスクを容易に把握することができる。

また、リスク情報生成部１２０は、複数の人の近接状態に関する指標である近接指標が基準を満たした場所を出力する。この出力は、例えば表示部１４０に表示される。これにより、感染症にかかる可能性がある場所を把握しやすくなる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理手段と、
前記要注意場所を示す情報を出力する出力手段と、
を備える画像処理装置。
２．上記１に記載の画像処理装置において、
前記画像処理手段は、
前記人別に、当該人に最も近い前記人までの距離である第１距離を算出し、
複数の場所ごとに、前記第１距離が基準値以下になった回数をカウントし、
前記近接指標は、前記第１距離が基準値以下になった回数を用いて設定されている画像処理装置。
３．上記２に記載の画像処理装置において、
前記近接指標は、前記回数に対して設定された基準値であり、
前記基準値として複数の値が設定されており、
前記出力手段は、前記要注意場所を示す情報とともに、当該要注意場所において前記回数が満たした前記値を示す情報を出力する画像処理装置。
４．上記２又は３に記載の画像処理装置において、
前記画像処理手段は、複数のタイミングで生成された前記画像を処理することにより、前記第１距離が基準値以下になった状態を検出したときに、当該状態が継続した時間を算出し、
前記近接指標は、記第１距離が基準値以下になった状態が基準時間以上継続した回数を用いて設定されている画像処理装置。
５．上記１～４のいずれか一項に記載の画像処理装置において、
前記少なくとも一つの画像は、施設を撮影した画像である画像処理装置。
６．上記５に記載の画像処理装置において、
前記施設はショッピングモール、空港、駅、病院、又は店舗である画像処理装置。
７．コンピュータが、
少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理と、
前記要注意場所を示す情報を出力する出力処理と、
を行う画像処理方法。
８．上記７に記載の画像処理方法において、
前記画像処理において、前記コンピュータは、
前記人別に、当該人に最も近い前記人までの距離である第１距離を算出し、
複数の場所ごとに、前記第１距離が基準値以下になった回数をカウントし、
前記近接指標は、前記第１距離が基準値以下になった回数を用いて設定されている画像処理方法。
９．上記８に記載の画像処理方法において、
前記近接指標は、前記回数に対して設定された基準値であり、
前記基準値として複数の値が設定されており、
前記出力処理において、前記コンピュータは、前記要注意場所を示す情報とともに、当該要注意場所において前記回数が満たした前記値を示す情報を出力する画像処理方法。
１０．上記８又は９に記載の画像処理方法において、
前記画像処理において、前記コンピュータは、複数のタイミングで生成された前記画像を処理することにより、前記第１距離が基準値以下になった状態を検出したときに、当該状態が継続した時間を算出し、
前記近接指標は、記第１距離が基準値以下になった状態が基準時間以上継続した回数を用いて設定されている画像処理方法。
１１．上記７～１０のいずれか一項に記載の画像処理方法において、
前記少なくとも一つの画像は、施設を撮影した画像である画像処理方法。
１２．上記１１に記載の画像処理方法において、
前記施設はショッピングモール、空港、駅、病院、又は店舗である画像処理方法。
１３．コンピュータに、
少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理機能と、
前記要注意場所を示す情報を出力する出力機能と、
を持たせるプログラム。
１４．上記１３に記載のプログラムにおいて、
前記画像処理機能は、
前記人別に、当該人に最も近い前記人までの距離である第１距離を算出し、
複数の場所ごとに、前記第１距離が基準値以下になった回数をカウントし、
前記近接指標は、前記第１距離が基準値以下になった回数を用いて設定されているプログラム。
１５．上記１４に記載のプログラムにおいて、
前記近接指標は、前記回数に対して設定された基準値であり、
前記基準値として複数の値が設定されており、
前記出力機能は、前記要注意場所を示す情報とともに、当該要注意場所において前記回数が満たした前記値を示す情報を出力するプログラム。
１６．上記１４又は１５に記載のプログラムにおいて、
前記画像処理機能は、複数のタイミングで生成された前記画像を処理することにより、前記第１距離が基準値以下になった状態を検出したときに、当該状態が継続した時間を算出し、
前記近接指標は、記第１距離が基準値以下になった状態が基準時間以上継続した回数を用いて設定されているプログラム。
１７．上記１３～１６のいずれか一項に記載のプログラムにおいて、
前記少なくとも一つの画像は、施設を撮影した画像であるプログラム。
１８．上記１７に記載のプログラムにおいて、
前記施設はショッピングモール、空港、駅、病院、又は店舗であるプログラム。

この出願は、２０２０年６月５日に出願された日本出願特願２０２０－０９８４０５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 画像処理装置
２０ 撮像装置
１１０ 画像処理部
１２０ リスク情報生成部
１３０ 表示制御部
１４０ 表示部
１５０ 記憶部

Claims (7)

1. 少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理手段と、
   前記要注意場所を示す情報を出力する出力手段と、
   を備え、
   前記画像処理手段は、
   前記人別に、当該人に最も近い前記人までの距離である第１距離を算出し、
   複数の場所ごとに、前記第１距離が基準値以下になった回数をカウントし、
   前記近接指標は、前記第１距離が基準値以下になった回数を用いて設定されている画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記近接指標は、前記回数に対して設定された基準値であり、
   前記基準値として複数の値が設定されており、
   前記出力手段は、前記要注意場所を示す情報とともに、当該要注意場所において前記回数が満たした前記値を示す情報を出力する画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記画像処理手段は、複数のタイミングで生成された前記画像を処理することにより、前記第１距離が基準値以下になった状態を検出したときに、当該状態が継続した時間を算出し、
   前記近接指標は、記第１距離が基準値以下になった状態が基準時間以上継続した回数を用いて設定されている画像処理装置。
4. 請求項１～３のいずれか一項に記載の画像処理装置において、
   前記少なくとも一つの画像は、施設を撮影した画像である画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記施設はショッピングモール、空港、駅、病院、又は店舗である画像処理装置。
6. コンピュータが、
   少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理と、
   前記要注意場所を示す情報を出力する出力処理と、
   を行う画像処理方法あって、
   前記画像処理は、
   前記人別に、当該人に最も近い前記人までの距離である第１距離を算出し、
   複数の場所ごとに、前記第１距離が基準値以下になった回数をカウントすることを含み、
   前記近接指標は、前記第１距離が基準値以下になった回数を用いて設定されている画像処理方法。
7. コンピュータに、
   少なくとも一つの画像を処理することにより、複数の人の近接状態に関する指標である近接指標が基準を満たした場所である要注意場所を特定する画像処理機能と、
   前記要注意場所を示す情報を出力する出力機能と、
   を持たせるプログラムであって、
   前記画像処理機能は、
   前記人別に、当該人に最も近い前記人までの距離である第１距離を算出し、
   複数の場所ごとに、前記第１距離が基準値以下になった回数をカウントし、
   前記近接指標は、前記第１距離が基準値以下になった回数を用いて設定されているプログラム。

Images