JP2024021399A - Image processing system, image processing device, control method for image processing device, and program - Google Patents
Image processing system, image processing device, control method for image processing device, and program Download PDFInfo
- Publication number
- JP2024021399A JP2024021399A JP2022124197A JP2022124197A JP2024021399A JP 2024021399 A JP2024021399 A JP 2024021399A JP 2022124197 A JP2022124197 A JP 2022124197A JP 2022124197 A JP2022124197 A JP 2022124197A JP 2024021399 A JP2024021399 A JP 2024021399A
- Authority
- JP
- Japan
- Prior art keywords
- person
- image processing
- contact
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 5
- 208000015181 infectious disease Diseases 0.000 abstract description 32
- 208000035473 Communicable disease Diseases 0.000 abstract description 22
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000012790 confirmation Methods 0.000 description 45
- 230000008569 process Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000011841 epidemiological investigation Methods 0.000 description 3
- 244000052769 pathogen Species 0.000 description 3
- 230000005180 public health Effects 0.000 description 3
- 208000003322 Coinfection Diseases 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 2
- 239000000443 aerosol Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001717 pathogenic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000557639 Araucaria bidwillii Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、感染症の感染経路に対する陽性者及び陽性者と接触した者の検出に関する。 TECHNICAL FIELD The present invention relates to the detection of people who are positive for the infection route of an infectious disease and those who have come into contact with positive people.
感染症は人から人に病原体(ウィルスや細菌)を媒介し伝染する。研究所の調査によると、感染症は空気感染、エアロゾル感染、接触感染が主な感染経路であるとされている。(非特許文献1)一般に感染症の陽性者が確認されると、受診した医療機関は、保健所長を経曲して都道府県知事に届け出るように法令で定められている。その後、当該職員がこの医療機関の報告を受け、感染症の疫学的調査が行われることとなる。(非特許文献2) Infectious diseases are transmitted from person to person by transmitting pathogens (viruses and bacteria). According to research conducted by research institutes, the main transmission routes for infectious diseases are airborne infection, aerosol infection, and contact infection. (Non-Patent Document 1) Generally, when a positive person for an infectious disease is confirmed, the medical institution where the patient was examined is required by law to notify the director of the public health center and the prefectural governor. After that, the relevant staff will receive the report from this medical institution, and an epidemiological investigation of the infection will be conducted. (Non-patent document 2)
疫学的調査は、保健士により行われ、本人、家族、勤務先の聞き取りを行い、行動記録帳簿の作成を行う。感染経路の特定、二次感染の調査のために、行動記録から更なる調査が行われる。(非特許文献3)感染症の病原体に汚染された場所若しくは汚染された疑いがある場所に立ち入り、感染症の患者、疑似症患着若しくは無症状病原体保有者その他の関係者に聞き取りを行い、さらなる必要な調査を行う。感染症の蔓延を抑制する方法としては陽性者と接触し感染疑いのある人物を早期に見つけ出し、感染予防策を打つことが重要となる。 Epidemiological surveys are conducted by public health nurses, who interview individuals, their families, and their workplaces, and create behavior record books. Further investigation will be conducted based on behavioral records to identify the route of infection and investigate secondary infections. (Non-Patent Document 3) Entering a place contaminated with an infectious disease pathogen or a place suspected of being contaminated, interviewing patients with an infectious disease, suspected cases, asymptomatic pathogen carriers, and other related parties, Conduct further necessary investigation. In order to control the spread of infectious diseases, it is important to quickly identify people who have come into contact with positive cases and are suspected of being infected, and to take measures to prevent infection.
感染症の陽性者と接触したかを検知する仕組みとしてBLUETOOTH(登録商標)を利用した接触確認システムが発案・運用されている(非特許文献4)。このシステムは、接触者としておおむね1m以内の距離で継続して15分以上の近接状態が続いたものを接触者と定義し、携帯端末のBLUETOOTH機能を用いて前記判定を行う。そして陽性者が発生した場合にすぐに、陽性者と接触していた事を接触者へ通知することにより更なる感染を抑制することを目的としている。 A contact confirmation system using BLUETOOTH (registered trademark) has been proposed and operated as a mechanism for detecting whether a person has come into contact with a person who is positive for an infectious disease (Non-Patent Document 4). This system defines a person who has been in close contact for 15 minutes or more at a distance of approximately 1 meter as a contact person, and makes the determination using the BLUETOOTH function of a mobile terminal. The aim is to immediately notify those in contact with a positive person that they have been in contact with the positive person in order to prevent further infection.
しかしながら、上記の方法では、BLUETOOTHを搭載した端末を持つ人物だけが調査対象となる。また、時間を共有した人物同士の検知のみでは、エアロゾル感染や接触感染といった感染経路に対する感染可能性に対しては考慮できておらず、二次的な感染対策としては不十分であった。 However, in the above method, only people who have terminals equipped with BLUETOOTH are investigated. Furthermore, simply detecting people who have shared time with each other does not take into account the possibility of infection through infection routes such as aerosol infection and contact infection, and is insufficient as a secondary infection control measure.
そこで、本発明はこのような事情に鑑み、感染経路に対する陽性者と陽性者に接触した人物の検出を容易とし、感染症の蔓延を抑制することを目的とする。 In view of these circumstances, the present invention aims to facilitate the detection of positive persons for the infection route and persons who have come into contact with positive persons, thereby suppressing the spread of infectious diseases.
上記目的を達成するために、本発明の一側面としての画像処理システムは、撮像手段により撮像された空間内の複数の画像を取得する画像取得手段と、画像から人物を検出する人物検出手段と、人物検出手段により検出された人物毎に追尾情報を生成する追尾手段と、人物が空間を退出した後であっても人物を特定可能な特定手段と、特定手段により特定された人物毎に生成され、追尾手段により追尾を開始した時刻と人物の位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定する接触判定手段と、を有する、ことを特徴とする。 In order to achieve the above object, an image processing system as one aspect of the present invention includes: an image acquisition unit that acquires a plurality of images in a space captured by an imaging unit; and a person detection unit that detects a person from the images. , a tracking means that generates tracking information for each person detected by the person detection means, a specifying means that can identify the person even after the person has left the space, and a tracking information generated for each person specified by the specifying means. and a contact determination means for determining a state of contact between people by comparing flow line information consisting of a time when tracking by the tracking means starts and position information of the person for each person. .
本発明によれば、感染経路に対する陽性者と陽性者に接触した人物の検出を容易とし、感染症の蔓延を抑制することができる。 According to the present invention, it is possible to easily detect a positive person for an infection route and a person who has come into contact with a positive person, thereby suppressing the spread of an infectious disease.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。ただし、本発明の実施の形態は以下の実施の形態に限定されるものではない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。 Hereinafter, preferred embodiments of the present invention will be described in detail based on the accompanying drawings. However, the embodiments of the present invention are not limited to the following embodiments. Identical or equivalent components, members, and processes shown in each drawing are designated by the same reference numerals, and redundant explanations will be omitted as appropriate. Further, in each drawing, some members that are not important for the explanation are omitted.
<実施形態1>
図1は、実施形態1における店舗100の一例を示す図である。店舗100には、店舗100への出入りするための店舗出入口101が備えられている。また店舗100内部には、入店用カメラ103、退店用カメラ106、レジ部カメラ107、店舗用カメラ108、商品棚(物品棚)110、レジ端末装置112がそれぞれ配置されている。尚、以下の説明は店舗での利用を想定しているが、本実施形態は他の形態の空間(閉空間)でも適用できる。例えば、役所、学校や図書館等の公共施設の空間、電車やバス等の車両等の空間に対して複数のカメラを設置するケースが考えられる。
<
FIG. 1 is a diagram showing an example of a
入店用カメラ103、退店用カメラ106、レジ部カメラ107、店舗用カメラ108は、それぞれ撮像部を有する撮像手段として構成される。入店用カメラ103は、店舗100の店舗出入口101付近に配置され、店舗出入口101から入店する客を撮像(撮影)する。退店用カメラ106は、入店用カメラ103より店舗100の店舗出入口101側に配置され、店舗100から退店(退出)する客を撮像する。レジ部カメラ107は、レジ端末装置112の周囲の領域またはレジ端末装置112を操作している店員109や客111を撮像する。店舗用カメラ108は、店舗100内を撮像する。
The
尚、店舗用カメラ108は、図1では4つが店舗100内に配置されているが、4つに限らず、4つ未満または4つ以上配置するようにしてもよい。また、入店用カメラ103、退店用カメラ106、レジ部カメラ107は図1では、それぞれ1つ配置されているが、複数配置するようにしてもよい。
In addition, although four
さらに、店舗100には、人物として、店員109、客111が存在している。店員109は、店舗100に勤務している人物であって、後述する接触確認端末装置113を所持している。また、客111は、店舗100に来店した人物であって、店舗100内や商品(物品)を見るまたは商品を購入等しようとしている。客111は、店舗100内に複数存在している。尚、店員109は図1では1名であるが店舗100内に複数存在していてもよい。
Furthermore, in the
接触確認端末装置113は、例えば、コロナウイルス等の感染症における陽性者若しくは陽性者と接触した人物(接触者)を登録することが可能な表示画面を備える情報端末である。尚、接触とは、物理的に接触または物理的に近くに存在したか、もしくは、店舗のある場所に訪れた履歴があり、その時間差が小さい状態を言う。接触確認端末装置113は、例えば、表示画面を有するタブレットやスマートフォン等の携帯可能な情報端末で構成され、GUI(グラフィカル・ユーザ・インタフェース)などが画面上に表示される。GUIは、Graphical User Interfaceの、頭字語であり、コンピュータグラフィクスとポインティングデバイスを用いて直感的な操作を提供するユーザーインターフェースである。また、接触確認端末装置113は、陽性者との接触状態を示す接触判定結果を画面上に表示することができる。
The contact
図2は、実施形態1に係る画像処理システム1の各部における機能及び構成の一例を示すブロック図である。ここに示す各ブロックは、ハードウェアとして、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウェアとしては、コンピュータプログラム等によって実現される。図2では、それらの連携によって実現される機能ブロックを示している。従って、図2に示す機能ブロックはハードウェア、ソフトウェアの組合せによって様々な形式で実現できる。
FIG. 2 is a block diagram showing an example of the functions and configuration of each part of the
実施形態1では、画像処理装置200は、撮像装置201、レジ端末装置112、接触確認端末装置113とインターネット等のネットワーク(不図示)を介して通信可能に接続されることで画像処理システム1を構成する。実施形態1における画像処理システム(情報処理システム)1は、店舗100に不特定多数の人物の来場(来店)を想定した接触確認システムとしても機能する。尚、撮像装置201には、入店用カメラ103、退店用カメラ106、レジ部カメラ107、店舗用カメラ108が含まれうる。
In the first embodiment, the
画像処理装置200を含む画像処理システム1は、店舗用カメラ108、レジ部カメラ107、入店用カメラ103、退店用カメラ106の映像(動画)データを解析して、客111及び店員109の店舗100内における動線情報を作成する。加えて、画像処理装置200を含む画像処理システム1は、店舗100内における回遊状況を分析する。
The
画像処理装置200は、動作部202、設定部212、記憶部213を含むように構成される。動作部202、は画像処理装置200における各種動作及び処理を実施する。設定部212は、動作部202における各種動作の設定をする。記憶部213は、各種データを記憶する。
The
さらに、動作部202は、画像取得部203、人体検出部204、顔特徴抽出部210、追尾部208、座標算出部209、属性推定部211、棚前行動検出部214、決済情報取得部215、人物検索部216、接触判定部219を含むように構成される。
Further, the
画像取得部203は、撮像装置201から画像を取得し、例えば複数のフレーム画像として記憶部213に記憶する。ここで、画像取得部203は、撮像装置201から取得する画像は、店舗100内を撮像している入店用カメラ103、退店用カメラ106、レジ部カメラ107、店舗用カメラ108からそれぞれ画像を取得する。画像取得部203はこれらの各画像を取得する画像取得手段として機能する。
The
人体検出部(人物検出部)204は、フレーム画像に含まれる人物を検出する。人体検出部204は、以下に示す処理において画像取得部203が取得したフレーム画像に含まれる人物を検出する人物検出手段として機能する。人体検出部204は、頭部検出部205、足元検出部206、姿勢検出部207を含むように構成される。頭部検出部205は、フレーム画像に含まれる人物の頭部(頭部領域)を検出する。足元検出部206は、フレーム画像に含まれる人物の足元(足元領域)を検出する。姿勢検出部207はフレーム画像に含まれる人物の四肢を含む姿勢を検出する。人体検出部204における検出は、例えば、予め用意されたモデルを用いたパターンマッチングによって人物の頭部領域、足元領域、姿勢を抽出する。また、例えば、人体検出用に学習したニューラルネットワークによって人物の頭部領域、足元領域、姿勢を抽出するようにしてもよい。
A human body detection unit (person detection unit) 204 detects a person included in a frame image. The human
顔特徴抽出部210は、人体検出部204で取得した人物の頭部領域に着目し、検出された人物の顔(顔領域)のフレーム画像から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。実施形態1では、フレーム画像から人物の目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を行う。しかし検出処理は、これに限らず任意の方法を用いてもよい。
The facial
追尾部208は、人体検出部204で取得したフレーム毎の検出結果をフレーム画像間で繋いで、フレーム画像における人物を追跡(追尾)する処理を行い、追尾情報を生成する。追尾部208は、検出された人物毎に追尾情報を生成する追尾手段追として機能する。追尾部208が行う、フレーム画像間の対応付け処理としては、例えば、ベイズ推定やパーティクルフィルタによる対応付けにより行う。また、複数のカメラ映像を考慮した方法としては、追尾する人物の顔や服装、歩き方等における特徴量の類似性によって顔を追尾する方法を用いてもよい。
The
座標算出部209は、人体検出部204で検出した人物の店舗100内での位置座標(位置情報)を算出する。座標算出部209が、当該位置座標を算出する際には、予め店舗100の床面の座標と各撮像装置201上の画像位置との相関関係の情報を、撮像装置201等の設置時に取得しておく。これにより、足元検出部206から取得したフレーム画像上の位置座標から、人体検出部204で検出した人物の店舗100内での位置座標を算出可能とすることができる。座標算出部209は、人体検出部204で検出した人物の店舗100内での位置座標を算出する位置算出手段として機能する。
The coordinate
属性推定部211は、人体検出部204で検出された人物におけるフレーム画像から、当該人物の性別、年齢、装着物の有無を推定し、推定した各種情報を取得して出力する。尚、装着物としては、例えば、マスク、手袋、帽子、眼鏡、アクセサリー等である。属性推定部211は、当該フレーム画像から人物の性別、年齢、装着物の有無を推定し、推定結果を出力する属性推定手段として機能する。
The
棚前行動検出部214は、座標算出部209から得られた店舗内位置情報と、姿勢検出部207から得られた姿勢情報から、店舗100内に存在するいずれかの人物が商品棚に手を伸ばしたかを判断し、当該人物の商品棚または商品への接触の有無を検出する。棚前行動検出部214は、上記のように店舗内位置情報と検出された人物における姿勢の情報に基づき、店舗内の商品(物品)に接触したか否かを判定する行動判定手段として機能する。
The shelf
決済情報取得部215は、座標算出部209から得られた店舗内位置情報が、レジ端末装置112付近に滞在した時、レジ端末装置112から決済IDを取得する。決済情報保持手段として機能する。
The payment
人物検索部216は、接触確認端末装置113から指定された条件に基づき、記憶部213に保管されている、後述の図4で示される人物管理情報(人物特定情報)400を検索し、条件を満たした人物を抽出し、当該人物の特定をする。人物検索部216は、上記の条件を満たした人物が退店した後であっても、当該人物を特定可能とする特定手段(特定部)として機能する。また、人物検索部216は顔照合部217を含むように構成される。
The
顔照合部217は、顔特徴抽出部210で抽出した顔の特徴量と、後述する図4で示される人物管理情報400に含まれる特徴量402との比較を行い、照合結果が認証の閾値を超えているかどうかの判定を行う。顔照合部217による判定の結果、認証の閾値以上(閾値の範囲を超える)である場合、検出された顔は認証対象者に類似していると判断し、候補者として抽出する。一方、認証の閾値未満である場合、検出された顔は認証対象者に類似していないと判断し、候補者として抽出しない。
The
接触判定部219は、後述する図4で示す接触確認端末装置113から指定された陽性者の人物識別子421と比較者の人物識別子421それぞれの動線情報420を比較し評価する。本実施例における接触とは、上記したように物理的に接触または物理的に近くに存在したか、もしくは、店舗のある場所に訪れた履歴があり、その時間差が小さい状態である。接触判定には所定の閾値を用いるものとし、所定の閾値としては、距離閾値250、時間閾値251がある。距離閾値250及び時間閾値251はそれぞれ予め指定しておく必要がある。設定されたそれぞれの閾値は、設定部212で保持する。距離閾値250及び時間閾値251は任意に設定することが可能であり、感染症の特徴によって適正に設定されることが好ましい。そして、接触判定部219は、距離閾値250、時間閾値251を用いて接触判定をする。例えば、接触判定部219は、比較の結果、距離または時間差の少なくともいずれかが所定の閾値(距離閾値250、時間閾値251)の範囲を超えていた場合、接触があったと判定する。接触判定部219は、比較した人物同士の接触状態を判定する接触判定手段としても機能する。
The
図3は、実施形態1に係る画像処理装置200のハードウェア構成の一例を示す図である。画像処理装置200は、CPU301、ROM302、RAM303、ハードディスクドライブ(HDD)304、入力装置305、表示デバイス306、ディスクドライブ307、ネットワークインタフェース308を有する。ネットワークインタフェース308は、ネットワーク309に接続されている。
FIG. 3 is a diagram illustrating an example of the hardware configuration of the
CPU301は、画像処理装置200を統括制御する制御装置である。ROM302は、CPU301が画像処理装置200を制御するためのプログラムを記憶する。尚、ROM302に代えて、2次記憶装置を設けてもよい。RAM303は、CPU301がROM302から読み出したプログラムを展開し、処理を実行するためのメモリである。また、RAM303は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。HDD304は、画像データや処理の対象となるデータを格納する。CPU301は、HDD304から画像データや処理の対象となるデータを読み出す。入力装置305は、数値等のデータ入力用のキーボード、表示デバイス306の表示領域の表示位置を指示するためのポインティングデバイス、マウス、及びタッチパネル等を有する。
The
表示デバイス306は、画像や領域枠を表示するディスプレイ等のデバイスである。具体的には、CPU301による処理の結果やユーザが画像処理装置200を操作するためのGUI(グラフィカル・ユーザ・インタフェース)などが表示デバイス306の画面上に表示される。GUIは、Graphical User Interfaceの、頭字語であり、コンピュータグラフィクスとポインティングデバイスを用いて直感的な操作を提供するユーザーインターフェースである。
The
ディスクドライブ307は、CD、DVD、ブルーレイディスク、またはフレキシブルディスク内の画像データを読み出し、CPU301は、ディスクドライブ307を介して画像データを取得する。尚、CPU301が画像データをHDD304またはネットワークインタフェース308から入力する場合には、ディスクドライブ307はなくてもよい。ネットワークインタフェース308は、ネットワーク309を介して通信を行う回路である。CPU301は、ネットワーク309を介して画像データを取得する。CPU301は、ネットワーク309を介して外部のレジ端末装置112に決済識別子408の取得命令を送信し決済識別子408を受信する。
The
以上のように、画像処理装置200のハードウェア構成は、一般的なPC(パーソナルコンピュータ)に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。そのため、画像処理装置200で実現される各種機能を、PC上で動作するソフトウェアとして実装することが可能である。画像処理装置200は、CPU301がプログラムを実行することにより、図2に示す画像処理装置200各部の処理や動作を実現することができる。尚、接触確認端末装置113のハードウェア構成は、上記の画像処理装置200の構成と同様のため説明を省略するが、少なくともCPU、ROM、RAM、HDD、入力装置、表示デバイス(表示部)、ネットワークインタフェースを有するように構成される。そして、接触確認端末装置113のハードウェア構成についても一般的なPC(パーソナルコンピュータ)に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。
As described above, the hardware configuration of the
図4は、実施形態1に係る画像処理装置200で管理する人物とその回遊状況を表すデータ構造の一例である。図4(A)は、店舗100内で検出された人物管理情報400のデータ構造の一例を示す図である。
FIG. 4 is an example of a data structure representing a person managed by the
人物識別子401は、人物を識別するための識別子である。人物識別子401は、店舗出入口101付近に配置されている入店用カメラ103により撮像された映像データから、人体検出部204が人物を検出した際に検出された人物毎に発行される。特徴量402は、顔特徴抽出部210で取得した顔の特徴量である。性別403、年齢404は、属性推定部211で取得した推定性別と推定年齢である。画像405は、映像データから取得した人物が含まれる画像である。尚、特徴量402、性別403、年齢404、画像405は、店舗出入口101で入店用カメラ103が撮像したタイミングで取得したものである。
The
入店時刻406は、入店用カメラ103で人物を確認した時刻である。出店時刻407は、退店用カメラ106で人物を確認した時刻である。決済識別子408は、客111等が店舗100内で商品を購入した際にレジ端末装置112で発行される、決済を行った際に発行される識別子である。例えば、識別子として客111に提供されるレシート(購入記録)に記述される固有の番号でもよい。レジ端末装置112は、決済識別子408を発行する発行手段として機能する。
The
図4(B)は、店舗内で検出された人物の動線情報420のデータ構造を示す図である。人物識別子421は、人物を識別するための識別子である。時刻422、店舗座標423は座標算出部209で取得した店舗座標と、取得した時刻である。商品接触424は、棚前行動検出部214で取得した接触行動を行った(真)か否(偽)かを示すフラグである。マスク状態425はマスクをしていた(真)か否(偽)かを示すフラグである。手袋状態426は手袋をしていた(真)か否(偽)かを示すフラグである。
FIG. 4(B) is a diagram showing the data structure of
図4(C)は、接触確認端末装置113によって登録された人物の登録情報440のデータ構造を示す図である。登録識別子441は、登録内容を識別するための識別子である。人物識別子442、人物を識別するための識別子で、図4(B)の人物識別子421と対応する。種別443は、人物の登録種別である。尚、図4(C)に示す種別としては陽性者であるか比較者であるかのみであるが、これに限らず他の種別を追加してもよい。
FIG. 4C is a diagram showing the data structure of the
図9は、陽性者と比較者の動線情報を比較した概略図の一例を示す図である。縦軸は時刻、横軸は店舗内の位置(店舗座標)を示している。通常、店舗座標423は2次元であるが、説明の都合上一次元に簡略化して示すものとする。店舗内部で人物が確認されると動線情報420として時刻422と店舗座標423が取得される。陽性者と、比較者の動線情報を図にプロットすると図9に示されるような連続的な曲線となる。陽性者と比較者の接触判定結果は先述の通り、距離閾値250と時間閾値251によって決定され、以下の2種類の確認を行う。
FIG. 9 is a diagram showing an example of a schematic diagram comparing flow line information of a positive person and a comparison person. The vertical axis indicates time, and the horizontal axis indicates position within the store (store coordinates). Normally, the store coordinates 423 are two-dimensional, but for convenience of explanation, they will be simplified and shown as one-dimensional. When a person is confirmed inside the store,
1つ目は、陽性者の動線に対して比較者の動線が距離閾値よりも近接した状態がないかを評価する。図9の破点線は、陽性者の動線に対して距離閾値分シフトさせた位置に記載している。 First, it is evaluated whether there is a state in which the flow line of the comparison person is closer than the distance threshold value to the flow line of the positive person. The broken dotted line in FIG. 9 is drawn at a position shifted by the distance threshold value with respect to the flow line of the positive person.
2つ目は、陽性者の動線に対して、比較者の動線が時間閾値よりも近接した状態がないかを評価する。図9の点線は、陽性者の動線に対して、時間閾値分だけ遅らせた位置に記載している。図9の例では、陽性者の線と時間閾値分シフトした線の間に比較者の動線が重なっているため、陽性者は比較者と図中Aの店舗位置で接触したことが確認できる。この場合、接触判定部219は接触ありと判定する。
Second, it is evaluated whether there is a state in which the flow line of the comparison person is closer than a time threshold to the flow line of the positive person. The dotted line in FIG. 9 is drawn at a position delayed by the time threshold with respect to the flow line of the positive person. In the example in Figure 9, the comparison person's flow line overlaps between the positive person's line and the line shifted by the time threshold, so it can be confirmed that the positive person came into contact with the comparison person at store location A in the figure. . In this case, the
図5は、接触確認端末装置113の表示機能で人物情報の登録を行う場面及び陽性者、比較者の検索を行うときの表示の一例を示した図である。表示部501は、接触確認端末装置113の表示画面(入力表示部)として機能し、ユーザが表示部501の表示画面上に表示されるGUI等をタッチ操作や入力操作を行うことで、人物情報を登録することができる。図5に示す例では、調査員から提示された陽性者情報を入力する様子を示している。実施形態1に係る接触確認端末装置113の表示部501には、種別502、来店日時503、決算識別子504、性別505、年齢506、人物画像507を入力することができる。
FIG. 5 is a diagram showing an example of a scene in which personal information is registered using the display function of the contact
種別502は、陽性者登録か、比較者登録であるかを指定することが可能である。来店日時503は、来店したと思われる時刻の設定を行う。決算識別子504は、決済時に発行された識別子であり、図4に示す決済識別子408と同様の識別子である。性別505、年齢506は、対象人物の性別、年齢であり、これらは属性推定部211の結果と比較される。人物画像507は、対象人物の画像データファイルを指定し登録することができる。実施形態1における画像処理装置200の人物検索部216と顔照合部217は、当該画像データを用いて人物検出及び人物の特徴量抽出を行う。
The
図6は、客111が店舗100に入店してから退店するまでの処理の一例を示すフローチャートである。
FIG. 6 is a flowchart illustrating an example of processing from when the
まず、ステップS601にて、画像処理装置200は、撮像装置201から客111が撮像された画像データを取得する。具体的には、画像取得部203が入店用カメラ103から客111が撮像された画像データ(客識別用画像)を取得し、複数のフレーム画像として記憶部213に記憶する。
First, in step S601, the
次に、ステップS602にて、画像処理装置200は、ステップS601で取得した画像データを解析する。具体的には、人体検出部204が当該画像データ(客識別用画像)を解析することで、当該画像データから客111を検出する。そして、特徴量402、性別403、年齢404、画像405、入店時刻406と客111を識別するための人物識別子401を発行し、それぞれの情報を人物管理情報400として保存する。
Next, in step S602, the
次に、ステップS603にて、画像処理装置200は、撮像装置201から店舗100内が撮像された画像データを取得する。具体的には、画像取得部203が店舗用カメラ108から店舗100内が撮像された画像データを取得する。
Next, in step S603, the
次に、ステップS604にて、画像処理装置200は、ステップS603で取得した画像データを解析して、解析結果を保存する。具体的には、座標算出部209が店舗座標423の情報を取得し、棚前行動検出部214が商品接触424の情報を取得し、属性推定部211がマスク状態425、手袋状態426の情報を取得し、それぞれ記憶部213に保存する。
Next, in step S604, the
次に、ステップS605にて、画像処理装置200は、ステップS604で取得した店舗座標423から客111がレジ端末装置112付近にいるか否かを判定する。客111がレジ端末装置112付近にいる場合はステップS606に進む。一方、客111がレジ端末装置112付近にいない場合は、ステップS609に進む。
Next, in step S605, the
次に、ステップS606にて、画像処理装置200は、ステップS604で客111が決済を行っているレジ端末装置112に決済識別子408を要求する。このときレジ端末装置112は決済が行われた場合、決済識別子408を発行し、画像処理装置200に決済識別子408を送信する。一方、決済が完了しない場合、レジ端末装置112は、決済識別子408を発行しない。
Next, in step S606, the
次に、ステップS607にて、画像処理装置200は、レジ端末装置112からの決済識別子を受信したか否かを判定する。判定の結果、レジ端末装置112からの決済識別子408を受信した場合はステップS608に進む。一方、レジ端末装置112からの決済識別子を受信しない場合はS603に戻り、同様の処理を繰り返す。次に、ステップS608にて、画像処理装置200は、レジ端末装置112から受信した決済識別子408を取得し、客111と関連付けて人物管理データとして記憶部213に保存する。
Next, in step S607, the
次に、ステップS609にて、画像処理装置200は、ステップS604で取得した店舗座標423から客111が店舗出入口101から店舗100を退店しているか否かを判定する。判定の結果、客111が店舗100から退店している場合は処理を終了する。一方、客111が店舗100から退店していない場合、即ち、現在も店舗100内のいずれかの位置に存在しているのであれば、ステップS603に戻り、S603から同様の処理を繰り返す。
Next, in step S609, the
以上のように、ステップS601~S609の処理を行うことで、店舗100内から客111が退店(退出)しても客111を特定することができる。尚、以上に示した図6における処理は客111を対象したものではあるが、店員109を対象としてもよい。即ち、客及び店員を問わず、店舗100に入店して店舗100を退店した人物は処理対象とすることができる。
As described above, by performing the processes of steps S601 to S609, it is possible to identify the
通常、店舗等における来店者に感染症の陽性者が発生した場合は所定の機関より、その店舗に陽性者が発生したことの通知を受け、疫学的調査を受けることとなる。陽性者情報として例えば、陽性者の来店日時、特徴、顔写真、買い物時のレシートなどの情報などが提供されうる。また、都道府県や市町村などの地方自治体のホームページなどに陽性者が来店した店舗として広く知らしめることとなると、問い合わせが多く発生する可能性がある。このように、問い合わせのあった客111若しくは店員109と陽性者との接触した状況についても調査を行うこととなる。
Normally, when a positive case of an infectious disease occurs among a visitor to a store, etc., the store receives a notification from a designated organization that a positive case has occurred at that store, and undergoes an epidemiological investigation. As the positive person information, for example, information such as the date and time of the positive person's visit to the store, characteristics, face photo, shopping receipts, etc. can be provided. Additionally, if stores that have been visited by positive people are widely announced on the websites of local governments such as prefectures and municipalities, there is a possibility that many inquiries will be generated. In this way, the situation in which the
図7は、店員109が感染症等を調査している調査員等から提示された陽性者の情報を登録し、感染が疑われる人物である比較者(疑接触者)との接触判定結果を取得する処理の一例を示すフローチャート図である。
In FIG. 7, a
まず、ステップS701にて、接触確認端末装置113に陽性者の情報を入力する。具体的には、入力者として店員109が接触確認端末装置113を操作し、接触確認端末装置113の表示部501に表示されている設定画面から陽性者情報を入力する。陽性者情報は、例えば図5に例示している情報であって、種別502、来店日時503、決算識別子504、性別505、年齢506、人物画像507である。各種の入力が完了したら、表示部501の設定画面に表示されている検索ボタンをタッチする(押す)。
First, in step S701, information on a positive person is input into the contact
次に、ステップS702にて、画像処理装置200は、陽性者が何れの人物であるか人物検索を行う。具体的には、ステップS701で接触確認端末装置113に入力された陽性者情報を画像処理装置200に送信する。陽性者情報が画像処理装置200に送信された後、人物検索部216は、人物管理情報400から陽性者の候補(陽性候補者)を検索する。
Next, in step S702, the
次に、ステップS703にて、画像処理装置200は、人物管理情報400を検索した結果、陽性候補者がいるか否かを判定する。判定の結果、陽性候補者がいた場合は、ステップS704に進む。一方、陽性候補者がいなかった場合は、ステップS701に戻り、同様の処理を繰り返す。
Next, in step S703, the
次に、ステップS704にて、ステップS702の人物検索における結果から、陽性者を選択する。具体的には、店員109が接触確認端末装置113を操作し、例えば、接触確認端末装置113の表示部501の画面上に表示された候補者(不図示)から、陽性者を選択する。その後、選択した人物の人物識別子を画像処理装置200に送信する。次に、ステップS705にて、画像処理装置200は、ステップS704で送信された候補者に紐づく人物識別子を陽性者として記憶部213に保存する。
Next, in step S704, a positive person is selected from the results of the person search in step S702. Specifically, the
次に、ステップS706にて、接触確認端末装置113に陽性者との接触状態の判定をする比較者(疑接触者)の情報を入力する。具体的には、店員109が、接触確認端末装置113に比較者情報を入力する。比較者情報(疑接触者情報)も陽性者情報と同様に、例えば図5に例示している情報であって、種別502、来店日時503、決算識別子504、性別505、年齢506、人物画像507である。各種の入力が完了したら、表示部501に表示されている設定画面上の検索ボタンをタッチする(押す)。
Next, in step S706, information on a comparator (suspected contact) whose contact status with the positive person is to be determined is input into the contact
次に、ステップS707にて、画像処理装置200は、比較者が何れの人物であるか人物検索を行う。具体的には、ステップS706で接触確認端末装置113に入力された比較者情報を画像処理装置200に送付する。比較者情報が画像処理装置200に送付された後、人物検索部216は、人物管理情報400から比較者の候補(比較候補者)を検索する。
Next, in step S707, the
図8は、図7に示すステップS707の詳細な処理を示したフローチャートの一例である。以下、図8を参照して、ステップS707における人物(比較候補者)検出の詳細な処理を説明する。 FIG. 8 is an example of a flowchart showing detailed processing of step S707 shown in FIG. The detailed process of detecting a person (comparison candidate) in step S707 will be described below with reference to FIG.
ステップS706で店員109が、接触確認端末装置113に比較者情報または陽性者情報を入力して検索ボタンを押すと、比較者情報または陽性者情報が画像処理装置200に送信される。その後、画像処理装置200では受信した陽性者または比較者の情報に基づき、比較候補者を抽出する処理が開始される。
When the
まず、ステップS801にて、画像処理装置200は、接触確認端末装置113から受信した比較者情報に人物画像が含まれているか否かを判定する。判定の結果、人物画像が含まれている場合にはステップS802に進む。一方、人物画像が含まれていない場合にはステップS803に進む。
First, in step S801, the
次に、ステップS802にて、画像処理装置200は、人体検出を行い検出した人物の特徴量を抽出する。具体的には、人体検出部204は、接触確認端末装置113から受信した人物画像を解析して画像中から人物を検出する。その後、顔特徴抽出部210は当該人物の特徴量402を算出する。
Next, in step S802, the
次に、ステップS803にて、人物検索部216は、接触確認端末装置113から受信した情報とステップS802で算出した特徴量から人物管理情報400を検索し、条件に見合う比較者の候補を抽出する。以上の処理により、人物管理情報400から陽性者と比較する比較候補者を検索することができる。
Next, in step S803, the
図7に戻り、次に、ステップS708にて、画像処理装置200は、人物管理情報400に基づき、比較候補者がいるか否かを判定する。判定の結果、候補者がいた場合は、ステップS709に進む。一方、比較候補者がいなかった場合は、ステップS706に戻り、同様の処理を繰り返す。次に、ステップS709にて、人物検索結果から比較者を選択する。具体的には、店員109は、接触確認端末装置113の画面上に表示された比較者候補者(不図示)から、陽性者と比較して接触判定を行う人物として比較者を選び出して当該人物の人物識別子を画像処理装置200に送信する。
Returning to FIG. 7, next, in step S708, the
次に、ステップS710にて、画像処理装置200は、ステップS703で送信された陽性候補者に紐づく人物識別子を比較者として記憶部213に保存する。次に、ステップS711にて、画像処理装置200は、接触判定を行う。具体的には、ステップS705で、記憶部213に保存されている陽性者と比較者の人物識別子に紐づけられている動線情報420を接触判定部219に入力する。その後、接触判定部219は、それぞれの動線情報420に基づき、陽性者と比較者の接触状況を算出する。接触状況の算出に際し、陽性者と比較者の接触判定結果は上述の通り、距離閾値250と時間閾値251に基づき算出を行う。その後、接触判定結果を接触確認端末装置113に送信する。本処理を行うことで、陽性者と比較者の行動合致の度合いを判定することができる。
Next, in step S710, the
次に、ステップS712にて、接触確認端末装置113は、接触確認端末装置113の表示部501の画面上にステップS711で送信された接触判定結果(不図示)を表示する。本処理の際、接触確認端末装置113の不図示のCPUは、接触確認端末装置113の表示部501の画面上に接触判定結果を表示させる表示制御手段としても機能する。尚、画像処理装置200のCPU301が接触確認端末装置113の表示部501の画面上に接触判定結果を表示させるようにしてもよい。また、画像処理装置200のCPU301は、画像処理装置200の表示デバイス306の画面上に接触判定結果を表示させるようにしてもよい。この場合、CPU301が表示制御手段として機能する。
Next, in step S712, the contact
以上の処理を行うことで、実施形態1における画像処理システム1によれば、精度よく感染経路に対する陽性者と陽性者に接触した人物の検出が可能となり、感染症の蔓延を抑制することができる。
By performing the above processing, according to the
<実施形態2>
実施形態2では、上述した実施形態1の処理に加えて、店舗100内の商品や触れた場所を介しての接触感染に対応する物理接触の場合の接触判定評価について説明する。尚、以下では実施形態1と同様の内容については説明を省略し、実施形態2に特有の内容について説明する。
<
In
接触判定部219は、実施形態1では接触についてのみ評価を行っていたが、実施形態2では上述の物理接触の有無に対する判定を行う。また、実施形態1と同様に物理接触判定の閾値としては、距離閾値250、時間閾値251があり、あらかじめ、指定しておく必要があり、指定した設定は設定部212で保持される。尚、距離閾値250、時間閾値251は任意に設定可能であって、感染症の特徴によって適正に設定されることが好ましい。
In the first embodiment, the
図10は、図9と同様に陽性者と比較者の動線情報を比較した概略図の一例である。店舗内部で確認された人物の動線情報はその時刻422と店舗座標423として取得されている。陽性者と、比較者の動線情報を図にプロットすると図10に示されるような連続的な曲線となる。さらに、図10に動線情報420に含まれる商品接触424の情報を基に物理接触したタイミングを太線で示す。ここで、実施形態1と同様に、陽性者と比較者の接触判定結果は接触判定部219によって、上述の通り、距離閾値250と時間閾値251によって算出され、次の2種類の確認を行う。
Similar to FIG. 9, FIG. 10 is an example of a schematic diagram comparing flow line information of a positive person and a comparison person. The flow line information of the person confirmed inside the store is acquired as the
1つ目は、陽性者の動線に対して比較者の動線が距離閾値よりも近接した状態がないか否かを評価する。図10の破点線は、陽性者の動線に対して距離閾値分シフトさせた位置に記載している。 First, it is evaluated whether there is a state in which the flow line of the comparison person is closer than the distance threshold value to the flow line of the positive person. The broken dotted line in FIG. 10 is drawn at a position shifted by the distance threshold value with respect to the flow line of the positive person.
2つ目は、陽性者の動線に対して、比較者の動線が時間閾値よりも近接した状態がないかを評価する。図10の点線は、陽性者の動線に対して、時間閾値分だけ遅らせた位置に記載している。図10の例では、陽性者の線と時間閾値分シフトした線の間に比較者の動線が重なっているため、陽性者は比較者と図中Aの店舗位置で接触したことが確認できる。この場合、接触判定部219は接触ありと判定する。
Second, it is evaluated whether there is a state in which the flow line of the comparison person is closer than a time threshold to the flow line of the positive person. The dotted line in FIG. 10 is drawn at a position delayed by the time threshold with respect to the flow line of the positive person. In the example in Figure 10, the comparison person's flow line overlaps between the positive person's line and the line shifted by the time threshold, so it can be confirmed that the positive person came into contact with the comparison person at store location A in the figure. . In this case, the
実施形態2では、上述のように商品接触424情報に基づき、接触判定部219が陽性者と比較者の接触状態を判定した。しかしこれに限らず、商品状態の代わりにマスク状態425、手袋状態426の情報を取得し、接触判定部219は、マスク状態425、手袋状態426情報を考慮して、陽性者と比較者のそれぞれ動線情報に基づき陽性者と比較者の接触判定結果を算出する。この場合、距離閾値250と時間閾値251を適切に設定することで、マスク、手袋といった感染症の予防手段を考慮した接触判定結果を算出することが可能になる。また、実施形態1の接触や実施形態2の物理接触、そしてマスク状態や手袋状態を複合的に用いて接触判定結果を算出してもよい。
In the second embodiment, the
以上のように、実施形態2における画像処理システム1によれば、実施形態1と同様に精度よく感染経路に対する陽性者と陽性者に接触した人物の検出が可能となり、感染症の蔓延を抑制することができる。
<実施形態3>
予め店舗に訪れた客が店固有の情報(QR読み込み)をその情報をEmail送信することにより、情報と来店者のEmailアドレスを収集し、陽性者が出た際に通知するシステムが知られている。このように客情報を収集するシステムとの連携を考慮した方法について実施形態3で説明する。尚、以下では実施形態1及び実施形態2と同様の内容については説明を省略し、実施形態3に特有の内容について説明する。
As described above, according to the
<
A system is known in which customers who have visited a store in advance send store-specific information (QR scan) by email, which collects information and the email address of the visitor, and notifies the customer when a positive person appears. There is.
図11は、実施形態3に係る画像処理装置200の客111が来店してから退店するまでの処理の一例を示すフローチャートである。図11では、図7で示したステップS706以降の処理を変更している。尚、ステップS706以前の処理は図7における処理と同様であるため説明を省略する。
FIG. 11 is a flowchart illustrating an example of the processing performed by the
まず、ステップS1206にて、画像処理装置200は、陽性者と接触が疑われる人物を検索する。具体的には、人物検索部216は、ステップS705において設定された陽性者の来店時刻以降に退店した人物を検出する。次に、ステップS1207にて、画像処理装置200は、ステップS1206において検出された各人物を評価するために、検出された各人物から1人を選択して、選択した人物の人物識別子を取得する。
First, in step S1206, the
次に、ステップS1208にて、画像処理装置200は、接触判定を行う。具体的には、ステップS1207において設定された人物識別子に紐づけられた動線情報420と陽性者の動線情報420を取得して、接触判定部219に入力する。その後、接触判定部219は、それぞれの動線情報420に基づき、陽性者と、陽性者と接触が疑われる人物の接触状況を算出する。接触状況の算出に際し、陽性者と、陽性者と接触が疑われる人物の接触判定結果は上述の通り、距離閾値250と時間閾値251に基づき算出を行う。その後、接触判定結果を接触確認端末装置113に送信する。これにより、陽性者と、陽性者と接触が疑われる人物の行動合致の度合いを判定することができる。
Next, in step S1208, the
次に、ステップS1209にて、画像処理装置200は、ステップS1207において取得した人物識別子及びステップS1208において算出した接触判定結果を記憶部213に保存する。次に、ステップS1210にて、画像処理装置200は、ステップS1206において検出された人物で評価(接触判定評価)をしていない人物がいるか否かを判定する。判定の結果、ステップS1206において検出された人物で評価をしていない人物がいた場合、即ち、検出された人物で接触判定をしていない人物がいれば、ステップS1207に戻り同様の処理を繰り返す。一方、ステップS1206において検出された人物で評価をしていない人物がいない場合、即ち、検出された人物全員について接触判定をしていれば、ステップS1210に進む。
Next, in step S1209, the
次に、ステップS1211にて、画像処理装置200は、ステップS1206において設定された人物において接触判定結果が接触「あり」の人物を抽出し、画像405、決済識別子408を付与して接触確認端末装置113に送信する。次に、ステップS1212にて、接触確認端末装置113は、接触確認端末装置113の表示部501の画面上にステップS1211において画像処理装置200から受信した接触判定結果(不図示)を表示する。尚、画像処理装置200のCPU301が接触確認端末装置113の表示部501の画面上に接触判定結果を表示させるようにしてもよい。また、画像処理装置200のCPU301は、画像処理装置200の表示デバイス306上に接触判定結果を表示させるようにしてもよい。
Next, in step S1211, the
以上の処理により、指定した陽性者に対して接触の行動履歴を持つ人物の決済識別子408を店員109は確認することができる。例えば、この情報を通知システムに登録されたemailアドレスに送付等することにより、来店履歴のある客に上述した接触判定結果等を通知することができる。これにより、例えば、来店履歴のある客111は、決済時に提供されたレシートを確認することで、接触者である可能性を確認することが可能となる。また、店員109は決済識別子から、支払いに用いたクレジットカード情報やプリペイドカード情報等から人物を特定することができる。また、店員109は、特定した人物毎にそれぞれ問い合わせを行うようにしてもよい。
Through the above processing, the
以上のように、実施形態3における画像処理装置200を含む画像処理システム1によれば、実施形態1及び実施形態2と同様に精度よく感染経路に対する陽性者と陽性者に接触した人物の検出が可能となり、感染症の蔓延を抑制することができる。
As described above, according to the
本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
(構成1)
撮像手段により撮像された空間内の複数の画像を取得する画像取得手段と、
画像から人物を検出する人物検出手段と、
人物検出手段により検出された人物毎に追尾情報を生成する追尾手段と、
人物が空間を退出した後であっても人物を特定可能な特定手段と、
特定手段により特定された人物毎に生成され、追尾手段により追尾を開始した時刻と人物の位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定する接触判定手段と、を有する、
ことを特徴とする画像処理システム。
The disclosure of this embodiment includes the following configuration, method, and program.
(Configuration 1)
image acquisition means for acquiring a plurality of images in the space imaged by the imaging means;
a person detection means for detecting a person from an image;
tracking means for generating tracking information for each person detected by the person detection means;
identification means that can identify a person even after the person has left the space;
A contact determination means that determines a state of contact between people by comparing flow line information generated for each person identified by the identification means and consisting of the time when tracking started by the tracking means and position information of the person for each person. and has
An image processing system characterized by:
(構成2)
接触判定手段は、各人物の動線情報における距離または時間差の少なくともいずれかに基づき、接触状態を判定することを特徴とする構成1に記載の画像処理システム。
(Configuration 2)
The image processing system according to
(構成3)
接触判定手段は、比較の結果、各人物の動線情報における距離または時間差の少なくともいずれかが所定の閾値の範囲を超えた場合、人物同士が接触したと判定することを特徴とする構成1または2に記載の画像処理システム。
(Configuration 3)
(構成4)
人物検出手段が検出した人物の姿勢を推定する推定手段と、
人物検出手段が検出した人物の空間内での位置情報を算出する位置算出手段と、
推定した人物の姿勢と位置情報に基づき、空間内の物品の接触の有無を判定し、接触判定結果を出力する行動判定手段と、をさらに有することを特徴とする構成1乃至3のいずれか1項に記載の画像処理システム。
(Configuration 4)
Estimating means for estimating the posture of the person detected by the person detecting means;
a position calculation means for calculating position information in space of a person detected by the person detection means;
Any one of
(構成5)
接触判定手段は、行動判定手段が出力した接触判定結果と人物の動線情報における距離または時間差に基づき、接触状態を判定することを特徴とする構成4に記載の画像処理システム。
(Configuration 5)
4. The image processing system according to
(構成6)
人物検出手段が検出した人物が装着している装着物の有無を推定し、推定結果を出力する属性推定手段をさらに有することを特徴とする構成1乃至5のいずれか1項に記載の画像処理システム。
(Configuration 6)
Image processing according to any one of
(構成7)
接触判定手段は、属性推定手段がした推定結果と人物の動線情報における距離または時間差に基づき、接触状態を判定することを特徴とする構成6に記載の画像処理システム。
(Configuration 7)
7. The image processing system according to configuration 6, wherein the contact determining means determines the contact state based on the distance or time difference between the estimation result made by the attribute estimating means and the flow line information of the person.
(構成8)
人物検出手段が画像から検出した人物が空間内で物品を購入した購入記録に対する識別子を発行する発行手段をさらに有することを特徴とする構成1乃至7のいずれか1項に記載の画像処理システム。
(Configuration 8)
8. The image processing system according to any one of
(構成9)
特定手段は、発行手段が発行した識別子に基づいて人物を特定することを特徴とする構成8に記載の画像処理システム。
(Configuration 9)
9. The image processing system according to configuration 8, wherein the identifying means identifies the person based on the identifier issued by the issuing means.
(構成10)
特定手段は、人物検出手段が画像から検出した人物の顔の画像に基づいて人物を特定することを特徴とする構成1乃至9のいずれか1項に記載の画像処理システム。
(Configuration 10)
10. The image processing system according to any one of
(構成11)
人物における所定の情報を設定可能な表示画面を備える情報端末を有することを特徴とする構成1乃至10のいずれか1項に記載の画像処理システム。
(Configuration 11)
11. The image processing system according to any one of
(構成12)
接触判定手段が判定した接触状態の判定結果を情報端末の表示画面上に表示させる表示制御手段を有することを特徴とする構成11に記載の画像処理システム。
(Configuration 12)
12. The image processing system according to configuration 11, further comprising display control means for displaying the determination result of the contact state determined by the contact determination means on a display screen of the information terminal.
(構成13)
特定手段は、情報端末で設定される所定の情報に基づき、人物を特定可能とすることを特徴とする構成11に記載の画像処理システム。
(Configuration 13)
12. The image processing system according to configuration 11, wherein the identifying means is capable of identifying a person based on predetermined information set in an information terminal.
(構成14)
撮像手段により撮像された空間内の複数の画像を取得する画像取得部と、
画像から人物を検出する人物検出部と、
検出された人物毎に追尾情報を生成する追尾部と、
人物が空間を退出した後であっても人物を特定可能な特定部と、
特定された人物毎に生成され、人物の追尾を開始した時刻と人物の位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定する接触判定部と、を有する、
ことを特徴とする画像処理装置。
(Configuration 14)
an image acquisition unit that acquires a plurality of images in the space captured by the imaging means;
a person detection unit that detects a person from an image;
a tracking unit that generates tracking information for each detected person;
an identification part that can identify a person even after the person has left the space;
a contact determination unit that determines a state of contact between people by comparing flow line information generated for each identified person and consisting of the time when tracking of the person is started and the position information of the person. ,
An image processing device characterized by:
(構成15)
画像処理装置の制御方法であっって、
撮像手段により撮像された空間内の複数の画像を取得し、
画像から人物を検出し、
検出された人物毎に追尾情報を生成し、
人物が空間を退出した後であっても人物を特定し、
特定された人物毎に生成され、人物の追尾を開始した時刻と位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定することを特徴とする画像処理装置の制御方法。
(Configuration 15)
A method for controlling an image processing device, the method comprising:
Obtaining a plurality of images in the space captured by the imaging means,
Detects people from images,
Generates tracking information for each detected person,
Identify a person even after the person has left the space,
An image processing device that determines a state of contact between people by comparing flow line information generated for each identified person and consisting of time and position information when tracking the person started. Control method.
(構成16)
画像処理装置の制御方法をコンピュータに実行させるプログラムであっって、
撮像手段により撮像された空間内の複数の画像を取得し、
画像から人物を検出し、
検出された人物毎に追尾情報を生成し、
人物が空間を退出した後であっても人物を特定し、
特定された人物毎に生成され、人物の追尾を開始した時刻と位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定することを特徴とするプログラム。
(Configuration 16)
A program that causes a computer to execute a control method for an image processing device, the program comprising:
Obtaining a plurality of images in the space captured by the imaging means,
Detects people from images,
Generates tracking information for each detected person,
Identify a person even after the person has left the space,
A program characterized in that a state of contact between people is determined by comparing flow line information generated for each identified person and consisting of time and position information at which tracking of the person is started.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the invention.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。その場合、そのプログラム、該プログラムを記憶した記憶媒体は本発明を構成することとなる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。尚、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。 The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a storage medium, and one or more processors in a computer of the system or device reads and executes the program. This can also be achieved by processing. In that case, the program and the storage medium storing the program constitute the present invention. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. Note that the form of the program does not matter, as long as it has the function of a program, such as an object code, a program executed by an interpreter, or script data supplied to an OS.
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 The recording medium for supplying the program may be, for example, a hard disk, a magnetic recording medium such as a magnetic tape, an optical/magnetic optical storage medium, or a nonvolatile semiconductor memory. Further, as a method for supplying the program, a method may be considered in which a computer program forming the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.
1 画像処理システム
100 店舗
101 店舗出入口
103 入店用カメラ
106 退店用カメラ
107 レジ部カメラ
108 店舗用カメラ
109 店員
110 商品棚
111 客
112 レジ端末装置
113 接触確認端末装置
200 画像処理装置
201 撮像装置
1
Claims (16)
前記画像から人物を検出する人物検出手段と、
前記人物検出手段により検出された人物毎に追尾情報を生成する追尾手段と、
前記人物が前記空間を退出した後であっても前記人物を特定可能な特定手段と、
前記特定手段により特定された人物毎に生成され、前記追尾手段により追尾を開始した時刻と前記人物の位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定する接触判定手段と、を有する、
ことを特徴とする画像処理システム。 image acquisition means for acquiring a plurality of images in the space imaged by the imaging means;
person detection means for detecting a person from the image;
tracking means for generating tracking information for each person detected by the person detection means;
identification means that can identify the person even after the person has left the space;
A state of contact between the people is determined by comparing flow line information generated for each person identified by the identification means and consisting of a time when tracking was started by the tracking means and position information of the person for each person. contact determination means,
An image processing system characterized by:
前記人物検出手段が検出した前記人物の前記空間内での位置情報を算出する位置算出手段と、
推定した前記人物の前記姿勢と前記位置情報に基づき、前記空間内の物品の接触の有無を判定し、接触判定結果を出力する行動判定手段と、をさらに有することを特徴とする請求項1に記載の画像処理システム。 Estimating means for estimating the posture of the person detected by the person detecting means;
a position calculation means for calculating position information in the space of the person detected by the person detection means;
2. The apparatus according to claim 1, further comprising a behavior determining means for determining whether or not there is contact with an object in the space based on the estimated posture and position information of the person and outputting a contact determination result. The image processing system described.
前記画像から人物を検出する人物検出部と、
前記検出された人物毎に追尾情報を生成する追尾部と、
前記人物が前記空間を退出した後であっても前記人物を特定可能な特定部と、
前記特定された人物毎に生成され、前記人物の追尾を開始した時刻と前記人物の位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定する接触判定部と、を有する、
ことを特徴とする画像処理装置。 an image acquisition unit that acquires a plurality of images in the space captured by the imaging means;
a person detection unit that detects a person from the image;
a tracking unit that generates tracking information for each detected person;
an identification unit that can identify the person even after the person leaves the space;
a contact determination unit that determines a state of contact between the people by comparing flow line information generated for each of the identified persons and consisting of a time when tracking of the person is started and position information of the person; and has
An image processing device characterized by:
撮像手段により撮像された空間内の複数の画像を取得し、
前記画像から人物を検出し、
前記検出された人物毎に追尾情報を生成し、
前記人物が前記空間を退出した後であっても前記人物を特定し、
前記特定された人物毎に生成され、前記人物の追尾を開始した時刻と位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定することを特徴とする画像処理装置の制御方法。 A method for controlling an image processing device, the method comprising:
Obtaining a plurality of images in the space captured by the imaging means,
detecting a person from the image;
Generate tracking information for each detected person,
identifying the person even after the person leaves the space;
An image characterized in that a state of contact between the persons is determined by comparing flow line information generated for each of the identified persons and consisting of time and position information at which tracking of the persons is started for each of the persons. A method of controlling a processing device.
撮像手段により撮像された空間内の複数の画像を取得し、
前記画像から人物を検出し、
前記検出された人物毎に追尾情報を生成し、
前記人物が前記空間を退出した後であっても前記人物を特定し、
前記特定された人物毎に生成され、前記人物の追尾を開始した時刻と位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定することを特徴とするプログラム。
A program that causes a computer to execute a control method for an image processing device, the program comprising:
Obtaining a plurality of images in the space captured by the imaging means,
detecting a person from the image;
Generate tracking information for each detected person,
identifying the person even after the person leaves the space;
A program characterized in that a state of contact between people is determined by comparing flow line information generated for each of the identified persons and consisting of time and position information at which tracking of the person is started for each of the persons. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022124197A JP2024021399A (en) | 2022-08-03 | 2022-08-03 | Image processing system, image processing device, control method for image processing device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022124197A JP2024021399A (en) | 2022-08-03 | 2022-08-03 | Image processing system, image processing device, control method for image processing device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024021399A true JP2024021399A (en) | 2024-02-16 |
Family
ID=89855568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022124197A Pending JP2024021399A (en) | 2022-08-03 | 2022-08-03 | Image processing system, image processing device, control method for image processing device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024021399A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11990249B2 (en) | 2015-08-27 | 2024-05-21 | Terrapower, Llc | Fuel element with multi-smear density fuel |
-
2022
- 2022-08-03 JP JP2022124197A patent/JP2024021399A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11990249B2 (en) | 2015-08-27 | 2024-05-21 | Terrapower, Llc | Fuel element with multi-smear density fuel |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7371614B2 (en) | Store management device and store management method | |
TWI778030B (en) | Store apparatus, store management method and program | |
JP7448065B2 (en) | Store equipment, store systems, store management methods, programs | |
JP6724827B2 (en) | Person trend recorder | |
JP2018093283A (en) | Monitoring information gathering system | |
JP7298594B2 (en) | Store management device, store management method, and program | |
JP2017174272A (en) | Information processing device and program | |
JP7521807B2 (en) | Movement line determination device, movement line determination system, movement line determination method, and program | |
US11216651B2 (en) | Information processing device and reporting method | |
JP2024021399A (en) | Image processing system, image processing device, control method for image processing device, and program | |
JP2019139321A (en) | Customer behavior analysis system and customer behavior analysis method | |
JP5143780B2 (en) | Monitoring device and monitoring method | |
US20210168135A1 (en) | Linking a physical item to a virtual item | |
JP2017130061A (en) | Image processing system, image processing method and program | |
JP7516759B2 (en) | Processing device, processing method, and program | |
JP6498065B2 (en) | Information processing apparatus, processing method, and program | |
JP2022155061A (en) | Image processing apparatus, image processing method, and program | |
JP2022117096A (en) | Image processing apparatus, image processing method, and program | |
JP7135329B2 (en) | Information processing method, information processing apparatus, and information processing program | |
JP7315049B1 (en) | Information processing program, information processing method, and information processing apparatus | |
JP2023074751A (en) | Information processing system, information processing device, information processing method, and program | |
EP4310760A1 (en) | Display control program, display control method, and information processing apparatus | |
JP2018055233A (en) | Information processing device, control method and program | |
JP2023122059A (en) | Information processing program, information processing method, and information processing device | |
JP2022011704A (en) | Image processing device, image processing method, and program |