JP2024021399A - Image processing system, image processing device, control method for image processing device, and program - Google Patents

Image processing system, image processing device, control method for image processing device, and program Download PDF

Info

Publication number
JP2024021399A
JP2024021399A JP2022124197A JP2022124197A JP2024021399A JP 2024021399 A JP2024021399 A JP 2024021399A JP 2022124197 A JP2022124197 A JP 2022124197A JP 2022124197 A JP2022124197 A JP 2022124197A JP 2024021399 A JP2024021399 A JP 2024021399A
Authority
JP
Japan
Prior art keywords
person
image processing
contact
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022124197A
Other languages
Japanese (ja)
Inventor
賢治 進藤
Kenji Shindo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022124197A priority Critical patent/JP2024021399A/en
Publication of JP2024021399A publication Critical patent/JP2024021399A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing system, an image processing device, a method for manufacturing the same, and a program, which can easily detect a person who has tested positive with respect to an infection route and a person who has come into contact with the person who has tested positive, and can suppress the spread of an infectious disease.
SOLUTION: In an image processing system 1, an image processing device includes: an image acquisition unit that acquires a plurality of images in a space captured by an imaging device; a person detection unit that detects persons from the images; a tracking unit that generates tracking information for each person detected by the person detection unit; a person search unit that can identify the persons even after the persons have left a space; and a contact determination unit that determines a contact state between the persons by comparing, for each person, flow line information generated for each person identified by the person search unit and composed of a point in time when the tracking unit started the tracking and location information of the person.
SELECTED DRAWING: Figure 2
COPYRIGHT: (C)2024,JPO&INPIT

Description

本発明は、感染症の感染経路に対する陽性者及び陽性者と接触した者の検出に関する。 TECHNICAL FIELD The present invention relates to the detection of people who are positive for the infection route of an infectious disease and those who have come into contact with positive people.

感染症は人から人に病原体（ウィルスや細菌）を媒介し伝染する。研究所の調査によると、感染症は空気感染、エアロゾル感染、接触感染が主な感染経路であるとされている。（非特許文献１）一般に感染症の陽性者が確認されると、受診した医療機関は、保健所長を経曲して都道府県知事に届け出るように法令で定められている。その後、当該職員がこの医療機関の報告を受け、感染症の疫学的調査が行われることとなる。（非特許文献２） Infectious diseases are transmitted from person to person by transmitting pathogens (viruses and bacteria). According to research conducted by research institutes, the main transmission routes for infectious diseases are airborne infection, aerosol infection, and contact infection. (Non-Patent Document 1) Generally, when a positive person for an infectious disease is confirmed, the medical institution where the patient was examined is required by law to notify the director of the public health center and the prefectural governor. After that, the relevant staff will receive the report from this medical institution, and an epidemiological investigation of the infection will be conducted. (Non-patent document 2)

疫学的調査は、保健士により行われ、本人、家族、勤務先の聞き取りを行い、行動記録帳簿の作成を行う。感染経路の特定、二次感染の調査のために、行動記録から更なる調査が行われる。（非特許文献３）感染症の病原体に汚染された場所若しくは汚染された疑いがある場所に立ち入り、感染症の患者、疑似症患着若しくは無症状病原体保有者その他の関係者に聞き取りを行い、さらなる必要な調査を行う。感染症の蔓延を抑制する方法としては陽性者と接触し感染疑いのある人物を早期に見つけ出し、感染予防策を打つことが重要となる。 Epidemiological surveys are conducted by public health nurses, who interview individuals, their families, and their workplaces, and create behavior record books. Further investigation will be conducted based on behavioral records to identify the route of infection and investigate secondary infections. (Non-Patent Document 3) Entering a place contaminated with an infectious disease pathogen or a place suspected of being contaminated, interviewing patients with an infectious disease, suspected cases, asymptomatic pathogen carriers, and other related parties, Conduct further necessary investigation. In order to control the spread of infectious diseases, it is important to quickly identify people who have come into contact with positive cases and are suspected of being infected, and to take measures to prevent infection.

感染症の陽性者と接触したかを検知する仕組みとしてＢＬＵＥＴＯＯＴＨ（登録商標）を利用した接触確認システムが発案・運用されている（非特許文献４）。このシステムは、接触者としておおむね１ｍ以内の距離で継続して１５分以上の近接状態が続いたものを接触者と定義し、携帯端末のＢＬＵＥＴＯＯＴＨ機能を用いて前記判定を行う。そして陽性者が発生した場合にすぐに、陽性者と接触していた事を接触者へ通知することにより更なる感染を抑制することを目的としている。 A contact confirmation system using BLUETOOTH (registered trademark) has been proposed and operated as a mechanism for detecting whether a person has come into contact with a person who is positive for an infectious disease (Non-Patent Document 4). This system defines a person who has been in close contact for 15 minutes or more at a distance of approximately 1 meter as a contact person, and makes the determination using the BLUETOOTH function of a mobile terminal. The aim is to immediately notify those in contact with a positive person that they have been in contact with the positive person in order to prevent further infection.

国際環境経済研究所「新型コロナウイルスの科学（４）」、ｈｔｔｐ：／／ｉｅｅｉ．ｏｒ．ｊｐ／２０２０／０４／ｅｘｐｌ２００４１５／International Institute of Environmental Economics “Science of the Novel Coronavirus (4)”, http://ieei. or. jp/2020/04/expl200415/ 「保健師のための積極的疫学調査ガイド」、ｈｔｔｐｓ：／／ｊｅａｗｅｂ．ｊｐ／ｃｏｖｉｄ／ｌｉｎｋｓ／ｇｕｉｄｅ＿０４２１．ｐｄｆ、２０２０／０４／２１“Active Epidemiological Investigation Guide for Public Health Nurses”, https://jeaweb. jp/covid/links/guide_0421. pdf, 2020/04/21 感染症の予防及び感染症の患者に対する医療に関する法律Act on the prevention of infectious diseases and medical care for patients with infectious diseases 「新型コロナウイルス接触確認アプリ（ＣＯＣＯＡ） ＣＯＶＩＤ－１９ Ｃｏｎｔａｃｔ－Ｃｏｎｆｉｒｍｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ」、ｈｔｔｐｓ：／／ｗｗｗ．ｍｈｌｗ．ｇｏ．ｊｐ／ｓｔｆ／ｓｅｉｓａｋｕｎｉｔｓｕｉｔｅ／ｂｕｎｙａ／ｃｏｃｏａ＿００１３８．ｈｔｍｌ“COVID-19 Contact-Confirming Application (COCOA)”, https://www. mhlw. go. jp/stf/seisakunitsuite/bunya/cocoa_00138. html

しかしながら、上記の方法では、ＢＬＵＥＴＯＯＴＨを搭載した端末を持つ人物だけが調査対象となる。また、時間を共有した人物同士の検知のみでは、エアロゾル感染や接触感染といった感染経路に対する感染可能性に対しては考慮できておらず、二次的な感染対策としては不十分であった。 However, in the above method, only people who have terminals equipped with BLUETOOTH are investigated. Furthermore, simply detecting people who have shared time with each other does not take into account the possibility of infection through infection routes such as aerosol infection and contact infection, and is insufficient as a secondary infection control measure.

そこで、本発明はこのような事情に鑑み、感染経路に対する陽性者と陽性者に接触した人物の検出を容易とし、感染症の蔓延を抑制することを目的とする。 In view of these circumstances, the present invention aims to facilitate the detection of positive persons for the infection route and persons who have come into contact with positive persons, thereby suppressing the spread of infectious diseases.

上記目的を達成するために、本発明の一側面としての画像処理システムは、撮像手段により撮像された空間内の複数の画像を取得する画像取得手段と、画像から人物を検出する人物検出手段と、人物検出手段により検出された人物毎に追尾情報を生成する追尾手段と、人物が空間を退出した後であっても人物を特定可能な特定手段と、特定手段により特定された人物毎に生成され、追尾手段により追尾を開始した時刻と人物の位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定する接触判定手段と、を有する、ことを特徴とする。 In order to achieve the above object, an image processing system as one aspect of the present invention includes: an image acquisition unit that acquires a plurality of images in a space captured by an imaging unit; and a person detection unit that detects a person from the images. , a tracking means that generates tracking information for each person detected by the person detection means, a specifying means that can identify the person even after the person has left the space, and a tracking information generated for each person specified by the specifying means. and a contact determination means for determining a state of contact between people by comparing flow line information consisting of a time when tracking by the tracking means starts and position information of the person for each person. .

本発明によれば、感染経路に対する陽性者と陽性者に接触した人物の検出を容易とし、感染症の蔓延を抑制することができる。 According to the present invention, it is possible to easily detect a positive person for an infection route and a person who has come into contact with a positive person, thereby suppressing the spread of an infectious disease.

実施形態１に係る店舗の一例を示す模式図である。1 is a schematic diagram showing an example of a store according to Embodiment 1. FIG. 実施形態１に係る画像処理システムの各部における機能及び構成の一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of functions and configurations of each part of the image processing system according to the first embodiment. 実施形態１に係る画像処理装置のハードウェア構成の一例を示す図である。1 is a diagram illustrating an example of a hardware configuration of an image processing apparatus according to a first embodiment; FIG. 実施形態１に係る画像処理装置で管理する人物と回遊情報の関連を表すデータ構造の一例である。2 is an example of a data structure representing a relationship between a person and travel information managed by the image processing apparatus according to the first embodiment. 実施形態１に係る接触確認端末装置から陽性者、比較者の検索を行うときの表示の一例である。2 is an example of a display when searching for a positive person and a comparison person from the contact confirmation terminal device according to the first embodiment. 実施形態１に係る客が来店してから退店するまでの画像処理装置での処理の一例を示すフローチャートである。7 is a flowchart illustrating an example of processing performed by the image processing device from when a customer arrives at the store to when the customer leaves the store according to the first embodiment. 実施形態１に係る店員が接触確認端末装置を操作して接触判定結果を判定するまでの処理の一例を示すフローチャートである。7 is a flowchart illustrating an example of a process in which a store clerk operates a contact confirmation terminal device and determines a contact determination result according to the first embodiment. 実施形態１に係る画像処理装置が人物検索を行う処理の一例を示すフローチャートである。7 is a flowchart illustrating an example of a process in which the image processing apparatus according to the first embodiment performs a person search. 実施形態１に係る画像処理装置の接触判定部が判定を行う説明のための概略図である。FIG. 2 is a schematic diagram illustrating how a contact determination unit of the image processing apparatus according to the first embodiment makes a determination. 実施形態２に係る画像処理装置の接触判定部が判定を行う説明のための概略図である。FIG. 7 is a schematic diagram for explaining how a contact determination unit of an image processing apparatus according to a second embodiment makes a determination. 実施形態３に係る店員が接触確認端末装置を操作して接触判定結果を判定するまでの処理の一例を示すフローチャート図である。FIG. 12 is a flowchart showing an example of a process in which a store clerk operates a contact confirmation terminal device and determines a contact determination result according to Embodiment 3. FIG.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。ただし、本発明の実施の形態は以下の実施の形態に限定されるものではない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。 Hereinafter, preferred embodiments of the present invention will be described in detail based on the accompanying drawings. However, the embodiments of the present invention are not limited to the following embodiments. Identical or equivalent components, members, and processes shown in each drawing are designated by the same reference numerals, and redundant explanations will be omitted as appropriate. Further, in each drawing, some members that are not important for the explanation are omitted.

＜実施形態１＞
図１は、実施形態１における店舗１００の一例を示す図である。店舗１００には、店舗１００への出入りするための店舗出入口１０１が備えられている。また店舗１００内部には、入店用カメラ１０３、退店用カメラ１０６、レジ部カメラ１０７、店舗用カメラ１０８、商品棚（物品棚）１１０、レジ端末装置１１２がそれぞれ配置されている。尚、以下の説明は店舗での利用を想定しているが、本実施形態は他の形態の空間（閉空間）でも適用できる。例えば、役所、学校や図書館等の公共施設の空間、電車やバス等の車両等の空間に対して複数のカメラを設置するケースが考えられる。 <Embodiment 1>
FIG. 1 is a diagram showing an example of a store 100 in the first embodiment. The store 100 is equipped with a store entrance 101 for entering and exiting the store 100. Further, inside the store 100, an entrance camera 103, an exit camera 106, a cash register camera 107, a store camera 108, a product shelf (item shelf) 110, and a cash register terminal device 112 are arranged. Although the following description assumes use in a store, the present embodiment can also be applied to other types of spaces (closed spaces). For example, a case can be considered in which multiple cameras are installed in spaces such as public facilities such as government offices, schools and libraries, and spaces such as vehicles such as trains and buses.

入店用カメラ１０３、退店用カメラ１０６、レジ部カメラ１０７、店舗用カメラ１０８は、それぞれ撮像部を有する撮像手段として構成される。入店用カメラ１０３は、店舗１００の店舗出入口１０１付近に配置され、店舗出入口１０１から入店する客を撮像（撮影）する。退店用カメラ１０６は、入店用カメラ１０３より店舗１００の店舗出入口１０１側に配置され、店舗１００から退店（退出）する客を撮像する。レジ部カメラ１０７は、レジ端末装置１１２の周囲の領域またはレジ端末装置１１２を操作している店員１０９や客１１１を撮像する。店舗用カメラ１０８は、店舗１００内を撮像する。 The store entry camera 103, the store exit camera 106, the cash register camera 107, and the store camera 108 are configured as imaging means each having an imaging section. The store entrance camera 103 is arranged near the store entrance 101 of the store 100 and images (photographs) a customer entering the store from the store entrance 101. The exiting camera 106 is disposed closer to the store entrance 101 of the store 100 than the entrance camera 103, and images a customer leaving (exiting) the store 100. The cash register camera 107 images the area around the cash register terminal device 112 or the clerk 109 or customer 111 operating the cash register terminal device 112. The store camera 108 images the inside of the store 100.

尚、店舗用カメラ１０８は、図１では４つが店舗１００内に配置されているが、４つに限らず、４つ未満または４つ以上配置するようにしてもよい。また、入店用カメラ１０３、退店用カメラ１０６、レジ部カメラ１０７は図１では、それぞれ１つ配置されているが、複数配置するようにしてもよい。 In addition, although four store cameras 108 are arranged in the store 100 in FIG. 1, the number is not limited to four, and less than four or four or more may be arranged. Further, in FIG. 1, one camera 103 for entering the store, one camera 106 for exiting the store, and one camera 107 each for the cash register section are arranged, but a plurality of cameras may be arranged.

さらに、店舗１００には、人物として、店員１０９、客１１１が存在している。店員１０９は、店舗１００に勤務している人物であって、後述する接触確認端末装置１１３を所持している。また、客１１１は、店舗１００に来店した人物であって、店舗１００内や商品（物品）を見るまたは商品を購入等しようとしている。客１１１は、店舗１００内に複数存在している。尚、店員１０９は図１では１名であるが店舗１００内に複数存在していてもよい。 Furthermore, in the store 100, there are a clerk 109 and a customer 111 as people. The clerk 109 is a person who works at the store 100, and has a contact confirmation terminal device 113, which will be described later. Further, the customer 111 is a person who has visited the store 100 and is looking to view the inside of the store 100 or products (goods), or to purchase products. A plurality of customers 111 exist within the store 100. Although there is one clerk 109 in FIG. 1, there may be a plurality of clerks 109 in the store 100.

接触確認端末装置１１３は、例えば、コロナウイルス等の感染症における陽性者若しくは陽性者と接触した人物（接触者）を登録することが可能な表示画面を備える情報端末である。尚、接触とは、物理的に接触または物理的に近くに存在したか、もしくは、店舗のある場所に訪れた履歴があり、その時間差が小さい状態を言う。接触確認端末装置１１３は、例えば、表示画面を有するタブレットやスマートフォン等の携帯可能な情報端末で構成され、ＧＵＩ（グラフィカル・ユーザ・インタフェース）などが画面上に表示される。ＧＵＩは、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの、頭字語であり、コンピュータグラフィクスとポインティングデバイスを用いて直感的な操作を提供するユーザーインターフェースである。また、接触確認端末装置１１３は、陽性者との接触状態を示す接触判定結果を画面上に表示することができる。 The contact confirmation terminal device 113 is an information terminal equipped with a display screen on which, for example, a positive person for an infectious disease such as coronavirus or a person (contact person) who has been in contact with a positive person can be registered. Note that contact refers to a state in which there is physical contact or physical proximity, or there is a history of visiting a location where the store is located, and the time difference between them is small. The contact confirmation terminal device 113 is composed of a portable information terminal such as a tablet or a smartphone having a display screen, and a GUI (graphical user interface) or the like is displayed on the screen. GUI is an acronym for Graphical User Interface, and is a user interface that provides intuitive operation using computer graphics and a pointing device. Further, the contact confirmation terminal device 113 can display the contact determination result indicating the contact status with the positive person on the screen.

図２は、実施形態１に係る画像処理システム１の各部における機能及び構成の一例を示すブロック図である。ここに示す各ブロックは、ハードウェアとして、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェアとしては、コンピュータプログラム等によって実現される。図２では、それらの連携によって実現される機能ブロックを示している。従って、図２に示す機能ブロックはハードウェア、ソフトウェアの組合せによって様々な形式で実現できる。 FIG. 2 is a block diagram showing an example of the functions and configuration of each part of the image processing system 1 according to the first embodiment. Each block shown here can be realized as hardware by an element or mechanical device such as a CPU of a computer, and as software can be realized by a computer program or the like. FIG. 2 shows functional blocks realized by their cooperation. Therefore, the functional blocks shown in FIG. 2 can be realized in various forms by combining hardware and software.

実施形態１では、画像処理装置２００は、撮像装置２０１、レジ端末装置１１２、接触確認端末装置１１３とインターネット等のネットワーク（不図示）を介して通信可能に接続されることで画像処理システム１を構成する。実施形態１における画像処理システム（情報処理システム）１は、店舗１００に不特定多数の人物の来場（来店）を想定した接触確認システムとしても機能する。尚、撮像装置２０１には、入店用カメラ１０３、退店用カメラ１０６、レジ部カメラ１０７、店舗用カメラ１０８が含まれうる。 In the first embodiment, the image processing device 200 is communicably connected to the imaging device 201, the cash register terminal device 112, and the contact confirmation terminal device 113 via a network (not shown) such as the Internet, so that the image processing system 1 can be operated. Configure. The image processing system (information processing system) 1 in the first embodiment also functions as a contact confirmation system assuming that an unspecified number of people visit the store 100. Note that the imaging device 201 may include a store entry camera 103, a store exit camera 106, a cash register camera 107, and a store camera 108.

画像処理装置２００を含む画像処理システム１は、店舗用カメラ１０８、レジ部カメラ１０７、入店用カメラ１０３、退店用カメラ１０６の映像（動画）データを解析して、客１１１及び店員１０９の店舗１００内における動線情報を作成する。加えて、画像処理装置２００を含む画像処理システム１は、店舗１００内における回遊状況を分析する。 The image processing system 1 including the image processing device 200 analyzes video (video) data from the store camera 108, the cash register camera 107, the store entrance camera 103, and the store exit camera 106, Flow line information within the store 100 is created. In addition, the image processing system 1 including the image processing device 200 analyzes the movement situation within the store 100.

画像処理装置２００は、動作部２０２、設定部２１２、記憶部２１３を含むように構成される。動作部２０２、は画像処理装置２００における各種動作及び処理を実施する。設定部２１２は、動作部２０２における各種動作の設定をする。記憶部２１３は、各種データを記憶する。 The image processing device 200 is configured to include an operation section 202, a setting section 212, and a storage section 213. The operation unit 202 performs various operations and processes in the image processing device 200. The setting section 212 sets various operations in the operation section 202. The storage unit 213 stores various data.

さらに、動作部２０２は、画像取得部２０３、人体検出部２０４、顔特徴抽出部２１０、追尾部２０８、座標算出部２０９、属性推定部２１１、棚前行動検出部２１４、決済情報取得部２１５、人物検索部２１６、接触判定部２１９を含むように構成される。 Further, the operation unit 202 includes an image acquisition unit 203, a human body detection unit 204, a facial feature extraction unit 210, a tracking unit 208, a coordinate calculation unit 209, an attribute estimation unit 211, a shelf behavior detection unit 214, a payment information acquisition unit 215, It is configured to include a person search section 216 and a contact determination section 219.

画像取得部２０３は、撮像装置２０１から画像を取得し、例えば複数のフレーム画像として記憶部２１３に記憶する。ここで、画像取得部２０３は、撮像装置２０１から取得する画像は、店舗１００内を撮像している入店用カメラ１０３、退店用カメラ１０６、レジ部カメラ１０７、店舗用カメラ１０８からそれぞれ画像を取得する。画像取得部２０３はこれらの各画像を取得する画像取得手段として機能する。 The image acquisition unit 203 acquires images from the imaging device 201 and stores them in the storage unit 213 as, for example, a plurality of frame images. Here, the image acquisition unit 203 acquires images from the imaging device 201 from the entrance camera 103, the exit camera 106, the cash register camera 107, and the store camera 108, which are capturing images of the inside of the store 100. get. The image acquisition unit 203 functions as an image acquisition unit that acquires each of these images.

人体検出部（人物検出部）２０４は、フレーム画像に含まれる人物を検出する。人体検出部２０４は、以下に示す処理において画像取得部２０３が取得したフレーム画像に含まれる人物を検出する人物検出手段として機能する。人体検出部２０４は、頭部検出部２０５、足元検出部２０６、姿勢検出部２０７を含むように構成される。頭部検出部２０５は、フレーム画像に含まれる人物の頭部（頭部領域）を検出する。足元検出部２０６は、フレーム画像に含まれる人物の足元（足元領域）を検出する。姿勢検出部２０７はフレーム画像に含まれる人物の四肢を含む姿勢を検出する。人体検出部２０４における検出は、例えば、予め用意されたモデルを用いたパターンマッチングによって人物の頭部領域、足元領域、姿勢を抽出する。また、例えば、人体検出用に学習したニューラルネットワークによって人物の頭部領域、足元領域、姿勢を抽出するようにしてもよい。 A human body detection unit (person detection unit) 204 detects a person included in a frame image. The human body detection unit 204 functions as a person detection unit that detects a person included in the frame image acquired by the image acquisition unit 203 in the processing described below. The human body detection section 204 is configured to include a head detection section 205 , a foot detection section 206 , and a posture detection section 207 . The head detection unit 205 detects the head (head region) of a person included in the frame image. The foot detection unit 206 detects the feet (foot area) of a person included in the frame image. The posture detection unit 207 detects the posture of the person included in the frame image, including the limbs. Detection in the human body detection unit 204 involves, for example, pattern matching using a model prepared in advance to extract the head area, foot area, and posture of the person. Further, for example, the head region, foot region, and posture of a person may be extracted using a neural network trained for human body detection.

顔特徴抽出部２１０は、人体検出部２０４で取得した人物の頭部領域に着目し、検出された人物の顔（顔領域）のフレーム画像から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。実施形態１では、フレーム画像から人物の目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を行う。しかし検出処理は、これに限らず任意の方法を用いてもよい。 The facial feature extraction unit 210 focuses on the head region of the person acquired by the human body detection unit 204, and extracts feature quantities from the frame image of the detected face (facial area) of the person based on a predetermined calculation. Perform amount extraction processing. In the first embodiment, processing is performed to detect edges of a person's eyes, mouth, etc. from a frame image to detect characteristic parts of the person's face. However, the detection process is not limited to this, and any method may be used.

追尾部２０８は、人体検出部２０４で取得したフレーム毎の検出結果をフレーム画像間で繋いで、フレーム画像における人物を追跡（追尾）する処理を行い、追尾情報を生成する。追尾部２０８は、検出された人物毎に追尾情報を生成する追尾手段追として機能する。追尾部２０８が行う、フレーム画像間の対応付け処理としては、例えば、ベイズ推定やパーティクルフィルタによる対応付けにより行う。また、複数のカメラ映像を考慮した方法としては、追尾する人物の顔や服装、歩き方等における特徴量の類似性によって顔を追尾する方法を用いてもよい。 The tracking unit 208 connects the detection results for each frame obtained by the human body detection unit 204 between frame images, performs processing to track (track) the person in the frame image, and generates tracking information. The tracking unit 208 functions as a tracking means that generates tracking information for each detected person. The tracking unit 208 performs matching processing between frame images, for example, by Bayesian estimation or matching using a particle filter. Furthermore, as a method that takes into account images from a plurality of cameras, a method may be used in which a face is tracked based on the similarity of features such as the face, clothing, walking style, etc. of the person to be tracked.

座標算出部２０９は、人体検出部２０４で検出した人物の店舗１００内での位置座標（位置情報）を算出する。座標算出部２０９が、当該位置座標を算出する際には、予め店舗１００の床面の座標と各撮像装置２０１上の画像位置との相関関係の情報を、撮像装置２０１等の設置時に取得しておく。これにより、足元検出部２０６から取得したフレーム画像上の位置座標から、人体検出部２０４で検出した人物の店舗１００内での位置座標を算出可能とすることができる。座標算出部２０９は、人体検出部２０４で検出した人物の店舗１００内での位置座標を算出する位置算出手段として機能する。 The coordinate calculation unit 209 calculates the position coordinates (position information) of the person detected by the human body detection unit 204 within the store 100. When the coordinate calculation unit 209 calculates the position coordinates, it obtains information on the correlation between the coordinates of the floor surface of the store 100 and the image position on each imaging device 201 in advance when the imaging devices 201 and the like are installed. I'll keep it. This makes it possible to calculate the position coordinates of the person detected by the human body detection unit 204 within the store 100 from the position coordinates on the frame image acquired from the foot detection unit 206. The coordinate calculation unit 209 functions as a position calculation unit that calculates the position coordinates of the person detected by the human body detection unit 204 within the store 100.

属性推定部２１１は、人体検出部２０４で検出された人物におけるフレーム画像から、当該人物の性別、年齢、装着物の有無を推定し、推定した各種情報を取得して出力する。尚、装着物としては、例えば、マスク、手袋、帽子、眼鏡、アクセサリー等である。属性推定部２１１は、当該フレーム画像から人物の性別、年齢、装着物の有無を推定し、推定結果を出力する属性推定手段として機能する。 The attribute estimating unit 211 estimates the gender, age, and presence or absence of an item worn by the person detected by the human body detection unit 204 from the frame image of the person, and acquires and outputs various estimated information. Note that the wearable items include, for example, masks, gloves, hats, glasses, and accessories. The attribute estimating unit 211 functions as an attribute estimating unit that estimates the gender, age, and presence or absence of a person's clothing from the frame image, and outputs the estimation results.

棚前行動検出部２１４は、座標算出部２０９から得られた店舗内位置情報と、姿勢検出部２０７から得られた姿勢情報から、店舗１００内に存在するいずれかの人物が商品棚に手を伸ばしたかを判断し、当該人物の商品棚または商品への接触の有無を検出する。棚前行動検出部２１４は、上記のように店舗内位置情報と検出された人物における姿勢の情報に基づき、店舗内の商品（物品）に接触したか否かを判定する行動判定手段として機能する。 The shelf behavior detection unit 214 determines whether any person present in the store 100 places their hand on the product shelf based on the in-store position information obtained from the coordinate calculation unit 209 and the posture information obtained from the posture detection unit 207. It determines whether the person has extended the product and detects whether or not the person has touched the product shelf or product. The shelf behavior detection unit 214 functions as a behavior determination unit that determines whether or not a person has touched a product (article) in the store based on the in-store position information and the detected posture information of the person as described above. .

決済情報取得部２１５は、座標算出部２０９から得られた店舗内位置情報が、レジ端末装置１１２付近に滞在した時、レジ端末装置１１２から決済ＩＤを取得する。決済情報保持手段として機能する。 The payment information acquisition unit 215 acquires a payment ID from the cash register terminal device 112 when the in-store position information obtained from the coordinate calculation unit 209 stays near the cash register terminal device 112. Functions as a means of holding payment information.

人物検索部２１６は、接触確認端末装置１１３から指定された条件に基づき、記憶部２１３に保管されている、後述の図４で示される人物管理情報（人物特定情報）４００を検索し、条件を満たした人物を抽出し、当該人物の特定をする。人物検索部２１６は、上記の条件を満たした人物が退店した後であっても、当該人物を特定可能とする特定手段（特定部）として機能する。また、人物検索部２１６は顔照合部２１７を含むように構成される。 The person search unit 216 searches person management information (person identification information) 400 stored in the storage unit 213 and shown in FIG. Extract the person who meets the criteria and identify the person. The person search unit 216 functions as a specifying unit (specifying unit) that makes it possible to specify a person who satisfies the above conditions even after the person has left the store. Further, the person search section 216 is configured to include a face matching section 217.

顔照合部２１７は、顔特徴抽出部２１０で抽出した顔の特徴量と、後述する図４で示される人物管理情報４００に含まれる特徴量４０２との比較を行い、照合結果が認証の閾値を超えているかどうかの判定を行う。顔照合部２１７による判定の結果、認証の閾値以上（閾値の範囲を超える）である場合、検出された顔は認証対象者に類似していると判断し、候補者として抽出する。一方、認証の閾値未満である場合、検出された顔は認証対象者に類似していないと判断し、候補者として抽出しない。 The face matching section 217 compares the facial feature amount extracted by the facial feature extraction section 210 with the feature amount 402 included in the person management information 400 shown in FIG. Determine whether the limit has been exceeded. If the result of the determination by the face matching unit 217 is greater than or equal to the authentication threshold (exceeds the range of the threshold), the detected face is determined to be similar to the person to be authenticated, and is extracted as a candidate. On the other hand, if it is less than the authentication threshold, it is determined that the detected face is not similar to the person to be authenticated and is not extracted as a candidate.

接触判定部２１９は、後述する図４で示す接触確認端末装置１１３から指定された陽性者の人物識別子４２１と比較者の人物識別子４２１それぞれの動線情報４２０を比較し評価する。本実施例における接触とは、上記したように物理的に接触または物理的に近くに存在したか、もしくは、店舗のある場所に訪れた履歴があり、その時間差が小さい状態である。接触判定には所定の閾値を用いるものとし、所定の閾値としては、距離閾値２５０、時間閾値２５１がある。距離閾値２５０及び時間閾値２５１はそれぞれ予め指定しておく必要がある。設定されたそれぞれの閾値は、設定部２１２で保持する。距離閾値２５０及び時間閾値２５１は任意に設定することが可能であり、感染症の特徴によって適正に設定されることが好ましい。そして、接触判定部２１９は、距離閾値２５０、時間閾値２５１を用いて接触判定をする。例えば、接触判定部２１９は、比較の結果、距離または時間差の少なくともいずれかが所定の閾値（距離閾値２５０、時間閾値２５１）の範囲を超えていた場合、接触があったと判定する。接触判定部２１９は、比較した人物同士の接触状態を判定する接触判定手段としても機能する。 The contact determination unit 219 compares and evaluates the flow line information 420 of the person identifier 421 of the positive person designated by the contact confirmation terminal device 113 shown in FIG. 4, which will be described later, and the person identifier 421 of the comparison person. In this embodiment, contact refers to physical contact or being physically close to each other, as described above, or a history of visiting a store, and the time difference between the two is small. A predetermined threshold value is used for contact determination, and the predetermined threshold values include a distance threshold value 250 and a time threshold value 251. The distance threshold 250 and the time threshold 251 each need to be specified in advance. Each set threshold value is held in the setting unit 212. The distance threshold 250 and the time threshold 251 can be set arbitrarily, and are preferably set appropriately depending on the characteristics of the infectious disease. Then, the contact determination unit 219 uses the distance threshold 250 and the time threshold 251 to determine contact. For example, if the comparison result shows that at least either the distance or the time difference exceeds a predetermined threshold (distance threshold 250, time threshold 251), the contact determination unit 219 determines that there has been contact. The contact determination unit 219 also functions as a contact determination unit that determines the state of contact between the compared persons.

図３は、実施形態１に係る画像処理装置２００のハードウェア構成の一例を示す図である。画像処理装置２００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ハードディスクドライブ（ＨＤＤ）３０４、入力装置３０５、表示デバイス３０６、ディスクドライブ３０７、ネットワークインタフェース３０８を有する。ネットワークインタフェース３０８は、ネットワーク３０９に接続されている。 FIG. 3 is a diagram illustrating an example of the hardware configuration of the image processing apparatus 200 according to the first embodiment. The image processing apparatus 200 includes a CPU 301, a ROM 302, a RAM 303, a hard disk drive (HDD) 304, an input device 305, a display device 306, a disk drive 307, and a network interface 308. Network interface 308 is connected to network 309 .

ＣＰＵ３０１は、画像処理装置２００を統括制御する制御装置である。ＲＯＭ３０２は、ＣＰＵ３０１が画像処理装置２００を制御するためのプログラムを記憶する。尚、ＲＯＭ３０２に代えて、２次記憶装置を設けてもよい。ＲＡＭ３０３は、ＣＰＵ３０１がＲＯＭ３０２から読み出したプログラムを展開し、処理を実行するためのメモリである。また、ＲＡＭ３０３は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。ＨＤＤ３０４は、画像データや処理の対象となるデータを格納する。ＣＰＵ３０１は、ＨＤＤ３０４から画像データや処理の対象となるデータを読み出す。入力装置３０５は、数値等のデータ入力用のキーボード、表示デバイス３０６の表示領域の表示位置を指示するためのポインティングデバイス、マウス、及びタッチパネル等を有する。 The CPU 301 is a control device that centrally controls the image processing device 200. ROM 302 stores a program for CPU 301 to control image processing apparatus 200 . Note that a secondary storage device may be provided in place of the ROM 302. The RAM 303 is a memory for the CPU 301 to expand the program read from the ROM 302 and execute processing. Further, the RAM 303 is also used as a temporary memory and a storage area for temporarily storing data to be subjected to various processes. The HDD 304 stores image data and data to be processed. The CPU 301 reads image data and data to be processed from the HDD 304 . The input device 305 includes a keyboard for inputting data such as numerical values, a pointing device for instructing the display position of the display area of the display device 306, a mouse, a touch panel, and the like.

表示デバイス３０６は、画像や領域枠を表示するディスプレイ等のデバイスである。具体的には、ＣＰＵ３０１による処理の結果やユーザが画像処理装置２００を操作するためのＧＵＩ（グラフィカル・ユーザ・インタフェース）などが表示デバイス３０６の画面上に表示される。ＧＵＩは、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの、頭字語であり、コンピュータグラフィクスとポインティングデバイスを用いて直感的な操作を提供するユーザーインターフェースである。 The display device 306 is a device such as a display that displays images and area frames. Specifically, the results of processing by the CPU 301 and a GUI (graphical user interface) for the user to operate the image processing apparatus 200 are displayed on the screen of the display device 306. GUI is an acronym for Graphical User Interface, and is a user interface that provides intuitive operation using computer graphics and a pointing device.

ディスクドライブ３０７は、ＣＤ、ＤＶＤ、ブルーレイディスク、またはフレキシブルディスク内の画像データを読み出し、ＣＰＵ３０１は、ディスクドライブ３０７を介して画像データを取得する。尚、ＣＰＵ３０１が画像データをＨＤＤ３０４またはネットワークインタフェース３０８から入力する場合には、ディスクドライブ３０７はなくてもよい。ネットワークインタフェース３０８は、ネットワーク３０９を介して通信を行う回路である。ＣＰＵ３０１は、ネットワーク３０９を介して画像データを取得する。ＣＰＵ３０１は、ネットワーク３０９を介して外部のレジ端末装置１１２に決済識別子４０８の取得命令を送信し決済識別子４０８を受信する。 The disk drive 307 reads image data from a CD, DVD, Blu-ray disc, or flexible disk, and the CPU 301 acquires the image data via the disk drive 307. Note that if the CPU 301 inputs image data from the HDD 304 or the network interface 308, the disk drive 307 may not be provided. A network interface 308 is a circuit that performs communication via a network 309. The CPU 301 acquires image data via the network 309. The CPU 301 transmits a command to obtain the payment identifier 408 to the external cash register terminal device 112 via the network 309 and receives the payment identifier 408 .

以上のように、画像処理装置２００のハードウェア構成は、一般的なＰＣ（パーソナルコンピュータ）に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。そのため、画像処理装置２００で実現される各種機能を、ＰＣ上で動作するソフトウェアとして実装することが可能である。画像処理装置２００は、ＣＰＵ３０１がプログラムを実行することにより、図２に示す画像処理装置２００各部の処理や動作を実現することができる。尚、接触確認端末装置１１３のハードウェア構成は、上記の画像処理装置２００の構成と同様のため説明を省略するが、少なくともＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、入力装置、表示デバイス（表示部）、ネットワークインタフェースを有するように構成される。そして、接触確認端末装置１１３のハードウェア構成についても一般的なＰＣ（パーソナルコンピュータ）に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。 As described above, the hardware configuration of the image processing apparatus 200 includes hardware components similar to those installed in a general PC (personal computer). Therefore, various functions realized by the image processing device 200 can be implemented as software running on a PC. The image processing apparatus 200 can realize the processing and operation of each part of the image processing apparatus 200 shown in FIG. 2 by the CPU 301 executing a program. Note that the hardware configuration of the contact confirmation terminal device 113 is the same as the configuration of the image processing device 200 described above, so a description thereof will be omitted, but it includes at least a CPU, ROM, RAM, HDD, input device, display device (display unit), It is configured to have a network interface. The hardware configuration of the contact confirmation terminal device 113 also includes hardware components similar to those installed in a general PC (personal computer).

図４は、実施形態１に係る画像処理装置２００で管理する人物とその回遊状況を表すデータ構造の一例である。図４（Ａ）は、店舗１００内で検出された人物管理情報４００のデータ構造の一例を示す図である。 FIG. 4 is an example of a data structure representing a person managed by the image processing apparatus 200 according to the first embodiment and their movement status. FIG. 4A is a diagram showing an example of the data structure of person management information 400 detected within the store 100.

人物識別子４０１は、人物を識別するための識別子である。人物識別子４０１は、店舗出入口１０１付近に配置されている入店用カメラ１０３により撮像された映像データから、人体検出部２０４が人物を検出した際に検出された人物毎に発行される。特徴量４０２は、顔特徴抽出部２１０で取得した顔の特徴量である。性別４０３、年齢４０４は、属性推定部２１１で取得した推定性別と推定年齢である。画像４０５は、映像データから取得した人物が含まれる画像である。尚、特徴量４０２、性別４０３、年齢４０４、画像４０５は、店舗出入口１０１で入店用カメラ１０３が撮像したタイミングで取得したものである。 The person identifier 401 is an identifier for identifying a person. The person identifier 401 is issued for each person detected when the human body detection unit 204 detects the person from video data captured by the store entrance camera 103 located near the store entrance/exit 101. The feature amount 402 is a facial feature amount obtained by the facial feature extraction unit 210. Gender 403 and age 404 are the estimated gender and age obtained by the attribute estimation unit 211. Image 405 is an image containing a person acquired from video data. Note that the feature amount 402, gender 403, age 404, and image 405 are acquired at the timing when the image is captured by the store entry camera 103 at the store entrance/exit 101.

入店時刻４０６は、入店用カメラ１０３で人物を確認した時刻である。出店時刻４０７は、退店用カメラ１０６で人物を確認した時刻である。決済識別子４０８は、客１１１等が店舗１００内で商品を購入した際にレジ端末装置１１２で発行される、決済を行った際に発行される識別子である。例えば、識別子として客１１１に提供されるレシート（購入記録）に記述される固有の番号でもよい。レジ端末装置１１２は、決済識別子４０８を発行する発行手段として機能する。 The store entry time 406 is the time when the person was confirmed by the store entrance camera 103. The store exit time 407 is the time when the person was confirmed by the store exit camera 106. The payment identifier 408 is an identifier that is issued by the cashier terminal device 112 when the customer 111 or the like purchases a product in the store 100 and makes a payment. For example, the identifier may be a unique number written on the receipt (purchase record) provided to the customer 111. The cash register terminal device 112 functions as an issuing means for issuing a payment identifier 408.

図４（Ｂ）は、店舗内で検出された人物の動線情報４２０のデータ構造を示す図である。人物識別子４２１は、人物を識別するための識別子である。時刻４２２、店舗座標４２３は座標算出部２０９で取得した店舗座標と、取得した時刻である。商品接触４２４は、棚前行動検出部２１４で取得した接触行動を行った（真）か否（偽）かを示すフラグである。マスク状態４２５はマスクをしていた（真）か否（偽）かを示すフラグである。手袋状態４２６は手袋をしていた（真）か否（偽）かを示すフラグである。 FIG. 4(B) is a diagram showing the data structure of flow line information 420 of a person detected in the store. The person identifier 421 is an identifier for identifying a person. Time 422 and store coordinates 423 are the store coordinates acquired by the coordinate calculation unit 209 and the acquired time. The product contact 424 is a flag indicating whether the contact action acquired by the shelf front action detection unit 214 was performed (true) or not (false). The mask status 425 is a flag indicating whether a mask is being applied (true) or not (false). The glove status 426 is a flag indicating whether the person was wearing gloves (true) or not (false).

図４（Ｃ）は、接触確認端末装置１１３によって登録された人物の登録情報４４０のデータ構造を示す図である。登録識別子４４１は、登録内容を識別するための識別子である。人物識別子４４２、人物を識別するための識別子で、図４（Ｂ）の人物識別子４２１と対応する。種別４４３は、人物の登録種別である。尚、図４（Ｃ）に示す種別としては陽性者であるか比較者であるかのみであるが、これに限らず他の種別を追加してもよい。 FIG. 4C is a diagram showing the data structure of the registration information 440 of a person registered by the contact confirmation terminal device 113. The registration identifier 441 is an identifier for identifying registered contents. A person identifier 442 is an identifier for identifying a person, and corresponds to the person identifier 421 in FIG. 4(B). The type 443 is the registration type of person. Note that the types shown in FIG. 4(C) are only whether the person is a positive person or a comparison person; however, the type is not limited to this, and other types may be added.

図９は、陽性者と比較者の動線情報を比較した概略図の一例を示す図である。縦軸は時刻、横軸は店舗内の位置（店舗座標）を示している。通常、店舗座標４２３は２次元であるが、説明の都合上一次元に簡略化して示すものとする。店舗内部で人物が確認されると動線情報４２０として時刻４２２と店舗座標４２３が取得される。陽性者と、比較者の動線情報を図にプロットすると図９に示されるような連続的な曲線となる。陽性者と比較者の接触判定結果は先述の通り、距離閾値２５０と時間閾値２５１によって決定され、以下の２種類の確認を行う。 FIG. 9 is a diagram showing an example of a schematic diagram comparing flow line information of a positive person and a comparison person. The vertical axis indicates time, and the horizontal axis indicates position within the store (store coordinates). Normally, the store coordinates 423 are two-dimensional, but for convenience of explanation, they will be simplified and shown as one-dimensional. When a person is confirmed inside the store, time 422 and store coordinates 423 are acquired as flow line information 420. When the flow line information of positive people and comparison people is plotted on a diagram, a continuous curve as shown in FIG. 9 is obtained. As described above, the contact determination result between the positive person and the comparison person is determined by the distance threshold 250 and the time threshold 251, and the following two types of confirmation are performed.

１つ目は、陽性者の動線に対して比較者の動線が距離閾値よりも近接した状態がないかを評価する。図９の破点線は、陽性者の動線に対して距離閾値分シフトさせた位置に記載している。 First, it is evaluated whether there is a state in which the flow line of the comparison person is closer than the distance threshold value to the flow line of the positive person. The broken dotted line in FIG. 9 is drawn at a position shifted by the distance threshold value with respect to the flow line of the positive person.

２つ目は、陽性者の動線に対して、比較者の動線が時間閾値よりも近接した状態がないかを評価する。図９の点線は、陽性者の動線に対して、時間閾値分だけ遅らせた位置に記載している。図９の例では、陽性者の線と時間閾値分シフトした線の間に比較者の動線が重なっているため、陽性者は比較者と図中Ａの店舗位置で接触したことが確認できる。この場合、接触判定部２１９は接触ありと判定する。 Second, it is evaluated whether there is a state in which the flow line of the comparison person is closer than a time threshold to the flow line of the positive person. The dotted line in FIG. 9 is drawn at a position delayed by the time threshold with respect to the flow line of the positive person. In the example in Figure 9, the comparison person's flow line overlaps between the positive person's line and the line shifted by the time threshold, so it can be confirmed that the positive person came into contact with the comparison person at store location A in the figure. . In this case, the contact determination unit 219 determines that there is contact.

図５は、接触確認端末装置１１３の表示機能で人物情報の登録を行う場面及び陽性者、比較者の検索を行うときの表示の一例を示した図である。表示部５０１は、接触確認端末装置１１３の表示画面（入力表示部）として機能し、ユーザが表示部５０１の表示画面上に表示されるＧＵＩ等をタッチ操作や入力操作を行うことで、人物情報を登録することができる。図５に示す例では、調査員から提示された陽性者情報を入力する様子を示している。実施形態１に係る接触確認端末装置１１３の表示部５０１には、種別５０２、来店日時５０３、決算識別子５０４、性別５０５、年齢５０６、人物画像５０７を入力することができる。 FIG. 5 is a diagram showing an example of a scene in which personal information is registered using the display function of the contact confirmation terminal device 113, and an example of a display when searching for a positive person and a comparison person. The display unit 501 functions as a display screen (input display unit) of the contact confirmation terminal device 113, and when the user performs a touch operation or an input operation on the GUI displayed on the display screen of the display unit 501, personal information is displayed. can be registered. The example shown in FIG. 5 shows how positive person information presented by an investigator is input. The type 502, date and time of visit 503, settlement identifier 504, gender 505, age 506, and person image 507 can be input into the display unit 501 of the contact confirmation terminal device 113 according to the first embodiment.

種別５０２は、陽性者登録か、比較者登録であるかを指定することが可能である。来店日時５０３は、来店したと思われる時刻の設定を行う。決算識別子５０４は、決済時に発行された識別子であり、図４に示す決済識別子４０８と同様の識別子である。性別５０５、年齢５０６は、対象人物の性別、年齢であり、これらは属性推定部２１１の結果と比較される。人物画像５０７は、対象人物の画像データファイルを指定し登録することができる。実施形態１における画像処理装置２００の人物検索部２１６と顔照合部２１７は、当該画像データを用いて人物検出及び人物の特徴量抽出を行う。 The type 502 can specify whether it is a positive person registration or a comparison person registration. Visit date and time 503 is used to set the time at which the customer is believed to have visited the store. The settlement identifier 504 is an identifier issued at the time of settlement, and is similar to the settlement identifier 408 shown in FIG. 4. Gender 505 and age 506 are the gender and age of the target person, and these are compared with the results of the attribute estimation unit 211. The person image 507 can be registered by specifying an image data file of the target person. The person search unit 216 and face matching unit 217 of the image processing device 200 in the first embodiment perform person detection and person feature amount extraction using the image data.

図６は、客１１１が店舗１００に入店してから退店するまでの処理の一例を示すフローチャートである。 FIG. 6 is a flowchart illustrating an example of processing from when the customer 111 enters the store 100 until he leaves the store.

まず、ステップＳ６０１にて、画像処理装置２００は、撮像装置２０１から客１１１が撮像された画像データを取得する。具体的には、画像取得部２０３が入店用カメラ１０３から客１１１が撮像された画像データ（客識別用画像）を取得し、複数のフレーム画像として記憶部２１３に記憶する。 First, in step S601, the image processing device 200 acquires image data of the customer 111 from the imaging device 201. Specifically, the image acquisition unit 203 acquires image data of the customer 111 (customer identification image) from the entrance camera 103, and stores it in the storage unit 213 as a plurality of frame images.

次に、ステップＳ６０２にて、画像処理装置２００は、ステップＳ６０１で取得した画像データを解析する。具体的には、人体検出部２０４が当該画像データ（客識別用画像）を解析することで、当該画像データから客１１１を検出する。そして、特徴量４０２、性別４０３、年齢４０４、画像４０５、入店時刻４０６と客１１１を識別するための人物識別子４０１を発行し、それぞれの情報を人物管理情報４００として保存する。 Next, in step S602, the image processing device 200 analyzes the image data acquired in step S601. Specifically, the human body detection unit 204 analyzes the image data (image for customer identification) to detect the customer 111 from the image data. Then, a feature amount 402, gender 403, age 404, image 405, store entry time 406, and a person identifier 401 for identifying the customer 111 are issued, and each piece of information is saved as person management information 400.

次に、ステップＳ６０３にて、画像処理装置２００は、撮像装置２０１から店舗１００内が撮像された画像データを取得する。具体的には、画像取得部２０３が店舗用カメラ１０８から店舗１００内が撮像された画像データを取得する。 Next, in step S603, the image processing device 200 acquires image data of the interior of the store 100 from the imaging device 201. Specifically, the image acquisition unit 203 acquires image data of the interior of the store 100 from the store camera 108.

次に、ステップＳ６０４にて、画像処理装置２００は、ステップＳ６０３で取得した画像データを解析して、解析結果を保存する。具体的には、座標算出部２０９が店舗座標４２３の情報を取得し、棚前行動検出部２１４が商品接触４２４の情報を取得し、属性推定部２１１がマスク状態４２５、手袋状態４２６の情報を取得し、それぞれ記憶部２１３に保存する。 Next, in step S604, the image processing device 200 analyzes the image data acquired in step S603 and saves the analysis result. Specifically, the coordinate calculation unit 209 acquires information on store coordinates 423, the shelf behavior detection unit 214 acquires information on product contact 424, and the attribute estimation unit 211 acquires information on mask status 425 and glove status 426. They are acquired and stored in the storage unit 213, respectively.

次に、ステップＳ６０５にて、画像処理装置２００は、ステップＳ６０４で取得した店舗座標４２３から客１１１がレジ端末装置１１２付近にいるか否かを判定する。客１１１がレジ端末装置１１２付近にいる場合はステップＳ６０６に進む。一方、客１１１がレジ端末装置１１２付近にいない場合は、ステップＳ６０９に進む。 Next, in step S605, the image processing device 200 determines whether the customer 111 is near the cashier terminal device 112 from the store coordinates 423 acquired in step S604. If the customer 111 is near the cashier terminal device 112, the process advances to step S606. On the other hand, if the customer 111 is not near the cash register terminal device 112, the process advances to step S609.

次に、ステップＳ６０６にて、画像処理装置２００は、ステップＳ６０４で客１１１が決済を行っているレジ端末装置１１２に決済識別子４０８を要求する。このときレジ端末装置１１２は決済が行われた場合、決済識別子４０８を発行し、画像処理装置２００に決済識別子４０８を送信する。一方、決済が完了しない場合、レジ端末装置１１２は、決済識別子４０８を発行しない。 Next, in step S606, the image processing device 200 requests the payment identifier 408 from the cash register terminal device 112 where the customer 111 made the payment in step S604. At this time, if the payment has been made, the cash register terminal device 112 issues a payment identifier 408 and transmits the payment identifier 408 to the image processing device 200. On the other hand, if the payment is not completed, the cashier terminal device 112 does not issue the payment identifier 408.

次に、ステップＳ６０７にて、画像処理装置２００は、レジ端末装置１１２からの決済識別子を受信したか否かを判定する。判定の結果、レジ端末装置１１２からの決済識別子４０８を受信した場合はステップＳ６０８に進む。一方、レジ端末装置１１２からの決済識別子を受信しない場合はＳ６０３に戻り、同様の処理を繰り返す。次に、ステップＳ６０８にて、画像処理装置２００は、レジ端末装置１１２から受信した決済識別子４０８を取得し、客１１１と関連付けて人物管理データとして記憶部２１３に保存する。 Next, in step S607, the image processing device 200 determines whether the payment identifier has been received from the cash register terminal device 112. As a result of the determination, if the payment identifier 408 is received from the cash register terminal device 112, the process advances to step S608. On the other hand, if the payment identifier is not received from the cash register terminal device 112, the process returns to S603 and the same process is repeated. Next, in step S608, the image processing device 200 acquires the payment identifier 408 received from the cash register terminal device 112, associates it with the customer 111, and stores it in the storage unit 213 as person management data.

次に、ステップＳ６０９にて、画像処理装置２００は、ステップＳ６０４で取得した店舗座標４２３から客１１１が店舗出入口１０１から店舗１００を退店しているか否かを判定する。判定の結果、客１１１が店舗１００から退店している場合は処理を終了する。一方、客１１１が店舗１００から退店していない場合、即ち、現在も店舗１００内のいずれかの位置に存在しているのであれば、ステップＳ６０３に戻り、Ｓ６０３から同様の処理を繰り返す。 Next, in step S609, the image processing device 200 determines whether the customer 111 has left the store 100 through the store entrance/exit 101 from the store coordinates 423 acquired in step S604. As a result of the determination, if the customer 111 has left the store 100, the process ends. On the other hand, if the customer 111 has not left the store 100, that is, if the customer 111 is still present somewhere in the store 100, the process returns to step S603 and the same process is repeated from S603.

以上のように、ステップＳ６０１～Ｓ６０９の処理を行うことで、店舗１００内から客１１１が退店（退出）しても客１１１を特定することができる。尚、以上に示した図６における処理は客１１１を対象したものではあるが、店員１０９を対象としてもよい。即ち、客及び店員を問わず、店舗１００に入店して店舗１００を退店した人物は処理対象とすることができる。 As described above, by performing the processes of steps S601 to S609, it is possible to identify the customer 111 even if the customer 111 leaves (exits) the store 100. Incidentally, although the processing in FIG. 6 shown above is intended for the customer 111, it may also be performed for the store clerk 109. In other words, any person who enters the store 100 and leaves the store 100, regardless of whether he or she is a customer or an employee, can be processed.

通常、店舗等における来店者に感染症の陽性者が発生した場合は所定の機関より、その店舗に陽性者が発生したことの通知を受け、疫学的調査を受けることとなる。陽性者情報として例えば、陽性者の来店日時、特徴、顔写真、買い物時のレシートなどの情報などが提供されうる。また、都道府県や市町村などの地方自治体のホームページなどに陽性者が来店した店舗として広く知らしめることとなると、問い合わせが多く発生する可能性がある。このように、問い合わせのあった客１１１若しくは店員１０９と陽性者との接触した状況についても調査を行うこととなる。 Normally, when a positive case of an infectious disease occurs among a visitor to a store, etc., the store receives a notification from a designated organization that a positive case has occurred at that store, and undergoes an epidemiological investigation. As the positive person information, for example, information such as the date and time of the positive person's visit to the store, characteristics, face photo, shopping receipts, etc. can be provided. Additionally, if stores that have been visited by positive people are widely announced on the websites of local governments such as prefectures and municipalities, there is a possibility that many inquiries will be generated. In this way, the situation in which the customer 111 or clerk 109 who made the inquiry came into contact with the positive person will also be investigated.

図７は、店員１０９が感染症等を調査している調査員等から提示された陽性者の情報を登録し、感染が疑われる人物である比較者（疑接触者）との接触判定結果を取得する処理の一例を示すフローチャート図である。 In FIG. 7, a store clerk 109 registers the information of a positive person presented by an investigator investigating infectious diseases, etc., and determines the result of contact with a comparator (suspected contact) who is a person suspected of being infected. It is a flowchart figure which shows an example of the process of acquiring.

まず、ステップＳ７０１にて、接触確認端末装置１１３に陽性者の情報を入力する。具体的には、入力者として店員１０９が接触確認端末装置１１３を操作し、接触確認端末装置１１３の表示部５０１に表示されている設定画面から陽性者情報を入力する。陽性者情報は、例えば図５に例示している情報であって、種別５０２、来店日時５０３、決算識別子５０４、性別５０５、年齢５０６、人物画像５０７である。各種の入力が完了したら、表示部５０１の設定画面に表示されている検索ボタンをタッチする（押す）。 First, in step S701, information on a positive person is input into the contact confirmation terminal device 113. Specifically, the clerk 109 as an inputter operates the contact confirmation terminal device 113 and inputs positive person information from the setting screen displayed on the display unit 501 of the contact confirmation terminal device 113. The positive person information is the information illustrated in FIG. 5, for example, and includes a type 502, date and time of visit 503, settlement identifier 504, gender 505, age 506, and person image 507. After completing various inputs, touch (press) the search button displayed on the setting screen of display unit 501.

次に、ステップＳ７０２にて、画像処理装置２００は、陽性者が何れの人物であるか人物検索を行う。具体的には、ステップＳ７０１で接触確認端末装置１１３に入力された陽性者情報を画像処理装置２００に送信する。陽性者情報が画像処理装置２００に送信された後、人物検索部２１６は、人物管理情報４００から陽性者の候補（陽性候補者）を検索する。 Next, in step S702, the image processing apparatus 200 performs a person search to determine which person is the positive person. Specifically, the positive person information input to the contact confirmation terminal device 113 in step S701 is transmitted to the image processing device 200. After the positive person information is transmitted to the image processing device 200, the person search unit 216 searches the person management information 400 for positive person candidates (positive candidates).

次に、ステップＳ７０３にて、画像処理装置２００は、人物管理情報４００を検索した結果、陽性候補者がいるか否かを判定する。判定の結果、陽性候補者がいた場合は、ステップＳ７０４に進む。一方、陽性候補者がいなかった場合は、ステップＳ７０１に戻り、同様の処理を繰り返す。 Next, in step S703, the image processing device 200 determines whether there is a positive candidate as a result of searching the person management information 400. As a result of the determination, if there is a positive candidate, the process advances to step S704. On the other hand, if there are no positive candidates, the process returns to step S701 and the same process is repeated.

次に、ステップＳ７０４にて、ステップＳ７０２の人物検索における結果から、陽性者を選択する。具体的には、店員１０９が接触確認端末装置１１３を操作し、例えば、接触確認端末装置１１３の表示部５０１の画面上に表示された候補者（不図示）から、陽性者を選択する。その後、選択した人物の人物識別子を画像処理装置２００に送信する。次に、ステップＳ７０５にて、画像処理装置２００は、ステップＳ７０４で送信された候補者に紐づく人物識別子を陽性者として記憶部２１３に保存する。 Next, in step S704, a positive person is selected from the results of the person search in step S702. Specifically, the clerk 109 operates the contact confirmation terminal device 113 and selects a positive person from candidates (not shown) displayed on the screen of the display unit 501 of the contact confirmation terminal device 113, for example. Thereafter, the person identifier of the selected person is transmitted to the image processing device 200. Next, in step S705, the image processing apparatus 200 stores the person identifier associated with the candidate transmitted in step S704 in the storage unit 213 as a positive person.

次に、ステップＳ７０６にて、接触確認端末装置１１３に陽性者との接触状態の判定をする比較者（疑接触者）の情報を入力する。具体的には、店員１０９が、接触確認端末装置１１３に比較者情報を入力する。比較者情報（疑接触者情報）も陽性者情報と同様に、例えば図５に例示している情報であって、種別５０２、来店日時５０３、決算識別子５０４、性別５０５、年齢５０６、人物画像５０７である。各種の入力が完了したら、表示部５０１に表示されている設定画面上の検索ボタンをタッチする（押す）。 Next, in step S706, information on a comparator (suspected contact) whose contact status with the positive person is to be determined is input into the contact confirmation terminal device 113. Specifically, the store clerk 109 inputs the comparator information into the contact confirmation terminal device 113. Similar to the positive person information, the comparator information (suspected contact information) is also the information illustrated in FIG. It is. When various inputs are completed, touch (press) a search button on the setting screen displayed on display unit 501.

次に、ステップＳ７０７にて、画像処理装置２００は、比較者が何れの人物であるか人物検索を行う。具体的には、ステップＳ７０６で接触確認端末装置１１３に入力された比較者情報を画像処理装置２００に送付する。比較者情報が画像処理装置２００に送付された後、人物検索部２１６は、人物管理情報４００から比較者の候補（比較候補者）を検索する。 Next, in step S707, the image processing device 200 performs a person search to determine which person the comparison person is. Specifically, the comparator information input into the contact confirmation terminal device 113 in step S706 is sent to the image processing device 200. After the comparison person information is sent to the image processing device 200, the person search unit 216 searches the person management information 400 for comparison person candidates (comparison candidates).

図８は、図７に示すステップＳ７０７の詳細な処理を示したフローチャートの一例である。以下、図８を参照して、ステップＳ７０７における人物（比較候補者）検出の詳細な処理を説明する。 FIG. 8 is an example of a flowchart showing detailed processing of step S707 shown in FIG. The detailed process of detecting a person (comparison candidate) in step S707 will be described below with reference to FIG.

ステップＳ７０６で店員１０９が、接触確認端末装置１１３に比較者情報または陽性者情報を入力して検索ボタンを押すと、比較者情報または陽性者情報が画像処理装置２００に送信される。その後、画像処理装置２００では受信した陽性者または比較者の情報に基づき、比較候補者を抽出する処理が開始される。 When the clerk 109 inputs the comparison person information or the positive person information into the contact confirmation terminal device 113 and presses the search button in step S706, the comparison person information or the positive person information is transmitted to the image processing device 200. Thereafter, the image processing device 200 starts a process of extracting comparison candidates based on the received information of the positive person or the comparison person.

まず、ステップＳ８０１にて、画像処理装置２００は、接触確認端末装置１１３から受信した比較者情報に人物画像が含まれているか否かを判定する。判定の結果、人物画像が含まれている場合にはステップＳ８０２に進む。一方、人物画像が含まれていない場合にはステップＳ８０３に進む。 First, in step S801, the image processing device 200 determines whether the comparison person information received from the contact confirmation terminal device 113 includes a person image. As a result of the determination, if a person image is included, the process advances to step S802. On the other hand, if a person image is not included, the process advances to step S803.

次に、ステップＳ８０２にて、画像処理装置２００は、人体検出を行い検出した人物の特徴量を抽出する。具体的には、人体検出部２０４は、接触確認端末装置１１３から受信した人物画像を解析して画像中から人物を検出する。その後、顔特徴抽出部２１０は当該人物の特徴量４０２を算出する。 Next, in step S802, the image processing apparatus 200 performs human body detection and extracts the feature amount of the detected person. Specifically, the human body detection unit 204 analyzes a person image received from the contact confirmation terminal device 113 and detects a person from the image. Thereafter, the facial feature extraction unit 210 calculates the feature amount 402 of the person.

次に、ステップＳ８０３にて、人物検索部２１６は、接触確認端末装置１１３から受信した情報とステップＳ８０２で算出した特徴量から人物管理情報４００を検索し、条件に見合う比較者の候補を抽出する。以上の処理により、人物管理情報４００から陽性者と比較する比較候補者を検索することができる。 Next, in step S803, the person search unit 216 searches the person management information 400 from the information received from the contact confirmation terminal device 113 and the feature amount calculated in step S802, and extracts comparison person candidates that meet the conditions. . Through the above processing, it is possible to search the person management information 400 for a comparison candidate to be compared with a positive person.

図７に戻り、次に、ステップＳ７０８にて、画像処理装置２００は、人物管理情報４００に基づき、比較候補者がいるか否かを判定する。判定の結果、候補者がいた場合は、ステップＳ７０９に進む。一方、比較候補者がいなかった場合は、ステップＳ７０６に戻り、同様の処理を繰り返す。次に、ステップＳ７０９にて、人物検索結果から比較者を選択する。具体的には、店員１０９は、接触確認端末装置１１３の画面上に表示された比較者候補者（不図示）から、陽性者と比較して接触判定を行う人物として比較者を選び出して当該人物の人物識別子を画像処理装置２００に送信する。 Returning to FIG. 7, next, in step S708, the image processing device 200 determines whether there is a comparison candidate based on the person management information 400. As a result of the determination, if there is a candidate, the process advances to step S709. On the other hand, if there is no comparison candidate, the process returns to step S706 and the same process is repeated. Next, in step S709, a comparison person is selected from the person search results. Specifically, the store clerk 109 selects a comparison person from the comparison person candidates (not shown) displayed on the screen of the contact confirmation terminal device 113 as a person to be compared with the positive person to determine contact with the person. The person identifier is transmitted to the image processing device 200.

次に、ステップＳ７１０にて、画像処理装置２００は、ステップＳ７０３で送信された陽性候補者に紐づく人物識別子を比較者として記憶部２１３に保存する。次に、ステップＳ７１１にて、画像処理装置２００は、接触判定を行う。具体的には、ステップＳ７０５で、記憶部２１３に保存されている陽性者と比較者の人物識別子に紐づけられている動線情報４２０を接触判定部２１９に入力する。その後、接触判定部２１９は、それぞれの動線情報４２０に基づき、陽性者と比較者の接触状況を算出する。接触状況の算出に際し、陽性者と比較者の接触判定結果は上述の通り、距離閾値２５０と時間閾値２５１に基づき算出を行う。その後、接触判定結果を接触確認端末装置１１３に送信する。本処理を行うことで、陽性者と比較者の行動合致の度合いを判定することができる。 Next, in step S710, the image processing apparatus 200 stores the person identifier associated with the positive candidate transmitted in step S703 in the storage unit 213 as a comparison person. Next, in step S711, the image processing device 200 performs contact determination. Specifically, in step S705, flow line information 420 associated with the person identifiers of the positive person and the comparison person stored in the storage unit 213 is input to the contact determination unit 219. Thereafter, the contact determination unit 219 calculates the contact status of the positive person and the comparison person based on the respective flow line information 420. When calculating the contact status, the contact determination result between the positive person and the comparison person is calculated based on the distance threshold 250 and the time threshold 251 as described above. Thereafter, the contact determination result is transmitted to the contact confirmation terminal device 113. By performing this process, it is possible to determine the degree of behavior matching between the positive person and the comparison person.

次に、ステップＳ７１２にて、接触確認端末装置１１３は、接触確認端末装置１１３の表示部５０１の画面上にステップＳ７１１で送信された接触判定結果（不図示）を表示する。本処理の際、接触確認端末装置１１３の不図示のＣＰＵは、接触確認端末装置１１３の表示部５０１の画面上に接触判定結果を表示させる表示制御手段としても機能する。尚、画像処理装置２００のＣＰＵ３０１が接触確認端末装置１１３の表示部５０１の画面上に接触判定結果を表示させるようにしてもよい。また、画像処理装置２００のＣＰＵ３０１は、画像処理装置２００の表示デバイス３０６の画面上に接触判定結果を表示させるようにしてもよい。この場合、ＣＰＵ３０１が表示制御手段として機能する。 Next, in step S712, the contact confirmation terminal device 113 displays the contact determination result (not shown) transmitted in step S711 on the screen of the display unit 501 of the contact confirmation terminal device 113. During this process, the CPU (not shown) of the contact confirmation terminal device 113 also functions as a display control means for displaying the contact determination result on the screen of the display unit 501 of the contact confirmation terminal device 113. Note that the CPU 301 of the image processing device 200 may display the contact determination result on the screen of the display unit 501 of the contact confirmation terminal device 113. Further, the CPU 301 of the image processing apparatus 200 may display the contact determination result on the screen of the display device 306 of the image processing apparatus 200. In this case, the CPU 301 functions as a display control means.

以上の処理を行うことで、実施形態１における画像処理システム１によれば、精度よく感染経路に対する陽性者と陽性者に接触した人物の検出が可能となり、感染症の蔓延を抑制することができる。 By performing the above processing, according to the image processing system 1 in the first embodiment, it is possible to accurately detect a positive person for the infection route and a person who has been in contact with a positive person, and it is possible to suppress the spread of infectious diseases. .

＜実施形態２＞
実施形態２では、上述した実施形態１の処理に加えて、店舗１００内の商品や触れた場所を介しての接触感染に対応する物理接触の場合の接触判定評価について説明する。尚、以下では実施形態１と同様の内容については説明を省略し、実施形態２に特有の内容について説明する。 <Embodiment 2>
In Embodiment 2, in addition to the process of Embodiment 1 described above, contact determination evaluation in the case of physical contact corresponding to contact infection via products in the store 100 or touched places will be described. Note that, below, descriptions of the same contents as in the first embodiment will be omitted, and contents specific to the second embodiment will be described.

接触判定部２１９は、実施形態１では接触についてのみ評価を行っていたが、実施形態２では上述の物理接触の有無に対する判定を行う。また、実施形態１と同様に物理接触判定の閾値としては、距離閾値２５０、時間閾値２５１があり、あらかじめ、指定しておく必要があり、指定した設定は設定部２１２で保持される。尚、距離閾値２５０、時間閾値２５１は任意に設定可能であって、感染症の特徴によって適正に設定されることが好ましい。 In the first embodiment, the contact determination unit 219 evaluates only the contact, but in the second embodiment, the contact determination unit 219 performs the determination as to the presence or absence of the above-mentioned physical contact. Further, as in the first embodiment, there are a distance threshold 250 and a time threshold 251 as thresholds for physical contact determination, which must be specified in advance, and the specified settings are held in the setting unit 212. Note that the distance threshold 250 and the time threshold 251 can be set arbitrarily, and are preferably set appropriately depending on the characteristics of the infectious disease.

図１０は、図９と同様に陽性者と比較者の動線情報を比較した概略図の一例である。店舗内部で確認された人物の動線情報はその時刻４２２と店舗座標４２３として取得されている。陽性者と、比較者の動線情報を図にプロットすると図１０に示されるような連続的な曲線となる。さらに、図１０に動線情報４２０に含まれる商品接触４２４の情報を基に物理接触したタイミングを太線で示す。ここで、実施形態１と同様に、陽性者と比較者の接触判定結果は接触判定部２１９によって、上述の通り、距離閾値２５０と時間閾値２５１によって算出され、次の２種類の確認を行う。 Similar to FIG. 9, FIG. 10 is an example of a schematic diagram comparing flow line information of a positive person and a comparison person. The flow line information of the person confirmed inside the store is acquired as the time 422 and store coordinates 423. When the flow line information of the positive person and the comparison person is plotted in a diagram, a continuous curve as shown in FIG. 10 is obtained. Further, in FIG. 10, the timing of physical contact is indicated by a thick line based on the information of product contact 424 included in flow line information 420. Here, as in the first embodiment, the contact determination result between the positive person and the comparison person is calculated by the contact determination unit 219 using the distance threshold 250 and the time threshold 251 as described above, and the following two types of confirmation are performed.

１つ目は、陽性者の動線に対して比較者の動線が距離閾値よりも近接した状態がないか否かを評価する。図１０の破点線は、陽性者の動線に対して距離閾値分シフトさせた位置に記載している。 First, it is evaluated whether there is a state in which the flow line of the comparison person is closer than the distance threshold value to the flow line of the positive person. The broken dotted line in FIG. 10 is drawn at a position shifted by the distance threshold value with respect to the flow line of the positive person.

２つ目は、陽性者の動線に対して、比較者の動線が時間閾値よりも近接した状態がないかを評価する。図１０の点線は、陽性者の動線に対して、時間閾値分だけ遅らせた位置に記載している。図１０の例では、陽性者の線と時間閾値分シフトした線の間に比較者の動線が重なっているため、陽性者は比較者と図中Ａの店舗位置で接触したことが確認できる。この場合、接触判定部２１９は接触ありと判定する。 Second, it is evaluated whether there is a state in which the flow line of the comparison person is closer than a time threshold to the flow line of the positive person. The dotted line in FIG. 10 is drawn at a position delayed by the time threshold with respect to the flow line of the positive person. In the example in Figure 10, the comparison person's flow line overlaps between the positive person's line and the line shifted by the time threshold, so it can be confirmed that the positive person came into contact with the comparison person at store location A in the figure. . In this case, the contact determination unit 219 determines that there is contact.

実施形態２では、上述のように商品接触４２４情報に基づき、接触判定部２１９が陽性者と比較者の接触状態を判定した。しかしこれに限らず、商品状態の代わりにマスク状態４２５、手袋状態４２６の情報を取得し、接触判定部２１９は、マスク状態４２５、手袋状態４２６情報を考慮して、陽性者と比較者のそれぞれ動線情報に基づき陽性者と比較者の接触判定結果を算出する。この場合、距離閾値２５０と時間閾値２５１を適切に設定することで、マスク、手袋といった感染症の予防手段を考慮した接触判定結果を算出することが可能になる。また、実施形態１の接触や実施形態２の物理接触、そしてマスク状態や手袋状態を複合的に用いて接触判定結果を算出してもよい。 In the second embodiment, the contact determination unit 219 determined the contact status between the positive person and the comparison person based on the product contact 424 information as described above. However, the present invention is not limited to this, and instead of the product state, information on the mask state 425 and glove state 426 is acquired, and the contact determination unit 219 takes into account the mask state 425 and glove state 426 information and determines whether the positive person and the comparison person Calculate the contact determination results between the positive person and the comparison person based on flow line information. In this case, by appropriately setting the distance threshold 250 and the time threshold 251, it becomes possible to calculate a contact determination result that takes into account infectious disease prevention measures such as masks and gloves. Further, the contact determination result may be calculated using a combination of the contact in Embodiment 1, the physical contact in Embodiment 2, and the mask state and glove state.

以上のように、実施形態２における画像処理システム１によれば、実施形態１と同様に精度よく感染経路に対する陽性者と陽性者に接触した人物の検出が可能となり、感染症の蔓延を抑制することができる。
＜実施形態３＞
予め店舗に訪れた客が店固有の情報（ＱＲ読み込み）をその情報をＥｍａｉｌ送信することにより、情報と来店者のＥｍａｉｌアドレスを収集し、陽性者が出た際に通知するシステムが知られている。このように客情報を収集するシステムとの連携を考慮した方法について実施形態３で説明する。尚、以下では実施形態１及び実施形態２と同様の内容については説明を省略し、実施形態３に特有の内容について説明する。 As described above, according to the image processing system 1 in the second embodiment, as in the first embodiment, it is possible to accurately detect a positive person for an infection route and a person who has been in contact with a positive person, thereby suppressing the spread of infectious diseases. be able to.
<Embodiment 3>
A system is known in which customers who have visited a store in advance send store-specific information (QR scan) by email, which collects information and the email address of the visitor, and notifies the customer when a positive person appears. There is. Embodiment 3 will describe a method that takes into account cooperation with a system that collects customer information in this way. Note that the description of the same contents as those in the first and second embodiments will be omitted below, and the contents unique to the third embodiment will be described.

図１１は、実施形態３に係る画像処理装置２００の客１１１が来店してから退店するまでの処理の一例を示すフローチャートである。図１１では、図７で示したステップＳ７０６以降の処理を変更している。尚、ステップＳ７０６以前の処理は図７における処理と同様であるため説明を省略する。 FIG. 11 is a flowchart illustrating an example of the processing performed by the image processing apparatus 200 according to the third embodiment from when the customer 111 comes to the store until he leaves the store. In FIG. 11, the processing after step S706 shown in FIG. 7 is changed. Note that the processing before step S706 is the same as the processing in FIG. 7, so a description thereof will be omitted.

まず、ステップＳ１２０６にて、画像処理装置２００は、陽性者と接触が疑われる人物を検索する。具体的には、人物検索部２１６は、ステップＳ７０５において設定された陽性者の来店時刻以降に退店した人物を検出する。次に、ステップＳ１２０７にて、画像処理装置２００は、ステップＳ１２０６において検出された各人物を評価するために、検出された各人物から１人を選択して、選択した人物の人物識別子を取得する。 First, in step S1206, the image processing device 200 searches for a person who is suspected to have come into contact with the positive person. Specifically, the person search unit 216 detects a person who has left the store after the positive person's visit time set in step S705. Next, in step S1207, the image processing apparatus 200 selects one person from each of the detected persons and obtains the person identifier of the selected person in order to evaluate each person detected in step S1206. .

次に、ステップＳ１２０８にて、画像処理装置２００は、接触判定を行う。具体的には、ステップＳ１２０７において設定された人物識別子に紐づけられた動線情報４２０と陽性者の動線情報４２０を取得して、接触判定部２１９に入力する。その後、接触判定部２１９は、それぞれの動線情報４２０に基づき、陽性者と、陽性者と接触が疑われる人物の接触状況を算出する。接触状況の算出に際し、陽性者と、陽性者と接触が疑われる人物の接触判定結果は上述の通り、距離閾値２５０と時間閾値２５１に基づき算出を行う。その後、接触判定結果を接触確認端末装置１１３に送信する。これにより、陽性者と、陽性者と接触が疑われる人物の行動合致の度合いを判定することができる。 Next, in step S1208, the image processing device 200 performs contact determination. Specifically, the flow line information 420 associated with the person identifier set in step S1207 and the flow line information 420 of the positive person are acquired and input to the contact determination unit 219. Thereafter, the contact determination unit 219 calculates the contact status of the positive person and the person who is suspected of being in contact with the positive person based on the respective flow line information 420. When calculating the contact status, the contact determination results for the positive person and the person suspected of having come into contact with the positive person are calculated based on the distance threshold 250 and the time threshold 251, as described above. Thereafter, the contact determination result is transmitted to the contact confirmation terminal device 113. Thereby, it is possible to determine the degree of behavior matching between the positive person and the person who is suspected to have come into contact with the positive person.

次に、ステップＳ１２０９にて、画像処理装置２００は、ステップＳ１２０７において取得した人物識別子及びステップＳ１２０８において算出した接触判定結果を記憶部２１３に保存する。次に、ステップＳ１２１０にて、画像処理装置２００は、ステップＳ１２０６において検出された人物で評価（接触判定評価）をしていない人物がいるか否かを判定する。判定の結果、ステップＳ１２０６において検出された人物で評価をしていない人物がいた場合、即ち、検出された人物で接触判定をしていない人物がいれば、ステップＳ１２０７に戻り同様の処理を繰り返す。一方、ステップＳ１２０６において検出された人物で評価をしていない人物がいない場合、即ち、検出された人物全員について接触判定をしていれば、ステップＳ１２１０に進む。 Next, in step S1209, the image processing apparatus 200 stores the person identifier obtained in step S1207 and the contact determination result calculated in step S1208 in the storage unit 213. Next, in step S1210, the image processing apparatus 200 determines whether there is any person detected in step S1206 who has not been evaluated (contact determination evaluation). As a result of the determination, if there is a detected person who has not been evaluated in step S1206, that is, if there is a detected person who has not been subjected to contact determination, the process returns to step S1207 and the same process is repeated. On the other hand, if there are no detected persons who have not been evaluated in step S1206, that is, if contact determination has been made for all detected persons, the process advances to step S1210.

次に、ステップＳ１２１１にて、画像処理装置２００は、ステップＳ１２０６において設定された人物において接触判定結果が接触「あり」の人物を抽出し、画像４０５、決済識別子４０８を付与して接触確認端末装置１１３に送信する。次に、ステップＳ１２１２にて、接触確認端末装置１１３は、接触確認端末装置１１３の表示部５０１の画面上にステップＳ１２１１において画像処理装置２００から受信した接触判定結果（不図示）を表示する。尚、画像処理装置２００のＣＰＵ３０１が接触確認端末装置１１３の表示部５０１の画面上に接触判定結果を表示させるようにしてもよい。また、画像処理装置２００のＣＰＵ３０１は、画像処理装置２００の表示デバイス３０６上に接触判定結果を表示させるようにしてもよい。 Next, in step S1211, the image processing device 200 extracts a person whose contact determination result is "contact" from among the people set in step S1206, and adds an image 405 and a payment identifier 408 to the contact confirmation terminal. Send to 113. Next, in step S1212, the contact confirmation terminal device 113 displays the contact determination result (not shown) received from the image processing device 200 in step S1211 on the screen of the display unit 501 of the contact confirmation terminal device 113. Note that the CPU 301 of the image processing device 200 may display the contact determination result on the screen of the display unit 501 of the contact confirmation terminal device 113. Further, the CPU 301 of the image processing apparatus 200 may display the contact determination result on the display device 306 of the image processing apparatus 200.

以上の処理により、指定した陽性者に対して接触の行動履歴を持つ人物の決済識別子４０８を店員１０９は確認することができる。例えば、この情報を通知システムに登録されたｅｍａｉｌアドレスに送付等することにより、来店履歴のある客に上述した接触判定結果等を通知することができる。これにより、例えば、来店履歴のある客１１１は、決済時に提供されたレシートを確認することで、接触者である可能性を確認することが可能となる。また、店員１０９は決済識別子から、支払いに用いたクレジットカード情報やプリペイドカード情報等から人物を特定することができる。また、店員１０９は、特定した人物毎にそれぞれ問い合わせを行うようにしてもよい。 Through the above processing, the clerk 109 can confirm the payment identifier 408 of the person who has a history of contact with the specified positive person. For example, by sending this information to an email address registered in the notification system, it is possible to notify customers who have a history of visiting the store of the above-mentioned contact determination results and the like. As a result, for example, the customer 111 who has a history of visiting the store can check the possibility of being a contact person by checking the receipt provided at the time of payment. Further, the clerk 109 can identify the person based on the payment identifier, credit card information, prepaid card information, etc. used for payment. Further, the store clerk 109 may make inquiries for each identified person.

以上のように、実施形態３における画像処理装置２００を含む画像処理システム１によれば、実施形態１及び実施形態２と同様に精度よく感染経路に対する陽性者と陽性者に接触した人物の検出が可能となり、感染症の蔓延を抑制することができる。 As described above, according to the image processing system 1 including the image processing apparatus 200 according to the third embodiment, as in the first and second embodiments, it is possible to accurately detect a positive person and a person who has been in contact with a positive person for the infection route. This makes it possible to suppress the spread of infectious diseases.

本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
（構成１）
撮像手段により撮像された空間内の複数の画像を取得する画像取得手段と、
画像から人物を検出する人物検出手段と、
人物検出手段により検出された人物毎に追尾情報を生成する追尾手段と、
人物が空間を退出した後であっても人物を特定可能な特定手段と、
特定手段により特定された人物毎に生成され、追尾手段により追尾を開始した時刻と人物の位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定する接触判定手段と、を有する、
ことを特徴とする画像処理システム。 The disclosure of this embodiment includes the following configuration, method, and program.
(Configuration 1)
image acquisition means for acquiring a plurality of images in the space imaged by the imaging means;
a person detection means for detecting a person from an image;
tracking means for generating tracking information for each person detected by the person detection means;
identification means that can identify a person even after the person has left the space;
A contact determination means that determines a state of contact between people by comparing flow line information generated for each person identified by the identification means and consisting of the time when tracking started by the tracking means and position information of the person for each person. and has
An image processing system characterized by:

（構成２）
接触判定手段は、各人物の動線情報における距離または時間差の少なくともいずれかに基づき、接触状態を判定することを特徴とする構成１に記載の画像処理システム。 (Configuration 2)
The image processing system according to configuration 1, wherein the contact determination means determines the contact state based on at least one of distance and time difference in flow line information of each person.

（構成３）
接触判定手段は、比較の結果、各人物の動線情報における距離または時間差の少なくともいずれかが所定の閾値の範囲を超えた場合、人物同士が接触したと判定することを特徴とする構成１または２に記載の画像処理システム。 (Configuration 3)
Configuration 1 or 2. The image processing system according to 2.

（構成４）
人物検出手段が検出した人物の姿勢を推定する推定手段と、
人物検出手段が検出した人物の空間内での位置情報を算出する位置算出手段と、
推定した人物の姿勢と位置情報に基づき、空間内の物品の接触の有無を判定し、接触判定結果を出力する行動判定手段と、をさらに有することを特徴とする構成１乃至３のいずれか１項に記載の画像処理システム。 (Configuration 4)
Estimating means for estimating the posture of the person detected by the person detecting means;
a position calculation means for calculating position information in space of a person detected by the person detection means;
Any one of configurations 1 to 3, further comprising: action determining means for determining whether or not there is contact with an object in the space based on the estimated posture and position information of the person, and outputting a contact determination result. The image processing system described in Section.

（構成５）
接触判定手段は、行動判定手段が出力した接触判定結果と人物の動線情報における距離または時間差に基づき、接触状態を判定することを特徴とする構成４に記載の画像処理システム。 (Configuration 5)
4. The image processing system according to configuration 4, wherein the contact determination means determines the contact state based on a distance or time difference between the contact determination result outputted by the action determination means and the flow line information of the person.

（構成６）
人物検出手段が検出した人物が装着している装着物の有無を推定し、推定結果を出力する属性推定手段をさらに有することを特徴とする構成１乃至５のいずれか１項に記載の画像処理システム。 (Configuration 6)
Image processing according to any one of configurations 1 to 5, further comprising attribute estimating means for estimating the presence or absence of an item worn by the person detected by the person detecting means and outputting an estimation result. system.

（構成７）
接触判定手段は、属性推定手段がした推定結果と人物の動線情報における距離または時間差に基づき、接触状態を判定することを特徴とする構成６に記載の画像処理システム。 (Configuration 7)
7. The image processing system according to configuration 6, wherein the contact determining means determines the contact state based on the distance or time difference between the estimation result made by the attribute estimating means and the flow line information of the person.

（構成８）
人物検出手段が画像から検出した人物が空間内で物品を購入した購入記録に対する識別子を発行する発行手段をさらに有することを特徴とする構成１乃至７のいずれか１項に記載の画像処理システム。 (Configuration 8)
8. The image processing system according to any one of configurations 1 to 7, further comprising issuing means for issuing an identifier for a purchase record in which a person detected from the image purchased an article in the space by the person detecting means.

（構成９）
特定手段は、発行手段が発行した識別子に基づいて人物を特定することを特徴とする構成８に記載の画像処理システム。 (Configuration 9)
9. The image processing system according to configuration 8, wherein the identifying means identifies the person based on the identifier issued by the issuing means.

（構成１０）
特定手段は、人物検出手段が画像から検出した人物の顔の画像に基づいて人物を特定することを特徴とする構成１乃至９のいずれか１項に記載の画像処理システム。 (Configuration 10)
10. The image processing system according to any one of configurations 1 to 9, wherein the identifying means identifies the person based on an image of the person's face detected from the image by the person detecting means.

（構成１１）
人物における所定の情報を設定可能な表示画面を備える情報端末を有することを特徴とする構成１乃至１０のいずれか１項に記載の画像処理システム。 (Configuration 11)
11. The image processing system according to any one of configurations 1 to 10, comprising an information terminal equipped with a display screen on which predetermined information about a person can be set.

（構成１２）
接触判定手段が判定した接触状態の判定結果を情報端末の表示画面上に表示させる表示制御手段を有することを特徴とする構成１１に記載の画像処理システム。 (Configuration 12)
12. The image processing system according to configuration 11, further comprising display control means for displaying the determination result of the contact state determined by the contact determination means on a display screen of the information terminal.

（構成１３）
特定手段は、情報端末で設定される所定の情報に基づき、人物を特定可能とすることを特徴とする構成１１に記載の画像処理システム。 (Configuration 13)
12. The image processing system according to configuration 11, wherein the identifying means is capable of identifying a person based on predetermined information set in an information terminal.

（構成１４）
撮像手段により撮像された空間内の複数の画像を取得する画像取得部と、
画像から人物を検出する人物検出部と、
検出された人物毎に追尾情報を生成する追尾部と、
人物が空間を退出した後であっても人物を特定可能な特定部と、
特定された人物毎に生成され、人物の追尾を開始した時刻と人物の位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定する接触判定部と、を有する、
ことを特徴とする画像処理装置。 (Configuration 14)
an image acquisition unit that acquires a plurality of images in the space captured by the imaging means;
a person detection unit that detects a person from an image;
a tracking unit that generates tracking information for each detected person;
an identification part that can identify a person even after the person has left the space;
a contact determination unit that determines a state of contact between people by comparing flow line information generated for each identified person and consisting of the time when tracking of the person is started and the position information of the person. ,
An image processing device characterized by:

（構成１５）
画像処理装置の制御方法であっって、
撮像手段により撮像された空間内の複数の画像を取得し、
画像から人物を検出し、
検出された人物毎に追尾情報を生成し、
人物が空間を退出した後であっても人物を特定し、
特定された人物毎に生成され、人物の追尾を開始した時刻と位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定することを特徴とする画像処理装置の制御方法。 (Configuration 15)
A method for controlling an image processing device, the method comprising:
Obtaining a plurality of images in the space captured by the imaging means,
Detects people from images,
Generates tracking information for each detected person,
Identify a person even after the person has left the space,
An image processing device that determines a state of contact between people by comparing flow line information generated for each identified person and consisting of time and position information when tracking the person started. Control method.

（構成１６）
画像処理装置の制御方法をコンピュータに実行させるプログラムであっって、
撮像手段により撮像された空間内の複数の画像を取得し、
画像から人物を検出し、
検出された人物毎に追尾情報を生成し、
人物が空間を退出した後であっても人物を特定し、
特定された人物毎に生成され、人物の追尾を開始した時刻と位置情報からなる動線情報を人物毎に比較することで、人物同士の接触状態を判定することを特徴とするプログラム。 (Configuration 16)
A program that causes a computer to execute a control method for an image processing device, the program comprising:
Obtaining a plurality of images in the space captured by the imaging means,
Detects people from images,
Generates tracking information for each detected person,
Identify a person even after the person has left the space,
A program characterized in that a state of contact between people is determined by comparing flow line information generated for each identified person and consisting of time and position information at which tracking of the person is started.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the invention.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。その場合、そのプログラム、該プログラムを記憶した記憶媒体は本発明を構成することとなる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。 The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a storage medium, and one or more processors in a computer of the system or device reads and executes the program. This can also be achieved by processing. In that case, the program and the storage medium storing the program constitute the present invention. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. Note that the form of the program does not matter, as long as it has the function of a program, such as an object code, a program executed by an interpreter, or script data supplied to an OS.

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 The recording medium for supplying the program may be, for example, a hard disk, a magnetic recording medium such as a magnetic tape, an optical/magnetic optical storage medium, or a nonvolatile semiconductor memory. Further, as a method for supplying the program, a method may be considered in which a computer program forming the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.

１ 画像処理システム
１００ 店舗
１０１ 店舗出入口
１０３ 入店用カメラ
１０６ 退店用カメラ
１０７ レジ部カメラ
１０８ 店舗用カメラ
１０９ 店員
１１０ 商品棚
１１１ 客
１１２ レジ端末装置
１１３ 接触確認端末装置
２００ 画像処理装置
２０１ 撮像装置 1 Image processing system 100 Store 101 Store entrance 103 Entry camera 106 Exit camera 107 Cash register camera 108 Store camera 109 Clerk 110 Product shelf 111 Customer 112 Cash register terminal device 113 Contact confirmation terminal device 200 Image processing device 201 Imaging device

Claims (16)

撮像手段により撮像された空間内の複数の画像を取得する画像取得手段と、
前記画像から人物を検出する人物検出手段と、
前記人物検出手段により検出された人物毎に追尾情報を生成する追尾手段と、
前記人物が前記空間を退出した後であっても前記人物を特定可能な特定手段と、
前記特定手段により特定された人物毎に生成され、前記追尾手段により追尾を開始した時刻と前記人物の位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定する接触判定手段と、を有する、
ことを特徴とする画像処理システム。 image acquisition means for acquiring a plurality of images in the space imaged by the imaging means;
person detection means for detecting a person from the image;
tracking means for generating tracking information for each person detected by the person detection means;
identification means that can identify the person even after the person has left the space;
A state of contact between the people is determined by comparing flow line information generated for each person identified by the identification means and consisting of a time when tracking was started by the tracking means and position information of the person for each person. contact determination means,
An image processing system characterized by: 前記接触判定手段は、各人物の前記動線情報における距離または時間差の少なくともいずれかに基づき、前記接触状態を判定することを特徴とする請求項１に記載の画像処理システム。 The image processing system according to claim 1, wherein the contact determination means determines the contact state based on at least one of distance and time difference in the flow line information of each person. 前記接触判定手段は、前記比較の結果、各人物の前記動線情報における距離または時間差の少なくともいずれかが所定の閾値の範囲を超えた場合、前記人物同士が接触したと判定することを特徴とする請求項１に記載の画像処理システム。 The contact determination means is characterized in that, as a result of the comparison, if at least either a distance or a time difference in the flow line information of each person exceeds a predetermined threshold range, it is determined that the people have come into contact with each other. The image processing system according to claim 1. 前記人物検出手段が検出した前記人物の姿勢を推定する推定手段と、
前記人物検出手段が検出した前記人物の前記空間内での位置情報を算出する位置算出手段と、
推定した前記人物の前記姿勢と前記位置情報に基づき、前記空間内の物品の接触の有無を判定し、接触判定結果を出力する行動判定手段と、をさらに有することを特徴とする請求項１に記載の画像処理システム。 Estimating means for estimating the posture of the person detected by the person detecting means;
a position calculation means for calculating position information in the space of the person detected by the person detection means;
2. The apparatus according to claim 1, further comprising a behavior determining means for determining whether or not there is contact with an object in the space based on the estimated posture and position information of the person and outputting a contact determination result. The image processing system described. 前記接触判定手段は、前記行動判定手段が出力した前記接触判定結果と前記人物の前記動線情報における距離または時間差に基づき、前記接触状態を判定することを特徴とする請求項４に記載の画像処理システム。 The image according to claim 4, wherein the contact determination means determines the contact state based on a distance or time difference between the contact determination result outputted by the action determination means and the flow line information of the person. processing system. 前記人物検出手段が検出した前記人物が装着している装着物の有無を推定し、推定結果を出力する属性推定手段をさらに有することを特徴とする請求項１に記載の画像処理システム。 2. The image processing system according to claim 1, further comprising attribute estimating means for estimating whether or not the person detected by the person detecting means is wearing an item and outputting an estimation result. 前記接触判定手段は、前記属性推定手段がした前記推定結果と前記人物の前記動線情報における距離または時間差に基づき、前記接触状態を判定することを特徴とする請求項６に記載の画像処理システム。 The image processing system according to claim 6, wherein the contact determination means determines the contact state based on a distance or time difference between the estimation result made by the attribute estimation means and the flow line information of the person. . 前記人物検出手段が前記画像から検出した前記人物が前記空間内で物品を購入した購入記録に対する識別子を発行する発行手段をさらに有することを特徴とする請求項１に記載の画像処理システム。 2. The image processing system according to claim 1, further comprising issuing means for issuing an identifier for a purchase record in which the person detected from the image by the person detecting means purchases an article in the space. 前記特定手段は、前記発行手段が発行した前記識別子に基づいて前記人物を特定することを特徴とする請求項８に記載の画像処理システム。 9. The image processing system according to claim 8, wherein the identifying means identifies the person based on the identifier issued by the issuing means. 前記特定手段は、前記人物検出手段が前記画像から検出した前記人物の顔の画像に基づいて前記人物を特定することを特徴とする請求項１に記載の画像処理システム。 2. The image processing system according to claim 1, wherein the identifying unit identifies the person based on an image of the person's face detected from the image by the person detecting unit. 前記人物における所定の情報を設定可能な表示画面を備える情報端末を有することを特徴とする請求項１に記載の画像処理システム。 The image processing system according to claim 1, further comprising an information terminal having a display screen on which predetermined information about the person can be set. 前記接触判定手段が判定した前記接触状態の判定結果を前記情報端末の前記表示画面上に表示させる表示制御手段を有することを特徴とする請求項１１に記載の画像処理システム。 12. The image processing system according to claim 11, further comprising display control means for displaying the determination result of the contact state determined by the contact determination means on the display screen of the information terminal. 前記特定手段は、前記情報端末で設定される前記所定の情報に基づき、前記人物を特定可能とすることを特徴とする請求項１１に記載の画像処理システム。 12. The image processing system according to claim 11, wherein the identifying means is capable of identifying the person based on the predetermined information set in the information terminal. 撮像手段により撮像された空間内の複数の画像を取得する画像取得部と、
前記画像から人物を検出する人物検出部と、
前記検出された人物毎に追尾情報を生成する追尾部と、
前記人物が前記空間を退出した後であっても前記人物を特定可能な特定部と、
前記特定された人物毎に生成され、前記人物の追尾を開始した時刻と前記人物の位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定する接触判定部と、を有する、
ことを特徴とする画像処理装置。 an image acquisition unit that acquires a plurality of images in the space captured by the imaging means;
a person detection unit that detects a person from the image;
a tracking unit that generates tracking information for each detected person;
an identification unit that can identify the person even after the person leaves the space;
a contact determination unit that determines a state of contact between the people by comparing flow line information generated for each of the identified persons and consisting of a time when tracking of the person is started and position information of the person; and has
An image processing device characterized by: 画像処理装置の制御方法であっって、
撮像手段により撮像された空間内の複数の画像を取得し、
前記画像から人物を検出し、
前記検出された人物毎に追尾情報を生成し、
前記人物が前記空間を退出した後であっても前記人物を特定し、
前記特定された人物毎に生成され、前記人物の追尾を開始した時刻と位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定することを特徴とする画像処理装置の制御方法。 A method for controlling an image processing device, the method comprising:
Obtaining a plurality of images in the space captured by the imaging means,
detecting a person from the image;
Generate tracking information for each detected person,
identifying the person even after the person leaves the space;
An image characterized in that a state of contact between the persons is determined by comparing flow line information generated for each of the identified persons and consisting of time and position information at which tracking of the persons is started for each of the persons. A method of controlling a processing device. 画像処理装置の制御方法をコンピュータに実行させるプログラムであっって、
撮像手段により撮像された空間内の複数の画像を取得し、
前記画像から人物を検出し、
前記検出された人物毎に追尾情報を生成し、
前記人物が前記空間を退出した後であっても前記人物を特定し、
前記特定された人物毎に生成され、前記人物の追尾を開始した時刻と位置情報からなる動線情報を前記人物毎に比較することで、人物同士の接触状態を判定することを特徴とするプログラム。

 A program that causes a computer to execute a control method for an image processing device, the program comprising:
Obtaining a plurality of images in the space captured by the imaging means,
detecting a person from the image;
Generate tracking information for each detected person,
identifying the person even after the person leaves the space;
A program characterized in that a state of contact between people is determined by comparing flow line information generated for each of the identified persons and consisting of time and position information at which tracking of the person is started for each of the persons. .
JP2022124197A 2022-08-03 2022-08-03 Image processing system, image processing device, control method for image processing device, and program Pending JP2024021399A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022124197A JP2024021399A (en) 2022-08-03 2022-08-03 Image processing system, image processing device, control method for image processing device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022124197A JP2024021399A (en) 2022-08-03 2022-08-03 Image processing system, image processing device, control method for image processing device, and program

Publications (1)

Publication Number Publication Date
JP2024021399A true JP2024021399A (en) 2024-02-16

Family

ID=89855568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022124197A Pending JP2024021399A (en) 2022-08-03 2022-08-03 Image processing system, image processing device, control method for image processing device, and program

Country Status (1)

Country Link
JP (1) JP2024021399A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11990249B2 (en) 2015-08-27 2024-05-21 Terrapower, Llc Fuel element with multi-smear density fuel

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11990249B2 (en) 2015-08-27 2024-05-21 Terrapower, Llc Fuel element with multi-smear density fuel

Similar Documents

Publication Publication Date Title
JP7371614B2 (en) Store management device and store management method
TWI778030B (en) Store apparatus, store management method and program
JP7448065B2 (en) Store equipment, store systems, store management methods, programs
JP6724827B2 (en) Person trend recorder
JP2018093283A (en) Monitoring information gathering system
JP7298594B2 (en) Store management device, store management method, and program
JP2017174272A (en) Information processing device and program
JP7521807B2 (en) Movement line determination device, movement line determination system, movement line determination method, and program
US11216651B2 (en) Information processing device and reporting method
JP2024021399A (en) Image processing system, image processing device, control method for image processing device, and program
JP2019139321A (en) Customer behavior analysis system and customer behavior analysis method
JP5143780B2 (en) Monitoring device and monitoring method
US20210168135A1 (en) Linking a physical item to a virtual item
JP2017130061A (en) Image processing system, image processing method and program
JP7516759B2 (en) Processing device, processing method, and program
JP6498065B2 (en) Information processing apparatus, processing method, and program
JP2022155061A (en) Image processing apparatus, image processing method, and program
JP2022117096A (en) Image processing apparatus, image processing method, and program
JP7135329B2 (en) Information processing method, information processing apparatus, and information processing program
JP7315049B1 (en) Information processing program, information processing method, and information processing apparatus
JP2023074751A (en) Information processing system, information processing device, information processing method, and program
EP4310760A1 (en) Display control program, display control method, and information processing apparatus
JP2018055233A (en) Information processing device, control method and program
JP2023122059A (en) Information processing program, information processing method, and information processing device
JP2022011704A (en) Image processing device, image processing method, and program